CN103136727B - 基于梯度一致性与各向异性正则化的超分辨图像重建方法 - Google Patents

Abstract

本发明公开一种基于梯度一致性与各向异性正则化的超分辨图像重建方法，用于解决超分辨图像重建自适应保持高频图像信息，恢复图像细节信息。其步骤为：输入一幅低分辨图像，利用双三次插值方法对输入图像上采样得到插值图像，采用梯度一致性与各向异性正则化条件GCAR约束目标函数，对插值图像进行反卷积运算，判断反卷积后得到的图像是否满足输出条件，如果满足，则输出超分辨结果；如果不满足，则对反卷积后的图像再卷积和像素替换，进入下一次反卷积运算，如此迭代，直到满足输出条件。本发明具有保持低对比度图像区域低分辨图像和相应高分辨图像梯度一致性，能自适应恢复图像细节信息的优点，可用于视频应用领域。

Description

基于梯度一致性与各向异性正则化的超分辨图像重建方法

技术领域

本发明属于图像处理领域，特别是涉及一种基于梯度一致性与各向异性正则化的超分辨图像重建方法，可用于视频、图像应用领域中的问题。

背景技术

图像超分辨是计算机视觉与数字图像处理中最基本的问题之一，它是对图像进一步分析、识别的基础。图像超分辨(superresolution，SR)是指由一幅低分辨率图像(lowresolution，LR)或图像序列恢复出高分辨率图像(highresolution，HR)。高分辨率图像(highresolution，HR)意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。其目的是恢复图像的细节信息。同时，研究图像超分辨具有十分重要的意义，它可广泛应用于军事侦察及医学图像、卫星图像、视频应用及其它许多领域。

目前，图像超分辨研究可分为三个主要范畴：基于插值、基于重建和基于学习的方法。基于插值的最简单的方法是最邻近插值算法(nearest)、双线性插值算法(bi-linear)、双三次插值算法(bi-cubic)，这些算法虽然运算速度快，但是产生的图像过度模糊。基于学习的超分辨率重建技术的基本思想是寻找低分辨率图像与其对应的高分辨率图像之间的映射关系，在已知低分辨率图像的情况下，通过某种方法求出最优解。首先，由于无法确定训练样本数，通常需要大量训练样本，因此很费时间；其次，输出结果图像极大的依赖训练样本和测试样本的相似性；最后这种方法也无法产生真实的超分辨图像的细节信息。

在基于重建的方法中，迭代反投影法(IBP)，由于逆问题的病态性，该方法没有唯一解。凸集投影算法(POCS)可以方便地加入先验信息，可以很好地保持高分辨率图像上的边缘和细节，但是其解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高。针对以上算法的不足，正则化的方法受到了关注，并且图像梯度信息用作先验信息。但是目前这类方法中，很少考虑到梯度恢复的自适应性，而且将低频图像信息和高频图像信息在一个统一的框架下处理，恢复的超分辨图像不够自然。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于梯度一致性与各向异性正则化的超分辨图像重建方法，以保持输出超分辨图像与输入低分辨图像中低频图像数据一致性，自适应恢复高频图像信息，获得边缘清晰、自然的超分辨图像。

实现本发明目的的技术原理是：输入一幅低分辨图像，利用双三次插值方法对输入图像上采样得到插值图像，对插值图像进行反卷积运算，判断反卷积后得到的图像是否满足输出条件，如果满足，则输出超分辨结果；如果不满足，则对反卷积后得到的图像进行再卷积运算，然后执行像素替换，进入下一次反卷积运算，如此迭代，直到满足输出条件。其具体步骤包括如下：

1)输入一幅低分辨图像L，采用双三次插值(bicubic)方法对输入的低分辨图像L上采样，得到插值图像

2)在频域对插值图像进行反卷积运算求出目标图像，在反卷积运算中采用梯度一致性与各向异性正则化条件GCAR约束目标函数，确保目标图像的唯一性；所述梯度一致性与各向异性正则化条件GCAR表达形式如下：

式中用GC表示，为梯度一致性正则化条件，用AR表示，为各向异性正则化条件，H^*表示输出超分辨图像，表示输出超分辨图像中的第i行和j列的像素值，表示的相邻像素值，i＝1，2，3，...，n；j＝1，2，3，...m，与分别是水平方向和垂直方向的梯度算子，ο表示点乘运算，是前一次迭代后输出目标图像梯度，用来计算的水平方向和垂直方向梯度的权值；M是一个二值矩阵，w_ij是二值参数，k₁和k₂分别用来调节GC正则化条件和AR正则化条件的权值；

3)判断目标图像是否满足误差收敛的输出条件，若满足输出条件，则输出目标图像；若不满足输出条件，则对反卷积后得到的目标图像执行再卷积运算，然后进行像素替换以减小误差，加强图像信，转向步骤2)进行反卷积运算，直到满足输出条件，输出超分辨图像，上式中f是点扩散函数，H^k是第k次迭代后的输出结果，k＝1，2，3，4，是卷积操作符，↓是下采样操作符。

所述步骤2)的反卷积运算应用不等式确定GC正则化条件和AR正则化条件交替约束目标函数，不等式中，T是人工设定的阈值，与分别表示图像第i行和j列像素水平方向和垂直方向的梯度算子，

GC正则化条件和AR正则化条件交替约束目标函数的方法如下：

1)当图像信息不满足上述不等式时，用AR正则化条件约束目标函数求目标图像细节信息：在GCAR的表达式中，GC正则化条件中二值矩阵M中对应元素m_ij＝0，AR正则化条件中对应权值w_ij＝1，则只保留GCAR中的各向异性正则化条件AR；在各向异性正则化条件AR中权值由图像梯度自行决定，从而确保自适应地恢复图像的细节信息；

2)当图像信息满足上述不等式时，用GC约束目标函数求目标图像低频信息：在GCAR的表达式中，GC正则化条件中二值矩阵M中对应元素m_ij＝1，AR正则化条件中对应权值w_ij＝0，则只保留GCAR中的梯度一致性正则化条件GC，从而确保了低分辨图像和输出超分辨图像梯度信息的一致性。

本发明与现有技术相比具有以下特点：

本发明由于采用了梯度一致性与各向异性正则化条件，对于低频图像信息，只保留了梯度一致性正则化条件，从而能够使得输出超分辨图像与输入低分辨图像保持一致性；对于高频图像信息，只保留了各向异性正则化条件，由于图像梯度前权值由图像梯度自行决定从而使得本算法能够自适应的恢复图像的高频信息，产生包含更多细节、更加自然清晰的超分辨图像。

仿真实验结果表明，本发明是一种有效的超分辨图像复原方法，能够有效恢复图像细节信息并产生非常自然清晰的超分辨图像。

附图说明

图1是本发明的流程图；

图2是本发明仿真试验中使用的八幅原始测试图像；

图3是用现有方法和本发明在图2(a)测试图像上的实验结果；

图4是用现有方法和本发明在图2(b)测试图像上的实验结果；

图5是用现有方法和本发明在图2(c)测试图像上的实验结果；

图6是用现有方法和本发明在图2(d)测试图像上的实验结果。

具体实施方式

以下参照附图对本发明的具体实现及效果作进一步详细表述：

参照图1，已知低分辨率图像L和点扩散函数f，其中f取大小为13x13，方差为1的高斯模糊核。设定参数，放大2倍时：k₁＝15，k₂＝-0.01，k₃＝0.3，T＝42；放大3倍时：k₁＝15，k₂＝-0.03，k₃＝1.4，T＝42；放大4倍时：k₁＝15，k₂＝-0.03，k₃＝1.4，T＝42。通过以下步骤就可求出目标图像H^*。本发明的实施步骤如下：

步骤1，输入一幅已知低分辨图像L，采用双三次插值方法对输入图像L上采样，得到插值图像

步骤2，由步骤1得到插值图像取点扩散函数f为大小为13x13，方差为1的高斯模糊核，进行反卷积运算求出目标图像H^*；

1)采用梯度一致性与各向异性正则化条件约束后，得到目标函数，用式(1)表示：(1)

式(1)中参数意义参考发明内容2)；

2)通过最小化目标函数(1)求得目标图像H^*按如下步骤：

2.1)初始化并按如下方法确定M及w_ij的值，其中，M是一个二值矩阵，其第i行j列元素为m_ij，权值w_ij是二值参数：

如果插值图像中像素的水平梯度和垂直梯度的平方和不大于预先设定的阈值，即满足下列不等式：则M中对应元素m_ij＝1，w_ij＝0，否则m_ij＝0，w_ij＝1，不等式中T是一个人工设定的阈值，与分别表示图像第i行j列像素水平方向和垂直方向的梯度算子， ${\∂}_{\mathrm{ij},x}\tilde{H}=\tilde{H}(i,j)-\tilde{H}(i,j-1),$ ${\∂}_{\mathrm{ij},y}\tilde{H}=\tilde{H}(i,j)-\tilde{H}(i-1,j);$

2.2)采用变量替换方法：用变量ψ_x与ψ_y替换式(1)中的与并增加约束， $k_3({\left|\right|{\mathrm{\ψ}}_x-{\∂}_{x}H*\left|\right|}_2^2+{\left|\right|{\mathrm{\ψ}}_y-{\∂}_{y}H*\left|\right|}_2^2),$ 因此式(1)写成式(2)：

2.3)对式(2)进行傅立叶变换，在频域完成反卷积运算以提高运算速度，求出目标图像：

2.3.1)使H*保持不变，优化求解ψ_x与ψ_y：因此式(2)写成式(3)：

对于图像中所有像素，E(ψ)可以写成由于E(ψ_ij，x)与E(ψ_ij，y)彼此独立，因此就把多变量优化问题转化成了单变量优化问题，通过最小化能量函数式(4)、式(5)求解ψ_ij，x与ψ_ij，y：

$E\left({\mathrm{\ψ}}_{\mathrm{ij},x}\right)=k_1\·m_{\mathrm{ij}}{({\mathrm{\ψ}}_{\mathrm{ij},x}-{\∂}_x{\tilde{H}}_{\mathrm{ij}})}^2+k_2\·\mathrm{\α}(\▿H_{\mathrm{ij}}^{*})\·w_{\mathrm{ij}}\·{\left({\mathrm{\ψ}}_{\mathrm{ij},x}\right)}^2+k_3\·{({\mathrm{\ψ}}_{\mathrm{ij},x}-{\∂}_x{H}_{\mathrm{ij}}^{*})}^2---\left(4\right)$

$E\left({\mathrm{\ψ}}_{\mathrm{ij},y}\right)=k_1\·m_{\mathrm{ij}}{({\mathrm{\ψ}}_{\mathrm{ij},y}-{\∂}_y{\tilde{H}}_{\mathrm{ij}})}^2+k_2\·\mathrm{\α}\left({\▿H}_{\mathrm{ij}}^{*}\right)\·w_{\mathrm{ij}}\·{\left({\mathrm{\ψ}}_{\mathrm{ij},y}\right)}^2+k_3\·{({\mathrm{\ψ}}_{\mathrm{ij},y}-{\∂}_y{H}_{\mathrm{ij}}^{*})}^2---\left(5\right)$

求得， ${\mathrm{\ψ}}_{\mathrm{ij},x}=\frac{k_1{m}_{\mathrm{ij}}\left({\∂}_x{\tilde{H}}_{\mathrm{ij}}\right)+k_3\left({\∂}_x{H}_{\mathrm{ij}}^{*}\right)}{k_1{m}_{\mathrm{ij}}+k_2{w}_{\mathrm{ij}}\mathrm{\α}(\▿H_{\mathrm{ij}}^{*})+k_3};$ ${\mathrm{\ψ}}_{\mathrm{ij},y}=\frac{k_1{m}_{\mathrm{ij}}\left({\∂}_y{\tilde{H}}_{\mathrm{ij}}\right)+k_3\left({\∂}_y{H}_{\mathrm{ij}}^{*}\right)}{k_1{m}_{\mathrm{ij}}+k_2{w}_{\mathrm{ij}}\mathrm{\α}(\▿H_{\mathrm{ij}}^{*})+k_3}$ 所有ψ_ij，x和ψ_ij，y的集合构成ψ_x与ψ_y的全局最优解；

2.3.2)使ψ_x与ψ_y保持不变，优化求解H^*，因此式(2)写成式(6)

$E\left(\mathrm{\ψ}\right)={\left|\right|f\⊗H^{*}-\tilde{H}\left|\right|}_2^2+k_3\·({\left|\right|{\mathrm{\ψ}}_x-{\∂}_{x}H*\left|\right|}_2^2+{\left|\right|{\mathrm{\ψ}}_y-{\∂}_{y}H*\left|\right|}_2^2)---\left(6\right)$

对式(6)进行傅立叶变换并采用帕萨瓦尔定理(Plancherel)，设定因此求出目标图像的频域最优解F(H^*)，如式(7)：

其中，F(·)表示傅立叶算子，表示F(·)的共轭；

2.4)采用反傅立叶变换求出目标图像：H^*＝F^-1(F(H^*))，转向步骤2.3)，如此迭代5次后转向步骤3；

所述变量替换方法与在频域完成反卷积运算方法参见文献：作者Shan，Q.，Li，J.，Jia，J.，Tang，C.K.在ACMTransactionsonGraphics27(2008)Article153上发表名称为：图像、视频快速上采样方法(FastImage/VideoUpsampling)。

步骤3，判断反卷积后得到的目标图像是否满足输出条件，若满足输出条件，则输出超分辨图像；若不满足输出条件，则对反卷积后得到的目标图像执行再卷积运算，然后进行像素替换。转向步骤2进行反卷积，直到满足输出条件，输出超分辨图像：

A)判断步骤2之后的输出图像是否满足式(8)收敛的输出条件，若满足，则输出超分辨图像，否则转向步骤B)；

$\mathrm{error}={\left|\right|f\⊗H^k\↓-L\left|\right|}_2^2---\left(8\right)$

式(8)中，H^k是第k(k＝1，2，3，4)次迭代后的输出结果，是卷积操作符，↓是下采样操作符；

B)对步骤2得到的目标图像再卷积更新插值图像

$\tilde{H}=H^{*}\⊗f---\left(9\right)$

C)对上一步中得到的结果执行像素替换操作以减小误差，加强图像信息，并更新k3＝10*k3，转入步骤2，直到满足输出条件；其中像素替换方法如式(10)：

$\tilde{H}(\mathrm{\β}\×i-1,\mathrm{\β}\×j-1)=L(i,j)---\left(10\right)$

式(10)中β为放大倍数，i＝1，2，3，...，a，j＝1，2，3，...b，其中a与b分别为已知低分辨率图像的行数和列数。

所述变量替换方法与在频域完成反卷积运算方法参见文献：作者Shan，Q.，Li，J.，Jia，J.，Tang，C.K.在ACMTransactionsonGraphics27(2008)Article153上发表名称为：图像、视频快速上采样方法(FastImage/VideoUpsampling)。

已知低分辨率图像L和点扩散函数f，其中f取大小为13x13，方差为1的高斯模糊核，通过以上步骤就可求出目标图像。

本发明的效果可以通过以下实验进一步说明：

1.仿真条件：

在CPU为pentium(R)4处理器：主频3.00GHZ，内存2G，操作系统：WINDOWSXPSP3，仿真平台：Matlab7.10平台上进行。

仿真图像选择图2所示的八幅原始测试图像，其中，图2(a)为报纸(newspaper)图像，图2(b)为建筑(building)图像，图2(c)为道路(path)图像，图2(d)为蝴蝶2(butterfpy2)图像，图2(e)为椅子(chair)图像，图2(f)为塔(tower)图像，图2(g)老虎(tiger)图像，图2(h)为蝴蝶1(butterfly1)图像。

2.仿真内容：

仿真实验中，仿真1，仿真2，仿真3，仿真4是对图2(a)、图2(b)、图2(c)、图2(d)四幅图像的仿真结果；表1，表2，表3是对图2(a)、图2(b)、图2(c)、图2(d)、图2(e)、图2(f)、图2(g)、图2(h)八幅图像的量化结果。

林方法(Lin’method)：作者Lin，C.Y.，Hsu，C.C.，Lin，C.W.，Kang，L.W.在Proc.VCIP，pp.1-4(2011)上发表名称为：应用梯度先验的基于快速反卷的快速图像超分辨方法(Fastdeconvolutionbasedimagesuper-resolutionusinggradientprior)。

山方法(Shan’method)：作者Shan，Q.，Li，J.，Jia，J.，Tang，C.K.在ACMTransactionsonGraphics27(2008)Article153上发表名称为：图像、视频快速上采样方法(FastImage/VideoUpsampling)。

仿真1，利用本发明方法与现有的双三次插值(bi-cubic)方法，林方法(Lin’method)和山方法(Shan’method)分别对图2(a)所示的报纸(newspaper)图像实验，结果如图3，其中图3(a)是用双三次插值(bi-cubic)方法的插值结果，图3(b)是利用林方法(Lin’method)的实验结果，图3(c)是利用山方法(Shan’method)的实验结果，图3(d)是用本发明方法的实验结果。

从图3可见，本发明能有效恢复图像的细节信息，保持低频图像信息一致性，输出结果图像更加自然清晰，有效恢复了报纸(newspaper)图像中高频信息。双三次插值(bi-cubic)方法清晰度不高；在包含图像细节信息区域，其它两种方法不如本发明方法产生的图像自然清晰。

仿真2，利用本发明方法与现有的双三次插值(bi-cubic)方法，林方法(Lin’method)和山方法(Shan’method)分别对图2(b)所示的建筑(building)图像实验，结果如图4，其中图4(a)是用双三次插值(bi-cubic)方法的插值结果，图4(b)是利用林方法(Lin’method)的实验结果，图4(c)是利用山方法(Shan’method)的实验结果，图4(d)是用本发明方法的实验结果。

从图4可见，本发明能有效恢复图像的细节信息，保持低频图像信息一致性，输出结果图像更加自然清晰，有效恢复了建筑(building)图像中高频信息。双三次插值(bi-cubic)方法清晰度不高；在包含图像细节信息区域，其它两种方法不如本发明方法产生的图像自然清晰。

仿真3，利用本发明方法与现有的双三次插值(bi-cubic)方法，林方法(Lin’method)和山方法(Shan’method)分别对图2(c)所示的道路(path)图像实验，结果如图5，

其中图5(a)是用双三次插值(bi-cubic)方法的插值结果，图5(b)是利用林方法(Lin’method)的实验结果，图5(c)是利用山方法(Shan’method)的实验结果，图5(d)是用本发明方法的实验结果。

从图5可见，本发明能有效恢复图像的细节信息，保持低频图像信息一致性，输出结果图像更加自然清晰，有效恢复了道路(path)图像中高频信息。双三次插值值(bi-cubic)方法清晰度不高；在包含图像细节信息区域，其它两种方法不如本发明方法产生的图像自然清晰。

仿真4，利用本发明方法与现有的双三次插值(bi-cubic)方法，林方法(Lin’method)和山方法(Shan’method)分别对图2(d)所示的蝴蝶2(butterfly2)图像实验，结果如图6，其中图6(a)是用双三次插值(bi-cubic)方法的插值结果，图6(b)是利用林方法(Lin’method)的实验结果，图6(c)是利用山方法(Shan’method)的实验结果，图6(d)是用本发明方法的实验结果。

从图6可见，本发明能有效恢复图像的细节信息，保持低频图像信息一致性，输出结果图像更加自然清晰，有效恢复了蝴蝶2(butterfly2)图像中的高频信息。双三次插值(bi-cubic)方法清晰度不高；在包含图像细节信息区域，其它两种方法不如本发明方法产生的图像自然清晰。

我们利用本发明方法与现有的双三次插值(bi-cubic)方法，林方法(Lin’method)和山方法(Shan’method)分别对图2(a)、图2(b)、图2(c)、图2(d)、图2(e)、图2(f)、图2(g)、图2(h)八幅图像放大2倍、3倍和4倍进行实验，得到量化结果如表1、表2和表3，量化结果由峰值性噪比(PSNR)，结构相似度(SSIM)，平均结构相似度(MSSIM)表示，其意义如下。PSNR：峰值信噪比准则，SSIM：结构相似度准则，MSSIM：平均结构相似度准则。

表1，利用本发明方法与现有的双三次插值(bi-cubic)方法，林方法(Lin’method)和山方法(Shan’method)分别对图2(a)、图2(b)、图2(c)、图2(d)、图2(e)、图2(f)、图2(g)、图2(h)八幅图像放大2倍的实验，量化结果如表1。

从表1可见，本发明的量化结果：峰值性噪比(PSNR)，结构相似度(SSIM)，平均结构相似度(MSSIM)优于其它三种方法。表明本发明的有效性。

表1

表2，利用本发明方法与现有的双三次插值(bi-cubic)方法，林方法(Lin’method)和山方法(Shan’method)分别对图2(a)、图2(b)、图2(c)、图2(d)、图2(e)、图2(f)、图2(g)、图2(h)八幅图像放大3倍的实验，量化结果如表2。

从表2可见，本发明的量化结果：峰值性噪比(PSNR)，结构相似度(SSIM)，平均结构相似度(MSSIM)优于其它三种方法。表明本发明的有效性。

表2

表3，利用本发明方法与现有的双三次插值(bi-cubic)方法，林方法(Lin’method)和山方法(Shan’method)分别对图2(a)、图2(b)、图2(c)、图2(d)、图2(e)、图2(f)、图2(g)、图2(h)八幅图像放大4倍的实验，量化结果如表3。

从表3可见，本发明的量化结果：峰值性噪比(PSNR)，结构相似度(SSIM)，平均结构相似度(MSSIM)优于其它三种方法。表明本发明的有效性。

表3

Claims (1)

1.一种基于梯度一致性与各向异性正则化的超分辨图像重建方法，包括如下步骤：

1)输入一幅低分辨图像L，采用双三次插值bicubic方法对输入的低分辨图像L上采样，得到插值图像

2)在频域对插值图像进行反卷积运算求出目标图像，在反卷积运算中采用梯度一致性与各向异性正则化条件GCAR约束目标函数，确保目标图像的唯一性；所述梯度一致性与各向异性正则化条件GCAR表达形式如下：

式中用GC表示，为梯度一致性正则化条件，用AR表示，为各向异性正则化条件，H^*表示输出超分辨图像，表示输出超分辨图像中的第i行和j列的像素值，表示的相邻像素值，i＝1，2，3，...，n；j＝1，2，3，...m，与分别是水平方向和垂直方向的梯度算子，о表示点乘运算，是前一次迭代后输出目标图像梯度，用来计算的水平方向和垂直方向梯度的权值；M是一个二值矩阵，w_ij是二值参数，k₁和k₂分别用来调节GC正则化条件和AR正则化条件的权值；

3)判断目标图像是否满足误差收敛的输出条件，若满足输出条件，则输出目标图像；若不满足输出条件，则对反卷积后得到的目标图像执行再卷积运算，然后进行像素替换以减小误差，加强图像信息，转向步骤2)进行反卷积运算，直到满足输出条件，输出超分辨图像，上式中f是点扩散函数，H^k是第k次迭代后的输出结果，k＝1，2，3，4，是卷积操作符，↓是下采样操作符；

其特征在于：

所述步骤2)的反卷积运算应用不等式确定GC正则化条件和AR正则化条件交替约束目标函数，不等式中，T是人工设定的阈值，与分别表示图像第i行和j列像素水平方向和垂直方向的梯度算子，

GC正则化条件和AR正则化条件交替约束目标函数的方法如下：

1)当图像信息不满足上述不等式时，用AR正则化条件约束目标函数求目标图像细节信息：在GCAR的表达式中，GC正则化条件中二值矩阵M中对应元素m_ij＝0，AR正则化条件中对应权值w_ij＝1，则只保留GCAR中的各向异性正则化条件AR：在各向异性正则化条件AR中权值由图像梯度自行决定，从而确保自适应地恢复图像的细节信息；

2)当图像信息满足上述不等式时，用GC约束目标函数求目标图像低频信息：在GCAR的表达式中，GC正则化条件中二值矩阵M中对应元素m_ij＝1，AR正则化条件中对应权值w_ij＝0，则只保留GCAR中的梯度一致性正则化条件GC，从而确保了低分辨图像和输出超分辨图像梯度信息的一致性。