CN108460723A - 基于邻域相似性的双边全变分图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于邻域结构相似性双边全变分的图像超分辨率重建方法，主要解决现有技术在图像超分辨率重建过程中细节丢失的问题。其实现方案是：1.获取低分辨率图像序列，并对Y的第一帧图像进行插值，作为第1次迭代的超分辨率重建图像2.计算第t次迭代重建图像的邻域结构相似距离矩阵W_t；3.根据W_t构建目标函数，并求解目标函数的最小化问题，获得第t+1次迭代的重建图像4.计算相邻两次迭代所生成的超分辨率重建图像的欧氏距离；5.重复步骤2‑4，直至相邻两次迭代所生成的超分辨率重建的图像的欧氏距离小于阈值，输出超分辨率重建结果。本发明能有效重建图像中的细节信息，更好的保持结构特性，可用于遥感图像和医学图像处理。

Description

基于邻域相似性的双边全变分图像超分辨率重建方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种数字图像超分辨率重建方法，可用于遥感图像和医学图像处理。

背景技术

在成像系统中，由于成像过程中外在的干扰及成像系统自身的不足，最终的图像质量会有一定的退化，分辨率较低，从而丢失了图像中的细节信息，无法满足一些高精度应用的要求。超分辨率重建技术可以有效地提高图像的分辨率，增强图像中的细节信息，现在己经被广泛应用于医学、社会安全、国防等领域。

现存的图像超分辨率重建方法主要有：基于频域的超分辨率迭代重建方法和基于空间域的超分辨率迭代重建方法。空间域方法直接对像素输出进行处理，易于硬件实现，从而获得广泛应用。传统的空间域方法例如全变分法、迭代反射投影法、吉洪诺夫正则化法等，在重建图像的同时会丢失图像的纹理和细节等信息，Fasiu等人将边缘保持特性较好的全变分模型与双边滤波模型结合构建出双边全变分先验约束，取得了更好的超分辨率重建效果(Sina Farsiu,M.Dirk Robinson,Michael Elad et al.,Fast and RobustMultiframe Super Resolution,IEEE Transactions on Image Processing,Vol.13,No.10,2004,pp.1327-1344.)。但该方法中滤波权重仍由单个像素亮度值决定，因而在较强的噪声干扰下，权重误差将导致重建效果下降。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于邻域相似性的双边全变分图像超分辨率重建方法，以获得更高的峰值信噪比和结构相似度，提高图像重建效果。

实现本发明目的的技术方案是：用邻域相似度权取代传统双边滤波中的像素亮度距离权，构建邻域相似性双边全变分项作为先验约束加入迭代回归估计过程中，并使用分裂布雷格曼方法进行求解，得到重建图像，具体步骤包括如下：

(1)获取低分辨率图像序列Y；

(2)使用双线性插值法对低分辨率图像序列Y的第一帧图像进行插值，作为第1次迭代的超分辨率重建图像

(3)计算第t次迭代超分辨率重建图像的结构相似性距离矩阵W_t，t≥2；

(4)根据邻域结构相似性距离矩阵W_t，得到的邻域结构相似性双边全变分正则项

(5)构建由保真项F和邻域结构相似性双边全变分正则项组成的目标函数J：

其中，μ和λ为两个数值不同的规整参数，μ的取值为0.72，λ的取值为0.97。

(6)采用分裂布雷格曼法求解目标函数最小化问题，获得第t+1次迭代的超分辨率重建图像

(7)计算相邻两次迭代超分辨率重建图像的欧氏距离E；

(8)设置收敛阈值tol＝0.0005，判断相邻两次图像超分辨率重建图像的欧氏距离E是否小于收敛阈值tol，如果欧氏距离E大于收敛阈值tol，则重复步骤(3)至步骤(7)；否则，迭代结束，输出(6)获得的超分辨重建图像。

本发明与现有技术相比，具有以下优点：

本发明的方法由于在目标函数中引入邻域相似性双边全变分正则项，与现有的双边全变分正则项图像超分辨率重建方法相比，充分利用了图像邻域的相似信息，可以获得更多的细节信息，具有更好的边缘保持特性，在求解时使用分裂布雷格曼方法，求解速度更快。

附图说明

图1是本发明的实现框图；

图2是现有低分辨率图像序列中的一幅图像；

图3是采用现有双边全变分方法对图2中的图像进行超分辨率重建后的输图像；

图4是采用现有非局部全变分方法对图2中的图像进行超分辨率重建后的输出图像；

图5是采用本发明的方法对图2中的图像进行超分辨率重建后的输后图像。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

参照图1，本发明将邻域结构相似性双边全变分引入数字图像超分辨率重建中，具体包括如下步骤：

步骤1，获取低分辨率图像序列Y。

本实施例的低分辨率图像序列由标准测试图片Dollar经过降质后获得，示例图片如图2所示。

步骤2，使用双线性插值法对低分辨率图像序列Y的第一帧图像进行插值，得到用于第1次迭代的超分辨率重建图像

2a)对低分辨率图像序列Y的第一帧图像进行上采样，将上采样图像中每个未知像素点的值设置为0，得到上采样后的高分辨率图像Y_HR；

2b)计算Y_HR中未知像素点的像素值：

f(x,y)＝f(x,y)(1-x)(1-y)+f(x+1,y)x(1-y)+f(x,y+1)(1-x)y+f(x+1,y+1)xy

其中，x为像素点的横坐标，y为像素点的纵坐标，f(x,y)为坐标为(x,y)的像素点的像素值；

2c)使用2b)中的方法计算Y_HR中所有未知像素点的值得到用于第1次迭代的超分辨率重建图像

步骤3，计算超分辨率重建图像的邻域结构相似性距离矩阵W_t。

3a)计算全变分项

其中，为第t次迭代的超分辨率重建图像，代表将超分辨率重建图像沿x方向平移l个像素的矩阵算子，代表将超分辨率重建图像沿y方向平移m个像素的矩阵算子，||·||₁表示1范数；

3b)计算邻域结构相似性距离矩阵W_t：

其中，G为大小为3×3标准差为1的高斯矩阵，表示卷积运算，为全变分项，h为高斯平滑参数，本实施例中h＝35。

步骤4，构建邻域结构相似性双边全变分正则项

用空间距离权和邻域结构相似性矩阵乘以全变分项，得到的邻域相似性双边全变分正则项

其中，α^|m|+|l|为空间距离权，取值为α＝0.53，W_t为邻域结构相似性距离矩阵，为全变分项，P为移位半径，取值为P＝3。

步骤5，构建保真项F。

将超分辨率重建图像分别乘以每一帧图像的下采样矩阵、模糊矩阵和位移矩阵，得到降质后的图像；

用降质后的图像与每一帧低分辨率图像求2范数，将各个帧求得的2范数累加，得到保真项F，其表示如下：

其中，为参与迭代的超分辨率重建图像，N为低分辨率图像序列的帧数，D_k为第k帧低分辨率图像的下采样矩阵，H_k为第k帧低分辨率图像的模糊矩阵，F_k为第k帧低分辨率图像的位移矩阵，Y_k为第k帧低分辨率图像，表示2范数。

步骤6，构建目标函数J。

将保真项F和邻域结构相似性双边全变分正则项相加，并使用第一个规整参数μ对保真项F进行规整，使用第二个规整参数λ对邻域结构相似性双边全变分正则项进行规整，得到目标函数J：

其中，本实例中μ的取值为0.72，λ的取值为0.97。

步骤7，应用分裂布雷格曼方法，修改目标函数。

在目标函数J中加入分裂项和松弛参数，可将目标函数转变为约束最优化问题，显著提高求解速度，具体步骤按如下进行：

7a)加入分裂项，令d_t＝Υ(X_t)，将目标函数改写为：

7b)使用松弛参数d_t将目标函数J松弛为：

7c)根据布雷格曼迭代方法，加入辅助参数b_t，形成最终的目标函数：

其中，为求解和d_t+1的优化过程。

步骤8，求解目标函数最小化问题，计算第t+1次迭代的超分辨率重建图像

在求解目标函数最小化的过程中，交替计算松弛参数、辅助参数和超分辨率重建图像，具体步骤如下：

8a)固定辅助参数b_t-1和超分辨率重建图像求解松弛参数d_t：

其中，表示2范数，为求解松弛参数d_t的优化过程；

8b)固定松弛参数d_t和超分辨率重建图像求解辅助参数b_t：

8c)固定松弛参数d_t和辅助参数b_t，求解超分辨率重建图像

步骤9，设置收敛阈值tol，计算相邻两次迭代的超分辨率重建图像的欧氏距离E。

本实例设置收敛阈值tol＝0.0005，欧氏距离E的计算方式按如下步骤进行：

其中，为第t次迭代的超分辨率重建图像，表示2范数。

步骤10，输出超分辨率重建的图像。

将相邻两次迭代超分辨率重建图像的欧氏距离E与收敛阈值tol进行比较：如果欧氏距离E大于阈值tol，则重复步骤8至步骤10；否则，迭代结束，输出步骤8中求得的作为最终的超分辨率重建图像。

本发明的效果可以通过以下仿真实验进一步说明。

仿真实验1，采用现有双边全变分方法对图2中的低分辨率图像以缩放因子4进行超分辨率重建，结果如图3。

仿真实验2，采用现有非局部全变分方法对图2中的低分辨率图像以缩放因子4进行超分辨率重建，结果如图4。

仿真实验3，采用本发明方法对图2中的低分辨率图像以缩放因子4进行超分辨率重建，结果如图5。

通过图3、图4和图5的对比可以看出，经本发明方法重建的超分辨率图像较于现有的全变分方法、双边全变分方法重建的超分辨率图像，细节更丰富，边缘更清晰。

仿真实验4，使用峰值信噪比PSNR和结构相似度SSIM量化评价本发明提出的邻域结构相似性双边全变分图像超分辨率重建方法与现有双边全变分方法以及非局部全变分方法的性能。

1)峰值信噪比PSNR的数学表达式为：

其中，I(i,j)为原高分辨率图像坐标(i,j)处的像素值，I₀(i,j)为超分辨率重建后图像坐标(i,j)处的像素值，M为图像的长度，N为图像的宽度。

PSNR取值越大表明超分辨率重建效果越好。

2)结构相似度SSIM的数学表达式为：

SSIM(X,Y)＝[I(X,Y)]^α·[c(X,Y)]^β·[s(X,Y)]^γ

其中，亮度比较项μ_X和μ_Y分别表示原高分辨率图像X和超分辨率重建后图像Y的所有像素点像素值的均值，C₁为常数，α为亮度比较项指数；对比度比较项σ_X和σ_Y分别表示未受噪声污染图像X和校正后图像Y的方差，C₂为常数，β为对比度比较项指数；结构比较项σ_XY为未受噪声污染图像X和校正后图像Y的协方差，C₃为常数，γ为结构比较项指数。

SSIM取值越大说明超分辨率重建图像与原始图像场景结构相似度越高，细节保持能力越好。

使用上述的峰值信噪比PSNR和结构相似度SSIM分别估计现有的双边全变分方法重建的超分辨率图像图3和非局部全变分方法重建的超分辨率图像图4以及本发明提出的邻域结构相似性双边全变分图像超分辨率重建方法重建的超分辨率图像图5，实验结果见表1。

表1对比测试结果的量化参数对比表

由表1可见：

用本发明方法重建的超分辨图像的峰值信噪比PSNR明显高于双边全变分法和非局部全变分法的结果，说明经本发明重建的超分辨率图像包含了更多的细节信息。

用本发明方法重建的超分辨图像的结构相似性系数SSIM明显高于双边全变分法和非局部全变分法的结果，说明经本发明的方法重建后的超分辨率图像保留了原始图像中更多的结构特性。

表1结果充分说明，本发明方法的超分辨率重建效果更好，既保留了原始场景更多的细节信息，还具有更好的结构保持特性。

综上，本发明所提出的基于邻域结构相似性双边全变分图像超分辨率重建方法可以更大限度地重建原始图像中的细节信息和结构特性。

需要说明的是，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (7)

1.一种基于邻域相似性的双边全变分图像超分辨率重建方法，包括：

(1)获取低分辨率图像序列Y；

(2)使用双线性插值法对低分辨率图像序列Y的第一帧图像进行插值，作为第1次迭代的超分辨率重建图像

(3)计算第t次迭代超分辨率重建图像的邻域结构相似性距离矩阵W_t，t≥2；

(4)根据邻域结构相似性距离矩阵W_t，得到的邻域结构相似性双边全变分正则项

(5)构建由保真项F和邻域结构相似性双边全变分正则项组成的目标函数J：

其中，μ和λ为两个数值不同的规整参数，μ的取值为0.72，λ的取值为0.97。

(6)采用分裂布雷格曼法求解目标函数最小化问题，获得第t+1次迭代的超分辨率重建图像

(7)计算相邻两次迭代超分辨率重建图像的欧氏距离E；

(8)设置收敛阈值tol＝0.0005，判断相邻两次图像超分辨率重建图像的欧氏距离E是否小于收敛阈值tol，如果欧氏距离大于收敛阈值tol，则重复步骤(3)至步骤(7)；否则，迭代结束，输出(6)获得的超分辨重建的图像。

2.根据权利要求1所述的方法，其中步骤(3)中计算第t次迭代超分辨率重建图像的邻域结构相似性距离矩阵W_t，按如下公式计算：

其中，表示大小为n×n标准差为a的高斯矩阵，表示卷积运算，代表将超分辨率重建图像沿x方向平移l个像素的矩阵算子，代表将超分辨率重建图像沿y方向平移m个像素的矩阵算子，为全变分项，h为高斯平滑参数，||·||₁表示1范数。

3.根据权利要求2所述的方法，其中全变分项表示如下：

其中，为第t次迭代的超分辨率重建图像，代表将超分辨率重建图像沿x方向平移l个像素的矩阵算子，代表将超分辨率重建图像沿y方向平移m个像素的矩阵算子，||·||₁表示1范数。

4.根据权利要求1所述的方法，其中步骤(4)中的邻域结构相似性双边全变分正则项表示如下：

其中，l表示将超分辨率重建图像沿x方向平移的距离，m表示将超分辨率重建图像沿y方向平移的距离，α^|m|+|l|为空间距离权，取值为α＝0.53，W_t为邻域结构相似性距离矩阵，为全变分项，P为平移半径，取值为P＝3，||·||₁表示1范数。

5.根据权利要求1所述的方法，其中步骤(5)中的保真项F，其表示如下：

其中，为参与迭代的超分辨率重建图像，N为低分辨率图像序列的帧数，D_k为第k帧低分辨率图像的下采样矩阵，H_k为第k帧低分辨率图像的模糊矩阵，F_k为第k帧低分辨率图像的位移矩阵，Y_k为第k帧低分辨率图像。

6.根据权利要求1所述的方法，其中步骤(6)中采用分裂布雷格曼方法求解目标函数最小化问题，按如下步骤进行：

(6a)按照分裂布雷格曼方法，使用第t次迭代的松弛参数d_t对目标函数进行松弛，并加入第t次迭代的辅助参数b_t，其中d₀和b₀的值都为0；

(6b)固定辅助参数b_t-1和超分辨率重建图像求解松弛参数d_t：

其中，b_t-1为第t-1次迭代的辅助参数，d_t-1为第t-1次迭代的松弛参数，表示2范数，为求解松弛参数d的优化过程；

(6c)固定松弛参数d_t和超分辨率重建图像求解辅助参数b_t：

b_t＝b_t-1+(Υ(X_t)-d_t)；

(6d)计算全变分项

(6e)计算邻域结构相似性双边结构相似距离矩阵W_t：

(6f)固定松弛参数d_t和辅助参数b_t，求出超分辨率重建图像

其中，为获得超分辨率重建图像的优化过程。

7.根据权利要求1所述的方法，其中步骤(7)中计算相邻两次超分辨率重建图像的欧氏距离E，按如下步骤进行：

其中，为第t次迭代的超分辨率重建图像，表示2范数。