CN103093444A

CN103093444A - 基于自相似性和结构信息约束的图像超分辨重建方法

Info

Publication number: CN103093444A
Application number: CN2013100176381A
Authority: CN
Inventors: 张小华; 代坤鹏; 焦李成; 侯彪; 田小林; 马文萍; 马晶晶; 郝阳阳; 马兆峰
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2013-01-17
Filing date: 2013-01-17
Publication date: 2013-05-08
Anticipated expiration: 2033-01-17
Also published as: CN103093444B

Abstract

本发明公开一种基于自相似性和结构信息约束的图像超分辨重建方法。实现步骤为：(1)从图像库中取z幅图像，对每幅图像进行模拟降质，生成低分辨图像，构造字典训练样本集；(2)对字典训练样本集，用K-SVD方法学习一对高低分辨率字典；(3)对待处理的低分辨图像X_t使用尺度旋转变换查找与图像块x_i最相似的k个相似块{p₁,p₂,…,p_k}；(4)对图像块x_i用得到的k个相似块{p₁,p₂,…,p_k}来约束求解其稀疏表示系数A；(5)用稀疏表示系数A结合高分辨字典D_H得到k个重建结果；(6)利用低秩表示模型，用低分辨率下的相似块{p₁,p₂,…,p_k}来修正重建结果相似度；(7)用修正后的相似度结合重建结果得到最终的结果；依次重复上述步骤得到最终高分辨图像Y_H。本发明具有重建结果结构信息保持好的优点，可用于图像识别以及目标分类。

Description

基于自相似性和结构信息约束的图像超分辨重建方法

技术领域

本发明属于数字图像处理技术领域，涉及图像的超分辨率重构方法，可用于各种自然图像的超分辨重构。

背景技术

图像在获取和传输的过程中，经常会受成像系统物理分辨率限制，以及场景变化与天气条件等诸多因素的影响，以至降低了原图像的分辨率，不仅影响人的主观视觉效果，而且严重阻碍了后续的目标分类与识别工作。因此，图像超分辨重建已成为必不可少的一个关键步骤，该技术能够恢复图像原貌、改善图像质量、突出图像本身的特征，从而为后续的图像处理、分析和理解打下良好基础。

目前图像超分辨技术主要分为三种类型：基于插值的方法、基于重构的方法和基于实例学习的方法；其中基于重构的方法主要是利用一些图像的先验知识来进行高分辨图像细节的估计的，由于该类方法未考虑大量样本信息，只是利用低分辨图像自身进行高分辨细节估计，故而重建的高分辨图像质量提高有限，且其放大倍数也受到限制，一般放大到3倍图像质量已经严重失真；最近有学者提出基于实例学习的方法，有效的解决了该问题，本质上，基于实例学习的超分辨方法是一种非参数化的方法，不需依赖于任何假设的模型，通过字典从外界人为的给低分辨图像加入一些细节信息，所以它可以有效的克服以前的方法在放大倍数较大的情况下，恢复结果较差的问题，因而受到研究者的广泛关注。到目前为止，人们提出了很多基于实例学习的超分辨重建方法。2000年，Freeman等人首次提出了基于实例学习的图像超分辨方法。该方法利用马尔可夫网络建立低分辨与高分辨图像之间的映射关系，开创了利用统计机器学习方法实现图像超分辨恢复的研究领域。Sun等人在Freeman方法的基础上，提出利用图像的初始图先验增强图像边缘。Yang等人提出了基于稀疏表示先验的实例学习超分辨重建方法，通过学习输入低分辨图像块与实例样本集的稀疏表示关系，实现超分辨在高分辨样本空间的重建，能有效克服邻域嵌入方法使用固定个数的k近邻而导致的过拟合或欠拟合现象。但是由于基于稀疏表示的方法，在求解图像块稀疏表示系数时，都没有考虑图像的结构信息，故而重建的图像会出现一些人工痕迹和一些假的纹理信息；同时，由于图像超分辨过程中往往存在有一定的重构误差，这就导致了各个重建结果之间的相似度与它们之间的结构信息并不一致，有时则相差较大，这样就会影响到图像的重建效果。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于自相似性和结构信息约束的图像超分辨重建方法，以降低图像超分辨过程中重构误差的影响，有效地解决了重建图像中细节丢失，以及图像边缘振铃的问题，更好的恢复出图像的结构信息，提高图像的重构效果。

实现本发明的技术思路是：通过利用图像的自相似性来约束求解各个图像块的稀疏表示系数；结合低分辨率下的相似块，利用低秩表示来修正高分辨率下各图像块的相似度权值，更好的修复图像的结构信息，得到重建效果更好的高分辨率图像。其具体步骤包括如下：

(1)从自然彩色图像库中取z幅常见的自然彩色图像，60≤z≤70，对取出的每幅彩色图像进行模拟降质，生成对应的低分辨彩色图像；然后构造低分辨插值图像梯度特征块训练集L和高分辨图像高频细节训练集H，构成字典训练样本集

S = (\begin{matrix} L \\ H \end{matrix});

(2)对字典训练样本集S，利用K-SVD方法训练学习一对耦合字典其中，D_H为高分辨字典，D_L为低分辨字典，T表示矩阵转置；

(3)对低分辨图像X_t使用bicubic插值放大3倍，得到高分辨率图像的初始估计Y_S，把高分辨率图像的初始估计Y_S从RGB空间转换到YCbCr颜色空间，得到高分辨率图像的亮度分量初始估计Y₀、高分辨率图像蓝色色度分量估计Cb和高分辨率图像红色色度分量估计Cr；

（4）对待处理的低分辨图像X_t使用SIFT特征进行图像块相似块的查找，分别得到图像块x_i和与其最相似的k个相似块{p₁,p₂,…,p_k}，x_i表示第i个图像块，i∈{1,2,…,N},N表示X_t中图像块总数；

(5)利用k个相似块{p₁,p₂,…,p_k}约束求解图像块x_i在低分辨字典D_L下的稀疏表示系数，得到图像块{x_i,p₁,p₂,…,p_k}的稀疏表示系数矩阵A={a₁,a₂,…,a_k+1},其中a_j表示第j个图像块的稀疏表示系数，j∈{1,2,…,k+1}，k表示相似块的个数；

(6)利用高分辨字典D_H，使用公式X_H=D_H·A进行超分辨重建，得到高分辨图像块集X_H={D_Ha₁,D_Ha₂,…,D_Ha_k+1}；

(7)对重建结果X_H，利用低分辨率下图像块x_i和其k个相似块{p₁,p₂,…,p_k}修正重建结果X_H中各个图像块之间的相似度，得到修正后的相似度矩阵ω；

(8)对修改后的相似度矩阵ω结合高分辨重建结果X_H，使用公式X′_H=X_H·ω得到修正后的高分辨图像块X′_H={x′₁,x′₂,…,x′_k+1}，再利用公式

得到最终的高分辨重建结果y_i，其中，x′_s表示第s个修正后的高分辨图像块；

（9）对每个低分辨图像块x_i依次重复步骤（4）至步骤（8），得到重建的高分辨图像亮度分量Y_H，并结合高分辨率图像蓝色色度分量估计Cb和高分辨率图像红色色度分量估计Cr，合成最终的彩色高分辨率图像

本发明相比现有技术具有以下优点：

(1)本发明采用SIFT特征进行相似块搜索，考虑图像块的方向结构信息，对各个图像块进行角度调整，进而查找的相似块更加丰富和精确，为后面结构信息约束打下良好基础；

(2)本发明中，假设一组相似块在空间域是相似的，则它们在同一字典下的稀疏表示系数也是相似的。在求解图像块稀疏表示系数时引入结构先验约束，利用该图像块的相似块来约束其稀疏表示系数的求解；

(3)本发明在得到多个重建结果后，利用低秩表示对图像的结构信息有一定的修复作用，引入低秩表示相似度计算，结合低分辨率下相似块来修正高分辨率下重建结果的相似度，能更好的重建高分辨图像，使得重建的图像边缘更加清晰；

附图说明

图1是本发明的总流程图；

图2是本发明采用的仿真使用的测试图像；

图3是用本发明与现有三种方法对图2中的(1)图像重构结果对比图；

图4是用本发明与现有三种方法对图2中的(2)图像重构结果对比图；

图5是用本发明与现有三种方法对图2中的(3)图像重构结果对比图。

具体实施方式

为了在求解稀疏表示系数时引入结构信息，受非局部思想启发，首先，通过SIFT描述算子来旋转调整各个图像块的位置，能更精确的查找到一系列相似块；假设一组相似块在空间域是相似的，则它们在同一冗余字典下的稀疏表示系数也是相似的，故可以利用找到的一系列相似块来约束求解图像块的稀疏表示系数，由于考虑到图像块的结构信息，可以更精确的求解图像块的稀疏表示系数；由于图像超分辨过程中往往存在一定的重构误差，这就导致了计算各个重建结果之间的相似度时，有些结果之间的欧式距离不大，但是它们之间的结构信息有时则相差较大，这样就会影响到最终的重建结果，我们利用低分辨率下的相似块来修正高分辨率下重建结果的相似度，来进一步减小相似度不匹配所产生的影响；在这里，由于低秩表示不仅可以修补一些图像丢失的结构信息还可以求解图像块的相似度，故而，我们采用低秩表示来求解图像的相似度，以进一步提高图像的重建质量；

参照图1，本发明的具体实现步骤如下：

步骤1，对高分辨字典与低分辨字典进行学习。

1a）从自然彩色图像库中取z幅常见的自然彩色图像，60≤z≤70，使用降质模型：X=SGY，对z幅高分辨图像进行模拟降质，得到对应的低分辨图像库；接着将得到的低分辨图像库中的图像使用bicubic插值放大2倍，得到低分辨插值图像库，把图像库中的高分辨图像和低分辨插值图像从RGB空间转换到YCbCr颜色空间，分别得到低分辨插值图像的亮度分量Y_L，高分辨图像的亮度分量Y_H；本次实验中取z=65，其中，X表示经过降质后得到的低分辨图像，Y表示高分辨图像，G表示高斯模糊矩阵，S表示下采样矩阵；

1b)采用四个滤波算子：f₁=[-1,0,1],f₂=f₁ ^T,f₃=[1,0,-2,0,1],

对图像库中低分辨插值图像的亮度分量Y_L提取它们梯度特征信息，对图像库中的高分辨图像的亮度分量Y_H提取它们的高频信息，其中T表示矩阵的转置；

1c)对低分辨插值图像进行分块，得到大小为6×6的图像块

其中

表示四维的梯度特征向量。同时对相应的高分辨高频信息进行分块，分成大小为9×9的图像块

分别得到低分辨插值图像梯度特征训练集L和高分辨图像高频细节训练集H，构成字典训练样本集

S = (\begin{matrix} L \\ H \end{matrix});

1d)利用K-SVD字典学习方法，对字典训练样本集S进行字典学习训练，得到字典对

其中D_L为低分辨字典，D_H为高分辨字典。

步骤2，对待超分辨的低分辨图像X_t使用尺度不变特征变换SIFT进行相似块查找，具体步骤如下：

2a）将输入的待处理低分辨图像X_t使用bicubic插值放大2倍，得到插值图像，对插值图像进行滤波得到低分辨特征图像X₀；

2b）对低分辨图像X_t使用bicubic插值放大3倍，得到高分辨率图像的初始估计Y_S，把高分辨率图像的初始估计Y_S从RGB空间转换到YCbCr空间，分别得到高分辨率图像的亮度分量初始估计Y₀，高分辨率图像的蓝色色度分量估计值Cb和高分辨率图像的红色色度分量估计值Cr，其中，RGB空间表示图像的红绿蓝三原色空间，YCbCr空间表示亮度与色度空间；

2c）在低分辨特征图像X₀上重叠2个像素点进行图像分块，图像块的大小为6*6，得到图像块x_i，并在该图像块x_i的周围取大小为25*25搜索窗口T_i，然后对该搜索窗口T_i进行尺度不变特征变换SIFT，找出搜索窗口T_i中每个像素点j的主方向θ_ij，其中i表示第i个图像块，i∈{1,2,…,N}，N表示图像块总个数，j表示搜索窗口中第j个像素点，j∈{1,2,…,625}；

2d)对搜索窗口T_i进行分块，得到一组大小为11*11的查找块{G₁,G₂,…,G_M}，其中，M表示总的分块个数；

2e）对查找块G_v按照其中心像素点j的主方向θ_ij进行角度旋转调整，得到调整块

使得调整块

与图像块x_i的主方向一致，接着将调整块

下采样为大小为6*6的搜索块p_v，其中，v表示搜索窗口中第v个搜索块，v∈{1,2,…,M}；

2f）依次对搜索窗口中每个查找块G_v重复步骤2e)，得到各个角度调整后的搜索块{p₁,p₂,…,p_M}；

2g)对得到的角度调整后的各个图像搜索块p_v，使用公式：

计算搜索块p_v与图像块x_i的相似度ψ(x_i,p_v)，得到相似度向量{ψ₁，ψ₂,…，ψ_M},其中，h为调节参数；

2h）对这组相似度{ψ₁，ψ₂,…，ψ_M}进行排序，选取与图像块x_i最相似的k个相似块{p₁,p₂,…,p_k}。

步骤3，利用相似块引入结构信息约束，求解图像块x_i的稀疏表示系数，并结合高分辨字典D_H重建高分辨结果。

3a)将图像块x_i与k个相似块{p₁,p₂,…,p_k}分别拉成列向量，组成矩阵X={x_i,p₁,p₂,…,p_k}，使用SPGL1工具包求解稀疏约束模型：

得到稀疏表示系数矩阵A={a₁,a₂,…,a_k+1}；

其中，||||_1,2表示矩阵的l_1,2范数，

表示矩阵的l₂范数，D_L表示低分辨字典，a₁为图像块x_i的稀疏表示系数，a_i+1为p_i的稀疏表示系数，i∈{1,2,…,k}，ε表示重建误差，s.t.表示该公式的约束条件；

3b)利用得到的各个图像块的稀疏表示系数和高分辨字典D_H结合公式D_H·A,得到k+1个高分辨结果X_H={D_Ha₁,D_Ha₂,…,D_Ha_k+1}。

步骤4，结合低分辨率下的相似块，使用低秩表示修正k+1个高分辨结果之间的相似度，减小图像重构误差产生的影响，以便恢复出更好的图像结构信息。

4a)将图像块x_i与其k个相似块{p₁,p₂,…,p_k}分别拉成列向量，组成矩阵X={x_i,p₁,p₂,…,p_k}，利用低分辨率下的图像块矩阵X结合k+1个重建结果X_H，使用低秩模型：

\min {| | ω | |}_{*} + λ {| | E | |}_{2,1} s . t . [\begin{matrix} 1 / \sqrt{M} X \\ 1 / \sqrt{N} X_{H} \end{matrix}] = [\begin{matrix} 1 / \sqrt{M} X \\ 1 / \sqrt{N} X_{H} \end{matrix}] \cdot ω + E,

来修正k+1个重建结果之间的相似度ω，

其中，||||_2,1表示l_2,1范数，||||_*表示核范数，X表示低分辨率下的图像块矩阵，X_H表示高分辨率下重建结果矩阵，ω表示相似度矩阵，M表示低分辨相似块的维数，N表示高分辨重建结果的维数，E表示差异矩阵，表达式

和

分别用来平衡低分辨相似块与高分辨重建结果，参数λ用于平衡l_2,1范数和核范数；

4b)令

Z = [\begin{matrix} 1 / \sqrt{M} X \\ 1 / \sqrt{N} X_{H} \end{matrix}],

则可将步骤4a)中的低秩模型改写为：min||ω||_*+λ||E||_2,1s.t.Z=Z·ω+E，利用ALM方法求解该低秩模型，得到修正后的相似度矩阵ω。

步骤5，利用修正后的相似度，重建超分辨结果，具体步骤如下：

5a)利用修改后的相似度权值ω和高分辨重建结果X_H={D_Ha₁,D_Ha₂,…,D_Ha_k+1}，使用公式：X′_H=X_H·ω，得到修正重建误差后的结果X′_H={x′₁,x′₂，…,x′_k+1}；

5b)对上面的重建结果X′_H使用公式：

得到最终的高分辨重建结果y_i，y_i表示第i个高分辨图像块，i∈[1,N],N表示图像X_t中总的图像块数。

5c)对低分辨图像X_t依次重复步骤2中的2c)、2d)、2e)、2f)、2g)、2h)以及步骤3、4、和步骤5中5a）、5b），得到超分辨图像Y″_H；

5d）对得到超分辨图像Y″_H使用迭代反向投影IBP算法公式：

Y_{H} = \arg \min_{Y_{H}^{''}} {| | SG \cdot Y_{H}^{''} - X_{t} | |}_{2}^{2} + μ {| | Y_{H}^{''} - Y_{0} | |}_{2}^{2}

进行处理，得到最终高分辨图像亮度分量Y_H,通过上面处理，可以有效的消除重建图像中的块效应失真，其中，

表示矩阵的l₂范数，G表示高斯模糊矩阵，S表示下采样矩阵，参数μ用于平衡两个l₂范数；

5e)将得到的高分辨图像的亮度分量Y_H结合高分辨率图像的蓝色色度分量估计Cb和高分辨率图像的红色色度分量估计Cr，合成最终的彩色高分辨率图像

本发明的效果可以通过下面的仿真结果进一步说明：

1．仿真条件

从自然图像库中取65幅常见的自然图像，用来训练耦合双字典，分别为低分辨字典D_L和高分辨字典D_H；用本发明对3幅包含有不同内容的标准自然图像进行测试，它们分别为Flower图像，Hat图像和Bike图像见附图2；采用软件MATLAB7.12（R2011a）作为仿真工具，计算机配置为intel Core i7/2.0GHz/8G。

2．仿真方法

在相同的测试图像上，采用对比实验的形式，选择双三次样条插值Bicubic和两个具有代表性的超分辨算法与本发明的结果进行比较，以验证本发明的有效性。两个代表性超分辨方法分别为：

方法1，是J.Yang等人提出的方法，具体参考文献“J.Yang,J.Wright,T.Huang,andY. Ma，“Image super-resolution via sparse representation”,IEEE.Trans.Image Process,vol.19，no.11,pp.2861-2873,Nov.2010”；

方法2，是S.Yang等人提出的方法，具体参考文献“S.Yang,Z.Liu,and L.Jiao,“Multitask dictionary learning and sparse representation based single-imagesuper-resolution reconstruction,”Neurocomputing，vol.74,17(2011),pp.3193-3203”；

3.仿真内容

仿真1，对附图2中(1)、（2）和（3）三副测试图像，在放大倍数为3时，都用Bicubic插值方法分别进行超分辨重建，超分辨重建结果评价指标如表1的第2列所示，超分辨重建结果分别如图3（a）、4（a）和5（a）所示；

仿真2，对附图2中(1)、（2）和（3）三副测试图像，在放大倍数为3时，都用方法1分别进行超分辨重建，超分辨重建结果评价指标如表1的第3列所示，超分辨重建结果分别如图3（b）、4（b）和5（b）所示；

仿真3，对附图2中(1)、（2）和（3）三副测试图像，在放大倍数为3时，都用方法2分别进行超分辨重建，超分辨重建结果评价指标如表1的第4列所示，超分辨重建结果分别如图3（c）、4（c）和5（c）所示。

仿真4，对附图2中(1)、（2）和（3）三副测试图像，在放大倍数为3时，都用本发明方法分别进行超分辨重建，超分辨重建结果评价指标如表1的第5列所示，超分辨重建结果分别如图3（d）、4（d）和5（d）所示。

从图3中可以看出，Bicubic插值方法、方法1和方法2都会产生一些人工刻痕以及假纹理，本发明的结果恢复的纹理信息比较丰富以及规整。

从图4中帽子的边沿同样可以明显的看出Bicubic插值方法、方法1和方法2都会产生一些人工刻痕以及边缘振铃现象，而本发明的结果帽子边缘比较规整的。

本发明采用的评价指标为峰值信噪比PSNR、结构相似度SSIM和平均结构相似度MSSIM，其中，峰值信噪比PSNR值越大，则说明图像超分辨重建的效果好，结构相似度SSIM和平均结构相似度MSSIM值都是越接近1，则说明图像超分辨重建的效果好。

表13幅测试图不同方法实验结果比较

从表1可以看出，本发明重建结果各项指标都优于其他3种方法，对于图2中(1)图像，PSNR值要比Bicubic插值方法高将近1.45db，比方法1高将近0.6db，比方法2高将近0.24db；对于图2中(2)图像，PSNR值要比Bicubic插值方法高将近1.69db，比方法1高将近0.85db，比方法2高将近0.39db；对于图2中(3)图像，PSNR值要比Bicubic插值方法高将近1.5db，比方法1高将近0.6db，比方法2高将近0.22db。

综上，本发明相比于现有的自然图像超分辨重建算法，不管从客观参数的评价上，还是从主观视觉质量上看都具有优越性，能够有效的解决图像重建中存在重建误差的问题，也能很好的保持图像的结构信息，是一种可行有效的自然图像超分辨重建方法。

Claims

1.一种基于自相似性和结构信息约束的图像超分辨重建方法，包括如下步骤：

(5)利用k个相似块{p₁,p₂,…,p_k}约束求解图像块x_i在低分辨字典D_L下的稀疏表示系数，从而得到图像块{x_i,p₁,p₂,…,p_k}的稀疏表示系数矩阵A={a₁,a₂,…,a_k+1},其中a_j表示第j个图像块的稀疏表示系数，j∈{1,2,…,k+1}，k表示相似块的个数；

(8)对修改后的相似度矩阵ω结合高分辨重建结果X_H，使用公式X′_H=X_H·ω得到修正后的高分辨图像块X′_H＝{x,₁x′₂,…,x′_k+1}，再利用公式

2.根据权利要求1所述的基于自相似性和结构信息约束的图像超分辨重建方法，其中步骤(4)所述的对低分辨图像X_t使用SIFT特征进行图像块的相似块查找，按如下步骤进行：

2b）在低分辨特征图像X₀上按照阵列扫描的方法重叠2个像素点进行图像分块，图像块的大小为6*6，得到图像块x_i，并在该图像块x_i的周围取大小为25*25搜索窗口T_i，然后对该搜索窗口T_i进行尺度不变特征变换SIFT，找出搜索窗口T_i中每个像素点j的主方向θ_ij，其中，i表示第i个图像块，j表示搜索窗口中第j个像素点；

2c)对搜索窗口T_i进行分块，得到一组大小为11*11的查找块{G₁,G₂,…,G_M}，M表示总的分块个数；

2d）对查找块G_v按照其中心像素点j的主方向θ_ij进行角度旋转调整，得到调整块