CN103077505A - 基于字典学习和结构聚类的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于字典学习和结构聚类的图像超分辨率重建方法，主要解决现有技术重建图像表面模糊，边缘锯齿化现象严重的问题。其实现步骤是：（1）采集训练样本；（2）对训练样本进行结构聚类；（3）利用OMP和K-SVD的方法训练得到各类的字典；（4）求出输入的低分辨率图像块的稀疏表示系数；（5）利用高分辨率字典和稀疏系数重建高分辨率图像块；（6）对高分辨率图像块加权求和，得到加权求和后的高分辨率图像块；（7）根据高分辨率图像块，得到高分辨率图像；（8）通过误差补偿，对高分辨率图像进行高频信息增强，得到最终的结果。仿真实验表明，本发明具有图像表面清晰，边缘比较锐化的优点，可用于图像识别以及目标分类。

Description

基于字典学习和结构聚类的图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，涉及一种图像的超分辨率重建方法，可用于各种自然图像的超分辨率重建，并且对小噪声有一定的抑制作用。

背景技术

在实际应用中，受成像系统物理分辨率限制，以及场景变化与天气条件等诸多因素的影响，实际成像过程中往往存在光学与运动模糊、欠采样和噪声等退化因素，导致成像系统只能得到质量较差、分辨率较低的图像或图像序列，通常满足不了实际的应用要求，这给后续的图像处理、分析和理解带来诸多困难，不利于人们正确地认识客观世界及其规律。

解决这一问题一个实用而有效的方法就是图像超分辨重建技术，其不需要昂贵的图像获取设备，只需要通过计算机软件的处理就能够获得更高分辨率的图像。一般说来，图像超分辨技术主要分为三种类型：基于插值的方法、基于重构的方法和基于学习的方法。其中：

基于插值的方法，如最邻近插值法和立方插值法，进行超分辨率重建时会造成图像表面比较模糊，高频信息会丢失严重，尤其是边缘锯齿化现象明显，严重影响图像质量。

基于重建的方法由于人为强加的图像先验，导致高分辨图像边缘有锯齿化现象出现，并且在高放大因子条件下重建图像的质量严重退化。这些图像超分辨方法虽然存在过平滑、边缘有锯齿化现象等缺陷，但在技术上取得了一定突破，已经趋于成熟并在电子图像、互联网视频、数字电视等多个领域获得广泛应用。近年来，随着机器学习和压缩感知理论的不断发展，

基于学习的图像超分辨方法，是近年来由Freeman等人首先提出的一种图像分辨方法，其内容是通过马尔科夫随机场和先验知识来学习低分辨率图像和高分辨率图像之间的关系，然后重构出高分辨图像，但这种方法不能很好地保持高分辨图像的高频细节，并且计算复杂度较大，效率偏低。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于字典学习和结构聚类的图像超分辨率重建方法，以避免图像超分辨率重建时，导致重建图像的细节丢失严重以及图像边缘有振铃现象。

实现本发明的技术思路是：利用图像结构信息的不同，对训练样本对进行结构聚类，并获得各类的字典对包括低分辨率字典及其对应的高分辨率字典，通过重建算法得到一幅高分辨率、高清晰的图像。其具体步骤包括如下：

（1）从样本数据库中采集训练样本对M=[M_h;M_l]，其中，M_h表示高分辨率样本集，M_l表示对应的低分辨率样本集；

（2）对采集到的训练样本对M进行结构聚类；

（2a）按如下公式提取高分辨率样本块M_hz各个像素点的结构特征值Y_hz(j,k)：

$Y_{\mathrm{hz}}(j,k)=\frac{\sqrt{\det \left(C_z\right)}}{2\mathrm{\π}{h}^2}\exp \{-\frac{(x-x_{j,k})C_z{(x-x_{j,k})}^T}{{2h}^2}\},$

得到高分辨率样本块M_hz的结构特征矩阵Y_hz，其中，M_hz表示高分辨率样本集M_h的第z个高分辨率样本块，C_z表示高分辨率样本块M_hz的梯度的协方差矩阵，x表示高分辨率样本块M_hz的中心像素点的位置坐标，x_j，k表示高分辨率样本块M_hz的像素点M_hz(j,k)的位置坐标，h表示常量，det表示求矩阵的行列式，T表示矩阵的转置，exp表示指数；

（2b）根据步骤（2a）计算出高分辨率样本集M_h的结构特征矩阵Y_h，利用KMEANS方法对结构特征矩阵Y_h进行聚类，并聚成N类，其中，1≤N≤100；

（3）利用正交匹配追踪OMP算法和K-SVD的方法以及各类的训练样本对M_i，求得字典对D_i包括高分辨率字典D_hi及其低分辨率字典D_li，其中，M_i表示第i类的训练样本对，1≤i≤N；

（4）输入一幅待处理的低分辨率图像y，将低分辨率图像y按照阵列式扫描方式，得到低分辨率图像块y_p，其中，1≤p≤L，L表示图像块的数目，利用公式

求解得到低分辨率图像块y_p在低分辨率字典D_li下的稀疏表示系数β_i，式中，表示向量的l₂范数，||||₁表示向量的l₁范数，F表示特征提取因子，用来提取图像的特征，λ表示正则项参数；

（5）利用高分辨率字典D_hi及稀疏系数β_i，重建得到高分辨率图像块X_pi=D_hiβ_i；

（6）对高分辨率图像块X_pi加权求和，得到加权求和后的高分辨率图像块X_p；

（7）按照矩阵式扫描方式依次将各个加权求和后的高分辨率图像块X_p放入各自对应的图像位置中，得到高分辨率图像X；

（8）对高分辨率图像X，利用误差补偿，增强高频信息，得到高频信息增强后的高分辨图像X^*。

本发明与现有的技术相比具有以下优点：

1.本发明利用样本图像结构信息的不同，对样本图像进行聚类，可使得结构相同或相似的图像聚成一类；

2.本发明利用OMP算法和K-SVD算法对聚类图像进行训练，得到的字典对更加合理；

3.本发明利用加权求和的方法，使得图像之间得到充分的信息互补，对高分辨率图像的细节估计会更加准确；

4.本发明可利用单帧图像实现图像超分辨率重建，得到的高分辨率图像更加清晰，内容更加丰富。

附图说明

图1是本发明基于字典学习和结构聚类的图像超分辨率重建方法总流程图；

图2是本发明采用的测试图像；

图3是用本发明与现有两种方法对图2中的第1幅图像重构结果对比图；

图4是用本发明与现有两种方法对图2中的第2幅图像重构结果对比图；

图5是用本发明与现有两种方法对图2中的第3幅图像重构结果对比图；

图6是用本发明与现有两种方法对图2中的第4幅图像重构结果对比图。

具体实施方式

下面结合附图1对本发明的步骤作进一步的详细描述。

步骤1.从样本数据库中采集训练样本对M=[M_h;M_l]，其中，M_h表示高分辨率样本集，M_l表示对应的低分辨率样本集，其中，训练样本对M的数目num=100000。

步骤2.对采集到的高分辨率样本集M_h进行结构聚类。

（2a）求解高分辨率样本块M_hz的梯度，得到梯度矩阵G_z，对梯度矩阵G_z进行奇异值分解：

$G_z=U_z{S}_z{V}_z^T,$

其中，S_z是2x2的矩阵，表示图像块主要方向的能量， $S_z=\left[\begin{array}{cc}{s}_1& \\ & s_2\end{array}\right],$

V_z是2x2的矩阵，表示图像块主要的角度方向， $V_z=\left[\begin{array}{cc}{v}_1& -v_2\\ v_2& v_1\end{array}\right],$

U_z表示nx2的矩阵，n表示梯度矩阵G_z的维数；

（2b）由步骤（2a）得到高分辨率样本块M_hz的伸长率σ_z，尺度参数γ_z以及方向角度参数θ_z，其公式分别如下：

${\mathrm{\σ}}_z=\frac{s_1+{\mathrm{\λ}}_1}{s_2+{\mathrm{\λ}}_1},$

${\mathrm{\γ}}_z={\left(\frac{s_1{s}_2+{\mathrm{\λ}}_2}{M}\right)}^{\frac{1}{2}},$

${\mathrm{\θ}}_z=\arctan \left(\frac{v_1}{v_2}\right),$

其中，λ₁，λ₂表示常量，在仿真实验中，设置λ₁=1.0，λ₂=0.01，M表示高分辨率样本块M_hz的维数；

（2c）按如下公式提取高分辨率样本块M_hz各个像素点的结构特征值Y_hz(j,k)：

$Y_{\mathrm{hz}}(j,k)=\frac{\sqrt{\det \left(C_z\right)}}{2\mathrm{\π}{h}^2}\exp \{-\frac{(x-x_{j,k})C_z{(x-x_{j,k})}^T}{{2h}^2}\},$

得到高分辨率样本块M_hz的结构特征矩阵Y_hz，其中，M_hz表示高分辨率样本集M_h的第z个高分辨率样本块，C_z表示高分辨率样本块M_hz的梯度的协方差矩阵，x表示高分辨率样本块M_hz的中心像素点的位置坐标，x_j，k表示高分辨率样本块M_hz的像素点M_hz(j,k)的位置坐标，h表示常量，det表示求矩阵的行列式，T表示矩阵的转置，exp表示指数；

（2d）计算协方差矩阵C_z为：

$C_z={\mathrm{\γ}}_z{U}_{{\mathrm{\θ}}_z}{\mathrm{\Λ}}_z{U}_{{\mathrm{\θ}}_z}^T,$

其中，

表示旋转矩阵， $U_{{\mathrm{\θ}}_z}=\left[\begin{array}{cc}\cos {\mathrm{\θ}}_z& \sin {\mathrm{\θ}}_z\\ -\sin {\mathrm{\θ}}_z& \cos {\mathrm{\θ}}_z\end{array}\right],$

Λ_z表示伸长矩阵， ${\mathrm{\Λ}}_z=\left[\begin{array}{cc}{\mathrm{\σ}}_z& \\ & {\mathrm{\σ}}_z^{-1}\end{array}\right];$

（2e）根据步骤（2b），步骤（2c）以及步骤（2d），计算出图像块M_hz的结构特征矩阵Y_hz；

（2f）利用KMEANS方法对高分辨率样本集M_h的结构特征矩阵Y_h进行聚类，把训练样本对聚成N类，在仿真实验中，设置N=5。

步骤3.利用正交匹配追踪OMP算法和K-SVD的方法以及各类的训练样本对M_i，求得字典对D_i包括高分辨率字典D_hi及其对应的低分辨率字典D_li，其中，1≤i≤N。

步骤4.输入一幅待处理的低分辨率图像y，将低分辨率图像y按照阵列式扫描方式，得到低分辨率图像块y_p，其中，1≤p≤L，L表示图像块的数目，利用公式

求解得到低分辨率图像块y_p在低分辨率字典D_li下的稀疏表示系数β_i，式中，表示向量的l₂范数，||||₁表示向量的l₁范数，λ表示正则项参数，F表示特征提取因子，用来提取图像的特征，在仿真实验中，设置特征提取因子F为一维滤波器组，其表达式为：l₁=[-1,0,1],

l₃=[1,0,-2,0,1],

T表示矩阵的转置。

步骤5.利用高分辨率字典D_hi及稀疏系数β_i，重建得到一幅高分辨率图像块X_pi=D_hiβ_i。

步骤6.对高分辨率图像块X_pi加权求和，得到加权求和后的高分辨率图像块X_p。

（6a）按如下公式求权值ω：

$\mathrm{\ω}=\frac{1}{\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_k-X_{\mathrm{pi}}){(X_k-X_{\mathrm{pi}})}^T}},$

其中，X_k表示均值图像块;

（6b）根据高分辨率图像X_pi和权值ω，按如下公式得到加权求和后的高分辨率图像块X_p：

$X_p=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_i{X}_{\mathrm{pi}},$

步骤7.按照矩阵式扫描方式依次将各个加权求和后的高分辨率图像块X_p放入各自对应的图像位置中，得到高分辨率图像X；

步骤8.对高分辨率图像X，利用误差补偿，增强高频信息，得到高频信息增强后的高分辨图像X^*。

(7a)计算高分辨率图像X和待处理的低分辨率图像y之间的误差E：

E=y-G[(X*g)]，

其中，G为高斯下采样算子，g为高斯平滑矩阵， $g=\frac{1}{16}\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 2\end{array}\right];$

(7b)对误差E进行上采样，对加权求和后的高分辨率图像X进行高频信息增强，得到高频信息增强后的高分辨图像X^*：

X^*=(X)^t+1=(X)^t+p.E↑^d，

其中，t表示迭代次数，p表示收敛因子，↑^d表示上采样函数，在仿真实验中，设置迭代次数t20，收敛因子p=1。

本发明的效果可以通过以下实验仿真进一步得到说明：

1．仿真条件

本实验采用标准的测试图像如图2所示，其中，图2（a）表示girl图像，图2（b）表示lena图像，图2（c）表示hat图像，图2（d）表示parrots图像；采用软件MATLAB7.12（R2011a）作为仿真工具，计算机配置为intel Core i7/2.0GHz/8G。

2．仿真方法

在相同的测试图像上，采用对比实验的形式，选择双三次样条插值Bi-cubic以及一个具有代表性的图像超分辨率重建方法与本发明的仿真结果进行比较，以验证本发明的有效性。一个具有代表性的图像超分辨率重建方法为：

方法1：Yang等人提出的方法，具体参考文献“J.Yang,J.Wright,T.Huang,andY. Ma,“Image super-resolution via sparse representation”,IEEE.Trans.Image Process,vol.19，no.11,pp.2861-2873,Nov.2010”。

3.仿真内容

仿真1，对附图2中4幅测试图像，在放大倍数为3时，用Bi-cubic方法分别进行超分辨重建，超分辨重建结果评价指标如表1的第3列所示，超分辨重建结果分别如图3（a）、图4（a）、图5（a）和图6（a）所示；

仿真2，对附图2中4幅测试图像，在放大倍数为3时，用方法1分别进行超分辨重建，超分辨重建结果评价指标如表1的第4列所示，超分辨重建结果分别如图3（b）、图4（b）、图5（b）和图6（b）所示；

仿真3，对附图2中4幅测试图像，在放大倍数为3时，用本发明分别进行超分辨重建，超分辨重建结果评价指标如表1的第5列所示，超分辨重建结果分别如图3（c）、图4（c）、图5（c）和图6（c）所示。

通过四幅图像的比较可以看出：

从整体视觉效果上看，三种方法获得的重建图像相比较，用Bi-cubic方法获得的重建图像表面比较模糊，亮度有点暗，高频细节丢失严重，而用方法1以及本发明方法获得的重建图像表面清晰，分辨率比较高，高频细节虽有所丢失但现象不明显。

从局部视觉效果上看，三种方法获得的重建图像相比较，用Bi-cubic方法获得的重建图像边缘振铃效应明显，锯齿化现象严重，严重影响图像质量，用方法1获得的重建图像边缘有较弱的振铃效应，而用本发明能有效减弱振铃效应，使得图像边缘纹理清晰。

本发明采用的评价指标为峰值信噪比PSNR、结构相似度SSIM和平均结构相似度MSSIM，其中，峰值信噪比PSNR值越大，则说明图像超分辨重建的效果好，结构相似度SSIM和平均结构相似度MSSIM值都是越接近1，则说明图像超分辨重建的效果好。

表14幅测试图不同方法实验结果比较

从表1可以看出，在评价指标上，本发明要优于其他两种方法。

对于girl图像，本发明的重建图像的评价指标PSNR值要比Bi-cubic方法高将近0.72dB，比方法1高将近0.14dB；

对于lena图像，本发明的重建图像的评价指标PSNR值要比Bi-cubic方法高将近1.47dB，比方法1高将近0.54dB；

对于hat图像，本发明的重建图像的评价指标PSNR值要比Bi-cubic方法高将近1.04dB，比方法1高将近0.35dB；

对于parrots图像，本发明的重建图像的评价指标PSNR值要比Bi-cubic方法高将近1.45dB，比方法1高将近0.3dB。

综上，本发明相比于现有的自然图像超分辨重建算法，不管从主观视觉质量上，还是从客观参数的评价上看都具有优越性。利用本发明进行超分辨率重建，能够重建出图像表面比较清晰，图像亮度比较适中，分辨率比较高的高分辨率图像，是一种可行有效的自然图像超分辨重建方法。

Claims (3)

1.一种基于字典学习和结构聚类的图像超分辨率重建方法，包括如下步骤：

（1）从样本数据库中采集训练样本对M=[M_h;M_l]，其中，M_h表示高分辨率样本集，M_l表示对应的低分辨率样本集；

（2）对采集到的训练样本对M进行结构聚类；

（2a）按如下公式提取高分辨率样本块M_hz各个像素点的结构特征值Y_hz(j,k)：

$Y_{\mathrm{hz}}(j,k)=\frac{\sqrt{\det \left(C_z\right)}}{2\mathrm{\π}{h}^2}\exp \{-\frac{(x-x_{j,k})C_z{(x-x_{j,k})}^T}{{2h}^2}\},$

得到高分辨率样本块M_hz的结构特征矩阵Y_hz，其中，M_hz表示高分辨率样本集M_h的第z个高分辨率样本块，C_z表示高分辨率样本块M_hz的梯度的协方差矩阵，x表示高分辨率样本块M_hz的中心像素点的位置坐标，x_j，k表示高分辨率样本块M_hz的像素点M_hz(j,k)的位置坐标，h表示常量，det表示求矩阵的行列式，T表示矩阵的转置，exp表示指数；

（2b）根据步骤（2a）计算出高分辨率样本集M_h的结构特征矩阵Y_h，利用KMEANS方法对结构特征矩阵Y_h进行聚类，并聚成N类，其中，1≤N≤100；

（3）利用正交匹配追踪OMP算法和K-SVD的方法以及各类的训练样本对M_i，求得字典对D_i包括高分辨率字典D_hi及其低分辨率字典D_li，其中，M_i表示第i类的训练样本对，1≤i≤N；

（4）输入一幅待处理的低分辨率图像y，将低分辨率图像y按照阵列式扫描方式，得到低分辨率图像块y_p，其中，1≤p≤L，L表示图像块的数目，利用公式

求解得到低分辨率图像块y_p在低分辨率字典D_li下的稀疏表示系数β_i，式中，

表示向量的l₂范数，||||₁表示向量的l₁范数，F表示特征提取因子，用来提取图像的特征，λ表示正则项参数；

（5）利用高分辨率字典D_hi及稀疏系数β_i，重建得到高分辨率图像块X_pi=D_hiβ_i；

（6）对高分辨率图像块X_pi加权求和，得到加权求和后的高分辨率图像块X_p；

（7）按照矩阵式扫描方式依次将各个加权求和后的高分辨率图像块X_p放入各自对应的图像位置中，得到高分辨率图像X；

（8）对高分辨率图像X，利用误差补偿，增强高频信息，得到高频信息增强后的高分辨图像X^*。

2.根据权利1所述的基于字典学习和结构聚类的图像超分辨率重建方法，其特征在于：步骤（2a）中所述的提取高分辨率样本块M_hz各个像素点的结构特征值Y_hz(j,k)，得到高分辨率样本块M_hz的结构特征矩阵Y_hz，按如下步骤进行：

（2a1）求解高分辨率样本块M_hz的梯度，得到梯度矩阵G_z，对梯度矩阵G_z奇异值分解：

$G_z=U_z{S}_z{V}_z^T,$

其中，S_z是2x2的矩阵，表示高分辨率样本块M_hz主要方向的能量， $S_z=\left[\begin{array}{cc}{s}_1& \\ & s_2\end{array}\right],$

V_z是2x2的矩阵，表示高分辨率样本块M_hz主要的角度方向， $V_z=\left[\begin{array}{cc}{v}_1& -v_2\\ v_2& v_1\end{array}\right],$

U_z表示nx2的矩阵，n表示梯度矩阵G_z的维数；

（2a2）由步骤（2a1）得到高分辨率样本块M_hz的伸长率σ_z，尺度参数γ_z以及方向角度参数θ_z，其公式分别如下：

${\mathrm{\σ}}_z=\frac{s_1+{\mathrm{\λ}}_1}{s_2+{\mathrm{\λ}}_1},$

${\mathrm{\γ}}_z={\left(\frac{s_1{s}_2+{\mathrm{\λ}}_2}{M}\right)}^{\frac{1}{2}},$

${\mathrm{\θ}}_z=\arctan \left(\frac{v_1}{v_2}\right),$

其中，λ₁，λ₂表示常量，在仿真实验中，设置λ₁=1.0，λ₂=0.01，M表示高分辨率样本块M_hz的维数；

（2a3）按如下公式提取高分辨率样本块M_hz各个像素点的结构特征值Y_hz(j,k)：

$Y_{\mathrm{hz}}(j,k)=\frac{\sqrt{\det \left(C_z\right)}}{2\mathrm{\π}{h}^2}\exp \{-\frac{(x-x_{j,k})C_z{(x-x_{j,k})}^T}{{2h}^2}\},$

得到高分辨率样本块M_hz的结构特征矩阵Y_hz，其中，M_hz表示高分辨率样本集M_h的第z个高分辨率样本块，C_z表示高分辨率样本块M_hz的梯度的协方差矩阵，x表示高分辨率样本块M_hz的中心像素点的位置坐标，x_j，k表示高分辨率样本块M_hz的像素点M_hz(j,k)的位置坐标，h表示常量，det表示求矩阵的行列式，T表示矩阵的转置，exp表示指数；

（2a4）计算协方差矩阵C_z为：

$C_z={\mathrm{\γ}}_z{U}_{{\mathrm{\θ}}_z}{\mathrm{\Λ}}_z{U}_{{\mathrm{\θ}}_z}^T,$

其中，表示旋转矩阵， $U_{{\mathrm{\θ}}_z}=\left[\begin{array}{cc}\cos {\mathrm{\θ}}_z& \sin {\mathrm{\θ}}_z\\ -\sin {\mathrm{\θ}}_z& \cos {\mathrm{\θ}}_z\end{array}\right],$

Λ_z表示伸长矩阵， ${\mathrm{\Λ}}_z=\left[\begin{array}{cc}{\mathrm{\σ}}_z& \\ & {\mathrm{\σ}}_z^{-1}\end{array}\right];$

（2a5）根据步骤（2a2），步骤（2a3）以及步骤（2a4），计算出图像块M_hz的特征矩阵Y_hz。

3.根据权利1所述的基于字典学习和结构聚类的图像超分辨率重建方法，其特征在于：步骤（6）中所述的对高分辨率图像块X_pi加权求和，得到加权求和后的高分辨率图像块X_p，按如下步骤进行：

（6a）按如下公式求权值ω：

$\mathrm{\ω}=\frac{1}{\sqrt{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(X_k-X_{\mathrm{pi}}){(X_k-X_{\mathrm{pi}})}^T}},$

其中，X_k表示均值图像块；

（6b）根据高分辨率图像块X_pi和权值ω，按如下公式得到加权求和后的高分辨率图像块X_p：

$X_p=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_i{X}_{\mathrm{pi}}.$

Images