CN103295197A - 基于字典学习和双边正则的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于字典学习和双边正则的图像超分辨率重建方法，主要解决现有字典学习方法的重建图像质量不高的问题。其主要步骤为：（1）得到初始的高分辨率图像

（2）训练初始的内字典集合d₀和初始的外字典集合D₀；（3）在初始的高分辨率图像

上计算初始的正则权值矩阵W₀；（4）对输入的初始高分辨率图像进行正则优化处理，得到优化图像

（5）应用初始的内字典集合d₀和初始的外字典集合D₀重建优化图像

得到重建后的图像

本发明能够对自然图像进行重建，并且能够有效的保持图像的边缘及纹理信息，可用于视频监控及视频转换。

Description

基于字典学习和双边正则的图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，涉及一种图像的超分辨率重建方法，可用于自然图像、遥感图像和医学图像的超分辨率重建。

背景技术

图像超分辨率重建是利用单幅或多幅低分辨率图像重建出一幅高分辨率图像的逆问题。为了解决这个问题，一些基于插值的方法和基于模型的重建方法被提出。插值的方法包括最近邻插值法和双线性插值法等，这类方法简单快速，但容易导致边缘模糊，达不到好的重建效果；基于模型的方法包括迭代反投影法、最大后验概率法、凸集投影法等，这类方法虽然能够产生较好的重建效果，但是重建模型的参数很难估计，提高图像分辨率的能力有限。随着机器学习技术的发展，大量的基于学习的超分辨率重建算法被提出。近年来比较流行的是Yang等人提出的基于稀疏表示的字典学习超分辨率重建方法，他们假设多数自然图像具有相似的结构表示基元，例如边缘、纹理等。自此，许多基于字典学习的重建方法得到了发展。

多数基于字典学习的重建方法可以有效利用外来高分辨样本图像的先验信息，但重建的图像质量存在不稳定性。当选择的高分辨样本图像不能有效提供待超图像丢失的信息时，重建效果会下降，并且这类方法忽略了待超图像本身的先验知识；另外，有些方法仅利用低分辨率图像自身的结构相似性实现分辨率提升，虽然充分利用了待超图像自身的先验信息，但该类方法受制于待超图像自身相似性的强弱，不能保证重建结果。

发明内容

本发明的目的在于针对基于字典学习的图像超分辨重建方法的缺点，提出一种基于字典学习和双边正则的图像超分辨率重建方法，充分利用待超低分辨图像提供的附加信息和外来的高分辨样本库的先验信息，提高图像重建的质量。

为实现上述目的，本发明的技术方案是：通过引入一个高分辨图像样本库，联合待超低分辨率图像的附加先验信息构造字典对，在降质模型的约束下设计目标优化函数，通过多次迭代得到高分辨图像。具体步骤包括如下：

(1)输入低分辨率图像I_l，对该低分辨率图像I_l作双线性插值处理，得到初始的高分辨率图像

(2)对初始高分辨率图像以0.8的比率做5个尺度的双线性插值处理，得到5幅插值图像O₁,O₂,O₃,O₄,O₅，对5幅插值图像O₁,O₂,O₃,O₄,O₅进行自适应的聚类字典训练，得到初始的内字典集合d₀和R个聚类中心C_center＝{C_i,i＝1,2,...,R}，用R个聚类中心C_center＝{C_i,i＝1,2,...,R}指导高分辨率样本库中的图像O₁',O'₂,O₃'的字典训练，得到初始的外字典集合D₀；

(3)在初始高分辨率图像上计算初始的正则权值矩阵W₀；

(4)设迭代次数为n，n＝0,1,2,...,299，初始迭代n＝0，重建超分辨率图像：

4a)输入初始迭代图像

根据初始的正则权值矩阵W₀，对输入图像

进行正则优化，得到优化图像

4b)应用初始的内字典集合d₀，初始的外字典集合D₀，R个聚类中心C_center＝{C_i,i＝1,2,...,R}和输入的迭代图像

对优化图像进行重建，得到重建后的图像

4c)设误差精度ε＝2e-9，N为重建图像中总的图像块个数，根据所述参数ε,N,

判断迭代是否终止，若

则终止迭代，输出重建图像

否则将重建图像

作为新的迭代输入图像，迭代次数加1,即n＝n+1，并设指示参数p1＝140；

4d)根据参数p1,n判断是否更新初始的外字典集合D₀，初始的内字典集合d₀和初始的权值矩阵W₀，若n为p1的整数倍，则将初始的内字典集合D₀更新为D_n，将初始的内字典集合d₀更新为d_n，将初始的权值矩阵W₀更新为W_n；否则不更新，返回步骤4a)。

本发明与现有的技术相比具有以下优点：

1)本发明充分利用了高分辨率训练样本图像的先验知识和低分辨率图像的附加先验知识，克服了传统的基于字典学习的重建方法无法有效补充低分辨率图像缺失信息的缺点，能够更加高效和定向的补充低分辨率图像缺失的信息；

2)本发明的重建过程中应用了带方向信息的非局部双边正则约束项，在进行相似块匹配时，综合考虑了图像块的亮度距离、几何位置距离以及方向信息，克服了传统的非局部正则技术仅利用亮度距离衡量图像块相似性的缺点，有效提高了相似块匹配的精度。

实验表明，本发明适用于自然图像的超分辨率重建，较好的保持了图像的边缘以及纹理细节信息。

附图说明

图1是本发明的总流程图；

图2是本发明采用的三幅高分辨率训练样本图像；

图3是本发明用到的四幅测试图像的原始高分辨率图像；

图4是用本发明和现有三种重建方法对测试图像Foreman的重建效果图；

图5是用本发明和现有三种重建方法对测试图像Leaves的重建效果图；

图6是用本发明和现有三种重建方法对测试图像Cameraman的重建效果图；

图7是用本发明和现有三种重建方法对测试图像House的重建效果图。

具体实施方式

参照附图1，本发明的实现步骤如下：

步骤1.对5幅插值图像O₁,O₂,O₃,O₄,O₅进行自适应的聚类字典训练，得到初始的内字典集合d₀和R个聚类中心C_center＝{C_i,i＝1,2,...,R}。

1a)分别提取5幅插值图像O₁,O₂,O₃,O₄,O₅的高频特征，得到对应的高频特征图G₁,G₂,G₃,G₄,G₅；

1b)分别在5幅插值图O₁,O₂,O₃,O₄,O₅和5幅高频特征图G₁,G₂,G₃,G₄,G₅上取7×7的图像块；将这5幅插值图上获取的所有图像块以列向量的形式依次排列，形成图像块集合

将这5幅高频特征图上获取的所有特征块以列向量的形式依次排列，形成特征块集合

1c)利用K均值聚类的方法对特征块集合进行聚类，得到R个聚类中心C_center＝{C_i,i＝1,2,...,R}；

1d)根据R个聚类中心C_center＝{C_i,i＝1,2,...,R}和特征块集合

将图像块集合

分为R个图像块子集：利用主成分分析法对这R个图像块子集进行训练，得到R个字典

1e)将这R个字典

顺序排列，构成内字典集合

上述步骤1c)中所用的聚类方法包括K均值聚类方法，模糊C均值聚类方法等，本实例采用但不局限于为K均值聚类方法，K均值聚类方法的程序调用自“WeishengDong,Guangming Shi,Lei Zhang,and Xiaolin Wu,Image Deblurring andSuper-Resolution by Adaptive Sparse Domain Selection and Adaptive Regularization[J].IEEE Transactions on image processing,vol.20,no.7,pp.1838-1857,July2011.”。

上述步骤1d)中所用的训练字典的方法包括K-奇异值分解法，主成分分析法等，本实例采用但不局限于为主成分分析法，主成分分析法的程序调用自“Weisheng Dong,Guangming Shi,Lei Zhang,and Xiaolin Wu,Image Deblurring and Super-Resolution byAdaptive Sparse Domain Selection and Adaptive Regularization[J].IEEE Transactionson image processing,vol.20,no.7,pp.1838-1857,July2011.”。

步骤2.用R个聚类中心C_center＝{C_i,i＝1,2,...,R}指导图2中的3幅高分辨率样本库中的图像O₁',O'₂,O₃'的字典训练，得到初始的外字典集合D₀。

2a)分别提取图2中的3幅高分辨率图像O₁',O'₂,O₃'的高频特征，得到对应的高频特征图G₁',G'₂,G₃'；

2b)分别在图2中的3幅高分辨率图像O₁',O'₂,O₃'和3幅特征图G₁',G'₂,G₃'上取7×7的块，将这3幅高分辨率图像上获取的所有图像块以列向量的形式依次排列，形成图像块集合将这3幅高频特征图像上获取的所有特征块以列向量的形式依次排列，形成特征块集合

2c)根据R个聚类中心C_center＝{C_i,i＝1,2,...,R}和特征块集合

将图像块集合分为R个图像块子集：

利用主成分分析法对这R个图像块子集进行训练，得到R个字典

2d)将这R个字典

顺次排列，构成外字典集合

上述步骤2c)中所用的训练字典的方法包括K-奇异值分解法，主成分分析法等，本实例采用但不局限于为主成分分析法，主成分分析的法程序调用自“Weisheng Dong,Guangming Shi,Lei Zhang,and Xiaolin Wu,Image Deblurring and Super-Resolution byAdaptive Sparse Domain Selection and Adaptive Regularization[J].IEEE Transactionson image processing,vol.20,no.7,pp.1838-1857,July2011.”。

步骤3.在初始高分辨率图像

上计算初始的正则权值矩阵W₀。

3a)设图像块u_i为初始高分辨率图像的第i个图像块，设像素点c_i为图像块u_i的中心像素点，采用8个线性方向模板B₁,B₂,...,B₈和初始高分辨率图像

做卷积运算，该8个模板方向分别为0°,0°～45°,45°,45°～90°,90°,90°～135°,135°,135°～180°，每个模板的尺寸为7×7，卷积运算后，初始高分辨率图像

的每个像素点处有8个卷积值；

3b)将像素点c_i处的8个卷积值按降序排列为M₁,M₂,...,M₈，设该最大卷积值M₁是由模板B_x1,x1∈{1,2,...,8}和初始高分辨率图像卷积得到，设该次大卷积值为M₂由模板B_x2,x2∈{1,2,...,8}和初始高分辨率图像

卷积得到；计算所述两个卷积值M₁和M₂的差值Δ为：Δ＝M₁-M₂；

3c)计算像素点c_i处的8个卷积值M₁,M₂,...,M₈的标准差τ：

$\mathrm{\τ}=\frac{1}{8}\underset{j=1}{\overset{8}{\mathrm{\Σ}}}{(M_j-\frac{\underset{j=1}{\overset{8}{\mathrm{\Σ}}}{M}_j}{8})}^2;$

3d)根据差值Δ和标准差τ获得像素点c_i的主方向模板D：若Δ＞τ，则D＝B_x1,x1∈{1,2,...,；8}若Δ≤τ，则D为7×7的全1矩阵；

3e)在初始高分辨率图像

上，以像素点c_i为中心取12×12大小的相似窗，该相似窗排除像素点c_i，共有143个像素点c₁',c'₂,...,c₁'₄₃；

设图像块u_j是以该相似窗内第j个像素点c'_j为中心的图像块，j＝1,2,...,143，设像素点c_i在初始高分辨率图像

上的二维坐标为Z_i(x,y)，设像素点c'_j在初始高分辨率图像

上的二维坐标为Z_j(x,y)；

3f)利用主方向模板D，坐标Z_i(x,y)和坐标Z_j(x,y)，计算所述像素点c'_j和所述像素点c_i的亮度值欧氏距离

几何位置欧氏距离和总距离

$d_{1c_j^{\text{'}}}={\left|\right|(u_i-u_j)\×D\left|\right|}_2^2/49,$

$d_{2c_j^{\text{'}}}={\left|\right|Z_i(x,y)-Z_j(x,y)\left|\right|}_2^2/49,$

$d_{c_j^{\text{'}}}=d_{1c_j^{\text{'}}}+d_{2c_j^{\text{'}}};$

3g)按照步骤3f)中所述方法，获得与像素点c_i距离最近的25个像素点{c'_pm,m＝1,2,...,25}，该25个像素点与像素点c_i的亮度值欧氏距离为

该25个像素点与像素点c_i的几何位置欧氏距离为 ${\{d}_{2c_{\mathrm{pm}}^{\text{'}}},m=\mathrm{1,2},...,25\};$

3h)设亮度平滑控制参数h₁＝300，设几何平滑控制参数h₂＝100，根据亮度平滑控制参数h₁和几何平滑控制参数h₂，将上述的亮度值欧氏距离

和几何位置欧氏距离

代入高斯核函数exp(.)，计算像素点c_i与像素点c'_pm的权重系数w(c_i,c'_pm)：

$w=(c_i,c_{\mathrm{pm}}^{\text{'}})=\exp (-\frac{d_{1c_{\mathrm{pm}}^{\text{'}}}}{h_1})\exp (-\frac{d_{2c_{\mathrm{pm}}^{\text{'}}}}{h_2});$

3i)重复步骤3a)到步骤3h)，获得初始高分辨率图像

中的全部像素点的权重系数，将所有权重系数按照坐标顺序排列，形成初始的正则权值矩阵W₀：

$W_0\left\{\begin{array}{c}w(c_i,c_{\mathrm{pm}}^{\text{'}}),c_i\∈I_h^0,c_{\mathrm{pm}}^{\text{'}}\∈I_h^0,m=\mathrm{1,2},...,25\\ 0\end{array}.\right.$

步骤4.输入初始迭代图像

根据初始的正则权值矩阵W₀，对输入图像

进行正则优化，得到优化图像

4a)设矩阵C为采样矩阵，设低分辨图像为I_l，设未知高分辨率图像为I_h，设正则参数β＝0.18，设矩阵E为单位矩阵；

4b)根据非局部正则权值矩阵W₀和步骤4a)中的参数，得到正则优化公式为： $I_h=\underset{I_h}{\arg \min }({\left|\right|I_l-{\mathrm{CI}}_h\left|\right|}_2^2+\mathrm{\β}{\left|\right|(E-W_0)I_h\left|\right|}_2^2),$ 其中

是l₂范数求值函数；

4c)设常量矩阵 ${\tilde{I}}_l=\left[\begin{array}{c}{I}_l\\ 0\end{array}\right],$ 设操作矩阵 $\tilde{K}=\left[\begin{array}{c}C\\ \mathrm{\β}(E-W_0)\end{array}\right],$ 根据常量矩阵

和操作矩阵

将公式 $I_h=\underset{I_h}{\arg \min }({\left|\right|I_l-{\mathrm{CI}}_h\left|\right|}_2^2+\mathrm{\β}{\left|\right|(E-W_0)I_h\left|\right|}_2^2)$ 简化为：

$I_h=\underset{I_h}{\arg \min }\left({\left|\right|{\tilde{I}}_l-{\tilde{K}I}_h\left|\right|}_2^2\right);$

4d)根据输入图像

和公式 $I_h=\underset{I_h}{\arg \min }\left({\left|\right|{\tilde{I}}_l-{\tilde{K}I}_h\left|\right|}_2^2\right),$ 利用梯度下降法计算优化图像

$I_h^{1/2}=I_h^0+{\tilde{K}}^T({\tilde{I}}_l-\widetilde{K{I}_h^0})=I_h^0+C^T{I}_l-C^T{C}_h^0-{\mathrm{\β}}^2{(E-W_0)}^T(E-W_0)I_h^0.$

该步骤4d)中l₂范数公式所用的求解方法包括梯度下降法，软阈值收缩法等，本实例采用但不局限于为梯度下降法，梯度下降法程序调用自“Weisheng Dong,Guangming Shi,Lei Zhang,and Xiaolin Wu,Image Deblurring and Super-Resolution byAdaptive Sparse Domain Selection and Adaptive Regularization[J].IEEE Transactionson image processing,vol.20,no.7,pp.1838-1857,July2011.”。

步骤5.应用初始的内字典集合d₀,初始的外字典集合D₀，R个聚类中心C_center＝{C_i,i＝1,2,...,R}和输入的迭代图像对优化图像

进行重建，得到重建后的图像

5a)提取优化图像

的高频特征，得到高频特征图像G；

5b)分别对优化图像

和高频特征图像G取7×7的块，该优化图像

上获取的所有图像块以列向量的形式依次排列，形成图像块集合

该高频特征图G上获取的所有特征块以列向量的形式依次排列，形成特征块集合

5c)根据R个聚类中心C_center＝{C_i,i＝1,2,...,R}和特征块集合

将图像块集合

分为s类图像块子集：s≤R；

5d)设优化图像

中的第i个图像块为u_i，设该图像块u_i属于第X类图像块子集T_X，X∈{1,2,...,s}，根据类别X，在外字典集合D₀中选择外字典

在内字典集合d₀中选择内字典

5e)设变量参数M为图像块子集T_X的均值，根据均值M，外字典

内字典

分别计算图像块u_i在外字典

上的稀疏表示系数α_D和图像块u_i在内字典

上的稀疏表示系数α_d：

${\mathrm{\α}}_D={\left(D_0^X\right)}^{T}M,$

${\mathrm{\α}}_d={\left(d_0^X\right)}^T(u_i-M);$

5f)设初始高分辨率图像

中的第i个图像块为u_i'，按照步骤5a）到步骤5e)中所述的方法，获得该图像块u_i'的外字典稀疏表示系数α'_D和该图像块u_i'的内字典稀疏表示系数α'_d；

5g)设阈值参数ε2＝0.35，根据阈值参数ε2，外字典稀疏表示系数α'_D，内字典稀疏表示系数α'_d，利用迭代加权的稀疏表示法,计算外字典正则参数λ_D和内字典正则参数λ_d：

${\mathrm{\λ}}_D=\frac{1}{{\mathrm{\α}}_D^{\text{'}}+\mathrm{\ϵ}2},$

${\mathrm{\λ}}_d=\frac{1}{{\mathrm{\α}}_d^{\text{'}}+\mathrm{\ϵ}2};$

5h)根据上述参数α_D，α_d，λ_D，λ_d，利用软阈值收缩法，将图像块u_i的外字典稀疏表示系数α_D更新为

将图像块u_i的内字典稀疏表示系数α_d更新为

${\mathrm{\α}}_D^1=\mathrm{sign}\left({\mathrm{\α}}_D\right)\×\max ((\mathrm{ads}\left({\mathrm{\α}}_D\right)-{\mathrm{\λ}}_D,0),$

${\mathrm{\α}}_d^1=\mathrm{sign}\left({\mathrm{\α}}_d\right)\×\max ((\mathrm{ads}\left({\mathrm{\α}}_d\right)-{\mathrm{\λ}}_d,0),$

其中，sign(.)表示符号函数，abs(.)表示取绝对值函数；

5i)根据上述参数

外字典

内字典

计算图像块u_i重建后的图像块

${\stackrel{-}{u}}_i=D_0^X{\mathrm{\α}}_D^1+d_0^x{\mathrm{\α}}_d^1;$

5j)重复步骤5d）到步骤5i)，重建优化图像

中所有的图像块，得到重建后的图像

上述步骤5g)中外字典正则参数λ_D和内字典正则参数λ_d所用的求解方法包括迭代加权的稀疏表示法，全局加权的稀疏表示法等。本实例采用但不局限于为迭代加权的稀疏表示法，迭代加权的稀疏表示法的程序调用自“E.J.Candes,M.B.Wakin,and S.Boyd,Enhancing Sparsity by Reweighted l₁Minimization[J],Journal of Fourier Analysisand Applications,vol.14,pp.877–905,2008.”。

上述步骤5h)中稀疏表示系数更新所用的求解方法包括梯度下降法，软阈值收缩法等。本实例采用但不局限于为软阈值收缩法，软阈值收缩法的程序调用自“I.Daubechies,M.Defriese,and C.DeMol,An iterative thresholding algorithm forlinearinverse problems with a sparsity constraint[J],Commun.Pure Appl.Math.,vol.57,pp.1413～1457,2004.”。

本发明的效果可以通过以下实验进一步说明：

1)实验条件

本实验采用的标准测试图像为Foreman、Leaves、Cameraman、House，如图3所示，采用MATLAB7.10.0软件作为仿真工具，计算机配置为Intel(R)Core(TM)2/2.33G/1.99G，本实验中，图像降质过程中的下采样因子设为3。

2)实验内容

实验1，利用Bicubic插值算法、ScSR算法、SCDL算法和本发明方法，对Foreman图像进行重建，结果如图4所示，其中图4(a)为Foreman图像的高分辨率图像，图4(b)为输入的低分辨率图像，图4(c)为Bicubic插值算法的重建结果，图4(d)为ScSR算法的重建结果，图4(e)为SCDL算法的重建结果，图4(f)为本发明的重建结果；

实验2，利用Bicubic插值算法、ScSR算法、SCDL算法和本发明方法，对Leaves图像进行重建，结果如图5所示，其中图5(a)为Leaves图像的高分辨率图像，图5(b)为输入的低分辨率图像，图5(c)为Bicubic插值算法的重建结果，图5(d)为ScSR算法的重建结果，图5(e)为SCDL算法的重建结果，图5(f)为本发明的重建结果；

实验3，利用Bicubic插值算法、ScSR算法、SCDL算法和本发明方法，对Cameraman图像进行重建，结果如图6所示，其中图6(a)为Cameraman图像的高分辨率图像，图6(b)为输入的低分辨率图像，图6(c)为Bicubic插值算法的重建结果，图6(d)为ScSR算法的重建结果，图6(e)为SCDL算法的重建结果，图6(f)为本发明的重建结果；

实验4，利用Bicubic插值算法、ScSR算法、SCDL算法和本发明方法，对House图像进行重建，结果如图7所示，其中图7(a)为House图像的高分辨率图像，图7(b)为输入的低分辨率图像，图7(c)为Bicubic插值算法的重建结果，图7(d)为ScSR算法的重建结果，图7(e)为SCDL算法的重建结果，图7(f)为本发明的重建结果。

实验结果分析

从图4—图7可以看出，本发明的重建图像的视觉效果要优于其它三种重建方法，对于输入的四幅测试图像Foreman、Leaves、Cameraman、House，图像的边缘和纹理细节信息都保持的比较好。

Claims (6)

1.一种基于字典学习和双边正则的图像超分辨率重建方法，包括如下步骤：

(1)输入低分辨率图像I_l，对该低分辨率图像I_l作双线性插值处理，得到初始的高分辨率图像

(2)对初始高分辨率图像

以0.8的比率做5个尺度的双线性插值处理，得到5幅插值图像O₁,O₂,O₃,O₄,O₅，对5幅插值图像O₁,O₂,O₃,O₄,O₅进行自适应的聚类字典训练，得到初始的内字典集合d₀和R个聚类中心C_center＝{C_i,i＝1,2,...,R}，用R个聚类中心C_center＝{C_i,i＝1,2,...,R}指导高分辨率样本库中的图像O₁',O'₂,O₃'的字典训练，得到初始的外字典集合D₀；

(3)在初始高分辨率图像

上计算初始的正则权值矩阵W₀；

(4)设迭代次数为n，n＝0,1,2,...,299，初始迭代n＝0，重建超分辨率图像：

4a)输入初始迭代图像

根据初始的正则权值矩阵W₀，对输入图像

进行正则优化，得到优化图像

4b)应用初始的内字典集合d₀，初始的外字典集合D₀，R个聚类中心C_center＝{C_i,i＝1,2,...,R}和输入的迭代图像

对优化图像

进行重建，得到重建后的图像

4c)设误差精度ε＝2e-9，N为重建图像

中总的图像块个数，根据所述参数ε,N,

判断迭代是否终止，若

则终止迭代，输出重建图像否则将重建图像

作为新的迭代输入图像，迭代次数加1,即n＝n+1，并设指示参数p1＝140；

4d)根据参数p1,n判断是否更新初始的外字典集合D₀，初始的内字典集合d₀和初始的权值矩阵W₀，若n为p1的整数倍，则将初始的内字典集合D₀更新为D_n，将初始的内字典集合d₀更新为d_n，将初始的权值矩阵W₀更新为W_n；否则不更新，返回步骤4a)。

2.根据权利要求1所述的基于字典学习和双边正则的图像超分辨率重建方法，其中步骤(2)所述的对5幅插值图像O₁,O₂,O₃,O₄,O₅进行自适应的聚类字典训练，得到初始的内字典集合d₀和R个聚类中心C_center＝{C_i,i＝1,2,...,R}，按如下步骤进行:

2.1)分别提取5幅插值图像O₁,O₂,O₃,O₄,O₅的高频特征，得到对应的高频特征图G₁,G₂,G₃,G₄,G₅；

2.2)分别在5幅插值图O₁,O₂,O₃,O₄,O₅和5幅高频特征图G₁,G₂,G₃,G₄,G₅上取7×7的图像块；将这5幅插值图上获取的所有图像块以列向量的形式依次排列，形成图像块集合将这5幅高频特征图上获取的所有特征块以列向量的形式依次排列，形成特征块集合

2.3)利用K均值聚类的方法对特征块集合

进行聚类，得到R个聚类中心C_center＝{C_i,i＝1,2,...,R}；

2.4)根据R个聚类中心C_center＝{C_i,i＝1,2,...,R}和特征块集合

将图像块集合

分为R个图像块子集：

利用主成分分析法对这R个图像块子集进行训练，得到R个字典

2.5)将这R个字典

顺序排列，构成内字典集合

3.根据权利要求1所述的基于字典学习和双边正则的图像超分辨率重建方法，其中步骤(2)所述的用R个聚类中心C_center＝{C_i,i＝1,2,...,R}指导高分辨率样本库中的图像O₁',O'₂,O₃'的字典训练，得到初始的外字典集合D₀，按如下步骤进行：

2A)分别提取3幅高分辨率图像O₁',O'₂,O₃'的高频特征，得到对应的高频特征图G₁',G'₂,G₃'；

2B)分别在3幅高分辨率图像O₁',O'₂,O₃'和3幅特征图G₁',G'₂,G₃'上取7×7的块，将这3幅高分辨率图像上获取的所有图像块以列向量的形式依次排列，形成图像块集合

将这3幅高频特征图像上获取的所有特征块以列向量的形式依次排列，形成特征块集合

2C)根据R个聚类中心C_center＝{C_i,i＝1,2,...,R}和特征块集合

将图像块集合分为R个图像块子集：

利用主成分分析法对这R个图像块子集进行训练，得到R个字典

2D)将这R个字典

顺次排列，构成外字典集合

4.根据权利要求1所述的基于字典学习和双边正则的图像超分辨率重建方法，其中步骤(3)所述的在初始高分辨率图像

上计算初始的正则权值矩阵W₀，按如下步骤进行：

3a)设图像块u_i为初始高分辨率图像

的第i个图像块，设像素点c_i为图像块u_i的中心像素点，采用8个线性方向模板B₁,B₂,...,B₈和初始高分辨率图像做卷积运算，该8个模板方向分别为0°,0°～45°,45°,45°～90°,90°,90°～135°,135°,135°～180°，每个模板的尺寸为7×7，卷积运算后，初始高分辨率图像

的每个像素点处有8个卷积值；

3b)将像素点c_i处的8个卷积值按降序排列为M₁,M₂,...,M₈，设该最大卷积值M₁是由模板

和初始高分辨率图像

卷积得到，设该次大卷积值为M₂由模板和初始高分辨率图像

卷积得到；计算所述两个卷积值M₁和M₂的差值Δ为：Δ＝M₁-M₂；

3c)计算像素点c_i处的8个卷积值M₁,M₂,...,M₈的标准差τ：

$\mathrm{\τ}=\frac{1}{8}\underset{j=1}{\overset{8}{\mathrm{\Σ}}}{(M_j-\frac{\underset{j=1}{\overset{8}{\mathrm{\Σ}}}{M}_j}{8})}^2;$

3d)根据差值Δ和标准差τ获得像素点c_i的主方向模板D：若Δ＞τ，则D＝B_x1,x1∈{1,2,...,8}；若Δ≤τ，则D为7×7的全1矩阵；

3e)在初始高分辨率图像

上，以像素点c_i为中心取12×12大小的相似窗，该相似窗排除像素点c_i，共有143个像素点c₁',c'₂,...,c₁'₄₃；

设图像块u_j是以该相似窗内第j个像素点c'_j为中心的图像块，j＝1,2,...,143，设像素点c_i在初始高分辨率图像

上的二维坐标为Z_i(x,y)，设像素点c'_j在初始高分辨率图像

上的二维坐标为Z_j(x,y)；

3f)利用主方向模板D，坐标Z_i(x,y)和坐标Z_j(x,y)，计算所述像素点c'_j和所述像素点c_i的亮度值欧氏距离

几何位置欧氏距离

和总距离

$d_{1c_j^{\text{'}}}={\left|\right|(u_i-u_j)\×D\left|\right|}_2^2/49,$

$d_{2c_j^{\text{'}}}={\left|\right|Z_i(x,y)-Z_j(x,y)\left|\right|}_2^2/49,$

$d_{c_j^{\text{'}}}=d_{1c_j^{\text{'}}}+d_{2c_j^{\text{'}}};$

3g)按照步骤3f)中所述方法，获得与像素点c_i距离最近的25个像素点{c'_pm,m＝1,2,...,25}，该25个像素点与像素点c_i的亮度值欧氏距离为

该25个像素点与像素点c_i的几何位置欧氏距离为 ${\{d}_{2c_{\mathrm{pm}}^{\text{'}}},m=\mathrm{1,2},...,25\};$

3h)设亮度平滑控制参数h₁＝300，设几何平滑控制参数h₂＝100，根据亮度平滑控制参数h₁和几何平滑控制参数h₂，将上述的亮度值欧氏距离

和几何位置欧氏距离

代入高斯核函数exp(.)，计算像素点c_i与像素点c'_pm的权重系数w(c_i,c'_pm)：

$w=(c_i,c_{\mathrm{pm}}^{\text{'}})=\exp (-\frac{d_{1c_{\mathrm{pm}}^{\text{'}}}}{h_1})\exp (-\frac{d_{2c_{\mathrm{pm}}^{\text{'}}}}{h_2});$

3i)重复步骤3a)到步骤3h)，获得初始高分辨率图像

中的全部像素点的权重系数，将所有权重系数按照坐标顺序排列，形成初始的正则权值矩阵W₀：

$W_0\left\{\begin{array}{c}w(c_i,c_{\mathrm{pm}}^{\text{'}}),c_i\∈I_h^0,c_{\mathrm{pm}}^{\text{'}}\∈I_h^0,m=\mathrm{1,2},...,25\\ 0\end{array}.\right.$

5.根据权利要求1所述的基于字典学习和双边正则的图像超分辨率重建方法，其中步骤4a)所述的输入初始迭代图像

根据初始的正则权值矩阵W₀，对输入图像

进行正则优化，得到优化图像

按如下步骤进行：

4a1)设矩阵C为采样矩阵，设低分辨图像为I_l，设未知高分辨率图像为I_h，设正则参数β＝0.18，设矩阵E为单位矩阵；

4a2)根据非局部正则权值矩阵W₀和步骤4a1)中的参数，得到正则优化公式为： $I_h=\underset{I_h}{\arg \min }({\left|\right|I_l-{\mathrm{CI}}_h\left|\right|}_2^2+\mathrm{\β}{\left|\right|(E-W_0)I_h\left|\right|}_2^2),$ 其中是l₂范数求值函数；

4a3)设常量矩阵 ${\tilde{I}}_l=\left[\begin{array}{c}{I}_l\\ 0\end{array}\right],$ 设操作矩阵 $\tilde{K}=\left[\begin{array}{c}C\\ \mathrm{\β}(E-W_0)\end{array}\right],$ 根据常量矩阵

和操作矩阵

将公式 $I_h=\underset{I_h}{\arg \min }({\left|\right|I_l-{\mathrm{CI}}_h\left|\right|}_2^2+\mathrm{\β}{\left|\right|(E-W_0)I_h\left|\right|}_2^2)$ 简化为：

$I_h=\underset{I_h}{\arg \min }\left({\left|\right|{\tilde{I}}_l-{\tilde{K}I}_h\left|\right|}_2^2\right);$

4a4)根据输入图像

和公式 $I_h=\underset{I_h}{\arg \min }\left({\left|\right|{\tilde{I}}_l-{\tilde{K}I}_h\left|\right|}_2^2\right),$ 利用梯度下降法计算优化图像

$I_h^{1/2}=I_h^0+{\tilde{K}}^T({\tilde{I}}_l-\widetilde{K{I}_h^0})=I_h^0+C^T{I}_l-C^T{C}_h^0-{\mathrm{\β}}^2{(E-W_0)}^T(E-W_0)I_h^0.$

6.根据权利要求1所述的基于字典学习和双边正则的图像超分辨率重建方法，其中步骤4b)所述的应用初始的内字典集合d₀,初始的外字典集合D₀，R个聚类中心C_center＝{C_i,i＝1,2,...,R}和输入的迭代图像对优化图像进行重建，得到重建后的图像

按如下步骤进行：

4b1)提取优化图像

的高频特征，得到高频特征图像G；

4b2)分别对优化图像

和高频特征图像G取7×7的块，该优化图像

上获取的所有图像块以列向量的形式依次排列，形成图像块集合

该高频特征图G上获取的所有特征块以列向量的形式依次排列，形成特征块集合

4b3)根据R个聚类中心C_center＝{C_i,i＝1,2,...,R}和特征块集合

将图像块集合

分为s类图像块子集：

s≤R；

4b4)设优化图像

中的第i个图像块为u_i，设该图像块u_i属于第X类图像块子集T_X，X∈{1,2,...,s}，根据类别X，在外字典集合D₀中选择外字典

在内字典集合d₀中选择内字典

4b5)设变量参数M为图像块子集T_X的均值，根据均值M，外字典

内字典

分别计算图像块u_i在外字典

上的稀疏表示系数α_D和图像块u_i在内字典

上的稀疏表示系数α_d：

${\mathrm{\α}}_D={\left(D_0^X\right)}^{T}M,$

${\mathrm{\α}}_d={\left(d_0^X\right)}^T(u_i-M);$

4b6)设初始高分辨率图像

中的第i个图像块为u_i'，按照步骤4b1）到步骤4b5)中所述的方法，获得该图像块u_i'的外字典稀疏表示系数α'_D和该图像块u_i'的内字典稀疏表示系数α'_d；

4b7)设阈值参数ε2＝0.35，根据阈值参数ε2，外字典稀疏表示系数α'_D，内字典稀疏表示系数α'_d，利用迭代加权的稀疏表示法，计算外字典正则参数λ_D和内字典正则参数λ_d：

${\mathrm{\λ}}_D=\frac{1}{{\mathrm{\α}}_D^{\text{'}}+\mathrm{\ϵ}2},$

${\mathrm{\λ}}_D=\frac{1}{{\mathrm{\α}}_D^{\text{'}}+\mathrm{\ϵ}2},$

4b8)根据上述参数α_D，α_d，λ_D，λ_d，利用软阈值收缩法，将图像块u_i的外字典稀疏表示系数α_D更新为

将图像块u_i的内字典稀疏表示系数α_d更新为

${\mathrm{\α}}_D^1=\mathrm{sign}\left({\mathrm{\α}}_D\right)\×\max ((\mathrm{ads}\left({\mathrm{\α}}_D\right)-{\mathrm{\λ}}_D,0),$

${\mathrm{\α}}_d^1=\mathrm{sign}\left({\mathrm{\α}}_d\right)\×\max ((\mathrm{ads}\left({\mathrm{\α}}_d\right)-{\mathrm{\λ}}_d,0),$

其中，sign(.)表示符号函数，abs(.)表示取绝对值函数；

4b9)根据上述参数

外字典

内字典

计算图像块u_i重建后的图像块

${\stackrel{-}{u}}_i=D_0^X{\mathrm{\α}}_D^1+d_0^x{\mathrm{\α}}_d^1;$

4b10)重复步骤4b4）到步骤4b9)，重建优化图像

中所有的图像块，得到重建后的图像

Images