CN103150713A - 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 - Google Patents

Abstract

本发明公开了一种利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，首先对训练集的图像块对进行分类，通过学习得到分类的高分辨与低分辨的字典对；然后对低分辨图像块进行分类稀疏表示超分辨重构，得到高分辨图像块；最后对图像块进行自适应聚合得到输出的高分辨图像。本发明能够有效地对各类自然图像进行超分辨重构，显著地提高了边缘清晰度与纹理细节的恢复程度。

Description

利用图像块分类稀疏表示与自适应聚合的图像超分辨方法

技术领域

本发明属于数字图像处理技术领域，特别是一种利用图像块分类稀疏表示与自适应聚合的图像超分辨方法。

背景技术

在遥感成像、医学成像和视频监控成像等领域中，由于成像设备的物理性限制，一般很难获取清晰的高分辨率图像。在实际应用中，通过提高成像设备的分辨率级别获取清晰的高分辨率图像的方法花费的代价太大且很难满足实际应用。因此，通过超分辨率图像重构后处理的方法来增强图像的空间分辨率无疑是更好地选择。

超分辨图像重构的方法就是从一幅或多幅低分辨图像重构出高分辨图像。具有代表性的超分辨重构方法有：Takeda等在“H.Takeda,S.Farsiu,and P.Milanfar,“Kernel regression for image processing and reconstruction,”IEEE Trans.ImageProcess.,vol.16,no.2,pp.349–366,Feb.2007.”提出可操纵核函数回归(SteeringKernel Regression；SKR)的非均匀插值方法，该方法同时考虑了图像灰度与结构信息，较好地保持了图像边缘，但是不能很好地恢复图像纹理。考虑到自然图像包含了许多结构相似的图像块，Protter等在“M.Protter，M.Elad,H.Takeda,and P.Milanfar,“Generalizing the nonlocal-means to super-resolution reconstruction,”IEEE Trans.Image Process.,vol.18,no.1,pp.36-51,Jan.2009.”提出了非局部均值（Nonlocal-means；NLM）超分辨重构的方法，该方法利用了图像结构重复性信息，能较好地恢复图像纹理。Yang等在“J.Yang,J.Wright,T.Huang,Y. Ma.“Imagesuper-resolution via sparse representation.”IEEE Transactions on Image Processing19(11)(2010)2861–2873.”中提出基于稀疏表示（Sparse representation;SR）的方法实现单幅图像的超分辨重建，该方法首先将低分辨图像按照分块准则，将图像分成图像块，每个图像块都能利用通过学习得到的过完备字典中的几个原子进行线性表示；然后对输入的低分辨图像块进行稀疏表示，将得到的稀疏系数与高分辨的字典相乘得到高分辨图像块；最后将图像块按照重叠区域取平均值的方法进行聚合，得到输出的高分辨图像。随后，杨淑媛等发明了一种基于KSVD字典学习的多任务超分辨率图像重构方法（专利号：201010267446.2）。该方法利用K均值的方法将训练的图像块进行分类，再利用KSVD字典学习的方法学习分类的过完备字典，最后利用多任务算法和学习的分类字典对低分辨图像块进行超分辨重构，将重构的高分辨图像块进行组合得到输出的高分辨图像。然而，该类方法重构的高分辨图像虽然在一定程度上保持了图像边缘和纹理信息，但是重构的结果会出现失真和块效应。

发明内容

本发明的目的在于提供一种利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，提高了超分辨重构图像的边缘与纹理的保持效果，并且使重构图像更加接近于真实图像。

实现本发明目的的技术解决方案为：一种利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，包括字典学习阶段和图像超分辨重构阶段，其中在字典学习阶段，首先构建高分辨与低分辨图像块配对的训练集，再对训练集的图像块对进行分类，通过字典学习的方法对分类的图像块对进行学习，生成分类的过完备字典对；

在图像超分辨重构阶段，首先对输入的彩色低分辨图像的亮度分量进行分块操作，利用分类稀疏表示的方法进行超分辨重构，得到初始化的高分辨图像块；其次对高分辨图像块按照重叠区域取平均值方法进行聚合，其公式为：

从而得到初始估计的高分辨亮度分量X；然后利用可操纵核回归的方法计算初始估计的高分辨亮度分量X局部的权值矩阵A，同时利用非局部均值的方法计算初始估计的高分辨亮度分量X全局的权值矩阵B，将计算得到局部的权值矩阵A和全局的权值矩阵B进行图像块聚合，通过交替更新高分辨亮度分量X、矩阵A和矩阵B，直至满足收敛条件则停止更新，否则，则对上述计算矩阵A和矩阵B的步骤进行循环；最后将亮度分量

与利用双立方插值放大的色度分量进行色彩融合，由YCbCr色彩空间转换到RGB色彩空间，得到输出的彩色高分辨图像。

本发明与现有技术相比，其显著优点：（1）本发明充分地利用了图像的局部结构光滑性和非局部相似性，克服了现有稀疏表示方法超分辨重构引起的图像失真和块效应。（2）本发明在图像块的聚合过程中，引入了可操纵核回归的方法和非局部均值的方法，不仅利用了图像的局部结构光滑性，还充分利用了图像的非局部相似性，从而能够自适应地聚合高分辨图像块，进一步地提高了超分辨重构图像的边缘与纹理的保持效果，并且使重构图像更加接近于真实图像。（3）本发明与现有的图像超分辨重构技术相比，本发明超分辨重构的结果图像更加接近真实的图像，在视觉感知上有大幅度提高。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是本发明利用图像块分类稀疏表示与自适应聚合的图像超分辨方法的流程图。

图2是本发明中利用可操纵核回归的方法计算局部权重矩阵的流程图。

图3是本发明中利用非局部均值的方法计算全局权重矩阵的流程图。

图4是本发明中采用训练图像中的8幅高分辨率图像。

图5是本发明方法与现有方法对测试图像Plants进行3倍放大的对比结果。具体实施方式

结合图1，本发明利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，包括字典学习阶段和图像超分辨重构阶段，实现步骤如下：

步骤1：构建高分辨与低分辨图像块配对的训练集，具体过程为：

1a)收集M幅高分辨图像X_h，如果是彩色图像，则将其转换成灰度图像。然后通过已知的模糊滤波器H和下采样算子S得到低分辨图像Y_l，公式为：Y_l＝SHX_h，其中M的取值范围为[10，100]；

1b)对低分辨图像进行双立方插值生成与原图大小一样的图像X_l，并将差分图像E_h＝X_h-X_l作为细节图像。

1c)将滤波器f₁＝[-1,0,1],f₂＝f₁ ^T,f₃＝[1,0,-2,0,1],f₄＝f₃ ^T分别与图像X_l进行卷积，生成特征图像，其中T代表转置；

1d)训练的高分辨图像块p_h和低分辨图像块p_l分别从细节图像和特征图像中抽取，得到N对像素位置一致的高分辨和低分辨图像块对集合P＝{p_h，p_l}，其中N的取值范围为[10⁴，10⁵]。

步骤2：利用K均值的方法对步骤1得到的图像块对集合P进行分类，得到K类的图像块对和K个聚类中心

再利用K-SVD方法通过联合学习的方法得到K对过完备的子字典对

其中K的取值范围为[2，30]。

步骤3：基于分类稀疏表示的高分辨亮度分量图像块重构。具体方法为：

3a)输入彩色低分辨图像，利用双立方插值的方法对彩色低分辨图像进行放大，将放大的图像从RGB色彩空间转换到YCbCr色彩空间，其中亮度分量Y作为初始的插值图像X₀；

3b)首先利用步骤1c)中的滤波器提取初始的插值图像X₀的特征图像

然后利用块抽取算子R_i将特征图像划分成像素大小为w×w的重叠的图像块，得到低分辨亮度分量图像块

其中w的取值范围为{5，7，9，11}；

3c)根据

计算图像块

与聚类中心

的距离，利用距离最小所对应的字典对中的低分辨字典对低分辨亮度分量图像块进行稀疏表示，得到该图像块的稀疏系数α，由于低分辨图像块和高分辨率图像块共用稀疏系数α，然后根据公式得到相应的高分辨亮度分量图像块。

步骤4：对高分辨图像块按照重叠区域取平均值方法进行聚合，其公式为：

从而得到初始估计的高分辨亮度分量X。

步骤5：利用可操纵核回归的方法计算初始估计的高分辨亮度分量X局部的权值矩阵A。具体方法为：

5a)以步骤4中的高分辨亮度分量X的每个像素X_i为中心选取像素大小为w×w的局部窗口w_i，然后利用窗口中的邻域像素，计算每个中心像素X_i水平和垂直方向的梯度z₁(g)和z₂(g)，将第i个窗口内所有像素的水平和垂直方向的梯度用矩阵G_i表示，即 $G_i=\left[\begin{array}{cc}M& M\\ z_1\left(X_j\right)& z_2\left(X_j\right)\\ M& M\end{array}\right],$ X_j∈w_i；

5b)对局部梯度矩阵G_i进行奇异值分解，公式为： $G_i=U_i\left[\begin{array}{cc}{s}_1& 0\\ 0& s_2\end{array}\right]{\left[\begin{array}{cc}{v}_{11}& v_{12}\\ v_{21}& v_{22}\end{array}\right]}^T,$ 其中s₁和s₂代表两个奇异值，U_i和 $\left[\begin{array}{cc}{v}_{11}& v_{12}\\ v_{21}& v_{22}\end{array}\right]$ 分别代表左奇异向量和右奇异向量，然后，利用最小奇异值s₂对应的特征奇异向量[v₁₂ v₂₂]^T定义主方向的角度θ_i：

$S_i=\left[\begin{array}{cc}{s}_1& 0\\ 0& s_2\end{array}\right]$ 是主方向的能量，利用s₁和s₂定义拉伸参数σ_i和尺度参数γ_i分别为：λ′≥0，其中λ′是正则化参数，

其中λ″是正则化参数，M为窗口中的像素数，其中λ′的取值范围为[0.5,1.5]，λ″的取值范围为[0.01,0.02]；

5c)根据主方向的角度θ_i，拉伸参数σ_i和尺度参数γ_i计算局部协方差矩阵C_i其公式为： $C_i={\mathrm{\γ}}_i\left[\begin{array}{cc}\cos {\mathrm{\θ}}_i& \sin {\mathrm{\θ}}_i\\ -\sin {\mathrm{\θ}}_i& \cos {\mathrm{\θ}}_i\end{array}\right]\left[\begin{array}{cc}{\mathrm{\σ}}_i& 0\\ 0& {\mathrm{\σ}}_i^{-1}\end{array}\right]\left[\begin{array}{cc}\cos {\mathrm{\θ}}_i& -\sin {\mathrm{\θ}}_i\\ \sin {\mathrm{\θ}}_i& \cos {\mathrm{\θ}}_i\end{array}\right];$

5d)利用局部的协方差矩阵C_i，计算初始估计高分辨亮度分量X局部的权值矩阵A＝[a_ij]，其中a_ij表示X中第i个像素X_i与第j个像素X_j的相似度，计算的公式为：

其中h_k是控制可操纵核支撑集的光滑参数，其中h_k的取值范围为[2,2.5]。

步骤6：利用非局部均值的方法计算初始估计的高分辨亮度分量X的全局的权值矩阵B。具体方法为：

6a)将步骤4中的高分辨亮度分量X分成像素大小为w×w重叠的图像块x_i，x_i是以第i个像素X_i为中心的图像块，然后根据两个图像块x_i和x_j的欧氏距离判断中心像素X_i和中心像素X_j的相似度，距离公式为：

6b)在一个像素大小为15×15的搜索窗口中，搜索L个与目标像素X_i欧氏距离最小的像素组成相似像素矢量p_i，其中L的取值范围为[5，20]；

6c)利用高斯核函数计算初始估计高分辨亮度分量X全局的权值矩阵B＝[b_ij]，其中b_ij表示X中第i个像素X_i与第j个像素X_j的相似度，计算公式为：

其中，h_n是控制相似度的参数，h_n的取值范围为[10,100]。

步骤7：利用步骤5和步骤6得到的局部和全局的权值矩阵A和B，利用下式对高分辨图像块进行聚合：

$\hat{X}={(\underset{i\∈\mathrm{\Ω}\left(X\right)}{\mathrm{\Σ}}{R}_i^T{R}_i+\mathrm{\γ}{(I-A)}^T(I-A)+\mathrm{\η}{(I-B)}^T(I-B))}^{-1}\left(\underset{i\∈\mathrm{\Ω}\left(X\right)}{\mathrm{\Σ}}{R}_i^T{\hat{x}}_i\right),$ 其中γ和η是控制平衡参数，对该公式中的高分辨亮度分量X、矩阵A和矩阵B交替更新，直至满足收敛条件则停止更新；否则，则对步骤5和步骤6进行循环。将得到的高分辨亮度分量

与步骤3中的两个色度空间Cb和Cr的分量进行色彩融合，然后由YCbCr色彩空间转换到RGB色彩空间，得到输出的彩色高分辨图像，γ的取值范围为[0.01，1]，η的取值范围为[0.01，1]。

实施例

参照图1，本发明利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，具体步骤如下：

步骤1：构建高分辨与低分辨图像块配对的训练集，具体过程为：

1a)收集40幅训练的高分辨图像X_h，其中的8幅高分辨图像如图4所示。如果是彩色图像，则将其转换成灰度图像。然后通过已知的模糊滤波器H和下采样算子S得到低分辨图像Y_l，公式为：Y_l＝SHX_h；其中下标_l和_h没有特殊含义，代表低和高的意思。

1b)对低分辨图像进行双立方插值生成与原图大小一样的图像X_l，并将差分图像E_h＝X_h-X_l作为细节图像。

1c)将滤波器f₁＝[-1,0,1],f₂＝f₁ ^T,f₃＝[1,0,-2,0,1],f₄＝f₃ ^T分别与图像X_l进行卷积，生成特征图像，其中T代表转置；

1d)训练的高分辨图像块p_h和低分辨图像块p_l分别从细节图像和特征图像中抽取，得到100000对像素位置一致的高分辨和低分辨图像块对集合

P＝{p_h，p_l}。

步骤2：利用K均值的方法对步骤1得到的图像块对集合P进行分类，得到20类的图像块对

和K个聚类中心再利用K-SVD方法通过联合学习的方法得到20对过完备的子字典对

步骤3：基于分类稀疏表示的高分辨亮度分量图像块重构。具体方法为：

3a)输入彩色低分辨图像，利用双立方插值的方法对彩色低分辨图像进行3倍放大，将放大的图像从RGB色彩空间转换到YCbCr色彩空间，其中亮度分量Y作为初始的插值图像X₀；

3b)首先利用1c)中的滤波器提取初始的插值图像X₀的特征图像然后利用块抽取算子R_i将特征图像划分成像素大小为5×5的重叠的图像块，得到低分辨亮度分量图像块

3c)根据计算图像块

与聚类中心

的距离，利用距离最小所对应的字典对中的低分辨字典对低分辨亮度分量图像块进行稀疏表示，得到该图像块的稀疏系数α，由于低分辨图像块和高分辨图像块共用稀疏系数α，然后根据公式

得到相应的高分辨亮度分量图像块。

步骤4：对高分辨图像块按照重叠区域取平均值方法进行聚合，其公式为：

从而得到初始估计的高分辨亮度分量X。

步骤5：利用可操纵核回归的方法计算初始估计的高分辨亮度分量X局部的权值矩阵A。如图2所示，具体方法为：

5a)以步骤4中的高分辨亮度分量X的每个像素X_i为中心选取像素大小为5×5的局部窗口w_i，然后利用窗口中的邻域像素，计算每个中心像素X_i水平和垂直方向的梯度z₁(g)和z₂(g)，将第i个窗口内所有像素的水平和垂直方向的梯度用矩阵G_i表示，即 $G_i=\left[\begin{array}{cc}M& M\\ z_1\left(X_j\right)& z_2\left(X_j\right)\\ M& M\end{array}\right],$ x_j∈w_i，本发明中该步骤的梯度z₁(g)和z₂(g)的计算方法为现有技术，参见Takeda等的论文《Kernel Regression for ImageProcessing and Reconstruction》，IEEE Trans.Image Processing，16(2):349-366，Feb.2007，参数设置同该方法；

5b)对局部梯度矩阵G_i进行奇异值分解，公式为： $G_i=U_i\left[\begin{array}{cc}{s}_1& 0\\ 0& s_2\end{array}\right]{\left[\begin{array}{cc}{v}_{11}& v_{12}\\ v_{21}& v_{22}\end{array}\right]}^T,$ 其中s₁和s₂代表两个奇异值，U_i和 $\left[\begin{array}{cc}{v}_{11}& v_{12}\\ v_{21}& v_{22}\end{array}\right]$ 分别代表左奇异向量和右奇异向量，然后，利用最小奇异值s₂对应的特征奇异向量[v₁₂ v₂₂]^T定义主方向的角度θ_i：

$S_i=\left[\begin{array}{cc}{s}_1& 0\\ 0& s_2\end{array}\right]$ 是主方向的能量，利用s₁和s₂定义拉伸参数σ_i和尺度参数γ_i分别为：

λ′≥0，其中λ′是正则化参数取值为λ′＝1，

其中λ″是正则化参数取值为λ″＝0.01，M为窗口中的像素数；

5c)根据主方向的角度θ_i，拉伸参数σ_i和尺度参数γ_i计算局部协方差矩阵C_i其公式为： $C_i={\mathrm{\γ}}_i\left[\begin{array}{cc}\cos {\mathrm{\θ}}_i& \sin {\mathrm{\θ}}_i\\ -\sin {\mathrm{\θ}}_i& \cos {\mathrm{\θ}}_i\end{array}\right]\left[\begin{array}{cc}{\mathrm{\σ}}_i& 0\\ 0& {\mathrm{\σ}}_i^{-1}\end{array}\right]\left[\begin{array}{cc}\cos {\mathrm{\θ}}_i& -\sin {\mathrm{\θ}}_i\\ \sin {\mathrm{\θ}}_i& \cos {\mathrm{\θ}}_i\end{array}\right];$

5d)利用局部的协方差矩阵C_i，计算初始估计高分辨亮度分量X局部的权值矩阵A＝[a_ij]，其中a_ij表示X中第i个像素X_i与第j个像素X_j的相似度，计算的公式为：

其中h_k是控制可操纵核支撑集的光滑参数取值为h_k＝2.5。

步骤6：利用非局部均值的方法计算初始估计的高分辨亮度分量X全局的取值矩阵B。如图3所示，具体方法为：

6a)将步骤4中的高分辨亮度分量X分成像素大小为5×5重叠的图像块x_i，x_i是以第i个像素X_i为中心的图像块，然后根据两个图像块x_i和x_j的欧氏距离判断中心像素X_i和中心像素X_j的相似度，距离公式为：

6b)在一个像素大小为15×15的搜索窗口中，搜索10个与目标像素X_i欧氏距离最小的像素组成相似像素矢量p_i；

6c)利用高斯核函数计算初始估计高分辨亮度分量X全局的权值矩阵B＝[b_ij]，其中b_ij表示X中第i个像素X_i与第j个像素X_j的相似度，计算公式为：

其中，h_n是控制相似度的参数取值为h_n＝65。

步骤7：利用步骤5和步骤6得到的局部和全局的权值矩阵A和B，利用下式对高分辨图像块进行聚合：

$\hat{X}={(\underset{i\∈\mathrm{\Ω}\left(X\right)}{\mathrm{\Σ}}{R}_i^T{R}_i+\mathrm{\γ}{(I-A)}^T(I-A)+\mathrm{\η}{(I-B)}^T(I-B))}^{-1}\left(\underset{i\∈\mathrm{\Ω}\left(X\right)}{\mathrm{\Σ}}{R}_i^T{\hat{x}}_i\right),$

其中γ和η是控制平衡参数，取值分别为γ＝0.03和η＝0.05。对该公式中的高分辨亮度分量X、矩阵A和矩阵B交替更新，直至满足收敛条件则停止更新；否则，则对步骤5和步骤6进行循环。在实验中，将得到的高分辨亮度分量

与步骤3a中的两个色度空间Cb和Cr的分量进行色彩融合，然后由YCbCr色彩空间转换到RGB色彩空间，得到输出的彩色高分辨图像。

下面结合图5所示，通过实验来具体说明本发明的有效性及实用性。

本方案实施例在MATLAB7.1平台模拟仿真实现，计算环境为Intel PentiumD CPU3.00GHz，内存2G的PC机。实验中对比算法包括：双立方插值的方法和三个具有代表性的图像超分辨重构的方法，包括非局部均值方法（Non-LocalMeans，NLM），可操纵核回归的方法（Steering Kernel Regression，SKR），以及基于稀疏表示（Sparse Representation，SR）的方法。

为了验证本发明的有效性及实用性，对Plants标准测试图像进行超分辨重构实验，具体实验如下：

对大小为258×258的Plants图像进行仿真实验，采用7×7的高斯模糊和3倍的下采样将原始图像生成大小为86×86的低分辨图像，然后利用上述的超分辨方法和本发明的方法对低分辨率图像进行3倍放大，超分辨重构的结果如图5所示。其中图5（a）是双立方差值的结果；图5（b）是利用非局部均值方法的超分辨结果；图5（c）是利用可操纵核回归方法的超分辨结果；图5（d）是基于稀疏表示方法的超分辨结果；图5（e）是利用本发明方法的超分辨结果；图5（f）是原始图像。在本实验中，对每幅结果图像都进行了局部放大，局部放大的效果显示在每幅图像的左下部分。从结果上看，图5（a）的结果在边缘和纹理部分都非常模糊；图5（b）的结果虽然能较好保持纹理，但是边缘部分不够清晰；图5（c）的结果虽然能保持锐利的边缘，但是不能很好地保留丰富的纹理；图5（d）的结果在边缘和纹理部分都能较好地恢复，但是会块效应和失真，使其细节部分看起来不够真实；图5（e）的结果更加接近于真实的图像，并且能很好地恢复图像锐利的边缘和丰富的纹理。

通过上述实验结果表明，本发明的方法充分地考虑图像的局部结构光滑性和非局部相似性等信息，能很好地超分辨重构各种自然图像，具有很强的超分辨恢复能力，并且能很好地恢复图像的细节部分，包括锐利的边缘和丰富的纹理，使恢复的结果更加接近于原始图像。

Claims (7)

1.一种利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，其特征在于包括字典学习阶段和图像超分辨重构阶段，其中在字典学习阶段，首先构建高分辨与低分辨图像块配对的训练集，再对训练集的图像块对进行分类，通过字典学习的方法对分类的图像块对进行学习，生成分类的过完备字典对；

在图像超分辨重构阶段，首先对输入的彩色低分辨图像的亮度分量进行分块操作，利用分类稀疏表示的方法进行超分辨重构，得到初始化的高分辨图像块；其次对高分辨图像块按照重叠区域取平均值方法进行聚合，其公式为：

从而得到初始估计的高分辨亮度分量X；然后利用可操纵核回归的方法计算初始估计的高分辨亮度分量X局部的权值矩阵A，同时利用非局部均值的方法计算初始估计的高分辨亮度分量X全局的权值矩阵B，将计算得到局部的权值矩阵A和全局的权值矩阵B进行图像块聚合，通过交替更新高分辨亮度分量X、矩阵A和矩阵B，直至满足收敛条件则停止更新，否则，则对上述计算矩阵A和矩阵B的步骤进行循环；最后将亮度分量

与利用双立方插值放大的色度分量进行色彩融合，由YCbCr色彩空间转换到RGB色彩空间，得到输出的彩色高分辨图像。

2.根据权利要求1所述的利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，其特征在于构建高分辨与低分辨图像块配对的训练集，具体过程为：

1a)收集M幅高分辨图像X_h，如果是彩色图像，则将其转换成灰度图像，然后通过已知的模糊滤波器H和下采样算子S得到低分辨图像Y_l，公式为：Y_l＝SHX_h；

1b)对低分辨图像进行双立方插值生成与原图大小一样的图像X_l，并将差分图像E_h＝X_h-X_l作为细节图像；

1c)将滤波器f₁＝[-1,0,1],f₂＝f₁ ^T,f₃＝[1,0,-2,0,1],f₄＝f₃ ^T分别与图像X_l进行卷积，生成特征图像，其中T代表转置；

1d)训练的高分辨图像块p_h和低分辨图像块p_l分别从细节图像和特征图像中抽取，得到N对像素位置一致的高分辨和低分辨图像块对集合P＝{p_h，p_l}。

3.根据权利要求1所述的利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，其特征在于M的取值范围为[10，100]，N的取值范围为[10⁴，10⁵]。

4.根据权利要求1所述的利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，其特征在于过完备字典对的生产过程为：利用K均值的方法对训练集的图像块对集合P进行分类，得到K类的图像块对

和K个聚类中心

再利用K-SVD方法通过联合学习的方法得到K对过完备的子字典对

5.根据权利要求1所述的利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，其特征在于基于分类稀疏表示的高分辨亮度分量图像块重构，具体过程为：

3a)输入彩色低分辨图像，利用双立方插值的方法对彩色低分辨图像进行放大，将放大的图像从RGB色彩空间转换到YCbCr色彩空间，其中亮度分量γ作为初始的插值图像X₀；

3b)首先利用滤波器f₁＝[-1,0,1],f₂＝f₁ ^T,f₃＝[1,0,-2,0,1],f₄＝f₃ ^T提取初始的插值图像X₀的特征图像

然后利用块抽取算子R_i将特征图像划分成像素大小为w×w重叠的图像块，得到低分辨亮度分量图像块

3c)根据

计算图像块

与聚类中心

的距离，利用距离最小所对应的字典对

中的低分辨字典

对低分辨亮度分量图像块进行稀疏表示，得到该图像块的稀疏系数α，由于低分辨图像块和高分辨图像块共用稀疏系数α，然后根据公式

得到相应的高分辨亮度分量图像块。

5.根据权利要求1所述的利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，其特征在于利用可操纵核回归的方法计算初始估计的高分辨亮度分量X局部的权值矩阵A的具体过程为：

5a)以高分辨亮度分量X的每个像素X_i为中心选取像素大小为w×w的局部窗口w_i，然后利用窗口中的邻域像素，计算每个中心像素X_i水平和垂直方向的梯度z₁(g)和z₂(g)，将第i个窗口内所有像素的水平和垂直方向的梯度用矩阵G_i表示，即 $G_i=\left[\begin{array}{cc}M& M\\ z_1\left(X_j\right)& z_2\left(X_j\right)\\ M& M\end{array}\right],$ X_j∈w_i；

5b)对局部梯度矩阵G_i进行奇异值分解，公式为： $G_i=U_i\left[\begin{array}{cc}{s}_1& 0\\ 0& s_2\end{array}\right]{\left[\begin{array}{cc}{v}_{11}& v_{12}\\ v_{21}& v_{22}\end{array}\right]}^T,$ 其中s₁和s₂代表两个奇异值，U_i和 $\left[\begin{array}{cc}{v}_{11}& v_{12}\\ v_{21}& v_{22}\end{array}\right]$ 分别代表左奇异向量和右奇异向量，然后，利用最小奇异值s₂对应的特征奇异向量[v₁₂ v₂₂]^T定义主方向的角度θ_i：

$S_i=\left[\begin{array}{cc}{s}_1& 0\\ 0& s_2\end{array}\right]$ 是主方向的能量，利用s₁和s₂定义拉伸参数σ_i和尺度参数γ_i分别为：

λ′≥0，其中λ′是正则化参数，

其中λ″是正则化参数，M为窗口中的像素数；

5c)根据主方向的角度θ_i，拉伸参数σ_i和尺度参数γ_i计算局部协方差矩阵C_i其公式为： $C_i={\mathrm{\γ}}_i\left[\begin{array}{cc}\cos {\mathrm{\θ}}_i& \sin {\mathrm{\θ}}_i\\ -\sin {\mathrm{\θ}}_i& \cos {\mathrm{\θ}}_i\end{array}\right]\left[\begin{array}{cc}{\mathrm{\σ}}_i& 0\\ 0& -{\mathrm{\σ}}_i^{-1}\end{array}\right]\left[\begin{array}{cc}\cos {\mathrm{\θ}}_i& -\sin {\mathrm{\θ}}_i\\ \sin {\mathrm{\θ}}_i& \cos {\mathrm{\θ}}_i\end{array}\right];$

5d)利用局部的协方差矩阵C_i，计算初始估计高分辨亮度分量X局部的权值矩阵A＝[a_ij]，其中a_ij表示X中第i个像素X_i与第j个像素X_j的相似度，计算的公式为：

其中h_k是控制可操纵核支撑集的光滑参数。

6.根据权利要求1所述的利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，其特征在于利用非局部均值的方法计算初始估计的高分辨亮度分量X全局的权值矩阵B的具体过程为：

6a)将高分辨亮度分量X分成像素大小为w×w重叠的图像块x_i，x_i是以第i个像素X_i为中心的图像块，然后根据两个图像块x_i和x_j的欧氏距离判断中心像素X_i和中心像素X_j的相似度，距离公式为：

6b)在一个像素大小为15×15的搜索窗口中，搜索L个与目标像素X_i欧氏距离最小的像素组成相似像素矢量p_i；

6c)利用高斯核函数计算初始估计高分辨亮度分量X全局的权值矩阵B＝[b_ij]，其中b_ij表示X中第i个像素X_i与第j个像素X_j的相似度，计算公式为：

其中，h_n是控制相似度的参数。

7.根据权利要求1所述的利用图像块分类稀疏表示与自适应聚合的图像超分辨方法，其特征在于交替更新高分辨图像亮度分量X、矩阵A和矩阵B的公式为：

$\hat{X}={(\underset{i\∈\mathrm{\Ω}\left(X\right)}{\mathrm{\Σ}}{R}_i^T{R}_i+\mathrm{\γ}{(I-A)}^T(I-A)+\mathrm{\η}{(I-B)}^T(I-B))}^{-1}\left(\underset{i\∈\mathrm{\Ω}\left(X\right)}{\mathrm{\Σ}}{R}_i^T{\hat{x}}_i\right)$

其中，

为最终输出的高分辨图像的亮度分量；R_i是抽取图像块的算子；γ和η是控制平衡的参数取值范围分别为[0.01，1]和[0.01，1]；

是高分辨亮度分量的图像块。

Images