CN104504672A - 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法 - Google Patents

Abstract

本发明公开了一种基于NormLV特征的低秩稀疏邻域嵌入的超分辨方法。首先，构造NormLV特征将邻域嵌入算法进行特征增强，通过该特征来选取近邻；将训练集进行分组得到索引集；利用低秩稀疏邻域嵌入算法计算权值矩阵；将权值矩阵归一化；线性组合得到高分辨图像块；融合高分辨图像块得到初始的高分辨图像；最后，结合一致性先验和全局约束，利用TV和IBP算法进一步提高图像超分辨重建的质量。本发明将稀疏表示与邻域嵌入算法相结合，解决了低分辨图像与高分辨图像邻域关系的不一致性影响超分辨重建质量的技术问题。采用本发明获得高分辨图像能恢复更加清晰丰富的纹理细节和图像边缘，相比其他方法，有更好的视觉效果。

Description

基于NormLV特征的低秩稀疏邻域嵌入超分辨方法

技术领域

本发明属于图像处理技术领域，主要涉及图像超分辨方法，具体是一种基于NormLV特征的低秩稀疏邻域嵌入超分辨方法，由此获得的高质量的图像为后续图像处理、分析与理解提供很大的帮助，可用于不同领域，例如生物医学、视频与多媒体系统、军事侦察等领域。

背景技术

随着Internet应用的日益普及和移动通信技术的飞速发展，图像超分辨重构在图像处理领域得到了广泛的应用，可以克服成像系统分辨率的不足。在不同领域中取得了良好的效果，例如生物医学、视频与多媒体系统、军事侦察等领域。经过近30年的发展和研究，图像超分辨方法主要分为基于插值的方法、基于重构的方法、基于实例学习的方法。其中邻域嵌入超分辨方法是一种简单而有效的实例学习超分辨方法。

邻域嵌入超分辨方法是将流形学习中局部线性嵌入思想引入超分辨重建中，假设低维空间和高维空间的局部空间结构是相似的，具体到图像超分辨率重建来看，对应的低维空间是由低分辨率图像块构成，而高维空间是由高分辨率图像块构成。邻域嵌入超分辨算法主要分为三步：搜索k近邻、计算重建权值、线性组合高分辨图像块。然而传统的基于邻域嵌入算法的超分辨方法存在以下几个问题：1)一阶梯度和二阶梯度特征提取方法只能表示水平和垂直方向的特征，不能更好表示图像块，从而会造成筛选出来的邻域不准确；2)由于特征提取的不准确性导致低分辨图像块与高分辨图像块之间的映射非一对一的线性映射；3)使用欧氏距离来严格寻找固定的k近邻进行线性嵌入，容易导致欠拟合或过拟合现象，而且找近邻的时候不能排除噪声样本或者外来干扰样本；4)对于邻域嵌入算法，由于在整个训练集上进行k-近邻搜索，当训练集规模较大的情况下，算法比较耗时。综上可知，传统的邻域嵌入超分辨方法在特征表示筛选出来的邻域不准确、搜索k近邻不能排除噪声样本或者外来干扰样本、计算重构权值容易导致欠拟合或过拟合和算法比较耗时方面有些不足之处。

发明内容

本发明的目的在于针对上述现有方法的不足，提供一种利用NormLV特征，很好实现邻域嵌入超分辨算法中特征增强，效率高的基于NormLV特征的低秩稀疏邻域超分辨方法。

本发明实现基于NormLV特征的低秩稀疏邻域超分辨的技术方案包括有如下步骤：

步骤1：读入一幅不含噪声的低分辨彩色RGB图像L_t，将RGB图像转换为彩色空间的YCbCr图像，将其中的色度分量Cb和Cr直接利用Bicubic插值法进行插值，将其中的亮度分量Y用NormLV特征提取方法进行操作；

步骤2：特征提取：将低分辨图像亮度分量Y提取NormLV特征，得到低分辨率图像训练集X_s；

步骤3：分组：对于低分辨率图像训练集X_s中每个向量在X_s中选出K个最近邻图像块，并把K个最近邻图像块和放到一个组G_i中，

$G_i=\left\{x_s^i\right\}\∪\{x_s^j,j\∈N_K\left(i\right)\}$

其中G_i表示与训练集中第i个样本相关的组_，N_K(i)表示由的K个最近邻图像块构成的索引集，1≤i≤N；

为了节省内存空间，保持索引即可，所以将索引集Gⁱ表示为：

Gⁱ＝{i}∪{j,j∈N_K(i)}

步骤4：低秩稀疏邻域嵌入：对于每个测试图像块用低秩稀疏邻域嵌入算法进行线性嵌入求出重构误差最小时的权值矩阵其中，低秩矩阵分解过程中得到高分辨图像块特征的低秩分量

步骤5：归一化：将低分辨图像全部的权值矩阵归一化：

$w_{a,j}={\stackrel{\‾}{w}}_{a,j}/\underset{a\∈N_K\left(j\right)}{\mathrm{\Σ}}{\stackrel{\‾}{w}}_{a,j}$

步骤6：线性组合：线性组合邻域集N_k(j)中对应的高分辨图像块特征的低秩分量得到低分辨图像块的高分辨图像块特征的估计即

$y_t^j=\underset{a\∈N_K\left(j\right)}{\mathrm{\Σ}}{w}_{a,j}\·{\left(y_s^a\right)}_A$

本发明将低分辨图像的权值映射到高分辨图像中，使得低分辨图像与高分辨图像邻域关系的一致性。

步骤7：将低分辨率图像块的均值I_mean与高分辨特征估计值进行线性组合得到最后的高分辨率图像块

$h_t^j=c\·{\left|\right|I_t^j\left|\right|}_2\·y_t^j+I_{\mathrm{mean}}$

步骤8：融合：将得到的所有的高分辨图像块融合为初始高分辨图像估计H₀，对于相邻图像块之间的重叠区域，使用平均融合的方法得到初始高分辨图像H₀的像素值；

步骤9：去模糊：对H₀使用TV去模糊算法获得去模糊的高分辨图像H；

步骤10：反向投影：对去模糊后的高分辨图像H，用IBP算法获得最终高分辨图像

$H_t^{*}=\arg \underset{H}{\min }{\left|\right|\mathrm{DBH}-L_t\left|\right|}_2^2+\mathrm{\μ}{\left|\right|H-H_0\left|\right|}_2^2$

其中μ为平衡参数；

最终完成基于NormLV特征的低秩稀疏邻域嵌入超分辨重建，即低分辨图像L_t的高分辨图像估计为最终高分辨图像

本发明的实现还在于NormLV特征提取方法具体步骤如下：

2a)将低分辨图像亮度分量Y自上而下，从左到右划分成大小为s×s的图像块，相邻图像块之间重叠1个像素；

2b)提取低分辨图像块的一阶梯度特征▽_{first gradient}；

2c)提取低分辨图像块的Norm特征▽_Norm，所谓的Norm特征即是中间像素点的值减去块的均值；

2d)提取低分辨图像块的LV特征▽_LV，LV特征为将图像水平和垂直方法融合起来，用中间值减去上下左右四个方向的像素值；

2e)为了更好得表示低分辨图像块，采用多个特征融合的方法将一阶梯度特征、Norm特征和LV特征融合为新的NormLV特征，NormLV特征表达式为：

${\▿}_{\mathrm{NormLV}}=\left(\begin{array}{c}{\▿}_{\mathrm{first}\mathrm{grad}\mathrm{ient}}\\ a{\▿}_{\mathrm{Norm}}\\ {\▿}_{\mathrm{LV}}\end{array}\right)$

其中a为调节融合权重的因子；

之后将得到的图像块提取其NormLV特征构造测试集同时对于训练样本集，低分辨训练样本集提取NormLV特征高分辨训练样本集提取强度特征

本发明的实现还在于：低秩稀疏邻域嵌入算法具体步骤如下：

4a)对于每个测试图像块在低分辨率图像训练集X_s中找出最相似的并得到与相关的组Gⁱ，其中Gⁱ包含K+1个索引；

4b)将与相关的K个低分辨率图像梯度特征向量构成一个矩阵其中同理，将对应的K个高分辨率图像强度特征向量构成矩阵其中 $H^i=[y_s^1,...,y_s^p,...,y_s^K];$

4c)输入图像块与低分辨率图像特征矩阵Lⁱ组成矩阵

4d)将和Hⁱ进行低秩矩阵分解，具体优化函数为：

$\underset{A_{j,L}^i,E_L^i}{\min }{\left|\right|A_{j,L}^i\left|\right|}_{*}+{\left|\right|E_L^i\left|\right|}_1,s.t.L_j^i=A_{j,L}^i+E_L^i$

$\underset{A_H^i,E_H^i}{\min }{\left|\right|A_H^i\left|\right|}_{*}+{\left|\right|E_H^i\left|\right|}_1,s.t.H^i=A_H^i+E_H^i$

其中，和分别为低分辨图像特征矩阵的低秩分量和稀疏分量；和分别为高分辨图像特征矩阵Hⁱ的低秩分量和稀疏分量；被分成两个部分，一部分是输入低分辨率图像块对应的列向量一部分是训练集低分辨率图像特征矩阵Lⁱ的分块矩阵即

4e)对于每个输入图像块的列向量在训练集低分辨率图像特征矩阵Lⁱ的分块矩阵中找出K个近邻a∈N_K(j)，然后用稀疏表示计算权值，优化函数为：

$\underset{w_j}{\min }{\left|\right|w_j\left|\right|}_0$

$s.t.\left|\right|{\left(x_t^j\right)}_A-{\left(A_L^i\right)}_a{w}_j\left|\right|\≤{\mathrm{\ϵ}}^j,w_{a,j}>0$

其中 ${\left(A_L^i\right)}_a=[{\left(x_s^1\right)}_A,...,{\left(x_s^a\right)}_A,...,{\left(x_s^K\right)}_A],w_j={[w_{1,j},...,w_{a,j},...,w_{K,j}]}^T.$ 上述优化问题是典型凸优化问题，采用OMP或BP算法就可求解出权值矩阵w_j，这种方法求出权值能更好的反映低分辨图像块与高分辨图像块之间的映射关系。

本发明与现有技术相比具有以下优点：

1.本发明由于采用基于几何结构相似的NormLV特征，将一阶梯度、Norm特征和LV特征结合起来作为低分辨图像特征提取方法，对于邻域嵌入超分辨方法达到特征增强的目的，减少了低分辨图像与高分辨图像的邻域关系的不一致，从而使得筛选出来的近邻图像块更加准确，从而提高了超分辨重构图像的质量。

2.本发明由于利用相似图像块之间几何结构一定很相似的性质，所以将庞大的训练样本集进行分组，离线操作，大大提高了邻域嵌入超分辨算法的效率。

3、本发明在测试样本找近邻之前，先对训练集和测试样本进行低秩矩阵分解提取低秩分量，这样有助于保证低分辨与高分辨之间映射的一对一的关系，之后再将稀疏表示引入满足重构误差最小的权值计算中，避免的外在无用的样本和噪声，从而有助于提高图像超分辨重建质量。

附图说明

图1是本发明的实现流程图；

图2是大小为6*6的测试图像块；

图3是利用传统NE算法采用一阶二阶梯度特征寻找5个与图2最近邻的图像块实验结果对比图；

图4是利用传统NE算法采用Norm特征和一阶梯度特征寻找5个与图2最近邻图像块实验结果对比图；

图5是利用传统NE算法采用LV特征和一阶梯度特征寻找5个与图2最近邻图像块实验结果对比图；

图6是利用传统NE算法采用NormLV特征即本发明寻找5个与图2最近邻图像块实验结果对比图；

图7是本发明实验过程中使用的测试图像，它们分别为：其中(a)Butterfly，(b)Leaves，(c)Parrots，(d)Parthenon，(e)Monarch，(f)Parents，(g)Hat，(h)Horse；

图8是用本发明和现有超分辨方法对Butterfly图像放大3倍的实验结果对比图；

图9是用本发明和现有超分辨方法对Leaves图像放大3倍的实验结果对比图；

图10是用本发明和现有超分辨方法对Parents图像放大3倍的实验结果对比图。

具体实施方式

下面结合附图对本发明的具体实施步骤和效果做进一步的详细描述

实施例1，

本发明是一种基于NormLV特征的低秩稀疏邻域嵌入超分辨方法，参见图1，实现步骤如下：

步骤1：读入一幅不含噪声的低分辨彩色RGB图像L_t，将RGB图像转换为彩色空间的YCbCr图像，将其中的蓝色分量Cb和红色分量Cr直接利用Bicubic插值法进行插值，将其中的亮度分量Y用NormLV特征提取方法进行操作。本例中将图7(a)作为实验使用的测试图像。

步骤2：NormLV特征提取：对低分辨图像亮度分量Y提取NormLV特征，得到低分辨率图像训练集其中为第i个低分辨图像特征向量，N为低分辨图像训练集图像块的总数。

步骤3：分组：对于低分辨率图像训练集X_s中每个向量在X_s中选出K个最近邻图像块，并把K个最近邻图像块和放到一个组G_i中，

$G_i=\left\{x_s^i\right\}\∪\{x_s^j,j\∈N_K\left(i\right)\}$

其中G_i表示与训练集中第i个样本相关的组，N_K(i)表示由的K个最近邻图像块构成的索引集，1≤i≤N；

为了节省内存空间，保持索引即可，所以将索引集Gⁱ表示为：

Gⁱ＝{i}∪{j,j∈N_K(i)}

本发明由于利用相似图像块之间几何结构一定很相似的性质，所以将庞大的训练样本集进行分组，离线操作，大大提高了邻域嵌入超分辨算法的效率。

步骤4：低秩稀疏邻域嵌入：对于每个测试图像块用低秩稀疏邻域嵌入算法进行线性嵌入求出重构误差最小时的权值矩阵其中，低秩矩阵分解过程中得到高分辨图像块特征的低秩分量

步骤5：归一化：将低分辨图像全部的权值矩阵归一化：

$w_{a,j}={\stackrel{\‾}{w}}_{a,j}/\underset{a\∈N_K\left(j\right)}{\mathrm{\Σ}}{\stackrel{\‾}{w}}_{a,j}$

将低分辨图像全部的权值矩阵归一化之后有助于高分辨图像块线性组合。

步骤6：线性组合：线性组合邻域集N_k(j)中对应的高分辨图像块特征的低秩分量得到低分辨图像块的高分辨图像块特征的估计即

$y_t^j=\underset{a\∈N_K\left(j\right)}{\mathrm{\Σ}}{w}_{a,j}\·{\left(y_s^a\right)}_A$

步骤7：将低分辨率图像块的均值I_mean与高分辨特征估计值进行线性组合得到最后的高分辨率图像块

$h_t^j=c\·{\left|\right|I_t^j\left|\right|}_2\·y_t^j+I_{\mathrm{mean}}$

本发明从实验过程中发现当用一个大于1的常数乘以估计高分辨图像块的高频分量的超分辨率重建性能更好，因为高分辨图像块比它们对应的低分辨图像块有更好的比较性，因此前者就比后者有更大的规范值，本例中c取1.7。

步骤8：融合：将得到的所有的高分辨图像块融合为初始高分辨图像估计H₀，对于相邻图像块之间的重叠区域，使用平均融合的方法得到初始高分辨图像H₀的像素值。

步骤9：去模糊：对H₀使用TV去模糊算法获得去模糊的高分辨图像H。

步骤10：反向投影：对去模糊后的高分辨图像H，用IBP算法获得最终高分辨图像

$H_t^{*}=\arg \underset{H}{\min }{\left|\right|\mathrm{DBH}-L_t\left|\right|}_2^2+\mathrm{\μ}{\left|\right|H-H_0\left|\right|}_2^2$

其中μ为平衡参数。

最终完成基于NormLV特征的低秩稀疏邻域嵌入超分辨重建，即低分辨图像L_t的高分辨图像估计为最终高分辨图像参见图8(h)，尤其是图中左下角的局部放大图可知，通过本发明进行超分辨重建后的图像在纹理细节和边缘都恢复得很好，相比其他方法，有更好的视觉效果，更加接近于原始图像。

本发明在测试样本找近邻之前，先对训练集和测试样本进行低秩矩阵分解提取低秩分量，这样有助于保证低分辨与高分辨之间映射的一对一的关系，之后再将稀疏表示引入满足重构误差最小的权值计算中，避免的外在无用的样本和噪声，从而有助于提高图像超分辨重建质量。

实施例2

基于NormLV特征的低秩稀疏邻域嵌入超分辨方法同实施例1，参见图1，其中步骤2中的NormLV特征提取方法具体步骤如下：

2a)将低分辨图像亮度分量Y自上而下，从左到右划分成大小为s×s的图像块，相邻图像块之间重叠1个像素，本例中将图2作为实验使用的测试图像块。

2b)提取低分辨图像块的一阶梯度特征▽_{first gradient}。

2c)提取低分辨图像块的Norm特征▽_Norm，所谓的Norm特征即是中间像素点的值减去块的均值。

2d)提取低分辨图像块的LV特征▽_LV，LV特征为将图像水平和垂直方法融合起来，用中间值减去上下左右四个方向的像素值。

2e)为了更好得表示低分辨图像块，采用多个特征融合的方法将一阶梯度特征、Norm特征和LV特征融合为新的NormLV特征，NormLV特征表达式为：

${\▿}_{\mathrm{NormLV}}=\left(\begin{array}{c}{\▿}_{\mathrm{first}\mathrm{grad}\mathrm{ient}}\\ a{\▿}_{\mathrm{Norm}}\\ {\▿}_{\mathrm{LV}}\end{array}\right)$

其中a为调节融合权重的因子。

最后利用传统NE算法采用NormLV特征即本发明寻找其中5个与图2最近邻图像块，参见图3、图4、图5、图6，从图像块颜色表示可知相比于其它特征表示方法，新的NormLV特征表示方法找出图像块更加准确。例如图3(a)(b)(c)(d)(e)中图像块颜色表示与测试图像块图2差异较大；图4(c)左下方像素与测试图像块差异较大；图5(d)左下方像素与测试图像块差异较大。实验结果表明新的NormLV特征提取方法能更加准确得找出最近邻，有助于提高超分辨图像重构质量。

本发明由于采用基于几何结构相似的NormLV特征，将一阶梯度、Norm特征和LV特征结合起来作为低分辨图像特征提取方法，对于邻域嵌入超分辨方法达到特征增强的目的，减少了低分辨图像与高分辨图像的邻域关系的不一致，从而使得筛选出来的近邻图像块更加准确，从而提高了超分辨重构图像的质量。

实施例3

基于NormLV特征的低秩稀疏邻域嵌入超分辨方法同实施例1-2，参见图1，其中步骤4中的低秩稀疏邻域嵌入算法具体步骤如下：

4a)对于每个测试图像块在低分辨率图像训练集X_s中找出最相似的并得到与相关的组Gⁱ，其中Gⁱ包含K+1个索引；

4b)将与相关的K个低分辨率图像梯度特征向量构成一个矩阵其中同理，将对应的K个高分辨率图像强度特征向量构成矩阵其中 $H^i=[y_s^1,...,y_s^p,...,y_s^K];$

4c)输入图像块与低分辨率图像特征矩阵Lⁱ组成矩阵

4d)将和Hⁱ进行低秩矩阵分解，具体优化函数为：

$\underset{A_{j,L}^i,E_L^i}{\min }{\left|\right|A_{j,L}^i\left|\right|}_{*}+{\left|\right|E_L^i\left|\right|}_1,s.t.L_j^i=A_{j,L}^i+E_L^i$

$\underset{A_H^i,E_H^i}{\min }{\left|\right|A_H^i\left|\right|}_{*}+{\left|\right|E_H^i\left|\right|}_1,s.t.H^i=A_H^i+E_H^i$

其中，和分别为低分辨图像特征矩阵的低秩分量和稀疏分量；和分别为高分辨图像特征矩阵Hⁱ的低秩分量和稀疏分量；被分成两个部分，一部分是输入低分辨率图像块对应的列向量一部分是训练集低分辨率图像特征矩阵Lⁱ的分块矩阵即

4e)对于每个输入图像块的列向量在训练集低分辨率图像特征矩阵Lⁱ的分块矩阵中找出K个近邻a∈N_K(j)，然后用稀疏表示计算权值，优化函数为：

$\underset{w_j}{\min }{\left|\right|w_j\left|\right|}_0$

$s.t.\left|\right|{\left(x_t^j\right)}_A-{\left(A_L^i\right)}_a{w}_j\left|\right|\≤{\mathrm{\ϵ}}^j,w_{a,j}>0$

其中 ${\left(A_L^i\right)}_a=[{\left(x_s^1\right)}_A,...,{\left(x_s^a\right)}_A,...,{\left(x_s^K\right)}_A],w_j={[w_{1,j},...,w_{a,j},...,w_{K,j}]}^T.$ 上述优化问题是典型凸优化问题，采用OMP或BP算法就可求解出权值矩阵w_j，这种方法求出权值能更好的反映低分辨图像块与高分辨图像块之间的映射关系。

本发明利用低秩矩阵分解提取低分辨图像与高分辨图像的低秩分量，有助于保证低分辨与高分辨之间映射的一对一的关系，之后再利用稀疏表示的方法计算当重构误差最小时的权值，避免了外在无用的样本和噪声的干扰，有助于提高图像超分辨重建质量。

本发明的效果可以通过以下实验进一步说明：

实施例4

基于NormLV特征的低秩稀疏邻域嵌入超分辨方法同实施例1-3，

实验条件：

为了模拟图像退化过程，直接使用双立方插值进行3倍下采样生成对应的低分辨图像。因为人类视觉系统对亮度成分更加敏感，实验时将彩色图像从RGB空间变换到YCbCr空间，仅仅对亮度分量进行超分辨重建，对色度分量(Cb和Cr)，直接使用双立方插值算法放大到所需要的大小。由于图像的中频和高频分量之间的相关性比低频与高频分量之间的相关性更大，对输入的低分辨图像，利用双立方插值法放大两倍作为超分辨算法的输入。

为了公平起见，在训练阶段，从SCSR超分辨方法参考文献中抽取40幅高分辨图像作为训练图像。从训练图像中随机抽取90000个图像块构成训练集。实验时，为了避免平滑区域图像块影响学习的效率，将高分辨图像块特征向量范数接近于0的样本剔除。

参见表1，本发明的对比实验为现有的图像超分辨方法，对比算法有Bicubic，NE，NeedFS，JLSR，SCSR，TV六种方法。用本发明方法和不同超分辨对比算法对图7中的8幅测试图像分别进行超分辨重建，用RMSE，PSNR，和SSIM值进行客观质量评价。其结果如表1所示，其中每个图像对应3行，其中第1行、第2行、第3行分别为RMSE、PSNR和SSIM的值。从表格中可以看出，本发明的超分辨算法能获得比双立方Bicubic插值算法、传统的NE算法、NeedFS算法、JLSR、SCSR和TV算法更好的实验结果。从客观质量评价上看，本发明的超分辨方法有一定的优势。

表1 不同超分辨算法8幅测试图像重建结果RMSE，PSNR，和SSIM值对比

实施例5

基于NormLV特征的低秩稀疏邻域嵌入超分辨方法同实施例1-4，参见图9，图像的测试图像为Leaves。在图9(b)中，Bicubic算法重建的植物叶子有明显的锯齿失真；在图9(c)中，NE算法重建的植物叶子边缘比较模糊；图9(d)中，NeedFS算法强调图像块边缘，所以相比于NE算法重建的植物叶子边缘更加平滑，但是有点缺乏真实感。在图9(e)中，JLSR方法通过联合学习构造特征子空间进行线性嵌入，一定程度上减少低分辨与高分辨图像之间对于关系的不一致性，从而重建的效果要比之前的方法要好。在图9(f)中，SCSR算法重建的植物叶子边缘相比之前算法更加清晰；在图9(g)，TV算法相比SCSR能更好的恢复图像边缘，但是不能很好恢复纹理的高频细节，所以植物叶子纹理细节恢复得不是特别好；在图9(h)，与上述方法相比，本发明提出的方法有较好的视觉效果，更加接近原始的高分辨图像。从红色矩阵区域的放大结果进一步看出，本发明提出的方法能恢复更加清晰丰富的纹理细节和图像边缘，相比其他方法，有更好的视觉效果。

实施例6

基于NormLV特征的低秩稀疏邻域嵌入超分辨方法同实施例1-5，参见图10，图像的测试图像为Parents。在图10(b)中，Bicubic算法重建的老人眼睛、脸部等有明显的锯齿失真，所以Bicubic算法会产生明显的锯齿失真，视觉效果很差；在图10(c)中，NE算法重建的老人眼睛、袖子等都比较模糊，所以NE算法在一定程度上能恢复出图像中丢失的部分细节信息，但是边缘区域比较模糊，出现振铃效应；图10(d)中，NeedFS算法强调图像块边缘，所以相比于NE算法重建的老人袖子边缘更加平滑，但是有点缺乏真实感。在图10(e)中，JLSR方法通过联合学习构造特征子空间进行线性嵌入，一定程度上减少低分辨与高分辨图像之间对于关系的不一致性，从而重建的效果要比之前的方法要好。在图10(f)中，SCSR算法重建的老人袖子区域过于平滑，所以SCSR算法容易产生过平滑的效果；在图10(g)，TV算法相比SCSR能更好的恢复图像边缘，能有效抑制边缘振铃失真，但是不能很好恢复纹理的高频细节，所以老人眼睛和袖子纹理细节恢复得不是特别好；在图10(h)，与上述方法相比，本发明提出的方法有较好的视觉效果，更加接近原始的高分辨图像。从红色矩阵区域的放大结果可以看出，本发明提出的方法能恢复更加清晰丰富的纹理细节和图像边缘，相比其他方法，有更好的视觉效果。

综上，本发明的基于NormLV特征的低秩稀疏邻域嵌入的超分辨方法。考虑到传统邻域嵌入(Neighbor Embedding，NE)算法中由于特征表示不合理导致近邻选取不准确缺陷，首先构造了NormLV新特征将邻域嵌入算法进行特征增强，通过该特征来选取近邻；其次针对已有邻域超分辨算法在选择邻域和权值求解方面存在的不足，将稀疏表示与邻域嵌入算法相结合，提出一种基于稀疏表示的稀疏邻域嵌入算法，能有效实现重构权值的计算；最后，结合一致性先验和全局约束，进一步提高图像超分辨重建的质量，本发明可以用于一切自然彩色图像的超分辨重建。

Claims (3)

1.一种基于NormLV特征的低秩稀疏邻域嵌入超分辨方法，其特征在于，包括有如下步骤：

步骤1：读入一幅不含噪声的低分辨彩色RGB图像L_t，将RGB图像转换为彩色空间的YCbCr图像，将其中的色度分量Cb和Cr直接利用Bicubic插值法进行插值，将其中的亮度分量Y用NormLV特征提取方法进行操作；

步骤2：特征提取：将低分辨图像亮度分量Y提取NormLV特征，得到低分辨率图像训练集X_s；

步骤3：分组：对于低分辨率图像训练集X_s中每个向量在X_s中选出K个最近邻图像块，并把K个最近邻图像块和放到一个组G_i中，

$G_i=\left\{x_s^i\right\}\∪\{x_s^j,j\∈N_K\left(i\right)\}$

其中G_i表示与训练集中第i个样本相关的组_，N_K(i)表示由的K个最近邻图像块构成的索引集，1≤i≤N；

为了节省内存空间，保持索引即可，所以将索引集Gⁱ表示为：

Gⁱ＝{i}∪{j,j∈N_K(i)}

步骤4：低秩稀疏邻域嵌入：对于每个测试图像块用低秩稀疏邻域嵌入算法进行线性嵌入求出重构误差最小时的权值矩阵其中，低秩矩阵分解过程中得到高分辨图像块特征的低秩分量

步骤5：归一化：将低分辨图像全部的权值矩阵归一化：

$w_{a,j}={\stackrel{\‾}{w}}_{a,j}/\underset{a\∈N_k\left(j\right)}{\mathrm{\Σ}}{\stackrel{\‾}{w}}_{a,j}$

步骤6：线性组合：线性组合邻域集N_k(j)中对应的高分辨图像块特征的低秩分量得到低分辨图像块的高分辨图像块特征的估计即

$y_t^j=\underset{a\∈N_k\left(j\right)}{\mathrm{\Σ}}{w}_{a,j}\·{\left(y_s^a\right)}_A$

本发明将低分辨图像的权值映射到高分辨图像中，使得低分辨图像与高分辨图像邻域关系的一致性。

步骤7：将低分辨率图像块的均值I_mean与高分辨特征估计值进行线性组合得到最后的高分辨率图像块

$h_t^j=c\·{\left|\right|I_t^j\left|\right|}_2\·y_t^j+I_{\mathrm{mean}}$

步骤8：融合：将得到的所有的高分辨图像块融合为初始高分辨图像估计H₀，对于相邻图像块之间的重叠区域，使用平均融合的方法得到初始高分辨图像H₀的像素值；

步骤9：去模糊：对H₀使用TV去模糊算法获得去模糊的高分辨图像H；

步骤10：反向投影：对去模糊后的高分辨图像H，用IBP算法获得最终高分辨图像

$H_t^{*}=\arg \underset{H}{\min }{\left|\right|\mathrm{DBH}-L_t\left|\right|}_2^2+\mathrm{\μ}{\left|\right|H-H_0\left|\right|}_2^2$

其中μ为平衡参数；

最终完成基于NormLV特征的低秩稀疏邻域嵌入超分辨重建，即低分辨图像L_t的高分辨图像估计为最终高分辨图像

2.根据权利要求1所述的基于NormLV特征的低秩稀疏邻域嵌入超分辨方法，其中步骤2所述的NormLV特征提取方法具体步骤如下：

2a)将低分辨图像亮度分量Y自上而下，从左到右划分成大小为s×s的图像块，相邻图像块之间重叠1个像素；

2b)提取低分辨图像块的一阶梯度特征▽_{first gradient}；

2c)提取低分辨图像块的Norm特征▽_Norm，所谓的Norm特征即是中间像素点的值减去块的均值；

2d)提取低分辨图像块的LV特征▽_LV，LV特征为将图像水平和垂直方法融合起来，用中间值减去上下左右四个方向的像素值；

2e)为了更好得表示低分辨图像块，采用多个特征融合的方法将一阶梯度特征、Norm特征和LV特征融合为新的NormLV特征，NormLV特征表达式为：

${\▿}_{\mathrm{NormLV}}=\left(\begin{array}{c}{\▿}_{\mathrm{first}\mathrm{grad}\mathrm{ient}}\\ a{\▿}_{\mathrm{Norm}}\\ {\▿}_{\mathrm{LV}}\end{array}\right)$

其中a为调节融合权重的因子；

之后将得到的图像块提取其NormLV特征构造测试集同时对于训练样本集，低分辨训练样本集提取NormLV特征高分辨训练样本集提取强度特征

3.根据权利要求1所述的基于NormLV特征的低秩稀疏邻域嵌入超分辨方法，其中步骤4所述的低秩稀疏邻域嵌入算法具体步骤如下：

4a)对于每个测试图像块在低分辨率图像训练集X_s中找出最相似的并得到与相关的组Gⁱ，其中Gⁱ包含K+1个索引；

4b)将与相关的K个低分辨率图像梯度特征向量构成一个矩阵其中同理，将对应的K个高分辨率图像强度特征向量构成矩阵其中 $H^i=[y_s^1,...,y_s^p,...y_s^K];$

4c)输入图像块与低分辨率图像特征矩阵Lⁱ组成矩阵

4d)将和Hⁱ进行低秩矩阵分解，具体优化函数为：

$\underset{A_{j,L}^i,E_L^i}{\min }{\left|\right|A_{j,L}^i\left|\right|}_{*}+{\left|\right|E_L^i\left|\right|}_1,s.t.L_j^i=A_{j,L}^i+E_L^i$

$\underset{A_H^i,E_H^i}{\min }{\left|\right|A_H^i\left|\right|}_{*}+{\left|\right|E_H^i\left|\right|}_1,s.t.L^i=A_H^i+E_H^i$

其中，和分别为低分辨图像特征矩阵的低秩分量和稀疏分量；和分别为高分辨图像特征矩阵Hⁱ的低秩分量和稀疏分量；被分成两个部分，一部分是输入低分辨率图像块对应的列向量一部分是训练集低分辨率图像特征矩阵Lⁱ的分块矩阵即

4e)对于每个输入图像块的列向量在训练集低分辨率图像特征矩阵Lⁱ的分块矩阵中找出K个近邻a∈N_K(j)，然后用稀疏表示计算权值，优化函数为：

$\underset{w_j}{\min }{\left|\right|w_j\left|\right|}_0$

$s.t.\left|\right|{\left(x_t^j\right)}_A-{\left(A_L^i\right)}_a{w}_j\left|\right|\≤{\mathrm{\ϵ}}^j,w_{a,j}>0$

其中w_j＝[w_1,j,…,w_a,j,…,w_K,j]^T。上述优化问题是典型凸优化问题，采用OMP或BP算法就可求解出权值矩阵w_j，这种方法求出权值能更好的反映低分辨图像块与高分辨图像块之间的映射关系。