CN103714526B - 基于稀疏多流形嵌入的超分辨率图像重构方法 - Google Patents

Abstract

本发明公开了基于稀疏多流形嵌入的超分辨率图像重构方法，其步骤为：首先对一组高分辨训练图像提取中、高频特征，构造中、高频特征训练库；在多流形的假设基础上，对中、高频特征训练库进行聚类，得到不同类别的中、高频特征集对；对输入的低分辨图像，用与训练图相同的提取中频特征的方法提取中频特征，找到与其最近的训练中频特征中心，并将该中心所在的类指定为其邻域搜索范围；对所处理中频块在所在类中通过稀疏优化问题的求解确定来自同一流形的稀疏近邻的位置，最后通过最小二乘求解得到重构的高频块，待所有块处理完，便可以合成高频图；将高频图加到放大的低分辨图中，得到初始估计的重构图像；对初始估计重构图像通过常用的后处理方法从而得到最终结果。

Description

基于稀疏多流形嵌入的超分辨率图像重构方法

技术领域

本发明针对图像处理技术中的图像超分辨重构问题，基于传统的邻域嵌入方法，提出一种基于稀疏多流形嵌入的超分辨率图像重构方法，新的特征匹配以及通过稀疏求解为不同的图像块得到合适的近邻数，最终嵌入得到重构结果，该方法可以用于各类自然图像的超分辨率重构。

背景技术

随着现在大量图像的涌现与使用，在很多现实应用中高分辨率的图像越来越受到人们的青睐。由于成像环境、设备以及代价的限制，图像超分辨率重构方法得到了很多研究人员的关注。该技术突破图像传感器的分辨率限制，从一幅或几幅低分辨率图像中，重构出更高分辨率的图像，使得在安全监控视频中的人脸识别、遥感卫星图像中的物体分辨、医学成像系统中的目标检测、以及图像与视频压缩等领域中可以有效并低代价地获取高分辨率图像。图像超分辨率重构能从低分辨率图像重构得到分辨率较高的清晰图像，能较好的满足现实中人们对清晰的、分辨率高的图像的需求，更重要的是能重清晰的高分辨率图像中获得更多有用的信息。

近十年来，为了实现图像超分辨率重构这一目的，很多方法已经被提出，主要分为三类：基于插值的方法；基于样例的方法；基于回归的方法。这些方法不断得到改进，从而使得重构效果得以不断提高。其中基于样例的方法有很好的表现，得到了人们的深入学习研究。基于样例的方法主要指基于邻域嵌入的方法和基于编码的方法。2004年Chang等人提出了最初的领域嵌入方法NE，该方法假设低分辨率块和高分辨率块分别分布在两个结构相似的流形上，通过梯度特征匹配，通过KNN（k-nearestneighbors）找到近邻并用于近邻嵌入。在NE的基础上，一些方法进行了改进并取得了良好的结果，例如2007年Chan等人用边缘检测和特征选择提高了低分辨块的表示效率，2012年Zhang等人提出了用梯度直方图构造特征并选择稀疏邻域嵌入。然而该类方法仍存在一些不足，主要包括两个问题：所提取的特征不能够有效地表示图像特性，从而影响图像的重构质量；大量的图像块可能存在与多个流形上并且位于同一流形不同位置的图像块应有不同数目的近邻嵌入表示，因此以往的近邻嵌入的流形假设并不满足。

发明内容

本发明的目的在于克服上述基于邻域嵌入方法所存在的缺点，提出一种有效的基于稀疏多流形嵌入的超分辨率图像重构方法，通过简单中高频特征提取以及新的多流形假设与嵌入，实现更好的近邻嵌入。该发明能够达到较好的图像重构效果，效率高，所需参数少，视觉效果明显。其关键步骤就是对图像提取中高频特征进行特征匹配以及稀疏邻域的搜索。

为实现上述目的，本发明的技术方案基于稀疏多流形嵌入的超分辨率图像重构方法，包括如下步骤：

步骤101：开始基于稀疏多流形嵌入的超分辨率图像重构方法；

步骤102：选取具有代表性和多样性的几十幅包括动植物以及场景的高分辨率图像作为训练图像；

步骤103：开始构造训练特征库，对高分辨率的训练图像YS通过模糊下采样得到低分辨图XS，至此得到了多幅一一对应的高、低分辨训练图。通过滤波提取训练图像的中频和高频特征对和其中和均为特征列向量，N为特征向量的总个数；假设多样的训练块分布于多个流形，将得到的中频和高频特征对进行聚类，每个聚类对应于一个流形，至此训练特征库构造结束；

步骤104：输入需要测试的低分辨图像X_L，用与提取训练中频特征相同的方法对X_L提取中频特征向量其中是输入测试图像的中频特征向量，M为其总个数；

步骤105：对测试图像每个中频特征在训练特征库中选择最相近的类别；在所选类中通过稀疏问题的求解对中频进行稀疏邻域搜索，找到与输入块位于同一流形的近邻位置；所选到的中频邻域位置相对应的高频邻域就是最终找到的高频嵌入近邻；

步骤106：通过最小二乘法嵌入高频近邻，然后依次合并高频块，得到高频图，在与放大的低分辨图mag相加便得到初始估计的高分辨图像X₀,对X₀进行后处理，从而得到最终的高分辨图像；

步骤107：结束基于稀疏多流形嵌入的超分辨率图像重构方法。

所述的步骤103，包括如下步骤：

步骤201：开始依次对多幅训练图像提取特征；

步骤202：对原始高分辨率训练图像YS进行模糊下采样得到所对应的低分辨图像XS，对其进行插值放大记为mag，认为其中只包含低频和中频分量；

步骤203：提取高频特征：高频分量HF=YS-mag；对得到的高频图按顺序重叠分块，并拉成列向量，从而得到高频特征；对插值放大的mag经高斯低通滤波得到mag1，其中只包含低频分量，则中频分量MF=mag-mag1；对得到的中频图按顺序重叠分块，并拉成列向量，从而得到中频特征；

步骤204：将中高频特征按对应位置放好，从而得到中频和高频特征对；

步骤205：对中频特征向量进行K-means聚类，得到K个聚类中心和类 $\{C_1,C_2,...,C_K\},C_k=\left\{p_{\mathrm{MF}}^j\right|j\∈{\mathrm{\Ω}}_k,k=\mathrm{1,2},...,K\},$ 其中Ω_k表示由第k类中的中频特征向量组成的子集。根据聚类索引将中频特征对应的高频特征划分为不同的类，从而得到了由中高频特征对构成的若干类，于是便得到了由相对应的中高频特征组成的聚类；

步骤206：训练特征库构造结束。

所述的步骤105，包括如下步骤：

步骤301：开始找稀疏近邻；

步骤302：第k个聚类中心用μ_k表示，对测试图的每个中频特征在训练特征库中通过计算选择与其距离最相近的类别；

步骤303：将所选的训练类作为近邻搜索范围，通过稀疏优化问题的求解得到稀疏解，由稀疏解的位置我们就可以知道所要找的稀疏近邻；

步骤304：取出稀疏解非零位置所对应的那些来自训练特征中的高频特征向量，它们将用于恢复测试低分辨图的高频分量；

步骤305：稀疏近邻寻找完毕。

所述的步骤所述步骤303，包括如下步骤：

步骤401：开始进行稀疏近邻求解；

步骤402：不同的图像块可能有不同的流形结构，在稀疏问题建模前，采用这样一个假设：对于来自流形M_l的一个测试块，用其中频特征表示，设NB_i表示在训练集中的邻域，在那些由来自于训练集且与的误差达到ε的近邻子集在测试块附近张成的所有低维仿射子空间中，维度最低设为d_l的那个是由来自于与测试块相同的流形M_l的d_l+1个训练块特征所张成，可以写成下式：

${\left|\right|\underset{j\∈{\mathrm{NB}}_i}{\mathrm{\Σ}}{c}_{\mathrm{ij}}(p_{\mathrm{MF}}^j-x_{\mathrm{MF}}^i)\left|\right|}_2\≤\mathrm{\ϵand}\underset{j\∈{\mathrm{NB}}_i}{\mathrm{\Σ}}{c}_{\mathrm{ij}}=1---\left(1\right)$

其中NB_i表示当前测试块的中频特征在所属的训练特征类别中的邻域，上式最为稀疏的解的非零位置就对应于来自于流形M_l的d_l+1个训练块特征；

步骤403：式(1)可进一步可以写为：

${\left|\right|[p_{\mathrm{MF}}^1-x_{\mathrm{MF}}^i...p_{\mathrm{MF}}^J-x_{\mathrm{MF}}^i]c_i\left|\right|}_2\≤\mathrm{\ϵ},1^T{c}_i=1---\left(2\right)$

其中 $x_{\mathrm{MF}}^i(i=1,...,M)$ 和 $p_{\mathrm{MF}}^j(j=1,...,J,j\∈{\mathrm{NB}}_i)$ 分别表示输入待处理低分辨图像的中频特征向量和来自训练特征集合中邻域NB_i的中频特征向量，根据稀疏解c_i的非零位置对应于所找到的来自于流形M_l上的d_l+1个近邻，它们将用于最终的高频块的嵌入；

步骤404：为了求解上式，我们对向量归一化，去除那些过大或过小的值的影响： ${\stackrel{\‾}{p}}_{\mathrm{MF}}^i\stackrel{\mathrm{\Δ}}{=}[\frac{p_{\mathrm{MF}}^1-x_{\mathrm{MF}}^i}{{\left|\right|p_{\mathrm{MF}}^1-x_{\mathrm{MF}}^i\left|\right|}_2}...\frac{p_{\mathrm{MF}}^J-x_{\mathrm{MF}}^i}{{\left|\right|p_{\mathrm{MF}}^J-x_{\mathrm{MF}}^i\left|\right|}_2}],$ 对于一个值很小的ε，我们要从的所有解中找出与最相近且位于同一流形的近邻组成的解，该问题可以由下一步解决；

步骤405：求解以下约束的加权1范问题：

$\underset{c_i}{\min }{\left|\right|Q_i{c}_i\left|\right|}_1\mathrm{subjectto}{\left|\right|{\stackrel{\‾}{p}}_{\mathrm{MF}}^i{c}_i\left|\right|}_2\≤\mathrm{\ϵ},1^T{c}_i=1---\left(3\right)$

其中 $\mathrm{diag}\left(Q_i\right)=[\frac{p_{\mathrm{MF}}^1-x_{\mathrm{MF}}^i}{{\mathrm{\Σ}}_{j=1}^J{p}_{\mathrm{MF}}^j-x_{\mathrm{MF}}^i},...,\frac{p_{\mathrm{MF}}^J-x_{\mathrm{MF}}^i}{{\mathrm{\Σ}}_{j=1}^J{p}_{\mathrm{MF}}^j-x_{\mathrm{MF}}^i}];$ 对于约束的加权1范最小化问题(3)的求解，Q_i的选择确保了那些与相近的训练块具有较小的权重，从而允许给他们分配非零系数，相反，距较远的训练块将得到较大的权重，从而被分配得到零系数。所以，解c_i的非零位置就表示了所选的近邻。因此该加权1范可以找到与输入测试中频块相距最近（最相似）且数目最少的近邻训练块，据假设中所述，这些数目最少的近邻与测试块位于同一流形结构。

步骤406：上述约束的加权1范问题(3)可以通过拉格朗日乘子法求解：

$\underset{c_i}{\min }\mathrm{\λ}{\left|\right|Q_i{c}_i\left|\right|}_1+\frac{1}{2}{\left|\right|{\stackrel{\‾}{p}}_{\mathrm{MF}}^i{c}_i\left|\right|}_2^2\mathrm{subjectto}{1}^T{c}_i=1---\left(4\right)$

从而求解得到稀疏解c_i，其非零位置就是最终找到的与测试块位于同一流形的训练近邻块；

步骤407：稀疏近邻搜索结束。

所述的步骤106，包括如下步骤：

步骤501：开始近邻嵌入并合成最终结果；

步骤502：将对应于c_i非零位置的训练高频块取出作为稀疏高频近邻，它们来自于同一流形，并可以通过线性组合来表示输入低分辨块的高频分量；

步骤503：对所得到的高频近邻进行局部线性嵌入(LLE），最小二乘法通过求解 $\left\{\begin{array}{cc}\underset{w_{\mathrm{ij}}}{\min }& {\left|\right|x_{\mathrm{MF}}^i-\mathrm{\Σ}{w}_{\mathrm{ij}}{p}_{\mathrm{MF}}^j\left|\right|}^2\\ s.t.& p_{\mathrm{MF}}^j\∈N_i\end{array}\right.$ 得到重构权值，其中Ν_i表示前面所找到的与第i个输入块位于同一流形的稀疏训练近邻子集；

步骤504：由可以得到最终重构的高频块；

步骤505：将得到的高频块按顺序合成高频图像，将该高频图像与插值放大的低分辨图像mag相加，即得到了初始估计的高分辨图像X₀；

步骤506：对X₀进行后处理优化结果。首先进行迭代反向投影（IBP）：

$\hat{X}=\underset{X_0}{\arg }{\left|\right|X_L-{\mathrm{DHX}}_0\left|\right|}_2^2---\left(2\right)$

其中X_L指输入的低分辨图像，D和H分别指模糊算子和下采样操作，从而保证超分辨重建估计通过反向投影应该与输入的低分辨图像一致。(5)式可通过梯度下降法求解；通过TV去模糊算法对IBP后的结果进行去模糊后处理，得到最终的重构结果；

步骤507：结束重构。

本发明与现有的技术相比具有以下优点：

1.本发明基于稀疏多流形嵌入的超分辨率图像重构方法，运用了简单有效的特征提取方法，通过中频匹配寻找高频近邻，从而直接地恢复高频信息即图像细节部分；

2.此方法通过聚类的思想将训练库聚为多个类，每个类包括相似特性的特征块信息，同时也减少了近邻搜索的范围从而降低近邻搜索的复杂度。

3.本发明克服了一般基于邻域嵌入的方法固定邻域大小以及严格假设图像块单流形的分布的缺点，为不同图像块尽量选择合适的邻域，从而进行更好地嵌入表示，得到了较好的结果。

实验证明，本发明适用于自然图像的超分辨率重构，通过本方法进行重构后，重构图像恢复了较多高频细节信息并且减少了人工痕迹的产生，具有良好的视觉效果和数值指标。

附图说明

图1是本发明的总流程图；

图2是构造训练特征库的流程图；

图3是稀疏近邻搜索的流程图；

图4是稀疏优化模型建立及其求解的流程图；

图5是合成最终高分辨图像的流程图；

图6是用本发明用到的原始高分辨率测试图像，这些图像在目前的超分辨重构方法验证中普遍使用；

图7是用本发明对测试Butterfly图像的重构效果图以及与其他几种常见方法的视觉对比图；

图8是用本发明对测试Flower图像的重构效果图以及与其他几种常见方法的视觉对比图；

图9是用本发明对测试girl图像的重构效果图以及与其他几种常见方法的视觉对比图；

图10是用本发明对测试Plants图像的重构效果图以及与其他几种常见方法的视觉对比图；

表1是实验的数值结果。

具体实施方式

该发明提出了一种基于稀疏多流形嵌入的超分辨率图像重构方法，其关键步骤就是中高频特征向量的提取以及高频稀疏近邻的选择和嵌入。在模糊下采样之前首先要对图像的行列进行调整，以免在后面处理中出现行列数不统一的情况。该方法的特征是：首先构造训练特征库，对大量的训练图像提取中高频特征，经聚类得到多个训练特征集，然后对需要恢复的低分辨图像进行中频特征提取，进而通过中频特征匹配，通过稀疏求解从最近的训练特征集中找到高频近邻，最后嵌入高频近邻得到高频分量，与插值放大图相加得到初始估计，经再后处理优化结果得到最终重构图像。

如图1所示：

主流程图步骤特征是：

步骤101：开始基于稀疏多流形嵌入的超分辨率图像重构方法；

步骤102：选取具有代表性和多样性的几十幅包括动植物以及场景的高分辨率图像作为训练图像；

步骤103：构造训练特征库：对高分辨率的训练图像YS通过模糊下采样得到低分辨图XS，插值放大到原来大小，滤波提取中频和高频分量，再重叠分块，拉成列向量得到训练图像的中频和高频特征对和其中和均为特征列向量，N为特征向量的总个数，对训练特征再进行聚类，至此训练特征库构造结束；

步骤104：输入需要测试的低分辨图像X_L，用与提取训练中频特征相同的方法对X_L提取中频特征向量其中是输入测试图像的中频特征向量，M为其总个数；

步骤105：每个测试特征向量在与其最相近的训练特征集中进行稀疏问题的优化求解，由稀疏解的非零位置从训练集中找到稀疏高频近邻；

步骤106：嵌入高频近邻，合成高分辨图X₀，最终X₀经后处理得到高分辨重建图像；

步骤107：结束基于稀疏多流形嵌入的超分辨率图像重构方法。

如图2所示：

所述的步骤103，包括如下步骤：

步骤201：开始依次对训练图像提取特征；

步骤202：对原始高分辨率训练图像YS进行模糊下采样得到所对应的低分辨图像XS，对其进行插值放大记为mag，认为其中只包含低频和中频分量；

步骤203：提取高频特征：高频分量HF=YS-mag；对得到的高频图按顺序重叠分块，并拉成列向量，从而得到高频特征；对插值放大的mag经高斯低通滤波得到mag1，其中只包含低频分量，则中频分量MF=mag-mag1；对得到的中频图按顺序重叠分块，并拉成列向量，从而得到中频特征；

步骤204：将中高频特征按对应位置放好，从而得到中频和高频特征对。

步骤205：对中频特征向量进行K-means聚类，得到K个聚类中心和类 $\{C_1,C_2,...,C_K\},C_k=\left\{p_{\mathrm{MF}}^j\right|j\∈{\mathrm{\Ω}}_k,k=\mathrm{1,2},...,K\},$ 其中Ω_k表示由第k类中的中频特征向量组成的子集根据聚类索引将对应的高频特征划分为不同的类，从而得到了由中高频特征对构成的若干类，于是便得到了由相对应的中高频特征组成的聚类；

步骤206：训练特征库构造结束；

如图3所示：

所述的步骤105，包括如下步骤：

步骤301：开始找稀疏近邻；

步骤302：第k个聚类中心用μ_k表示，对测试图的每个中频特征在训练特征库中通过计算选择距离最相近的类别；

步骤303：将所选的训练类作为近邻搜索范围，通过稀疏优化问题的求解得到稀疏解，由稀疏解的位置我们就可以知道所要找的稀疏近邻；

步骤304：取出稀疏解非零位置所对应的那些来自训练特征中的高频特征向量，它们将用于恢复测试低分辨图的高频分量。

步骤305：稀疏近邻寻找完毕。

如图4所示：

所述步骤303，包括如下步骤：

步骤401：开始进行稀疏近邻求解；

步骤402：不同的图像块可能有不同的流形结构，在进行稀疏求解的过程中，为了找到更加准确的近邻，我们用所得到的特征来代替图像块本身。在稀疏问题建模前，采用这样一个假设：对于来自流形M_l的一个测试块，用其中频特征表示，设NB_i表示在训练集中的邻域，在那些由来自于训练集且与的误差达到ε的近邻子集在测试块附近张成的所有低维仿射子空间中，维度最低设为d_l的那个是由来自于与测试块相同的流形M_l的d_l+1个训练块特征所张成，可以写成下式：

${\left|\right|\underset{j\∈{\mathrm{NB}}_i}{\mathrm{\Σ}}{c}_{\mathrm{ij}}(p_{\mathrm{MF}}^j-x_{\mathrm{MF}}^i)\left|\right|}_2\≤\mathrm{\ϵand}\underset{j\∈{\mathrm{NB}}_i}{\mathrm{\Σ}}{c}_{\mathrm{ij}}=1---\left(1\right)$

其中NB_i表示当前测试块的中频特征在所属的训练特征类别中的邻域，上式最为稀疏的解的非零位置就对应于来自于流形M_l的d_l+1个训练块特征；

步骤403：式(1)可进一步可以写为：

${\left|\right|[p_{\mathrm{MF}}^1-x_{\mathrm{MF}}^i...p_{\mathrm{MF}}^J-x_{\mathrm{MF}}^i]c_i\left|\right|}_2\≤\mathrm{\ϵ},1^T{c}_i=1---\left(2\right)$

其中 $x_{\mathrm{MF}}^i(i=1,...,M)$ 和 $p_{\mathrm{MF}}^j(j=1,...,J,j\∈{\mathrm{NB}}_i)$ 分别表示输入待处理低分辨图像的中频特征向量和来自训练特征集合中邻域NB_i的中频特征向量，根据稀疏解c_i的非零位置对应于所找到的来自于流形M_l上的d_l+1个近邻，它们将用于最终的高频块的嵌入；

步骤404：为了求解上式，我们对向量归一化，去除那些过大或过小的值的影响： ${\stackrel{\‾}{p}}_{\mathrm{MF}}^i\stackrel{\mathrm{\Δ}}{=}[\frac{p_{\mathrm{MF}}^1-x_{\mathrm{MF}}^i}{{\left|\right|p_{\mathrm{MF}}^1-x_{\mathrm{MF}}^i\left|\right|}_2}...\frac{p_{\mathrm{MF}}^J-x_{\mathrm{MF}}^i}{{\left|\right|p_{\mathrm{MF}}^J-x_{\mathrm{MF}}^i\left|\right|}_2}],$ 对于一个值很小的ε，我们要从的所有解中找出与最相近且位于同一流形的近邻组成的解，该问题可以由下一步解决；

步骤405：求解以下约束的加权1范问题：

$\underset{c_i}{\min }{\left|\right|Q_i{c}_i\left|\right|}_1\mathrm{subjectto}{\left|\right|{\stackrel{\‾}{p}}_{\mathrm{MF}}^i{c}_i\left|\right|}_2\≤\mathrm{\ϵ},1^T{c}_i=1---\left(3\right)$

其中 $\mathrm{diag}\left(Q_i\right)=[\frac{p_{\mathrm{MF}}^1-x_{\mathrm{MF}}^i}{{\mathrm{\Σ}}_{j=1}^{d_l}{p}_{\mathrm{MF}}^j-x_{\mathrm{MF}}^i},...,\frac{p_{\mathrm{MF}}^{d_l}-x_{\mathrm{MF}}^i}{{\mathrm{\Σ}}_{j=1}^{d_l}{p}_{\mathrm{MF}}^j-x_{\mathrm{MF}}^i}].$ 对于该加权1范最小化的问题(3)，Q_i的选择确保了那些与相近的训练块得到较小的权重，从而允许给他们分配非零系数，相反，距较远的训练块将得到较大的权重，从而被分配得到零系数。所以，解c_i的非零位置就表示了所选的近邻。换句话说，上式的求解自动地选择了所给块的近邻训练块，对于全局的变化，比例缩放，该解保持不变。该加权1范因此可以找到与输入测试中频块最近的数目最少的近邻训练块，据假设中所述，这些数目最少的近邻与测试块位于同一流形结构。

步骤406：上述约束的加权1范问题(3)可以通过拉格朗日乘子法求解：

$\underset{c_i}{\min }\mathrm{\λ}{\left|\right|Q_i{c}_i\left|\right|}_1+\frac{1}{2}{\left|\right|{\stackrel{\‾}{p}}_{\mathrm{MF}}^i{c}_i\left|\right|}_2^2\mathrm{subjectto}{1}^T{c}_i=1---\left(4\right)$

从而求解得到稀疏解c_i，其非零位置就是最终找到的与测试块位于同一流形的训练近邻块。

步骤407：稀疏近邻搜索结束。

如图5所示：

所述步骤106，包括如下步骤：

步骤501：开始近邻嵌入并合成最终结果；

步骤502：将对应于c_i非零位置的训练高频块取出作为稀疏高频近邻，它们来自于同一流形，并可以通过线性组合来表示输入低分辨块的高频分量。

步骤503：对所得到的高频近邻进行局部线性嵌入(LLE)，最小二乘法通过求解 $\left\{\begin{array}{cc}\underset{w_{\mathrm{ij}}}{\min }& {\left|\right|x_{\mathrm{MF}}^i-\mathrm{\Σ}{w}_{\mathrm{ij}}{p}_{\mathrm{MF}}^j\left|\right|}^2\\ s.t.& p_{\mathrm{MF}}^j\∈N_i\end{array}\right.$ 得到重构权值，其中Ν_i表示与第i个输入块位于同一流形的稀疏训练近邻子集；

步骤504：由可以得到最终重构的高频块。

步骤505：将得到的高频块按顺序合成高频图像，将该高频图像与插值放大的低分辨图像mag相加，即得到了初始估计的高分辨图像X₀；

步骤506：对X₀进行后处理优化结果。首先进行迭代反向投影(IBP)：

$\hat{X}=\underset{X_0}{\arg }{\left|\right|X_L-{\mathrm{DHX}}_0\left|\right|}_2^2---\left(5\right)$

其中X_L指输入的低分辨图像，D和H分别指模糊算子和下采样操作，从而保证超分辨重建估计通过反向投影应该与输入的低分辨图像一致。该式可通过梯度下降法求解。通过TV去模糊算法对IBP后的结果进行去模糊后处理，得到最终的重构结果；

步骤507：结束重构。

本发明的效果可以通过以下实验进一步说明：

1)实验条件

采用软件MATLABR2012a作为仿真工具，计算机配置为IntelCore2/1.8G/2G。

2)实验内容

A.视觉实验对比：

本方法与几种具有代表性的方法即Bicubic、SRNE(Chang2004)、SCSR(TIP2010)、TV(2008)、ASDS(Dong2011)、NSKR(2012)进行了比较，除了视觉效果的比较还有数值指标的比较。

本发明只对输入图像的亮度分量进行重构，因为人眼对亮度分量最为敏感，即在提取特征时，将图像由RGB转换成YCbCr模式，提取其中的亮度分量，其他两个分量均由Bicubic插值放大，最后将得到的YCbCr模式图像还原成原来的RGB模式。所有的中高频块大小为9*9，重叠像素个数为6，所有都是低分辨图像放大3倍重构的结果。

从图7和图8中我们可以看到，新方法的重构结果恢复除了更多的细节，例如蝴蝶翅膀上层次的条纹边缘以及花瓣上细小的褶皱，这些可以从放大的局部图中可以更清晰地看到；同样图9也恢复出了其他方法中无法恢复的细节，例如女孩脸上的斑点；图10相对于其他几副图颜色更深，更接近原图。从而可以看出本发明在重构图像的高频细节信息上保持得比较好，边缘线条连续，且没有锯齿效应，图像的视觉效果上要优于其它方法。总体上，Bicubic重构效果最差，SRNE、SCSR、TV都得到了明显提高，ASDS重构效果和NSKR相当，本方法视觉效果相比之下最好。

B.数值指标对比

数值指标如表1所示：

表1

从表中可以看出该方法可以得到较为满意的数值结果。综合视觉效果与数值结果可以证明该专利中所提出的基于稀疏多流形嵌入的超分辨率图像重构方法能够明显提高重构结果，具有较好的性能与研究价值，相关工作将后续展开。

本实施例没有详细叙述的部分和英文缩写属本行业的公知常识，在网上可以搜索到，这里不一一叙述。

Claims (5)

1.基于稀疏多流形嵌入的超分辨率图像重构方法，包括如下步骤：

步骤101：开始基于稀疏多流形嵌入的超分辨率图像重构方法；

步骤102：选取具有代表性和多样性的几十幅包括动植物以及场景的高分辨率图像作为训练图像；

步骤103：开始构造训练特征库，对高分辨率的训练图像YS通过模糊下采样得到相应的低分辨图XS，至此得到了多幅一一对应的高、低分辨训练图；将XS放大到与YS相同大小，对放大的低分辨图像通过滤波提取中频和高频分量并进行重叠分块操作，将每个块拉成列向量按顺序排放，便得到训练图像的中频和高频特征对和其中和均为特征列向量，N为该特征向量的个数；在此假设多样的训练块分布于多个流形，将得到的中频和高频特征对进行聚类，每个聚类对应于一个流形，至此训练特征库构造结束；

步骤104：输入需要测试的低分辨图像X_L，用与提取训练中频特征相同的方法对X_L提取中频特征向量其中是输入测试图像的中频特征向量，M为其总个数；

步骤105：对测试图像每个中频特征在训练特征库中选择最相近的类别；在所选的类别中通过稀疏问题的优化求解对中频进行稀疏邻域搜索，找到与输入块位于同一流形的近邻位置；所选到的中频邻域位置相对应的高频邻域就是最终找到的高频嵌入近邻；

步骤106：通过最小二乘法嵌入高频近邻，然后按顺序依次合并高频块，得到高频图，将其与插值放大的低分辨图相加便得到初始估计的高分辨图像X₀,最后对X₀进行迭代反向投影(IBP)以及全变差去模糊(TV)后处理，从而得到最终的高分辨图像；

步骤107：结束基于稀疏多流形嵌入的超分辨率图像重构方法。

2.根据权利要求1所述的基于稀疏多流形嵌入的超分辨率图像重构方法，所述的步骤103，包括如下步骤：

步骤201：开始依次对训练图像提取特征；

步骤202：对原始高分辨率训练图像YS进行模糊下采样得到所对应的低分辨图像XS，对其进行插值放大记为mag，认为其中只包含低频和中频分量；

步骤203：提取高频特征：高频分量HF＝YS-mag；对得到的高频图按顺序重叠分块，并拉成列向量，从而得到高频特征对插值放大的mag经高斯低通滤波得到mag1，其中只包含低频分量，则中频分量MF＝mag-mag1；对得到的中频图按顺序重叠分块，并拉成列向量，从而得到中频特征

步骤204：将中、高频特征按对应位置放好，从而得到中频和高频特征对；

步骤205：对中频特征向量进行K-means聚类，得到K个聚类中心和类{C₁，C₂，…，C_K}，其中Ω_k表示由第k类中的中频特征向量组成的子集；根据聚类索引将对应的高频特征划分为不同的类，从而得到了由中高频特征对构成的多个类；

步骤206：训练特征库构造结束。

3.根据权利要求1所述的基于稀疏多流形嵌入的超分辨率图像重构方法，所述的步骤105，包括如下步骤：

步骤301：开始找稀疏近邻；

步骤302：第k个聚类中心用μ_k表示，对测试图的每个中频特征在训练特征库中通过计算选择与其距离最相近的类别；

步骤303：对于每个输入的测试图的中频特征，将所选的训练特征库中的类别作为其近邻搜索范围，通过稀疏优化问题的求解得到稀疏解，由稀疏解的非零位置就得到了所要找的稀疏近邻；

步骤304：取出稀疏解非零位置所对应的那些来自训练特征中的高频特征向量作为稀疏高频近邻，用于恢复测试低分辨图的高频分量；

步骤305：稀疏近邻寻找完毕。

4.根据权利要求3所述的基于稀疏多流形嵌入的超分辨率图像重构方法，所述的步骤所述步骤303，包括如下步骤：

步骤401：开始进行稀疏近邻求解；

步骤402：不同的图像块可能有不同的流形结构，那么在相应的特征空间也是如此；在进行稀疏求解的过程中，为了找到更加准确的近邻，用特征来代替图像块本身；在稀疏问题建模前，采用这样一个假设：对于来自流形M_l的一个测试块，用其中频特征表示，设NB_i表示在训练集中的邻域，在那些由来自于训练集且与的误差达到ε的近邻子集在测试块附近张成的所有低维仿射子空间中，维度最低设为d_l的那个是由来自于与测试块相同的流形M_l的d_l+1个训练块特征所张成，可以写成下式：

其中NB_i表示当前测试块的中频特征在所属的训练特征类别中的邻域，上式最为稀疏的解的非零位置就对应于来自于流形M_l的d_l+1个训练块特征；

步骤403：式(1)可进一步可以写为：

其中和分别表示输入待处理低分辨图像的中频特征向量和来自训练特征集合中邻域NB_i的中频特征向量，根据稀疏解c_i的非零位置对应于所找到的来自于流形M_l上的d_l+1个近邻，它们将用于最终的高频块的嵌入；

步骤404：为了求解上式，对向量归一化，去除那些过大或过小的值的影响：对于一个值很小的ε，要从1^Tc_i＝1的所有解中找出与最近且位于同一流形的近邻组成的解，该问题可以由下一步解决；

步骤405：求解以下约束的加权1范问题：

其中对于约束的加权1范最小化问题(3)的求解，Q_i的选择确保了那些与相近的训练块具有较小的权重，从而允许给他们分配非零系数，相反，距较远的训练块将得到较大的权重，从而被分配得到零系数；所以，解c_i的非零位置就表示了所选的近邻；换句话说，上式的求解自动地选择了所给块的近邻训练块，对于全局的变化，比例缩放，该解总保持不变；该加权1范数因此可以找到与输入测试中频块相距最近且数目最少的近邻训练块，据假设中所述，这些数目最少的近邻与测试块位于同一流形结构；

步骤406：上述约束的加权1范问题(3)可以通过拉格朗日乘子法求解：

从而求解得到使上式最小的稀疏解c_i，其非零位置就是最终找到的与测试块位于同一流形的训练近邻块；

步骤407：稀疏近邻搜索结束。

5.根据权利要求1所述的基于稀疏多流形嵌入的超分辨率图像重构方法，所述的步骤106，包括如下步骤：

步骤501：开始近邻嵌入并合成最终结果；

步骤502：将对应于c_i非零位置的训练高频块取出作为稀疏高频近邻，它们来自于同一流形，并可以通过线性组合来表示输入低分辨块的高频分量；

步骤503：对所得到的高频近邻进行局部线性嵌入(LLE)，最小二乘法通过求解得到重构权值，其中Ν_i表示与第i个输入块位于同一流形的稀疏训练近邻子集；

步骤504：由可以得到最终重构的高频块；

步骤505：将得到的高频块按顺序合成高频图像，将该高频图像与插值放大的低分辨图像mag相加，即得到了初始估计的高分辨图像X₀；

步骤506：对X₀进行后处理优化；首先进行迭代反向投影(IBP)：

其中X_L指输入的低分辨图像，D和H分别指模糊算子和下采样操作，从而保证超分辨重建估计通过反向投影应该与输入的低分辨图像一致；(5)式可通过梯度下降法求解，在此不做赘述；通过全变差去模糊算法对迭代反向投影后的结果进行去模糊后处理，得到最终的重构结果；

步骤507：结束重构。