CN101976435B - 基于对偶约束的联合学习超分辨方法 - Google Patents

Abstract

本发明公开了一种基于对偶约束的联合学习超分辨方法，主要解决现有邻域嵌入超分辨方法导致图像模糊的问题，其步骤是：(1)使用高分辨图像生成训练集，建立低分辨和高分辨图像块的成组块对；(2)提取低分辨图像块的特征向量，在训练集中查找最匹配的成组块对；(3)对成组块对中低分辨和高分辨块的特征向量，进行联合学习，构造投影矩阵，生成联合特征子空间；(4)在生成的联合特征子空间中使用邻域嵌入估计高分辨图像块；(5)将所有估计的高分辨图像块合成高分辨图像；(6)对合成的高分辨图像，利用全局重构约束和反向投影算法改善图像质量。实验结果表明，本发明具有更强的超分辨能力，可用于低分辨自然图像的放大。

Description

基于对偶约束的联合学习超分辨方法

技术领域

本发明属于图像处理技术领域，涉及机器学习和邻域嵌入(Neighbor Embedding)图像超分辨方法，可用于自然图像超分辨恢复。

背景技术

在实际应用中，大多数图像处理系统，如医学诊断、模式识别、视频监控、生物鉴别、高清晰电视HDTV成像等应用领域，往往需要处理高分辨图像。高分辨率的医学图像为医生的正确诊断能提供可靠依据，高分辨视频图像能有效提高目标识别的精度。无疑，通过提高电子成像设备分辨率级别是提高成像分辨率的有效途径之一。一方面，通过改进光学传感器件制造技术，缩小光学传感器感光元件的物理尺寸，从而增加物理成像单元的密度，可提高成像分辨率。然而，采用这种方法必定会导致成像设备成本的增加，限制消费类成像设备的应用与推广；另一方面，通过增加光学传感器的设计尺寸，增加单位面积像素的个数，也可提高成像的空间分辨率，但该方法会导致成像性能的急剧下降。而且，实际应用中，在远距离成像环境下，如视频监控、遥感成像和SAR成像，即便使用高分辨率的成像设备仍然无法获得满足实际应用要求的高分辨图像。因此，需要寻求提高现有图像分辨率的其它有效方法。通过信号处理技术，设计高效的超分辨图像重建算法，是解决该问题的关键技术，即图像超分辨重建技术。

1984年，Tsai和Huang等人在文献“T.S.Huang and R.Y.Tsai，“Multi-frame imagerestoration and registration，”Adv.Comput.Vis.Image Process.，vol.1，pp.317-339，1984.”中最早提出了图像超分辨技术的思想。他们通过低分辨率图像间的相对运动，在频域建立低分辨率图像与期望的高分辨率图像之间的关系，采用低分辨率图像的离散傅里叶变换与连续的高分辨率图像采样之间的关系实现超分辨反问题求解。近三十多年来，很多学者对超分辨问题进行了广泛而深入的研究，大体上，超分辨重建方法可分为三类：基于插值的方法、基于多帧低分辨图像的方法和基于实例学习的方法。

1)基于插值的方法：是一种直接而高效的提高图像分辨率的方法。该方法通过一个插值核或插值基函数估计高分辨图像中每个像素的值。如最近邻插值、双线性插值和双立方插值等均是常见的图像插值放大方法。具有代表性的插值超分辨方法有：Ur和Gross在“H.Ur，D.Gross，“Improved resolution from sub-pixel shifted pictures，”CVGIP：GraphicalModels and Image Processing，vol.54，pp.181-186，Mar.1992.”一文中提出的对空间变换的低分辨率图像合成的非均匀插值方法；Nguyen和Milanfa在“N.Nguyen and P.MilanFar.“An efficient wavelet-based algorithm for image superresolution，”in Proc.Int.Conf.ImageProcessing，vol.2，2000，pp 351-354”中提出了一种有效的基于小波的超分辨重构算法；XinLi等人在“X.Li and M.Orchard，“New edge directed interpolation，”IEEE Trans.ImageProcess.，vol.10，no.10，pp.1521-1527，Oct.2001”中提出的利用低分辨图像和待估计的高分辨图像局部协方差几何对偶关系估计插值像素的方法，该方法在一定程度上保持图像边缘信息。然而，实际应用结果表明，随着图像放大倍数的增加，单个图像中能利用的信息越来越少，直接插值生成的高分辨图像会越来越模糊，最终导致边缘和纹理等高频信息的丢失，尽管效率高，但满足不了图像处理系统的实际应用要求。

2)基于多帧低分辨图像方法：使用该类方法进行超分辨的前提是首先必须获取同一场景的多个低分辨图像，每个低分辨图像间具有亚像素大小的移动。为实现超分辨重建，首先需要选择一个低分辨图像作为参考图像，在假设运动模型已知的情况下，先对图像进行配准，然后在需要放大的高分辨图像网格内进行图像融合，并结合一定的先验信息，实现超分辨反问题的稳定求解。如Zhang等人在文献“X.Zhang，E.Y.Lam，E.X.Wu，and K.KWong，“Application of Tikhonov regularization to super-resolution reconstruction of brain MRIimage，”Lecture Notes in Computer Science，vol.4987，pp.51-56，2008.”中提出的Tikhonov正则化重建方法是多帧图像超分辨重建算法中最具代表性的正则化方法之一。该方法通过引入平滑约束项抑制重建图像的噪声，但同时也损失了低分辨图像中的细节信息。另一种具有代表性的方法是由Farsiu等人在文献“S.Farsiu，M.D.Robinson，M.Elad and P.Milanfar，“Fast and robust multi-frame super resolution，”IEEE Trans.Image Processing，vol.13，no.10，pp.1327-1344，2004.”中提出的使用双边总变分(bilateral total variation，BTV)算子作为正则项，用l₁范数度量数据逼近项的稳健超分辨率重建算法。该算法具有较好的稳健性，边缘保持性能优于传统的Tikhonov正则化方法。X.Li等人在文献“X.Li，X.Gao，Y.Hu，D.Tao，and B.Ning，“A Multi-frame Image Super-Resolution Method，”Signal Processing，vol.90，no.2，pp.405-414，Feb.2010.”中提出了局部自适应双边总变分(LABTV)正则项的多帧超分辨方法，该方法能在保持边缘的同时有效抑制噪声，具有很强的鲁棒性。然而，由于模糊过程和成像模型假设存在不足，很难实现精确的图像配准。为克服该问题，M.Protter等人分别在文献“M.Protter，M.Elad，“Generalizing the nonlocal-means to super-resolutionreconstruction，”IEEE Trans.Image Process.，vol.18，no.1，pp.36-51，Jan.2009.”和“M.Protter，M.Elad，“Super Resolution With Probabilistic Motion Estimation，”IEEE Trans.Image Process.，vol.18，no.8，pp.1899-1904，Aug.2009.”中提出了概率运动和模糊配准的思想，通过引入非局部均值(Non-local Means)去噪的思想，利用图像中结构的冗余性实现视频图像的超分辨重建。主观上，他们的方法能取得较好的超分辨效果，但由于重建算法是逐个像素处理的，实时性低，算法性能有待进一步提高。在通常情况下，满足多帧超分辨重建条件的多个低分辨图像无法获取，而且成像模型估计不准确和配准不精确均会导致重建质量的下降。

3)基于实例学习的方法：该方法能有效克服多帧低分辨图像超分辨存在的不足，只需要单个低分辨图像即可实现超分辨恢复。该方法利用高、低分辨率图像间的共现先验，通过学习两者间的对应关系预测高分辨图像。Freeman等人最早提出实例学习的图像超分辨技术。他们先后在“W.T.Freeman，E.C.Pasztor，and O.T.Carmichael，“Learning low-levelvision，”International Journal of Computer Vision，vol.40，no.1，pp.25-47，Oct.2000.”和“W.T.Freeman，T.R.Jones，and E.C.Pasztor，“Example-based super-resolution，”IEEEComput.Graph.Appl.，vol.22，no.2，pp.56-65，Mar-Apr.2002”两文中提出利用Markov网络建立低分辨图像和高分辨场景之间的关系，通过信任传播算法实现高分辨图像的最大后验估计，具有较直接的插值方法更强的超分辨恢复能力。然而，他们的算法依赖于实例图像的数量和类别，对训练图像的类型比较敏感，泛化能力不强，且网络的训练效率也不高。针对Freeman等人提出的实例学习算法需要学习大量实例图像块的不足，Chang等人在“H.Chang，D.-Y.Yeung，and Y.Xiong.，“Super-resolution through neighbor embedding，”in Proc.IEEE Comput.Soc.Conf.on Computer Vision and Pattern Recognition，2004，pp.275-282.”一文中使用邻域嵌入(Neighbor Embedding)的思想实现图像超分辨。他们假设低分辨图像和高分辨图像在其各自的特征空间中处在相似的几何拓扑结构上，即处于相似结构的流形上。基于此，提出了邻域嵌入超分辨重建的思想，利用局部线性嵌入LLE计算输入的低分辨块的q个邻域关系，通过最小化它们之间的重构误差来获得一组重建系数，通过线性组合输入的低分辨块的q个邻域所对应的高分辨块得到高分辨估计。与Freeman等人提出的方法相比，邻域嵌入超分辨方法能在相对较少的训练样本下能获得较好的超分辨恢复能力。然而，该方法存在主要的问题在于高、低分辨图像块的相似流形结构是预先假设的。实际上，由于模糊和下采样，同一个高分辨图像块可能对应多个不同的低分辨图像块，使得在低分辨图像块的特征空间中相近的邻域在高分辨图像块的特征空间中并不处于同一个邻域内。因此，选择有效的特征描述图像块和重构函数能改善邻域嵌入图像超分辨方法的质量。

为改善邻域嵌入算法的超分辨能力，在Chang工作的基础上，Chan等人在“T.M Chan，J.Zhang，J.Pu，and H.Huang，“Neighbor embedding based super-resolution algorithm throughedge detection and feature selection，”Pattern Recognition Letters，vol.30，no.5，pp.494-502，Apr.2009.”一文中，强调边缘和特征在邻域嵌入超分辨算法中的关键作用，通过边缘检测和提升策略，区分对待边缘图像块和非边缘图像块。对边缘图像块和非边缘图像块选择不同的邻域个数实现嵌入，取得了一定的效果。K.Zhang等人在Chang和Chan等人的基础上，在“K.Zhang，X.Gao，X.Li，and Da.Tao，“Partially supervised neighbor embedding forexample-based image super-resolution，”IEEE Journal of Selected Topic in Signal Processing2010，DOI：10.1109/JSTSP.2010.2048606.”中提出了多流形的思想，使用非监督高斯混合模型聚类算法预测每个块的类别信息，并结合局部线性嵌入LLE，提出了部分监督的邻域嵌入超分辨重构算法，在一定程度上克服LEE方法存在的不足。

已有的邻域嵌入超分辨重建方法主要存在以下两个主要问题：

(1)假设低分辨图像块和高分辨图像块在各自的特征空间上具有相似的流形结构。实际上，由于模糊和下采样，低分辨图像和高分辨图像间存在不确定性关系，因而，通常情况下，这种假设并不成立，导致已有的邻域嵌入超分辨重建方法不能稳定求解，容易导致图像模糊；

(2)通过搜索输入的低分辨图像块在训练集中的q-近邻，使用邻域嵌入算法估计最优重构权值，将对应的高分辨图像块进行线性组合得到低分辨图像块的高分辨估计，以达到图像超分辨的目的。然而，该方法仅在低分辨图像块构成的特征空间进行邻域嵌入，而没有考虑训练集中高分辨图像块特征对重构结果的影响，使得在低分辨图像块的特征空间的最优重构，在高分辨图像块的特征空间并不是最优的。

发明内容

本发明目的在于克服上述已有邻域嵌入超分辨算法的不足，提出了一种基于对偶约束的联合学习超分辨方法，通过构造低分辨和高分辨图像块的联合特征子空间，以实现邻域嵌入实例超分辨重建，提高邻域嵌入超分辨重建效果。

实现本发明的技术思路是：在训练阶段，使用大量的高分辨自然图像生成训练集，对训练集中每个低、高分辨图像块特征进行组合，构成对偶特征。对每个对偶特征，选择K个最近邻对偶建立成组块对。在测试阶段，查找与输入的低分辨图像块的特征向量最匹配的成组块对，对成组块对中的K个低分辨图像块的特征向量和高分辨图像块的特征向量进行联合学习，构造低分辨和高分辨图像块的特征向量的投影矩阵，将输入的低分辨图像块和对应的成组块对中高分辨图像块的特征向量分别投影到一个联合特征子空间，在这个联合特征子空间中进行q-近邻的选择和重构权值的计算，最后将q-近邻对应的高分辨图像块进行线性组合，得到输入的低分辨图像块的高分辨估计。具体实现步骤包括如下：

(1)采集高分辨灰度自然图像，模拟图像降质过程，生成低分辨图像，对低分辨图像使用双立方插值进行2倍放大，得到插值图像，对插值图像和原始高分辨图像，分别随机选择大小为6×6的低分辨图像块和对应大小为9×9的高分辨图像块，并提取水平和垂直方向上的一阶和二阶梯度特征，构造低分辨图像块训练集

和高分辨图像块训练集

以及高分辨图像块的高频细节训练集

其中

表示第i个低分辨图像块特征向量，

表示第i个高分辨图像块特征向量，表示第i个高分辨图像块的高频细节特征向量，N表示训练集中样本总个数；

(2)将低分辨图像块训练集

和高分辨图像块训练集

的每个特征对

进行组合，经归一化后，得到对偶特征c_i，将N个对偶特征构成对偶特征集

对每个对偶特征c_i，选择K个最近邻，构成成组块对集合

其中Gⁱ表示对偶集C中第i个对偶特征c_i的K个最近邻组成的成组块对，K＝128；

(3)输入待处理的低分辨彩色图像F，并将图像F从红、绿、蓝的RGB颜色空间转换到YCbCr颜色空间，其中Y表示亮度分量，两个色差分量Cb和Cr表示颜色信息；

(4)对YCbCr颜色空间中的亮度分量Y使用双立方插值进行2倍放大，得到插值图像I_int；

(5)将插值图像I_int自上而下、从左到右划分成大小为6×6的图像块，使相邻块之间重叠2个像素，提取该图像块在水平和垂直方向的一阶和二阶梯度特征构成低分辨图像块测试集

其中

表示低分辨图像块测试集X_t中的第j个特征向量，M表示该测试集X_t中样本总个数；

(6)对低分辨图像块测试集

中每个特征向量

在低分辨图像块训练集中查找与

最匹配的样本得到该样本所对应的成组块对Gⁱ，从该成组块对Gⁱ中分离出K个低分辨图像块和高分辨图像块特征向量，分别构成低分辨图像块成组矩阵J_l和高分辨图像块成组矩阵J_h，其中

d和m分别是低分辨图像块和对应的高分辨图像块特征向量的维数，K表示每个成组块对中低、高分辨率特征向量组成的对偶个数，d＝144，m＝324；

(7)使用联合学习方法分别构造低分辨图像块成组矩阵J_l的投影矩阵P_l和高分辨图像块成组矩阵J_h的投影矩阵P_h，将低分辨图像块测试集X_t中的特征向量

通过投影矩阵P_l变换成一个

(r+1≤d)维的变换特征

将高分辨图像块成组矩阵J_h中的K个特征向量通过投影矩阵P_h变换成

维的变换特征

将低分辨图像块测试集中的特征向量

的变换特征

与高分辨图像块成组矩阵J_h的K个变换特征

构成一个

维的联合特征子空间S；

(8)在联合特征子空间S中选择特征向量

的变换特征

的q个邻域，使用邻域嵌入算法，估计最优权值，将变换特征

的q个邻域在高频细节训练集

中对应的q个高频细节特征向量进行线性组合，并加上输入的低分辨图像块的灰度均值

得到低分辨图像块的特征向量

的高分辨图像块的估计

低分辨图像块测试集

中所有特征向量的高分辨图像块估计构成了预测结果集

q＝5；

(9)按插值图像I_int中图像块的划分顺序合并所有预测结果集

对重叠区域的像素取平均值进行融合，得到高分辨图像的初始化估计X₀；

(10)利用全局重构约束F＝DBX和反向投影算法，通过如下迭代公式进一步改善超分辨图像的质量：

X_n+1＝X_n+α[B^TD^T(F-DBX_n)+μ(X_n-X₀)]

其中n(n≥0)表示迭代次数，X₀表示高分辨图像的初始化估计，X_n表示第n次迭代后的高分辨图像，X_n+1表示第n+1次迭代的高分辨图像，F表示输入的低分辨图像，α表示梯度下降的迭代步长，B和D分别表示模糊和下采样操作，T表示矩阵的转置操作，B^T和D^T分别表示去模糊和上采样操作，μ表示反向投影约束项与先验惩罚项的平衡参数；

(11)对输入的低分辨彩色图像F在YCbCr颜色空间中的两个色差分量Cb和Cr直接采用双立方插值进行3倍放大，并组合亮度分量Y的超分辨估计X_n，将YCbCr颜色空间的超分辨结果转换到RGB颜色空间，得到输入的低分辨图像F被放大了3倍的RGB图像。

与已有的邻域嵌入超分辨重建方法相比，本发明具有以下优点：

(1)本发明由于在低分辨图像块与对应的高分辨图像块的特征向量间建立了对偶特征，在图像超分辨恢复的变态反问题上建立了较强的约束，使得超分辨反问题能进一步稳定求解；

(2)本发明由于对输入的低分辨图像块最匹配的对偶特征构成的成组块对进行联合学习，构造成组块对中低分辨图像块与高分辨图像块的特征向量构成的联合特征子空间，并在该联合特征子空间进行邻域的选择和最优权值的估计，使得邻域嵌入算法能综合利用低分辨和高分辨图像块的特征，有利于提高超分辨重建的质量；

(3)仿真结果表明，与现有的邻域嵌入超分辨重建算法相比，本发明能恢复更多的图像细节，产生更加清晰的图像边缘和纹理，避免产生明显的图像失真和伪像。

本发明的技术过程和效果可结合以下附图详细说明。

附图说明

图1是本发明基于对偶约束的联合学习超分辨总流程图；

图2是本发明与已有邻域嵌入算法对人物图像进行3倍放大后在视觉上进行对比的结果图；

图3是本发明与已有邻域嵌入算法对动物图像进行3倍放大后在视觉上进行对比的结果图；

图4是本发明与已有邻域嵌入算法对花草图像进行3倍放大后在视觉上进行对比的结果图。

具体实施方式

参照图1，基于对偶约束的联合学习超分辨方法主要包括两个阶段：训练集生成阶段和图像超分辨阶段。

一.训练集生成阶段

步骤1，模拟图像降质过程，构建特征库，生成训练集。

1a)采集大量的高分辨灰度自然图像，对每个高分辨图像经过4×4平均模糊和3倍下采样生成对应的低分辨图像；

1b)对每个低分辨图像，使用双立方插值进行2倍放大，得到插值图像，并使用以下4个卷积核：

f₁＝[-1，0，1]，f₂＝[-1，0，1]^T，f₃＝[1，0，-2，0，1]，f₄＝[1，0，-2，0，1]^T分别与插值图像和对应的原始高分辨图像进行卷积，生成插值图像和原始高分辨图像在水平方向和垂直方向上的一阶梯度和二阶梯度图像；

1c)对插值图像的4个梯度图像，随机选择大小为6×6的梯度图像块，组成一个6×6×4＝144维的特征向量，构成低分辨图像块训练集

对原始高分辨图像的4个梯度图像，选择与插值图像对应位置上的4个9×9的梯度图像块，组成一个9×9×4＝324维的特征向量，构成高分辨图像块训练集

N表示训练集中样本总个数；

1d)在插值图像中提取与1.c)相同位置上的6×6图像块，计算它的灰度均值，同时提取原始高分辨图像中对应位置上9×9的图像块，减去插值图像块的灰度均值，构成高分辨图像块的高频细节训练集

其中每个特征向量

的维数为9×9＝81维。

步骤2，构造对偶特征，建立成组块对集。

2a)将低分辨图像块训练集

和高分辨图像块训练集

的每个特征对

进行组合，使用如下公式进行归一化：

$c_i=\frac{1}{\mathrm{md}}\sqrt{m{\left|\right|x_s^i\left|\right|}_2^2+d{\left|\right|z_s^i\left|\right|}_2^2}\left[\begin{array}{c}{x}_s^i\\ z_s^i\end{array}\right]$

得到的N个对偶特征向量构成对偶特征集

其中d＝144，m＝324；

2b)根据构造的对偶特征集

按如下公式选择每个对偶特征向量c_i的K个近邻构成成组块对Gⁱ：

其中c_i，c_j，c_k分别表示对偶特征集中的第i、j、k个对偶特征向量，i₁，i₂..，i_K分别表示对偶特征c_i在对偶特征集C中的K个近邻的编号，Gⁱ表示对偶集C中第i个对偶特征向量c_i的K个最近邻组成的成组块对，实验中，选择K＝128。

二.图像超分辨阶段

步骤A，读入待处理的低分辨彩色图像，提取低分辨图像块特征，构造测试集。

A1)读入待处理的低分辨彩色图像F，并将图像F从红、绿、蓝的RGB颜色空间转换到YCbCr颜色空间，其中Y表示亮度分量，两个色差分量Cb和Cr表示颜色信息；

A2)对YCbCr颜色空间中的亮度分量Y使用双立方插值进行2倍放大，得到插值图像I_int；

A3)将插值图像I_int自上而下，从左到右划分成大小为6×6的图像块，使相邻块之间重叠2个像素，提取该图像块在水平和垂直方向的一阶和二阶梯度特征构成低分辨图像块测试集

其中

表示低分辨图像块测试集X_t中的第j个特征向量，每个特征向量的维数为6×6×4＝144，M表示该测试集X_t中样本总个数。

步骤B，使用欧氏距离，查找最匹配的成组块对，构造成组矩阵。

B1)对低分辨图像块测试集

中每个特征向量

在低分辨图像块训练集中查找与最匹配的样本

得到该样本所对应的成组块对Gⁱ；

B2)从成组块对Gⁱ中分离出K个低分辨图像块和高分辨图像块特征向量，分别构成低分辨图像块成组矩阵J_l和高分辨图像块成组矩阵J_h，其中

d和m分别是低分辨图像块和对应的高分辨图像块特征向量的维数，K表示每个成组块对中低、高分辨率特征组成的对偶特征向量的个数。

步骤C，对低分辨图像块成组矩阵J_l和高分辨图像块成组矩阵J_h进行联合学习，构造联合特征子空间S。

C1)使用低分辨图像块成组矩阵J_l和高分辨图像块成组矩阵J_h，构造过渡矩阵U和实对称矩阵V：

U＝J_l(J_h)^T(J_h(J_h)^T)^-1J_h(J_l)^T，

V＝J_h(J_h)^T

其中J_l表示低分辨图像块成组矩阵，J_h表示高分辨图像块成组矩阵，T表示矩阵的转置运算；

C2)求解过渡矩阵U和实对称矩阵V的广义特征值问题：Up_l＝(1-λ)²Vp_l，取前2到r+1(r+1≤d)个列向量p_l构造低分辨图像块成组矩阵J_l的投影矩阵P_l，其中(1-λ)²表示过渡矩阵U和实对称矩阵V的广义特征值，p_l表示广义特征值对应的特征向量，实验中，r选择80到90之间的某个整数；

C3)由公式

计算每个特征向量p_l对应的特征向量p_h，并按列方向排列构成高分辨图像块成组矩阵J_h的投影矩阵P_h；

C4)将低分辨图像块测试集X_t中的特征向量

通过投影矩阵P_l变换成一个

(r+1≤d)维的变换特征

将高分辨图像块成组矩阵J_h中的K个特征向量通过投影矩阵P_h变换成

维的变换特征

将低分辨图像块测试集中的特征向量

的变换特征

与高分辨图像块成组矩阵J_h的K个变换特征

构成一个维的联合特征子空间S。

步骤D，在联合特征子空间S中选择特征向量

的变换特征

的q-邻域，使用邻域嵌入算法，按如下公式估计最优权值w_ij：

$\arg \underset{\left\{w_{\mathrm{ij}}\right\}}{\min }{\left|\right|P_l^T{x}_t^j-\underset{i\∈\mathrm{Ng}\left(j\right)}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{P}_h^T{J}_h\left|\right|}_2^2$

上式中Ng(j)表示测试集X_t中第j个特征向量

在联合特征子空间S中的邻域集合，且邻域集合中元素的个数|Ng(j)|＝q，w_ij表示第j个输入样本与编号为i的邻域间的权值，T表示矩阵的转置运算，实验中，选择q＝5。

步骤E，根据估计的最优权值，合成高分辨图像块。

由最优重构权值w_ij，将变换特征

在联合特征子空间S中q个邻域在高频细节训练集

中对应的高频细节特征向量进行线性组合，并加上输入的低分辨图像块的灰度均值

按如下公式估计低分辨图像块的特征向量

对应的高分辨估计

$y_t^j=\stackrel{\‾}{x}+\underset{i\∈\mathrm{Ng}\left(j\right)}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{y}_s^i$

其中

表示输入的低分辨图像第j个图像块的灰度均值，

表示输入样本

编号为i的邻域对应训练集中的高频细节特征向量，Ng(j)表示测试集X_t中第j个特征向量

在联合特征子空间S中的邻域集合，且邻域集合中元素的个数|Ng(j)|＝q。

步骤F，合并所有估计的高分辨图像块，得到输入低分辨图像F在YCbCr颜色空间中亮度分量Y的高分辨图像的初始化估计X₀。

F1)依次执行上述步骤B至步骤E的过程，估计低分辨图像块测试集

中每个特征向量

对应的高分辨图像块

构成预测结果集

F2)按插值图像I_int中图像块的划分顺序，将预测结果集

中的特征向量合并成高分辨图像的初始化估计X₀，对相邻图像块间重叠区域的像素取平均值进行融合。

步骤G，利用全局重构约束F＝DBX和反向投影算法，按以下迭代公式得到最终的超分辨估计：

X_n+1＝X_n+α[B^TD^T(F-DBX_n)+μ(X_n-X₀)]

其中n(n≥0)表示，X₀表示高分辨图像的初始化估计，X_n表示第n次迭代后的高分辨图像，X_n+1表示第n+1次迭代的高分辨图像，F表示输入的低分辨图像，α表示梯度下降的迭代步长，B和D分别表示模糊和下采样操作，T表示矩阵的转置操作，B^T和D^T分别表示去模糊和上采样操作，μ表示反向投影约束项与先验惩罚项的平衡参数，在实验中，迭代次数n＝20，α＝0.01，μ＝0.01。

步骤H，对输入的低分辨彩色图像F在YCbCr颜色空间中的两个色差分量Cb和Cr直接采用双立方插值进行3倍放大，并组合亮度分量Y的超分辨估计X_n，将YCbCr颜色空间的超分辨结果转换到RGB颜色空间，得到输入的低分辨图像F被放大了3倍的RGB图像。

以下通过仿真实验验证本发明的有效性。

仿真内容：

(1)在相同的训练集和测试图像上，采用对比实验的形式，选择双立方插值和三个具有代表性的邻域嵌入超分辨方法与本发明仿真结果进行比较，以验证本发明的有效性。三个具有代表性的邻域嵌入超分辨方法是Chang等人提出的方法，简称为NESR方法，具体参考文献“H.Chang，D.-Y.Yeung，and Y.Xiong.，“Super-resolution through neighborembedding，”in Proc.IEEE Comput.Soc.Conf.on Computer Vision and Pattern Recognition，2004，pp.275-282.”和Chan等人提出的方法，简称为NeedFS方法，具体参考文献“T.MChan，J.Zhang，J.Pu，and H.Huang，“Neighbor embedding based super-resolution algorithmthrough edge detection and feature selection，”Pattern Recognition Letters.，vol.30，pp.494-502，2009.”以及Zhang等人提出的方法，简称为PSNE方法，具体参考文献“K.Zhang，X.Gao，X.Li，and Da.Tao，“Partially supervised neighbor embedding for example-based imagesuper-resolution，”IEEE Journal of Selected Topic in Signal Processing，2010，DOI：10.1109/JSTSP.2010.2048606.”；

(2)使用具有不同代表性的自然图像进行仿真实验，以验证本发明对不同性质的低分辨图像经过3倍放大后在视觉上的效果。具体仿真条件详见每个实验的描述。

实验一，对一幅大小为360×240的高分辨人物自然图像，采用4×4平均模糊和3倍下采样降质过程生成对应大小为120×80的低分辨图像，对得到的低分辨图像，使用双立方插值，NESR方法，NeedFS方法，PSNE方法和本发明的方法进行3倍放大，放大的结果如图2所示，其中图2(a)是双立方插值放大的结果；图2(b)是NESR方法的超分辨结果；图2(c)是NeedFS方法的超分辨结果；图2(d)是PSNE方法的超分辨结果；图2(e)是本发明方法的超分辨结果；图2(f)是真实图像。每个图中对标记的矩形局部区域进行了局部放大。

从图2的仿真结果可以看出：图2(a)中图像边缘和纹理非常模糊，与图2(a)的结果相比，图2(b)-图2(d)的结果在一定程度上能恢复图像的细节信息，但主要的边缘和纹理部分仍然比较模糊，而且存在一定的寄生噪声，而图2(e)的超分辨结果包含更多的高频细节，边缘和纹理部分比图2(b)-图2(d)的结果清晰，而且引入的噪声较少，超分辨结果显得更加自然，不存在明显的失真和伪像。这是因为本发明使用了对偶约束，将成组块对中类型相同但维数不同的一阶梯度和二阶梯度特征向量投影到的一个联合特征子空间后进行邻域的选择和重构权值的估计，一定程度上减少了高、低分辨图像块之间的模糊性。

实验二，对一幅大小为360×240的高分辨动物自然图像，采用与实验一相同的降质过程生成对应大小为120×80的低分辨图像，对得到的低分辨图像，使用双立方插值，NESR方法，NeedFS方法，PSNE方法和本发明的方法进行3倍放大，放大的结果如图3所示，其中图3(a)是双立方插值放大的结果；图3(b)是NESR方法的超分辨结果；图3(c)是NeedFS方法的超分辨结果；图3(d)是PSNE方法的超分辨结果；图3(e)是本发明方法的超分辨结果；图3(f)是真实图像。每个图中对标记的矩形局部区域进行了局部放大。

从图3中仿真结果可以看出：与其它超分辨方法得到的结果相比，本发明得到的超分辨图像具有相对较好的视觉质量和感知效果。

实验三，对一幅大小为240×360的高分辨植物自然图像，采用与实验一和实验二相同的降质过程生成对应大小为80×120的低分辨图像，对得到的低分辨图像，使用双立方插值，NESR方法，NeedFS方法，PSNE方法和本发明的方法进行3倍放大，放大的结果如图4所示，其中图4(a)是双立方插值放大的结果；图4(b)是NESR方法的超分辨结果；图4(c)是NeedFS方法的超分辨结果；图4(d)是PSNE方法的超分辨结果；图4(e)是本发明方法的超分辨结果；图4(f)是真实图像，对每个图中标记的红色矩形局部区域进行了局部放大。从图4的仿真结果可以看出：与已有的邻域嵌入超分辨方法相比，本发明方法恢复的边缘更加清晰。

上述三个实验的结果表明，本发明与已有的邻域嵌入超分辨方法相比，具有更强的超分辨恢复能力，能够得到更多的图像细节，而且恢复的图像在视觉上有较好的感知效果，不存在明显的失真和伪像，更接近于真实图像。

Claims (4)

1.一种基于对偶约束的联合学习超分辨方法，包括如下步骤：

(1)采集高分辨灰度自然图像，模拟图像降质过程，生成低分辨图像，对低分辨图像使用双立方插值进行2倍放大，得到插值图像，对插值图像和原始高分辨图像，分别随机选择大小为6×6的低分辨图像块和对应大小为9×9的高分辨图像块，并提取水平和垂直方向上的一阶和二阶梯度特征，构造低分辨图像块训练集

和高分辨图像块训练集

以及高分辨图像块的高频细节训练集其中表示第i个低分辨图像块特征向量，

表示第i个高分辨图像块特征向量，表示第i个高分辨图像块的高频细节特征向量，N表示训练集中样本总个数；

(2)将低分辨图像块训练集和高分辨图像块训练集

的每个特征对

进行组合，经归一化后，得到对偶特征c_i，将N个对偶特征构成对偶特征集对每个对偶特征c_i，选择K个最近邻，构成成组块对集合

其中Gⁱ表示对偶集C中第i个对偶特征c_i的K个最近邻组成的成组块对，K＝128；

(3)输入待处理的低分辨彩色图像F，并将图像F从红、绿、蓝的RGB颜色空间转换到YCbCr颜色空间，其中Y表示亮度分量，两个色差分量Cb和Cr表示颜色信息；

(4)对YCbCr颜色空间中的亮度分量Y使用双立方插值进行2倍放大，得到插值图像I_int；

(5)将插值图像I_int自上而下、从左到右划分成大小为6×6的图像块，使相邻块之间重叠2个像素，提取该图像块在水平和垂直方向的一阶和二阶梯度特征构成低分辨图像块测试集其中表示低分辨图像块测试集X_t中的第j个特征向量，M表示该测试集X_t中样本总个数；

(6)对低分辨图像块测试集

中每个特征向量

在低分辨图像块训练集

中查找与

最匹配的样本

得到该样本所对应的成组块对Gⁱ，从该成组块对Gⁱ中分离出K个低分辨图像块和高分辨图像块特征向量，分别构成低分辨图像块成组矩阵J_l和高分辨图像块成组矩阵J_h，其中

d和m分别是低分辨图像块和对应的高分辨图像块特征向量的维数，K表示每个成组块对中低、高分辨率特征向量组成的对偶个数，d=144，m=324；

(7)使用联合学习方法分别构造低分辨图像块成组矩阵J₁的投影矩阵P₁和高分辨图像块成组矩阵J_h的投影矩阵P_h，将低分辨图像块测试集X_t中的特征向量

通过投影矩阵P_l变换成一个

（r+1≤d）维的变换特征

将高分辨图像块成组矩阵J_h中的K个特征向量通过投影矩阵P_h变换成

维的变换特征

将低分辨图像块测试集中的特征向量

的变换特征

与高分辨图像块成组矩阵J_h的K个变换特征

构成一个

维的联合特征子空间S；

(8)在联合特征子空间S中选择特征向量

的变换特征的q个邻域，使用邻域嵌入算法，估计最优权值，将变换特征

的q个邻域在高频细节训练集中对应的q个高频细节特征向量进行线性组合，并加上输入的低分辨图像块的灰度均值

得到低分辨图像块的特征向量

的高分辨图像块的估计

低分辨图像块测试集

中所有特征向量的高分辨图像块估计构成了预测结果集

q=5；

(9)按插值图像I_int中图像块的划分顺序合并所有预测结果集对重叠区域的像素取平均值进行融合，得到高分辨图像的初始化估计X₀；

(10)利用全局重构约束F=DBX和反向投影算法，通过如下迭代公式进一步改善超分辨图像的质量：

X_n+1=X_n+α[B^TD^T(F-DBX_n)+μ(X_n-X₀)]，

其中n，n≥0表示迭代次数，X₀表示高分辨图像的初始化估计，X_n表示第n次迭代后的高分辨图像，X_n+1表示第n+1次迭代的高分辨图像，F表示输入的低分辨图像，α表示梯度下降的迭代步长，B和D分别表示模糊和下采样操作，T表示矩阵的转置操作，B^T和D^T分别表示去模糊和上采样操作，μ表示反向投影约束项与先验惩罚项的平衡参数；

(11)对输入的低分辨彩色图像F在YCbCr颜色空间中的两个色差分量Cb和Cr直接采用双立方插值进行3倍放大，并组合亮度分量Y的超分辨估计X_n，将YCbCr颜色空间的超分辨结果转换到RGB颜色空间，得到输入的低分辨图像F被放大了3倍的RGB图像。

2.根据权利1所述的基于对偶约束的联合学习超分辨方法，其中步骤(2)所述的对每个对偶特征c_i，选择K个最近邻，构成成组块对集合

按如下步骤进行：

(2a)对低分辨图像块和高分辨图像块训练集

和中的每一个特征对

进行组合，建立对偶特征集

对偶特征集C中的每个对偶特征向量c_i按下式归一化得到：

$c_i=\frac{1}{\mathrm{md}}\sqrt{m{\left|\right|x_s^i\left|\right|}_2^2+d{\left|\right|z_s^i\left|\right|}_2^2}\left[\begin{array}{c}{x}_s^i\\ z_s^i\end{array}\right]$

上式中，m和d分别表示低、高分辨图像块的特征维数；

(2b)根据得到的对偶特征集

按如下公式构造每个对偶特征向量c_i的K个近邻构成成组块对Gⁱ：

其中c_i,c_j,c_k分别表示对偶特征集

中的第i、j、k个对偶特征向量，i₁,i₂,...,i_K分别表示对偶特征c_i在对偶特征集C中的K个近邻的编号，Gⁱ表示对偶集C中第i个对偶特征向量c_i的K个最近邻组成的成组块对。

3.根据权利要求1所述的基于对偶约束的联合学习超分辨方法，其中步骤(7)所述的将低分辨图像块测试集中的特征向量

的变换特征

与高分辨图像块成组矩阵J_h的K个变换特征

构成一个维的联合特征子空间S，按如下步骤进行：

(3a)对测试集

中的低分辨图像块特征向量查找训练集中最匹配的样本

所对应的成组块对Gⁱ，从该成组块对Gⁱ中分离出K个低分辨和高分辨图像块的特征向量，构成低分辨图像块成组矩阵J_l和高分辨图像块成组矩阵J_h,其中

d和m分别是低分辨图像块和对应的高分辨图像块特征向量的维数，K表示每个成组块对中低、高分辨率特征组成的对偶个数；

(3b)利用低分辨图像块成组矩阵J_l和高分辨图像块成组矩阵J_h，使用联合学习算法，按如下表达式计算低分辨图像块成组矩阵J_l的投影矩阵P_l和高分辨图像块成组矩阵J_h的投影矩阵P_h：

$\arg \underset{\{P_l,P_h\}}{\min }\mathrm{tr}\left({\left[\begin{array}{c}{P}_l\\ P_h\end{array}\right]}^T\left[\begin{array}{cc}{J}_l& 0\\ 0& J_h\end{array}\right]\left[\begin{array}{cc}I& -I\\ -I& I\end{array}\right]\left[\begin{array}{cc}{J}_l& 0\\ 0& J_h\end{array}\right]\left[\begin{array}{c}{P}_l\\ P_h\end{array}\right]\right)$

其中I表示单位矩阵，T表示矩阵的转置运算，tr(·)表示矩阵的迹；

(3c)根据计算出的所述投影矩阵P_l和P_h，将低分辨图像块测试集X_t中的特征向量

通过投影矩阵P_l变换成一个

（r+1≤d）维的变换特征

将高分辨图像块成组矩阵J_h中的K个特征向量通过投影矩阵P_h变换成

维的变换特征

将低分辨图像块测试集中的特征向量的变换特征

与高分辨图像块成组矩阵J_h的K个变换特征

构成一个维的联合特征子空间S。

4.根据权利要求1所述的基于对偶约束的联合学习超分辨方法，其中步骤（8）所述的在联合特征子空间S中选择特征向量的变换特征的q个邻域，使用邻域嵌入算法，估计最优权值，是通过如下表达式估计：

$\arg \underset{\left\{w_{\mathrm{ij}}\right\}}{\min }{\left|\right|P_l^T{x}_t^j-\underset{i\∈\mathrm{Ng}\left(j\right)}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{P}_h^T{J}_h\left|\right|}_2^2$

式中Ng(j)表示测试集X_t中第j个特征向量

在联合特征子空间S中的邻域集合，且邻域集合中元素的个数|Ng(j)|=q，w_ij表示第j个输入样本

与编号为i的邻域间的权值，T表示矩阵的转置运算。

Images