CN102708556A - 一种基于反向图保持的单张图像超分辨率方法 - Google Patents

Abstract

一种基于反向图保持的单张图像超分辨率方法，首先建立描述高分辨率训练图像块空间流形结构关系的邻接矩阵图；然后学习低分辨率图像块空间到高分辨率图像块空间的映射矩阵，同时使得重建后的高分辨率图像块空间和原始高分辨率训练图像块空间的流形结构关系保持一致；最后利用此映射矩阵将输入的低分辨率图像分块映射到高分辨率空间，融合所有得到的高分辨率图像块重建出最终的高分辨率图像。本发明解决了由于模糊、下采样和噪声等因素造成的高低分辨率图像块空间流形结构关系不一致的问题。此外，每个待重建的低分辨率块只需乘以预先训练好的投影矩阵，因此在运行速度上相对于现有基于学习的方法也有很大的提升。

Description

一种基于反向图保持的单张图像超分辨率方法

技术领域

本发明涉及图像超分辨率领域，具体涉及一种基于反向图保持的单张图像超分辨率方法。

背景技术

超分辨率是一种由低分辨率（Low-Resolution，LR）图像产生高分辨率（High-Resolution，HR）图像的技术。在电子图像应用领域，人们往往期望得到高分辨率图像。高分辨率图像能够提供更丰富的细节，这些细节在许多实际应用中是不可或缺的。例如，使用高分辨率医疗图像有助于医生做出正确的诊断；使用高分辨率卫星图像则很容易从相似物中区别相似的对象；在智能视频监控、公安刑事侦查、信息安全等领域也都需要高分辨率图像。

根据输入低分辨率图像的数目，超分辨率方法可以分成基于多帧图像重建的方法和基于单帧图像学习的方法这两大类，其中基于单帧学习的方法能获得更高的放大倍数和更好的效果，因而更受关注。Freeman（文献1：W.Freeman,E.Pasztor,and O.Carmichael.Learning low-levelvision[J].International Journal of Computer Vision,2000,40(1):25-47.）提出一种基于Markov网络的图像超分辨率方法，这是最早提出的基于学习的超分辨率算法，但是该方法对训练数据十分敏感。受到局部线性嵌入流形学习思想的启发，Chang（文献2：H.Chang,D.Yeung,andY.Xiong.Super-resolution through neighbor embedding[A].In Proc.IEEE CVPR’04[C].Washington,2004.275–282.）基于高低分辨率图像块空间的局部几何结构一致性这一假设，首次将流形学习思想引入到图像超分辨率重构中，提出一种邻域保持的图像超分辨率重构方法。在此方法的基础上，Fan（文献3：W.Fan,D.Yeung,Image Hallucination Using NeighborEmbedding over Visual Primitive Mainfolds.in Proc.IEEE Conf.Computer Vision and PatternRecognition,2007.1-7）利用学习得到的高低分辨率原子图像块对对图像模糊的边缘和高频细节部分进行了增强。此后，许多基于流形学习的新方法相继被提出，也都获得了较好的效果。然而，随着放大倍数的增加，低分辨率图像块与高分辨率图像块之间不再是一一对应的关系，高低分辨率图像块空间的局部几何结构并非一致。

为了解决这一问题，Yang（文献4：J.Yang,J.Wright,T.Huang,and Y.Ma.Imagesuper-resolution as sparse representation of raw image patches.in Proc.IEEE Conf.ComputerVision and Pattern Recognition,2008.1-8；文献5：J.Yang,J.Wright,T.Huang,and Y.Ma.Imagesuper-resolution via sparse representation.IEEE Trans.Image Process.2010,19(11):2861-2873.）提出了一种基于稀疏表达的超分辨率方法，学习得到一个更加紧致和更加一致的高低分辨率图像字典对，将稀疏编码过程应用到每一个输入低分辨率图像块，得到一组稀疏系数，并将此系数应用于对应的高分辨率字典上，重建高分辨率图像。该方法可以获得很好的效果，但其稀疏求解的过程却要消耗大量的时间，难以实际应用。

发明内容

本发明目的是提供一种基于反向图保持的单张图像超分辨率方法，解决现有同类算法无法准确表达高低分辨率图像块之间对应的关系的问题，提高最终合成的高分辨率人脸图像的质量并减少时间消耗。

为达到上述目的，本发明采用的技术方案是一种基于反向图保持的单张图像超分辨率方法，包括如下步骤：

步骤1，构建高分辨率图像块训练集和对应的低分辨率图像块训练集，所述高分辨率图像块训练集由多个高分辨率图像块构成，所述低分辨率图像块训练集由相应的多个低分辨率图像块构成；

步骤2，构建描述高分辨率图像块训练集内高分辨率图像块之间相似关系的邻接矩阵图，获得相似矩阵W；

步骤3，根据步骤2所得相似矩阵W，基于重建后高分辨率图像块空间的反向图约束项，计算出低分辨率图像块与对应高分辨率图像块之间的映射矩阵A；

步骤4，根据步骤3所得映射矩阵A重建输入低分辨率图像对应的高分辨率图像。

而且，步骤2中的高分辨率图像块训练集内高分辨率图像块之间相似关系的邻接矩阵图记为G，邻接矩阵图G的构建方法如下：

设步骤1所得高分辨率图像块训练集为对应低分辨率图像块训练集为

高分辨率图像块训练集X中每个高分辨率图像块x_i构成邻接矩阵图G的一个顶点，共N个顶点；连接任意两个顶点x_i和x_j的边的权值为w_ij，i的取值为1,2,…,N，j的取值为1,2,…,N，i≠j；权值w_ij定义如下：

其中N_K(x_i)表示x_i的K个近邻顶点构成的集合，N_K(x_j)表示x_j的K个近邻顶点构成的集合，通过确定所有权值w_ij获得相似矩阵W＝[w_ij]_N×N，K为预设的近邻顶点个数。

而且，步骤3中映射矩阵A的计算方式如下：

首先分别通过Q=Y(I-W)(I-W)^TY^T、U＝YY^T+λQ^T和V＝XY^T求得矩阵Q、U和V；其中，I为N×N的单位矩阵；

映射矩阵A的每一行元素按照如下公式计算出：

U^TA_i·=V_i·

s.t.A_i·≥0,i=1,2,…,l

其中，A_i·和V_i·分别表示映射矩阵A和矩阵V的第i行，l为映射矩阵A的行数；

计算出映射矩阵A的每一行元素后，连接起来组成最终的映射矩阵A，A=[A_1·;A_2·;…;A_l·]。

本发明提出一种基于反向图保持的单张图像超分辨率方法，计算高分辨率图像块和低分辨率图像块之间的线性映射关系，同时保留原始高分辨率图像块空间流形的内在几何结构，避免了同类算法中因图像放大倍数的增加或者噪声的影响而导致的高低分辨率图像块空间流形结构关系不一致的问题，以获得高质量的重建图像。此外，由于映射关系是线性的，每个待重建的低分辨率块只需乘以预先训练好的投影矩阵，因此在运行速度上相对于现有基于学习的方法也有很大的提升。

附图说明

图1为传统方法和本发明方法的对比示意图。

具体实施方法

本发明技术方案可采用软件技术实现自动流程运行。下面结合实施例对本发明技术方案进一步详细说明。本发明实施例具体步骤为：

步骤1，构建高分辨率图像块训练集和对应低分辨率图像块训练集。

实施例收集若干幅高分辨率训练图像，用Bicubic方法将其进行四倍下采样再四倍上采样得到若干幅对应的低分辨率训练图像。在高分辨率训练图像上随机提取N个大小为

的图像块，形成高分辨率图像块训练集

表示实数空间，h表示高分辨率图像块的维数，即每个高分辨率图像块用一个列向量表示，列向量内有h个像素的灰度值作为元素；在对应低分辨率训练图像上的对应位置上提取N个大小为

的图像块，因为高分辨率训练图像和对应的低分辨率训练图像大小是一样的，因此提取出来的高分辨率图像块和低分辨率图像块的大小是一样的，即h＝l。每个低分辨率图像块也用一个列向量表示，本发明实施例采用对每个低分辨率图像块求取所得四个方向的梯度作为低分辨率图像块的表示（例如求取得到[-1,0,1]，[-1,0,-2,0,1]，[-1,0,1]^T，[-1,0,-2,0,1]^T，“T”表示转置操作），即将这四个梯度向量首尾相接形成一个维数为4×l的特征向量，所有低分辨率图像块的特征向量就构成低分辨率图像块训练集

将高分辨率图像块训练集X表示为一个维数为N×h的矩阵，因此可简称矩阵X，矩阵X的每一列是一个高分辨率图像块所拉成的列向量，X=[x₁,x₂,…,x_N]；将低分辨率图像块训练集Y表示为一个维数为N×4l的矩阵，因此可简称矩阵Y，矩阵Y的每一列是一个低分辨率图像块所拉成的列向量，Y=[y₁,y₂,…,y_N]。

步骤2，构建描述高分辨率图像块训练集内高分辨率图像块之间相似关系的邻接矩阵图，获得相似矩阵W。

在实施例中，为高分辨率图像块训练集X生成一个与之对应的邻接矩阵图G=G(V，E)，其中，V为邻接矩阵图G的顶点，每个高分辨率图像块x_i构成图G的一个顶点，共N个顶点，即i的取值为1,2，…,N；E为邻接矩阵图G的边，连接任意两个顶点x_i和x_j的边的权值为w_ij，i的取值为1,2,…,N，j的取值为1,2，…,N，i≠j；w_ij定义如下：

其中N_K(x_i)表示x_i的K个近邻顶点构成的集合，N_K(x_j)表示x_j的K个近邻顶点构成的集合，采用现有技术寻找欧氏距离下的K近邻即可。K为预设的近邻顶点个数。每个w_ij分别确定后，相似矩阵W=[w_ij]_N×N也随之确定。那么，权值矩阵W就是：

步骤3，根据步骤2所得相似矩阵W，基于重建后高分辨率图像块空间的反向图约束项，计算出低分辨率图像块与对应高分辨率图像块之间的映射矩阵A。

在实施例中，首先分别通过Q=Y(I-W)(I-W)^TY^T、U=YY^T+λQ^T和V=XY^T求得矩阵Q、U和V。

映射矩阵A的每一行可以按照如下公式计算出：

U^TA_i·=V_i·

s.t.A_i·≥0,i=1,2,…,4l

其中，A_i·和V_i·分别表示映射矩阵A和矩阵V的第i行，4l为映射矩阵A的行数。计算出映射矩阵A的每一行元素后，将它们连接起来组成最终的映射矩阵A：A=[A_1·;A_2·;…;A_4l·]。

为便于理解起见，本发明提供详细说明如下：

步骤3中的反向图约束项

的定义方式如下：

$E\left(\hat{X}\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|{\hat{X}}_{\·i}-{\hat{X}W}_{\·i}\left|\right|}_2$

${=\left|\right|\hat{X}-\hat{X}W\left|\right|}_F---\left(2\right)$

$={\left|\right|\hat{X}(I-W)\left|\right|}_F$

其中，和W_·i分别表示矩阵X和矩阵W的第i列，

为重建后的高分辨率图像块集合所构成的矩阵，‖.‖_F为矩阵的Frobenius范数。根据矩阵性质tr(AB)=tr(BA)和‖A‖_F=tr(AA^T)，此处A、B表示任意两个矩阵，式（2）可变换为：

$E\left(\hat{X}\right)=\mathrm{tr}\left\{\hat{X}(I-W){(I-W)}^T{\hat{X}}^T\right\}---\left(3\right)$

其中tr(.)表示一个矩阵的迹，X^T为矩阵X的转置，I为N×N的单位矩阵。本发明假设高分辨率图像块训练集X与低分辨率图像块训练集Y之间的函数关系f(.)为线性映射关系，映射矩阵为A，那么重建后的高分辨率图像块集合

可以表示为：

$\hat{X}=f\left(Y\right)=\mathrm{AY}---\left(4\right)$

将式（4）代入式（3）得到反向图约束项E(A)：

E(A)=tr{AY(I-W)(I-W)^TY^TA^T}=tr{AQA^T}                    （5）

其中Q=Y(I-W)(I-W)^TY^T。

映射矩阵A通过以下最小化式子J(A)来求得：

$J\left(A\right)={\left|\right|\mathrm{AY}-X\left|\right|}_F^2+\mathrm{\λE}\left(A\right)---\left(6\right)$

式（6）中的第一项表示图像重建约束项，第二项为反向图约束项E(A)，E(A)越小，重建后的高分辨率图像块空间与原始高分辨率图像块空间的流形结构关系更加一致，参数λ是图像重建准确度和反向图约束项的平衡因子。当J(A)取到最小值时，即可确定映射矩阵A，因此映射矩阵A可由如下方程求解：

$\frac{\∂J\left(A\right)}{\∂A}={2\mathrm{AYY}}^T-{2\mathrm{XY}}^T+2\mathrm{\λ}{\mathrm{AQ}}^T=0---\left(7\right)$

A(YY^T+λQ^T)=XY^T                                        （8）

在超分辨率问题中，矩阵X和Y都是非负的，因此映射矩阵A的每个元素也都应当是非负的。令U=YY^T+λQ^T，V=XY^T，在A中每个元素为非负的约束下，式（8）可写成如下形式：

AU=V，s.t.A≥0                              （9）

它的求解可以分解为一系列非负约束的线性最小二乘问题，每一次按照如下公式计算出映射矩阵A的一行：

U^TA_i·=V_i·                                   （10）

s.t.A_i·≥0,i=1,2,…,4l

其中l为矩阵A的行数。计算出矩阵A的每一行元素后，将它们连接起来组成最终的映射矩阵A：A＝[A_1·;A_2·;…;A_4l·]。

步骤4，根据步骤3所得映射矩阵A重建输入低分辨率图像对应的高分辨率图像。

在实施例中，设输入的低分辨率图像为Y^t，将其划分为M个相互交叠的低分辨率图像块，即

对每一个低分辨率图像块

相对应的高分辨率图像块都可以通过如下式子计算得到：

$x_i^t={\mathrm{Ay}}_i^t---\left(11\right)$

其中，

表示低分辨率图像块

对应的高分辨率图像块。求得所有高分辨率图像块后，将其整合（交叠位置求均值）即可得到完整的高分辨率图像X^t。

本发明实施例中涉及四个参数，即图像块大小h(l)，步骤4划分图像块之间的交叠，构建邻接矩阵图时的最近邻顶点个数K和目标函数里的平衡参数λ。图像块大小可取h=l=5，图像块之间的交叠为4个像素，经过反复试验，建议K值取35，可以获得较好的重构效果，λ取值在[0.1,1]的范围内时可以得到的比较好而且相对稳定的效果，在本发明实施例中，λ的值取0.4。

本发明对比文献2邻域保持方法，保留原始高分辨率图像块空间流形的内在几何结构，解决了放大倍数增大或者受噪声干扰时，低分辨率图像块空间的流形结构关系与高分辨率图像块空间流形结构关系不一致的问题。如图1所示，（a）为低分辨率流形，（b）为原始高分辨率流形，（c）为传统高低分辨率流形保持方法构建出的高分辨率流形，与（a）一致；（d）为本发明所提供高低分辨率流形保持方法构建出的高分辨率流形，与（b）一致。现有流形学习的方法的基本思想是：将低分辨率流形空间的几何结构信息保持到重建后的高分辨率流形空间中去。因此，它重建的高分辨率流形与原始高分辨率流形不一致（图1(c)与(b)）。提出算法的基本思想是：将原始高分辨率流形的几何结构特征保持到重建后的高分辨率流形空间中。因此，它重建的高分辨率流形与原始高分辨率流形能保持一致（图1(b)与(d)）。

对比文献4和文献5中提出的基于稀疏表达的方法，本发明在运行时间方面得到了很大的提升。为说明本发明效果起见，以下提供实验对比。

采用与文献11和文献12相同的67幅训练图像进行实验，可从Yang的主页（http:∥www.ifp.illinois.edu/～jyang29/）下载得到。在实验中，高低分辨率训练样本块的个数N为2048。选取10张图片作为待测图像，大小为256×256，输入低分辨率图像的产生方式和训练样本库中低分辨率图像产生的方式一致，即先用Bicubic方法四倍下采样再四倍上采样得到。

对比方法为文献2的方法，文献4和5的方法（文献5是对文献4算法的改进，因此本发明只和文献5的算法进行比较）。文献2近邻保持方法中，高分辨率图像块大小为5×5，块与块之间的交叠像素为4，近邻块个数进过多次试验，选择效果最佳的取值。文献4和文献5的稀疏表达方法中，高分辨率图像块大小为5×5，块与块之间的交叠像素为4，稀疏正规化参数设为0.2。

实验采用均方根误差（root-mean-square error，RMSE）、峰值信噪比（Peak Signal to NoiseRatio，PSNR）和结构相似度（structural similarity，SSIM）三项客观指标来衡量对比算法的优劣，用每张图像的平均运行时间来衡量对比算法的效率，如下表：

表1:10组测试图像上RMSE，PSNR(dB)，SSIM，运行时间（s）四项客观指标平均值对比.

表1给出了3个算法在10幅测试图像上的相关结果，每个算法后面括号里的数值表示该算法图像块训练集中图像块的个数。由表1可以看出，文献2和文献5的方法可以通过增大训练集中图像块的个数来提升算法的性能，但同时也会大大增加算法的运行时间。而本方法的映射矩阵可以事先训练学习得到，因此它的运行时间与训练集中图像块的个数无关。由衡量图像重建质量的客观指标RMSE，PSNR和SSIM可以看出，本发明的重建效果与文献2和文献5相当，但是在效率上有了十分显著的提高。

Claims (3)

1.一种基于反向图保持的单张图像超分辨率方法，其特征在于，包括如下步骤：

步骤1，构建高分辨率图像块训练集和对应的低分辨率图像块训练集，所述高分辨率图像块训练集由多个高分辨率图像块构成，所述低分辨率图像块训练集由相应的多个低分辨率图像块构成；

步骤2，构建描述高分辨率图像块训练集内高分辨率图像块之间相似关系的邻接矩阵图，获得相似矩阵W；

步骤3，根据步骤2所得相似矩阵W，基于重建后高分辨率图像块空间的反向图约束项，计算出低分辨率图像块与对应高分辨率图像块之间的映射矩阵A；

步骤4，根据步骤3所得映射矩阵A重建输入低分辨率图像对应的高分辨率图像。

2.根据权利要求1所述基于反向图保持的单张图像超分辨率方法，其特征在于：步骤2中的高分辨率图像块训练集内高分辨率图像块之间相似关系的邻接矩阵图记为G，邻接矩阵图G的构建方法如下：

设步骤1所得高分辨率图像块训练集为

对应低分辨率图像块训练集为高分辨率图像块训练集X中每个高分辨率图像块x_i构成邻接矩阵图G的一个顶点，共N个顶点；连接任意两个顶点x_i和x_j的边的权值为w_ij，i的取值为1,2,…,N，j的取值为1,2,…,N，i≠j；权值w_ij定义如下：

其中N_K(x_i)表示x_i的K个近邻顶点构成的集合，N_K(x_j)表示x_j的K个近邻顶点构成的集合，通过确定所有权值w_ij获得相似矩阵W=[w_ij]_N×N，K为预设的近邻顶点个数。

3.根据权利要求2所述基于反向图保持的单张图像超分辨率方法，其特征在于：步骤3中映射矩阵A的计算方式如下：

首先分别通过Q=Y(I-W)(I-W)^TY^T、U=YY^T+λQ^T和V＝XY^T求得矩阵Q、U和V；其中，I为N×N的单位矩阵；

映射矩阵A的每一行元素按照如下公式计算出：

U^TA_i·=V_i·

s.t.A_i·≥0,i=1,2,…,4l

其中，A_i·和V_i·分别表示映射矩阵A和矩阵V的第i行，4l为映射矩阵A的行数；

计算出映射矩阵A的每一行元素后，连接起来组成最终的映射矩阵A，A=[A_1·;A_2·;…;A_4l·]。

Images