CN103034974B - 基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法 - Google Patents

Abstract

基于支撑集驱动稀疏编码的人脸超分辨率重建方法，将输入的低分辨率人脸图像、高低分辨率训练集内人脸图像分别划分为相互交叠的图像块；对输入的低分辨率人脸图像的每一个图像块，首先给编码系数分配不同的权重，然后通过求解权重稀疏问题获得最终编码系数；将低分辨率训练集内每个图像相应位置图像块，用一一对应的高分辨率训练集内每个图像相应位置图像块进行替换，加权合成高分辨率图像块；按照合成的高分辨率图像块在人脸上的位置，融合成高分辨率人脸图像。本发明提出局部约束表示模型，自适应地选择训练集内样本图像块空间中与输入图像块近邻的图像块来线性重建输入图像块，得到最优权重系数，合成出高质量的高分辨率图像。

Description

基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法

技术领域

本发明涉及图像超分辨率领域，具体涉及一种基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法。

背景技术

人脸超分辨率，或人脸幻构，是一种在人脸图像训练集的帮助下由低分辨率人脸图像产生高分辨率人脸图像的技术。人脸超分辨率常应用于视频监控。许多情况下，行人与摄像机距离较远，拍摄到的人脸为低分辨率图像从而缺乏的面部细节特征，而这些特征对于人脸图像的分析和识别是非常重要的。2000年，Baker和Kanade在文献1（S.BakerandT.Kanade.Hallucinatingfaces.InFG,Grenoble,France,Mar.2000,83-88.）中首次提出人脸超分辨率方法，又叫人脸幻构（facehallucination），他们采用贝叶斯方法，利用训练集中人脸图像的先验信息，通过学习的方法获得低分辨率人脸对应的高分辨率图像，以此来达到较大的放大倍数及较好的效果。随后，Liu等人在文献2（C.Liu,H.Y.Shum,andC.S.Zhang.Atwo-stepapproachtohallucinatingfaces:globalparametricmodelandlocalnonparametricmodel.InCVPR,pp.192–198,2001.）中提出人脸重建的两步法，分别合成人脸的全局信息和局部信息。

至此，基于学习的人脸图像超分辨率方法引起了人们的广泛关注。Wang等人在文献3（X.WangandX.Tang.Hallucinatingfacebyeigentransformation[J].IEEETrans.SMC(PartC),2005,vol.35,no.3,pp.425–434.）中提出一种基于特征转换的全局脸超分辨率方法。然而，这种全局脸的方法表达能力有限，合成出来的图像通常在人脸轮廓部分存在明显的重影。还有Chang等人在文献4（H.Chang,D.Y.Yeung,andY.M.Xiong.Super-resolutionthroughneighborembedding.InCVPR,pp.275-282,2004.）中指出高低分辨率图像块所构成的流形空间具有相似局部几何结构。基于这一假设，他们提出一种基于邻域嵌入的图像超分辨率重建方法，通过K个近邻来估计高分辨率图像块。由于其近邻数K是固定，因此这种方法在对图像块进行表示时会造成过拟合或者拟合不当的问题，进而导致了重建图像的边缘模糊。为了解决这一问题，Yang等人在文献5（J.Yang,H.Tang,Y.Ma,andT.Huang,“Facehallucinationviasparsecoding,”ICIP，pp.1264–1267,2008.）中采用了稀疏编码的方法，自适应的选择与图像重建最相关的近邻块，获得了较好的重建效果。

由于人脸是一类高度结构化的物体，其位置先验对人脸的表示与合成至关重要。近来，Ma等人利用人脸图像位置块信息，在文献6（X.Ma,J.Zhang,andC.Qi,“Position-basedfacehallucinationmethod,”ICME,pp.290–293,2009.）和文献7（X.Ma,J.PZhang,andC.Qi.Hallucinatingfacebyposition-patch.PatternRecognition,vol.43,no.6,pp.3178–3194,2010.）中提出基于位置图像块的人脸超分辨率方法，使用训练集中所有与输入图像块同位置的人脸图像块重建高分辨率人脸图像，避免流形学习或者特征提取等步骤，提高了重建效率和重建图像的质量。具体而言，对于输入低分辨率图像块，他们利用训练集中相同位置的所有低分辨率图像块来最小二乘表示该输入低分辨率图像块，得到表示系数，再将低分辨率训练图像块全部替换成对应的高分辨率块，合成表示保持系数不变，最后得到高分辨率块。然而，当训练图像块的数目远大于图像块维数时，最小二乘表示的结果并不唯一。为了解决这一问题，Jung等人在文献8（C.Jung,L.Jiao,B.Liu,andM.Gong,“Position-PatchBasedFaceHallucinationUsingConvexOptimization,”IEEESignalProcess.Lett.,vol.18,no.6,pp.367–370,2011.）中提出一种基于稀疏表达的图像块表示方法，增加一个关于表示系数的稀疏约束项，获得了稳定的解和更好的重建结果。然而，这种稀疏编码表示方法所选出来的图像块（非零系数对应的图像块）与输入图像的差异可能非常大，因此它不能正确揭示流形的几何结构，然而该流形结构对于图像的表示与分析是至关重要的。为了挖掘图像块流形的局部性，专利1（胡瑞敏、江俊君、王冰、韩镇、黄克斌、卢涛、王亦民.“一种基于局部约束表示的人脸超分辨率重建方法”申请号：201110421452.3）提出一种局部约束表示方法，通过选择距离近的块，惩罚距离远的块，同时达到稀疏性和局部性。但是该方法并不能达到真正意义的稀疏，而且需要预先调节局部约束项参数，它所得到的局部约束表示模型只对某一人脸库的结果有效。总之，现有图像块的表示方法均不是最优的。

发明内容

本发明目的是提供一种基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法，解决现有同类算法不能正确揭示图像块流形空间的几何结构的问题，通过利用流形的空间局部性和自然图像块的稀疏性获得最优（稳定、精确）的结果。

为达到上述目的，本发明采用的技术方案是一种基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法，包括如下步骤：

步骤1，输入低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；

步骤2，对于低分辨率人脸图像每一个位置上的图像块，算出在支撑集驱动稀疏编码下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的编码系数；

步骤3，对于低分辨率人脸图像每一个位置上的图像块，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得编码系数加权合成相应的高分辨率人脸图像块；

步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到一张高分辨率人脸图像。

而且，记输入的低分辨率人脸图像为X、低分辨率人脸图像X中某一位置的图像块为x，高分辨率训练集中各高分辨率人脸样本图像分别与x对应位置的图像块构成图像块集D_h，低分辨率训练集中各低分辨率人脸样本图像分别与x对应位置的的图像块构成图像块集D_l；低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数相同，记为N；

步骤2中，采用如下公式计算获得编码系数：

$\hat{w}=\underset{w}{\arg \min }{\left|\right|w\left|\right|}_{1,a},s.t.{\left|\right|D_{l}w-x\left|\right|}_2^2\≤\mathrm{\ϵ}$

其中，||w||_l,a为权重稀疏项，图像块集D₁=[d_l1，…,d_li，…,d_lN]，1≤i≤N，D_l的每一列为一个样本d_li，由一个低分辨率人脸样本图像中与x相同位置的图像块的像素值组成，w为长度为N的编码系数，w=[w₁,…,w_i,…,w_N]^T，w_i为样本d_li对应的系数，返回关于变量w的函数在得到最小值时w的取值 表示欧氏平方距离；

所述权重稀疏项||w||_1，a的定义为：

${\left|\right|w\left|\right|}_{l,a}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_i\left|w_i\right|,$ 其中

在此式中，|w_i|为w_i的绝对值，a_i是编码系数w_i的权重，T是编码系数w的支撑集；

所述支撑集T的定义如下：

T=supp(dist|_k)

其中，dist是一个N维向量，dist_i=||x-d_li||₂，1≤i≤N，dist|_k指的是dist中最小的k项，supp(dist|_k)是组成这些最小k项的索引的集合。

本发明在编码系数满足稀疏性的基础上，通过增加局部流形约束适当减少了单纯的稀疏性对编码系数的不利影响，揭示了图像块流形的几何结构，满足了图像表示与分析的需求。同时又由于其自适应地选取与输入图像块近邻的图像块来表示输入图像块，避免了同类算法中由于固定近邻块个数而导致过拟合或者拟合不当的问题，使编码更加稳定、准确，最终获得更高质量的高分辨率人脸图像。

附图说明

图1为实施例的基于位置块人脸超分辨率方法的流程图；

图2为传统稀疏编码方法与发明方法对比。图中矩形为传统稀疏编码方法所选择近邻样本，三角形为本发明方法所近邻样本。

具体实施方式

本发明技术方案可采用软件技术实现自动流程运行。下面结合附图和实施例对本发明技术方案进一步详细说明。参见图1，本发明实施例具体步骤为：

步骤1，输入低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块。

低分辨率训练集中包含低分辨率人脸样本图像，高分辨率训练集中包含高分辨率人脸样本图像，低分辨率训练集和高分辨率训练集提供预先设定的训练样本对。低分辨率训练集中每个低分辨率人脸样本图像是由高分辨率训练集中的一个高分辨率人脸样本图像提取。实施例中，所有高分辨率的图像像素大小为112×100，所有低分辨率的图像像素大小为28×25。低分辨率人脸样本图像是高分辨率人脸样本图像通过平滑（使用4×4的平均滤波器）并下采样四倍的结果。

各图像重叠划分方式一致，属于本领域常用技术，为便于实施参考起见，提供建议划分方式如下：

按照从左到右、从上到下的顺序进行划分图像块，当划分图像块至图像边缘时，如果剩余尺寸比预先设置的图像块的尺寸小则以原图像的边缘为基准进行回退划分，包括当横向划分到图像右边边缘处时，向左回退并以右边边缘为基准进行分块；当纵向划分到图像底边边缘处时，向上回退并以底边边缘为基准进行分块。

实施例中，记输入的低分辨率人脸图像为X、低分辨率人脸图像X中某一位置的图像块为x，高分辨率训练集中各高分辨率人脸样本图像分别与x对应位置的图像块构成图像块集D_h，低分辨率训练集中各低分辨率人脸样本图像分别与x对应位置的的图像块构成图像块集D_l。低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数相同，记为N。

步骤2，对于低分辨率人脸图像的每一个位置上的图像块x，计算在支撑集驱动稀疏编码下由低分辨率训练集中所有低分辨率人脸样本图像相应位置上的图像块对它进行重建时的编码系数，得到编码系数集。

在实施例中，采用如下公式计算获得最优的编码系数：

$\hat{w}=\underset{w}{\arg \min }{\left|\right|w\left|\right|}_{1,a},s.t.{\left|\right|D_{l}w-x\left|\right|}_2^2\≤\mathrm{\ϵ}$

其中，D_l为作为低分辨率图像块字典的图像块集，它由与x相同位置的所有低分辨训练图像块组成，可简称字典D_l。低分辨率训练集中有N个训练样本，那么D_l=[d_l1，…,d_li,…,d_lN]，1≤i≤N，D_l的每一列为一个样本d_li，为一个低分辨率人脸样本图像中与x相同位置的图像块的像素值组成，w为长度为N的编码系数，w=[w₁,…,w_i,…,w_N]^T，w_i为字典D_l中d_li样本对应的系数，返回关于变量w的函数在得到最小值时w的取值即所要求的最优编码系数，表示欧氏平方距离，ε为预设的重建误差容忍值，例如取值为1。||w||_1，a的定义为：

${\left|\right|w\left|\right|}_{l,a}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_i\left|w_i\right|,$ 其中

在此式中，|w_i|为w_i的绝对值，a_i是编码系数w_i的权重，T是编码系数w的支撑集。如图1所示，基于位置块的人脸超分辨率算法的关键是如何获得输入图像块的最优表示，邻域嵌套表示方法通过选择固定近邻的图像块进行表示、基于最小二乘的方法联合所有样本图像块进行表示，而基于稀疏先验的方法则通过选择尽量少的图像块进行最优表示，它们要么是不能得到一个稳定的表示，要么是忽略了图像块流形空间的局部几何结构信息。为了获得一个稳定的表示并揭示图像块流形空间的局部几何结构信息，本发明利用流形空间局部性来定义稀疏编码的支撑集，通过在一个更小的局部空间进行稀疏编码，使得表示同时满足稀疏性与局部性。如图2所示，在图像块流形空间中，五角星代表待表示的输入图像块。正方形代表传统稀疏编码方法（文献8）所选图像块，它们与输入图像块的距离较大，因此其无法揭示图像块流形结构的局部性；椭圆代表本发明方法所定义的支撑集，三角形代表本发明方法在支撑集上所选的图像块，它们与输入图像块的距离较小，更加有利于揭示图像块流形的局部性。通过在支撑集上的稀疏表示，而本发明提出的基于支撑集驱动稀疏编码方法可以同时达到稀疏性与局部性。

因此，上述提到的支撑集的定义方式如下：

T=supp(dist|_k)

其中，dist是一个N维向量，其中第i个值dist_i就是x同字典D_l中第i个样本d_li的欧氏平方距离，即dist_i=||x-d_li||₂，1≤i≤N，dist|_k指的是dist中最小的k项，supp(dist|_k)是这些最小k项的索引组成的集合。k的建议取值为100。

步骤3，对于低分辨率人脸图像每一个位置上的图像块，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得编码系数加权合成相应的高分辨率人脸图像块y。

实施例使用步骤2中得到的编码系数映射合成高分辨率人脸图像块的表达式为：

$y=D_h\hat{w}$

其中，为步骤2中求得的编码系数集，D_h为高辨率训练集中对应位置的图像块集,y为所求得的与x相同位置的高分辨率人脸图像块。

步骤4，将步骤3合成所得高分辨率人脸图像块y按照在人脸上的位置融合，得到一张高分辨率人脸图像Y。融合按照步骤1的划分方式对照实现即可。

获得的高分辨率人脸图像可以作为预测结果输出，重建完成。

本发明在文献8方法的基础上增加了一个支撑集驱动条件，解决了人脸图像无法揭示流形的几何结构的问题，对比文献8方法中增加稀疏性约束条件，却忽略了流形结构这一更重要的特征，本发明中方法能够获得更精确、稳定的图像块表示方式，从而可以合成出更高质量的高分辨率人脸图像。

为了验证本发明的有效性，采用CAS-PEAL-R1大规模中国人脸数据库（文献9：W.Gao,B.Cao,S.Shan,X.Chen,etal.TheCAS-PEALLarge-ScaleChineseFaceDatabaseandBaselineEvaluations[J].IEEETrans.SMC(PartA),vo.38,no.1,pp.149-161,2008）进行实验，选用所有1040个个体的中性表情、正常光照下的正面人脸图像。抠取人脸区域并将其裁剪成112×100像素，再手工标定人脸上的五个特征点（两眼中心、鼻尖和两个嘴角）并进行仿射变换对齐，得到原始的高分辨率人脸图像。由每张高分辨率人脸图像进行平滑（使用4×4的平均滤波器），并4倍下采样后得到28×25的低分辨率的图像。随机选择1000张作为训练样本，将剩余40张作为测试图像。本发明实施例中划分人脸图像块的尺寸分别为：高分辨率人脸图像被划分为12×12的图像块，交叠为4个像素；低分辨率人脸图像被划分为3×3的图像块，交叠为1个像素。

本发明中，近邻块个数K取100，误差容忍值ε设定为8。如同文献8中一样，我们使用了原始对偶算法（文献10：E.CandesandJ.Rombergt,1-Magic:RecoveryofSparse:SignalsviaConvexProgramming2005[Online].）来进行稀疏编码。Wang的方法（文献3）选择了350个主成份，邻域嵌入方法（文献4）选择了50个近邻点，稀疏表示（文献8）中的误差容忍值为1。

峰值信噪比（PSNR，单位为dB）是最普遍，使用最广泛的图像质量的客观量测指标；SSIM则是衡量两幅图相似度的指标，其值越接近于1，说明图像重建的效果越好。

为了证明本发明方法的优越性，比较了本发明方法与其他方法得到的PSNR和SSIM值（所有40幅测试人脸图像求平均值）。Bicubic方法、Wang的方法（文献3）、邻域嵌入方法（文献4）、最小二乘方法（文献7）、稀疏表示方法（文献8）、专利1方法和本发明方法的平均PSNR值依次为24.50，26.62，27.98，28.16，28.25，28.84，28.94；Bicubic方法、Wang的方法（文献3）、邻域嵌入方法（文献4）、最小二乘方法（文献7）、稀疏表示方法（文献8）、专利1方法和本发明方法的平均SSIM值依次为0.8163，0.8254，0.8906，0.8974，0.8968，0.9083，0.9093。本发明方法比当前文献报道中最好的方法（文献8）在PSNR和SSIM值上分别提高0.69个dB和0.0125，比专利1方法在PSNR和SSIM上分别提高0.1个dB和0.001。

Claims (2)

1.一种基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法，其特征在于，包括如下步骤：

步骤1，输入低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像划分相互重叠的图像块；

记输入的低分辨率人脸图像为X、低分辨率人脸图像X中某一位置的图像块为x，高分辨率训练集中各高分辨率人脸样本图像分别与x对应位置的图像块构成图像块集D_h，低分辨率训练集中各低分辨率人脸样本图像分别与x对应位置的的图像块构成图像块集D_l；低分辨率训练集中低分辨率人脸样本图像的个数和高分辨率训练集中高分辨率人脸样本图像的个数相同，记为N；

步骤2，利用流形空间局部性来定义稀疏编码的支撑集，对于低分辨率人脸图像每一个位置上的图像块，算出在支撑集驱动稀疏编码下由低分辨率训练集中所有低分辨率人脸样本图像该位置上的图像块对它进行线性重建时的编码系数；

包括采用如下公式计算获得编码系数，

$\hat{w}=\underset{w}{\arg \min }{\left|\right|w\left|\right|}_{1,a},s.t.{\left|\right|D_{l}w-x\left|\right|}_2^2\≤\mathrm{\ϵ}$

其中，||w||_1,a为权重稀疏项，图像块集D_l＝[d_l1,…,d_li,…,d_lN]，1≤i≤N，D_l的每一列为一个样本d_li，由一个低分辨率人脸样本图像中与x相同位置的图像块的像素值组成，w为长度为N的编码系数，w＝[w₁,…,w_i,…,w_N]^T，w_i为样本d_li对应的系数，返回关于变量w的函数在得到最小值时w的取值 表示欧氏平方距离；ε为预设的重建误差容忍值；

所述权重稀疏项||w||_1,a的定义为，

${\left|\right|w\left|\right|}_{1,a}=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_i\left|w_i\right|,$ 其中

在此式中，|w_i|为w_i的绝对值，a_i是编码系数w_i的权重，T是编码系数w的支撑集；

所述支撑集T的定义如下，

T＝supp(dist|_k)

其中，dist是一个N维向量，dist_i＝||x-d_li||₂，1≤i≤N，dist|_k指的是dist中最小的k项，supp(dist|_k)是组成这些最小k项的索引的集合；

步骤3，对于低分辨率人脸图像每一个位置上的图像块，把所有低分辨率人脸样本图像的图像块替换为位置对应的高分辨率人脸样本图像的图像块，用步骤2所得编码系数加权合成相应的高分辨率人脸图像块；

步骤4，将步骤3合成所得高分辨率人脸图像块按照在人脸上的位置融合，得到一张高分辨率人脸图像。

2.根据权利要求1所述基于支撑集驱动稀疏编码的人脸图像超分辨率重建方法，其特征在于：ε的取值为1。