CN101950415A - 一种基于形状语义模型约束的人脸超分辨率处理方法 - Google Patents

Abstract

本发明涉及图像超分辨率处理技术领域，尤其涉及一种基于形状语义模型约束的人脸超分辨率处理方法。本发明利用人眼获取图像结构信息对于像素噪声干扰的鲁棒作用，构建结合人脸形状语义信息的代价函数，并在求解过程中通过训练统一形状正则项的变量和重建误差项的变量，获得单变量的代价函数，减小计算复杂度，然后利用最速下降法求解。本发明在人脸超分辨率过程中结合了人工理解的形状语义信息，利用形状语义正则约束提高了人脸超分辨率结果的像的相似性。

Description

一种基于形状语义模型约束的人脸超分辨率处理方法

技术领域

本发明涉及图像超分辨率处理技术领域，尤其涉及一种基于形状语义模型约束的人脸超分辨率处理方法。

背景技术

近年来，随着视频监控系统的不断发展和完善，监控图像资源得到了广泛应用，如安全防范，刑事侦察，法庭取证等。人脸是辨识个人身份最直接的特征，是监控图像中最受关注的对象之一，但是在大部分的监控场景中，摄像头和场景中的人脸有较远的距离，这导致人脸图像具有很低的分辨率。低分辨率人脸图像丢失了许多人脸特征细节，人脸经常难以辨识，有效增强人脸图像分辨率成为亟待解决的问题。人脸超分辨率技术能够利用人脸样本图像重建出与原始低分辨率人脸图像最相似的高分辨率人脸图像，可以有效增强监控录像中低质量人脸图像的分辨率，恢复人脸特征细节信息，这对于提高人脸图像的清晰度，增加人脸辨识的准确性具有重要意义。

全局人脸超分辨率方法是指通过数据表达方法将样本图像变换到子空间，利用该样本子空间信息做为重建的先验信息来获得高分辨率图。2001年，牛津大学的Capel和Zisserman(参见文献1)提出利用样本人脸图像的PCA(Principal Component Analysis，主成分分析)特征脸空间做为一个先验模型正则约束，结合MAP(Maximum a Posteriori，最大后验概率)估计器从特征脸空间中恢复超分辨率的图像。这方法通过使用大量的对齐后的训练样本人脸图像建立了人脸空间模型并做为先验约束条件，相比于利用马尔可夫随机场做为约束的传统方法，提高了超分辨率结果图像的质量。但是该方法的先验模型基于高斯分布的前提限制了它的应用范围。2003年，美国佐治亚理工学院的Gunturk等人(参见文献2)为了使超分辨率更适用于人脸识别的前处理，提出在低维的PCA特征脸空间执行超分辨率，该方法极大降低了超分辨率的复杂度，而且提高了噪声环境下的人脸识别率。但该算法的目的是提高人脸识别性能，而不是为了产生主观视觉上效果好的高分辨率图像，所以它仅重建对于识别有必要的信息。

2005年，香港中文大学的Wang和Tang(参见文献3)提出基于特征变换的新幻觉脸算法，该方法利用主成分分析方法(PCA)将输入的低分辨率图像拟合成为样本库中低分辨率图像的线性表达，通过将低分辨率样本的表达系数直接映射到高分辨率样本图像空间，合成高分辨率的图像。该方法不仅提高了识别率，而且在主观质量上也有相当大的提高，实验还表明该方法对于高斯白噪声有一定鲁棒性。但是这种方法的抗噪声类型过于简单，适用范围非常有限。

2008年，韩国全南国立大学的Jeong-Seon Park等人(参见文献4)提出使用迭代误差后向投影结合形变人脸模型PCA合成方法从单帧低分辨率人脸图像重建高分辨率人脸图像。这种方法通过比较重建误差迭代更新高分辨率图像，逐步补偿高分辨率图像误差。同时引入并扩展了形变(Morphable)人脸模型，该模型将样本人脸分解成形状和纹理向量，然后对这两个向量都分别进行了合成，最后将纹理根据形状信息进行变换。该方法能够同时利用人脸图像的形状和纹理信息，合成的图像更加精确，实验结果与传统PCA分解相比有所提高。但是该方法需要利用光流法计算人脸图像的形状场，该步骤的精度可能受到各种噪声的影响，计算复杂度也很高。

2009年，Krissada和Somchai等人(参见文献5)提出了能够在HSV(Hue Saturation Value)颜色系统空间重建彩色人脸图像的幻觉脸技术。该方法利用张量空间表达彩色人脸图像，并应用多维PCA方法去利用更多的原始二维图像信息，不仅解决了传统方法没有考虑颜色空间的问题，而且解决了传统PCA方法需要将图像变换成向量而丢失像素空间关系的问题。但是该方法对于不同的退化模型比较敏感。

在实际监控环境中，多种因素造成了监控视频图像质量的降低，有环境因素：如光线亮度，大雾，下雨等，有摄像机本身因素：如镜头光学模糊，CCD采样分辨率，器件噪声等，有摄像过程产生的因素，如镜头与物体相对运动，散焦等。传统人脸超分辨率方法没有考虑上述实际监控环境的多种因素的影响，这使得在传统方法面临着严峻的挑战。传统人脸超分辨率算法仅以图像像素值的差异作为人脸相似度准则，但是实际监控环境中的诸多因素均会对图像像素值产生强噪声干扰，导致像素产生失真和混叠现象，从而导致相似度准则的精确性降低，进而使传统方法重建图像的相似度和可辨识度降低，难以满足实际应用的要求。人对图像理解的语义信息对于像素值的噪声干扰具有极强的鲁棒功能。因此，如何在人脸超分辨率中引入语义信息，从而提高重建图像与原始图像的相似度，这对于在实际监控中强噪声图像的人脸辨识具有重要意义。

文献1：D.Capel and A.Zisserman.Super-Resolution from Multiple Views Using LearntImage Models，IEEE International Conference on Computer Vision and Pattern Recognition，2001，pp.627-634.

文献2：B.K.Gunturk，A.U.Batur，Y. Altunbasak，M.H.Hayes and R.M.Mersereau.Eigenface-domain Super-Resolution for Face Recognition，IEEE Transactions on Image Processing，May 2003，Vol.12，No.5，pp.597-606.

文献3：X. Wang and X. Tang.Hallucinating Face by Eigentransform，IEEE Transactions onSystems，Man，and Cybernetics-part C：Applications and Reviews，August 2005 Vol.35，No.3，pp.425-434.

文献4：Jeong-Seon Park and Seong-Whan Lee.An Example-Based Face HallucinationMethod for Single-Frame，Low-Resolution Facial Images，IEEE Transactions on Image processing，October 2008，Vol.17，No.10，pp.1806-1816.

文献5：Asavaskulkeit，K.，Jitapunkul，S..The Color Face Hallucination with the LinearRegression Model and MPCA in HSV Space，16th International Conference on Systems，Signalsand Image Processing，2009，pp.1-4.

发明内容

传统全局脸方法的人脸重建准则完全依赖于样本库合成图像与输入图像之间的像素值差异，极低质量的监控图像对像素值产生强噪声干扰，降低了相似性准则的精确性，进而导致传统方法重建人脸图像的相似度和可辨识度降低。

针对上述存在的技术问题，本发明的目的是提供一种基于形状语义模型约束的人脸超分辨率处理方法，在超分辨率相似性准则中增加形状语义相似度函数，该相似性函数的计算结合了人对图像理解的形状语义信息，减少了对像素值的依赖程度，提高了对噪声和光照等的鲁棒性，从而提高了实际监控应用场景中，超分辨率人脸图像与低分辨率图像的形状语义相似程度。

为达到上述目的，本发明采用如下的技术方案：

①利用仿射变化对齐人脸图像样本库，并构建图像样本库矩阵；

②利用所有样本库图像平均获得平均脸，样本库图像减去平均脸得到残差脸图像；

③通过对样本库人脸图像标记特征点，利用这些特征点的坐标构成向量来表示人脸形状，将所有的形状向量按列构成图像形状样本库矩阵；

④对上述步骤获得的形状样本库矩阵应用主成份分析PCA，得到形状特征空间的特征形状矩阵U，特征向量矩阵V和奇异值矩阵Λ；

⑤利用手工标记输入图像的特征点，特征点的坐标构成输入图像的形状向量I；

⑥根据输入图像的形状向量I，将其投影到样本图像形状PCA子空间U中，获得输入图像形状系数s′，具体计算如：s′＝(UU^T)^-1U^TI；

⑦样本库的所有图像系数向量就构成样本库的图像系数矩阵c′，类似的利用所有的形状系数向量得到形状样本库系数矩阵c，将c′和c连接成一个统一系数矩阵X，

对X应用主成份分析方法获得系数映射矩阵形如

⑧将输入图像上采样后投影到图像PCA子空间上获得的图像初始系数；

⑨利用最速下降法求解代价函数：

$\hat{i}=\arg \min ({\left|\right|Y-\mathrm{DB}(\stackrel{\‾}{m}+L{Q}_{c^{\′}}i)\left|\right|}^2+{\mathrm{\λ}}_1{\left|\right|\mathrm{\Γ}(\stackrel{\‾}{m}+{\mathrm{LQ}}_{c^{\′}}i)\left|\right|}^2+{\mathrm{\λ}}_2{\left|\right|\stackrel{\‾}{S}+{\mathrm{AQ}}_{c}i-I\left|\right|}^2+{\mathrm{\λ}}_3{\left|\right|{\mathrm{\Λ}}^{\frac{1}{2}}{V}^T{Q}_{c}i-s^{\′}\left|\right|}^2)$

其中，Y为低分辨率图像，B是镜头光学模糊矩阵，D是由CCD尺寸决定的下采样矩阵，为样本库平均人脸图像，L是样本图像减去平均人脸图像的残差，Q_c′是图像系数映射矩阵，

Г是拉普拉斯算子，

是形状样本库的平均形状，A是样本形状残差，i是图像系数和形状系数经过变化后的统一向量，它是未知变量，I是输入低分辨率图像的形状，它通过将低分辨率放大后人工标示语义点来获得，Q_c是形状系数映射矩阵，V是A^TA的正交特征向量，

是奇异值对角矩阵，s是输入图像的形状系数，它由输入图像的形状投影到PCA子空间中得到，λ₁，λ₂，λ₃是平衡因子常量，为优化计算后得到的变量i的估计值，‖·‖为l₂范数操作，argmin(.)

表示求函数值最小时自变量的值；

⑩利用下述公式得到超分辨率人脸图像：

$\hat{Z}=\stackrel{\‾}{m}+{\mathrm{LQ}}_{c^{\′}}\hat{i}$

其中，

表示最终获得的目标超分辨率人脸图像。

所述步骤①中，对齐人脸图像样本库包括以下子步骤：

对样本图像先框取相同大小的人脸，接着再对人脸进行特征点标注；

用仿射变换的方法把上述特征点对齐，通过对样本库中的高分辨率人脸图像计算出平均脸；

采用直接线性变换方式来解出仿射变换矩阵；

对样本高分辨率图像与变换矩阵乘积，得到新的图像坐标，获得对齐后的样本图像库。

所述步骤⑤中，对输入的人脸图像进行标点，这些点是具有语义信息的特征点，所述特征点以其二维坐标表示，构成一个输入人脸图像形状向量。

所述步骤⑤中的标点必须先使用双三次插值方法方法，放大倍数为样本库图像与输入图像的比例，然后对放大后的图像进行手动标点。

所述步骤⑦中对X应用PCA方法获得系数映射矩阵，具体包括以下子步骤：

首先获得X的平均系数向量，接着将X的所有列向量都减去平均系数向量得到残差系数向量设其为变量R，设K＝R^TR，R^T表示R的转置，对K求得特征值对角阵D和特征向量矩阵V，将D开根得到奇异值矩阵Λ，利用公式U＝RVΛ^-1最终获得系数映射矩阵U，其中Λ^-1表示Λ的逆，U可以拆分为步骤⑨的代价函数中图像系数映射矩阵Q_c′和形状系数映射矩阵Q_c。

所述步骤⑧中将输入图像上采样后投影到图像PCA子空间上获得的图像初始系数，其具体过程为：设输入图像上采样后为Y，对图像样本库计算平均脸和残差脸得到步骤⑨的代价函数中

和L，步骤⑨的代价函数中统一系数变量i的初始值

所述步骤⑨中的代价函数是基于形状语义模型约束构建的，其中i为待求未知变量，λ₁，λ₂，λ₃是人工设定的常量，其余变量由步骤①-⑧获得。

本发明具有以下优点和积极效果：

1)本发明在人脸超分辨率过程中结合了人工理解的形状语义信息；

2)本发明利用形状语义正则约束提高了人脸超分辨率结果的像的相似性。

附图说明

图1是本发明提供的基于形状语义模型约束的人脸超分辨率处理方法的流程图。

图2是本发明提供的方法与其它超分辨率方法所取得效果的比较示意图。

具体实施方式

本发明提供的基于形状语义模型约束的人脸超分辨率处理方法，利用人眼获取图像结构信息对于像素噪声干扰的鲁棒作用，构建结合人脸形状语义信息的代价函数，并在求解过程中通过训练统一形状正则项的变量和重建误差项的变量，获得单变量的代价函数，减小计算复杂度，然后利用最速下降法求解。

利用人眼获取图像结构信息对于像素噪声干扰的鲁棒作用具体是：人眼在获取图像结构信息(人脸轮廓、眼睛形状等)时，对于各种噪声干扰具有鲁棒作用，我们考虑这种鲁棒功能用于人脸超分辨率。用“形状”描述人脸结构，它是一系列特征点的组合。这些特征点以其二维图像坐标表示。对输入图像采用人工标定的方式来获得语义特征点，这些特征点描述了人脸的形状结构，并且包含了人理解的图像语义信息。把这些信息结合到人脸超分辨率约束条件中去，以利用人眼对噪声的鲁棒功能。

构建结合人脸形状语义信息的代价函数具体是：考虑在原有的代价函数基础上增加人脸形状语义正则约束项，为了约束目标图像的形状与输入图像的形状保持全局一致性，以及约束目标图像形状的系数与输入图像的系数保持一致，建立语义正则项如公式：

${\left|\right|\stackrel{\‾}{S}+U\·s-I\left|\right|}^2+{\left|\right|s-s^{\′}\left|\right|}^2---\left(1\right)$

其中，

表示人脸形状样本库的平均形状，人脸形状样本库由人脸图像样本库标定特征点获得，s是目标图像的形状系数，它是未知变量，U是形状样本库矩阵经过PCA分解得到的特征向量矩阵，U·s表示U与s两个矩阵相乘，I是输入低分辨率图像的形状，它通过将低分辨率放大后人工标示语义点来获得，s是输入图像的形状系数，它由输入图像的形状投影到PCA子空间中得到。

于是可以得到总的代价函数为：

$\hat{e},\hat{s}=\arg \underset{e,s}{\min }({\left|\right|Y-\mathrm{DB}(\stackrel{\‾}{m}+W\·e)\left|\right|}^2+{\left|\right|\mathrm{\Γ}(\stackrel{\‾}{m}+W\·e)\left|\right|}^2+{\left|\right|S+U\·s-I\left|\right|}^2+{\left|\right|s-s^{\′}\left|\right|}^2)---\left(2\right)$

其中，Y为低分辨率图像，D是由CCD尺寸决定的下采样矩阵，B是镜头光学模糊矩阵，

为样本库平均人脸图像，W是样本库图像矩阵经过PCA分解得到的特征向量矩阵，e是相应于W的系数，Г是拉普拉斯算子。和

分别为优化计算后得到的变量e和变量s的估计值，.表示矩阵乘法，‖‖为l₂范数操作，argmin()表示求函数值最小时自变量的值，一股使用优化迭代方法求解。

求解过程中统一变量具体是：之前构建的代价函数中包含图像系数e和形状系数s两个变量，为了使形状正则项的变量与重建误差项的变量相统一，获得单变量的代价函数，减小计算复杂度，我们依据PCA过程变换语义正则项的表达形式，将形状PCA的系数变量，变换为图像残差的系数变量。

根据PCA原理和奇异值分解定义得：

$U=\mathrm{AV}{\mathrm{\Λ}}^{-\frac{1}{2}}---\left(3\right)$

其中，A为人脸图像形状残差矩阵，V为A^TA的正交特征向量矩阵，

为A的奇异值对角矩阵。对于人脸形状S_i，它的系数s_i由该形状投影到特征形状空间U中得到：

$s_i=U^T(S_i-\stackrel{\‾}{S})$

那么重建的形状

可以表达为：

$\widehat{S_i}=U{s}_i+\stackrel{\‾}{S}---\left(4\right)$

由公式(3)和公式(4)可得：

$\widehat{S_i=\mathrm{AV}{\mathrm{\Λ}}^{-\frac{1}{2}}}{s}_i+\stackrel{\‾}{S}$

设变量c_i定义为：

$c_i=V{\mathrm{\Λ}}^{-\frac{1}{2}}{s}_i$

则c表示了对应与样本残差A的系数，因此，公式(4)可重写为：

$\widehat{S_i}=A{c}_i+\stackrel{\‾}{S}---\left(5\right)$

则语义正则项(1)可改写为：

${\left|\right|\stackrel{\‾}{S}+A\·c-I\left|\right|}^2+{\left|\right|{\mathrm{\Λ}}^{\frac{1}{2}}{V}^T\·c-s^{\′}\left|\right|}^2$

同理，传统超分辨率代价函数可改写为：

$\stackrel{{^}^{\′}}{c}=\arg \min ({\left|\right|Y-\mathrm{DB}(\stackrel{\‾}{m}+L\·c^{\′})\left|\right|}^2+{\left|\right|\mathrm{\Γ}(\stackrel{\‾}{m}+L\·c^{\′})\left|\right|}^2)$

其中，L是样本图像残差，c′是相应于L的图像系数，令

对其使用PCA分解

可得其中，Q_c′是图像系数映射矩阵，Q_c是形状系数映射矩阵。于是代价函数(2)可改写为：

$\hat{i}=\arg \min ({\left|\right|Y-\mathrm{DB}(\stackrel{\‾}{m}+L{Q}_{c^{\′}}\·i)\left|\right|}^2+{\mathrm{\λ}}_1{\left|\right|\mathrm{\Γ}(\stackrel{\‾}{m}+{\mathrm{LQ}}_{c^{\′}}\·i)\left|\right|}^2+{\mathrm{\λ}}_2{\left|\right|\stackrel{\‾}{S}+{\mathrm{AQ}}_{c}i-I\left|\right|}^2+{\mathrm{\λ}}_3{\left|\right|{\mathrm{\Λ}}^{\frac{1}{2}}{V}^T{Q}_c\·i-s^{\′}\left|\right|}^2)---\left(3\right)$

i是待求的系数向量。

下面以具体实施例结合附图对本发明作进一步说明：

本发明提出的基于形状语义模型约束的人脸超分辨率处理方法，参见图1，包括以下步骤：

S1：对齐人脸图像样本库，并构建图像样本库矩阵；

对样本图像先框取相同大小的人脸，接着再对人脸进行特征点标注，特征点如眼角、鼻尖、嘴巴角等具有语义的位置，最后再用仿射变换的方法把这些点对齐。仿射变换的方法如：通过对样本库中的所有高分辨率人脸图像相加除以样本个数计算出平均脸，设(x_i′，y_i′)^T为平均脸上第i个特征点的坐标，(x_i，y_i)^T为样本高分辨率图像中对应第i个点的坐标，在已知平均脸上特征点和相对应样本库中的特征点的条件下，设仿射矩阵为其中，

a，b，d，e是与选择和缩放相关的参数，而c和f是与平移相关的系数，构建方程组

采用直接线性变换方式来解出仿射变换矩阵M，接着对样本高分辨率图像的所有坐标来与变换矩阵M乘积就可得到新的图像坐标，由此得到对齐后的样本图像库。

如下所述构建图像样本库矩阵：

读取第一幅样本库人脸图像，将该图像矩阵按行序拉直成列向量，作为人脸样本库矩阵的第一列，接着再读取第二副样本库人脸图像，同样将该图像矩阵按行序拉直成列向量，作为人脸样本库矩阵的第二列，依次类推，最后得到一个人脸样本库矩阵。

S2：获得图像样本库的平均脸和残差脸图像；

通过取样本库人脸图像像素值的平均值得到一个平均脸

，然后每一个样本人脸与这个平均脸的差值即为残差脸图像L。

S3：构建图像形状样本库，并构建图像形状样本库矩阵；

我们可以通过对样本库人脸图像标记特征点，利用这些特征点的坐标构成向量来表示人脸形状，例如：对样本库每个人脸图像人工标32个点，其中眉毛标3×2＝6个点，眼睛为5×2＝10个点，鼻子5个点，嘴4个点，下巴7个点，这些特征点以其二维坐标表示，它们构成一个向量，描述了这幅人脸的形状。通过在一系列训练图像上标记这些点，我们可以得到一个形状的集合，即为形状样本库。描述它们的向量共同构成了形状样本库矩阵。

S4：利用PCA分解图像形状样本库

在形状集合上应用主成份分析(PCA)，对S3中获得的形状样本库矩阵进行分解，其主要步骤为：首先获得形状样本库的平均形状，接着将样本库所有样本都减去平均形状得到残差样本库设其为变量R，设K＝R^TR，R^T表示R的转置，对K求得特征值对角阵D和特征向量矩阵V，将D开根得到奇异值矩阵Λ，利用公式U＝RVΛ^-1最终获得形状特征空间的特征向量，其中Λ^-1表示Λ的逆，从而可将一个特定的形状表示为形状特征脸矩阵U中的特征向量的线性组合。

S5：利用手工标记输入图像的特征点，获得输入图像的形状；

我们通过将输入图像放大到样本图像同样大小后，手工进行特征点标记来获取输入图像的形状，例如：采用样本图像八分之一大小的低分辨率图像作为输入图像，使用双三次插值方法将输入图像放大8倍，对其手动标点，标点方法与S3中样本图像标点方法相同，这样就获得了输入图像的形状，将形状的坐标排列在一起就构成了输入图像的形状向量，如：x₁，y₁，x₂，y₂，...x_n，y_n。其中，x₁，y₁是第1个特征点的横纵坐标，依次类推。

S6：根据输入图像的形状，将其投影到样本图像形状PCA子空间中获得输入图像形状系数；

由S4中PCA分解得到的样本库形状特征空间的特征向量，根据S5中输入图像的形状，即可得到输入图像的形状系数s′，具体计算如：s′＝(UU^T)^-1U^TI；。

S7：利用样本库的图像系数矩阵和形状系数矩阵获得系数映射矩阵；

对于样本库的单个图像，可以由PCA分解得到的特征向量求得图像系数，它也是一个向量，样本库的所有图像系数向量就构成样本库的图像系数矩阵c′。类似的，对于S3中得到的形状样本库，可用同样的方法得到形状样本库系数矩阵c。把图像系数矩阵的每一列和形状系数矩阵的相应列连接起来，以此连接成一个矩阵，对此矩阵进行PCA分解，可以得到系数映射矩阵，根据c′和c的连接方式，它可以拆分为图像系数映射矩阵Q_c′和形状系数映射矩阵Q_c。

S8：将输入图像上采样后投影到PCA子空间上获得的图像初始系数；

设输入图像上采样后为Y，对图像样本库计算平均脸和残差脸得到步骤⑨的代价函数中和L，步骤S9的代价函数中统一系数变量i的初始值

S9：利用最速下降法求解代价函数；

最速下降法认为，一个凸函数的函数值下降最快的方向就是该函数导数的负方向。因此，可以利用迭代的方法来优化求解，即每次变量往目标函数的导数的负方向更新一个步长大小。

我们利用形状语义模型构建的代价函数如下：

$\hat{i}=\arg \min ({\left|\right|Y-\mathrm{DB}(\stackrel{\‾}{m}+L{Q}_{c^{\′}}i)\left|\right|}^2+{\mathrm{\λ}}_1{\left|\right|\mathrm{\Γ}(\stackrel{\‾}{m}+{\mathrm{LQ}}_{c^{\′}}i)\left|\right|}^2+{\mathrm{\λ}}_2{\left|\right|\stackrel{\‾}{S}+{\mathrm{AQ}}_{c}i-I\left|\right|}^2+{\mathrm{\λ}}_3{\left|\right|{\mathrm{\Λ}}^{\frac{1}{2}}{V}^T{Q}_{c}i-s^{\′}\left|\right|}^2)$

通过求导该代价函数，可得到R·i-P的导数表达形式，其中

$R={Q_{c^{\′}}}^T{L}^T{B}^T{D}^T{\mathrm{DBLQ}}_{c^{\′}}+{\mathrm{\λ}}_1{Q_{c^{\′}}}^T{L}^T{\mathrm{\Γ}}^T{\mathrm{\ΓLQ}}_{c^{\′}}$

$+{\mathrm{\λ}}_2{Q_c}^T{A}^T{\mathrm{AQ}}_c+{\mathrm{\λ}}_3{Q_c}^{T}V{\left({\mathrm{\Λ}}^{\frac{1}{2}}\right)}^T{\mathrm{\Λ}}^{\frac{1}{2}}{V}^T{Q}_c$

$P=L^T{B}^T{D}^{T}Y-(L^T{B}^T{D}^T\mathrm{DB}+{\mathrm{\λ}}_1{L}^T{\mathrm{\Γ}}^T\mathrm{\Γ})\stackrel{\‾}{m}+{\mathrm{\λ}}_2{A}^T(I-\stackrel{\‾}{S})+{\mathrm{\λ}}_{3}V{\left({\mathrm{\Λ}}^{\frac{1}{2}}\right)}^T{s}^{\′}$

计算μ(R·i_n-P)的值d_n，其中μ是迭代步长。

如果d_n大于较小常量ξ，则利用式子i_n+1＝i_n-μ(R·i_n-P)更新系数变量i，返回上步。

如果d_n小于比较小的常量ξ，则终止迭代，并将

S10：利用

得到超分辨率人脸图像。

下面结合图2描述本发明相对其它超分辨率方法的取得的有益效果：

图2(a)为输入低分辨率图像；2(b)为使用双三次插值方法将测试图像放大8倍得到主观图像；2(c)为传统全局脸人脸超分辨率方法重建图像得到主观图像；2(d)为本发明提到的人脸超分辨率方法重建得到的主观图像；2(e)为原始高分辨率图像。

使用中国人脸数据库CAS-PEAL来做实验，从中选择了310个人脸样本，样本图像分辨率是192×224.用仿射变换对齐人脸。接下来通过对人脸图像样本库手工描取特征点构成人脸形状样本库，每个图像形状由32个特征点组成。从310幅人脸图像样本库中选取10副图像下采样8倍(分辨率为24×28)后加亮度处理、模糊和噪声后做为测试图像(图2(a))，将剩余的300幅图像做为训练样本库；使用双三次插值方法将测试图像放大8倍得到主观图(图2(b))；图2(c)是传统的全局脸人脸超分辨率方法；形状语义模型约束的人脸超分辨率方法得到主观图像如图2(d)；图2(e)是原始高分辨率图像。

从实验结果可知，传统方法结果图像虽然比Cubic方法在分辨率上有所提高，但出现了较严重误差，与原始图像的相似度很低。提出的形状语义模型约束的人脸超分辨率算法结果的质量相比于传统方法和双三次插值方法都有显著的提高。

以上实施例仅供说明本发明之用，而非对本发明的限制，有关技术领域的技术人员，在不脱离本发明的精神和范围的情况下，还可以作出各种变换或变型，因此所有等同的技术方案，都落入本发明的保护范围。

Claims (7)

1.一种基于形状语义模型约束的人脸超分辨率处理方法，其特征在于，包括以下步骤：

①利用仿射变化对齐人脸图像样本库，并构建图像样本库矩阵；

②利用所有样本库图像平均获得平均脸，样本库图像减去平均脸得到残差脸图像；

③通过对样本库人脸图像标记特征点，利用这些特征点的坐标构成向量来表示人脸形状，将所有的形状向量按列构成图像形状样本库矩阵；

④对上述步骤获得的形状样本库矩阵应用主成份分析PCA，得到形状特征空间的特征形状矩阵U，特征向量矩阵V和奇异值矩阵Λ；

⑤利用手工标记输入图像的特征点，特征点的坐标构成输入图像的形状向量I；

⑥根据输入图像的形状向量I，将其投影到样本图像形状PCA子空间U中，获得输入图像形状系数s′，具体计算如：s′＝(UU^T)^-1U^TI；

⑦样本库的所有图像系数向量就构成样本库的图像系数矩阵c′，类似的利用所有的形状系数向量得到形状样本库系数矩阵c，将c′和c连接成一个统一系数矩阵X，

对X应用主成份分析方法获得系数映射矩阵形如

⑧将输入图像上采样后投影到图像PCA子空间上获得的图像初始系数；

⑨利用最速下降法求解代价函数：

$\hat{i}=\arg \min ({\left|\right|Y-\mathrm{DB}(\stackrel{\‾}{m}+L{Q}_{c^{\′}}i)\left|\right|}^2+{\mathrm{\λ}}_1{\left|\right|\mathrm{\Γ}(\stackrel{\‾}{m}+{\mathrm{LQ}}_{c^{\′}}i)\left|\right|}^2+{\mathrm{\λ}}_2{\left|\right|\stackrel{\‾}{S}+{\mathrm{AQ}}_{c}i-I\left|\right|}^2+{\mathrm{\λ}}_3{\left|\right|{\mathrm{\Λ}}^{\frac{1}{2}}{V}^T{Q}_{c}i-s^{\′}\left|\right|}^2)$

其中，Y为低分辨率图像，B是镜头光学模糊矩阵，D是由CCD尺寸决定的下采样矩阵，

为样本库平均人脸图像，L是样本图像减去平均人脸图像的残差，Q_c′是图像系数映射矩阵，Г是拉普拉斯算子，

是形状样本库的平均形状，A是样本形状残差，i是图像系数和形状系数经过变化后的统一向量，它是未知变量，I是输入低分辨率图像的形状，它通过将低分辨率放大后人工标示语义点来获得，Q_c是形状系数映射矩阵，V是A^TA的正交特征向量，

是奇异值对角矩阵，s是输入图像的形状系数，它由输入图像的形状投影到PCA子空间中得到，λ₁，λ₂，λ₃是平衡因子常量，

为优化计算后得到的变量i的估计值，‖·‖为l₂范数操作，argmin(.)表示求函数值最小时自变量的值；

⑩利用下述公式得到超分辨率人脸图像：

$\hat{Z}=\stackrel{\‾}{m}+{\mathrm{LQ}}_{c^{\′}}\hat{i}$

其中，表示最终获得的目标超分辨率人脸图像。

2.根据权利要求1所述的基于形状语义模型约束的人脸超分辨率处理方法，其特征在于，所述步骤①中，对齐人脸图像样本库包括以下子步骤：

对样本图像先框取相同大小的人脸，接着再对人脸进行特征点标注；

用仿射变换的方法把上述特征点对齐，通过对样本库中的高分辨率人脸图像计算出平均脸；

采用直接线性变换方式来解出仿射变换矩阵；

对样本高分辨率图像与变换矩阵乘积，得到新的图像坐标，获得对齐后的样本图像库。

3.根据权利要求1或2所述的基于形状语义模型约束的人脸超分辨率处理方法，其特征在于：

所述步骤⑤中，对输入的人脸图像进行标点，这些点是具有语义信息的特征点，所述特征点以其二维坐标表示，构成一个输入人脸图像形状向量。

4.根据权利要求1或2所述的基于形状语义模型约束的人脸超分辨率处理方法，其特征在于：

所述步骤⑤中的标点必须先使用双三次插值方法方法，放大倍数为样本库图像与输入图像的比例，然后对放大后的图像进行手动标点。

5.根据权利要求1-4中任一项所述的基于形状语义模型约束的人脸超分辨率处理方法，其特征在于：

所述步骤⑦中对X应用PCA方法获得系数映射矩阵，具体包括以下子步骤：

首先获得X的平均系数向量，接着将X的所有列向量都减去平均系数向量得到残差系数向量设其为变量R，设K＝R^TR，R^T表示R的转置，对K求得特征值对角阵D和特征向量矩阵V，将D开根得到奇异值矩阵Λ，利用公式U＝RVΛ^-1最终获得系数映射矩阵U，其中Λ^-1表示Λ的逆，U可以拆分为步骤⑨的代价函数中图像系数映射矩阵Q_c′和形状系数映射矩阵Q_c。

6.根据权利要求1-5中任一项所述的基于形状语义模型约束的人脸超分辨率处理方法，其特征在于：

所述步骤⑧中将输入图像上采样后投影到图像PCA子空间上获得的图像初始系数，其具体过程为：设输入图像上采样后为Y，对图像样本库计算平均脸和残差脸得到步骤⑨的代价函数中

和L，步骤⑨的代价函数中统一系数变量i的初始值

7.根据权利要求6所述的基于形状语义模型约束的人脸超分辨率处理方法，其特征在于：

所述步骤⑨中的代价函数是基于形状语义模型约束构建的，其中i为待求未知变量，λ₁，λ₂，λ₃是人工设定的常量，其余变量由步骤①-⑧获得。

Images