CN102982520A - 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法 - Google Patents

Abstract

本发明提供了一种基于轮廓先验的鲁棒性人脸超分辨率处理方法，在传统的基于流形的超分辨率方法的基础上，同时选择两种对降质过程鲁棒的图像特征，通过将二者良好耦合在（局部嵌入）算法中，同时作为算法过程中图像相似性的判定准则，以此部分解决传统方法不能很好的解决监控成像过程中严重噪声和模糊对单帧人脸图像超分辨率恢复效果缺乏真实性的问题。

Description

一种基于轮廓先验的鲁棒性人脸超分辨率处理方法

技术领域

本发明涉及图像处理（图像恢复）领域，针对低质量监控视频中人脸图像恢复的需求，具体涉及一种基于轮廓先验的鲁棒性人脸超分辨率处理方法。

背景技术

人脸超分辨率技术是通过从已有的低分辨率人脸图像中估计出高分辨率人脸图像。随着监控系统的快速发展，监控系统在刑事侦查行业中，发挥着越来越重要的作用，如安全防范、录像取证和犯罪调查等等。其中人脸图像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于现有条件下，目标物体与摄像头距离相对较远，捕捉到的监控人脸可用像素非常少，像素分辨率非常低，兼之真实情况下由于恶劣天气（雨雾）、光照（过强、过暗、明暗不均）、器件等因素都会对捕获的图像引发的严重损毁（如严重的模糊和噪声），图像恢复、放大和辨识往往受到严重的干扰。这就需要用到人脸超分辨率的技术提升图像分辨率，从低分辨率图像恢复到高分辨率图像。

近年来，流形学习逐渐成为了人脸超分辨率的主流方法。这类方法的核心思想是：描述低分辨率图像的流形空间关系，寻找出每个低分辨率图像数据点周围的局部性质，然后将低分辨率图像的流形非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法。2004年，Chang[1]等首次将流形学习算法引入到图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构算法。CeLiu[2]利用流形学习理论提出一种人脸图像超分辨率重构的两步法，先根据局部保持投影和径向基函数回归得到全局的人脸图像，再由基于局部重建的方法补偿人脸特征的细节信息。SungWon Park[3]提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。综上所述，现有的这些方法大多仅按照传统的技术思路以图像像素值、图像梯度值等单一的差异作为人脸相似度准则和算法基础，在处理一般环境下低质量图像的过程中，可以得到不错的效果，但是图像质量很低的时候，像素会遭到严重的毁坏混叠，用来表示图像的特征因此很容易遭到损坏，用传统方法恢复出来的图像，效果并不令人满意。

2010年，Lan[4]针对监控环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出一种基于形状约束的人脸超分辨率方法，在传统PCA架构中添加形状约束作为相似度度量准则，利用人眼睛识别形状时对干扰的鲁棒性来人工添加形状特征点作为约束，优化低质量图像的重建结果。该方法一定程度上缓解了严重像素损毁对于重建结果的干扰，但是该方法中人工干预获得特征的过程具有较大的偶然性，难以保证恢复结果精确度和稳定性。

[1]H.Chang,D.-Y.Yeung,andY.Xiong,“Super-resolution through neighbor embedding,”in Proc.IEEE Conf. Comput.Vis.Pattern Recog.,Jul.2004,pp.275–282.

[2]C.Liu,H.Shum,and W.T.Freeman."Face hallucination:Theory and practice".InternationalJournal of Computer Vision,75(1):115–134,2007.

[3]Sung Won Park,Savvides,M."Breaking the Limitation of Manifold Analysis forSuper-Resolution ofFacial Images",ICASS P，pp:573-576,2007.

[4]C Lan,R Hu,Z Han,A face super-resolution approach using shape semantic mode regularization.IEEE International Conference on Image Processing(ICIP),2021–2024,26-29Sept.2010.

发明内容

本发明的目的在于针对上述现有技术的问题，提供一种鲁棒性的人脸超分辨率方法，在监控环境下人脸图像损毁严重时，显著提高人脸恢复图像的视觉感受。

本发明的技术方案为一种基于轮廓先验的鲁棒性人脸超分辨率处理方法，包括以下步骤：

步骤1，将高分辨率人脸图像库Y_s中所有高分辨率人脸图像位置对齐，提取与高分辨率人脸图像库Y_s对应的低分辨率人脸图像库X_s和人脸轮廓图像库C_s；

步骤2，将输入的原始低分辨率人脸图像与高分辨率人脸图像库Y_s中高分辨率人脸图像位置对齐，获取待处理的低分辨率人脸图像x_t，提取对应轮廓图像c_t，待估计的对应高分辨率人脸图像记为y_t；

步骤3，将图像分块，所述图像包括高分辨率人脸图像库Y_s、低分辨率人脸图像库X_s、人脸轮廓图像库C_s中的所有图像和低分辨率人脸图像x_t、对应轮廓图像c_t，设高分辨率人脸图像库Y_s、低分辨率人脸图像库X_s和人脸轮廓图像库C_s中的每副图像划分为N_s个图像块，低分辨率人脸图像x_t、对应轮廓图像c_t分别划分为N_t个图像块，N_s=N_t；

步骤4，生成重建系数w_qp，实现方式如下，

设一幅图像中的某图像块标记为p，p的取值为1,2,…N_s；

将低分辨率人脸图像库X_s中某幅低分辨率人脸图像x_s中相同位置的图像块

和人脸轮廓图像库C_s中相应轮廓图像c_s相同位置的图像块

分别拉成列向量后首尾做拼接组合，组成一个新的图像块单元

对低分辨率人脸图像库X_s中所有低分辨率人脸图像中图像块

分别处理得到的图像块单元

构成集合

将低分辨率人脸图像x_t和轮廓图像c_t的相同位置图像块

分别拉成列向量后首尾做拼接组合，组成一个新的图像块单元并记为

对图像块单元

计算出集合

中的前K个欧式空间上最相似的图像块单元

构成近邻集合N；设块集合N中K个图像块单元

的相应权重系数标记为w_qp，q的取值为1,2,…K，通过最小化误差ε'，得到最优的重建系数w_qp，

其中， ${\mathrm{\ϵ}}^{\′}={\left|\right|d_t^{\mathrm{lp}}-\underset{d_s^{\mathrm{lp}}\∈N}{\mathrm{\Σ}}{w}_{\mathrm{qp}}{d}_s^{\mathrm{lp}}\left|\right|}^2$

步骤5，根据重建系数w_qp重建待估高分辨率图像块

得到集合

N′为近邻集合N中每个图像块单元

在高分辨率人脸图像库Y_s中对应的图像块

所构成的集合；

步骤6，将得到的集合

拼接组合得到高分辨率人脸图像y_t。

而且，位置对齐通过仿射变换对齐特征点的方式实现，仿射变换的方法如下，

通过对样本库中的所有高分辨率人脸图像相加除以样本个数计算出平均脸，设x_i′和y_i′是平均脸上第i个特征点的坐标，x_i和y_i为待对齐的人脸图像上对应的第i个特征点的坐标，设仿射矩阵为

$M=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right],$

其中a,b,c,d,e,f是仿射变换系数，公式 $\left\{\begin{array}{c}{x}_i={{\mathrm{ax}}_i}^{\′}{{\mathrm{by}}_i}^{\′}+c\\ y_i={{\mathrm{dx}}_i}^{\′}+{{\mathrm{ey}}_i}^{\′}+c\end{array}\right.$ 表示（x_i′,y_i′）和（x_i,y_i）存在的关系，采用直接线性变换方式解出仿射变换矩阵M，

接着对待对齐的人脸图像的所有坐标点与仿射变换矩阵M相乘得到对齐之后的人脸图像。

而且，对一张待处理图像P，轮廓图像具体获得方式如下，

（1）对待处理图像P采用以下公式进行伽马校正，

$Q(i,j)={(\frac{{255}^{\mathrm{gama}}}{255}\×P(i,j))}^{\frac{1}{\mathrm{gama}}}$

其中，Q(i,j)表示经过伽马处理之后的第i行第j列的像素，P(i,j)表示待处理图像P第i行第j列的像素，gama表示伽马处理的强度；

（2）采用以下公式进行高斯差分处理得到特征F，

F＝fil_gaussion(Q,m)-fil_gaussion(Q,n)

其中，fil_gaussion()表示高斯滤波器，m和n分别表示高斯滤波的强度，且m≤n，F为高斯差分的结果；

（3）对特征F采用以下公式做归一化处理，

$C(i,j)\←\frac{F(i,j)}{{\left(\mathrm{mean}\left({\left|F(i^{\′},j^{\′})\right|}^a\right)\right)}^{\frac{1}{a}}}$

其中，F(i,j)是待处理图像P第i行第j列的像素的特征F，F(i',j')是平均脸上第i行第j列的像素的特征F，C(i,j)是待处理图像P第i行第j列的像素的归一化后特征。

本发明具有以下优点和积极效果：

1）对于人脸超分辨率技术而言，本方法图像特征的选择和提取过程，对于低质量环境下人脸图像的恢复，在主观质量上可以得到明显的提升。

2）本发明的处理过程具有普适性，对于一般的低质量人脸图像均可以取得较好的恢复效果。特别对于低质量监控环境下的人脸图像，效果更加明显。

附图说明

图1是本发明实施例的流程示意图。

图2是本发明实施例的人脸图像基于位置分块示意图。

具体实施方式

本发明提供的基于轮廓先验的鲁棒性人脸超分辨率处理方法，利用轮廓特征的表征能力对像素噪声干扰的鲁棒作用，在基于局部嵌入的人脸超分辨率求解框架中引入人脸轮廓特征，通过增加轮廓图像作为相似度判别准则来减小计算复杂度，提升恢复结果的客观质量和相似度。并且，与已有发明《一种基于形状语义模型约束的人脸超分辨率处理方法》存在差别：一、《一种基于形状语义模型约束的人脸超分辨率处理方法》中方法是基于全局特征的特征脸变换方法。以人脸图像的整体做变换，求得特征脸系数作为表征图像的依据；本发明中的方法是以流形方法中的局部几何特性为依据，以局部嵌入思想为框架，通过重建块的邻居系数作为重建依据。二、《一种基于形状语义模型约束的人脸超分辨率处理方法》中方法是通过表征形状的特征点作为新的特征，与原有的像素特征加以组合；本方法中是采用表征轮廓的轮廓图像块作为新的特征，与原有的像素组合作为新的特征表征人脸。因此，本发明提出的技术方案具有创造性。

轮廓图像的表征能力对像素噪声干扰的鲁棒作用具体是：在图像像素遭受严重损毁时，像素对图像的表征往往存在歧义，即表征人脸不同部位的图像块可能呈现相似的像素值，而轮廓图像在面对这一情况时则表现出较强的鲁棒性。

在基于局部嵌入的人脸超分辨率求解框架中引入轮廓特征具体是：在传统的求解框架中引入轮廓特征正则项作为先验知识对所求的解加以约束，为了约束目标图像的轮廓图像与输入图像的轮廓图像保持全局一致性，以及约束目标图像的像素值与输入图像的像素值保持一致，建立正则项公式如下：

||X-DB(We)||²+C_t-WC_s||²

其中，X表示低分辨率人脸图像，B表示镜头的光学模糊矩阵，D表示由CCD尺寸决定的下采样矩阵，B和D表示图像在采样过程中的降质过程。局部线性嵌入（LLE-LocallyLinearEmbedding）方法是利用低分辨率库对输入低分辨率图像块的线性组合系数，连同线性组合中低分辨率块对应的高分辨率块集，共同恢复出高分辨率图像。其中W表示重建系数。e表示重建过程中低分辨率训练库图像的信息。C_s表示输入图像的轮廓信息，C_t表示在库的低分辨率图像轮廓信息。轮廓信息通过对低分辨率图像做自动提取获得。

所以，总的代价函数为： $\hat{W}=\underset{W}{\arg \min }({\left|\right|X-\mathrm{DB}\left(\mathrm{We}\right)\left|\right|}^2+{\left|\right|C_t-{\mathrm{WC}}_s\left|\right|}^2)$

其中为优化后的重建权重矩阵W的值。argmin（）表示求函数值最小时自变量的值。|| ||²表示l₂范数操作。

在局部线性嵌入方法中，对在低分辨率库每一个图像块的都将其拉直成D×1列向量，组成库信息矩阵，待处理的低分辨率图像对应块拉成列向量。查找近邻的K个列向量，并计算这K个列向量线性表示过程中的权重，须同时满足最小化误差ε，

和

$\underset{x_s^p\∈N_q}{\mathrm{\Σ}}{w}_{\mathrm{qp}}=1.$

权重计算方法如下：

定义格拉姆矩阵G_q：

$G_q={(x_t^q{1}^T-N_q)}^T(x_t^q{1}^T-N_q)$

$w_q=\frac{{G_q}^{-1}1}{1^T{G_q}^{-1}1}$

其中l是由1组成的列向量，x_t为输入的低分辨率图像，

为低分辨率图像x_t在位置q上的图像块。w_qp为

对应的权重。此处N_q是大小为D×K的的K近邻集合。T表示矩阵转置。

那么

可以采用低分辨率人脸图像库X_s中低分辨率块

重建：

将

替换为对应的高分辨率人脸图像库Y_s中高分辨率块

那么得到待估计的高分辨率对应块

$y_t^q=\underset{y_s^p\∈N_q}{\mathrm{\Σ}}{w}_{\mathrm{qp}}{y}_s^p$

以下以具体实施例结合附图对本发明做进一步说明：

本发明提出的基于轮廓先验的鲁棒性人脸超分辨率处理方法，面向极低监控质量的人脸超分辨率方法，对极低监控环境下的低质量人脸图像，采用两种对严重损毁鲁棒的特征加以组合，来表征图像。利用组合特征进行局部嵌入流形方法，选取欧式距离意义上的最近邻子集，线性表征低分辨率输入图像，其表征系数投影到对应高分辨率训练集上，恢复出输入图像的高分辨率对应图像。具体实施时，本发明技术方案可采用计算机软件技术实现自动运行流程。参见图1，实施例包括以下步骤：

S1：获得经过眼睛和嘴巴位置对齐的高分辨率人脸图像库Y_s，以及与其一一对应的低分辨率人脸图像库X_s和人脸轮廓图像库C_s。

实施例先对齐人脸图像样本库，再建立高低分辨率图像对以及轮廓训练库。

为便于实施参考起见，提供对齐人脸图像样本库的实现方式建议：对样本库中的所有高分辨率样本图像先框取相同大小的人脸得到高分辨率人脸图像，接着再对高分辨率人脸图像进行特征点标注，特征点如眼角、鼻、嘴角等具有语义的位置，最后再用放射变换的方法把这些特征点对齐。

放射变换的方法如：通过对样本库中的所有高分辨率人脸图像相加除以样本个数计算出平均脸，设x_i'和y_i'是平均脸上第i个特征点的坐标，x_i和y_i为待对齐的人脸图像（此处为样本库中的高分辨率人脸图像）上对应的第i个特征点的坐标，在平均脸上特征点和相对应样本库中的特征点的条件下，设放射矩阵为

$M=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right],$ 其中a,b,c,d,e,f是仿射变换系数， $\left\{\begin{array}{c}{x}_i={{\mathrm{ax}}_i}^{\′}{{\mathrm{by}}_i}^{\′}+c\\ y_i={{\mathrm{dx}}_i}^{\′}+{{\mathrm{ey}}_i}^{\′}+c\end{array}\right.$ 表示他们存在的关系，采用直接线性变换方式便可解出仿射变换矩阵M，接着对人脸图像样本库中的样本高分辨率图像的所有坐标点与之相乘便可得到新的图像坐标，由此得到对齐之后的高分辨率人脸图像库Y_s。

将得到的高分辨率人脸图像库Y_s做降质处理（如采用模糊和加噪处理），获得对应的低分辨率人脸图像库X_s。高分辨率人脸图像库Y_s中高分辨率人脸图像与低分辨率人脸图像库X_s中低分辨率人脸图像一一对应，构成高低分辨率图像对，得到训练库。然后对低分辨率人脸图像库X_s中所有低分辨率人脸图像分别提取轮廓图像。

对一张待处理图像P（此处为低分辨率人脸图像库X_s中任一低分辨率人脸图像），获取其轮廓图像的步骤如下：

①伽马校正。即对图像进行如下操作：

$Q(i,j)={(\frac{{255}^{\mathrm{gama}}}{255}\×P(i,j))}^{\frac{1}{\mathrm{gama}}}$

Q(i,j)表示经过伽马处理之后的第i行第j列的像素，P(i,j)表示待处理图像P第i行第j列的像素，gama表示伽马处理的强度，取值通常在0到1之间。

②高斯差分处理。高斯滤波器可以使得一幅图像滤去高频信息，生成模糊图像。同一幅图像，通过不同程度滤波可以保留下来图像的边缘等尖锐信息，即保留了高频部分轮廓：

F＝fil_gaussion(Q,m)-fil_gaussion(Q,n)，其中fil_gaussion(,)表示高斯滤波器，m和n分别表示高斯滤波的强度，且m≤n，具体实施时可由用户预设设定。特征F为高斯差分的结果。

③图像归一化。对特征F再做归一化处理。

$C(i,j)\←\frac{F(i,j)}{{\left(\mathrm{mean}\left({\left|F(i^{\′},j^{\′})\right|}^a\right)\right)}^{\frac{1}{a}}}$

这样，F(i,j)是待处理图像P第i行第j列的像素的特征F，F(i',j')是平均脸上第i行第j列的像素的特征F，C(i,j)是待处理图像P第i行第j列的像素的归一化后特征，a表示指数开方数，mean()表示取均值函数。C就是图像P轮廓特征了。

S2：将输入的原始低分辨率人脸图像与高分辨率人脸图像库Y_s中高分辨率人脸图像位置对齐，获取待处理的低分辨率人脸图像x_t，提取对应的对应轮廓图像c_t，待估计的对应高分辨率人脸图像记为y_t。

通常是在含噪严重的环境下获得低分辨率人脸图像。对于作为输入的原始低分辨率人脸图像，一般要经过预处理，包括需要经过剪切出符合统一规定的人脸部分，即框取相同大小的人脸得到低分辨率人脸图像，接着再对低分辨率人脸图像进行特征点标注，最后作为待对齐的人脸图像用仿射变换的方法把特征点对齐，仿射变换的方法实现与步骤S1中一致，可以直接利用S1所得的平均脸。使得作为训练用途的人脸高低分辨率图像对和需要处理的低分辨率人脸图像在图像尺寸、人脸的眉毛高度处于相同的水平上。然后，若采集图像时光线不足，可将位置对齐后的低分辨率人脸图像中在原本在较暗灯光下的模糊五官信息经过自动亮度对比度的调整，使得其与训练图像中的低分辨率图像处于相近亮度水平，即可作为待处理的低分辨率人脸图像x_t。

具体实施时可自动提取出低分辨率人脸图像中的轮廓信息，对低分辨率人脸图像x_t提取轮廓的处理和对低分辨率人脸图像库X_s中任一低分辨率人脸图像提取轮廓的处理实现方式一致，如S1。

S3：将图像分块，所述图像包括高分辨率人脸图像库Y_s、低分辨率人脸图像库X_s、人脸轮廓图像库C_s中的所有图像和低分辨率人脸图像x_t、对应轮廓图像c_t。

将图像分块，用具有交叠部分的一个图像块集来表示每一幅图像。假定每幅图像大小相等，那么分块方式也完全一致。待估计的对应高分辨率人脸图像y_t将通过待处理的低分辨率人脸图像x_t的相应图像块恢复，因此也有相同数量相同大小的图像块，每一幅在库X_s和Y_s的图像中也都有相同数目相同大小的图像块。实施例用

分别表示x_t和y_t、X_s中低高分辨率人脸图像x_s和Y_s中某高分辨率人脸图像y_s的图像块集合。轮廓图像c_t和C_s中某轮廓图像c_s分别的图像块集合为

N_s=N_t分别表示输入图像和在库图像块的数目。

参见图2，对图像进行分块的主要依据是局部流形的思想，即人脸图像是一类特殊的图像，这些图像具有特定的结构意义，比如在某个位置上所有的小块都是眼睛、或者某个位置上都是鼻子，也就是说图像中每一个位置的局部小块都处于一个特定的局部几何流形当中。为保证这个局部流形，需要将图像分为若干正方形的图像块。图像块的大小需要有合适尺寸，若分块太大，则会由于微小的对齐问题引起重影现象；若分块太小，会模糊、淡化每个小块的位置特征。此外，还需要选择图像块之间交叠块的尺寸。因为如果简单的将图像分为不含交叠块的若干正方形小块，那么这些正方形块与块之间会因为不兼容问题出现网格效应。而且人脸图像并不总是正方形，那么交叠块的尺寸选择需要注意使得图像尽可能充分的分块。具体实施时，尺寸可根据经验选取适中的大小。

实施例用b×b的正方形表示图像块，交叠块的尺寸记为d，那么每个图像块所在的位置可以表示为(i,j)：

$(i,j)|i=\mathrm{1,2},...\frac{\mathrm{height}-b}{b-d}.j=\mathrm{1,2},...,\frac{\mathrm{width}-b}{b-d}$

其中height和width分别为整幅图像的高和宽。

S4：生成重建系数w_qp。

将某低分辨率图像的一个图像块和相应轮廓图像中对应位置的图像块的像素块向量分别拉成列向量（即将这两个图像块的像素值方阵，分别依次取出各列向量并首尾拼接，例如从左到右依次取出列向量进行拼接），然后将这两个列向量首尾做拼接组合（这两个列向量的前后位置不限，实际处理时保持拼接方式一致即可），作为新的特征。实施例设一幅图像中的某图像块标记为p，p的取值为1,2,…N_s。将低分辨率人脸图像库X_s中某幅低分辨率人脸图像x_s中相同位置的图像块

和人脸轮廓图像库C_s中相应轮廓图像c_s相同位置的图像块

拼接在一起组成一个新的图像块单元

N_s个图像块单元

可构成集合

对低分辨率人脸图像库X_s中所有低分辨率人脸图像中图像块

分别按此处理得到的图像块单元

构成集合

x_t和c_t的相同位置图像块

分别拉成列向量后首尾做拼接组合，得到一个新的图像块单元并记为

N_s个图像块单元可构成集合

对于集合中的每一个图像块单元

计算出集合

中的前K个欧式空间上最相似的图像块单元

构成近邻集合N。图像块单元

可以通过块集合N中每个图像块单元以及相应权重系数线性表示，设块集合N中K个图像块单元的相应权重系数标记为w_qp，q的取值为1,2,…K。具体实施时，本领域技术人员可以自行设定K的取值，一般为5或8。

$d_t^{\mathrm{lp}}=\underset{d_s^{\mathrm{lp}}\∈N}{\mathrm{\Σ}}{w}_{\mathrm{qp}}{d}_s^{\mathrm{lp}}$

最小化误差ε'， ${\mathrm{\ϵ}}^{\′}={\left|\right|d_t^{\mathrm{lp}}-\underset{d_s^{\mathrm{lp}}\∈N}{\mathrm{\Σ}}{w}_{\mathrm{qp}}{d}_s^{\mathrm{lp}}\left|\right|}^2.$ 得到最优的重建系数w_qp。

S5：根据重建系数w_qp得到待估高分辨率图像块

将重建获得的重建系数w_qp使用到高分辨率人脸图像库当中，也就是，将

中的图像块

替换为高分辨率人脸图像库Y_s中对应的图像块

就得到图像块

的对应待估高分辨率图像块

N′为近邻集合N中每个图像块单元

在高分辨率人脸图像库Y_s中对应的图像块

（K个）所构成集合。

S6：将得到的集合拼接组合得到高分辨率人脸图像y_t。

实施例得到待估图像y_t的各个高分辨率分块

之后，按照分块方法的逆过程拼接还原，即可拼接组合成为完整的人脸图像y_t。

为验证本发明技术效果起见，使用中国人脸数据库CAS-PEAL来做实验。从中选择了510个人脸样本，样本图像分辨率是224*192，用放射变换对齐人脸。接下来通过对人脸图像样本中选取10幅图像下采样8呗（分辨率为24*28）后加上0.02的高斯噪声后作为测试图像，将剩余500幅图像作为训练样本库，使用双三次插值方法将测试图放大8倍得到主观图；分别采用传统的局部脸人脸超分辨率方法、方法Lan[4]得到主观结果；基于轮廓先验的鲁棒性人脸超分辨率处理方法得到主观图像。

从实验结果可知，传统方法的结果虽然比插值方法在分辨率上有所提升，但出现了较严重误差，与原始图像的相似度很低。方法Lan[4]中的结果由于是全局脸架构，基于全局的方法往往具有细节恢复上的短板，所以在这方面稍逊与本发明方法的结果。提出的轮廓先验的鲁棒性人脸超分辨率处理方法结果的质量相比于传统方法和双三次插值方法都有显著的提高。

表1展示了各个图像对应的客观质量，包括PSNR（峰值信噪比）和SSIM值（结构相似性准则）。从表1中可以看出，本发明的方法在恢复图像的客观质量上，也有较为明显的稳定提升。

表1

本发明提出这种新的基于轮廓先验的人脸超分辨率处理方法，通过从原始低分辨率人脸图像中自动提取的鲁棒轮廓特征与原始人脸特征进行组合，对低质量人脸图像进行恢复。实验结果从主观质量到客观质量均证明了本发明的有效性，即鲁棒轮廓先验的引入有效减弱了严重噪声或者轻微不均匀光照对超分辨率重建的影响，自动提取的特征避免了人工干预带来的负面效果（如处理结果不稳定、不精确等问题），从而提升了人脸超分辨率处理结果。本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (3)

1.一种基于轮廓先验的鲁棒性人脸超分辨率处理方法，其特征在于，包括以下步骤：

步骤1，将高分辨率人脸图像库Y_s中所有高分辨率人脸图像位置对齐，提取与高分辨率人脸图像库Y_s对应的低分辨率人脸图像库X_s和人脸轮廓图像库C_s；

步骤2，将输入的原始低分辨率人脸图像与高分辨率人脸图像库Y_s中高分辨率人脸图像位置对齐，获取待处理的低分辨率人脸图像x_t，提取对应轮廓图像c_t，待估计的对应高分辨率人脸图像记为y_t；

步骤3，将图像分块，所述图像包括高分辨率人脸图像库Y_s、低分辨率人脸图像库X_s、人脸轮廓图像库C_s中的所有图像和低分辨率人脸图像x_t、对应轮廓图像c_t，设高分辨率人脸图像库Y_s、低分辨率人脸图像库X_s和人脸轮廓图像库C_s中的每副图像划分为N_s个图像块，低分辨率人脸图像x_t、对应轮廓图像c_t分别划分为N_t个图像块，N_s=N_t；

步骤4，生成重建系数w_qp，实现方式如下，

设一幅图像中的某图像块标记为p，p的取值为1,2,…N_s；

将低分辨率人脸图像库X_s中某幅低分辨率人脸图像x_s中相同位置的图像块

和人脸轮廓图像库C_s中相应轮廓图像c_s相同位置的图像块分别拉成列向量后首尾做拼接组合，组成一个新的图像块单元

对低分辨率人脸图像库X_s中所有低分辨率人脸图像中图像块

分别处理得到的图像块单元构成集合

将低分辨率人脸图像x_t和轮廓图像c_t的相同位置图像块

分别拉成列向量后首尾做拼接组合，组成一个新的图像块单元并记为

对图像块单元

计算出集合中的前K个欧式空间上最相似的图像块单元构成近邻集合N；设块集合N中K个图像块单元

的相应权重系数标记为w_qp，q的取值为1,2,…K，通过最小化误差ε'，得到最优的重建系数w_qp，

其中， ${\mathrm{\ϵ}}^{\′}={\left|\right|d_t^{\mathrm{lp}}-\underset{d_s^{\mathrm{lp}}\∈N}{\mathrm{\Σ}}{w}_{\mathrm{qp}}{d}_s^{\mathrm{lp}}\left|\right|}^2$

步骤5，根据重建系数w_qp重建待估高分辨率图像块

得到集合N′为近邻集合N中每个图像块单元

在高分辨率人脸图像库Y_s中对应的图像块

所构成的集合；

步骤6，将得到的集合

拼接组合得到高分辨率人脸图像y_t。

2.根据权利要求1所述基于轮廓先验的鲁棒性人脸超分辨率处理方法，其特征在于：位置对齐通过仿射变换对齐特征点的方式实现，仿射变换的方法如下，

通过对样本库中的所有高分辨率人脸图像相加除以样本个数计算出平均脸，设x_i′和y_i′是平均脸上第i个特征点的坐标，x_i和y_i为待对齐的人脸图像上对应的第i个特征点的坐标，设仿射矩阵为

$M=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right],$

其中a,b,c,d,e,f是仿射变换系数，公式 $\left\{\begin{array}{c}{x}_i={{\mathrm{ax}}_i}^{\′}{{\mathrm{by}}_i}^{\′}+c\\ y_i={{\mathrm{dx}}_i}^{\′}+{{\mathrm{ey}}_i}^{\′}+c\end{array}\right.$ 表示（x_i′,y_i′）和（x_i,y_i）存在的关系，采用直接线性变换方式解出仿射变换矩阵M，

接着对待对齐的人脸图像的所有坐标点与仿射变换矩阵M相乘得到对齐之后的人脸图像。

3.根据权利要求1或2所述基于轮廓先验的鲁棒性人脸超分辨率处理方法，其特征在于：对一张待处理图像P，轮廓图像具体获得方式如下，

（1）对待处理图像P采用以下公式进行伽马校正，

$Q(i,j)={(\frac{{255}^{\mathrm{gama}}}{255}\×P(i,j))}^{\frac{1}{\mathrm{gama}}}$

其中，Q(i,j)表示经过伽马处理之后的第i行第j列的像素，P(i,j)表示待处理图像P第i行第j列的像素，gama表示伽马处理的强度；

（2）采用以下公式进行高斯差分处理得到特征F，

F＝fil_gaussion(Q,m)-fil_gaussion(Q,n)

其中，fil_gaussion()表示高斯滤波器，m和n分别表示高斯滤波的强度，且m≤n，F为高斯差分的结果；

（3）对特征F采用以下公式做归一化处理，

$C(i,j)\←\frac{F(i,j)}{{\left(\mathrm{mean}\left({\left|F(i^{\′},j^{\′})\right|}^a\right)\right)}^{\frac{1}{a}}}$

其中，F(i,j)是待处理图像P第i行第j列的像素的特征F，F(i',j')是平均脸上第i行第j列的像素的特征F，C(i,j)是待处理图像P第i行第j列的像素的归一化后特征。

Images