CN103049897A - 一种基于自适应训练库的块域人脸超分辨率重建方法 - Google Patents

Abstract

本发明提供了一种基于自适应训练库的块域人脸超分辨率重建方法。此种新的基于学习的方法，首先将高低分辨率训练图像对统一分块，在以位置为单位的块集合内部进行聚类处理。然后对输入图像的每一个块，在对应位置训练块集上做出自适应选择，根据近邻选择和自适应类别选择，筛选出自适应的训练集，然后在低分辨率块通过在该自适应训练集中做主成分分析系数投影恢复高频细节。以此解决或减轻噪点严重的人脸图像（如监控图像）超分辨率恢复中的噪声问题。

Description

一种基于自适应训练库的块域人脸超分辨率重建方法

技术领域

本发明涉及图像处理（主要是图像恢复）领域，针对低质量监控视频中人脸图像恢复的需求，具体涉及一种基于自适应训练库的块域人脸超分辨率重建方法。

背景技术

近年来，随着安防监控系统的快速发展，监控取证在安全防范、犯罪取证等领域发挥着越来越重要的作用，其中人脸图像取证是监控取证的重要关注点之一。然而由于监控录像中，摄像头与目标人脸距离较远、恶劣天气（雨雾等）、光照条件差等原因引起的严重模糊和噪声，监控录像中捕获的人脸图像可用像素极低，图像的恢复、辨识往往受到严重的阻碍。因此，为减少图像噪声、模糊对辨识的干扰，提升低质量图像分辨率，一般采用人脸超分辨率技术来对低质量人脸图像进行高分辨率恢复。

人脸超分辨率技术顾名思义，就是用技术手段从低分辨率人脸图像中恢复出高分辨率人脸图像。人脸超分辨率技术可以大致分为两类：基于重建的方法和基于学习的方法两类。

人脸超分辨率问题是一个解无穷的问题，因为一幅低质量图像可能对应多幅不同高质量图像。基于重建的方法的主要思想就是希望通过加入先验约束缩小求解范围以获得最优高分辨率人脸图像。而基于学习的方法[1,2,3,4,5]的思想是希望通过统计学习的方法，通过掌握在库的高低分辨率图像对中存在的空间关系，来从低质量的人脸图像恢复出高分辨率的人脸图像。

目前基于学习的方法中，以下几种较具代表性：2004年，Chang[1]等首次将流形学习算法引入到图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构算法。Ce Liu[2]提出一种人脸图像超分辨率重构的两步法，先根据局部保持投影和径向基函数回归得到全局的人脸图像，再由基于局部重建的方法补偿人脸特征的细节信息。2005年，Wang和Tang[3]提出一种基于全局脸的人脸超分辨率方法，通过分别构建高低分辨率子空间，将求得的低分辨率图像在子空间的表达系数投影到高分辨率空间上而获得高分辨率图像。Sung Won Park[4]提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。综上所述，现有的基于学习的经典方法大多仅按照传统的技术思路学习固定人脸库高低分辨率统计关系，通过学习方法的提高改进来提高超分辨率恢复效果。缺乏对训练信息的甄选和约束，以及冗余训练信息的剔除，对训练信息的特定性没有做出较为有效的提高措施。在处理一般人脸超分辨率问题可以得到不错的效果，但是图像质量很低的时候，像素会遭到严重的毁坏混叠，冗余的训练信息会严重干扰超分的恢复结果，效果并不令人满意。

相关文献：

[1]H.Chang,D.-Y.Yeung,and Y. Xiong,“Super-resolution through neighbor embedding,”inProc.IEEE Conf. Comput.Vis.Pattern Recog.,Jul.2004,pp.275–282.

[2]C.Liu,H.Shum,and W. T.Freeman."Face hallucination:Theory and practice".InternationalJournal of Computer Vision,75(1):115–134,2007.

[3]X.Wang and X.Tang.Hallucinating face by eigentrans form.IEEE Transactions on Systems,Man,and Cybernetics,Part C:Applications and Reviews,34(3),pp.425-434,2005.

[4]Sung Won Park,Savvides,M."Breaking the Limitation of Manifold Analysis forSuper-Resolution of Facial Images",ICASS P，pp:573-576,2007.

[5]H.Huang,H.He,X.Fan,and J.Zhang.Super-resolution of human face image using canonicalcorrelation analysis.Pattern Recognition,43(7):2532–2543,2010.

发明内容

本发明的目的在于针对上述现有技术的问题，提供一种鲁棒性的人脸超分辨率重建方法，在监控环境下人脸图像损毁严重时，显著提高人脸恢复图像的视觉感受。

本发明的技术方案为一种基于自适应训练库的块域人脸超分辨率重建方法，包括以下步骤：

步骤1，获得高分辨率人脸图像库Y_s和相应的低分辨率人脸图像库X_s，高分辨率人脸图像库Y_s中所有高分辨率人脸图像位置对齐，低分辨率人脸图像库X_s中的低分辨率人脸图像与高分辨率人脸图像库Y_s中的高分辨率人脸图像一一对应；

步骤2，将高分辨率人脸图像库Y_s中的每幅高分辨率人脸图像和低分辨率人脸图像库X_s中的每幅低分辨率人脸图像分别进行重叠分块；在任一幅图像中，每个图像块所在的位置表示为位置标号(i,j)，i、j分别表示图像块所在位置的行和列；

步骤3，将低分辨率人脸图像库X_s中的所有低分辨率人脸图像处于位置标号为(i,j)的图像块进行聚类处理；

步骤4，对待处理低分辨率人脸图像x与高分辨率人脸图像库Y_s中高分辨率人脸图像的位置对齐，并用步骤2中进行重叠分块的方法对对齐后的待处理低分辨率人脸图像x分块，用x_ij代表待处理低分辨率人脸图像x处于位置标号为(i,j)的图像块；

步骤5，对图像块x_ij，设在低分辨率人脸图像库X_s中的所有低分辨率人脸图像处于位置标号为(i,j)的图像块构成集合S，用类别选择和近邻筛选分别从集合S中取得对应集合A和B，将集合A和B取并集得到图像块x_ij的低分辨率最优相关训练集C，得到与低分辨率最优相关训练集内图像块C对应的高分辨率最优相关训练集C_h；

步骤6，形成图像块x_ij的自适应训练库，包括对低分辨率最优相关训练集C做主成分分析，求得最优低分辨率图像基；对高分辨率最优相关训练集C_h做主成分分析，求得最优高分辨率图像基；

步骤7，基于最优低分辨率图像基和最优高分辨率图像基对图像块x_ij进行块域重建，得到相应高分辨率重建块y_ij；

步骤8，将各位置的高分辨率重建块拼接组合成为重建高分辨率图像y_t。

而且，位置对齐通过仿射变换对齐特征点的方式实现，仿射变换的方法如下，

通过对作为样本的所有高分辨率人脸图像相加除以样本个数计算出平均脸，设（x_i′,y_i′）是平均脸上第i个特征点的坐标，（x_i,y_i）为待对齐的人脸图像上对应的第i个特征点的坐标，设仿射变换矩阵为

$M=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right],$

其中a,b,c,d,e,f是仿射变换系数，公式 $\left\{\begin{array}{c}{x}_i={{\mathrm{ax}}_i}^{\′}+{{\mathrm{by}}_i}^{\′}+c\\ y_i={{\mathrm{dx}}_i}^{\′}+{{\mathrm{ey}}_i}^{\′}+f\end{array}\right.$ 表示（x_i′,y_i′）和（x_i,y_i）存在的关系，采用直接线性变换方式解出仿射变换矩阵M，

接着对待对齐的人脸图像的所有坐标点与仿射变换矩阵M相乘得到对齐之后的人脸图像。

而且，步骤5用类别选择和近邻筛选分别从集合S中取得对应集合A和B，实现方式如下，

所述类别选择，通过从集合S中挑选类别中心与图像块x_ij距离最小的类，然后将该类所有的图像块构成集合A；

所述近邻筛选，通过从集合S中选取欧式距离意义上与图像块x_ij最接近的若干图像块构成子集B。

而且，步骤6所述对低分辨率最优相关训练集做主成分分析，求得最优低分辨率图像基，实现方式如下，

假定低分辨率最优训练集C由N个p×p图像块[c'_1，ij，c'_2，ij，...,c'_N，ij]组成，设其中任一图像块记为c′_n,ij，n的取值为1,2,…N；将c′_n,ij拉成p×p的列向量c_n,ij，得到集合[c_1,ij,c_2,ij,...,c_N,ij]，对低分辨率最优训练集C通过对c_1，ij,c_2，ij，...,c_N,ij取平均求得p×p的列向量均值，记为低分辨率均值c_mean；低分辨率最优训练集C减去c_mean之后，得到低分辨率最优训练集C的残差矩阵

记为表示c′_n，ij减去c_mean所得值；最优低分辨率图像基E由如下公式求得，

$E={\stackrel{\‾}{C}\mathrm{V\Λ}}^{-1/2}$

其中V为矩阵的特征向量矩阵；Λ的主轴线上是V的各个特征列向量对应的特征值，其余元素全部为零，即Λ为矩阵

的特征值矩阵；

步骤6所述对高分辨率最优相关训练集做主成分分析，求得最高低分辨率图像基，实现方式如下，

假定高分辨率最优训练集C_h由N个p×p图像块[c'_h1，ij,c'_h2，ij，...,c'_hN，ij]组成，设其中任一图像块记为c'_hn，ij，n的取值为1,2,…N；将c'_hn，ij拉成p×p的列向量c_hn，ij，得到集合[c_h1，ij，c_h2，ij，...,c_hN，ij]，对高分辨率最优训练集C_h通过对c_h1，ij，c_h2，ij，...,c_hN，ij取平均求得p×p的列向量均值，记为低分辨率均值c_hmean；高分辨率最优训练集C_h减去c_hmean之后，得到高分辨率最优训练集C_h的残差矩阵记为

表示c'_hn，ij减去c_hmean所得值；最优低分辨率图像基E_h由如下公式求得，

$E_h={{\stackrel{\‾}{C}}_h{V}_h{\mathrm{\Λ}}_h}^{-1/2}$

其中V_h为矩阵

的特征向量矩阵；Λ_h的主轴线上是V_h的各个特征列向量对应的特征值，其余元素全部为零，即Λ_h为矩阵

的特征值矩阵。

而且，步骤7所述基于最优低分辨率图像基和最优高分辨率图像基对图像块x_ij进行块域重建，实现方式如下，

计算图像块x_ij在对应最优低分辨率图像基中的表达系数coeff如下，

coeff=E^-1×(x_ij-c_mean)

将表达系数coeff投影到最优高分辨率图像基E_h构成的高维空间中，投影公式如下，

$y_{\mathrm{ij}}={{\stackrel{\‾}{C}}_h\mathrm{V\Λ}}^{-1/2}\×\mathrm{coeff}+c_{\mathrm{hmean}}$

得到相应高分辨率重建块y_ij。

本发明提出一种基于自适应训练库的块域人脸超分辨率重建处理方法，在基于流形的框架内对图像逐块进行自适应训练库形成，对训练信息进行筛选，以求得最精确相关度最高的训练库信息。实验证明本方法低质量人脸恢复结果中，噪声和重影现象在结果中体现程度都有较大的减弱。可以获得不错的主观和客观质量。本发明具有以下优点和积极效果：

1）对于人脸超分辨率技术而言，本方法图像特征的选择和提取过程，对于低质量环境下人脸图像的恢复，在主观质量上可以得到明显的提升。

2）本发明的处理过程具有普适性，对于一般的低质量人脸图像均可以取得较好的恢复效果。特别对于低质量监控环境下的人脸图像，效果更加明显。

附图说明

图1是本发明实施例的流程示意图。

图2是本发明实施例的人脸图像基于位置分块示意图。

图3是是本发明实施例的自适应训练集筛选过程示意图。

具体实施方式

本发明提供的基于自适应训练库的块域人脸超分辨率方法，在基于流形的框架内对图像逐块进行自适应训练库形成，对训练信息进行筛选，以求得最精确相关度最高的训练库信息，从而提升恢复结果的客观质量和相似度。具体实施时，可采用计算机软件技术实现自动运行流畅。

以下以具体实施例结合附图对本发明做进一步说明。

参见图1，实施例包括以下步骤：

S1，获得高分辨率人脸图像库Y_s和相应的低分辨率人脸图像库X_s，高分辨率人脸图像库Y_s中所有高分辨率人脸图像位置对齐，低分辨率人脸图像库X_s中的低分辨率人脸图像与高分辨率人脸图像库Y_s中的高分辨率人脸图像一一对应。

为便于实施参考起见，提供对齐人脸图像的实现方式建议：对所有高分辨率样本图像先框取相同大小的人脸得到高分辨率人脸图像，接着再对高分辨率人脸图像进行特征点标注，特征点如眼角、鼻、嘴角等具有语义的位置，最后再用放射变换的方法把这些特征点对齐。一般可以将眼睛和嘴巴位置对齐。

具体放射变换的方法可实现如下：

通过作为样本的所有高分辨率人脸图像相加除以样本个数计算出平均脸，设（x_i′,y_i′）是平均脸上第i个特征点的坐标，（x_i,y_i）为待对齐的人脸图像（此处为作为样本的所有高分辨率人脸图像）上对应的第i个特征点的坐标，

设仿射变换矩阵为 $M=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right],$ 其中a,b,c,d,e,f是仿射变换系数， $\left\{\begin{array}{c}{x}_i={{\mathrm{ax}}_i}^{\′}+{{\mathrm{by}}_i}^{\′}+c\\ y_i={{\mathrm{dx}}_i}^{\′}+{{\mathrm{ey}}_i}^{\′}+f\end{array}\right.$ 表示他们存在的关系，采用直接线性变换方式便可解出仿射变换矩阵M，接着对作为样本的每幅高分辨率人脸图像的所有坐标点与之相乘便可得到新的图像坐标，由此得到对齐之后的多幅高分辨率人脸图像，构成高分辨率人脸图像库Y_s。

将得到的高分辨率人脸图像库Y_s中每幅高分辨率人脸图像做降质处理（如采用模糊和加噪处理），得到低分辨率人脸图像，获得对应的低分辨率人脸图像库X_s。为了后续方便处理，把低分辨率人脸图像插值成跟高分辨率人脸图像一样规格的图像。高分辨率人脸图像库Y_s中高分辨率人脸图像与低分辨率人脸图像库X_s中低分辨率人脸图像一一对应，构成高低分辨率图像对，得到训练库。

S2，将高分辨率人脸图像库Y_s中的每幅高分辨率人脸图像和低分辨率人脸图像库X_s中的每幅低分辨率人脸图像进行重叠分块。

本发明每幅图像大小相等，重叠分块方式也一致，具体重叠分块可参考现有技术。实施例对图像进行分块的主要依据是局部流形的思想，即人脸图像是一类特殊的图像，这些图像具有特定的结构意义，比如在某个位置上所有的小块都是眼睛、或者某个位置上都是鼻子，也就是说图像中每一个位置的局部小块都处于一个特定的局部几何流形当中。为保证这个局部流形，需要将图像分为若干正方形的小块。块的大小需要有合适尺寸，若分块太大，则会由于微小的对齐问题引起重影现象；若分块太小，会模糊、淡化每个小块的位置特征。此外，还需要选择交叠块的尺寸。因为如果简单的将图像分为不含交叠块的若干正方形小块，那么这些正方形块与块之间会因为不兼容问题出现网格效应。而且人脸图像并不总是正方形，那么交叠块的尺寸选择需要注意使得图像尽可能充分的分块。具体实施时，可根据经验选取适中的大小。

如图2中，实施例用b×b的正方形表示图像块，图像块之间交叠块的宽度记为d，那么每个图像块所在的位置可以表示为位置标号(i,j)：

$\left\{(i,j)\right|i=\mathrm{1,2}...\frac{\mathrm{height}-b}{b-d}.j=\mathrm{1,2}...,\frac{\mathrm{width}-b}{b-d}\}$

其中height和width分别为整幅图像的高和宽。整幅图像分为

个图像块，第i行第j列的图像块所在位置标记为(i,j)。

S3，将低分辨率人脸图像库X_s中的所有低分辨率人脸图像处于位置标号为(i,j)的图像块进行聚类处理。

如图3所示，本步骤进行训练图像块域聚类处理。具体实施时，可对各位置的图像块遍历处理，即 $i=\mathrm{1,2},...,\frac{\mathrm{height}-b}{b-d}.j=\mathrm{1,2},...,\frac{\mathrm{width}-b}{b-d}.$

相同位置标号的图像块即具有相似的流形，成为一个初始集合，然后在各个初始集合内进行聚类处理，每个相同位置标号的初始集合将得到若干的图像块子集。实施例的具体过程为，对低分辨率图像训练集X_s中，同处于位置标号为(i,j)的所有图像块做聚类处理，处理之后得到聚类中心为：

P₁,...P_K表示聚类之后各个小类的标号，K表示类别数。如图3中对低分辨率块进行聚类，得到多个聚类并记为聚类1…聚类n。高分辨率块与低分辨率块一一对应，本发明不另外聚类处理。

S4，对待处理低分辨率人脸图像x与高分辨率人脸图像库Y_s中高分辨率人脸图像的位置对齐，并用S2中进行重叠分块的方法对对齐后的待处理低分辨率人脸图像x分块，用x_ij代表待处理低分辨率人脸图像x处于位置标号为(i,j)的图像块。

对在含噪严重的环境下获得的低分辨率人脸图像需要进行对齐和分块。对于作为输入的低分辨率人脸图像，需要经过剪切出符合统一规定的人脸部分，需经过S1中所述的仿射变换统一对齐（低分辨率人脸图像x作为待对齐的人脸图像，将其中坐标点与仿射变换矩阵M相乘即可），使得库中作为训练用途的人脸高低分辨率图像对和需要处理的低分辨率人脸图像在图像尺寸处于相同的水平上，可将眼睛和嘴巴也位置对齐。然后，将低分辨率人脸输入图像在原本在较暗灯光下的模糊五官信息经过自动亮度对比度的调整，使得其与训练图像中的低分辨率图像处于相近亮度水平。

S5，对图像块x_ij，设在低分辨率人脸图像库X_s中的所有低分辨率人脸图像处于位置标号为(i,j)的图像块构成集合S，用类别选择和近邻筛选分别从集合S中取得对应集合A和B，将集合A和B取并集得到图像块x_ij的低分辨率最优相关训练集C，得到与低分辨率最优相关训练集内图像块C对应的高分辨率最优相关训练集C_h。

本步骤进行块域的自适应训练库形成，所述图像块x_ij的自适应训练库包括高分辨率最优相关训练集和低分辨率最优相关训练集。

该步骤主要包括两部分：块域的类别选择和近邻筛选，两者结果的集合即为块域的实际训练库。该过程的进行完全体现在低分辨率训练库中，待低分辨率训练库训练结束，取所得训练集中低分辨率图像块对应的高分辨率训练块即组成最优训练集。设低分辨率人脸图像库X_s中的所有低分辨率人脸图像任一相同位置的图像块构成集合S。

类别选择主要通过从集合S中挑选类别中心与图像块x_ij距离最小的类，然后将该类所有的训练块构成集合A，如果用n表示各个类别中类别中心与图像块x_ij距离最近的类别标号，

代表(i,j)位置上的聚类编号，那么该过程的公式化表达为：

$n=\underset{n}{\arg \min }{\left|\right|x_{\mathrm{ij}}-{\stackrel{\‾}{z}}_{\mathrm{ijP}}\left|\right|}^2$

而近邻筛选主要通过单一特征域中距离计算，从集合S中选取欧式距离意义上与图像块x_ij最接近的若干块作为近邻子集B。具体过程选取过程可记为 代表集合S中欧氏距离意义上的第k个邻居图像块，K代表邻居图像块个数，w_k表示第k个邻居图像块的权重，k的取值为1,2…K。

按照以上的方法，在低分辨率人脸图像库X_s中即可分别获得图像块x_ij的对应集合A和B，将二者做合并，也就是集合C（C＝A∪B）即为求得的对应x_ij的低分辨率最优相关训练集。将这些低分辨率块对应的高分辨率块组合起来，就组成了对应x_ij的高分辨率最优相关训练集C_h，也就是x_ij特有的高低分辨率训练集对。

S6，形成图像块x_ij的自适应训练库，包括对低分辨率最优相关训练集C做主成分分析，求得最优低分辨率图像基；对高分辨率最优相关训练集C_h做主成分分析，求得最优高分辨率图像基。

实施例将上步骤求得的图像块x_ij对应的低分辨率最优训练集C，采用主成分分析的方法做分析处理，具体过程如下：

假定低分辨率最优训练集C由N个p×p图像块[c'_1，ij，c'_2，ij，...,c'_N，ij]组成，设其中任一图像块记为c'_n，ij，n的取值为1,2,…N。将c'_n，ij拉成p×p的列向量c_n，ij，即可得到集合[c_1，ij，c_2，ij，...,c_N,ij]，那么对低分辨率最优训练集C可通过对c_1，ij，c_2，ij，...,c_N,ij取平均求得p×p的列向量均值，记为低分辨率均值c_mean，低分辨率最优训练集C减去c_mean之后，可得到低分辨率最优训练集C的残差矩阵

记为

表示c′_n，ij减去c_mean所得值，那么最优低分辨率图像基E可由如下公式求得：

$E={\stackrel{\‾}{C}\mathrm{V\Λ}}^{-1/2}$

其中V为矩阵

的特征向量矩阵；Λ的主轴线上是V的各个特征列向量对应的特征值，其余元素全部为零，即Λ为矩阵

的特征值矩阵。

对应E和c_mean的以上求取方式，可对高分辨率最优相关训练集做主成分分析相应求得最优高分辨率图像基E_h以及高分辨率均值c_hmean。

假定高分辨率最优训练集C_h由N个p×p图像块[c'_h1，ij,c'_h2，ij，...,c'_hN，ij]组成，设其中任一图像块记为c'_hn，ij，n的取值为1,2,…N。将c'_hn，ij拉成p×p的列向量c_hn，ij，即可得到集合[c_h1，ij，c_h2，ij，...,c_hN，ij]，那么对高分辨率最优训练集C_h可通过对c_h1，ij，c_h2，ij，...,c_hN，ij取平均求得p×p的列向量均值，记为低分辨率均值c_hmean，高分辨率最优训练集C_h减去c_hmean之后，可得到高分辨率最优训练集C_h的残差矩阵

记为

表示c'_hn，ij减去c_hmean所得值，那么最优低分辨率图像基E_h可由如下公式求得：

$E_h={{\stackrel{\‾}{C}}_h{V}_h{\mathrm{\Λ}}_h}^{-1/2}$

其中V_h为矩阵

的特征向量矩阵；Λ_h的主轴线上是V_h的各个特征列向量对应的特征值，其余元素全部为零，即Λ_h为矩阵

的特征值矩阵。

S7，基于最优低分辨率图像基和最优高分辨率图像基对图像块x_ij进行块域重建，得到相应高分辨率重建块y_ij。

图像块x_ij和相应高分辨率重建块y_ij满足以下关系：

$x_{\mathrm{ij}}={\stackrel{\‾}{C}\mathrm{V\Λ}}^{-1/2}\×\mathrm{coeff}+c_{\mathrm{mean}}$

$y_{\mathrm{ij}}={{\stackrel{\‾}{C}}_h\mathrm{V\Λ}}^{-1/2}\×\mathrm{coeff}+c_{\mathrm{hmean}}$

其中，E_h、E、c_hmean以及c_mean上步已经求出，为已知量，coeff为图像块x_ij在其对应的最优低分辨率图像基中的表达系数，

为

对应的高分辨率残差。所以根据上式，coeff求解方法为：

coeff=E^-1×(x_ij-c_mean)

将coeff投影到最优高分辨率图像基E_h构成的高维空间中，得到y_ij：

$y_{\mathrm{ij}}={{\stackrel{\‾}{C}}_h\mathrm{V\Λ}}^{-1/2}\×\mathrm{coeff}+c_{\mathrm{hmean}}$

即为最终的块估计结果。

S8，根据块域重建结果，将各位置的高分辨率重建块拼接组合成为重建高分辨率图像y_t，拼接方式与重叠划分的方式一致。

下面描述采用本发明实施例相对其他超分辨率方法的取得的有益效果：

使用中国人脸数据库CAS-PEAL来做实验。从中选择了510个人脸样本，样本图像分辨率是224*192，用放射变换对齐人脸。接下来通过对人脸图像样本中选取10幅图像下采样8倍（分辨率为24*28）后加上0.02的高斯噪声后作为测试图像；传统的局部脸人脸超分辨率方法；全局脸方法的结果；[5]的方法这几种方法分别做测试。并与基于轮廓先验的鲁棒性人脸超分辨率处理方法得到主观图像和原始高分辨率图像作对比。

从实验结果可知，传统局部脸方法的结果虽然比插值方法在分辨率上有所提升，但由于噪声分布不均匀出现了较严重的“伤疤”状现象，一定程度上干扰了主观辨识度。传统的全局脸方法由于是全局脸架构，所以在细节恢复上稍逊与本发明方法的结果。的结果和存在相似的问题，结果过于平滑而比更加接近平均脸，细节特征较为微弱，提出的轮廓先验的鲁棒性人脸超分辨率处理方法结果的质量相比于传统方法和双三次插值方法都有显著的提高。

如下表展示了主观测试中各个图像对应的客观质量——PSNR（峰值信噪比）和SSIM（结构相似度），从中可以看出，本发明的方法在恢复图像的客观质量上，也有较为明显的稳定提升。

方法名称	PSNR均值比较	SSIM均值比较
			Bicubic	11.459	0.3155
Lle	18.339	0.4195
			Wang	18.1349	0.4709
Cca	14.62	0.346
			Our method	20.5266	0.5692

使用这样一种鲁棒性的人脸超分辨率方法，通过增强训练库表达能力的鲁棒性，对于监控视频中人脸图像在主观质量上有效地提高了恢复结果的主观质量。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于自适应训练库的块域人脸超分辨率重建方法，其特征在于，包括以下步骤： 

步骤1，获得高分辨率人脸图像库Y_s和相应的低分辨率人脸图像库X_s，高分辨率人脸图像库Y_s中所有高分辨率人脸图像位置对齐，低分辨率人脸图像库X_s中的低分辨率人脸图像与高分辨率人脸图像库Y_s中的高分辨率人脸图像一一对应； 

步骤2，将高分辨率人脸图像库Y_s中的每幅高分辨率人脸图像和低分辨率人脸图像库X_s中的每幅低分辨率人脸图像分别进行重叠分块；在任一幅图像中，每个图像块所在的位置表示为位置标号(i,j)，i、j分别表示图像块所在位置的行和列； 

步骤3，将低分辨率人脸图像库X_s中的所有低分辨率人脸图像处于位置标号为(i,j)的图像块进行聚类处理； 

步骤4，对待处理低分辨率人脸图像x与高分辨率人脸图像库Y_s中高分辨率人脸图像的位置对齐，并用步骤2中进行重叠分块的方法对对齐后的待处理低分辨率人脸图像x分块，用x_ij代表待处理低分辨率人脸图像x处于位置标号为(i,j)的图像块； 

步骤5，对图像块x_ij，设在低分辨率人脸图像库X_s中的所有低分辨率人脸图像处于位置标号为(i,j)的图像块构成集合S，用类别选择和近邻筛选分别从集合S中取得对应集合A和B，将集合A和B取并集得到图像块x_ij的低分辨率最优相关训练集C，得到与低分辨率最优相关训练集内图像块C对应的高分辨率最优相关训练集C_h； 

步骤6，形成图像块x_ij的自适应训练库，包括对低分辨率最优相关训练集C做主成分分析，求得最优低分辨率图像基；对高分辨率最优相关训练集C_h做主成分分析，求得最优高分辨率图像基； 

步骤7，基于最优低分辨率图像基和最优高分辨率图像基对图像块x_ij进行块域重建，得到相应高分辨率重建块y_ij； 

步骤8，将各位置的高分辨率重建块拼接组合成为重建高分辨率图像y_t。 

2.根据权利要求1所述基于自适应训练库的块域人脸超分辨率重建方法，其特征在于：位置对齐通过仿射变换对齐特征点的方式实现，仿射变换的方法如下， 

通过对作为样本的所有高分辨率人脸图像相加除以样本个数计算出平均脸，设（x_i′,y_i′）是平均脸上第i个特征点的坐标，（x_i,y_i）为待对齐的人脸图像上对应的第i个特征点的坐标，设仿射变换矩阵为 

其中a,b,c,d,e,f是仿射变换系数，公式

表示（x_i′,y_i′）和（x_i,y_i）存在的关系，采用直接线性变换方式解出仿射变换矩阵M， 

接着对待对齐的人脸图像的所有坐标点与仿射变换矩阵M相乘得到对齐之后的人脸图像。 

3.根据权利要求2所述基于自适应训练库的块域人脸超分辨率重建方法，其特征在于：步骤5用类别选择和近邻筛选分别从集合S中取得对应集合A和B，实现方式如下， 

所述类别选择，通过从集合S中挑选类别中心与图像块x_ij距离最小的类，然后将该类所有的图像块构成集合A； 

所述近邻筛选，通过从集合S中选取欧式距离意义上与图像块x_ij最接近的若干图像块构成子集B。 

4.根据权利要求3所述基于自适应训练库的块域人脸超分辨率重建方法，其特征在于： 

步骤6所述对低分辨率最优相关训练集做主成分分析，求得最优低分辨率图像基，实现方式如下， 

假定低分辨率最优训练集C由N个p×p图像块[c'_1，ij，c'_2，ij，...,c'_N，ij]组成，设其中任一图像块记为c′_n,ij，n的取值为1,2,…N；将c′_n,ij拉成p×p的列向量c_n,ij，得到集合[c_1,ij,c_2,ij，_....,c_N,ij]，对低分辨率最优训练集C通过对c_1，ij，c_2，ij，...,c_N,ij取平均求得p×p的列向量均值，记为低分辨率均值c_mean；低分辨率最优训练集C减去c_mean之后，得到低分辨率最优训练集C的残差矩阵 

记为表示c′_n，ij减去c_mean所得值；最优低分辨率图像基E由如下公式求得， 

其中V为矩阵

的特征向量矩阵；Λ的主轴线上是V的各个特征列向量对应的特征值，其余元素全部为零，即Λ为矩阵

的特征值矩阵； 

步骤6所述对高分辨率最优相关训练集做主成分分析，求得最高低分辨率图像基，实现方式如下， 

假定高分辨率最优训练集C_h由N个p×p图像块[c'_h1，ij,c'_h2，ij，...,c'_hN，ij]组成，设其中任一图像块记为c'_hn，ij，n的取值为1,2,…N；将c'_hn，ij拉成p×p的列向量c_hn，ij，得到集合[c_h1，ij，c_h2，ij，...,c_hN，ij]，对高分辨率最优训练集C_h通过对c_h1，ij，c_h2，ij，...,c_hN，ij取平均求得p×p的列向量均值，记为低分辨率均值c_hmean；高分辨率最优训练集C_h减去c_hmean之后，得到高分辨率最优训练集C_h的残差矩阵

记为表示c'_hn，ij减去c_hmean所得值；最优低分辨率图像基E_h由如下公式求得， 

其中V_h为矩阵

的特征向量矩阵；Λ_h的主轴线上是X_h的各个特征列向量对应的特征值，其余元素全部为零，即Λ_h为矩阵

的特征值矩阵。 

5.根据权利要求4所述基于自适应训练库的块域人脸超分辨率重建方法，其特征在于：步骤7所述基于最优低分辨率图像基和最优高分辨率图像基对图像块x_ij进行块域重建，实现方式如下， 

计算图像块x_ij在对应最优低分辨率图像基中的表达系数coeff如下， 

coeff=E^-1x(x_ij-c_mean) 

将表达系数coeff投影到最优高分辨率图像基E_h构成的高维空间中，投影公式如下， 

得到相应高分辨率重建块y_ij。

Images