CN105701515B - 一种基于双层流形约束的人脸超分辨率处理方法及系统 - Google Patents

Abstract

本发明公开了一种基于双层流形约束的人脸超分辨率处理方法及系统，通过构建训练库；将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块；对待处理低分辨率人脸图像各图像块，在对应位置的低分辨率训练块集合中查找其一层近邻；查找待处理图像块的二层近邻；计算待处理图像块的一层近邻和二层近邻之间，在低分辨率库中的权重系数；计算待处理图像块和一层近邻之间，在低分辨率库中的权重系数；计算出待处理图像块和二层近邻之间的权重系数；将权重投影到高分辨率空间上，获得低分辨率待处理图像的高分辨率图像块；最终拼接高分辨率人脸图像块。本发明可显著提高恢复图像的视觉感受，特别适用于低质量监控环境下人脸图像的恢复。

Description

一种基于双层流形约束的人脸超分辨率处理方法及系统

技术领域

本发明属于图像处理和图像恢复技术领域，具体涉及一种基于双层流形约束的人脸超分辨率处理方法及系统。

背景技术

人脸超分辨率技术是通过辅助训练库，学习高低分辨率对应关系，进而达到从已有的低分辨率人脸图像中估计出高分辨率人脸图像的目的。人脸超分辨率现在被广泛应用于多个领域，其中最具代表性的领域之一就是监控录像中的人脸图像增强。随着监控系统的广泛普及，监控视频在刑事取证和刑侦调查过程中发挥着越来越重要的作用。而人脸图像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于现有条件下，目标嫌疑人与摄像头距离相对较远，捕捉到的监控人脸可用像素非常少，兼之真实情况下由于恶劣天气(例如：雨雾)、光照(例如：光照过强、过暗、明暗不均)、器件等因素对捕获的图像引发的严重损毁(例如：严重的模糊和噪声)，图像恢复、放大和辨识往往受到严重的干扰。这就需要用到人脸超分辨率技术提升图像分辨率，从低分辨率图像恢复到高分辨率图像。

为达到监控视频人脸的有效恢复，改进算法甚至牺牲效率来换取算法的有效性和易用性还是很有必要的(人脸对齐、大图像库引起的)。具体做法除了引入有效计算工具和数据利用形式之外，还可以通过提出新的理论假设及约束模式解决这种问题。

近年来，流形学习逐渐成为了人脸超分辨率的主流方法。这类方法的核心思想是：描述低分辨率图像的流形空间关系，寻找出每个低分辨率图像数据点周围的局部性质，然后将低分辨率图像的流形非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法：2004年，Chang等首次将流形学习法引入图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构法(文献[1])。Sung Won Park提出一种基于局部保持投影的自适应流形学习方法(文献[2])，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。2005年，Wang提出一种基于PCA(Principal component analysis，主成分分析)分解的方法(文献[3])，把低分辨率待处理图像用低分辨率空间的主成分的线性组合表示，投影系数到对应的高分辨率主成分空间获得最终结果。该方法对早上具有较好的鲁棒性，但是仍然在结果图像的边缘存在鬼影、混叠的现象。2010年，Huang提出基于CCA(Canonical Correlation Analysis)的方法(文献[4])，通过将PCA空间延伸至CCA空间，进一步解决了这个问题。同年，Lan针对监控环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出一种基于形状约束的人脸超分辨率方法(文献[5])，在传统PCA架构中添加形状约束作为相似度度量准则，利用人眼睛识别形状时对干扰的鲁棒性来人工添加形状特征点作为约束，优化低质量图像的重建结果。综上所述，现有的这些方法大多仅按照传统的技术思路以图像块本身的子空间信息作为目标学习库进行高低分辨率关系学习，这种一对一的学习过程作为算法基础。只考虑了待处理图像块是处在一个流行空间中的，忽略了所有在库的图像块都是处于流行空间中的情况。因此虽然在处理一般环境下低质量图像的过程中，可以得到不错的效果。但是图像质量很低的时候，像素会遭到严重的毁坏混叠，图像本身的子空间信息因此很容易遭到损坏，用传统方法恢复出来的图像，效果并不令人满意。

[文献1]H.Chang,D.-Y.Yeung,and Y.Xiong,“Super-resolution throughneighbor embedding,”in Proc.IEEE Conf.Comput.Vis.Pattern Recog.,Jul.2004,pp.275–282.

[文献2]Sung Won Park,Savvides,M."Breaking the Limitation of ManifoldAnalysis for Super-Resolution of Facial Images",ICASSP,pp:573-576,2007.

[文献3]Xiaogang Wang and Xiaoou Tang,“Hallucinating face byeigentransformation,”Systems,Man,and Cybernetics,Part C:Applications andReviews,IEEE Transactions on,vol.35,no.3,pp.425–434,2005.

[文献4]Hua Huang,Huiting He,Xin Fan,and JunpingZhang,“Super-resolution of human face image using canonical correlation analysis,”PatternRecognition,vol.43,no.7,pp.2532–2543,2010.”

[文献5]C Lan,R Hu,Z Han,A face super-resolution approach using shapesemantic mode regularization.IEEE International Conference on ImageProcessing(ICIP),2021–2024,26-29Sept.2010.

发明内容

为了解决上述技术问题，本发明提供了一种基于双层流形约束的人脸超分辨率处理方法及系统，尤其适用于低质量监控视频中人脸图像的恢复。

本发明的方法所采用的技术方案是：一种基于双层流形约束的人脸超分辨率处理方法，其特征在于，包括以下步骤：

步骤1：构建训练库，所述训练库包含高分辨率人脸图像库及其对应的低分辨率人脸图像库；

取归一化的清晰人脸图像若干作为高分辨率图像库，将高分辨率图像库经过统一下采样过程得到低分辨率图像库；

步骤2：采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，所述图像块为正方形，其边长为psize；

步骤3：对分块后的待处理低分辨率人脸图像中每一图像块，在对应位置的训练库中低分辨率训练块集合中查找其近邻块，称为直接近邻，或者一层近邻；

步骤4：对分块后的待处理低分辨率人脸图像中每一图像块，查找其二层近邻；其具体实现包括以下子步骤：

步骤4.1：根据高低分辨率对应关系，查找得到低分辨率图像块直接近邻在训练库中高分辨率训练块集合中的对应块；

步骤4.2：然后在高分辨率人脸图像库中，找到这些对应块的近邻，记下标号，称之为二层近邻，或者间接近邻；

步骤4.3：将高分辨率人脸图像库中的二层近邻标号投影到低分辨率人脸图像库中，作为待处理低分辨率图像块的二层近邻；

步骤5：计算待处理低分辨率人脸图像中图像块的一层近邻和二层近邻之间，在低分辨率人脸图像库中的权重系数；

步骤6：计算待处理低分辨率人脸图像中图像块和一层近邻之间，在低分辨率人脸图像库中的权重系数；

步骤7：利用约束公式，计算待处理低分辨率人脸图像中图像块和二层近邻之间的权重；

步骤8：取步骤7中低分辨率二层近邻所对应的高分辨率二层近邻，将步骤7中所获得的权重与高分辨率二层近邻相乘，获得待处理低分辨率人脸图像中的图像块的高分辨率图像块；

步骤9：拼接所有高分辨率人脸图像块，得高分辨率人脸图像。

作为优选，步骤1中所述构建训练库，是将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行降质处理，得对应的低分辨率人脸图像库，高分辨率人脸图像库和低分辨率人脸图像库构成训练库。

作为优选，步骤2中采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，首先使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。

作为优选，所述位置对齐是采用仿射变换法进行位置对齐。

作为优选，步骤3的具体实现过程是，对于待处理低分辨率人脸图像x_in，假设在位置i上的图像块为低分辨率人脸图像库设为X，X上在位置i的所有图像块记为Xⁱ；在Xⁱ上的K1个一层近邻块，K1代表在Xⁱ上的一层近邻块个数，通过和Xⁱ的每一个图像块差值的绝对值一一对比获得，差值绝对值最小的K1个低分辨率图像块，作为的的一层近邻，记为

作为优选，步骤5中所述权重系数是通过一层近邻与二层近邻间绝对值平方距离、RBF距离或高斯距离获得，记作

步骤6中所述权重系数是通过待处理图像块与一层近邻间绝对值平方距离、RBF距离或高斯距离获得，记作

与获取方式相同。

作为优选，步骤7的具体实现过程为，首先建立目标函数：

其中表示待处理图像到之间的权重系数，也是该目标函数的求取目标；表示对进行K2倍的拉伸，K2代表每一个一层近邻元素拥有的二层近邻个数，拉伸多出来的部分是对中原有数值进行复制；a，b，λ，τ表示目标函数的平衡系数，经验值决定，初始值设置为1；d表示对角方阵，对角线的值为到间的欧式距离；

对上述目标函数对求导，得到：

令求得：

将重建系数使用到高分辨率人脸图像库，得到图像块对应的高分辨率图像块 表示近邻集中图像块在高分辨率人脸图像库Y中对应的图像块。

本发明的系统所采用的技术方案是：一种基于双层流形约束的人脸超分辨率处理系统，其特征在于：包括训练库构建模型、分块模块、一层近邻获取模块、二层近邻获取模块、一层近邻和二层近邻的权重系数计算模块、待处理图像块和一层近邻的权重系数计算模块、待处理图像块和二层近邻的权重系数计算模块、高分辨率图像块生成模块、拼接模块；

所述训练库构建模型，用来构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；

所述分块模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分且边长为psize的正方形图像块；

所述一层近邻获取模块，用来对待处理低分辨率人脸图像每一块，在对应位置的低分辨率训练块集合中查找其近邻块；

所述二层近邻获取模块，用来处理低分辨率人脸图像的一层近邻，查找一层近邻的近邻集合；所述二层近邻获取模块进一步包括子模块：

第一子模块，用来低分辨率人脸图像在低分辨率人脸图像库中查找到的一层近邻，将其对应到高分辨率空间中，得到低分辨率人脸图像在高分辨率人脸图像库中的一层近邻；

第二子模块，用来为低分辨率人脸图像在高分辨率人脸图像库中的所有一层近邻，查找在高分辨率人脸图像库中的所有近邻，记下近邻标号，作为低分辨率输入的二层近邻标号；

第三子模块，将高分辨率人脸图像库中的二层近邻标号投影到低分辨率人脸图像库中，作为待处理低分辨率图像块的二层近邻；

所述一层近邻和二层近邻的权重系数计算模块，用来根据获得的一层近邻和二层近邻，获取二层近邻重建一层近邻的权重系数；

所述待处理图像块和一层近邻的权重系数计算模块，用来根据待处理图像块和获得的一层近邻，获取一层近邻重建的待处理图像块权重系数；

所述待处理图像块和二层近邻的权重系数计算模块，用来根据待处理图像块二层近邻重建一层近邻的权重系数一层近邻重建的待处理图像块权重系数获得的一层近邻二层近邻获取待处理图像块和二层近邻的权重系数

所述高分辨率图像块生成模块，用来根据重建系数恢复图像块获得其对应的高分辨率人脸图像块

所述拼接模块，用来根据位置i拼接高分辨率人脸图像块得高分辨率人脸图像。

和现有技术相比，本发明具有以下优点和积极效果：

由于考虑到在库图像块的流形空间作为待处理图像块的二层流形，这种对空间流形约束的加入，使得重建的权重系数能够满足单独流形和多层流形的空间特性，比传统一对一的流形假设相比，对于降质因素具有更强的鲁棒性，对于空间表达具有更强的稳固性和精确性。所以，本发明基于流形的超分辨率方法，引入图像块二次流形空间作为约束，通过对待处理图像块多重表达一致性的有效利用，来解决低质量环境下人脸图像的恢复缺乏真实性的问题，在主观质量上可显著提高恢复图像的视觉感受。

本发明具有普适性，对于一般的低质量人脸图像均可以取得较好的恢复效果；特别对于低质量监控环境下人脸图像的恢复，效果更加明显。

附图说明

图1是本发明实施例的流程示意图；

图2是本发明实施例的人脸图像基于位置分块示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明利用在库图像块的流形空间作为第二层流形，利用待处理图像块的流形空间作为第一次流形，通过流形空间的空间关联提供待处理图像块多重表达的一致性，用一致性约束增强图像块的准确表征和鲁棒性。本发明在基于局部嵌入的传统流形假设的人脸超分辨率算法中引入双层流形假设，通过双层流行假设对于待处理图像块进行多重表达，利用多重表达的一致性作为约束，增强图像块表征的一致性和噪声鲁棒性，提升恢复结果的客观质量和相似度。

本发明面向监控环境下的极低质量人脸图像，采用双层流形假设和一致性约束图像块的表征。具体实施时，本发明技术方案可采用计算机软件技术实现自动运行流程。

请见图1，本发明提供的一种基于双层流形约束的人脸超分辨率处理方法，包括以下步骤：

步骤1：构建训练库，所述训练库包含高分辨率人脸图像库及其对应的低分辨率人脸图像库；

取归一化的清晰人脸图像若干作为高分辨率图像库，将高分辨率图像库经过统一下采样过程得到低分辨率图像库。例如，下采样过程为：依次对高分辨率人脸图像下采样4倍、模糊窗过滤3*3、上采样4倍，得到与高分辨率人脸图像对应的低分辨率人脸图像，从而获得低分辨率人脸图像库。”

将高分辨率人脸图像库Y中高分辨率人脸图像位置对齐，对高分辨率人脸图像进行降质处理得对应的低分辨率人脸图像，从而获得低分辨率人脸图像库X。

具体实施中，首先，将高分辨率人脸图像的眼睛和嘴巴位置对齐；然后，对高分辨率人脸图像依次进行下采样、模糊窗过滤、上采样，得到与高分辨率人脸图像对应的低分辨率人脸图像。

为便于实施参考，下面将提供采用仿射变换法实现人脸图像对齐的具体过程：

对高分辨率人脸图像进行特征点标注，特征点为五官边缘点，例如眼角、鼻尖、嘴角等；然后，采用仿射变换法对齐特征点。

仿射变换法具体为：

将高分辨率人脸图像库Y中所有人脸图像相加并除以样本数，得平均脸。设(x'_i,y'_i)为平均脸上第i个特征点坐标，(x_i,y_i)为待对齐的高分辨率人脸图像上对应的第i个特征点坐标。设仿射矩阵其中a、b、c、d、e、f为仿射变换系数，表示平均脸和待对齐的高分辨率人脸图像上第i个特征点坐标(x'_i,y'_i)和(x_i,y_i)间的关系，采用直接线性变换法求解仿射变换矩阵M。待对齐的高分辨率人脸图像所有坐标点与仿射矩阵M相乘得到的坐标即对齐后的高分辨率人脸图像坐标。

对对齐后的高分辨率人脸图像做降质处理，例如，依次对高分辨率人脸图像下采样4倍、模糊窗过滤3*3、上采样4倍，得到与高分辨率人脸图像对应的低分辨率人脸图像，从而获得低分辨率人脸图像库X。

高分辨率人脸图像库Y和低分辨率人脸图像库X中人脸图像一一对应，构成高低分辨率人脸图像对。高分辨率人脸图像库Y和低分辨率人脸图像库X构成训练库。

使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。

本发明是要对待处理低分辨率人脸图像x_in进行处理，估计出其对应的高分辨率人脸图像，将估计出的高分辨率人脸图像记为待估高分辨率人脸图像y_out。

待处理低分辨率人脸图像x_in通常是在含噪严重环境获得的低分辨率人脸图像。对于作为输入的待处理低分辨率人脸图像，一般要经过预处理，包括剪切出符合统一规定的人脸部分，即将待处理低分辨率人脸图像x_in进行上采样，使其与训练库中人脸图像大小相同。对待处理低分辨率人脸图像x_in进行特征点标注，最后采用步骤S1中记载的仿射变换法使待处理低分辨率人脸图像x_in与平均脸位置对齐。这样，使得训练库中人脸图像和待处理低分辨率人脸图像x_in在尺寸、眉毛高度处于相同的水平。若待处理低分辨率人脸图像x_in采集时光线不足，则可对位置对齐后的待处理低分辨率人脸图像x_in进行自动亮度对比度调整，使其与训练库中低分辨率人脸图像处于相近亮度水平。

步骤2：采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，所述图像块为正方形，其边长为psize；

本步骤中，将训练库中各图像均划分为N个正方形图像块；同时，将待处理低分辨率人脸图像x_in也划分为N个图像块。采用图像块集表示相应的人脸图像，待估高分辨率人脸图像y_out将通过对待处理低分辨率人脸图像x_in的图像块恢复获得。将待处理低分辨率人脸图像x_in、待估高分辨率人脸图像y_out、训练库中低分辨率人脸图像X、训练库中高分辨率人脸图像Y的图像块集分别记为 i表示图像块编号，分别表示待处理低分辨率人脸图像x_in、待估计高分辨率人脸图像y_out、训练库中低分辨率人脸图像x_s、训练库中高分辨率人脸图像y_s中的第i个图像块。

见图2，对人脸图像进行分块的主要依据是局部流形的思想，即人脸图像是一类特殊图像，这些图像具有特定的结构意义，比如在某个位置上所有的小块都是眼睛、或者某个位置上都是鼻子，也就是说图像中每一个位置的局部小块都处于一个特定的局部几何流形当中。为保证这个局部流形，需要将图像分为若干正方形的图像块。图像块的大小需要有合适尺寸，若分块太大，则会由于微小的对齐问题引起重影现象；若分块太小，会模糊、淡化每个小块的位置特征。此外，还需要选择图像块之间交叠块的尺寸。因为如果简单的将图像分为不含交叠块的若干正方形小块，那么这些正方形块与块之间会因为不兼容问题出现网格效应。而且人脸图像并不总是正方形，那么交叠块的尺寸选择需要注意使得图像尽可能充分的分块。

将图像块尺寸记为psize×psize，相邻图像块间交叠部分的宽记为d，将图像块所在位置表示为(j,k)，则有：

其中，height和width分别为人脸图像的高和宽。实施例中，psize取2，d取8。

步骤3：对分块后的待处理低分辨率人脸图像中每一图像块，在对应位置的训练库中低分辨率训练块集合中查找其近邻块，称为直接近邻，或者一层近邻；

对于待处理低分辨率人脸图像x_in，假设在位置i上的图像块为低分辨率人脸图像库设为X，X上在位置i的所有图像块记为Xⁱ；在Xⁱ上的K1个一层近邻块，K1代表在Xⁱ上的一层近邻块个数，通过和Xⁱ的每一个图像块差值的绝对值一一对比获得，差值绝对值最小的K1个低分辨率图像块，作为的的一层近邻，记为

步骤4：对分块后的待处理低分辨率人脸图像中每一图像块，查找其二层近邻；其具体实现包括以下子步骤：

步骤4.1：根据高低分辨率对应关系，查找得到低分辨率图像块直接近邻在训练库中高分辨率训练块集合中的对应块；

步骤4.2：然后在高分辨率人脸图像库中，找到这些对应块的近邻，记下标号，称之为二层近邻，或者间接近邻；

步骤4.3：将高分辨率人脸图像库中的二层近邻标号投影到低分辨率人脸图像库中，作为待处理低分辨率图像块的二层近邻；

步骤5：计算待处理低分辨率人脸图像中图像块的一层近邻和二层近邻之间，在低分辨率人脸图像库中的权重系数；其中权重系数是通过一层近邻与二层近邻间绝对值平方距离、RBF距离或高斯距离获得，记作

步骤6：计算待处理低分辨率人脸图像中图像块和一层近邻之间，在低分辨率人脸图像库中的权重系数；其中权重系数是通过待处理图像块与一层近邻间绝对值平方距离、RBF距离或高斯距离获得，记作且与获取方式相同。

步骤7：利用约束公式，计算待处理低分辨率人脸图像中图像块和二层近邻之间的权重；

首先建立目标函数：

其中表示待处理图像到之间的权重系数，也是该目标函数的求取目标；表示对进行K2倍的拉伸，K2代表每一个一层近邻元素拥有的二层近邻个数，拉伸多出来的部分是对中原有数值进行复制；a，b，λ，τ表示目标函数的平衡系数，经验值决定，初始值设置为1；d表示对角方阵，对角线的值为到间的欧式距离；

对上述目标函数对求导，得到：

令求得：

将重建系数使用到高分辨率人脸图像库，得到图像块对应的高分辨率图像块 表示近邻集中图像块在高分辨率人脸图像库Y中对应的图像块。

步骤8：取步骤7中低分辨率二层近邻所对应的高分辨率二层近邻，将步骤7中所获得的权重与高分辨率二层近邻相乘，获得待处理低分辨率人脸图像中的图像块的高分辨率图像块；

将重建系数使用到高分辨率人脸图像库，得到图像块对应的高分辨率图像块 表示近邻集中图像块在高分辨率人脸图像库Y中对应的图像块。

以此，通过将权重投影到高分辨率空间上，根据重建系数恢复图像块获得其对应的高分辨率人脸图像块

步骤9：拼接所有高分辨率人脸图像块，得高分辨率人脸图像。

为验证本发明技术效果，使用中国人脸数据库CAS-PEAL进行验证。从中选择510个人脸样本，分辨率是112*96，用仿射变换法对齐人脸。从人脸样本中选取40幅图像下采样4倍(分辨率为24*28)后加上0.015的高斯噪声后作为测试图像。将人脸样本剩余图像作为训练库，使用双三次插值方法将测试图像放大4倍得到主观图像；分别采用传统局部脸人脸超分辨率方法(方法1)、[文献4]中的方法Lan(方法2)、[文献5]中的基于轮廓先验的鲁棒性人脸超分辨率处理方法(方法3)得到主观图像。

从实验结果可知，方法1～3虽然比插值方法在分辨率上有所提升，但出现了较严重误差，与原始图像的相似度很低。方法2中的结果由于是全局脸架构，基于全局的方法往往具有细节恢复上的短板，所以在这方面稍逊于本发明方法。本发明方法所恢复图像的质量相比于方法1～3和双三次插值方法都有显著提高。

表1展示了各图像对应的客观质量，包括PSNR(峰值信噪比)和SSIM值(结构相似性准则)。从表1中可以看出，本发明方法在恢复图像的客观质量上，也有较为明显的稳定提升。

表1恢复图像客观质量的对比

	PSNR值	SSIM值
			方法1	20.0699	0.5321
双三次插值法	20.9787	0.5528
			方法2	22.9407	0.7476
方法3	21.8425	0.5596
			本发明方法	23.0412	0.7311

本发明方法通过从原始低分辨率人脸图像中自动提取的大尺度边缘数据与原始尺度的图像特征进行组合，对低质量人脸图像进行恢复。实验结果从主观质量到客观质量均证明了本发明的有效性，即边缘数据的引入有效减弱了严重噪声对超分辨率重建的影响，自动提取的特征避免了人工干预带来的负面效果(如处理结果不稳定、不精确等问题)，从而提升了人脸超分辨率处理结果。

本发明还提供了一种基于双层流形约束的人脸超分辨率处理系统，包括训练库构建模型、分块模块、一层近邻获取模块、二层近邻获取模块、一层近邻和二层近邻的权重系数计算模块、待处理图像块和一层近邻的权重系数计算模块、待处理图像块和二层近邻的权重系数计算模块、高分辨率图像块生成模块、拼接模块；

所述训练库构建模型，用来构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；

所述分块模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分且边长为psize的正方形图像块；

所述一层近邻获取模块，用来对待处理低分辨率人脸图像每一块，在对应位置的低分辨率训练块集合中查找其近邻块；

所述二层近邻获取模块，用来处理低分辨率人脸图像的一层近邻，查找一层近邻的近邻集合；所述二层近邻获取模块进一步包括子模块：

第一子模块，用来低分辨率人脸图像在低分辨率人脸图像库中查找到的一层近邻，将其对应到高分辨率空间中，得到低分辨率人脸图像在高分辨率人脸图像库中的一层近邻；

第二子模块，用来为低分辨率人脸图像在高分辨率人脸图像库中的所有一层近邻，查找在高分辨率人脸图像库中的所有近邻，记下近邻标号，作为低分辨率输入的二层近邻标号；

第三子模块，将高分辨率人脸图像库中的二层近邻标号投影到低分辨率人脸图像库中，作为待处理低分辨率图像块的二层近邻；

所述一层近邻和二层近邻的权重系数计算模块，用来根据获得的一层近邻和二层近邻，获取二层近邻重建一层近邻的权重系数；

所述待处理图像块和一层近邻的权重系数计算模块，用来根据待处理图像块和获得的一层近邻，获取一层近邻重建的待处理图像块权重系数；

所述待处理图像块和二层近邻的权重系数计算模块，用来根据待处理图像块二层近邻重建一层近邻的权重系数一层近邻重建的待处理图像块权重系数获得的一层近邻二层近邻获取待处理图像块和二层近邻的权重系数

所述高分辨率图像块生成模块，用来根据重建系数恢复图像块获得其对应的高分辨率人脸图像块

所述拼接模块，用来根据位置i拼接高分辨率人脸图像块得高分辨率人脸图像。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于双层流形约束的人脸超分辨率处理方法，其特征在于，包括以下步骤：

步骤1：构建训练库，所述训练库包含高分辨率人脸图像库及其对应的低分辨率人脸图像库；

取归一化的清晰人脸图像若干作为高分辨率图像库，将高分辨率图像库经过统一下采样过程得到低分辨率图像库；

步骤2：采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，所述图像块为正方形，其边长为psize；

步骤3：对分块后的待处理低分辨率人脸图像中每一图像块，在对应位置的训练库中低分辨率训练块集合中查找其近邻块，称为直接近邻，或者一层近邻；

步骤4：对分块后的待处理低分辨率人脸图像中每一图像块，查找其二层近邻；其具体实现包括以下子步骤：

步骤4.1：根据高低分辨率对应关系，查找得到低分辨率图像块直接近邻在训练库中高分辨率训练块集合中的对应块；

步骤4.2：然后在高分辨率人脸图像库中，找到这些对应块的近邻，记下标号，称之为二层近邻，或者间接近邻；

步骤4.3：将高分辨率人脸图像库中的二层近邻标号投影到低分辨率人脸图像库中，作为待处理低分辨率图像块的二层近邻；

步骤5：计算待处理低分辨率人脸图像中图像块的一层近邻和二层近邻之间，在低分辨率人脸图像库中的权重系数；

步骤6：计算待处理低分辨率人脸图像中图像块和一层近邻之间，在低分辨率人脸图像库中的权重系数；

步骤7：利用约束公式，计算待处理低分辨率人脸图像中图像块和二层近邻之间的权重；

步骤8：取步骤7中低分辨率二层近邻所对应的高分辨率二层近邻，将步骤7中所获得的权重与高分辨率二层近邻相乘，获得待处理低分辨率人脸图像中的图像块的高分辨率图像块；

步骤9：拼接所有高分辨率人脸图像块，得高分辨率人脸图像。

2.根据权利要求1所述的基于双层流形约束的人脸超分辨率处理方法，其特征在于：步骤1中所述构建训练库，是将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行降质处理，得对应的低分辨率人脸图像库，高分辨率人脸图像库和低分辨率人脸图像库构成训练库。

3.根据权利要求1所述的基于双层流形约束的人脸超分辨率处理方法，其特征在于：步骤2中采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，首先使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。

4.根据权利要求2或3所述的基于双层流形约束的人脸超分辨率处理方法，其特征在于：所述位置对齐是采用仿射变换法进行位置对齐。

5.根据权利要求1所述的基于双层流形约束的人脸超分辨率处理方法，其特征在于：步骤3的具体实现过程是，对于待处理低分辨率人脸图像x_in，假设在位置i上的图像块为低分辨率人脸图像库设为X，X上在位置i的所有图像块记为Xⁱ；在Xⁱ上的K1个一层近邻块，K1代表在Xⁱ上的一层近邻块个数，通过和Xⁱ的每一个图像块差值的绝对值一一对比获得，差值绝对值最小的K1个低分辨率图像块，作为的的一层近邻，记为

6.根据权利要求5所述的基于双层流形约束的人脸超分辨率处理方法，其特征在于：

步骤5中所述权重系数是通过一层近邻与二层近邻间绝对值平方距离、RBF距离或高斯距离获得，记作

步骤6中所述权重系数是通过待处理图像块与一层近邻间绝对值平方距离、RBF距离或高斯距离获得，记作

与获取方式相同。

7.根据权利要求6所述的基于双层流形约束的人脸超分辨率处理方法，其特征在于：步骤7的具体实现过程为，首先建立目标函数：

其中表示待处理图像到之间的权重系数，也是该目标函数的求取目标；

表示对进行K2倍的拉伸，K2代表每一个一层近邻元素拥有的二层近邻个数，拉伸多出来的部分是对中原有数值进行复制；a，b，λ，τ表示目标函数的平衡系数，经验值决定，初始值设置为1；d表示对角方阵，对角线的值为到间的欧式距离；

对上述目标函数对求导，得到：

令求得：

将重建系数使用到高分辨率人脸图像库，得到图像块对应的高分辨率图像块 表示近邻集中图像块在高分辨率人脸图像库Y中对应的图像块。

8.一种基于双层流形约束的人脸超分辨率处理系统，其特征在于：包括训练库构建模型、分块模块、一层近邻获取模块、二层近邻获取模块、一层近邻和二层近邻的权重系数计算模块、待处理图像块和一层近邻的权重系数计算模块、待处理图像块和二层近邻的权重系数计算模块、高分辨率图像块生成模块、拼接模块；

所述训练库构建模型，用来构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；

所述分块模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分且边长为psize的正方形图像块；

所述一层近邻获取模块，用来对待处理低分辨率人脸图像每一块，在对应位置的低分辨率训练块集合中查找其近邻块；

所述二层近邻获取模块，用来处理低分辨率人脸图像的一层近邻，查找一层近邻的近邻集合；所述二层近邻获取模块进一步包括子模块：

第一子模块，用来低分辨率人脸图像在低分辨率人脸图像库中查找到的一层近邻，将其对应到高分辨率空间中，得到低分辨率人脸图像在高分辨率人脸图像库中的一层近邻；

第二子模块，用来为低分辨率人脸图像在高分辨率人脸图像库中的所有一层近邻，查找在高分辨率人脸图像库中的所有近邻，记下近邻标号，作为低分辨率输入的二层近邻标号；

第三子模块，将高分辨率人脸图像库中的二层近邻标号投影到低分辨率人脸图像库中，作为待处理低分辨率图像块的二层近邻；

所述一层近邻和二层近邻的权重系数计算模块，用来根据获得的一层近邻和二层近邻，获取二层近邻重建一层近邻的权重系数；

所述待处理图像块和一层近邻的权重系数计算模块，用来根据待处理图像块和获得的一层近邻，获取一层近邻重建的待处理图像块权重系数；

所述待处理图像块和二层近邻的权重系数计算模块，用来根据待处理图像块二层近邻重建一层近邻的权重系数一层近邻重建的待处理图像块权重系数获得的一层近邻二层近邻获取待处理图像块和二层近邻的权重系数

所述高分辨率图像块生成模块，用来根据重建系数恢复图像块获得其对应的高分辨率人脸图像块

所述拼接模块，用来根据位置i拼接高分辨率人脸图像块得高分辨率人脸图像。