CN105405097A - 基于反向流形约束的鲁棒性人脸超分辨率处理方法及系统 - Google Patents

Abstract

本发明公开了一种基于反向流形约束的鲁棒性人脸超分辨率处理方法及系统，包括：S1：构建训练库；S2：将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块；S3：逐一建立训练库中各高分辨率图像块的局部流行空间；S4：逐一建立各待处理图像块的高分辨率局部流行空间和低分辨率局部流行空间，并构建各待处理图像块的投影矩阵；S5：采用投影矩阵恢复对应的待处理图像块，获得待估图像块；S6：拼接待估图像块得待估高分辨率人脸图像。本发明采用高分辨率局部流形空间的距离度量来决定低分辨率局部流形空间，对于低质量环境下人脸图像的恢复，在主观质量上可以得到明显的提升，尤其适用于监控环境下损毁严重的人脸图像恢复。

Description

基于反向流形约束的鲁棒性人脸超分辨率处理方法及系统

技术领域

本发明涉及图像处理和图像恢复技术领域，具体涉及一种基于反向流形约束的鲁棒性人脸超分辨率处理方法及系统。

背景技术

人脸超分辨率技术是通过辅助训练库，学习高低分辨率对应关系，进而达到从已有的低分辨率人脸图像中估计出高分辨率人脸图像的目的。人脸超分辨率现在被广泛应用于多个领域，其中最具代表性的领域之一就是监控录像中的人脸图像增强。随着监控系统的广泛普及，监控视频在刑事取证和刑侦调查过程中发挥着越来越重要的作用。而人脸图像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于现有条件下，目标嫌疑人与摄像头距离相对较远，捕捉到的监控人脸可用像素非常少，兼之真实情况下由于恶劣天气(例如：雨雾)、光照(例如：光照过强、过暗、明暗不均)、器件等因素对捕获的图像引发的严重损毁(例如：严重的模糊和噪声)，图像恢复、放大和辨识往往受到严重的干扰。这就需要用到人脸超分辨率技术提升图像分辨率，从低分辨率图像恢复到高分辨率图像。

近年来，流形学习逐渐成为了人脸超分辨率的主流方法。这类方法的核心思想是：描述低分辨率图像的流形空间关系，寻找出每个低分辨率图像数据点周围的局部性质，然后将低分辨率图像的流形非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法：2004年，Chang^[1]等首次将流形学习法引入图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构法。SungWonPark^[2]提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。2005年，Wang^[3]提出一种基于PCA(Principalcomponentanalysis，主成分分析)分解的方法，把低分辨率待处理图像用低分辨率空间的主成分的线性组合表示，投影系数到对应的高分辨率主成分空间获得最终结果。该方法对噪声具有较好的鲁棒性，但是仍然在结果图像的边缘存在鬼影、混叠的现象。2014年，Dong^[4]提出基于局部特征分解的人脸超分辨率方法，通过局部空间采用主成分分析的方法，将全局空间的结果分解到，间延伸至CCA空间，进一步解决了这个问题。同年，Lan^[5]针对监控环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出在传统PCA架构中添加形状约束作为相似度度量准则，利用人眼睛识别形状时对干扰的鲁棒性来人工添加形状特征点作为约束。

综上所述，现有的这些流形方法大多仅按照传统的技术思路以低分辨率空间的信息为基础，而相比较高分辨率空间而言，低分辨率空间的建立本身已经丢失了非常多的信息，缺乏针对性的筛选和有效约束。因此恢复出的图像包含有较多的信息偏差，当待处理图像含有较严重的毁坏混叠时，图像恢复效果并不令人满意。

文中涉及如下参考文献：

[1]H.Chang,D.-Y.Yeung,andY.Xiong,“Super-resolutionthroughneighborembedding,”inProc.IEEEConf.Comput.Vis.PatternRecog.,Jul.2004,pp.275–282.

[2]SungWonPark,Savvides,M."BreakingtheLimitationofManifoldAnalysisforSuper-ResolutionofFacialImages",ICASSP,pp:573-576,2007.

[3]XiaogangWangandXiaoouTang,“Hallucinatingfacebyeigentransformation,”Systems,Man,andCybernetics,PartC:ApplicationsandReviews,IEEETransactionson,vol.35,no.3,pp.425–434,2005.

[4]XiaohuiDong,RuiminHu,JunjunJiang,ZhenHan,LiangChen,andGeGao,NoiseFaceImageHallucinationviaData-DrivenLocalEigentransformation,SpringerInternationalPublishing,2014.

[5]CLan,RHu,ZHan,Afacesuper-resolutionapproachusingshapesemanticmoderegularization.IEEEInternationalConferenceonImageProcessing(ICIP),2021–2024,26-29Sept.2010.

发明内容

针对现有技术存在的问题，本发明提供了一种基于反向流形约束的鲁棒性人脸超分辨率处理方法及系统，尤其适用于损毁严重的人脸图像恢复。

为了解决上述技术问题，本发明采用如下的技术方案：

一、一种基于反向流形约束的鲁棒性人脸超分辨率处理方法，包括：

S1构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；

S2采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的正方形图像块；划分待处理低分辨率人脸图像所得图像块称为待处理图像块，划分训练库中高分辨率人脸图像和低分辨率人脸图像所得图像块分别称为高分辨率图像块和低分辨率图像块；对高分辨率图像块和低分辨率图像块分别编号，并使高分辨率图像块和其对应的低分辨率图像块编号相同；

S3在训练库中找寻各高分辨率图像块在欧式空间的K近邻高分辨率图像块，该K近邻高分辨率图像块的编号集为得对应的低分辨率图像块的高分辨率局部流行空间和低分辨率局部流行空间K为经验值，p_l表示高分辨率图像块和低分辨率图像块的编号；

S4在训练库中找寻各待处理图像块在欧式空间的K'近邻低分辨率图像块，各K'近邻低分辨率图像块的高分辨率局部流行空间和低分辨率局部流行空间构成的局部流行空间，根据的局部流行空间构建投影矩阵；K'为经验值，与K相等或不相等；

S5：采用投影矩阵恢复对应的待处理图像块，获得待估图像块；

S6：拼接待估图像块得待估高分辨率人脸图像。

S1具体为：

将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行降质处理，得对应的低分辨率人脸图像库，高分辨率人脸图像库和低分辨率人脸图像库构成训练库；

同时，在S2之前，使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。

所述的位置对齐采用仿射变换法将进行位置对齐。

S5中所获得待估图像块其中，表示待处理图像块，M_p表示的投影矩阵。

二、一种基于反向流形约束的鲁棒性人脸超分辨率处理系统，包括：

训练库构建模块，用来构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；

图像块划分模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的正方形图像块；划分待处理低分辨率人脸图像所得图像块称为待处理图像块，划分训练库中高分辨率人脸图像和低分辨率人脸图像所得图像块分别称为高分辨率图像块和低分辨率图像块；对高分辨率图像块和低分辨率图像块分别编号，并使高分辨率图像块和其对应的低分辨率图像块编号相同；

局部流行空间建立模块，用来在训练库中找寻各高分辨率图像块在欧式空间的K近邻高分辨率图像块，该K近邻高分辨率图像块的编号集为得对应的低分辨率图像块的高分辨率局部流行空间和低分辨率局部流行空间K为经验值，p_l表示高分辨率图像块和低分辨率图像块的编号；

投影矩阵构建模块，用来在训练库中找寻各待处理图像块在欧式空间的K'近邻低分辨率图像块，各K'近邻低分辨率图像块的高分辨率局部流行空间和低分辨率局部流行空间构成的局部流行空间，根据的局部流行空间构建投影矩阵；K'为经验值，与K相等或不相等；

图像块恢复模块，用来采用投影矩阵恢复对应的待处理图像块，获得待估图像块；

图像块拼接模块，用来拼接待估图像块得待估高分辨率人脸图像。

传统流形方法大多以低分辨率流行空间信息为基础，因此丢失了非常多的信息，缺乏针对性的筛选和有效约束，恢复出的图像存在信息偏差。当待处理图像含有严重的毁坏混叠时，图像恢复效果并不令人满意。本发明采用反向流形约束，利用高分辨率流形间信息比较丰富，约束更加有效的特点，将流形空间的决定过程放在高分辨率条件下，以此约束图像块超分辨率重建过程，以获得更好的效果。

和现有技术相比，本发明具有以下优点和积极效果：

(1)本发明采用高分辨率局部流形空间的距离度量来决定低分辨率局部流形空间，对于低质量环境下人脸图像的恢复，在主观质量上可以得到明显的提升。

(2)本发明具有普适性，对于一般的低质量人脸图像均可以取得较好的恢复效果；尤其适用于监控环境下损毁严重的人脸图像恢复，恢复效果尤其显著。

附图说明

图1是本发明实施例的流程示意图；

图2是本发明实施例的人脸图像基于位置分块示意图。

具体实施方式

不同于传统方法中流形约束从低分辨率空间到高分辨率空间的方向，本发明采用反向流形约束，即高分辨率空间的流形结构约束低分辨率空间的流形结构，由于高分辨率流形空间信息更加丰富，反向流形约束更加有效。将流形空间的决定过程放在高分辨率条件下，以此约束图像块超分辨率重建过程，以获得更好的效果。

不同于传统方法为每一个待处理图像建立低分辨率空间、再解决空间建立导致的不准确问题。本发明准备一个准确的高分辨率数据点建立的流形空间库，为待处理低分辨率图像块选择准确的流形空间库。在极低质量的图像中(例如，含有严重噪声和干扰的图像)，采用高分辨率环境下获得的流形空间，可防止出现不相似的图像块被划归在同一流形空间的问题。因此，本发明引入反向流形约束，提升图像恢复结果的客观质量和相似度。

下面将结合具体实施例和附图对本发明做进一步说明。

本发明面向监控环境下的极低质量人脸图像，采用高分辨率图像库中预先处理过的局部流形空间。对于待处理图像中各图像块，查找其低分辨率空间最近的在库数据点，选取该数据点对应的高分辨率空间流形结构，作为待处理图像块的流形空间。接下来通过构建局部流形空间的投影矩阵，从待处理图像块获取目标高分辨率图像块。

具体实施时，本发明技术方案可采用计算机软件技术实现自动运行流程。

参见图1，本发明具体步骤如下：

S1：将高分辨率人脸图像库Y_s中高分辨率人脸图像位置对齐，对高分辨率人脸图像进行降质处理得对应的低分辨率人脸图像，从而获得低分辨率人脸图像库X_s。

具体实施中，首先，将高分辨率人脸图像的眼睛和嘴巴位置对齐；然后，对高分辨率人脸图像依次进行下采样、模糊窗过滤、上采样，得到与高分辨率人脸图像对应的低分辨率人脸图像。

为便于实施参考，下面将提供采用仿射变换法实现人脸图像对齐的具体过程：

对高分辨率人脸图像进行特征点标注，特征点为五官边缘点，例如眼角、鼻尖、嘴角等；然后，采用仿射变换法对齐特征点。

仿射变换法具体为：

将高分辨率人脸图像库Y_s中所有人脸图像相加并除以样本数，得平均脸。设(x'_i,y'_i)为平均脸上第i个特征点坐标，(x_i,y_i)为待对齐的高分辨率人脸图像上对应的第i个特征点坐标。设仿射矩阵 $M=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right],$ 其中a、b、c、d、e、f为仿射变换系数， $\left\{\begin{array}{c}{x}_i=a{x_i}^{\′}+b{y_i}^{\′}+c\\ y_i=d{x_i}^{\′}+e{y_i}^{\′}+f\end{array}\right.$ 表示平均脸和待对齐的高分辨率人脸图像上第i个特征点坐标(x'_i,y'_i)和(x_i,y_i)间的关系，采用直接线性变换法求解仿射变换矩阵M。待对齐的高分辨率人脸图像所有坐标点与仿射矩阵M相乘得到的坐标即对齐后的高分辨率人脸图像坐标。

对对齐后的高分辨率人脸图像做降质处理，例如，依次对高分辨率人脸图像下采样4倍、模糊窗过滤3*3、上采样4倍，得到与高分辨率人脸图像对应的低分辨率人脸图像，从而获得低分辨率人脸图像库X_s。

高分辨率人脸图像库Y_s和低分辨率人脸图像库X_s中人脸图像一一对应，构成高低分辨率人脸图像对。高分辨率人脸图像库Y_s和低分辨率人脸图像库X_s构成训练库。

S2：使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。

本发明是要对待处理低分辨率人脸图像x_t进行处理，估计出其对应的高分辨率人脸图像，将估计出的高分辨率人脸图像记为待估高分辨率人脸图像y_t。

待处理低分辨率人脸图像x_t通常是在含噪严重环境获得的低分辨率人脸图像。对于作为输入的待处理低分辨率人脸图像，一般要经过预处理，包括剪切出符合统一规定的人脸部分，即将待处理低分辨率人脸图像x_t进行上采样，使其与训练库中人脸图像大小相同。对待处理低分辨率人脸图像x_t进行特征点标注，最后采用步骤S1中记载的仿射变换法使待处理低分辨率人脸图像x_t与平均脸位置对齐。这样，使得训练库中人脸图像和待处理低分辨率人脸图像x_t在尺寸、眉毛高度处于相同的水平。若待处理低分辨率人脸图像x_t采集时光线不足，则可对位置对齐后的待处理低分辨率人脸图像x_t进行自动亮度对比度调整，使其与训练库中低分辨率人脸图像处于相近亮度水平。

S3：采用相同的分块方式将待处理低分辨率人脸图像、训练库中图像划分为具交叠部分的正方形图像块。

本步骤中，将训练库中各图像均划分为N个正方形图像块；同时，将待处理低分辨率人脸图像x_t也划分为N个图像块。采用图像块集表示相应的人脸图像，待估高分辨率人脸图像y_t将通过对待处理低分辨率人脸图像x_t的图像块恢复获得。将待处理低分辨率人脸图像x_t、待估高分辨率人脸图像y_t、训练库中低分辨率人脸图像x_s、训练库中高分辨率人脸图像y_s的图像块集分别记为p表示图像块编号，分别表示待处理低分辨率人脸图像x_t、待估计高分辨率人脸图像y_t、训练库中低分辨率人脸图像x_s、训练库中高分辨率人脸图像y_s中第p个图像块。

见图2，对人脸图像进行分块的主要依据是局部流形的思想，即人脸图像是一类特殊图像，这些图像具有特定的结构意义，比如在某个位置上所有的小块都是眼睛、或者某个位置上都是鼻子，也就是说图像中每一个位置的局部小块都处于一个特定的局部几何流形当中。为保证这个局部流形，需要将图像分为若干正方形的图像块。图像块的大小需要有合适尺寸，若分块太大，则会由于微小的对齐问题引起重影现象；若分块太小，会模糊、淡化每个小块的位置特征。此外，还需要选择图像块之间交叠块的尺寸。因为如果简单的将图像分为不含交叠块的若干正方形小块，那么这些正方形块与块之间会因为不兼容问题出现网格效应。而且人脸图像并不总是正方形，那么交叠块的尺寸选择需要注意使得图像尽可能充分的分块。具体实施时，尺寸可根据经验选取适中的大小，图像块边长psize优选为6～36，交叠部分宽d优选为4～28，且d＜psize。

将图像块尺寸记为psize×psize，相邻图像块间交叠部分的宽记为d，将图像块所在位置表示为(m,k)，则有：

$(m,k)|m=1,2,...,\frac{height-b}{psize-d};k=1,2,...,\frac{width-b}{psize-d}---\left(1\right)$

其中，height和width分别为人脸图像的高和宽。实施例中，psize取2，d取8。

下文中，将待处理低分辨率人脸图像划分的图像块记为待处理图像块，训练库中高分辨率人脸图像划分的图像块记为高分辨率图像块，训练库中低分辨率人脸图像划分的图像块记为低分辨率图像块。

图像块划分后，对训练库中高分辨率图像块和低分辨率图像块分别进行编号，高分辨率图像块和其对应的低分辨率图像块的编号相同。

S4：逐一建立训练库中各高分辨率图像块的局部流行空间。

将某高分辨率图像块记为p_l表示在训练库所有高分辨率图像块中编号，即是训练库所有高分辨率图像块中第p_l个图像块。那么，训练库中所有高分辨率图像块的集合可记为N_all表示训练库中高分辨率图像块数，N_all＝N_NUM×N，N_NUM表示训练库中高分辨率人脸图像数。

在集合中找出与在欧式空间最近的K个高分辨率图像块，这K个高分辨率图像块即的局部流行空间，这K个高分辨率图像块的编号p_l构成集合既表示组成的高分辨率局部流形空间的高分辨率图像块的编号，同时也表示组成对应低分辨率图像块的低分辨率局部流形空间的低分辨率图像块的编号。对应的低分辨率图像块的高分辨率局部流行空间和低分辨率局部流行空间则为 ${\left\{x_s^{p_l}\right\}}_{p_l\∈N_s^{p_l}}.$

具体实施时，可根据经验自行设定K取值，一般取为8。

S5：逐一建立各待处理图像块的局部流行空间，根据局部流行空间构建各待处理图像块的投影矩阵。

将第p个待处理图像块记作将训练库中所有低分辨率图像块的集合记为在集合中找出与在欧式空间最近的K'个低分辨率图像块，K'个低分辨率图像块中各图像块的高分辨率局部流行空间和低分辨率局部流行空间构成的局部流行空间。

具体实施时，可自行设定K'取值，K'和K相等或不相等。

根据待处理图像块的局部流行空间构建待处理图像块的投影矩阵为本技术领域的常规技术，为便于理解，下面将提供一种构建待处理图像块投影矩阵的具体实施方法。

基于的低分辨率局部流形空间和高分辨率局部流形空间建立的投影矩阵M_p：

M_p＝(M_L'*M_L+λI)^-1M_L'M_H(2)

式(2)中，M_L表示由的低分辨率局部流形空间转化的矩阵，M_H表示由的高分辨率局部流形空间转化的矩阵；λ为经验值常数，一般取1；I为单位矩阵；M_L'是M_L的转置矩阵

S6：采用投影矩阵M_p恢复待处理图像块获得待估图像块

S7：拼接待估图像块得待估高分辨率人脸图像y_t。

按图像分块的逆过程，将待估图像块集拼接组合，得待估高分辨率人脸图像。

为验证本发明技术效果，使用中国人脸数据库CAS-PEAL进行验证。从中选择510个人脸样本，分辨率是112*96，用仿射变换法对齐人脸。从人脸样本中选取40幅图像下采样4倍(分辨率为24*28)后加上0.015的高斯噪声后作为测试图像。将人脸样本剩余图像作为训练库，使用双三次插值方法将测试图像放大4倍得到主观图像；分别采用传统局部脸人脸超分辨率方法(方法1)、方法Lan^[4](方法2)、基于轮廓先验的鲁棒性人脸超分辨率处理方法^[5](方法3)得到主观图像作为参照。

从实验结果可知，方法1～3虽然比插值方法在分辨率上有所提升，但出现了较严重误差，与原始图像的相似度很低。方法2～3中的结果由于是全局脸架构，往往具有细节恢复上的短板，所以在这方面稍逊于本发明方法。本发明方法所恢复图像的质量相比于方法1～3和双三次插值方法都有显著提高。

表1展示了各图像对应的客观质量，包括PSNR(峰值信噪比)和SSIM值(结构相似性准则)。从表1中可以看出，本发明方法在恢复图像的客观质量上，也有较为明显的稳定提升。

表1恢复图像客观质量的对比

	PSNR值	SSIM值
			方法1	20.0699	0.5321
双三次插值法	20.9787	0.5528
			方法2	22.4097	0.6692
方法3	21.8425	0.5596
			本发明方法	22.8627	0.7469

本发明方法通过从高分辨率条件下训练正确的局部流形空间库，约束正确的流形空间的建立，进而对低质量人脸图像进行准确恢复。实验结果从主观质量到客观质量均证明了本发明的有效性，即反向流形空间的引入有效减弱了严重噪声或者轻微不均匀光照对超分辨率重建的影响，自动提取的特征避免了人工干预带来的负面效果(例如，处理结果不稳定、不精确等问题)，从而提升了人脸超分辨率处理结果。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于反向流形约束的鲁棒性人脸超分辨率处理方法，其特征是，包括：

S1构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；

S2采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的正方形图像块；划分待处理低分辨率人脸图像所得图像块称为待处理图像块，划分训练库中高分辨率人脸图像和低分辨率人脸图像所得图像块分别称为高分辨率图像块和低分辨率图像块；对高分辨率图像块和低分辨率图像块分别编号，并使高分辨率图像块和其对应的低分辨率图像块编号相同；

S3在训练库中找寻各高分辨率图像块在欧式空间的K近邻高分辨率图像块，该K近邻高分辨率图像块的编号集为得对应的低分辨率图像块的高分辨率局部流行空间和低分辨率局部流行空间K为经验值，p_l表示高分辨率图像块和低分辨率图像块的编号；

S4在训练库中找寻各待处理图像块在欧式空间的K'近邻低分辨率图像块，各K'近邻低分辨率图像块的高分辨率局部流行空间和低分辨率局部流行空间构成的局部流行空间，根据的局部流行空间构建投影矩阵；K'为经验值，与K相等或不相等；

S5：采用投影矩阵恢复对应的待处理图像块，获得待估图像块；

S6：拼接待估图像块得待估高分辨率人脸图像。

2.如权利要求1所述的基于反向流形约束的鲁棒性人脸超分辨率处理方法，其特征是：

S1具体为：

将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行降质处理，得对应的低分辨率人脸图像库，高分辨率人脸图像库和低分辨率人脸图像库构成训练库；

同时，在S2之前，使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。

3.如权利要求2所述的基于反向流形约束的鲁棒性人脸超分辨率处理方法，其特征是：

所述的位置对齐采用仿射变换法将进行位置对齐。

4.如权利要求1所述的基于反向流形约束的鲁棒性人脸超分辨率处理方法，其特征是：

S5中所获得待估图像块其中，表示待处理图像块，M_p表示的投影矩阵。

5.一种基于反向流形约束的鲁棒性人脸超分辨率处理系统，其特征是，包括：

训练库构建模块，用来构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；

图像块划分模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的正方形图像块；划分待处理低分辨率人脸图像所得图像块称为待处理图像块，划分训练库中高分辨率人脸图像和低分辨率人脸图像所得图像块分别称为高分辨率图像块和低分辨率图像块；对高分辨率图像块和低分辨率图像块分别编号，并使高分辨率图像块和其对应的低分辨率图像块编号相同；

局部流行空间建立模块，用来在训练库中找寻各高分辨率图像块在欧式空间的K近邻高分辨率图像块，该K近邻高分辨率图像块的编号集为得对应的低分辨率图像块的高分辨率局部流行空间和低分辨率局部流行空间K为经验值，p_l表示高分辨率图像块和低分辨率图像块的编号；

投影矩阵构建模块，用来在训练库中找寻各待处理图像块在欧式空间的K'近邻低分辨率图像块，各K'近邻低分辨率图像块的高分辨率局部流行空间和低分辨率局部流行空间构成的局部流行空间，根据的局部流行空间构建投影矩阵；K'为经验值，与K相等或不相等；

图像块恢复模块，用来采用投影矩阵恢复对应的待处理图像块，获得待估图像块；

图像块拼接模块，用来拼接待估图像块得待估高分辨率人脸图像。