CN105335930A - 边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统 - Google Patents

Abstract

本发明公开一种边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统，包括：S1：构建训练库；S2：采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块；S3：对训练库中低分辨率人脸图像和待处理低分辨率人脸图像中各图像块分别提取对应的边缘约束块；S4：生成待处理低分辨率人脸图像中图像块的重建系数；S5：根据重建系数恢复图像块，获得其对应的高分辨率人脸图像块；S6：拼接高分辨率人脸图像块。本发明可显著提高恢复图像的视觉感受，特别适用于低质量监控环境下人脸图像的恢复。

Description

边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统

技术领域

本发明涉及图像处理和图像恢复技术领域，具体涉及一种边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统。

背景技术

人脸超分辨率技术是通过辅助训练库，学习高低分辨率对应关系，进而达到从已有的低分辨率人脸图像中估计出高分辨率人脸图像的目的。人脸超分辨率现在被广泛应用于多个领域，其中最具代表性的领域之一就是监控录像中的人脸图像增强。随着监控系统的广泛普及，监控视频在刑事取证和刑侦调查过程中发挥着越来越重要的作用。而人脸图像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于现有条件下，目标嫌疑人与摄像头距离相对较远，捕捉到的监控人脸可用像素非常少，兼之真实情况下由于恶劣天气(例如：雨雾)、光照(例如：光照过强、过暗、明暗不均)、器件等因素对捕获的图像引发的严重损毁(例如：严重的模糊和噪声)，图像恢复、放大和辨识往往受到严重的干扰。这就需要用到人脸超分辨率技术提升图像分辨率，从低分辨率图像恢复到高分辨率图像。

为达到监控视频人脸的有效恢复，改进算法甚至牺牲效率来换取算法的有效性和易用性还是很有必要的，例如，采用较大的人脸图像训练库。具体做法除了引入有效先验约束和计算工具之外，还可以通过提出一个简单有效的数据利用模式解决这种问题。

近年来，流形学习逐渐成为了人脸超分辨率的主流方法。这类方法的核心思想是：描述低分辨率图像的流形空间关系，寻找出每个低分辨率图像数据点周围的局部性质，然后将低分辨率图像的流形非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法：2004年，Chang^[1]等首次将流形学习法引入图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构法。SungWonPark^[2]提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。2005年，Wang^[3]提出一种基于PCA(Principalcomponentanalysis，主成分分析)分解的方法，把低分辨率待处理图像用低分辨率空间的主成分的线性组合表示，投影系数到对应的高分辨率主成分空间获得最终结果。该方法对噪声具有较好的鲁棒性，但是仍然在结果图像的边缘存在鬼影、混叠的现象。2010年，Huang^[4]提出基于CCA(CanonicalCorrelationAnalysis)的方法，通过将PCA空间延伸至CCA空间，进一步解决了这个问题。同年，Lan^[5]针对监控环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出一种基于形状约束的人脸超分辨率方法，在传统PCA架构中添加形状约束作为相似度度量准则，利用人眼睛识别形状时对干扰的鲁棒性来人工添加形状特征点作为约束，优化低质量图像的重建结果。综上所述，现有的这些方法大多仅按照传统的技术思路以图像块本身的子空间信息作为目标学习库进行高低分辨率关系学习，这种一对一的学习过程作为算法基础，在处理一般环境下低质量图像的过程中，可以得到不错的效果。但是图像质量很低的时候，像素会遭到严重的毁坏混叠，图像本身的子空间信息因此很容易遭到损坏，用传统方法恢复出来的图像，效果并不令人满意。

文中涉及如下参考文献：

[1]H.Chang,D.-Y.Yeung,andY.Xiong,“Super-resolutionthroughneighborembedding,”inProc.IEEEConf.Comput.Vis.PatternRecog.,Jul.2004,pp.275–282.

[2]SungWonPark,Savvides,M."BreakingtheLimitationofManifoldAnalysisforSuper-ResolutionofFacialImages",ICASSP,pp:573-576,2007.

[3]XiaogangWangandXiaoouTang,“Hallucinatingfacebyeigentransformation,”Systems,Man,andCybernetics,PartC:ApplicationsandReviews,IEEETransactionson,vol.35,no.3,pp.425–434,2005.

[4]HuaHuang,HuitingHe,XinFan,andJunpingZhang,“Super-resolutionofhumanfaceimageusingcanonicalcorrelationanalysis,”PatternRecognition,vol.43,no.7,pp.2532–2543,2010.”

[5]CLan,RHu,ZHan,Afacesuper-resolutionapproachusingshapesemanticmoderegularization.IEEEInternationalConferenceonImageProcessing(ICIP),2021–2024,26-29Sept.2010.

发明内容

针对现有技术存在的问题，本发明提供了一种边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统，尤其适用于低质量监控视频中人脸图像的恢复。

为了解决上述技术问题，本发明采用如下的技术方案：

一、一种边缘数据驱动的鲁棒性人脸超分辨率处理方法，包括：

S1：构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；

S2：采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，所述的图像块为边长为psize的正方形图像块；

S3：对训练库中低分辨率人脸图像和待处理低分辨率人脸图像中各图像块分别提取对应的边缘约束块；图像块的边缘约束块即以该图像块为中心、边长为(psize+zoomnum)的图像块，其中，zoomnum为自然数，且zoomnum≤2*psize；

S4：生成待处理低分辨率人脸图像中图像块的重建系数，本步骤进一步包括：

4.1以边缘约束块作为替换其对应的图像块的新图像块，或以边缘约束块和其对应的图像块首尾相连获得的组合图像块作为替换对应图像块的新图像块；

4.2将替换低分辨率人脸图像中图像块的新图像块记为将替换训练库中低分辨率人脸图像第p个图像块的新图像块集记为从中找出与在欧式空间上最近的K个新图像块，即的近邻集Z，K根据经验自行设定；

4.3计算图像块的重建系数其中，为近邻集Z中第q个新图像块，q＝1,2,...K；AS^q表示与间的距离；

S5：根据重建系数恢复图像块获得其对应的高分辨率人脸图像块

S6：拼接高分辨率人脸图像块得高分辨率人脸图像。

步骤S1具体为：

将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行降质处理，得对应的低分辨率人脸图像库，高分辨率人脸图像库和低分辨率人脸图像库构成训练库；

同时，在步骤2之前，使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。

子步骤1.1和1.2中，采用仿射变换法将进行位置对齐。

子步骤4.3中，AS^q表示与近邻集Z中间的绝对值平方距离、RBF距离或高斯距离。

S5中，将重建系数w_qp使用到高分辨率人脸图像库，得到图像块对应的高分辨率图像块 表示近邻集Z中图像块在高分辨率人脸图像库Y_s中对应的图像块。

二、一种边缘数据驱动的鲁棒性人脸超分辨率处理系统，包括：

训练库构建模型，用来构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；

分块模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，所述的图像块为边长为psize的正方形图像块；

边缘约束块提取模块，用来对训练库中低分辨率人脸图像和待处理低分辨率人脸图像中各图像块分别提取对应的边缘约束块；图像块的边缘约束块即以该图像块为中心、边长为(psize+zoomnum)的图像块，其中，zoomnum为自然数，且zoomnum≤2*psize；

重建系数生成模块，用来生成待处理低分辨率人脸图像中图像块的重建系数，本模块进一步包括子模块：

第一子模块，用来以边缘约束块作为替换其对应的图像块的新图像块，或以边缘约束块和其对应的图像块首尾相连获得的组合图像块作为替换对应图像块的新图像块；

第二子模块，用来将替换低分辨率人脸图像中图像块的新图像块记为将替换训练库中低分辨率人脸图像第p个图像块的新图像块集记为从中找出与在欧式空间上最近的K个新图像块，即的近邻集Z，K根据经验自行设定；

第三子模块，用来计算图像块的重建系数其中，为近邻集Z中第q个新图像块，q＝1,2,...K；AS^q表示与间的距离；

图像恢复模块，用来根据重建系数恢复图像块获得其对应的高分辨率人脸图像块

拼接模块，用来拼接高分辨率人脸图像块得高分辨率人脸图像。

和现有技术相比，本发明具有以下优点和积极效果：

由于图像的边缘数据能在更大尺度上反应出图像块的结构和纹理信息，对于噪声等降质因素具有鲁棒性。所以，本发明基于流形的超分辨率方法，引入图像块边缘数据作为约束，通过对边缘数据信息的有效利用，来解决低质量环境下人脸图像的恢复缺乏真实性的问题，在主观质量上可显著提高恢复图像的视觉感受。

本发明具有普适性，对于一般的低质量人脸图像均可以取得较好的恢复效果；特别对于低质量监控环境下人脸图像的恢复，效果更加明显。

附图说明

图1是本发明实施例的流程示意图；

图2是本发明实施例的人脸图像基于位置分块示意图。

具体实施方式

本发明利用图像块的边缘信息增强图像块的表征能力。在含有严重噪音或干扰等极低质量的图像中，以目标图像块为中心的较大图像块能提供目标图像块周围的边缘信息，可从更加宏观的视角反映出目标图像块的纹理结构，在表征能力上对像素噪声的干扰具有较强的鲁棒作用。因此本发明在基于局部嵌入的人脸超分辨率距离衡量和权重分配框架中引入边缘信息作为约束，同时采用差异比例来分配权重，增强噪声鲁棒性，提升恢复结果的客观质量和相似度。

边缘信息的表征能力对像素噪声干扰的鲁棒作用具体为：图像像素遭受严重损毁时，像素对图像的表征往往存在歧义，即在同一尺度下，表征人脸不同部位的图像块可能呈现相似的像素值。更大尺度的图像块，会通过提供更多边缘信息而完善目标图像块的纹理和结构，进而在面对这一情况时则表现出较强的鲁棒性。

下面将结合具体实施例和附图对本发明做进一步说明。

本发明面向监控环境下的极低质量人脸图像，采用边缘数据约束信息表征图像。利用组合特征进行局部嵌入流形方法，选取欧式距离意义上的最近邻子集，采用差异比例的方式求取表征系数，其表征系数投影到对应高分辨率训练集上，恢复出输入图像的高分辨率对应图像。

具体实施时，本发明技术方案可采用计算机软件技术实现自动运行流程。

参见图1，本发明具体步骤如下：

S1：将高分辨率人脸图像库Y_s中高分辨率人脸图像位置对齐，对高分辨率人脸图像进行降质处理得对应的低分辨率人脸图像，从而获得低分辨率人脸图像库X_s。

具体实施中，首先，将高分辨率人脸图像的眼睛和嘴巴位置对齐；然后，对高分辨率人脸图像依次进行下采样、模糊窗过滤、上采样，得到与高分辨率人脸图像对应的低分辨率人脸图像。

为便于实施参考，下面将提供采用仿射变换法实现人脸图像对齐的具体过程：

对高分辨率人脸图像进行特征点标注，特征点为五官边缘点，例如眼角、鼻尖、嘴角等；然后，采用仿射变换法对齐特征点。

仿射变换法具体为：

将高分辨率人脸图像库Y_s中所有人脸图像相加并除以样本数，得平均脸。设(x'_i,y'_i)为平均脸上第i个特征点坐标，(x_i,y_i)为待对齐的高分辨率人脸图像上对应的第i个特征点坐标。设仿射矩阵 $M=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right],$ 其中a、b、c、d、e、f为仿射变换系数， $\left\{\begin{array}{c}{x}_i=a{x}_i^{\′}+b{y}_i^{\′}+c\\ y_i=d{x}_i^{\′}+e{y}_i^{\′}+f\end{array}\right.$ 表示平均脸和待对齐的高分辨率人脸图像上第i个特征点坐标(x'_i,y'_i)和(x_i,y_i)间的关系，采用直接线性变换法求解仿射变换矩阵M。待对齐的高分辨率人脸图像所有坐标点与仿射矩阵M相乘得到的坐标即对齐后的高分辨率人脸图像坐标。

对对齐后的高分辨率人脸图像做降质处理，例如，依次对高分辨率人脸图像下采样4倍、模糊窗过滤3*3、上采样4倍，得到与高分辨率人脸图像对应的低分辨率人脸图像，从而获得低分辨率人脸图像库X_s。

高分辨率人脸图像库Y_s和低分辨率人脸图像库X_s中人脸图像一一对应，构成高低分辨率人脸图像对。高分辨率人脸图像库Y_s和低分辨率人脸图像库X_s构成训练库。

S2：使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。

本发明是要对待处理低分辨率人脸图像x_t进行处理，估计出其对应的高分辨率人脸图像，将估计出的高分辨率人脸图像记为待估高分辨率人脸图像y_t。

待处理低分辨率人脸图像x_t通常是在含噪严重环境获得的低分辨率人脸图像。对于作为输入的待处理低分辨率人脸图像，一般要经过预处理，包括剪切出符合统一规定的人脸部分，即将待处理低分辨率人脸图像x_t进行上采样，使其与训练库中人脸图像大小相同。对待处理低分辨率人脸图像x_t进行特征点标注，最后采用步骤S1中记载的仿射变换法使待处理低分辨率人脸图像x_t与平均脸位置对齐。这样，使得训练库中人脸图像和待处理低分辨率人脸图像x_t在尺寸、眉毛高度处于相同的水平。若待处理低分辨率人脸图像x_t采集时光线不足，则可对位置对齐后的待处理低分辨率人脸图像x_t进行自动亮度对比度调整，使其与训练库中低分辨率人脸图像处于相近亮度水平。

S3：采用相同的分块方式将待处理低分辨率人脸图像、训练库中图像划分为具交叠部分的正方形图像块。

本步骤中，将训练库中各图像均划分为N个正方形图像块；同时，将待处理低分辨率人脸图像x_t也划分为N个图像块。采用图像块集表示相应的人脸图像，待估高分辨率人脸图像y_t将通过对待处理低分辨率人脸图像x_t的图像块恢复获得。将待处理低分辨率人脸图像x_t、待估高分辨率人脸图像y_t、训练库中低分辨率人脸图像x_s、训练库中高分辨率人脸图像y_s的图像块集分别记为p表示图像块编号，分别表示待处理低分辨率人脸图像x_t、待估计高分辨率人脸图像y_t、训练库中低分辨率人脸图像x_s、训练库中高分辨率人脸图像y_s中的第p个图像块。

见图2，对人脸图像进行分块的主要依据是局部流形的思想，即人脸图像是一类特殊图像，这些图像具有特定的结构意义，比如在某个位置上所有的小块都是眼睛、或者某个位置上都是鼻子，也就是说图像中每一个位置的局部小块都处于一个特定的局部几何流形当中。为保证这个局部流形，需要将图像分为若干正方形的图像块。图像块的大小需要有合适尺寸，若分块太大，则会由于微小的对齐问题引起重影现象；若分块太小，会模糊、淡化每个小块的位置特征。此外，还需要选择图像块之间交叠块的尺寸。因为如果简单的将图像分为不含交叠块的若干正方形小块，那么这些正方形块与块之间会因为不兼容问题出现网格效应。而且人脸图像并不总是正方形，那么交叠块的尺寸选择需要注意使得图像尽可能充分的分块。具体实施时，尺寸可根据经验选取适中的大小，psize优选为6～36，d优选为4～28，但d＜psize。

将图像块尺寸记为psize×psize，相邻图像块间交叠部分的宽记为d，将图像块所在位置表示为(j,k)，则有：

$(j,k)|j=1,2,...,\frac{height-b}{psize-d};k=1,2,...,\frac{width-b}{psize-d}---\left(1\right)$

其中，height和width分别为人脸图像的高和宽。实施例中，psize取2，d取8。

S4：基于训练库中低分辨率人脸图像和待处理低分辨率人脸图像中图像块提取边缘约束块。

本步骤的具体实施方式为：

将训练库中低分辨率人脸图像x_s和待处理低分辨率人脸图像x_t中的第p个图像块分别记为和图像块和边长均为psize，则图像块和均有psize×psize个像素。分别以图像块和的中心为中心，以(psize+zoomnum)为边长，取图像块 为图像块和的边缘约束块。zoomnum取值应不大于psize的2倍。

对训练库中低分辨率人脸图像和待处理低分辨率人脸图像中所有图像块遍历边缘约束块提取过程。设训练库中低分辨率人脸图像第p个图像块的集合记为 对应的边缘约束块集记为待处理低分辨率人脸图像x_t中第p个图像块记为其对应的边缘约束块记为

边缘约束块在步骤5获得重建系数中的利用方式有以下两种：

第一：直接采用边长为(psize+zoomnum)的边缘约束块取代对应的边长为psize的图像块作为新图像块。

第二：采用边长为(psize+zoomnum)的边缘约束块和对应的边长为psize的图像块二者组合而成的图像块作为新图像块。

S5：生成重建系数w_qp。

首先，基于边缘约束块构建新图像块。

新图像块的构建有两种方式。一种方式是以边缘约束块取代其对应的图像块，获得新图像块。另一种方式是将边缘约束块和其对应的图像块组合构成新图像块，所谓的组合指将边缘约束块和其对应的图像块首尾相连。

待处理低分辨率人脸图像的图像块集记为其对应的边缘约束块集记为构建的待处理低分辨率人脸图像的新图像块集记为低分辨率人脸图像库X_s中各人脸图像第p个图像块的集合记为 对应的边缘约束块集记为构成的新图像块集合记为

然后，基于新图像块计算待处理低分辨率人脸图像各图像块的权重w_qp，即重建系数，具体为：

(1)从新图像块集中找出与新图像块在欧式空间上最近的K个新图像块，即新图像块的近邻集Z。具体实施时，可自行设定K取值，一般取为5或8。

(2)通过计算与近邻集Z中新图像块间的差异比例，获得图像块的重建系数w_qp。

重建系数w_qp计算公式如下：

$w_{qp}=\frac{{\mathrm{AS}}^q}{\underset{q=1}{\overset{K}{\Σ}}{\left|x_t^{pD}-x_s^{pq}\right|}_2^2}---\left(2\right)$

式(2)中：

为近邻集Z中第q个元素，q＝1,2,...K；

AS^q表示与近邻集Z中间的距离，可以为绝对值平方距离、RBF距离或高斯距离。

当AS^q表示绝对值平方距离时，当AS^q表示RBF距离时， ${\mathrm{AS}}^q=\exp \left(\frac{{\left|x_t^{pD}-x_s^{pq}\right|}^2}{{\left(psize\right)}^2}\right);$ 当AS^q表示高斯距离时， ${\mathrm{AS}}^q=\exp \left({\left|x_t^{pD}-x_s^{pq}\right|}^2\right).$

S6：根据重建系数w_qp获得待估高分辨率图像的图像块

将重建系数w_qp使用到高分辨率人脸图像库，得到图像块对应的高分辨率图像块 表示近邻集Z中图像块在高分辨率人脸图像库Y_s中对应的图像块。

S7：拼接待估高分辨率图像的图像块得待估高分辨率人脸图像y_t。

按分块的逆过程拼接待估高分辨率图像的图像块即得完整的待估高分辨率人脸图像y_t。

为验证本发明技术效果，使用中国人脸数据库CAS-PEAL进行验证。从中选择510个人脸样本，分辨率是112*96，用仿射变换法对齐人脸。从人脸样本中选取40幅图像下采样4倍(分辨率为24*28)后加上0.015的高斯噪声后作为测试图像。将人脸样本剩余图像作为训练库，使用双三次插值方法将测试图像放大4倍得到主观图像；分别采用传统局部脸人脸超分辨率方法(方法1)、方法Lan^[4](方法2)、基于轮廓先验的鲁棒性人脸超分辨率处理方法^[5](方法3)得到主观图像。

从实验结果可知，方法1～3虽然比插值方法在分辨率上有所提升，但出现了较严重误差，与原始图像的相似度很低。方法2中的结果由于是全局脸架构，基于全局的方法往往具有细节恢复上的短板，所以在这方面稍逊于本发明方法。本发明方法所恢复图像的质量相比于方法1～3和双三次插值方法都有显著提高。

表1展示了各图像对应的客观质量，包括PSNR(峰值信噪比)和SSIM值(结构相似性准则)。从表1中可以看出，本发明方法在恢复图像的客观质量上，也有较为明显的稳定提升。

表1恢复图像客观质量的对比

	PSNR值	SSIM值
			方法1	20.0699	0.5321
双三次插值法	20.9787	0.5528
			方法2	22.9407	0.7476
方法3	21.8425	0.5596
			本发明方法(边缘约束块第一种利用方式)	21.8189	0.6564
本发明方法(边缘约束块的第二种利用方法)	22.4119	0.7008

本发明方法通过从原始低分辨率人脸图像中自动提取的大尺度边缘数据与原始尺度的图像特征进行组合，对低质量人脸图像进行恢复。实验结果从主观质量到客观质量均证明了本发明的有效性，即边缘数据的引入有效减弱了严重噪声对超分辨率重建的影响，自动提取的特征避免了人工干预带来的负面效果(如处理结果不稳定、不精确等问题)，从而提升了人脸超分辨率处理结果。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.边缘数据驱动的鲁棒性人脸超分辨率处理方法，其特征是，包括：

S1：构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；

S2：采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，所述的图像块为边长为psize的正方形图像块；

S3：对训练库中低分辨率人脸图像和待处理低分辨率人脸图像中各图像块分别提取对应的边缘约束块；图像块的边缘约束块即以该图像块为中心、边长为(psize+zoomnum)的图像块，其中，zoomnum为自然数，且zoomnum≤2*psize；

S4：生成待处理低分辨率人脸图像中图像块的重建系数，本步骤进一步包括：

4.1以边缘约束块作为替换其对应的图像块的新图像块，或以边缘约束块和其对应的图像块首尾相连获得的组合图像块作为替换对应图像块的新图像块；

4.2将替换低分辨率人脸图像中图像块的新图像块记为将替换训练库中低分辨率人脸图像第p个图像块的新图像块集记为从中找出与在欧式空间上最近的K个新图像块，即的近邻集Z，K根据经验自行设定；

4.3计算图像块的重建系数其中，为近邻集Z中第q个新图像块，q＝1,2,...K；AS^q表示与间的距离；

S5：根据重建系数恢复图像块获得其对应的高分辨率人脸图像块

S6：拼接高分辨率人脸图像块得高分辨率人脸图像。

2.如权利要求1所述的边缘数据驱动的鲁棒性人脸超分辨率处理方法，其特征是：

步骤S1具体为：

将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行降质处理，得对应的低分辨率人脸图像库，高分辨率人脸图像库和低分辨率人脸图像库构成训练库；

同时，在步骤2之前，使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。

3.如权利要求2所述的边缘数据驱动的鲁棒性人脸超分辨率处理方法，其特征是：

所述的位置对齐采用仿射变换法将进行位置对齐。

4.如权利要求1所述的边缘数据驱动的鲁棒性人脸超分辨率处理方法，其特征是：

子步骤4.3中，AS^q表示近邻集Z中和间的绝对值平方距离、RBF距离或高斯距离。

5.如权利要求1所述的边缘数据驱动的鲁棒性人脸超分辨率处理方法，其特征是：

S5中，将重建系数w_qp使用到高分辨率人脸图像库，得到图像块对应的高分辨率图像块 表示近邻集Z中图像块在高分辨率人脸图像库Y_s中对应的图像块。

6.一种边缘数据驱动的鲁棒性人脸超分辨率处理系统，其特征是，包括：

训练库构建模型，用来构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；

分块模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，所述的图像块为边长为psize的正方形图像块；

边缘约束块提取模块，用来对训练库中低分辨率人脸图像和待处理低分辨率人脸图像中各图像块分别提取对应的边缘约束块；图像块的边缘约束块即以该图像块为中心、边长为(psize+zoomnum)的图像块，其中，zoomnum为自然数，且zoomnum≤2*psize；

重建系数生成模块，用来生成待处理低分辨率人脸图像中图像块的重建系数，本模块进一步包括子模块：

第一子模块，用来以边缘约束块作为替换其对应的图像块的新图像块，或以边缘约束块和其对应的图像块首尾相连获得的组合图像块作为替换对应图像块的新图像块；

第二子模块，用来将替换低分辨率人脸图像中图像块的新图像块记为将替换训练库中低分辨率人脸图像第p个图像块的新图像块集记为从中找出与在欧式空间上最近的K个新图像块，即的近邻集Z，K根据经验自行设定；

第三子模块，用来计算图像块的重建系数其中，为近邻集Z中第q个新图像块，q＝1,2,...K；AS^q表示与间的距离；

图像恢复模块，用来根据重建系数恢复图像块获得其对应的高分辨率人脸图像块

拼接模块，用来拼接高分辨率人脸图像块得高分辨率人脸图像。