CN105701770A - 一种基于上下文线性模型的人脸超分辨率处理方法及系统 - Google Patents

Abstract

本发明公开了一种基于上下文线性模型的人脸超分辨率处理方法及系统，通过构建训练库；采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块；对待处理低分辨率人脸图像块，逐一构建毗邻块空间；用目标位置的块的每一个毗邻块，辅助估计出对应的高分辨率块，得到一个高分辨率块集合；通过分别计算待处理低分辨率图像和训练库中低分辨率图像中，目标块与毗邻块的关系，决定在低分辨率库中的权重系数；融合高分辨率估计集合为一个高分辨率估计块；最终拼接高分辨率人脸图像块。本发明可显著提高恢复图像的视觉感受，特别适用于低质量监控环境下人脸图像的恢复。

Description

一种基于上下文线性模型的人脸超分辨率处理方法及系统

技术领域

本发明属于图像处理和图像恢复技术领域，具体涉及一种基于上下文线性模型约束的人脸超分辨率处理方法及系统。

背景技术

人脸超分辨率技术是通过辅助训练库，学习高低分辨率对应关系，进而达到从已有的低分辨率人脸图像中估计出高分辨率人脸图像的目的。人脸超分辨率现在被广泛应用于多个领域，其中最具代表性的领域之一就是监控录像中的人脸图像增强。随着监控系统的广泛普及，监控视频在刑事取证和刑侦调查过程中发挥着越来越重要的作用。而人脸图像作为直接证据之一，在案件分析和法庭取证中占据着重要的位置。然而，由于现有条件下，目标嫌疑人与摄像头距离相对较远，捕捉到的监控人脸可用像素非常少，兼之真实情况下由于恶劣天气(例如：雨雾)、光照(例如：光照过强、过暗、明暗不均)、器件等因素对捕获的图像引发的严重损毁(例如：严重的模糊和噪声)，图像恢复、放大和辨识往往受到严重的干扰。这就需要用到人脸超分辨率技术提升图像分辨率，从低分辨率图像恢复到高分辨率图像。

近年来，流形学习逐渐成为了人脸超分辨率的主流方法。这类方法的核心思想是：描述低分辨率图像的流形空间关系，寻找出每个低分辨率图像数据点周围的局部性质，然后将低分辨率图像的流形非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法：2004年，Chang等首次将流形学习法引入图像超分辨率重构中([文献1])，提出了一种邻域嵌入的图像超分辨率重构法。SungWonPark提出一种基于局部保持投影的自适应流形学习方法([文献2])，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。2005年，Wang提出一种基于PCA(Principalcomponentanalysis，主成分分析)分解的方法([文献3])，把低分辨率待处理图像用低分辨率空间的主成分的线性组合表示，投影系数到对应的高分辨率主成分空间获得最终结果。该方法对早上具有较好的鲁棒性，但是仍然在结果图像的边缘存在鬼影、混叠的现象。2010年，Huang提出基于CCA(CanonicalCorrelationAnalysis)的方法([文献4])，通过将PCA空间延伸至CCA空间，进一步解决了这个问题。同年，Lan针对监控环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出一种基于形状约束的人脸超分辨率方法([文献5])，在传统PCA架构中添加形状约束作为相似度度量准则，利用人眼睛识别形状时对干扰的鲁棒性来人工添加形状特征点作为约束，优化低质量图像的重建结果。综上所述，现有的这些方法大多仅按照传统的技术思路以图像块本身的子空间信息作为目标学习库进行高低分辨率关系学习，这种一对一的学习过程作为算法基础。只考虑了待处理图像块是处在一个流行空间中的，忽略了所有在库的图像块都是处于流行空间中的情况。因此虽然在处理一般环境下低质量图像的过程中，可以得到不错的效果。但是图像质量很低的时候，像素会遭到严重的毁坏混叠，图像本身的子空间信息因此很容易遭到损坏，用传统方法恢复出来的图像，效果并不令人满意。

[文献1]H.Chang,D.-Y.Yeung,andY.Xiong,“Super-resolutionthroughneighborembedding,”inProc.IEEEConf.Comput.Vis.PatternRecog.,Jul.2004,pp.275–282.

[文献2]SungWonPark,Savvides,M."BreakingtheLimitationofManifoldAnalysisforSuper-ResolutionofFacialImages",ICASSP,pp:573-576,2007.

[文献3]XiaogangWangandXiaoouTang,“Hallucinatingfacebyeigentransformation,”Systems,Man,andCybernetics,PartC:ApplicationsandReviews,IEEETransactionson,vol.35,no.3,pp.425–434,2005.

[文献4]HuaHuang,HuitingHe,XinFan,andJunpingZhang,“Super-resolutionofhumanfaceimageusingcanonicalcorrelationanalysis,”PatternRecognition,vol.43,no.7,pp.2532–2543,2010.”

[文献5]CLan,RHu,ZHan,Afacesuper-resolutionapproachusingshapesemanticmoderegularization.IEEEInternationalConferenceonImageProcessing(ICIP),2021–2024,26-29Sept.2010.

发明内容

为了解决上述技术问题，本发明提供了一种基于上下文线性模型约束的人脸超分辨率处理方法及系统，尤其适用于低质量监控视频中人脸图像的恢复。

本发明的方法所采用的技术方案是：一种基于上下文线性模型的人脸超分辨率处理方法，其特征在于，包括以下步骤：

步骤1：构建训练库，所述训练库包含高分辨率人脸图像库及其对应的低分辨率人脸图像库；

取归一化的清晰人脸图像若干作为高分辨率图像库，将高分辨率图像库经过统一下采样过程得到低分辨率图像库；

步骤2：采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，纵轴方向得到U个图像块，横轴方向得到V个图像块；所述图像块为正方形，其边长为psize；U＝ceil((row-dd)/(psize-dd))，V＝＝ceil((column-dd)/(psize-dd))，其中ceil(.)代表取整操作，dd是交叠像素数目，row是图像的长，column是图像的宽；

步骤3：对待处理低分辨率人脸图像中的图像块X，确定其位置(i，j)，其中i＝1,2,3,...U，j＝1,2,3,...V；从待处理低分辨率人脸图像上，找到该图像块位于n近邻范围内的毗邻块，毗邻块边长为psize；通过计算(i，j)位置的图像块与毗邻块之间的相关性，确定该毗邻块的权重，将权重与该毗邻块，作为新的毗邻块；对于低分辨率人脸图像库，在(i，j)位置上的每一个在库图像块，以相同的方法确定其毗邻块；

步骤4：用(i，j)位置的图像块的每一个毗邻块，辅助估计出对应的高分辨率(i，j)位置的图像块；其具体实现过程包括以下子步骤：

步骤4.1：对于待处理低分辨率的输入块，与权重的毗邻块做拼接；对于在低分辨率人脸图像库的每一个(i，j)位置的图像块，与其权重的毗邻块做拼接，得到待处理低分辨率拼接块；

步骤4.2：在低分辨率人脸图像库中，查找得到待处理低分辨率拼接块的近邻；

步骤4.3：利用待处理低分辨率拼接块的近邻，线性权重表示出待处理低分辨率拼接块；

其中权重 ${\mathrm{\ω}}_{pq}=\underset{{\mathrm{\ω}}_{pq}}{\mathrm{argmin}}\left|\right|B_{(i,j)}-\underset{k=1}{\overset{K}{\Σ}}{B}_{pq,k}^L{\mathrm{\ω}}_{pq,k}|{|}_2^2+\mathrm{\γ}|\left|{\mathrm{D\ω}}_{pq}\right|{|}_2^2;$ 其中ω_pq,k是ω_pq的第k个元素，k取值为1到K，K为近邻最大个数；B_(i,j)是待处理低分辨率拼接块， $B_{(i,j)}=\left[\begin{array}{c}\sqrt{\mathrm{\α}}{x}_{pq}\\ x_{(i,j)}\end{array}\right],$ x_(i,j)是待处理低分辨率块，x_pq是x_(i,j)位于位置pq的毗邻块，q表示取近邻的个数，q＝1,2,…Nq；Nq是最大毗邻位置个数，α表示x_pq和x_(i,j)的相关性；是对应位置的在低分辨率人脸图像库的拼接块， $B_{pq,k}^L=\left[\begin{array}{c}\sqrt{{\mathrm{\β}}_{pq}^k}{l}_{pq}^k\\ l_{(i,j)}^k\end{array}\right],$ 表示(i，j)位置的“低分辨率人脸图像库”中的图像块，k＝1,2,…K，K表示近邻总数；表示在pq位置的毗邻块，表示和之间的相关性；ω_pq表示B_(i,j)被表示的权重；D是一个对角线方阵，对角线值为B_(i,j)距离所有拼接近邻的距离，D＝diag(d_pq,1,...,d_pq,K)，d_pq,1表示距离度量参数，其中Dis(.)是欧氏距离计算，exp(.)表示指数运算； ${\mathrm{\ω}}_{pq}={({B_{pq}^L}^T{B}_{pq}^L+{\mathrm{\γD}}^{T}D)}^{-1}{B_{pq}^L}^T{B}_{(i,j)},$ γ表示经验值获得的平衡参数；

步骤4.4：将求得的ω_pq和近邻集合相乘，得到对应高分辨率估计y_pq：的高分辨率空间的对应块，即是近邻集合

步骤4.5：利用步骤4.1到步骤4.4处理完每一个毗邻块，得到高分辨率估计的集合：

步骤5：求取权重 ${\mathrm{\ω}}_{pq}^{All}={\mathrm{\λ\ω}}_{pq}^{test}+(1-\mathrm{\λ}){\mathrm{\ω}}_{pq}^{train};$

其中， ${\mathrm{\ω}}_{pq}^{test}\≈\underset{{\mathrm{\ω}}_{pq}^{test}}{\arg \min }\left|\right|x_{(i,j)}-\underset{q=1}{\overset{4}{\Σ}}{x}_{pq}{\mathrm{\ω}}_{pq}^{test}|{|}_2^2,{\mathrm{\ω}}_{pq}^{train}\≈\underset{{\mathrm{\ω}}_{pq}^{train}}{\arg \min }||h_{(i,j)}^{mean}-\underset{q=1}{\overset{4}{\Σ}}{h}_{pq}^{mean}{\mathrm{\ω}}_{pq}^{train}|{|}_2^2,$ 是在pq位置上的所有低分辨率人脸图像库中的图像块的平均值，是在(i,j)位置上的所有低分辨率人脸图像库中的图像块的平均值，λ是经验权重值，取值在[0,1]；

步骤6：融合高分辨率估计的集合为一个高分辨率估计y_(i,j)， $y_{(i,j)}=\underset{q=1}{\overset{Nq}{\Σ}}{y}_{pq}{\mathrm{\ω}}_{pq}^{All};$

步骤7：拼接高分辨率人脸图像块y_(i,j)，得高分辨率人脸图像。

作为优选，步骤1中所述构建训练库，是将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行降质处理，得对应的低分辨率人脸图像库，高分辨率人脸图像库和低分辨率人脸图像库构成训练库。

作为优选，步骤2中采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，首先使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。

作为优选，所述位置对齐是采用仿射变换法进行位置对齐。

本发明的系统所采用的技术方案是：一种基于上下文线性模型的人脸超分辨率处理系统，其特征在于：包括训练库构建模块、分块模块、毗邻块构建模块、高分辨率估计模块；

所述训练库构建模块，用来构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；

所述分块模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的边长为psize的正方形图像块；

所述毗邻块构建模块，用来对待处理低分辨率图像块，构建其毗邻块；

所述高分辨率估计模块，用各个位置的毗邻块分别辅助待处理图像块来估计高分辨率模块；所述高分辨率估计模块包括一下子模块：

第一子模块，用于目标位置块和毗邻块拼接；

第二子模块，然后在低分辨率块的拼接库中，查找待处理低分辨率拼接块的近邻；

第三子模块，用于利用待处理低分辨率拼接块的近邻，线性权重表示出待处理低分辨率拼接块，记下权重ω_pq；

第四子模块：用于将求得的ω_pq和对应高分辨率块近邻集合相乘，得到对应高分辨率估计集合；

权重求取模块：用于求取估计的多个高分辨率图像所占权重；

融合模块：用于融合高分辨率估计的集合为一个高分辨率估计y_(i,j)；

拼接模块，用于根据位置i拼接高分辨率人脸图像块y_(i,j)，得高分辨率人脸图像。

和现有技术相比，本发明具有以下优点和积极效果：

由于考虑到在库图像块的上下文线性空间，这种对空间流形约束的加入，使得重建的权重系数能够同时考虑目标位置在待处理图像和训练图像库中的上下文关系，使得代表个性值的待处理图像上下文关系和代表经验值的训练图像库上下文关系同时约束训练结果，对于降质因素具有更强的鲁棒性，对于空间表达具有更强的稳固性和精确性。所以，本发明基于流形的超分辨率方法，引入图像块上下文线性关系作为约束，通过对待处理图像块多重表达一致性的有效利用，来解决低质量环境下人脸图像的恢复缺乏真实性的问题，在主观质量上可显著提高恢复图像的视觉感受。

本发明具有普适性，对于一般的低质量人脸图像均可以取得较好的恢复效果；特别对于低质量监控环境下人脸图像的恢复，效果更加明显。

附图说明

图1是本发明实施例的流程示意图；

图2是本发明实施例的人脸图像基于位置分块示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明利用在库图像块的流形空间作为第二层流形，利用待处理图像块的流形空间作为第一次流形，通过流形空间的空间关联提供待处理图像块多重表达的一致性，用一致性约束增强图像块的准确表征和鲁棒性。本发明在基于局部嵌入的传统流形假设的人脸超分辨率算法中引入双层流形假设，通过双层流行假设对于待处理图像块进行多重表达，利用多重表达的一致性作为约束，增强图像块表征的一致性和噪声鲁棒性，提升恢复结果的客观质量和相似度。

本发明面向监控环境下的极低质量人脸图像，采用双层流形假设和一致性约束图像块的表征。具体实施时，本发明技术方案可采用计算机软件技术实现自动运行流程。

请见图1，本发明提供的一种基于上下文线性模型的人脸超分辨率处理方法，包括以下步骤：

步骤1：构建训练库，所述训练库包含高分辨率人脸图像库及其对应的低分辨率人脸图像库；

取归一化的清晰人脸图像若干作为高分辨率图像库，将高分辨率图像库经过统一下采样过程得到低分辨率图像库。例如，下采样过程为：依次对高分辨率人脸图像下采样4倍、模糊窗过滤3*3、上采样4倍，得到与高分辨率人脸图像对应的低分辨率人脸图像，从而获得低分辨率人脸图像库。”

将高分辨率人脸图像库Y中高分辨率人脸图像位置对齐，对高分辨率人脸图像进行降质处理得对应的低分辨率人脸图像，从而获得低分辨率人脸图像库X。

具体实施中，首先，将高分辨率人脸图像的眼睛和嘴巴位置对齐；然后，对高分辨率人脸图像依次进行下采样、模糊窗过滤、上采样，得到与高分辨率人脸图像对应的低分辨率人脸图像。

为便于实施参考，下面将提供采用仿射变换法实现人脸图像对齐的具体过程：

对高分辨率人脸图像进行特征点标注，特征点为五官边缘点，例如眼角、鼻尖、嘴角等；然后，采用仿射变换法对齐特征点。

仿射变换法具体为：

将高分辨率人脸图像库Y中所有人脸图像相加并除以样本数，得平均脸。设(x'_i,y'_i)为平均脸上第i个特征点坐标，(x_i,y_i)为待对齐的高分辨率人脸图像上对应的第i个特征点坐标。设仿射矩阵 $M=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 1\end{array}\right],$ 其中a、b、c、d、e、f为仿射变换系数， $\left\{\begin{array}{c}{x}_i={{\mathrm{ax}}_i}^{\′}+{{\mathrm{by}}_i}^{\′}+c\\ y_i={{\mathrm{dx}}_i}^{\′}+{{\mathrm{ey}}_i}^{\′}+f\end{array}\right.$ 表示平均脸和待对齐的高分辨率人脸图像上第i个特征点坐标(x'_i,y'_i)和(x_i,y_i)间的关系，采用直接线性变换法求解仿射变换矩阵M。待对齐的高分辨率人脸图像所有坐标点与仿射矩阵M相乘得到的坐标即对齐后的高分辨率人脸图像坐标。

对对齐后的高分辨率人脸图像做降质处理，例如，依次对高分辨率人脸图像下采样4倍、模糊窗过滤3*3、上采样4倍，得到与高分辨率人脸图像对应的低分辨率人脸图像，从而获得低分辨率人脸图像库X。

高分辨率人脸图像库Y和低分辨率人脸图像库X中人脸图像一一对应，构成高低分辨率人脸图像对。高分辨率人脸图像库Y和低分辨率人脸图像库X构成训练库。

使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。

本发明是要对待处理低分辨率人脸图像x进行处理，估计出其对应的高分辨率人脸图像，将估计出的高分辨率人脸图像记为待估高分辨率人脸图像y。

待处理低分辨率人脸图像x通常是在含噪严重环境获得的低分辨率人脸图像。对于作为输入的待处理低分辨率人脸图像，一般要经过预处理，包括剪切出符合统一规定的人脸部分，即将待处理低分辨率人脸图像x进行上采样，使其与训练库中人脸图像大小相同。对待处理低分辨率人脸图像x进行特征点标注，最后采用步骤1中记载的仿射变换法使待处理低分辨率人脸图像x与平均脸位置对齐。这样，使得训练库中人脸图像和待处理低分辨率人脸图像x在尺寸、眉毛高度处于相同的水平。若待处理低分辨率人脸图像x采集时光线不足，则可对位置对齐后的待处理低分辨率人脸图像x进行自动亮度对比度调整，使其与训练库中低分辨率人脸图像处于相近亮度水平。

步骤2：采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的边长为psize的正方形图像块；

本步骤中，将训练库中各图像位置均划分为N个正方形图像块；同时，将待处理低分辨率人脸图像x也划分为N个图像块。采用图像块集表示相应的人脸图像，待估高分辨率人脸图像y将通过对待处理低分辨率人脸图像x的图像块恢复获得。将待处理低分辨率人脸图像x、待估高分辨率人脸图像y、训练库中低分辨率人脸图像L、训练库中高分辨率人脸图像H的图像块集分别记为 k表示图像块编号，分别表示待处理低分辨率人脸图像x、待估高分辨率人脸图像y、训练库中低分辨率人脸图像L、训练库中高分辨率人脸图像H中在位置(i，j)的图像块。

请见图2，对人脸图像进行分块的主要依据是局部流形的思想，即人脸图像是一类特殊图像，这些图像具有特定的结构意义，比如在某个位置上所有的小块都是眼睛、或者某个位置上都是鼻子，也就是说图像中每一个位置的局部小块都处于一个特定的局部几何流形当中。为保证这个局部流形，需要将图像分为若干正方形的图像块。图像块的大小需要有合适尺寸，若分块太大，则会由于微小的对齐问题引起重影现象；若分块太小，会模糊、淡化每个小块的位置特征。此外，还需要选择图像块之间交叠块的尺寸。因为如果简单的将图像分为不含交叠块的若干正方形小块，那么这些正方形块与块之间会因为不兼容问题出现网格效应。而且人脸图像并不总是正方形，那么交叠块的尺寸选择需要注意使得图像尽可能充分的分块。

采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，纵轴方向得到U个图像块，横轴方向得到V个图像块；所述图像块为正方形，其边长为psize；U＝ceil((row-dd)/(psize-dd))，V＝＝ceil((column-dd)/(psize-dd))，其中ceil(.)代表取整操作，dd是交叠像素数目，row是图像的长，column是图像的宽；

本实施例中，psize取12，d取8。Column是96，row是112。

步骤3：对待处理低分辨率人脸图像中的图像块X，确定其位置(i，j)，其中i＝1,2,3,...U，j＝1,2,3,...V；从待处理低分辨率人脸图像上，找到该图像块位于n近邻范围内的毗邻块，毗邻块边长为psize；通过计算(i，j)位置的图像块与毗邻块之间的相关性，确定该毗邻块的权重，将权重与该毗邻块，作为新的毗邻块；对于低分辨率人脸图像库，在(i，j)位置上的每一个在库图像块，以相同的方法确定其毗邻块；

步骤4：用(i，j)位置的图像块的每一个毗邻块，辅助估计出对应的高分辨率(i，j)位置的图像块；其具体实现过程包括以下子步骤：

步骤4.1：对于待处理低分辨率的输入块，与权重的毗邻块做拼接；对于在低分辨率人脸图像库的每一个(i，j)位置的图像块，与其权重的毗邻块做拼接，得到待处理低分辨率拼接块；

步骤4.2：在低分辨率人脸图像库中，查找得到待处理低分辨率拼接块的近邻；

步骤4.3：利用待处理低分辨率拼接块的近邻，线性权重表示出待处理低分辨率拼接块；

其中权重 ${\mathrm{\ω}}_{pq}=\underset{{\mathrm{\ω}}_{pq}}{\mathrm{argmin}}\left|\right|B_{(i,j)}-\underset{k=1}{\overset{K}{\Σ}}{B}_{pq,k}^L{\mathrm{\ω}}_{pq,k}|{|}_2^2+\mathrm{\γ}|\left|{\mathrm{D\ω}}_{pq}\right|{|}_2^2;$ 其中ω_pq,k是ω_pq的第k个元素，k取值为1到K，K为近邻最大个数；B_(i,j)是待处理低分辨率拼接块， $B_{(i,j)}=\left[\begin{array}{c}\sqrt{\mathrm{\α}}{x}_{pq}\\ x_{(i,j)}\end{array}\right],$ x_(i,j)是待处理低分辨率块，x_pq是x_(i,j)位于位置pq的毗邻块，p代表position，q是变量，q表示取近邻的个数，q＝1,2,…Nq；如果取四近邻，q取值范围就是1到4，如果取八近邻，q取值范围就是1到8；Nq是最大毗邻位置个数，如果Nq取4，那么p1＝(i,j-1),p2＝(i+1,j),p3＝(i,j+1),p4＝(i-1,j)。α表示x_pq和x_(i,j)的相关性；是对应位置的在低分辨率人脸图像库的拼接块， $B_{pq,k}^L=\left[\begin{array}{c}\sqrt{{\mathrm{\β}}_{pq}^k}{l}_{pq}^k\\ l_{(i,j)}^k\end{array}\right],$ 表示(i，j)位置的“低分辨率人脸图像库”中的图像块，k＝1,2,…K，K表示近邻总数；表示在pq位置的近邻块，表示和之间的相关性；ω_pq表示B_(i,j)被表示的权重；D是一个对角线方阵，对角线值为B_(i,j)距离所有拼接近邻的距离，D＝diag(d_pq,1,...,d_pq,K)，d_pq,1表示距离度量参数，其中Dis(.)是欧氏距离计算，exp(.)表示指数运算； ${\mathrm{\ω}}_{pq}={({B_{pq}^L}^T{B}_{pq}^L+{\mathrm{\γD}}^{T}D)}^{-1}{B_{pq}^L}^T{B}_{(i,j)},$ γ表示经验值获得的平衡参数；

步骤4.4：将求得的ω_pq和近邻集合相乘，得到对应高分辨率估计y_pq：的高分辨率空间的对应块，即是近邻集合

步骤4.5：利用步骤4.1到步骤4.4处理完每一个毗邻块，得到高分辨率估计的集合：

步骤5：求取权重 ${\mathrm{\ω}}_{pq}^{All}={\mathrm{\λ\ω}}_{pq}^{test}+(1-\mathrm{\λ}){\mathrm{\ω}}_{pq}^{train};$

其中， ${\mathrm{\ω}}_{pq}^{test}\≈\underset{{\mathrm{\ω}}_{pq}^{test}}{\arg \min }\left|\right|x_{(i,j)}-\underset{q=1}{\overset{4}{\Σ}}{x}_{pq}{\mathrm{\ω}}_{pq}^{test}|{|}_2^2,{\mathrm{\ω}}_{pq}^{train}\≈\underset{{\mathrm{\ω}}_{pq}^{train}}{\arg \min }||h_{(i,j)}^{mean}-\underset{q=1}{\overset{4}{\Σ}}{h}_{pq}^{mean}{\mathrm{\ω}}_{pq}^{train}|{|}_2^2,$ 是在pq位置上的所有低分辨率人脸图像库中的图像块的平均值，是在(i,j)位置上的所有低分辨率人脸图像库中的图像块的平均值，λ是经验权重值，取值在[0,1]；

步骤6：融合高分辨率估计的集合为一个高分辨率估计y_(i,j)， $y_{(i,j)}=\underset{q=1}{\overset{4}{\Σ}}{y}_{pq}{\mathrm{\ω}}_{pq}^{All};$

步骤7：拼接高分辨率人脸图像块y_(i,j)，得高分辨率人脸图像。

为验证本发明技术效果，使用中国人脸数据库CAS-PEAL进行验证。从中选择510个人脸样本，分辨率是112*96，用仿射变换法对齐人脸。从人脸样本中选取40幅图像下采样4倍(分辨率为24*28)后加上0.015的高斯噪声后作为测试图像。将人脸样本剩余图像作为训练库，使用双三次插值方法将测试图像放大4倍得到主观图像；分别采用传统局部脸人脸超分辨率方法(方法1)、[文献4]中的方法Lan(方法2)、[文献5]中的基于轮廓先验的鲁棒性人脸超分辨率处理方法(方法3)得到主观图像。

从实验结果可知，方法1～3虽然比插值方法在分辨率上有所提升，但出现了较严重误差，与原始图像的相似度很低。方法2中的结果由于是全局脸架构，基于全局的方法往往具有细节恢复上的短板，所以在这方面稍逊于本发明方法。本发明方法所恢复图像的质量相比于方法1～3和双三次插值方法都有显著提高。

表1展示了各图像对应的客观质量，包括PSNR(峰值信噪比)和SSIM值(结构相似性准则)。从表1中可以看出，本发明方法在恢复图像的客观质量上，也有较为明显的稳定提升。

表1恢复图像客观质量的对比

	PSNR值	SSIM值
			方法1	20.0699	0.5321
双三次插值法	20.9787	0.5528
			方法2	22.9407	0.74768 -->
方法3	21.8425	0.5596
			本发明方法	23.4092	0.7580

本发明方法通过从原始低分辨率人脸图像中自动提取的上下文线性模型与原始尺度的图像特征进行组合，对低质量人脸图像进行恢复。实验结果从主观质量到客观质量均证明了本发明的有效性，即上下文信息的引入有效减弱了严重噪声对超分辨率重建的影响，自动提取的特征避免了人工干预带来的负面效果(如处理结果不稳定、不精确等问题)，从而提升了人脸超分辨率处理结果。

本发明还提供了一种基于上下文线性模型的人脸超分辨率处理系统，包括训练库构建模块、分块模块、毗邻块构建模块、高分辨率估计模块；

所述训练库构建模块，用来构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；

所述分块模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的边长为psize的正方形图像块；

所述毗邻块构建模块，用来对待处理低分辨率图像块，构建其毗邻块；

所述高分辨率估计模块，用各个位置的毗邻块分别辅助待处理图像块来估计高分辨率模块；所述高分辨率估计模块包括一下子模块：

第一子模块，用于目标位置块和毗邻块拼接；

第二子模块，然后在低分辨率块的拼接库中，查找待处理低分辨率拼接块的近邻；

第三子模块，用于利用待处理低分辨率拼接块的近邻，线性权重表示出待处理低分辨率拼接块，记下权重ω_pq；

第四子模块：用于将求得的ω_pq和对应高分辨率块近邻集合相乘，得到对应高分辨率估计集合；

权重求取模块：用于求取估计的多个高分辨率图像所占权重；

融合模块：用于融合高分辨率估计的集合为一个高分辨率估计y_(i,j)；

拼接模块，用于根据位置i拼接高分辨率人脸图像块y_(i,j)，得高分辨率人脸图像。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于上下文线性模型的人脸超分辨率处理方法，其特征在于，包括以下步骤：

步骤1：构建训练库，所述训练库包含高分辨率人脸图像库及其对应的低分辨率人脸图像库；

取归一化的清晰人脸图像若干作为高分辨率图像库，将高分辨率图像库经过统一下采样过程得到低分辨率图像库；

步骤2：采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，纵轴方向得到U个图像块，横轴方向得到V个图像块；所述图像块为正方形，其边长为psize；U＝ceil((row-dd)/(psize-dd))，V＝＝ceil((column-dd)/(psize-dd))，其中ceil(.)代表取整操作，dd是交叠像素数目，row是图像的长，column是图像的宽；

步骤3：对待处理低分辨率人脸图像中的图像块X，确定其位置(i，j)，其中i＝1,2,3,...U，j＝1,2,3,...V；从待处理低分辨率人脸图像上，找到该图像块位于n近邻范围内的毗邻块，毗邻块边长为psize；通过计算(i，j)位置的图像块与毗邻块之间的相关性，确定该毗邻块的权重，将权重与该毗邻块，作为新的毗邻块；对于低分辨率人脸图像库，在(i，j)位置上的每一个在库图像块，以相同的方法确定其毗邻块；

步骤4：用(i，j)位置的图像块的每一个毗邻块，辅助估计出对应的高分辨率(i，j)位置的图像块；其具体实现过程包括以下子步骤：

步骤4.1：对于待处理低分辨率的输入块，与权重的毗邻块做拼接；对于在低分辨率人脸图像库的每一个(i，j)位置的图像块，与其权重的毗邻块做拼接，得到待处理低分辨率拼接块；

步骤4.2：在低分辨率人脸图像库中，查找得到待处理低分辨率拼接块的近邻；

步骤4.3：利用待处理低分辨率拼接块的近邻，线性权重表示出待处理低分辨率拼接块；

其中权重 ${\mathrm{\ω}}_{pq}=\underset{{\mathrm{\ω}}_{pq}}{\mathrm{argmin}}\left|\right|B_{(i,j)}-\underset{k=1}{\overset{K}{\Σ}}{B}_{pq,k}^L{\mathrm{\ω}}_{pq,k}|{|}_2^2+\mathrm{\γ}|\left|{\mathrm{D\ω}}_{pq}\right|{|}_2^2;$ 其中ω_pq,k是ω_pq的第k个元素，k取值为1到K，K为近邻最大个数；B_(i,j)是待处理低分辨率拼接块， $B_{(i,j)}=\left[\begin{array}{c}\sqrt{\mathrm{\α}}{x}_{pq}\\ x_{(i,j)}\end{array}\right],$ x_(i,j)是待处理低分辨率块，x_pq是x_(i,j)位于位置pq的毗邻块，q表示取近邻的个数，q＝1,2,…Nq；Nq是最大毗邻位置个数，α表示x_pq和x_(i,j)的相关性；是对应位置的在低分辨率人脸图像库的拼接块， $B_{pq,k}^L=\left[\begin{array}{c}\sqrt{{\mathrm{\β}}_{pq}^k}{l}_{pq}^k\\ l_{(i,j)}^k\end{array}\right],$ 表示(i，j)位置的“低分辨率人脸图像库”中的图像块，k＝1,2,…K，K表示近邻总数；表示在pq位置的毗邻块，表示和之间的相关性；ω_pq表示B_(i,j)被表示的权重；D是一个对角线方阵，对角线值为B_(i,j)距离所有拼接近邻的距离，D＝diag(d_pq,1,...,d_pq,K)，d_pq,1表示距离度量参数，其中Dis(.)是欧氏距离计算，exp(.)表示指数运算； ${\mathrm{\ω}}_{pq}={({B_{pq}^L}^T{B}_{pq}^L+{\mathrm{\γD}}^{T}D)}^{-1}{B_{pq}^L}^T{B}_{(i,j)},$ γ表示经验值获得的平衡参数；

步骤4.4：将求得的ω_pq和近邻集合相乘，得到对应高分辨率估计y_pq： 的高分辨率空间的对应块，即是近邻集合

步骤4.5：利用步骤4.1到步骤4.4处理完每一个毗邻块，得到高分辨率估计的集合：

步骤5：求取权重 ${\mathrm{\ω}}_{pq}^{All}={\mathrm{\λ\ω}}_{pq}^{test}+(1-\mathrm{\λ}){\mathrm{\ω}}_{pq}^{train};$

其中， ${\mathrm{\ω}}_{pq}^{test}\≈\underset{{\mathrm{\ω}}_{pq}^{test}}{\arg \min }\left|\right|x_{(i,j)}-\underset{q=1}{\overset{4}{\Σ}}{x}_{pq}{\mathrm{\ω}}_{pq}^{test}|{|}_2^2,{\mathrm{\ω}}_{pq}^{train}\≈\underset{{\mathrm{\ω}}_{pq}^{train}}{\arg \min }||h_{(i,j)}^{mean}-\underset{q=1}{\overset{4}{\Σ}}{h}_{pq}^{mean}{\mathrm{\ω}}_{pq}^{train}|{|}_2^2,$ 是在pq位置上的所有低分辨率人脸图像库中的图像块的平均值，是在(i,j)位置上的所有低分辨率人脸图像库中的图像块的平均值，λ是经验权重值，取值在[0,1]；

步骤6：融合高分辨率估计的集合为一个高分辨率估计y_(i,j)， $y_{(i,j)}=\underset{q=1}{\overset{Nq}{\Σ}}{y}_{pq}{\mathrm{\ω}}_{pq}^{All};$

步骤7：拼接高分辨率人脸图像块y_(i,j)，得高分辨率人脸图像。

2.根据权利要求1所述的基于上下文线性模型的人脸超分辨率处理方法，其特征在于：步骤1中所述构建训练库，是将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行降质处理，得对应的低分辨率人脸图像库，高分辨率人脸图像库和低分辨率人脸图像库构成训练库。

3.根据权利要求1所述的基于上下文线性模型的人脸超分辨率处理方法，其特征在于：步骤2中采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的图像块，首先使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。

4.根据权利要求2或3所述的基于上下文线性模型的人脸超分辨率处理方法，其特征在于：所述位置对齐是采用仿射变换法进行位置对齐。

5.一种基于上下文线性模型的人脸超分辨率处理系统，其特征在于：包括训练库构建模块、分块模块、毗邻块构建模块、高分辨率估计模块；

所述训练库构建模块，用来构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的训练库；

所述分块模块，用来采用相同的分块方式将待处理低分辨率人脸图像和训练库中图像划分为具交叠部分的边长为psize的正方形图像块；

所述毗邻块构建模块，用来对待处理低分辨率图像块，构建其毗邻块；

所述高分辨率估计模块，用各个位置的毗邻块分别辅助待处理图像块来估计高分辨率模块；所述高分辨率估计模块包括一下子模块：

第一子模块，用于目标位置块和毗邻块拼接；

第二子模块，然后在低分辨率块的拼接库中，查找待处理低分辨率拼接块的近邻；

第三子模块，用于利用待处理低分辨率拼接块的近邻，线性权重表示出待处理低分辨率拼接块，记下权重ω_pq；

第四子模块：用于将求得的ω_pq和对应高分辨率块近邻集合相乘，得到对应高分辨率估计集合；

权重求取模块：用于求取估计的多个高分辨率图像所占权重；

融合模块：用于融合高分辨率估计的集合为一个高分辨率估计y_(i,j)；

拼接模块，用于根据位置i拼接高分辨率人脸图像块y_(i,j)，得高分辨率人脸图像。