CN102902961B - 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法 - Google Patents

Abstract

本发明公开了一种基于K近邻稀疏编码均值约束的人脸超分辨率处理方法，本发明涉及图像分辨率处理技术领域，尤其涉及一种基于K近邻稀疏编码均值约束的人脸超分辨率处理方法。本发明根据人脸块位置先验信息，对训练样本图像块进行聚类，得到相应位置的高低分辨率稀疏表示字典对；利用低分辨率字典对输入图像块的K近邻进行稀疏表示，得到稀疏编码均值；基于稀疏先验和K近邻稀疏编码均值约束实现低分辨率图像块的稀疏表示，通过系数映射实现高分辨率图像块重建，最终交叠平均得到高分辨率人脸图像。本发明方法在保持重建人脸图像相似度的基础上，改善了人脸图像的清晰度，增强了超分辨率图像的质量。

Description

基于K近邻稀疏编码均值约束的人脸超分辨率处理方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于K近邻稀疏编码均值约束的人脸超分辨率处理方法。

背景技术

在视频监控条件获取的人脸图像往往具有较低的分辨率和较差的图像质量，以致于难以满足人脸辨识的需要。人脸超分辨率技术，也叫做幻觉脸技术（Face Hallucination），它能够在不改变硬件环境的情况下，从一副或多幅低分辨率输入人脸图像中，重建出一副高分辨率的人脸图像，达到改善人脸图像的清晰度的目的。该技术在安防监控、计算机视觉等领域中具有重要的应用。

现有的人脸超分辨率方法大致分为三类：第一类是基于全局参数模型的人脸超分辨率方法，第二类是基于局部非参数模型的人脸超分辨率方法，第三类是结合全局模型和局部模型的人脸超分辨率方法。本发明主要关注第二类方法。

基于局部非参数模型的人脸超分辨率方法大致包括以下三个步骤：首先将人脸图像划分成大小相等的图像块，然后针对每个图像块进行超分辨率重建得到高分辨率图像块，最后将重建后的高分辨率图像块融合在一起，得到完整的高分辨率人脸图像。由于这类方法能够充分利用局部人脸图像的统计特性，如眼睛、嘴、位置等，较之输入图像，合成的高分辨率人脸图像能够明显地改善输入图像的清晰度。不过，该方法也存在着易受噪声干扰，且计算量大的弊端。

最近邻方法被用于减少基于局部非参数模型的人脸超分辨率方法的计算复杂度。最近邻方法在计算的过程中，需要根据经验值来指定近邻块的个数，易导致合成高分辨率图像块的信息过拟合或者不充分。Yang^[1]首次将压缩感知的思想应用到超分辨率领域，在自然图像超分辨率重建过程中，通过自动选取合成块的个数，取得了较好的超分辨率效果。在Yang的基础上，Chang^[2]利用稀疏表示的方法合成人脸素描图像。Ma^[3]提出了基于块位置的人脸超分辨率方法。在已有研究的基础上，Jung^[4]提出了利用凸优化替代Ma方法中的最小二乘估计的基于位置块稀疏表示的人脸超分辨率方法，取得了比Ma方法更好的效果。

尽管现有的人脸超分辨率方法在理想超分辨率情况下（即对只有下采样的降质图像进行超分辨率）取得了较好的效果，但是，当低分辨率图像中同时具有噪声时，已有的人脸超分辨率方法重建的人脸图像的清晰度和相似度则会大大降低。

文中涉及的参考文献如下：

[1]J.C.Yang,J.Wright,T.S.Huang,Y.Ma.Image Super-Resolution Via SparseRepresentation.IEEE TIP，19(11),pp.2861-2873,2010.

[2]L.Chang,M.Zhou,Face Sketch Synthesis via Sparse Representation,In ICPR,pp.2146-2149,2010.

[3]Ma,J.Zhang,and C.Qi,Hallucinating face by position-patch,Pattern Recognition,43(1),pp.2224-2236,2010.

[4]X.C.Jung,L.Jiao,and etc.Position-Patch Based Face Hallucination Using ConvexOptimization.IEEE Signal Processing Letters,18(6),pp.367-370,2011）

发明内容

本发明的目的是提出一种基于K近邻稀疏编码均值约束的人脸超分辨率处理方法，该方法能提高重建高分辨率人脸图像清晰度和相似度。

为达到上述目的，本发明采用如下的技术方案：

基于K近邻稀疏编码均值约束的人脸超分辨率处理方法，包括以下步骤：

步骤一，对待处理人脸图像和人脸训练样本图像进行分块得到待处理人脸图像块和人脸训练样本图像块，所述的人脸训练样本图像包括高分辨率人脸训练样本图像和低分辨率人脸训练样本图像，那么，所得的人脸训练样本图像块包括高分辨率人脸训练样本图像块和低分辨率人脸训练样本图像块；

步骤二，根据步骤一所得各图像块的位置先验信息，对人脸训练样本图像块进行聚类，分别获得各相应位置的高分辨率稀疏表示子字典和低分辨率稀疏表示子字典，所述的位置先验信息为待处理人脸图像块和各人脸训练样本图像块在相同像素点上的位置信息；

步骤三，利用低分辨率稀疏表示子字典对待处理人脸图像块的K近邻进行稀疏表示，获得到待处理图像块的K近邻稀疏编码均值；

步骤四，基于稀疏先验和待处理图像块的K近邻稀疏编码均值约束实现待处理图像块的稀疏表示,获得待处理图像块的稀疏编码系数；

步骤五，根据待处理图像块的稀疏编码系数和其对应位置的高分辨率稀疏表示子字典对待处理图像块进行高分辨率图像块重建；

步骤六，根据重建的高分辨率图像块获取高分辨率人脸图像。

步骤一进一步包括以下子步骤：

1-1对待处理人脸图像和各人脸训练样本图像进行大小归一化处理，所述的人脸训练样本图像包括高分辨率人脸训练样本图像和低分辨率人脸训练样本图像；

1-2选取若干人脸特征点，根据选取的人脸特征点将待处理人脸图像、各人脸训练样本图像对齐，具体可采用仿射变换将待处理人脸图像、各人脸训练样本图像对齐；

1-3将对齐后的待处理人脸图像和各人脸训练样本图像进行分块得到待处理人脸图像块和人脸训练样本图像块，所述的人脸训练样本图像块包括高分辨率人脸训练样本图像块和低分辨率人脸训练样本图像块。

步骤二进一步包括以下子步骤：

2-1将步骤一所得人脸训练样本图像块中每个图像块展开成一个列矢量，列矢量中的每个元素对应着该图像块中各像素点的灰度值，所有的低分辨率人脸训练样本图像块所对应的列矢量组成低分辨率人脸训练样本图像块矢量集，所有的高分辨率人脸训练样本图像块所对应的列矢量组成高分辨率人脸训练样本图像块矢量集；

2-2根据各图像块的位置先验信息，选取相同位置上的低分辨率人脸训练样本图像块矢量集作为该位置的低分辨率稀疏表示子字典，所述的位置先验信息为待处理人脸图像块和各人脸训练样本图像块在相同像素点上的位置信息；

2-3根据各图像块的位置先验信息，选取相同位置上的高分辨率人脸训练样本图像块矢量集作为该位置的高分辨率稀疏表示子字典，所述的位置先验信息为待处理人脸图像块和各人脸训练样本图像块在相同像素点上的位置信息。

步骤三中所述的待处理图像块的K近邻稀疏编码均值由待处理图像块近邻块k的稀疏编码系数α_p，k加权平均得到，具体为：

$E\left[{\mathrm{\α}}_L^p\right]=\underset{k\∈N_P}{\mathrm{\Σ}}{\mathrm{\ω}}_{p,k}{\mathrm{\α}}_{p,k}---\left(1\right)$

其中，α_p，k是待处理图像块的近邻块k的稀疏编码系数；ω_p,k是待处理图像块的近邻块k的稀疏编码系数权重；N_p表示待处理图像块的K个近邻块的集合，k∈N_p。

上述待处理图像块的近邻块k的稀疏编码系数α_p，k，采用以下公式计算获得：

${\mathrm{\α}}_{p,k}=\arg \min {\left|\right|I_{L,k}^p-D_L^p{\mathrm{\α}}_{p,k}\left|\right|}_2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_{p,k}\left|\right|}_2---\left(2\right)$

其中，表示待处理图像块的近邻块k；表示待处理图像块对应位置的低分辨率稀疏表示子字典；λ是用于平衡稀疏约束项和保真项的正则化参数，其值根据待处理图像块的噪声水平而不同，噪声水平越大，λ取值越大，在高斯噪声情况下，取高斯噪声方差的1/10。式（2）中等号右侧第一项为保真项，第二项为稀疏约束项。

这里采用L1范数约束最小二乘法求解式（2），从而得到待处理入图像块近邻块k的稀疏编码系数α_p，k。

上述待处理图像块的近邻块k的稀疏编码系数权重ω_p,k为：

${\mathrm{\ω}}_{p,k}=\exp (-{\left|\right|I_L^P-I_{L,k}^p\left|\right|}_2^2/h)/C---\left(3\right)$

其中，表示待处理图像块；表示待处理图像块的近邻块k；h为常数，h>0，其值取决于期望的稀疏编码系数权重的分布幅度，期望的稀疏编码系数权重的分布幅度大，则h取值大；C为归一化。

步骤四中所述待处理图像块的稀疏编码系数采用以下公式计算获得：

${\mathrm{\α}}_L^p=\arg \min {\left|\right|I_L^p-D_L^p{\mathrm{\α}}_L^p\left|\right|}_2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_L^p\left|\right|}_1+\mathrm{\β}{\left|\right|{\mathrm{\α}}_L^p-E\left[{\mathrm{\α}}_L^p\right]\left|\right|}_{l_p}---\left(4\right)$

其中，表示待处理图像块；表示待处理图像块对应位置的低分辨率稀疏表示子字典；表示待处理图像块的K近邻稀疏编码均值；λ是用于平衡稀疏约束项和保真项的正则化参数，其取值根据待处理图像块的噪声水平而不同，噪声水平越大，λ取值越大，在高斯噪声情况下，取高斯噪声方差的1/10；β为K近邻稀疏编码均值的约束参数，其取值跟待处理图像块的噪声水平有关，噪声水平越大其取值越大，β的取值决定着K近邻稀疏编码均值约束项在目标函数求解过程中发挥作用的大小，β≥0；l_p表示介于第一范数和第二范数之间的范数范数，1≤l_p≤2。

式（4）中等号右侧第一项为保真项，第二项为稀疏约束项，第三项为K近邻稀疏编码均值约束项。

将式（4）变换为 ${\mathrm{\α}}_L^p=\arg {\min \left|\right|Z-{\mathrm{S\α}}_L^p\left|\right|}_2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_L^p\left|\right|}_1---\left(5\right)$

其中， $Z=\left(\begin{array}{c}{I}_L^p\\ \mathrm{\βE}\left[{\mathrm{\α}}_L^p\right]\end{array}\right),$ $S=\left(\begin{array}{c}{D}_L^p\\ -\mathrm{\β}\end{array}\right);$

采用L1范数约束最小二乘法求解式（5）得到待处理图像块的稀疏编码系数

步骤五中所述对待处理图像块进行高分辨率图像块重建是通过系数映射完成，该重建过程采用如下公式：

$I_H^p=D_H^p{\mathrm{\α}}_L^p---\left(6\right)$

其中，表示待处理图像块重建后得到的高分辨率图像块；表示待处理图像块对应位置的高分辨率稀疏表示子字典；为待处理图像块的稀疏编码系数。

将待处理人脸图像所分成的待处理图像块均进行高分辨率图像块重建后，将所有重建的高分辨率图像块在相邻处进行交叠平均即可得到高分辨率人脸图像。

本发明方法利用人脸图像块的位置先验信息，提高人脸图像超分辨率重建的相似性；利用K近邻稀疏编码均值约束待处理图像块的稀疏编码系数，降低稀疏编码噪声，最终提高重建高分辨率人脸图像的清晰度。

与现有技术相比，本发明具有以下优点和积极效果：

1）本发明方法具有更低的均方误差（RMSE），更高的峰值信噪比（PSNR）和结构相似性（SSIM），表明本发明方法重建的高分辨率图像更逼真；

2）本发明在主观效果上明显提高了重建人脸图像的清晰度和相似度。

附图说明

图1是本发明方法的流程图；

图2本实施例的主观效果对比图，其中，图（a）为待处理的低分辨率人脸图像，图（b）为采用双三次方插值方法处理图（a）中人脸图像的结果图像，图（c）为采用Ma方法处理图（a）中人脸图像的结果图像，图（d）为采用Jung方法处理图（a）中人脸图像的结果图像，图（e）为采用本发明方法处理图（a）中人脸图像的结果图像，图（f）为图（a）中待处理的低分辨率人脸图像所对应的原始高分辨率人脸图像；

图3是不同噪声水平下本发明方法和其他方法的峰值信噪比（PSNR）对比图。

具体实施方式

下面以具体实施例结合附图对本发明作进一步说明。

本发明提供的基于K近邻稀疏编码均值约束的人脸超分辨率处理方法的流程图参见图1，包括以下步骤：

步骤S1，对待处理人脸图像和人脸训练样本图像进行分块得到待处理人脸图像块和人脸训练样本图像块，所述的人脸训练样本图像包括高分辨率人脸训练样本图像和低分辨率人脸训练样本图像，因此所得的人脸训练样本图像块包括高分辨率人脸训练样本图像块和低分辨率人脸训练样本图像块；

步骤S2，根据步骤一所得各图像块的位置先验信息，对人脸训练样本图像块进行聚类，得到各相应位置的高分辨率稀疏表示子字典和低分辨率稀疏表示子字典；所述的位置先验信息为待处理人脸图像块和各人脸训练样本图像块在相同像素点上的位置信息；某相应位置的高分辨率稀疏表示子字典和低分辨率稀疏表示子字典分别为该位置的高分辨率人脸训练样本图像块和低分辨率人脸训练样本图像块的矢量集；

步骤S3，利用低分辨率字典对待处理图像块的K近邻进行稀疏表示，得到待处理图像块的K近邻稀疏编码均值；

步骤S4，基于稀疏先验和待处理图像块的K近邻稀疏编码均值约束实现待处理图像块的稀疏表示；

步骤S5，根据待处理图像块的稀疏编码系数和其对应位置的高分辨率稀疏表示子字典对待处理图像块进行高分辨率图像块重建；

步骤S6，将重建的高分辨率图像块交叠平均得到高分辨率人脸图像。

本发明方法可应用于安防监控和计算机视觉等领域。例如，在视频监控下获取的人脸图像往往具有较低的分辨率和较差的图像质量，难以满足人脸辨识。将视频获取的人脸图像作为待处理图像，采用本发明方法重建出一副高分辨率的人脸图像，在不改变硬件环境的情况下可以改善人脸图像清晰度和相似度。

下面将结合实施例具体说明本发明的详细步骤和有益效果。

本实施例以MATLAB7作为仿真实验平台，以中国科学院享人脸图像数据库CAS-PEAL-R1共享人脸图像数据库作为训练和测试图像。

S1：根据人脸块位置先验信息，对训练样本图像块进行聚类，得到相应位置的高、低分辨率稀疏表示子字典。

该过程包括以下子步骤：

1-1从共享人脸图像数据库中选取1040副正面中性表情的高分辨率人脸图像，扣取面部图像，调整大小为112×100像素。

1-2在每副人脸图像上选取12个人脸特征点，利用仿射变换对1040副人脸图像进行对齐，选取的人脸特征点分布情况是：眼睛4个点，鼻子3个点，嘴角2个点，腮2个点，下巴1个点。

1-3将对齐后的高分辨率人脸图像进行降质处理，得到与高分辨率人脸图像对应的低分辨率人脸图像。降质过程如下式所示：

y=DBX+n            （1）

其中，X表示高分辨率人脸图像；y表示和X对应的低分辨率人脸图像；B为镜头光学模糊矩阵，此处表示模糊核为8×8的平均模糊操作；D为下采样矩阵，此处表示4倍下采样操作；n为噪声矩阵，此处表示均方差为12的高斯加性噪声。

1-4在1040对高、低分辨率人脸图像对中随机选取1000对人脸图像对作为人脸训练样本图像，剩下的40对人脸图像对作为测试图像，测试图像即待处理人脸图像。

这里人脸训练样本图像包括高分辨率人脸训练样本图像和低分辨率人脸训练样本图像，将高、低分辨率人脸训练样本图像集分别表示为：

$S_H={\left\{S_H^q\right\}}_{q=1}^Q=[S_H^1,S_H^2,...,S_H^Q]\∈R^{M\×Q}---\left(2\right)$

$S_L={\left\{S_L^q\right\}}_{q=1}^Q=[S_L^1,S_L^2,...,S_L^Q]\∈R^{N\×Q}---\left(3\right)$

其中，S_H、S_L分别表示高、低分辨率人脸训练样本图像集； 分别表示高、低分辨率人脸训练样本图像集中第q副图像；Q表示高、低分辨率人脸训练样本图像集中人脸图像的数量均为Q，本实施例中Q=1000；R表示希尔伯特空间（Hilbert空间）；M、N分别表示高、低分辨率人脸训练样本图像向量，维数M、N分别与高、低分辨率人脸训练样本图像的大小有关。

由于本实施例中，低分辨率人脸训练样本图像是由高分辨率人脸训练样本图像下采样操作得到，所以有M＝s²N，其中，s表示下采样倍数。

对所有的人脸训练样本图像和测试图像进行分块，将高分辨率人脸训练样本图像划分成大小为B×B像素的高分辨率人脸训练样本图像块，将低分辨率人脸训练样本图像和测试图像分别划分成大小为b×b像素的低分辨率人脸训练样本图像块和测试图像块，不管是高、低分辨率人脸训练样本图像，还是测试图像，每幅图像均划分为数量相等的图像块。其中，b=B/s，s为下采样倍数。假设每副图像均被划分为P块图像块，即每幅图像有P个块位置，则高、低分辨率人脸训练样本图像块集合可表示为：

$\left\{I_{H,p}^q\right|1\≤q\≤Q,1\≤p\≤P\}---\left(4\right)$

$\left\{I_{L,p}^q\right|1\≤q\≤Q,1\≤p\≤P\}---\left(5\right)$

其中， 分别为高、低分辨率人脸训练样本图像集中第q幅图像中p位置的图像块；p为每副图像中图像块的位置号，1≤p≤P，1≤q≤Q。

1-5将人脸训练样本图像集中各图像块按列矢量形式存储，每个图像块对应一个列矢量，列矢量中各元素为该矢量所对应的图像块中各像素点的灰度值，那么，高分辨率人脸训练样本图像块可表示为B²×1维的列矢量，低分辨率人脸训练样本图像块可表示为b²×1维的列矢量。

采用步骤1-3的方法将待处理人脸图像和人脸训练样本图像对齐后进行分块，取待处理人脸图像块和人脸训练样本图像块相同像素点的位置信息作为位置先验信息。根据人脸训练样本图像集中各图像块的位置先验信息，选取相同位置上的所有低分辨率人脸训练样本图像块的矢量集作为低分辨率稀疏表示子字典，即其中，表示p位置的低分辨率稀疏表示子字典；P表示每幅图像划分的图像块的数量。根据人脸训练样本图像集中各图像块的位置先验信息，选取相同位置上的所有高分辨率人脸训练样本图像块的矢量集作为高分辨率稀疏表示子字典，即其中，表示p位置的高分辨率稀疏表示子字典；P表示每幅图像块的数量。

步骤S2：利用低分辨率字典对待处理图像块的K近邻进行稀疏表示，得到待处理图像块的K近邻稀疏编码均值。

待处理图像块的K近邻稀疏编码均值由待处理图像块近邻块k的稀疏编码系数α_p，k加权平均得到，具体为：

$E\left[{\mathrm{\α}}_L^p\right]=\underset{k\∈N_p}{\mathrm{\Σ}}{\mathrm{\ω}}_{p,k}{\mathrm{\α}}_{p,k}---\left(6\right)$

其中，α_p，k是待处理图像块p的近邻块k的稀疏编码系数；ω_p,k是待处理图像块p的近邻块k的稀疏编码系数的权重；N_p表示待处理图像块p的K个近邻块组成的集合，k∈N_p。近邻块是指低分辨率冗余字典中与待处理图像块欧氏距离最小的K个图像块，K根据经验取值。本具体实施中K=5。

待处理图像块的近邻块k的稀疏编码系数α_p,k采用以下公式计算获得：

${\mathrm{\α}}_{p,k}=\arg \min {\left|\right|I_{L,k}^p-D_L^p{\mathrm{\α}}_{p,k}\left|\right|}_2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_{p,k}\left|\right|}_1---\left(7\right)$

其中，表示待处理图像块p的近邻块k；表示待处理图像块p对应的p位置的低分辨率稀疏表示子字典；λ是用于平衡稀疏约束项和保真项的正则化参数，取值根据噪声大小变化而不同，噪声越大，λ取值越大，在高斯噪声情况下，取高斯噪声方差的1/10。式（7）中等号右侧第一项为保真项，第二项为稀疏约束项。

这里采用L1范数约束最小二乘法求解式（7），从而得到待处理图像块p的近邻块k的稀疏编码系数α_p，k。

待处理图像块的近邻块k的稀疏编码系数权重ω_p，k为：

${\mathrm{\ω}}_{p,k}=\exp (-{\left|\right|I_L^p-I_{L,k}^p\left|\right|}_2^2/h)/C---\left(8\right)$

其中，表示待处理图像在p位置的图像块，即待处理图像块；表示待处理图像块p的近邻块k；h为常数，h>0，其值取决于期望的稀疏编码系数权重的分布幅度，期望的稀疏编码系数权重的分布幅度大，则h取值大；本实施例中h=10；C为归一化。用于计算和的欧氏距离。

步骤S3：基于稀疏先验和待处理图像块的K近邻稀疏编码均值约束实现待处理图像块的的稀疏表示，得到待处理图像块的稀疏编码系数。

待处理图像块的稀疏编码系数采用以下公式计算获得：

${\mathrm{\α}}_L^p=\arg \min {\left|\right|I_L^p-D_L^p{\mathrm{\α}}_L^p\left|\right|}_2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_L^p\left|\right|}_1+\mathrm{\β}{\left|\right|{\mathrm{\α}}_L^p-E\left[{\mathrm{\α}}_L^p\right]\left|\right|}_{l_p}---\left(9\right)$

其中，表示待处理图像在p位置的图像块，即待处理图像块；表示待处理图像块对应的p位置的低分辨率稀疏表示子字典；为待处理图像块p的K近邻稀疏编码均值；λ是用于平衡稀疏约束项和保真项的正则化参数，取值根据噪声大小变化而不同，噪声越大，λ取值越大，在高斯噪声情况下，取高斯噪声方差的1/10；β为K近邻稀疏编码均值的约束参数，其取值跟输入图像块的噪声水平有关，噪声越大其取值越大，β的取值决定着K近邻稀疏编码均值约束项在目标函数求解过程中发挥作用的大小，β≥0，本实施例中β取0.1；l_p表示介于第一范数和第二范数之间的范数范数，1≤l_p≤2。

式（9）中等号右侧第一项为保真项，第二项为稀疏约束项，第三项为K近邻稀疏编码均值约束项。

为了能够利用L1范数约束最小二乘法对上式进行求解，将式（9）变换为：

${\mathrm{\α}}_L^p=\arg {\min \left|\right|Z-{\mathrm{S\α}}_L^p\left|\right|}_2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_L^p\left|\right|}_1---\left(10\right)$

其中， $Z=\left(\begin{array}{c}{I}_L^p\\ \mathrm{\βE}\left[{\mathrm{\α}}_L^p\right]\end{array}\right),$ $S=\left(\begin{array}{c}{D}_L^p\\ -\mathrm{\β}\end{array}\right).$

采用L1范数约束最小二乘法对求解式（10）得到待处理图像块的稀疏编码系数

步骤S4：根据待处理图像块的稀疏编码系数和待处理图像块对应位置的高分辨率稀疏表示子字典，通过系数映射对待处理图像块进行高分辨率图像块重建，将重建的高分辨率图像块交叠平均得到高分辨率人脸图像。

将一待处理人脸划分为若干图像块后，针对各图像块分别进行步骤S2~S3，分别得到各图像块的稀疏编码系数根据各图像块的稀疏编码系数和该图像块对应位置的高分辨率稀疏表示子字典对各图像块分别进行高分辨率图像块重建。本实施例是通过系数映射完成高分辨率图像块重建，该重建过程采用如下公式：

$I_H^p=D_H^p{\mathrm{\α}}_L^p---\left(11\right)$

其中，表示待处理图像块重建后得到的高分辨率图像块；表示待处理图像块对应位置的高分辨率稀疏表示子字典；为待处理图像块的稀疏编码系数。

完成各高分辨率图像块的重建后，将所有的重建的高分辨率图像块在相邻处进行交叠平均得到高分辨率人脸图像。

图2为本实施例的主观效果对比图，图2（a）为上述实施例中的部分测试图像，即待处理的低分辨率人脸图像，图2（b）为采用双三次方插值方法处理图2（a）中人脸图像的结果图像，图2（c）~（e）分别为采用Ma方法、Jung方法和本发明方法处理图2（a）中人脸图像的结果图像，图2（f）为图2（a）中测试图像所对应的原始高分辨率人脸图像。从图中可以明显看出，采用双三次方插值方法处理的结果图像比较平滑，但是图像却不够清晰，无法满足辨识的需要。Ma方法和Jung方法都是基于块位置的人脸超分辨率方法，较之双三次插值方法，该两种方法的结果图像的清晰度有了明显改进，但是在重建的结构图像的轮廓边缘都有明显的鬼影效应。Ma方法在重建的人脸图像的局部上有较明显的人工现象。本发明提出的基于位置块集中稀疏表示的人脸超分辨率方法明显地改善了重建结果图像的清晰度，也减少了重建带来的人工现象和鬼影效果。

表1为本实施例的客观质量对比表，较之比较算法，本发明在客观质量方面具有更低的均方误差（RMSE），更高的峰值信噪比（PSNR）和结构相似性（SSIM），表明本发明方法重建的结果图像更接近于原始的高分辨率图像，因此本发明方法重建的结果图像更逼真。

表1本发明方法和其他现有方法的客观质量比较结果

为了验证本发明方法对噪声的鲁棒性，采用具有不同噪声水平的低分辨率图像作为待处理图像。所采用的低分辨率图像的高斯噪声方差分别为10、12和14，测试算法中的正则化参数λ和约束参数β都采用固定参数。采用双三次插值（Bicubic）、Ma、Jung和本发明方法对高斯噪声方差分别为10、12和14的低分辨率图像进行超分辨率处理，所得到的重建结果图像的PSNR值见图3。从图中可以看出，不管是哪种噪声水平，本发明方法均取得了最高的PSNR值，表明，较之参照算法，本发明方法对噪声具有更强的鲁棒性。

Claims (10)

1.基于K近邻稀疏编码均值约束的人脸超分辨率处理方法，其特征在于，包括以下步骤：

步骤一，对待处理人脸图像和人脸训练样本图像进行分块得到待处理人脸图像块和人脸训练样本图像块，所述的人脸训练样本图像包括高分辨率人脸训练样本图像和低分辨率人脸训练样本图像；

步骤二，根据步骤一所得各图像块的位置先验信息，对人脸训练样本图像块进行聚类，分别获得各相应位置的高分辨率稀疏表示子字典和低分辨率稀疏表示子字典，所述的位置先验信息为待处理人脸图像块和各人脸训练样本图像块在相同像素点上的位置信息；

步骤三，利用低分辨率稀疏表示子字典对待处理人脸图像块的K近邻进行稀疏表示，获得待处理图像块的K近邻稀疏编码均值；

步骤四，基于稀疏先验和待处理图像块的K近邻稀疏编码均值约束实现待处理图像块的稀疏表示,获得待处理图像块的稀疏编码系数；

步骤五，根据待处理图像块的稀疏编码系数和其对应位置的高分辨率稀疏表示子字典对待处理图像块进行高分辨率图像块重建；

步骤六，根据重建的高分辨率图像块获取高分辨率人脸图像。

2.权利要求1所述的基于K近邻稀疏编码均值约束的人脸超分辨率处理方法，其特征在于：

步骤一中所述的低分辨率人脸训练样本图像由所述的高分辨率人脸训练样本图像经过降质处理得到。

3.权利要求1所述的基于K近邻稀疏编码均值约束的人脸超分辨率处理方法，其特征在于：

步骤一进一步包括以下子步骤：

1-1将待处理人脸图像和各人脸训练样本图像进行大小归一化处理，所述的人脸训练样本图像包括高分辨率人脸训练样本图像和低分辨率人脸训练样本图像；

1-2选取若干人脸特征点，根据选取的人脸特征点将待处理人脸图像、各人脸训练样本图像对齐；

1-3将对齐后的待处理人脸图像和各人脸训练样本图像进行分块得到待处理人脸图像块和人脸训练样本图像块，所述的人脸训练样本图像块包括高分辨率人脸训练样本图像块和低分辨率人脸训练样本图像块。

4.权利要求3所述的基于K近邻稀疏编码均值约束的人脸超分辨率处理方法，其特征在于：

步骤1-2中采用仿射变换将待处理人脸图像、各人脸训练样本图像对齐。

5.权利要求1所述的基于K近邻稀疏编码均值约束的人脸超分辨率处理方法，其特征在于：

步骤二进一步包括以下子步骤：

2-1将步骤一所得人脸训练样本图像块中每个图像块中展开成一个列矢量，列矢量中的每个元素对应着该图像块中各像素点的灰度值，所有的低分辨率人脸训练样本图像块所对应的列矢量组成低分辨率人脸训练样本图像块矢量集，所有的高分辨率人脸训练样本图像块所对应的列矢量组成高分辨率人脸训练样本图像块矢量集；

2-2根据各图像块的位置先验信息，选取相同位置上的低分辨率人脸训练样本图像块矢量集作为该位置的低分辨率稀疏表示子字典，所述的位置先验信息为待处理人脸图像块和各人脸训练样本图像块在相同像素点上的位置信息；

2-3根据各图像块的位置先验信息，选取相同位置上的高分辨率人脸训练样本图像块矢量集作为该位置的高分辨率稀疏表示子字典，所述的位置先验信息为对齐后的待处理人脸图像块和各人脸训练样本图像块在相同像素点上的位置信息。

6.权利要求1或2所述的基于K近邻稀疏编码均值约束的人脸超分辨率处理方法，其特征在于：

步骤三中所述的待处理图像块的K近邻稀疏编码均值为：

$E\left[{\mathrm{\α}}_L^p\right]=\underset{k\∈N_P}{\mathrm{\Σ}}{\mathrm{\ω}}_{p,k}{\mathrm{\α}}_{p,k}$

其中，α_p,k是待处理图像块的近邻块k的稀疏编码系数；ω_p,k是待处理图像块的近邻块k的稀疏编码系数权重；N_p表示待处理图像块的K个近邻块的集合，k∈N_p；

所述的待处理图像块的近邻块k的稀疏编码系数权重ω_p,k为:

${\mathrm{\ω}}_{p,k}=\exp (-{\left|\right|I_L^p-I_{L,k}^p\left|\right|}_2^2/h)/C$

其中，表示待处理图像在p位置的图像块；表示待处理图像块的近邻块k；h为常数，h>0，其值取决于期望的稀疏编码系数权重的分布幅度，期望的稀疏编码系数权重的分布幅度大，则h取值大；C为归一化。

7.权利要求1、2或5所述的基于K近邻稀疏编码均值约束的人脸超分辨率处理方法，其特征在于：

步骤四中所述的待处理图像块的稀疏编码系数通过下式求得：

${\mathrm{\α}}_L^p=\arg \min {\left|\right|I_L^p-D_L^p{\mathrm{\α}}_L^p\left|\right|}_2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_L^p\left|\right|}_1+\mathrm{\β}{\left|\right|{\mathrm{\α}}_L^p-E\left[{\mathrm{\α}}_L^p\right]\left|\right|}_{l_p}$

其中，表示待处理图像块；表示待处理图像块对应位置的低分辨率稀疏表示子字典；为待处理图像块的K近邻稀疏编码均值；λ是用于平衡稀疏约束项和保真项的正则化参数，其取值根据待处理图像块的噪声水平而不同，噪声水平越大，λ取值越大；β为K近邻稀疏编码均值的约束参数，其取值跟待处理图像块的噪声水平有关，噪声水平越大，β取值越大，β≥0；l_p表示介于第一范数和第二范数之间的范数，1≤l_p≤2；

求解式 ${\mathrm{\α}}_L^p=\arg \min {\left|\right|I_L^p-D_L^p{\mathrm{\α}}_L^p\left|\right|}_2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_L^p\left|\right|}_1+\mathrm{\β}{\left|\right|{\mathrm{\α}}_L^p-E\left[{\mathrm{\α}}_L^p\right]\left|\right|}_{l_p}$ 得到待处理图像块的稀疏编码系数

8.权利要求7所述的基于K近邻稀疏编码均值约束的人脸超分辨率处理方法，其特征在于：

将所述的 ${\mathrm{\α}}_L^p=\arg \min {\left|\right|I_L^p-D_L^p{\mathrm{\α}}_L^p\left|\right|}_2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_L^p\left|\right|}_1+\mathrm{\β}{\left|\right|{\mathrm{\α}}_L^p-E\left[{\mathrm{\α}}_L^p\right]\left|\right|}_{l_p}$ 变换为：

${\mathrm{\α}}_L^p=\arg \min {\left|\right|Z-S{\mathrm{\α}}_L^p\left|\right|}_2+\mathrm{\λ}{\left|\right|{\mathrm{\α}}_L^p\left|\right|}_1$

利用L1范数约束最小二乘法对上式求解得到待处理图像块的稀疏编码系数其中， $Z=\left(\begin{array}{c}{I}_L^p\\ \mathrm{\βE}\left[{\mathrm{\α}}_L^p\right]\end{array}\right),S=\left(\begin{array}{c}{D}_L^p\\ -\mathrm{\β}\end{array}\right),$ 表示待处理图像块对应位置的低分辨率训练样本图像块；表示待处理图像块对应位置的低分辨率稀疏表示子字典；为待处理图像块的K近邻稀疏编码均值；λ是用于平衡稀疏约束项和保真项的正则化参数，其取值根据待处理图像块的噪声水平而不同，噪声水平越大，λ取值越大；β为K近邻稀疏编码均值的约束参数，其取值跟待处理图像块的噪声水平有关，噪声水平越大，β取值越大，β≥0。

9.权利要求1所述的基于K近邻稀疏编码均值约束的人脸超分辨率处理方法，其特征在于：

步骤五中采用系数映射将待处理图像块进行高分辨率图像块重建。

10.权利要求1所述的基于K近邻稀疏编码均值约束的人脸超分辨率处理方法，其特征在于：

步骤六具体为：将重建的高分辨率图像块在相邻处进行交叠平均即可得到高分辨率人脸图像。