CN103824272B - 基于k近邻重识别的人脸超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于K近邻重识别的人脸超分辨率重建方法，将待重建低分辨率人脸图像、高分辨率训练集和低分辨率训练集内样本图像分别划分为相互交叠的图像块；对待重建低分辨率人脸图像的各图像块，根据高分辨率流形的几何信息更可信且更具有代表性这一先验，同时利用低分辨率流形和高分辨率流形的几何信息对识别出的近邻图像进行更新，计算由重新识别出的近邻图像块进行线性重建时的最优权重系数；将重新识别出的近邻图像块，用一一对应的高分辨率训练集内相应图像的相应位置图像块进行替换，加权合成高分辨率图像块；按照合成图像块在人脸上的位置，融合成高分辨率人脸图像。本发明具有更高的重建精度和重建效率，可重建高质量的人脸图像。

Description

基于K近邻重识别的人脸超分辨率重建方法

技术领域

本发明涉及图像超分辨率领域，具体涉及一种基于K近邻重识别的人脸超分辨率重建方法。

背景技术

人脸图像，相对于其他类型的生物特征（如指纹、虹膜、视网膜等），可以采用更方便、自然、直接的方式获得。因为人脸图像的获取是一种非侵入性方式，因此，基于人脸图像的应用得到了广泛的开发和研究。然而，许多情况下，由于摄像机与人脸的距离很远，使得视频所拍摄到的人脸图像往往只有几十像素。由于人脸图像分辨率太低，丢失了过多的细节信息，人或者机器在识别监控摄像机拍摄的人脸过程中困难重重。因此，提高监控录像中低质量人脸图像分辨率的人脸超分辨率技术应运而生，它是一种由低分辨率（Low-Resolution，LR）人脸图像产生高分辨率（High-Resolution，HR）人脸图像的技术，其在智能视频监控、公安刑事侦查、信息安全等领域具有广泛的应用背景。

根据输入图像的数目，超分辨率方法可以分成基于多帧低分辨率图像的重建方法和基于单帧低分辨率图像进行学习的方法两大类，其中，后者能获得更高的放大倍数和更好的重建效果，因而更受关注。这类方法利用构成训练集的高低分辨率图像对的先验信息，对输入的一张低分辨率人脸图像，可以超分辨率重建一张高分辨率人脸图像。

人脸超分辨方法借鉴了普通图像超分辨方法的精华思想。例如，2004年Chang等人^[1]基于著名的流形学习理论^[2]，采用高低分辨率样本库具有相似局部几何特征这一假设，提出一种邻域嵌入的图像超分辨率重建方法，首次将流形学习思想引入图像超分辨率重建中，获得很好的重建效果。但是，该方法所选择的近邻块数是固定的，在对输入图像块进行表示时，会出现过拟合或拟合不当的问题。

由于人脸具有结构性较强的特点，并且人脸位置信息在人脸超分辨重建过程中具有重要作用，通过学习结构信息可以实现更精确的人脸超分效果。因此，在Chang等人^[1]的方法基础上，人脸超分领域近年来提出了很多基于人脸位置块的超分辨率方法，其中最有代表性的是2010年Ma等人^[3]提出的人脸超分辨率方法，该方法使用训练集中所有与输入图像块同位置的人脸图像块重建高分辨率人脸图像，避免流形学习或者特征提取等步骤，提高了效率，同时也提升了合成图像的质量。然而，由于该方法采用最小二乘法进行求解，当训练样本中图像的个数比图像块的维数大时，图像块的表示系数并不唯一。针对这一问题，2011年Jung等人^[4]将稀疏约束加入到图像块求解表示中，提出一种基于凸优化的位置图像块人脸超分辨率方法，可以解决方程的解不唯一的问题。但该方法在合成输入的图像块时为了使输入图像块的表示尽量稀疏，可能选取一些与输入的图像块差异很大的图像块进行线性重建，因此重建效果并不理想。

2012年Jiang等人^[5]提出一种基于局部约束表示的人脸超分辨率重建方法,该方法在合成输入的图像块时，在低分率空间比较训练集中的每个块与输入的图像块的相似度，并按照相似度分配权重。然而，由于低分辨图像丢失了细节信息，在低分辨率空间相似的两个图像块，它们对应的高分辨率图像块可能并不相似，因此用不相似的高分辨块重建图像，重建效果仍然不能令人满意。

无论是使用协作性^[3]、稀疏^[4]还是局部约束^[5]，上述所有方法都是通过探索合理的先验知识，查找最具代表性的图像块从而获得最佳的重建权重来实现人脸超分辨率。因此，如何获取最合理的K近邻是最首要问题。此外，上述方法仅考虑了一个流形空间（低分辨率块流形），忽略几何信息更可信并且具有代表性的高分辨率块流形信息。

发明内容

针对现有技术存在的不足，本发明提供了一种基于K近邻重识别的人脸超分辨率重建方法，具有更高的重建精度和重建效率，可提高重建的高分辨率人脸图像质量。

为解决上述技术问题，本发明采用如下的技术方案：

基于K近邻重识别的人脸超分辨率重建方法，包括步骤：

步骤1，将待重建低分辨率人脸图像、低分辨率训练集中低分辨率样本图像及高分辨率训练集中高分辨率样本图像划分为数量相等的相互重叠图像块，所述的低分辨率样本图像和所述的高分辨率样本图像一一对应；

步骤2，对待重建低分辨率人脸图像中各图像块分别进行超分辨率重建，本步骤进一步包括子步骤：

2.1从高分辨率训练集和低分辨率训练集样本图像中提取与图像块位置相同的图像块，构成图像块的高分辨率训练样本图像块集H^q和低分辨率训练样本图像块集L^q；

2.2从图像块的低分辨率训练样本图像块集L^q中找出图像块的k个近邻图像块，构成图像块的低分辨率样本图像块近邻序列

2.3从图像块的高分辨率训练样本图像块集H^q中找出与低分辨率样本图像块近邻序列对应的图像块，构成高分辨率样本图像块序列对高分辨率样本图像块序列中k个图像块中的每一个图像块，从高分辨率训练样本图像块集H^q中找出其对应的k_re个近邻图像块，得到k*k_re个高分辨率图像块；

2.4从步骤2.3得到的k*k_re个高分辨率图像块中找出重复次数最多的前k_re个高分辨率图像块，构成高分辨率样本图像块集从低分辨率训练样本图像块集L^q中找出与高分辨率样本图像块集中图像块对应的k_re个低分辨率图像块，构成用于图像块重建的低分辨率样本图像块集

2.5采用低分辨率样本图像块集对图像块进行线性重建，获得低分辨率样本图像块集中各图像块对图像块线性重建的最优权值系数；

2.6用高分辨率样本图像块集中的图像块与步骤2.5得到的最优权值系数加权合成图像块的重建图像块；

步骤3，基于重建图像块获得高分辨率人脸图像。

步骤1中所述的将待重建低分辨率人脸图像、低分辨率训练集中低分辨率样本图像及高分辨率训练集中高分辨率样本图像划分为数量相等的相互重叠图像块，具体为：

以待划分图像左上方为起点，选取图像块，使图像块上方和左方与图像已划分部分有像素交叠，图像块上边边缘或左边边缘位于待划分图像上边边缘或左边边缘时除外；当图像块超出待划分图像的右边边缘或下边边缘时，以待划分图像右边边缘或下边边缘为界，向左或上移动图像块至图像块右边边缘或下边边缘与待划分图像的右边边缘或下边边缘重合。

步骤2.2中所述的从图像块的低分辨率训练样本图像块集L^q中找出图像块的k个近邻图像块，具体为：

从低分辨率训练样本图像块集L^q中选出与图像块欧氏距离最近的k个图像块，即为图像块的k个近邻图像块。

步骤2.5具体为：

图像块线性重建的最优权值系数由下式获得：

其中，为低分辨率样本图像块集中图像块对图像块的重建系数，w^q是低分辨率样本图像块集中各图像块对图像块的重建系数组成的行向量，k_re为低分辨率样本图像块集中图像块数量；表示图像块的信息；表示低分辨率样本图像块集中第图像块的信息；为重建系数的惩罚因子；τ是平衡重建误差和局部约束的正则化参数，根据经验取值；“°”表示两个向量间的内积运算；表示欧氏平方距离，函数表示返回关于变量w^q的函数在得到最小值时w^q的取值即最优权值系数。

所述的惩罚因子采用图像块和低分辨率样本图像块集中图像块的欧式平方距离表示。

步骤3具体为：

将重建图像块按位置叠加，并除以像素交叠次数，获得重建的高分辨率人脸图像。

本发明将待重建低分辨率人脸图像、高分辨率训练集和低分辨率训练集内样本图像分别划分为相互交叠的图像块；对待重建低分辨率人脸图像的各图像块，根据高分辨率流形的几何信息更可信且更具有代表性这一先验，同时利用低分辨率流形和高分辨率流形的几何信息对识别出的近邻图像进行更新，计算由重新识别出的近邻图像块进行线性重建时的最优权重系数；将重新识别出的近邻图像块，用一一对应的高分辨率训练集内相应图像的相应位置图像块进行替换，加权合成高分辨率图像块；按照合成图像块在人脸上的位置，融合成高分辨率人脸图像。本发明提出的K近邻重识别模型，更准确的选择训练样本图像块集合中与待重建图像块近邻的图像块来线性重建图像块，得到最优权重系数，合成出高质量的高分辨率图像。

和现有技术相比，本发明具有以下特点和有益效果：

1、本发明首先使用低分辨率块流形的信息查找初始近邻，然后使用高分辨块流形信息更新近邻，采用更新近邻从而可更准确表示待重建低分辨率图像块，提高重建高分辨率人脸图像的质量。

2、本发明同时使用低分辨率块流形和高分辨率图像块流形信息，和文献1、3、4和5中记载的方法相比，能更准确获取待重建低分辨率图像块的近邻。

3、本发明只使用重识别的近邻进行高分辨重建，避免了同类算法中由于选择太多图像块而造成多个解（见文献3），也避免了由于过份强调稀疏性而忽略局部性（见文献4）的问题，在提高重建精度的同时，重建过程用时更少。

附图说明

图1为本发明实施例的流程图；

图2为人脸图像的块划分方法。

具体实施方式

本发明技术方案可采用软件技术实现自动流程运行。下面结合附图和具体实施方式对本发明技术方案进一步详细说明。

参见图1，本发明具体步骤如下：

步骤1，图像块划分。

输入待重建低分辨率人脸图像，将待重建低分辨率人脸图像、低分辨率训练集中低分辨率样本图像及高分辨率训练集中高分辨率样本图像分别划分为数量相等的相互重叠图像块。

低分辨率训练集由低分辨率人脸图像构成，高分辨率训练集由高分辨率人脸图像构成，低分辨率训练集和高分辨率训练集中样本图像数量相同，且低分辨率样本图像和高分辨率样本图像一一对应，低分辨率样本图像是高分辨率样本图像通过插值下采样四倍获得。本具体实施方式中，高分辨率训练集中各样本图像像素大小为112×100，低分辨率训练集中各样本图像像素大小为28×25。

对待重建低分辨率人脸图像、低分辨率样本图像及高分辨率样本图像按照相同的划分方式划分相互重叠的图像块。相互重叠的图像块的划分属于现有技术，为便于实施参考起见，下面结合图2提供图像块划分的具体实施方式：

以待划分图像左上方为起点，选取大小s×s（单位：像素）的图像块，使图像块的上方和左方与已划分部分（图中阴影部分）有o个像素交叠，图像块上边边缘或左边边缘位于待划分图像上边边缘或左边边缘时除外。当图像块超出待划分图像的右边边缘或下边边缘时，以待划分图像右边边缘或下边边缘为界，向左或上移动图像块至图像块右边边缘或下边边缘与待划分图像的右边边缘或下边边缘重合。

本具体实施方式中，待重建低分辨率人脸图像记为x_t，高分辨率训练集记为y_i表示高分辨率训练集中第i个样本图像；低分辨率训练集记为x_i表示低分辨率训练集中第i个样本图像。由于高分辨率训练集和低分辨率训练集中的样本图像一一对应，为便于后续步骤，将高分辨率训练集和低分辨率训练集中样本图像对应编号，即低分辨率训练集中样本图像x_i是高分辨率训练集中样本图像y_i通过4倍插值下采样结果。

完成图像块划分后，待重建低分辨率人脸图像x_t划分的图像块构成待重建低分辨率图像块集高分辨率训练集中样本图像划分的图像块构成高分辨率样本图像块集低分辨率训练集中样本图像划分的图像块构成低分辨率样本图像块集其中，标识i用于表示高分辨率训练集和低分辨率训练集中样本图像的序号；标识j表示图像中图像块位置序号；M为各图像划分的图像块数量，可根据图像块大小s×s和交叠像素o得到， $M=\left(\mathrm{ceil}\left(\frac{\mathrm{high}-o}{s-o}\right)\right)*\left(\mathrm{ceil}\left(\frac{\mathrm{width}-o}{s-o}\right)\right),$ high和width分别为待划分图像的高和宽（单位：像素），函数ceil(x)表示返回大于或等于x的最小整数。

步骤2，从低分辨率样本图像块集中分别获得待重建低分辨率图像块集中各图像块的k个近邻图像块，获得各待重建图像块的低分辨率样本图像块近邻序列。

下面将以待重建低分辨率人脸图像x_t中第q（1≤q≤M）个图像块为例具体说明本步骤。

将低分辨率样本图像块集中与图像块位置相同的图像块作为样本点，建立图像块的低分辨率训练样本图像块集，在图像块的低分辨率训练样本图像块集中，计算欧式距离度量下图像块的前k个近邻图像块。对待重建低分辨率图像块集中所有图像块，均按上述方法获得各图像块的k个近邻图像块。

本步骤进一步包括子步骤：

步骤2.1构建图像块的高分辨率训练样本图像块集H^q和低分辨率训练样本图像块集L^q。

分别提取高分辨率训练集和低分辨率训练集中所有样本图像的第q个图像块，构成高分辨率训练样本图像块集和低分辨率训练样本图像块集i表示图像块所在图像在高分辨率训练集中的序号，也表示图像块所在图像在低分辨率训练集中的序号，N为高分辨率训练集和低分辨率训练集中样本图像数量。

步骤2.2，从低分辨率训练样本图像块集L^q中选择图像块的k个近邻图像块。

从图像块的低分辨率训练样本图像块集L^q中选出与图像块欧氏距离最近的k个图像块，构成按欧式距离升序的低分辨率样本图像块近邻序列 $L_k^q=\left\{x_{\stackrel{\‾}{i}}^q\right|x_{\stackrel{\‾}{i}}^q\∈C\left(x_t^q\right),\left|C\left(x_t^q\right)\right|=k\},$ 表示图像块的邻域集合，表示邻域集合中图像块的个数，表示L^q中的图像块 表示图像块在低分辨率样本图像块近邻序中的序号。

在图像识别和计算机视觉领域，一般采用图像间距离来判断图像间的相似程度，欧式距离、切线距离、图像欧式距离等均为判断图像间相似程度的常规方法。本具体实施中采用欧式距离进行度量，但并不限于此。

步骤3，从待重建图像块的高分辨率训练样本图像块集H^q中获得待重建图像块的k个高分辨率近邻样本图像块。

下面仍以待重建低分辨率人脸图像x_t中第q（1≤q≤M）个图像块为例具体说明本步骤。

从图像块的高分辨率训练样本图像块集H^q中提取出与低分辨率样本图像块近邻序列中图像块一一对应的高分辨率样本图像块，并构建与低分辨率样本图像块近邻序列对应的高分辨率样本图像块序列 表示高分辨率训练样本图像块集H^q中的图像块 表示图像块在高分辨率样本图像块序列中的序号。

对高分辨率样本图像块序列中的k个图像块中的某一个图像块分别从高分辨率训练样本图像块集H^q中选出与图像块欧氏距离最近的k_re个图像块，形成按欧式距离升序的高分辨率样本图像块近邻序列 $H_{k_{\mathrm{re}}}^q=\left\{y_{\hat{i}}^q\right|y_{\hat{i}}^q\∈C\left(y_i^q\right),\left|C\left(y_i^q\right)\right|=k_{\mathrm{re}}\},$ 共得到k*k_re个高分辨率图像块。k和k_re根据经验取值，要同时兼顾重建速度和重建精度。表示图像块的邻域集合，表示邻域集合中图像块的个数，为高分辨率训练样本图像块集H^q中的图像块，表示图像块在高分辨率样本图像块近邻序列中的序号。

本步骤采用欧式距离度量来获得图像块的k_re个图像块，但并不限于此。

步骤4，根据待重建图像块的高分辨率样本图像块近邻序列，获得用于待重建图像块重建的高分辨率样本图像块集和低分辨率样本图像块集。

下面仍以待重建低分辨率人脸图像x_t中第q（1≤q≤M）个图像块为例具体说明本步骤。

从步骤3所得的k*k_re个高分辨率图像块中寻找重复次数最多的k_re个图像块，构成用于图像块重建的高分辨率样本图像块集 $H_{k_{\mathrm{re}}}^{\′q}=\left\{y_{\hat{i}}^q\right|y_{\hat{i}}^q\∈C\left(y_i^q\right),\left|C\left(y_i^q\right)\right|=k_{\mathrm{re}}\}.$ 在图像块的低分辨率训练样本图像块集中，找出与高分辨率样本图像块集中各图像块对应的低分辨率样本图像块 $L_{k_{\mathrm{re}}}^q=\left\{x_{\stackrel{\‾}{i}}^q\right|x_{\stackrel{\‾}{i}}^q\∈C\left(x_t^q\right),\left|C\left(x_t^q\right)\right|=k_{\mathrm{re}}\},$ 构成用于图像块重建的低分辨率样本图像块集

步骤5，采用步骤4获得的用于待重建图像块重建的低分辨率样本图像块集对待重建图像块进行线性重建，获得待重建图像块线性重建的最优权值系数。

对于待重建低分辨率人脸图像中各图像块，计算由用于该图像块重建的低分辨率样本图像块集对该图像块进行线性重建时的最优权值系数。最优权值系数的计算属于现有技术，为便于实施参考起见，下面以待重建低分辨率人脸图像x_t中第q（1≤q≤M）个图像块为例具体说明本步骤。

对待重建低分辨率人脸图像x_t中图像块使用步骤4所得低分辨率样本图像块集对图像块进行线性重建，并获得图像块线性重建的最优权值系数。

本具体实施方式中，图像块线性重建的最优权值系数由下式获得：

式（1）由两部分组成，第一部分是超分辨率重建约束，第二部分是待重建图像块的局部约束。其中，为低分辨率训练集中第i个样本图像的第q个图像块（本具体实施中，该图像块为用于图像块重建的低分辨率样本图像块集中的图像块）的重建系数，可采用SLEP toolbox获得。w^q是用于图像块重建的低分辨率样本图像块集中各图像块重建系数组成的行向量， 为重建系数的惩罚因子；τ是平衡重建误差和局部约束的正则化参数；“°”表示两个向量间的内积运算；表示欧氏平方距离，函数表示返回关于变量w^q的函数在得到最小值时w^q的取值即最优权值系数。

$w^{q^{*}}=[w_1^{q^{*}},w_2^{q^{*}},...,w_i^{q^{*}},...,w_{k_{\mathrm{re}}}^{q^{*}}],$ 为合成图像块时、来自低分辨率训练集第i个样本图像第q个图像块（该图像块为用于图像块图像块集中的图像块）的最优权值系数。

为待重建低分辨率人脸图像中第q个图像块；为低分辨率训练集第i个样本图像的第q个图像块（本具体实施中，该图像块为用于图像块重建的低分辨率样本图像块集中的图像块）。公式（1）中的和表均表示图像块的信息，可以为像素值、色度、亮度等特征。当图像块距离待重建图像块较大时，赋予较大的惩罚；反之，当图像块距离待重建图像块较小时，赋予较小的惩罚。通过最小化式（1）就可保证尽可能选取与图像块近邻的样本图像块。本具体实施中采用欧式平方距离来表示惩罚因子

τ是用来平衡重建约束和局部约束的一个正则化参数。τ取不同值时的重建效果不同，当τ＝0时，公式（1）中的待重建图像块表示的局部约束退化为文献3中的最小二乘表示方法。经多次试验，本发明提供τ的优选值为0.02～0.1。

具体实施时，式（1）的解可由下式子获得：

$w^{q^{*}}=(G^q+\mathrm{\τD})\backslash 1---\left(2\right)$

即为在待重建图像块的局部约束下、由用于待重建图像块重建的低分辨率样本图像块集对待重建图像块进行线性重建时的最优权值系数。

式（2）中，D是一个M×M的对角矩阵，可表示为：

$D_{\mathrm{ii}}=d_i^q,1\≤i\≤M---\left(3\right)$

D_ii为对角矩阵D第i行i列的取值，为重建系数的惩罚因子。

G^q是待重建图像块的局部协方差矩阵，可表示为：

G^q＝CC^T （4）

矩阵C定义为：

$C=(x_t^q\·\mathrm{ones}(1,k_{\mathrm{re}})-x^q)---\left(5\right)$

其中，x^q是由用于图像块重建的低分辨率样本图像块集中各图像块像素值构成的矩阵，ones(1,k_re)是元素全为1的1×k_re行向量；C^T表示矩阵C的转置矩阵。

步骤6，高分辨率人脸图像块的加权合成。

将用于图像块重建的高分辨率样本图像块集中各图像块像素值与对应的最优权值系数加权合成图像块的重建图像块。

本具体实施中加权合成的高分辨率人脸图像块为：

$y_t^q={\mathrm{\Σ}}_{i=1}^{k_{\mathrm{re}}}\left(w_i^{q^{*}}{y}_i^q\right)---\left(6\right)$

式（6）中，为步骤5中重建图像块时、来自低分辨率样本图像块集中各图像块的最优权值系数；为用于图像块重建的高分辨率样本图像块集中的图像块。

步骤7，将步骤6合成的高分辨率人脸图像块按照位置叠加，然后除以每个像素位置交叠的次数，重建出高分辨率人脸图像。

下面将结合对比实验来说明本发明的技术效果。

采用CAS-PEAL-R1大规模中国人脸数据库^[6]，选用所有1040个个体的中性表情、正常光照下的正面人脸图像，抠取人脸区域并将其裁剪成112×100像素大小，选取1000张为训练样本，剩余40张为待测试图像。训练样本采用4×4平均滤波器对高分辨率图像进行平滑，并4倍下采样得到28×25的低分辨率样本。

高分辨率人脸图像划分为12×12大小的图像块，交叠4个像素；低分辨率人脸图像划分为3×3大小的图像块，交叠1个像素。即对于高分辨率人脸图像，high=112,width=100,s=12,o=4；对于低分辨率人脸图像，high=28,width=25,s=3,o=1。本实施例中，参数k取值5，k_re取值180。

峰值信噪比（PSNR，单位：dB）是最普遍、使用最广泛的图像质量客观量测指标。SSIM是衡量两幅图相似度的指标，其值越接近于1，说明图像重建效果越好。现有资料已表明：文献5中记载的图像重建方法优于文献1、文献3、文献4中记载的方法。分别采用本发明方法和文献5中记载的方法重建本实施例中的40幅待测试图像，并测试PSNR值和SSIM值的平均值，见表1。

从表1中可以看出，文献5和本发明方法的PSNR值分别为28.796和29.129，SSIM值分别为0.9079和0.9124，即，本发明方法比现有技术中最好的重建算法）的PSNR值和SSIM值分别提高0.333dB和0.0045。

表1本发明方法和现有方法的PSNR值和SSIM值

文献5和本发明方法重建图像的平均重建时间对比见表2，文献5和本发明方法的平均重建时间分别为17.077秒和3.107秒，采用文献5中记载的方法重建低分辨率图像的时间是本发明方法的5倍多。

表2本发明方法和现有方法的重建时间

文中涉及的参考文献如下：

文献1：H.Chang,D.Y.Yeung,and Y.M.Xiong.Super-resolution throughneighbor embedding.In CVPR,pp.275–282,2004.

文献2：S.T.Roweis and L.K.Saul.Nonlinear dimensionality reduction bylocally linear embedding.Science,290(5500):2323–2326,2000.

文献3：X.Ma,J.P Zhang,and C.Qi.Hallucinating face by position-patch.Pattern Recognition,43(6):3178–3194,2010.

文献4：C.Jung,L.Jiao,B.Liu,and M.Gong,“Position-Patch Based FaceHallucination Using Convex Optimization,”IEEE Signal Process.Lett.,vol.18,no.6,pp.367–370,2011.

文献5：J.Jiang,R.Hu,Z.Han,T.Lu,and K.Huang,“Position-patch based facehallucination via locality-constrained representation,”in ICME,2012,pp.212–217.

文献6：W.Gao,B.Cao,S.Shan,X.Chen,et al.The CAS-PEAL Large-ScaleChinese Face Database and Baseline Evaluations[J].IEEE Trans.SMC(Part A),2008,38(1):149-161.

Claims (4)

1.基于K近邻重识别的人脸超分辨率重建方法，其特征在于，包括步骤：

步骤1，将待重建低分辨率人脸图像、低分辨率训练集中低分辨率样本图像及高分辨率训练集中高分辨率样本图像划分为数量相等的相互重叠图像块，所述的低分辨率样本图像和所述的高分辨率样本图像一一对应；

步骤2，对待重建低分辨率人脸图像中各图像块分别进行超分辨率重建，本步骤进一步包括子步骤：

2.1从高分辨率训练集和低分辨率训练集样本图像中提取与图像块位置相同的图像块，构成图像块的高分辨率训练样本图像块集H^q和低分辨率训练样本图像块集L^q；

2.2从图像块的低分辨率训练样本图像块集L^q中找出图像块的k个近邻图像块，构成图像块的低分辨率样本图像块近邻序列

2.3从图像块的高分辨率训练样本图像块集H^q中找出与低分辨率样本图像块近邻序列对应的图像块，构成高分辨率样本图像块序列对高分辨率样本图像块序列中k个图像块中的每一个图像块，从高分辨率训练样本图像块集H^q中找出其对应的k_re个近邻图像块，得到k*k_re个高分辨率图像块；

2.4从步骤2.3得到的k*k_re个高分辨率图像块中找出重复次数最多的前k_re个高分辨率图像块，构成高分辨率样本图像块集从低分辨率训练样本图像块集L^q中找出与高分辨率样本图像块集中图像块对应的k_re个低分辨率图像块，构成用于图像块重建的低分辨率样本图像块集

2.5采用低分辨率样本图像块集对图像块进行线性重建，获得低分辨率样本图像块集中各图像块对图像块线性重建的最优权值系数；

2.6用高分辨率样本图像块集中的图像块与步骤2.5得到的最优权值系数加权合成图像块的重建图像块；

步骤3，基于重建图像块获得高分辨率人脸图像；

步骤1中所述的将待重建低分辨率人脸图像、低分辨率训练集中低分辨率样本图像及高分辨率训练集中高分辨率样本图像划分为数量相等的相互重叠图像块，具体为：

以待划分图像左上方为起点，选取图像块，使图像块上方和左方与图像已划分部分有像素交叠，图像块上边边缘或左边边缘位于待划分图像上边边缘或左边边缘时除外；当图像块超出待划分图像的右边边缘或下边边缘时，以待划分图像右边边缘或下边边缘为界，向左或上移动图像块至图像块右边边缘或下边边缘与待划分图像的右边边缘或下边边缘重合；

步骤2.5具体为：

图像块线性重建的最优权值系数由下式获得：

$w^{q*}=\underset{w^q}{\mathrm{argmin}}\left\{\right||x_t^q-\underset{\stackrel{\‾}{i}=1}{\overset{k_{re}}{\Σ}}\left(w_{\stackrel{\‾}{i}}^q{x}_{\stackrel{\‾}{i}}^q\right)|{|}_2^2+\mathrm{\τ}\underset{\stackrel{\‾}{i}=1}{\overset{k_{re}}{\Σ}}\left|\right|w_{\stackrel{\‾}{i}}^q{\mathrm{od}}_{\stackrel{\‾}{i}}^q\left|{|}_2^2\right\}$

其中，为低分辨率样本图像块集中图像块对图像块的重建系数，w^q是低分辨率样本图像块集中各图像块对图像块的重建系数组成的行向量，k_re为低分辨率样本图像块集中图像块数量；表示图像块的信息；表示低分辨率样本图像块集中第图像块的信息；为重建系数的惩罚因子；τ是平衡重建误差和局部约束的正则化参数，根据经验取值；“o”表示两个向量间的内积运算；表示欧氏平方距离，函数表示返回关于变量w^q的函数在得到最小值时w^q的取值即最优权值系数；所述的惩罚因子采用图像块和低分辨率样本图像块集中图像块的欧式平方距离表示。

2.如权利要求1所述的基于K近邻重识别的人脸超分辨率重建方法，其特征在于：

步骤2.2中所述的从图像块的低分辨率训练样本图像块集L^q中找出图像块的k个近邻图像块，具体为：

从低分辨率训练样本图像块集L^q中选出与图像块欧氏距离最近的k个图像块，即为图像块的k个近邻图像块。

3.如权利要求1所述的基于K近邻重识别的人脸超分辨率重建方法，其特征在于：

步骤2.3中所述的对高分辨率样本图像块序列中k个图像块中的每一个图像块，从高分辨率样本图像块集H^q中找出其对应的k_re个近邻图像块，具体为：

从高分辨率样本图像块集H^q中选出与高分辨率样本图像块序列中各图像块欧氏距离最近的k_re个图像块，即为找出的k_re个近邻图像块。

4.如权利要求1所述的基于K近邻重识别的人脸超分辨率重建方法，其特征在于：

步骤3具体为：

将重建图像块按位置叠加，并除以像素交叠次数，获得重建的高分辨率人脸图像。