CN104091320B - 基于数据驱动局部特征转换的噪声人脸超分辨率重建方法 - Google Patents

Abstract

一种基于数据驱动局部特征转换的噪声人脸超分辨率重建方法，包括对待重建的输入低分辨率人脸图像和高、低分辨率训练集相应划分相互重叠的图像块；对于输入低分辨率人脸图像的每一个位置上的图像块，分别从低分辨率人脸样本图像对应位置的图像块中找出K个最近邻的图像块，并对应找出相应高分辨率人脸样本图像中的图像块，进行去均值化；利用映射系数计算出各图像块相应的高分辨率人脸图像块，重构出高分辨率人脸图像，进行迭代后处理。本发明解决了主成分分析无法捕获处于高维流形空间人脸特征的问题，利用局部流形的线性特性有效的进行了噪声人脸图像的超分辨率重建，同时进行高分辨率图像后处理，进一步提高了重建结果的主、客观图像质量。

Description

基于数据驱动局部特征转换的噪声人脸超分辨率重建方法

技术领域

本发明涉及人脸图像超分辨率领域，具体涉及一种基于数据驱动局部特征转换的噪声人脸超分辨率重建方法。

背景技术

随着“平安城市”建设的不断深入，视频监控广泛的应用于日常生活，它们为视频侦查中犯罪嫌疑人的追踪和捕获提供了巨大的帮助。然而，行人与摄像机距离较远，拍摄到的人脸为低分辨率图像从而缺乏的面部细节特征，而这些特征对于人脸图像的分析和识别是非常重要的。同时，低光照、低质量设备和其他的一些因素，均会导致监控视频包含大量的噪声，严重影响了人脸识别的效率。图像超分辨率技术正是致力于解决这一难题，它无需更高要求的硬件设备就可以为本发明提供包含更多细节的高分辨率(HR)和高品质的图像。2000年，Baker和Kanade在文献1(S.Baker and T.Kanade.Hallucinating faces.In FG,Grenoble,France,Mar.2000,83-88.)中首次提出人脸超分辨率方法，又叫人脸幻构(facehallucination)，他们采用贝叶斯方法，利用训练集中人脸图像的先验信息，通过学习的方法获得低分辨率人脸对应的高分辨率图像，以此来达到较大的放大倍数及较好的效果。在此之后，基于学习的人脸图像超分辨率方法引起了人们的广泛关注。

Wang等人在文献2(X.Wang and X.Tang.Hallucinating face byeigentransformation[J].IEEE Trans.SMC(Part C),2005,vol.35,no.3,pp.425–434.)中提出一种基于特征转换的全局脸超分辨率方法。他们利用主成分分析(PCA)将输入的低分辨率人脸图像用低分辨率训练集图像进行线性表示，再把表示系数与训练集中低分辨率图像对应的高分辨率图像线性结合，最终重构得到高分辨率目标图像。由于增强了低分辨率人脸图像中的特征信息，重建后的高分辨率图像去除了大量噪声并保留大部分的人脸特征。然而，这种方法只关注了人脸的全局结构而忽略了局部细节，合成出来的图像通常缺乏必要的高频信息(尤其是在训练集较小的情况下)。而基于图像块的人脸超分辨率方法通过将人脸图像划分为相互重叠的人脸图像块，与全局脸的方法相比，具有更强的表达能力，因此已经吸引了图像领域越来越多的学者们的关注。

基于低分辨率训练集图像块空间和高分辨率训练集图像块空间拥有相似的局部几何结构这一假设，Chang等人在文献3(H.Chang,D.Y.Yeung,and Y.M.Xiong.Super-resolution through neighbor embedding.In CVPR,pp.275–282,2004.)中提出一种局部线性嵌入超分辨率方法，高分辨率图像块由训练集中K个最近邻的高分辨率图像块线性组合得到。Ma等人在文献4(X.Ma,J.P Zhang,and C.Qi.Hallucinating face by position-patch.Pattern Recognition,43(6):3178–3194,2010.)中提出一种基于位置图像块的超分辨率方法，利用低分辨率样本库中相同位置的图像块对输入低分辨率图像块进行最小二乘表示来获得最优权重。

Yang等人(文献5，J.Yang,H.Tang,Y.Ma,and T.Huang,“Face hallucination viasparse coding,”ICIP,pp.1264–1267,2008.)提出一种基于稀疏表达的超分辨率方法，利用低分辨率图像块完备字典将输入低分辨率图像块进行稀疏表示，得到一组稀疏系数，并将此系数与对应的高分辨率字典结合即可得到目标高分辨率图像块。专利1(胡瑞敏、江俊君、王冰、韩镇、黄克斌、卢涛、王亦民，一种基于局部约束表示的人脸超分辨率重建方法，专利申请号：201110421452.3)中进一步改善了基于位置块的人脸幻构方法，在对图像块进行重建过程中利用流形的局部几何约束替换了文献5中的稀疏约束，通过选择距离近的块，惩罚距离远的块，使重建结果同时具有稀疏性和局部性。以上基于图像块的方法大部分针对于无噪声图像的超分辨率重建。而在实际监控场景中，退化后的人脸图像往往不可避免的被噪声所影响，因此，提出一种对噪声鲁棒的超分辨率方法是当前的首要任务。

发明内容

本发明目的是提供一种基于数据驱动局部特征转换的噪声鲁棒人脸超分辨率重建方法，解决现有同类算法不能鲁棒表示噪声人脸图像的问题，通过利用流形的局部线性获得最优(稳定、精确)的结果。

为达到上述目的，本发明采用的技术方案是一种基于数据驱动局部特征转换的噪声人脸超分辨率重建方法，包括如下步骤：

步骤1，对待重建的输入低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像相应划分相互重叠的图像块，低分辨率训练集中每个低分辨率人脸样本图像是由高分辨率训练集中的一个相应高分辨率人脸样本图像经模糊下采样提取；

步骤2，对于输入低分辨率人脸图像的每一个位置上的图像块，分别执行以下处理，

从低分辨率训练集中每张低分辨率人脸样本图像对应位置的图像块中找出K个最近邻的图像块，记为K低分辨率训练集近邻图像块集合并根据所得低分辨率的K个最近邻图像块一一对应找出相应高分辨率人脸样本图像中的图像块，得到高分辨率的K个图像块，记为K高分辨率训练集近邻图像块集合

计算低分辨率训练集中所有低分辨率人脸样本图像对应位置的图像块的均值以及高分辨率训练集中所有高分辨率人脸样本图像对应位置的图像块的均值

K高、低分辨率训练集近邻图像块集合和中的每个图像块的每个像素分别减去和后所得图像块构成的集合分别表示为和

步骤3，对于输入低分辨率人脸图像的每一个位置上的图像块，计算该图像块重建后的估计和集合间的映射系数c，并利用映射系数c和集合计算出该图像块相应的高分辨率人脸图像块；

步骤4，将步骤3所得输入低分辨率人脸图像每一个位置上的图像块相应的高分辨率人脸图像块按照位置叠加，然后除以每个像素位置交叠的次数，重构出高分辨率人脸图像；

步骤5，对于步骤4重构出的高分辨率人脸图像，进行迭代后处理。

而且，步骤3中，设对于输入低分辨率人脸图像的每一个位置(p,q)上的图像块计算出其与集合的映射系数c，包括设集合和形成矩阵记矩阵的特征向量和特征值分别为V_l和Λ_l，

其中，为图像块相应的高分辨率人脸图像块。

而且，步骤5包括以下子步骤，

步骤5.1，令当前迭代次数n＝0，输入步骤4重构出的高分辨率人脸图像

步骤5.2，根据下式更新

其中，λ是预设的松弛因子，η是预设的偏差阈值，“·”是像素索引，表示高分辨率人脸图像中的某个像素，r(·)表现该像素的相应偏差；

步骤5.3，判断是否当前迭代次数n＝N，N为预设迭代次数，

若是，则输出本次执行步骤5.2所得作为最终的目标高分辨率输出图像，

若否，则令n＝n+1，返回步骤5.2，以本次执行步骤5.2所得为输入，进行下一次迭代更新

本发明提出一种基于数据驱动局部特征转换的噪声鲁棒人脸超分辨率重建方法，用以解决由于人脸图像处于高维非线性空间，传统线性主成份分析方法无法有效的揭示其非线性特征这一问题。首先，查找同输入图像块最近邻的图像块样本构建局部线性的空间，然后在这个局部空间中，对挑选的训练样本块做特征转换人脸超分辨率重建，此外，还进行了后处理来降低经模糊下采样重构高分辨率图像而得到的低分辨率图像与原始输入低分辨率图像间的差异，保证了在获得更好质量高分辨率图像的同时又与输入低分辨率图像保持一定的一致性。

附图说明

图1为本发明流程图。

具体实施方式

本发明技术方案可采用软件技术实现自动流程运行。下面结合附图和实施例对本发明技术方案进一步详细说明。参见图1，本发明实施例具体步骤为：

步骤1，输入待重建的低分辨率人脸图像，对输入的低分辨率人脸图像、低分辨率训练集中的所有低分辨率人脸样本图像以及高分辨率训练集中的所有高分辨率人脸样本图像分别划分相互重叠的图像块。

低分辨率训练集中包含低分辨率人脸样本图像，高分辨率训练集中包含高分辨率人脸样本图像，低分辨率训练集和高分辨率训练集提供预先设定的训练样本对，即低分辨率训练集中的所有低分辨率人脸样本图像和高分辨率训练集中的所有高分辨率人脸样本图像一一对应。低分辨率训练集中每个低分辨率人脸样本图像是由高分辨率训练集中的一个相应高分辨率人脸样本图像经模糊下采样提取，本领域技术人员可以自行设定采用的模糊算子和下采样算子。实施例中，所有高分辨率的图像像素大小为120×100，所有低分辨率的图像像素大小为30×25。低分辨率人脸样本图像是高分辨率人脸样本图像通过Bicubic下采样四倍的结果。

实施例中，设输入的低分辨率人脸图像高分辨率训练集和低分辨率训练集对它们划分图像块所得集合分别被表示为 和其中，标识i表示高分辨率训练集中高分辨率人脸样本图像和低分辨率训练集中相应低分辨率人脸样本图像的索引，U和V分别表示每一列和每一行划分出的图像块数，(p,q)是图像块位置坐标，m是高分辨率训练集中高分辨率人脸样本图像和低分辨率训练集中相应低分辨率人脸样本图像数。

本发明对输入的低分辨率人脸图像、所有低分辨率人脸样本图像和高分辨率人脸样本图像划分相互重叠的图像块采用一致的方式，即每个图像划分的具体的U和V数值相同，具体划分方式可参见专利1。

步骤2，对于输入低分辨率人脸图像的每一个位置上的图像块，分别从低分辨率训练集中每张低分辨率人脸样本图像对应位置的图像块中找出K个最近邻的图像块(可构成K低分辨率训练集近邻图像块集合)，并根据所得低分辨率的K个最近邻图像块一一对应找出相应高分辨率人脸样本图像中的图像块，得到高分辨率的K个图像块(可构成K高分辨率训练集近邻图像块集合)；计算低分辨率训练集中所有低分辨率人脸样本图像对应位置的图像块的均值，以及高分辨率训练集中所有高分辨率人脸样本图像对应位置的图像块的均值；

实施例对于输入低分辨率人脸图像的每一个位置(p,q)上的图像块分别根据欧式距离找出低分辨率训练集同一位置的图像块中的K个最近邻图像块，并找出对应的高分辨率训练集图像块中的K个图像块：

其中，i是低分辨率训练集图像块所属低分辨率人脸样本图像的序号，m表示训练集图像数，d_i(p,q)表示低分辨率训练集中第i张低分辨率人脸样本图像位置(p,q)上的图像块与图像块间的欧氏距离。具体实施时，本领域技术人员可自行预设K的取值。在本实施例中，K取75。

设对于任一位置(p,q)上的图像块根据欧式距离找出同一位置的低分辨率训练集图像块中的K个最近邻图像块后，这K个最近邻图像块所属低分辨率人脸样本图像的序号构成的集合为图像块相应的K低分辨率训练集近邻图像块集合、K高分辨率训练集近邻图像块集合可分别被表示为：

其中，k表示索引号，它的取值范围在集合中，提供低分辨率训练集图像块中与输入图像块最近邻的K个图像块的索引，K低分辨率训练集近邻图像块和K高分辨率训练集近邻图像块的索引保持一致；为简化表示起见，用I^L(p,q)标识标识这些近邻块组成了整个图像块空间的局部线性空间。

分别计算位置(p,q)上训练库所有高、低分辨率样本图像块的均值，记为

和则K高、低分辨率训练集近邻图像块集合和中的每个图像块的每个像素分别减去和后所得图像块构成的集合分别表示为和

步骤3，对于输入低分辨率人脸图像的每一个位置上的图像块，计算该图像块重建后的估计和去均值化的K低分辨率训练集近邻图像块集合间的映射系数c，并利用映射系数c计算出该图像块相应的高分辨率人脸图像块。

实施例对于输入低分辨率人脸图像的每一个位置(p,q)上的图像块计算出其与集合的一个映射系数：

根据特征转换算法中的线性映射，

其中，是低分辨率图像块经去均值化后的K低分辨率训练集近邻图像块集合重建后的估计，是对应的高分辨率图像块经去均值化后的K高分辨率训练集近邻图像块集合重建后的估计，c是待求的从去均值化的K低分辨率训练集近邻图像块集合到低分辨率图像块估计间的映射系数，而且，从去均值化的K高分辨率训练集近邻图像块集合到高分辨率图像块估计间的映射系数被认为同低分辨率空间的映射系数保持一致。

对于输入低分辨率人脸图像的每一个位置(p,q)上的图像块及去均值化后的K近邻高、低分辨率训练集图像块集合和根据去均值化后的K近邻高、低分辨率训练集图像块集合和可形成矩阵记矩阵的特征向量和特征值分别为V_l和Λ_l，则

在上式两侧分别乘以可以求得矩阵的正交特征向量矩阵E_l为：

于是，输入低分辨率图像块经过集合可被重建为

变换可得

因此，从集合到低分辨率图像块估计或从到高分辨率图像块估计间的映射系数可以被表示为

于是，在已求出去均值化后的K高分辨率训练集近邻图像块集合到高分辨率图像块估计间映射系数c的情况下，已知去均值化后的K高分辨率训练集近邻图像块集合将其与映射系数c线性结合即可重建出高分辨率图像块估计即与图像块相应的目标高分辨率人脸图像块。

步骤4，将所有加权重构出的高分辨率的图像块(即步骤3所得高分辨率图像块估计按照位置叠加，然后除以每个像素位置交叠的次数，重构出高分辨率人脸图像即得到重建人脸图像。

步骤5，对于重构出的高分辨率人脸图像，进行迭代后处理。

由于步骤4所得高分辨率人脸图像在块的基础上进行重建，且本发明理论基础并未对重建后的高分辨率图像和原始低分辨率图像施加任何一致性约束，此外考虑噪声的影响，以上方法重建出的高分辨率图像经模糊下采样后与原始图像不可避免的存在某些偏差。本发明在步骤5中采用了凸集投影法来迭代的降低这种偏差。

对于重构出的高分辨率人脸图像按照下式进行迭代后处理，当前迭代根据下式得到的式子左边的高分辨率图像估计在下一次迭代中作为式子右边的输入继续用下式得到新的一次迭代直至完成预设迭代次数：

其中，λ是预设的松弛因子，η是预设可接受的偏差阈值，具体实施时本领域技术人员可自行设置取值，建议分别选取0.1和0.5；“·”是像素索引，表示高分辨率人脸图像中的某个像素，r(·)表现该像素的相应偏差。

后处理过程包括利用输入低分辨率人脸图像和步骤4得到的初步重建结果求出整幅图每个像素处的偏差：

高分辨率人脸图像中的各像素的相应偏差求取方式如下，

基于输入低分辨率人脸图像中的像素值和当前的高分辨率人脸图像求取偏差，

其中，H表示模糊算子，S是下采样算子，H和S同高分辨率训练图像库模糊下采样得到低分辨率训练图像库过程中的模糊算子和下采样算子分别保持一致；

然后对求取结果r进行nearest方法上采样到和当前的高分辨率人脸图像相应的分辨率大小，从而得到高分辨率人脸图像中各像素偏差r(·)。

当某个像素处偏差大于已设定的阈值η时，就根据后处理公式对该处像素值进行修正；

当某个像素处偏差小于已设定阈值η，则该处像素值保持不变；

每个像素均进行偏差、阈值的比对后，则完成一次迭代，生成新的

在本实施例中，预设迭代次数N建议设为20，迭代完成即可得到目标高分辨率输出图像。

具体实施时，步骤5可设计为以下流程：

步骤5.1，令当前迭代次数n＝0，输入步骤4重构出的高分辨率人脸图像

步骤5.2，根据下式更新

步骤5.3，判断是否当前迭代次数n＝N，若是则输出本次执行步骤5.2所得作为最终的目标高分辨率输出图像，若否则令n＝n+1，返回步骤5.2，以本次执行步骤5.2所得为输入，进行下一次迭代更新

本发明提出一种针对噪声人脸图像的超分辨率重建方法。传统基于学习的人脸超分辨率方法大多针对无噪图像的超分辨率重建，而文献2中基于主成分分析的方法展示了强有力的抗噪能力。同时，作为一种基于线性子空间的重建方法，主成分分析无法有效揭示高维非线性空间的数据特性。因此，本发明提出在局部流形空间中进行线性主成分分析来达到噪声人脸超分辨率重建的目的。同时，本发明提出对高分辨率图像进行后处理来保证模糊下采样后的重建高分辨率图像与输入低分辨率图像保持一致。

以下提供实验对比说明本方法的有效性。

采用了FEI人脸数据库(文献6：Z.Wang,A.Bovik,H.Sheikh,and E.Simoncelli,“Image quality assessment:From error visibility to structural similarity,”IEEE Trans.Image Process.,vol.13,no.4,pp.600–612,2004.)。200个不同人脸(100个男性，100个女性)，每人正面无表情人脸图像和正面微笑表情人脸图像各一张，所有图像大小统一为120×100，从中选取360张进行训练，剩余40张为待测试的图像。每张高分辨率图像进行平滑(使用4×4的平均滤波器)，并4倍下采样得到30×25的低分辨率图像。本发明实施例中划分人脸图像块的尺寸分别为：高分辨率人脸图像被划分为16×16的图像块，交叠为8个像素；低分辨率人脸图像被划分为8×8的图像块，交叠为4个像素。

为了测试本文算法对于噪声的鲁棒性，本发明对输入图像加入不同强度的高斯噪声，噪声的标准方差分别为σ＝5和σ＝10，并且同Wang的方法(文献2)、局部线性嵌入方法(文献3)、最小二乘表示方法(文献4)和局部约束表示方法(专利1)进行了比较。本发明方法中，近邻块个数K取75，主成分分析的方差累计贡献率取99％，松弛因子λ取0.1，可接受的偏差阈值η取0.5。对比方法均选择能得到最好效果的参数。

本发明采用峰值信噪比(PSNR，单位为dB)和结构相似性(SSIM)来衡量算法客观重建质量。本发明在输入图像添加强度分别为5和10的高斯噪声，分别对比全部的40副输入的测试人脸图像的均值。如表1所示，在噪声标准方差为5的情况下，本发明方法与文献2，文献3，文献4和专利1方法得到的PSNR值和SSIM值依次为32.18，27.31，29.02，27.87，30.37和0.8992，0.7661，0.8401，0.7346，0.8632；在噪声标准方差为10的情况下，本发明方法与文献2，文献3，文献4和专利1方法得到的PSNR值和SSIM值依次为31.93，26.68，28.02，23.39，28.51和0.8912，0.7495，0.8239，0.5067，0.8246。本发明方法在两种噪声强度下，比当前最好算法(专利1)PSNR分别提升1.81dB和3.42dB，SSIM值分别提升0.0360和0.0666；即使不考虑后处理进程，本方法也比当前最好算法(专利1)PSNR值分别提升1.28dB和2.59dB。

表1：40组测试图像上PSNR(dB)，SSIM客观指标平均值对比.

由此可见，本发明方法较其他已有的方法相比，效果有了显著的提高。

Claims (3)

1.一种基于数据驱动局部特征转换的噪声人脸超分辨率重建方法，其特征在于，包括如下步骤：

步骤1，对待重建的输入低分辨率人脸图像、低分辨率训练集中的低分辨率人脸样本图像以及高分辨率训练集中的高分辨率人脸样本图像相应划分相互重叠的图像块，低分辨率训练集中每个低分辨率人脸样本图像是由高分辨率训练集中的一个相应高分辨率人脸样本图像经模糊下采样提取；

步骤2，对于输入低分辨率人脸图像的每一个位置上的图像块，分别执行以下处理，

从低分辨率训练集中每张低分辨率人脸样本图像对应位置的图像块中找出K个最近邻的图像块，记为K低分辨率训练集近邻图像块集合并根据所得低分辨率的K个最近邻图像块一一对应找出相应高分辨率人脸样本图像中的图像块，得到高分辨率的K个图像块，记为K高分辨率训练集近邻图像块集合

计算低分辨率训练集中所有低分辨率人脸样本图像对应位置的图像块的均值以及高分辨率训练集中所有高分辨率人脸样本图像对应位置的图像块的均值

K高、低分辨率训练集近邻图像块集合和中的每个图像块的每个像素分别减去和后所得图像块构成的集合分别表示为和

步骤3，对于输入低分辨率人脸图像的每一个位置上的图像块，计算该图像块重建后的估计和集合间的映射系数c，并利用映射系数c和集合计算出该图像块相应的高分辨率人脸图像块；

步骤4，将步骤3所得输入低分辨率人脸图像每一个位置上的图像块相应的高分辨率人脸图像块按照位置叠加，然后除以每个像素位置交叠的次数，重构出高分辨率人脸图像；

步骤5，对于步骤4重构出的高分辨率人脸图像，进行迭代后处理。

2.根据权利要求1所述基于数据驱动局部特征转换的噪声人脸超分辨率重建方法，其特征在于：步骤3中，设对于输入低分辨率人脸图像的每一个位置(p,q)上的图像块计算出其与集合的映射系数c，包括设集合和形成矩阵记矩阵的特征向量和特征值分别为V_l和Λ_l，

$c=V_l{{\mathrm{\Λ}}_l}^{-1}{V_l}^T{\left({\stackrel{-L}{I}}_{\left(K\right)}\right)}^T(I_i^L(p,q)-{\stackrel{\‾}{m}}_l)$

${\hat{I}}_t^H(p,q)={\stackrel{-H}{I}}_{\left(K\right)}c+{\stackrel{\‾}{m}}_h,$

其中，为图像块相应的高分辨率人脸图像块。

3.根据权利要求1或2所述基于数据驱动局部特征转换的噪声人脸超分辨率重建方法，其特征在于：步骤5包括以下子步骤，

步骤5.1，令当前迭代次数n＝0，输入步骤4重构出的高分辨率人脸图像

步骤5.2，根据下式更新

${\hat{I}}_t^H(\&CenterDot;)=\left\{\begin{array}{c}{\hat{I}}_t^H(\&CenterDot;)+\mathrm{\&lambda;}(r(\&CenterDot;)-\mathrm{\&eta;}),\mathrm{\&eta;}<r(\&CenterDot;)\\ {\hat{I}}_t^H(\&CenterDot;),-\mathrm{\&eta;}\&le;r(\&CenterDot;)\&le;\mathrm{\&eta;}\\ {\hat{I}}_t^H(\&CenterDot;)+\mathrm{\&lambda;}(r(\&CenterDot;)+\mathrm{\&eta;}),r(\&CenterDot;)<-\mathrm{\&eta;}\end{array}\right.$

其中，λ是预设的松弛因子，η是预设的偏差阈值，“·”是像素索引，表示高分辨率人脸图像中的某个像素，r(·)表现该像素的相应偏差；

步骤5.3，判断是否当前迭代次数n＝N，N为预设迭代次数，

若是，则输出本次执行步骤5.2所得作为最终的目标高分辨率输出图像，

若否，则令n＝n+1，返回步骤5.2，以本次执行步骤5.2所得为输入，进行下一次迭代更新