CN101872472B - 一种基于样本学习的人脸图像超分辨率重建方法 - Google Patents

Abstract

本发明是一种基于样本学习的人脸图像超分辨率重建方法，基于样本学习并针对人脸结构特征进行优化的人脸图像超分辨率重建，本发明的特征在于具有以下处理步骤：(1)分为训练和超分辨率重建两个部分；(2)对输入图像进行标定、分块等处理；(3)在训练得到的数据库中根据标定结果按邻域搜索残差人脸图像；(4)利用残差图像计算输入图像的。本发明所提供的算法，由其适用于人脸图像的超分辨率处理。在保持较好效果的同时，该方法还具有处理速度快，鲁棒性强等特点。

Description

一种基于样本学习的人脸图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，涉及一种基于样本学习的人脸图像超分辨率重建方法，具体涉及一种利用样本学习，对低分辨率人脸图像进行超分辨率重建获得高分辨率人脸图像，以及针对人脸特征进行优化。

背景技术

人脸图像超分辨率重建技术的目标是对待超分辨率的人脸图像进行增强，虽然现有的图像插值算法可以比较平滑地放大图像，但是因为插值算法无法恢复图像缩小时所损失的信息，因此放大的图像比较模糊、使用价值不高。

人脸图像超分辨率重建技术主要可以适应于如下情况：

1、对现有IC卡中存储的照片进行放大，便于查看、打印等。在更换现有(存储。采集)设备的成本较高、重新采集可行性低等多种情况下，超分辨率重建技术尤其适用；

2、对从监控设备中获取的人脸图像进行超分辨率处理，以便于识别。由于硬件工艺、成本等限制，在监控领域可能无法采集到清晰的高分辨率图像，使用超分辨率重建技术可以降低对硬件设备的依赖和提高系统的可用性。

现有的有代表性的人脸超分辨率方法主要是Liu等人提出的两步超分辨率法。该方法将人脸超分辨率重建分解为全局重建和局部重建两部分，其中全局重建使用主成份分析(Principal Components Analysis，PCA)法重建人脸的全局特征；而后根据训练步骤中学习到的全局特征与局部细节的关系，从训练样本中选取合适的局部细节信息叠加到全局重建的人脸图像上，最终得到人脸超分辨率重建的结果。该方法的特点在于得到的图像平滑，有比较好的视觉效果；但其也有比较明显的缺点，例如全局重建的时损失损失了大量的信息，使得重建结果与输入图像之间相似度较低。另外其局部重建也未充分考虑人脸的结构，因此算法的效果和效率还有很大的提升空间。

发明内容

为了解决现有技术的问题，本发明的目的是使超分辨率重建后的图像与原图像有较高的相似度，且充分利用人脸的结构进行重建，提高人脸超分辨率重建的效果，为此，本发明是要提供一种基于样本学习的人脸图像超分辨率重建方法。

为达成所述目的，本发明提供一种基于样本学习的人脸图像超分辨率重建方法的技术方案，该方案的步骤如下所述：

步骤S1：进入训练部分，首先设有由大小相同的m幅高分辨率人脸样本图像组成的样本图像集{I^H}^m，其中I^H表示样本图像，样本图像集中的第i幅样本图像表示为

1≤i≤m，使用人脸标定算法或手工对m幅样本图像中的人脸结构进行标定，得到每幅样本图像的人脸特征，并依据人脸特征对m幅样本图像进行对齐处理，使相同的人脸特征位于样本图像中大致相同的位置；

步骤S2：利用公式

↑n对第i幅样本图像进行处理，得到第i幅样本图像

在缩小n倍时所损失的残差图像

其中↑为上采样运算，↓为下采样运算，n为上采样或下采样的倍数，

为对第i幅样本图像

进行n倍下采样后得到的低分辨率图像，对m幅样本图像进行处理，得到的残差图像和低分辨率图像可分别组成残差图像集{I^D}^m和低分辨率图像集{I^L}^m；

步骤S3：对低分辨率图像集{I^L}^m中所有的图像放大n倍，并对得到的图像进行高通滤波得到中频图像集{I^M}^m；

步骤S4：对中频图像集{I^M}^m和残差图像集{I^D}^m中的图像进行重叠分块，分别建立中频图像块数据库和残差图像块数据库，训练结束；

步骤S5：进入超分辨率重建处理部分，设输入图像为I，首先对输入图像I按人脸结构进行标定与对齐，标定和对齐与训练部分中的相同；

步骤S6：在图像放大倍数n取与训练部分中相同的值时，有I↑n图像与训练图像大小相同，对I↑n进行高通滤波，获得中频图像I^M；

步骤S8：对中频图像I^M进行重叠分块，得到中频图像块集{P^M}ⁿ，n为分块总数，

表示中频图像块集中的第i个块，其中1≤i≤n；

步骤S9：对中频图像块1≤i≤n，根据人脸标定信息在中频图像块数据库中搜索若干最相关的候选中频图像块，取出与搜索得到的中频图像块对应的残差图像块，因此对每个小块

得到一个候选中频图像块集和残差图像块集

其中N，N≥1，为每个输入中频图像块的候选块个数，第i个中频图像块的第j个候选中频图像块和候选残差图像块分别记为

和

步骤S10：使用最大后验概率(Maximum A Posterior，MAP)算法进行全局优化，最终为每一个中频图像块

选择残差图像块集中的一个最优残差图像块

步骤S11：对得到的最优的残差图像块进行拼接，得到残差图像I^D，将残差图像I^D叠加到图像I↑n上，获得合成的图像；

步骤S12：对合成的图像进行平滑且保持边缘的滤波算法处理，得到最终的超分辨率图像，完成超分辨率处理。

其中，所述分块的步骤如下：

步骤a：从图像左上角起进行分块；

步骤b：每块的宽度为w_P像素，重叠宽度为w_O像素；

步骤c：完成一次分块后，将分块的起点向右下方向偏移w_S个像素，并按步骤a重复分块

次，其中

为向下取整符号。

本发明的有益效果：本发明利用图像处理技术对待超分辨率的人脸图像进行超分辨率重建处理，从而得到优于插值算法的放大图像。其基本原理是从待超分辨率图像中提取出在图像缩小时未损失且与细节信息相关的中频信息，并利用其与细节信息的相关性，在数据库中搜索并重建与低分辨率图像局部相关的残差图像，补充到由低分辨率图像插值放大后的高分辨率图像中，实现人脸图像的超分辨率重建。本发明可针对人脸的结构进行优化，大大提高算法的速度和超分辨率的效果。本发明成功地提升了人脸图像超分辨率重建的效果。

附图说明

图1是本发明人脸图像超分辨率重建系统的结构示意图。

图2训练图像分块方法，粗线代表第一次分块，细线代表对分块起点进行偏移后的分块。其中w_P、w_O和w_S分别为分块宽度、重叠宽度和分块起点偏移量。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

基于本发明，如图1示出了人脸图像超分辨率重建方法的流程图，包括步骤如下：

步骤S1：进入训练部分，首先设有由大小相同的m幅高分辨率人脸样本图像组成的样本图像集{I^H}^m，其中I^H表示样本图像，样本图像集中的第i幅样本图像表示为

1≤i≤m，使用人脸标定算法或手工对m幅样本图像中的人脸结构进行标定，得到每幅样本图像的人脸特征，并依据人脸特征对m幅样本图像进行对齐处理，使相同的人脸特征位于样本图像中大致相同的位置；

步骤S2：利用公式对第i幅样本图像

进行处理，得到第i幅样本图像

在缩小n倍时所损失的残差图像其中↑为上采样运算，↓为下采样运算，n为上采样或下采样的倍数，

为对第i幅样本图像

进行n倍下采样后得到的低分辨率图像，对m幅样本图像进行处理，得到的残差图像和低分辨率图像可分别组成残差图像集{I^D}^m和低分辨率图像集{I^L}^m；

步骤S3：对低分辨率图像集{I^L}^m中所有的图像放大n倍，并对得到的图像进行高通滤波得到中频图像集{I^M}^m；

步骤S4：对中频图像集{I^M}^m和残差图像集{I^D}^m中的图像进行重叠分块，分别建立中频图像块数据库和残差图像块数据库，训练结束；

步骤S5：进入超分辨率重建处理部分，设输入图像为I，首先对输入图像I按人脸结构进行标定与对齐，标定与对齐方法与训练部分中的相同；

步骤S6：在图像放大倍数n取与训练部分中相同的值时，有I↑n图像与训练图像大小相同，对I↑n进行高通滤波，获得中频图像I^M；

步骤S8：对中频图像I^M进行重叠分块，得到中频图像块集{P^M}ⁿ，n为分块总数，表示中频图像块集中的第i个块，其中1≤i≤n；

步骤S9：对中频图像块

1≤i≤n，根据人脸标定信息在中频图像块数据库中搜索若干最相关的候选中频图像块，取出与搜索得到的中频图像块对应的残差图像块，因此对每个小块

得到一个候选中频图像块集

和残差图像块集

其中N，N≥1，为每个输入中频图像块的候选块个数，第i个中频图像块的第j个候选中频图像块和候选残差图像块分别记为

和

步骤S10：使用最大后验概率(Maximum A Posterior，MAP)算法进行全局优化，最终为每一个中频图像块

选择残差图像块集中的一个最优残差图像块

步骤S11：对得到的最优的残差图像块进行拼接，得到残差图像I^D，将残差图像I^D叠加到图像I↑n上，获得合成的图像；

步骤S12：对合成的图像进行平滑且保持边缘的滤波算法处理，得到最终的超分辨率图像，完成超分辨率处理。

该方法运行于一台计算机上，输入102像素*126像素大小的人脸图像，经过运算输出超分辨率重建后的人脸图像(204像素*252像素)。

训练部分：

第一步：获取样本图像。例如最终要进行超分辨率处理的图像大小为102像素*126像素，需超分辨率到204像素*252像素，我们使用300幅204像素*252像素的人脸图像组成训练样本集进行训练。将这些图像导入PC机，存成BMP格式文件。

第二步：使用常用人脸标定算法对训练样本集中的样本进行标定，例如标出眼睛的位置，然后计算出双眼中点的位置，并移动图像，使所有样本图像中人脸双眼的中点位于图像中相同的位置，从而实现样本图像的对齐。

第三步：缩放倍数n的值为2，对样本图像

高斯模糊后进行2倍下采样，得到与待超分辨率图像相同大小的低分辨率图像。将得到的低分辨率图像进行双线性插值放大2倍，得到与样本图像相同大小的图像，记为

从

到

的处理过程中，图像损失了细节信息因此变得模糊，计算

即可得到残差图像

残差图像即为图像在缩小过程中所损失的信息，也即超分辨率重建所需要恢复的信息。对

进行高通滤波，可得到中频图像

计算得到所有样本图像的中频图像和残差图像，并分别组成中频图像集和残差图像集。

第四步：将第三步中得到残差图像集和中频图像集中的图像进行分块处理。分块方式如图2所示，例如此处我们可以取w_P＝5，w_O＝1和w_S＝2，即可得到大小为5*5，重叠1像素的分块。在对整幅图像进行分块后，将分块的起点向右和向下(假设图像的原点为左上角点)分别移动w_S像素并重复进行分块，共需重复次。

第五步：保存对中频图像和残差图像进行分块操作得到的图像块，建立中频图像块数据库和残差图像块数据库，并记录从相同样本图像中相同位置计算得到的中频图像块和残差图像块之间的对应关系，在此只需要保证得到的分块按顺序存储在数据库，则对应的分块分别处于各自数据库的相同位置，对指定的中频图像块可以迅速地找到对应的残差图像块，反之亦然。训练部分结束。

超分辨率处理部分：

第一步：使用与训练步骤相同的人脸标定方法对输入图像进行标定对齐；

第二步：取参数n的值为2，对输入图像进行插值放大2倍并进行高通滤波，得到与期望超分辨率重建结果等大小的中频图像；

第三步：将中频图像分为与训练部分相同的5*5，重叠1像素的小块。与训练部分中不同的是，超分辨率处理部分不需要进行重复分块；

第四步：对每一个中频图像块，在训练步骤中建立的中频图像块数据库中进行局部搜索，获得前N(此处我们取N＝10)个最相关的(此处使用高斯加权的平方差总和计算，计算值越小则相关度越高)的中频图像块，并取出对应的残差图像块；

第五步：计算各候选中频图像块与对应的输入中频图像块的相关度以及邻接候选残差图像块间的相容度(相容度为相邻残差图像分块重叠区域像素的平方差和)，并根据相关度和块间相容度使用最大后验概率(Maximum A Posterior，MAP)算法进行全局优化，最终为输入图像的每个中频图像块确定一个近似最优的残差图像块；

第六步：将最终选取的残差图像块进行拼接，重叠部分像素的值取各重叠残差图像块对应位置像素值的平均值，得到204像素*252像素的残差图像，将得到的残差图像叠加到插值放大到204像素*252像素的输入图像上。

第七步：对上一步得到的图像进行双边滤波，得到最终的超分辨率重建图像。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。

Claims (2)

1.一种基于样本学习的人脸图像超分辨率重建方法，其特征在于：包含以下步骤：

步骤S1：进入训练部分，首先设定由大小相同的m幅高分辨率人脸样本图像组成的样本图像集{I^H}^m，其中I^H表示样本图像，样本图像集中的第i幅样本图像表示为

1≤i≤m，使用人脸标定算法或手工对m幅样本图像中的人脸结构进行标定，得到每幅样本图像的人脸特征，并依据人脸特征对m幅样本图像进行对齐处理，使相同的人脸特征位于样本图像中大致相同的位置；

步骤S2：利用公式 $I_i^D=I_i^H-((I_i^H*B)\↓n)\↑n=I_i^H-I_i^L\↑n$ 对第i幅样本图像

进行处理，得到第i幅样本图像

在缩小n倍时所损失的残差图像

其中↑为上采样运算，↓为下采样运算，n为上采样或下采样的倍数，

为对第i幅样本图像

高斯模糊后进行n倍下采样后得到的低分辨率图像，对m幅样本图像进行处理，得到的残差图像和低分辨率图像可分别组成残差图像集{I^D}^m和低分辨率图像集{I^L}^m；

步骤S3：对低分辨率图像集{I^L}^m中所有的图像放大n倍，并对得到的图像进行高通滤波得到中频图像集{I^M}^m；

步骤S4：对中频图像集{I^M}^m和残差图像集{I^D}^m中的图像进行重叠分块，分别建立中频图像块数据库和残差图像块数据库，训练结束；

步骤S5：进入超分辨率重建处理部分，记输入图像为I，首先对输入图像I按人脸结构进行标定与对齐，方法与训练部分中的相同；

步骤S6：在图像放大倍数n取与训练部分中相同的值时，有I↑n图像与训练图像大小相同，对I↑n进行高通滤波，获得中频图像I^M；

步骤S8：对中频图像I^M进行重叠分块，得到中频图像块集{P^M}ⁿ，n为分块总数，

表示中频图像块集中的第i个块，其中1≤i≤n；

步骤S9：对中频图像块

1≤i≤n，根据人脸标定信息在中频图像块数据库中搜索若干最相关的候选中频图像块，取出与搜索得到的中频图像块对应的残差图像块，因此对每个小块得到一个候选中频图像块集

和残差图像块集其中N，N≥1，为每个输入中频图像块的候选块个数，第i个中频图像块的第j个候选中频图像块和候选残差图像块分别记为

和

步骤S10：使用最大后验概率(Maximum A Posterior，MAP)算法进行全局优化，最终为每一个中频图像块

选择残差图像块集中的一个最优残差图像块

步骤S11：对得到的最优的残差图像块进行拼接，得到残差图像I^D，将残差图像I^D叠加到图像I↑n上，获得合成的图像；

步骤S12：对合成的图像进行平滑且保持边缘的滤波算法处理，得到最终的超分辨率图像，完成超分辨率处理。

2.根据权利要求1所述的一种基于样本学习的人脸图像超分辨率重建方法，其特征在于，所述分块的步骤如下：

步骤a：从图像左上角起进行分块；

步骤b：每块的宽度为w_P像素，重叠宽度为w_O像素；

步骤c：完成一次分块后，将分块的起点向右下方向偏移w_S个像素，并按步骤a重复分块

次，其中

为向下取整符号。

Images