CN107729885A - 一种基于多重残差学习的人脸增强方法 - Google Patents

Abstract

本发明公开了一种基于多重残差学习的人脸增强方法，其包括如下步骤：S10，准备多组不同低质程度的低质人脸图像集和与每一低质人脸图像集对应的原始人脸图像集，分别作为多组训练集的低质样本和标签样本；S20，构造残差学习神经网络，使用多组训练集依次拟合残差学习神经网络的参数，生成多重残差模型；S30，使用所述步骤S20中生成的多重残差模型，采用迭代法对待处理的人脸图像进行增强。本发明提供的基于多重残差学习的人脸增强方法通过训练不同低质程度的残差模型，学习不同低质程度的人脸图像中所包含的噪声和细节，增强了模型的细节补充能力和抗噪能力，且具有误差小、容错性高的特点。

Description

一种基于多重残差学习的人脸增强方法

技术领域

本发明涉及人脸增强的技术领域，特别涉及一种基于多重残差学习的人脸增强方法。

背景技术

随着各地智慧城市的建设和发展，视频安防和视频刑侦等技术受到越来越多的关注。现在的视频成像技术，常受到如低光照等外部环境的影响，使得所采集的到视频图像质量不高。尤其是模糊、低质的人脸图像，大大提高了人脸识别的难度，也使得安防和刑侦等工作更加艰难。

现有的人脸增强方法多是基于关键点或图像局部性实现的。前者关键点的识别精确程度直接影响到增强效果。而可惜的是图像越低质，关键点越难识别。后者则因为是基于局部性的，所以需要人脸的各个结构，如眼、口、鼻等，比较准确的对齐。遗憾的是，视频中的人脸不可能都正对镜头，并且人工对齐将会花费大量的时间。这些都使得该方法的应用场景受限，结果不理想。

发明内容

针对现有技术存在的问题，本发明的主要目的是提供一种基于多重残差学习的人脸增强方法，该方法无需人脸完全对齐或者正对镜头，也无需计算人脸图像的关键点，其可以很好地学习低质人脸中的噪声和细节，增强了模型的细节补充能力和抗噪能力，且具有误差小、容错性高的特点。

为实现上述目的，本发明提出的基于多重残差学习的人脸增强方法，其包括如下步骤：

S10，准备多组不同低质程度的低质人脸图像集和与每一低质人脸图像集对应的原始人脸图像集，分别作为多组训练集的低质样本和标签样本；

S20，构造残差学习神经网络，使用多组训练集依次拟合残差学习神经网络的参数，生成多重残差模型；

S30，使用所述步骤S20中生成的多重残差模型，采用迭代法对待处理的人脸图像进行增强。

优选地，所述步骤S10中，多组不同低质程度的低质人脸图像集和与每一低质人脸图像集对应的原始人脸图像集的准备过程如下：

S11，在每一组中，对各原始人脸图像集分别进行加噪、加模糊，得到与每一原始人脸图像集一一对应不同低质程度的低质人脸图像集；

S12，将多组低质人脸图像集分别作为多组训练集的低质样本，将多组原始人脸图像集分别作为多组训练集的标签样本，将每一低质样本和该低质样本对应的标签样本按对应关系分割成若干图像块，生成多组结构化的训练集。

优选地，所述步骤S10中，多组不同低质程度的低质人脸图像集和与每一低质人脸图像集对应的原始人脸图像集的准备过程如下：

S11′，在不同的低质环境下采集不同低质程度的低质人脸图像集，将采集的低质人脸图像按低质程度的高低依次进行分类；

S12′，将分类后的低质人脸图像分别作为多组训练集的低质样本，将每一低质人脸图像相对应的原始人脸图像集作为多组训练集的标签样本，将每一低质样本和该低质样本对应的标签样本按对应关系分割成若干图像块，生成多组结构化的训练集。

优选地，所述步骤S20中，构造残差学习神经网络，该残差学习神经网络包括依次连接的输入层、若干中间层、以及残差层，其构造过程如下：

S21，在输入层使用64个3×3的卷积核对第一组低质样本进行卷积，并使用修正线性单元ReLU对卷积的结果进行非线性化；

S22，将步骤S21中得到的非线性化的结果作为第一个中间层的输入样本，在中间层使用64个3×3×64的卷积核对该输入样本进行卷积，并对卷积结果进行批规范化，使用修正线性单元ReLU对卷积结果进行非线性化；将第一个中间层输出的卷积结果作为第二个中间层的输入样本，使用64个3×3×64的卷积核对第一个中间层输出的卷积结果进行卷积，对卷积结果进行批规范化，并使用修正线性单元ReLU对卷积结果进行非线性化，以此循环，直至最后一个中间层；

S23，将步骤S22中最后得到的非线性化的结果作为残差层的输入样本，在残差层使用3×3×64的卷积核对该输入样本进行卷积；

S24，使用与第一组低质样本对应的训练集，拟合残差学习神经网络的参数，生成残差模型；

S25，依次使用余下的低质样本与训练集，循环步骤S21-步骤S24，生成多个处理不同低质程度的人脸图像的残差模型，即多重残差模型。

优选地，在步骤S30中，采用迭代法对待处理人脸图像进行增强的过程如下：

S31，将训练好的多重残差模型中的残差模型按照所处理人脸照片的低质程度由高到低的顺序，依次对待处理的人脸图像进行增强，最后一层残差模型的计算结果即为人脸增强结果；其中，每一层均使用当前层的残差模型对输入的人脸图像进行增强，其结果作为下一层残差模型的输入样本。

进一步地，所述步骤S31中，第一层残差模型的输入样本为原始的待处理人脸图像，由第一层残差模型对其进行增强，其结果传入第二层残差模型；

从第二层残差模型开始，每一层残差模型的输入样本的计算过程如下：

S311，将上一层残差模型增强的人脸图像与原始的待处理人脸图像相加，得到叠加图像；

S312，将所述叠加图像按像素点值，映射到与原始的待处理人脸图像的像素点相同的取值区间，得到本层残差模型的输入样本。

相比现在的人脸增强方法，本发明具有以下优点：

1、应用场景更加广泛，不需要对人脸图像提出各种严苛的限制标准；

2、基于多重残差学习的处理能力强大，不仅能对抗噪声，还能增强人脸细节；

3、在长期的使用过程中能持续更新学习库，不断提升抗噪能力和增强效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明基于残差学习的人脸增强方法一实施例的流程图；

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

本发明提出一种基于残差学习的人脸增强方法。

参照图1，图1为本发明基于残差学习的人脸增强方法一实施例的流程图。

如图1所示，本发明实施例中，该人脸增强方法包括如下步骤：

S10，准备多组不同低质程度的低质人脸图像集和与每一低质人脸图像集对应的原始人脸图像集，分别作为多组训练集的低质样本和标签样本。其中，标签样本是与低质样本相对应的高质量样本。

S20，构造残差学习神经网络，使用多组训练集依次拟合残差学习神经网络的参数，生成多重残差模型。

S30，使用所述步骤S20中生成的多重残差模型，采用迭代法对待处理的人脸图像进行增强。

具体地，所述步骤S20中，构造残差学习神经网络，该残差学习神经网络包括依次连接的输入层、若干中间层、以及残差层，其构造过程如下：

S21，在输入层使用64个3×3的卷积核对第一组低质样本进行卷积，并使用修正线性单元ReLU对卷积的结果进行非线性化。

S22，将步骤S21中得到的非线性化的结果作为第一个中间层的输入样本，在中间层使用64个3×3×64的卷积核对该输入样本进行卷积，并对卷积结果进行批规范化，使用修正线性单元ReLU对卷积结果进行非线性化；将第一个中间层输出的卷积结果作为第二个中间层的输入样本，使用64个3×3×64的卷积核对第一个中间层输出的卷积结果进行卷积，对卷积结果进行批规范化，并使用修正线性单元ReLU对卷积结果进行非线性化，以此循环，直至最后一个中间层。应当说明的是，中间层的层数由具体的数据和场景特点来定。在本实施例中，中间层共46层。

S23，将步骤S22中最后得到的非线性化的结果作为残差层的输入样本，在残差层使用3×3×64的卷积核对该输入样本进行卷积；

S24，使用与第一组低质样本对应的训练集，拟合残差学习神经网络的参数，生成残差模型。

S25，依次使用余下的低质样本与训练集，循环步骤S21-步骤S24，生成多个处理不同低质程度的人脸图像的残差模型，即多重残差模型。

具体地，在步骤S30中，采用迭代法对待处理人脸图像进行增强的过程如下：

S31，将训练好的多重残差模型中的残差模型按照所处理人脸图像的低质程度由高到低的顺序，依次对待处理的人脸图像进行增强，最后一层残差模型的计算结果即为人脸增强结果。其中，每一层均使用当前层的残差模型对输入的人脸图像进行增强，其结果作为下一层残差模型的输入样本。

本发明提供的基于多重残差学习的人脸增强方法，其通过训练不同低质程度的残差模型，学习不同低质程度的人脸图像中所包含噪声和细节，增强模型对人脸图像的增强效果。将训练好的残差模型按低质程度由高到低依次对待处理人脸图像进行增强，即先使用低质程度最高的残差模型对待处理人脸图像进行增强，将该次增强后的人脸图像作为下一个低质程度次高的残差模型的输入样本进行第二次增强，以此类推，直至使用低质程度最低的残差模型对人脸图像进行增强，最后输出的结果即为人脸增强图像。

相比现在的人脸增强方法，本发明具有以下优点：

1、应用场景更加广泛，不需要对人脸图像提出各种严苛的限制标准；

2、基于多重残差学习的处理能力强大，不仅能对抗噪声，还能增强人脸细节；

3、在长期的使用过程中能持续更新学习库，不断提升抗噪能力和增强效果。

在本发明实施例的第一实施方式中，多组不同低质程度的低质人脸图像集和与每一低质人脸图像集对应的原始人脸图像集的准备过程如下：

S11，在每一组中，对各每组原始人脸图像集分别进行加噪、加模糊，得到与每一原始人脸图像集一一对应不同低质程度的低质人脸图像集。在本实施例中，低质人脸图像集亦可通过对原始人脸图像先下采样再用双三次插值上采样的方式得到，并选择不同的下采样倍数来得到不同低质程度的低质人脸图像集。

S12，将多组低质人脸图像集分别作为多组训练集的低质样本，将多组原始人脸图像集分别作为多组训练集的标签样本，将每一低质样本和该低质样本对应的标签样本按对应关系分割成若干大小适宜的图像块，生成多组结化的训练集。应当说明的是，图像块的大小由数据特性选择。本实施例中，图像块的大小选择了40×40。

通过将低质样本与标签样本分割成大小适宜的图像块，这样在残差学习神经网络中只需对图像块进行卷积操作，而无需提取人脸图像整体的特征，简化了残差学习神经网络的层次结构和残差模型的结构，减少了运算量，提高了残差学习神经网络构建效率和残差模型的计算速度。

为了达到更好的增强效果，在本发明实施例的第二实施方式中，多组不同低质程度的低质人脸图像集和与每一低质人脸图像集对应的原始人脸图像集的准备过程如下：

S11′，在不同的低质环境下采集不同低质程度的低质人脸图像集，将采集的低质人脸图像按低质程度的高低依次进行分类。其中，不同的低质环境为人脸图像实际应用的不同场景。

S12′，将分类后的低质人脸图像分别作为多组训练集的低质样本，将每一低质人脸图像相对应的原始人脸图像集作为多组训练集的标签样本，将每一低质样本和该低质样本对应的标签样本按对应关系分割成若干40×40的图像块，生成多组结构化的训练集。

因为人工模拟的方式并不能加入实际环境中未知的噪声，通过在实际场景中采集低质人脸图像集，可以使得残差模型学习到不同的实际场景下的未知噪音，从而提高多重残差模型的抗噪能力，达到更好的增强效果。

进一步地，所述步骤S31中，第一层残差模型的输入样本为原始的待处理人脸图像，由第一层残差模型对其进行增强，其结果传入第二层残差模型。而从第二层残差模型开始，每一层残差模型的输入样本的计算过程如下：

S311，将上一层残差模型增强的人脸图像与原始的待处理人脸图像相加，得到叠加图像。

S312，将所述叠加图像按像素点值，映射到与原始的待处理人脸图像的像素点相同的取值区间，得到本层残差模型的输入样本。

由于多重残差模型在处理多种不同低质程度的低质样本中的噪声和细节的同时，也将产生更多误差。为了解决这种误差不断叠加的问题，通过将每一层残差模型增强的人脸图像和原始的待处理人脸图像进行相加，由此补充人脸图像被非理想的残差模型增强后所丢失的细节或轮廓，避免取值区间变化所造成的误差的累积。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (6)

1.一种基于多重残差学习的人脸增强方法，其特征在于，包括如下步骤：

S10，准备多组不同低质程度的低质人脸图像集和与每一低质人脸图像集对应的原始人脸图像集，分别作为多组训练集的低质样本和标签样本；

S20，构造残差学习神经网络，使用多组训练集依次拟合残差学习神经网络的参数，生成多重残差模型；

S30，使用所述步骤S20中生成的多重残差模型，采用迭代法对待处理的人脸图像进行增强。

2.如权利要求1所述的基于多重残差学习的人脸增强方法，其特征在于，所述步骤S10中，多组不同低质程度的低质人脸图像集和与每一低质人脸图像集对应的原始人脸图像集的准备过程如下：

S11，在每一组中，对各原始人脸图像集分别进行加噪、加模糊，得到与每一原始人脸图像集一一对应不同低质程度的低质人脸图像集；

S12，将多组低质人脸图像集分别作为多组训练集的低质样本，将多组原始人脸图像集分别作为多组训练集的标签样本，将每一低质样本和该低质样本对应的标签样本按对应关系分割成若干图像块，生成多组结构化的训练集。

3.如权利要求1所述的基于多重残差学习的人脸增强方法，其特征在于，所述步骤S10中，多组不同低质程度的低质人脸图像集和与每一低质人脸图像集对应的原始人脸图像集的准备过程如下：

S11′，在不同的低质环境下采集不同低质程度的低质人脸图像集，将采集的低质人脸图像按低质程度的高低依次进行分类；

S12′，将分类后的低质人脸图像分别作为多组训练集的低质样本，将每一低质人脸图像相对应的原始人脸图像集作为多组训练集的标签样本，将每一低质样本和该低质样本对应的标签样本按对应关系分割成若干图像块，生成多组结构化的训练集。

4.如权利要求1所述的基于多重残差学习的人脸增强方法，其特征在于，所述步骤S20中，构造残差学习神经网络，该残差学习神经网络包括依次连接的输入层、若干中间层、以及残差层，其构造过程如下：

S21，在输入层使用64个3×3的卷积核对第一组低质样本进行卷积，并使用修正线性单元ReLU对卷积的结果进行非线性化；

S22，将步骤S21中得到的非线性化的结果作为第一个中间层的输入样本，在中间层使用64个3×3×64的卷积核对该输入样本进行卷积，并对卷积结果进行批规范化，使用修正线性单元ReLU对卷积结果进行非线性化；将第一个中间层输出的卷积结果作为第二个中间层的输入样本，使用64个3×3×64的卷积核对第一个中间层输出的卷积结果进行卷积，对卷积结果进行批规范化，并使用修正线性单元ReLU对卷积结果进行非线性化，以此循环，直至最后一个中间层；

S23，将步骤S22中最后得到的非线性化的结果作为残差层的输入样本，在残差层使用3×3×64的卷积核对该输入样本进行卷积；

S24，使用与第一组低质样本对应的训练集，拟合残差学习神经网络的参数，生成残差模型；

S25，依次使用余下的低质样本与训练集，循环步骤S21-步骤S24，生成多个处理不同低质程度的人脸图像的残差模型，即多重残差模型。

5.如权利要求1～4任意一项所述的基于多重残差学习的人脸增强方法，其特征在于，在步骤S30中，采用迭代法对待处理人脸图像进行增强的过程如下：

S31，将训练好的多重残差模型中的残差模型按照所处理人脸图像的低质程度由高到低的顺序，依次对待处理的人脸图像进行增强，最后一层残差模型的计算结果即为人脸增强结果；其中，每一层均使用当前层的残差模型对输入的人脸图像进行增强，其结果作为下一层残差模型的输入样本。

6.如权利要求5所述的基于多重残差学习的人脸增强方法，其特征在于，所述步骤S31中，第一层残差模型的输入样本为原始的待处理人脸图像，由第一层残差模型对其进行增强，其结果传入第二层残差模型；

从第二层残差模型开始，每一层残差模型的输入样本的计算过程如下：

S311，将上一层残差模型增强的人脸图像与原始的待处理人脸图像相加，得到叠加图像；

S312，将所述叠加图像按像素点值，映射到与原始的待处理人脸图像的像素点相同的取值区间，得到本层残差模型的输入样本。