CN111027433A - 一种基于卷积神经网络的多重风格人脸特征点检测方法 - Google Patents

Abstract

本发明属于人脸识别技术领域，具体涉及一种基于卷积神经网络的多重风格人脸特征点检测方法。本发明通过输入多重风格的人脸图像对残差网络(ResNet‑152)进行微调训练，以此来获得风格辨别的特征；利用风格辨别特征，使用K‑means对原始图像进行风格聚类；通过生成性对抗网络生成风格聚合的人脸图像集合；最后，将原始人脸图像与风格聚合人脸图像共同作为输入，以级联策略生成人脸特征点预测。本发明降低了多重风格对人脸检测造成的误差，提高了人脸检测的精确度，可应用于人脸识别、头部姿势估计、面部重建和3D面部重建等。

Description

一种基于卷积神经网络的多重风格人脸特征点检测方法

技术领域

本发明属于人脸识别技术领域，具体涉及一种基于卷积神经网络的多重风格人脸特征点检测方法。

背景技术

随着科技日新月异和社会的快速发展，人脸识别技术已经得到了广泛的应用。例如金融、安防建设、航天航建、学生教育和各种娱乐等领域。最近，越来越多的人关注人脸特征点检测，例如眼角，眉毛，鼻尖。同时它也是计算机视觉应用的先决条件。人脸特征点检测可以应用于各种各样的任务，例如，人脸识别，头部姿势估计，面部重建和3D面部重建。目前，人脸特征点检测的最新进展主要是从面部形状和姿势的丰富变形，不同表情，部分遮挡等方面学习辨别特征。一个非常典型的框架是通过卷积神经网络或手工制作的特征来构建描绘面部外观和形状信息的特征，然后学习一个模型，将特征映射到人脸特征点位置。他们中的大多数应用级联策略来连接预测模块并更新人脸特征点的预测位置。

但人脸特征点检测却很容易受到人脸多重风格的影响而造成误差，灰度图像与彩色图像、光与暗、强烈对比、沉闷对比。目前，大部分用于训练神经网络的人脸图像都是来自于野外，所以对于人脸多重风格的忽略也越来越严重。

发明内容

本发明的目的在于提供一种基于卷积神经网络的多重风格人脸特征点检测方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：获取待进行风格聚类的原始图像数据集；

步骤2：对原始图像数据集中的图像进行预处理，将原始图像转换成三种不同分格的图像，分别为明亮、灰度、草图；

步骤3：将原始图像和转换后的三种图像视为四个种类，对残差网络ResNet-152进行训练，获得风格辨别特征；

步骤4：利用风格辨别特征，使用K-means对原始图像进行聚类；

步骤5：将不同聚类中的人脸图像看作不同的图像风格，通过CycleGAN训练人脸生成模型以传递风格，获得风格聚合人脸图像；

步骤6：将原始人脸图像与风格聚合人脸图像共同作为输入，以级联策略生成人脸特征点预测，并使用argmax函数获得每个特征点的坐标，完成多重风格人脸特征点检测。

本发明还可以包括：

所述的步骤6具体为：

步骤6.1：采用VGG-16的前四个卷积块，使用两个额外的卷积层作为特征提取部分，将原始人脸图像的输出要素F₀和风格聚合人脸图像的输出要素F_s分别作为输入，输出相应的映射H₀和H_s；

步骤6.2：将F₀、F_s、H₀和H_s串联作为输入，输出映射H₂；

步骤6.3：将F₀、F_s和H₂串联作为输入，输出映射H₃；

步骤6.4：在训练过程中将最小化每个面部图像的损失函数，损失函数为：

其中，

代表理想的映射；

步骤6.5：使用双三次插值将H₃上采样到原始人脸图像大小，在每个映射上使用argmax函数，获得每个人脸特征点的坐标。

本发明的有益效果在于：

本发明利用原始人脸图像和风格聚合人脸图像的互补优势，对人脸特征点生成更强大的预测，提出了一种新型的架构，让它对于人脸图像的风格变化不敏感，提高人脸检测的精确性。为了降低多重风格对人脸检测造成的误差，提高人脸检测的精确度。本发明通过输入多重风格的人脸图像对残差网络(ResNet-152)进行微调训练，以此来获得风格辨别的特征；利用风格辨别特征，使用K-means对原始图像进行风格聚类；通过生成性对抗网络生成风格聚合的人脸图像集合；最后，将原始人脸图像与风格聚合人脸图像共同作为输入，以级联策略生成人脸特征点预测。本发明降低了多重风格对人脸检测造成的误差，提高了人脸检测的精确度，可应用于人脸识别、头部姿势估计、面部重建和3D面部重建等。

附图说明

图1为本发明的总流程图。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明涉及的是一种基于卷积神经网络的多重风格人脸特征点检测方法，可应用于人脸识别、头部姿势估计、面部重建和3D面部重建等。本发明提出了一种基于卷积神经网络的多重风格人脸特征点检测方法，为了降低多重风格对人脸检测造成的误差，提高人脸检测的精确度。本发明通过输入多重风格的人脸图像对残差网络(ResNet-152)进行微调训练，以此来获得风格辨别的特征。利用风格辨别特征，使用K-means对原始图像进行风格聚类。再通过生成性对抗网络生成风格聚合的人脸图像集合。最后，将原始人脸图像与风格聚合人脸图像共同作为输入，以级联策略生成人脸特征点预测。

本发明利用原始人脸图像和风格聚合人脸图像的互补优势，以级联策略生成人脸特征点的预测。一种基于卷积神经网络的多重风格人脸特征点检测方法，包括如下步骤：

步骤1：获取待进行风格聚类的原始图像数据集；

步骤2：对原始图像数据集中的图像进行预处理，将原始图像转换成三种不同分格的图像，分别为明亮、灰度、草图；

步骤3：将原始图像和转换后的三种图像视为四个种类，对残差网络ResNet-152进行训练，获得风格辨别特征；

步骤4：利用风格辨别特征，使用K-means对原始图像进行聚类；

步骤5：将不同聚类中的人脸图像看作不同的图像风格，通过CycleGAN训练人脸生成模型以传递风格，获得风格聚合人脸图像；

步骤6：将原始人脸图像与风格聚合人脸图像共同作为输入，以级联策略生成人脸特征点预测，并使用argmax函数获得每个特征点的坐标，完成多重风格人脸特征点检测。

步骤6具体为：

步骤6.1：采用VGG-16的前四个卷积块，使用两个额外的卷积层作为特征提取部分，将原始人脸图像的输出要素F₀和风格聚合人脸图像的输出要素F_s分别作为输入，输出相应的映射H₀和H_s；

步骤6.2：将F₀、F_s、H₀和H_s串联作为输入，输出映射H₂；

步骤6.3：将F₀、F_s和H₂串联作为输入，输出映射H₃；

步骤6.4：在训练过程中将最小化每个面部图像的损失函数，损失函数为：

其中，

代表理想的映射；

步骤6.5：使用双三次插值将H₃上采样到原始人脸图像大小，在每个映射上使用argmax函数，获得每个人脸特征点的坐标。

实施例1：

本发明采用的技术方案是：基于卷积神经网络的多重风格人脸特征点检测，涉及风格聚合人脸生成和人脸特征点检测部分，利用原始人脸图像和风格聚合人脸图像的互补优势，以级联策略生成人脸特征点的预测，该方法应满足两部分需求：

1.风格聚合人脸图像的生成。

2.利用原始人脸图像和风格聚合人脸图像的互补优势，生成人脸特征点的预测。

下面对发明内容进行一下详细的阐述：

风格聚合人脸图像的生成分为以下五步：

第一步：选取AFLW作为原始图像数据集；

第二步：对原始人脸图像进行预处理，将原始图像转换成三种不同风格的图像，分别为明亮、灰度、草图；

第三步：将原始图像和转换后的三种图像视为四个种类，对残差网络(ResNet-152)进行训练，以此来获得风格辨别特征。

第四步：利用风格辨别特征，使用K-means对原始图像进行聚类；

第五步：将不同聚类中的人脸图像看作不同的图像风格，然后通过GAN训练人脸生成模型以传递风格。

利用原始人脸图像和风格聚合人脸图像的互补优势，生成人脸特征点的预测的方法应包括以下三步：

第一步：输入原始人脸图像与风格聚合人脸图像；

第二步：使用VGG-16前四个卷积块，以级联策略生成人脸特征点预测；

第三步：使用argmax函数来获得每个特征点的坐标。

本发明的创新性和优点在于：

(1)提出了一种新型的架构，它对于图像风格变化并不敏感，提高了人脸特征点检测的准确性。

(2)提出了一种新型的结构输入，利用原始人脸图像和风格聚合人脸图像的互补优势，共同作为输入，以此来生成更强大的人脸特征点的预测。

首先我们需要获取数据源。AFLW人脸数据库是一个包括多姿态、多视角的大规模人脸数据库，而且每个人脸都被标注了21个特征点。此数据库信息量非常大，包括了各种姿态、表情、光照、种族等因素影响的图片。AFLW人脸数据库大约包括25000万已手工标注的人脸图片，其中59％为女性，41％为男性，大部分的图片都是彩色，只有少部分是灰色图片。该数据库非常适合用于人脸识别、人脸检测、人脸对齐等方面的研究，具有很高的研究价值。

将原始图像进行预处理，使用PhotoShop(PS)，将原始图像转换成三种不同分格的图像，分别为明亮、灰度、草图。将原始图像和转换后的三种图像视为四个种类。

对残差网络(ResNet-152)进行训练。我们将学习率设为0.01，共计两个时期。

要获得风格聚合的人脸图像生成模型，我们需要先获取风格信息，即这个图像风格是彩色还是灰度，光亮还是阴暗。对于大多数野外所收集的人脸图像数据集合，我们可以自发的识别出人脸图像具有的不同风格。但是，由于两个主要的原因，我们很难用不同的风格去标记这样的人脸图像数据集：

1.一些人脸图像的风格定义是有争议的，例如，一些具有阳光风格的人脸图像也可以被分类为有颜色的人脸图像；

2.需要大量的劳动力来标记人脸图像的风格信息。

所以我们使用K-means算法，将整个数据集聚类为k＝3个组，并且在默认情况下将具有最大元素的组和具有最小元素的组视为两个不同的风格聚合人脸图像集合。

通过K-means聚类，我们获得了两组不同风格的人脸图像聚合集合，然后将其通过生成性对抗网络训。

CycleGAN能够保留输入图像的结构，因为它的循环一致性损失可以保证输出的图像将与输入图像紧密匹配。因此，我们可以实现风格的传递，生成风格聚合的人脸图像集合。

虽然生成性对抗性网络可以传递风格，保留人脸图像原本的环境，但是其保真度很低，也就是人脸图像的真实内容会不清晰。而原始人脸图像会保留真实内容，只是风格不同，所以我们将原始人脸图像和风格聚合人脸图像共同作为输入，利用二者互补的优势生成人脸特征点更强大的预测。

我们使用VGG-16的前四个卷积块，然后使用两个额外的卷积层作为特征提取部分。将原始人脸图像I₀∈R^h×w和风格聚合人脸图像I_s∈R^h×w作为特征提取部分的输入。

w和h表示图像的宽度和高度，在该部分中，前三个卷积块中的每一个后跟一个池化层，因此它输出特征F∈R^{C×h′×w′}与输入图像I相比，下采样大小为8倍，其中(h′,w′)＝(h/8,w/8)。

原始图像和样式聚合图像的输出要素分别表示为F₀和F_s，三个后续阶段用于产生映射，每个阶段都是完全卷积结构。其输出H∈R^(K+1)×h×w具有与输入相同的空间大小，其中K表示人脸特征点的数量。

第一阶段将原始人脸图像的输出要素F₀和风格聚合人脸图像的输出要素F_s作为输入，并为它们中的每一个生成相应的映射，分别为Ho和Hs。

g₁(F₀)＝H₀

g₁(F_s)＝H_s

第二阶段g₂将F₀、F_s、H₀和H_s串联作为输入，并输出g₂的映射：

g₂(F₀,F_s,H₀,H_s)＝H₂

最后一个阶段类似于第二个阶段，可以表述如下：

g₃(F₀,F_s,H₂)＝H₃

在训练过程中将最小化每个面部图像的损失函数，损失函数如下：

其中，g₁、g₂和g₃均表示映射，

代表理想的映射；

为了生成最终的人脸特征点坐标，我们首先使用双三次插值将H3上采样到原始人脸图像大小。然后，我们在每个映射上使用argmax函数来获得每个人脸特征点的坐标。

综上所述，本发明是一种基于卷积神经网络的多重风格人脸特征点检测方法，通过利用原始人脸图像和风格聚合人脸图像的互补优势，对人脸特征点生成更强大的预测。提出了一种新型的架构，让它对于人脸图像的风格变化不敏感，提高人脸检测的精确性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于卷积神经网络的多重风格人脸特征点检测方法，其特征在于，包括以下步骤：

步骤1：获取待进行风格聚类的原始图像数据集；

步骤2：对原始图像数据集中的图像进行预处理，将原始图像转换成三种不同分格的图像，分别为明亮、灰度、草图；

步骤3：将原始图像和转换后的三种图像视为四个种类，对残差网络ResNet-152进行训练，获得风格辨别特征；

步骤4：利用风格辨别特征，使用K-means对原始图像进行聚类；

步骤5：将不同聚类中的人脸图像看作不同的图像风格，通过CycleGAN训练人脸生成模型以传递风格，获得风格聚合人脸图像；

步骤6：将原始人脸图像与风格聚合人脸图像共同作为输入，以级联策略生成人脸特征点预测，并使用argmax函数获得每个特征点的坐标，完成多重风格人脸特征点检测。

2.根据权利要求1所述的一种基于卷积神经网络的多重风格人脸特征点检测方法，其特征在于：所述的步骤6具体为：

步骤6.1：采用VGG-16的前四个卷积块，使用两个额外的卷积层作为特征提取部分，将原始人脸图像的输出要素F₀和风格聚合人脸图像的输出要素F_s分别作为输入，输出相应的映射H₀和H_s；

步骤6.2：将F₀、F_s、H₀和H_s串联作为输入，输出映射H₂；

步骤6.3：将F₀、F_s和H₂串联作为输入，输出映射H₃；

步骤6.4：在训练过程中将最小化每个面部图像的损失函数，损失函数为：

其中，

代表理想的映射；

步骤6.5：使用双三次插值将H₃上采样到原始人脸图像大小，在每个映射上使用argmax函数，获得每个人脸特征点的坐标。

Images