CN107480640A - 一种基于二值卷积神经网络的人脸对齐方法 - Google Patents

Abstract

本发明涉及一种基于二值卷积神经网络的人脸对齐方法，包括以下步骤：选取训练人脸样本，对人脸的矩形区域以及关键点的位置坐标取平均，对人脸归一化；构建深度卷积网络模型，对模型参数进行二值化，以处理人脸并输出人脸图像特征；采用回归关键点位置增量的方法，对人脸图像特征的特征点的位置偏移量进行迭代，得到关键点位置增量；构建关键点位置增量回归模型，对关键点位置增量和样本真实的形状增量进行拟合，输出关键点的位置。本发明加入二值化参数操作对模型进行压缩，提高模型的运算效率，多尺度特征融合技术提升关键点的位置精度；采用增量回归模型和位置回归模型，通过训练模型对坐标偏移进行回归，经过几次迭代逐渐接近精确的位置。

Description

一种基于二值卷积神经网络的人脸对齐方法

技术领域

本发明涉及人脸识别图像处理技术，特别是涉及一种基于二值卷积神经网络的人脸对齐方法。

背景技术

人脸对齐任务是在已检测到的人脸图像中自动定位出面部每个关键特征点的具体，如眉毛、眼睛、鼻尖、鼻孔、嘴角点以及人脸轮廓点等。人脸对齐在人脸图像处理任务中扮演着重要的角色，比如自动人脸识别，表情识别以及人脸动画自动合成等任务。精确、高效地定位出人脸关键特征点位置是人脸识别的重要前提条件。由于不同的姿态、表情、光照以及遮挡等因素的影响，准确地定位出各个关键特征点的位置仍然面临着许多挑战。

近年来，关键点回归模型在人脸对齐任务上取得了重大突破，该方法使用回归模型，学习从人脸特征到人脸关键点的拟合函数，输出关键点的位置。此类方法简单高效，能适应各种人脸的姿态表情变化、部件遮挡、背景干扰、拍摄质量、光照视角等情况，但也有少许样本的脸部轮廓定位不正确。

此外，随着深度学习技术的应用狂潮，基于深度学习的人脸对齐方法同样引起了学者的关注。该方法能够进一步提升定位模型的精度。但该方法运算效率不快，同时出现极端姿态和夸张表情变化的情况还不够理想。

一个好的人脸对齐方法需要满足以下几个条件：1、较高的检测准确率；2、较高的计算效率；3、具有不同场景的泛化能力。

发明内容

本发明的目的在于提供一种基于二值卷积神经网络的人脸对齐方法，基于具有简单高效的优点的关键点回归模型以及能够学习到更丰富的特征表达的深度学习技术，提出一种高效准确的人脸对齐方法。

为了实现上述目的，本发明提供了以下技术方案：

本发明提供一种基于二值卷积神经网络的人脸对齐方法，包括以下步骤：

101、人脸预处理：选取训练人脸样本，对人脸的矩形区域以及关键点的位置坐标取平均，对人脸进行预处理；

102、二值化深度卷积处理人脸：构建深度卷积网络模型，对模型参数进行二值化，以处理人脸并输出人脸图像特征；

103、运算人脸图像特征的关键点位置增量：采用回归关键点位置增量的方法，对人脸图像特征的特征点的位置偏移量进行迭代，得到关键点位置增量；

104、运算人脸图像特征的关键点的位置：构建关键点位置增量回归模型，对关键点位置增量和样本真实的形状增量进行拟合，输出关键点的位置。

与现有技术相比，本发明具有以下优点：

本发明的一种基于二值卷积神经网络的人脸对齐方法，在网络结构上，设计小的卷积神经网络，加入二值化参数操作对模型进行压缩，提高模型的运算效率，多尺度特征融合技术进一步提升关键点的位置精度；采用增量回归模型和位置回归模型，通过训练模型对坐标偏移进行回归，并且经过几次迭代逐渐接近精确的位置。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的整体框图；

图2为本发明的二值化深度卷积模型示意图；

图3为本发明的二值化滤波器参数模型示意图。

具体实施方式

以下结合附图和实施例对本发明的方案进行详细说明，应当理解，此处所描述的方案仅用于说明和解释本发明，并不用于限定本发明。

如图1-3所示，本发明提供一种基于二值卷积神经网络的人脸对齐方法，包括以下步骤：

步骤101、人脸预处理：选取训练人脸样本，对人脸的矩形区域以及关键点的位置坐标取平均，对人脸进行预处理。

选取所有训练人脸样本，对人脸的矩形区域以及关键点的位置坐标取平均，得到平均脸。然后，将每张人脸减去平均脸，再除以平均脸，进行人脸预处理操作。

按照人脸的关键部件，如眉毛、眼睛、瞳孔、鼻尖、鼻孔、嘴巴及人脸轮廓点等，选取68个特征点的位置来表示人脸的形状。一张人脸形状可以表示为S＝{x₁,y₁,x₂,y₂,…,x₆₈,y₆₈}，其中，x_i、y_i分别表示第i个关键点的横、纵坐标。

步骤102、二值化深度卷积处理人脸：构建深度卷积网络模型，对模型参数进行二值化，以处理人脸并输出人脸图像特征。

本发明提出一种小的卷积网络模型，并且对模型参数进行二值化。旨在保证定位精度的同时，提高模型的运算效率。在设计网络的过程中，本发明尽可能减少网络层数和通道个数，主要采用3*3的滤波器。参见图2、图3，具体分类网络结构如下：

1)输入人脸图像，大小为112*112。

2)随后输入到VGG网络，直到conv43层。

3)随后输入三个卷积模块，分别命名为Conv5，Conv6，Conv7，三个卷积模块依次连接。相应地，每个卷积模块包括卷积操作，批归一化操作及ReLU激活函数。其中，Conv5通道个数为64；Conv6通道个数为128；Conv7通道个数为256。

4)将三个卷积层接入到二值化参数模块，将滤波器参数二值化。

5)利用最大池化及反卷积操作，将三个卷积层的输出特征谱融合到一起作为最终的人脸图像特征。

步骤103、运算人脸图像特征的关键点位置增量：采用回归关键点位置增量的方法，对人脸图像特征的特征点的位置偏移量进行迭代，得到关键点位置增量。

利用步骤102得到人脸图像特征，本发明采用回归关键点增量的方法，建立回归模型对68个特征点的位置偏移量进行估计。即：ΔS_n＝ΔS_n-1+W_nF_n(I,ΔS_n-1)，式中ΔS_n表示第n次迭代的关键点位置增量，W_n表示需要学习的参数，F_n表示第n次迭代的非线性映射函数。最终需要优化的目标函数为：

在进行迭代时，要判断是否达到最大迭代次数。即，对迭代结果及迭代次数进行分析，以判断是否还需要继续迭代。每一次迭代结束，计算当前关键点增量与前一次迭代关键点增量的差异。如果两者差异达到指定的收敛范围或者经过3次迭代，停止迭代，进入下一程序；否则继续执行迭代。

步骤104、运算人脸图像特征的关键点的位置：构建关键点位置增量回归模型，对关键点位置增量和样本真实的形状增量进行拟合，输出关键点的位置。

在步骤103后，采用最小二乘回归方法构建关键点位置增量回归模型，得到一个位置回归模型。训练时，对估计的増量和样本真实的形状增量进行拟合，输出关键点的位置。

基于上述方法，本发明提供一种基于二值卷积神经网络的人脸对齐系统，此处作简单说明，具体内容参见上述，其包括：

人脸预处理模块：用于选取训练人脸样本，对人脸的矩形区域以及关键点的位置坐标取平均，对人脸进行预处理；及

二值化深度卷积处理模块：用于构建深度卷积网络模型，对模型参数进行二值化，以处理人脸并输出人脸图像特征；及

人脸图像特征的关键点位置增量运算模块：用于采用回归关键点位置增量的方法，对人脸图像特征的特征点的位置偏移量进行迭代，得到关键点位置增量；及

人脸图像特征的关键点的位置运算模块：用于构建关键点位置增量回归模型，对关键点位置增量和样本真实的形状增量进行拟合，输出关键点的位置。

实施例1

本实施例包括训练VGG分类网络及训练关键点定位网络，具体如下述。

首先，在ImageNet数据库上训练输入大小为112*112的VGG分类网络，具体步骤如下：

1、将输入图像进行预处理，所有图像被归一化到128*128像素。

2、随机对输入图像进行裁剪，将图像裁剪为112*112像素，输入网络时每次输入64张图像。

3、采用随机梯度下降法对模型参数进行更新，在计算分类损失的时候，本模型采用softmax的方法计算分类损失。初始学习率设置为0.1，每隔200000次衰减为原来的0.1，总共训练500000次。

4、将最终训练的模型保存下来，用于微调整个特征提取网络。

随后，在我们构建的人脸数据集上训练关键点定位网络，具体步骤如下：

1、将整个检测网络Conv43前面层的初始参数用分类网络的参数替换。

2、将图像归一化为112*112像素，输入网络时每次输入64张图像。

3、采用随机梯度下降法法对模型参数进行更新，本模型采用Smooth L1的坐标偏移损失。初始学习率设置为0.001，每隔200000次衰减为原来的0.1，总共训练200000次。

初步验证，经过本发明算法较现有基于深度学习的人脸对齐算法精度高出2％～3％，并且时间提升1.5倍。

综上所述，本发明的一种基于二值化卷积神经网络的快速准确的人脸对齐算法，其中包括卷积网络模型、二值化参数模块、特征融合、关键点的增量和位置回归模型，能够得到快速准确的人脸关键点定位效果，具体表现为：

1、步骤101归一化图像大小设置为112*112，既能很好地描述人脸，也能提高算法的运算效率。而传统的VGG网络输入大小224*224。

2、步骤102设计较小的网络，并且对网络参数进行二值化操作。这样不仅能够通过深度学习技术提取更加丰富的人脸特征，而且能够提高模型的运算效率。另外，深度网络是对输入图像进行不同深度层次的抽象，对多层的特征进行融合，能够进一步提升关键点位置的准确性。

3、步骤103和步骤104位置回归能够得到更加精确的边框位置。通过训练模型对坐标偏移进行回归，并且经过几次迭代逐渐接近精确的位置，相比直接回归出关键点的位置能够取得更好的性能。得到位置偏移后，通过训练的回归模型预测出关键点真实的位置能够进一步排除位置的偏差。

应当理解，本发明上述实施例及实例，是出于说明和解释目的，并非因此限制本发明的范围。本发明的范围由权利要求项定义，而不是由上述实施例及实例定义。

Claims (10)

1.一种基于二值卷积神经网络的人脸对齐方法，其特征在于，包括以下步骤：

101、人脸预处理：选取训练人脸样本，对人脸的矩形区域以及关键点的位置坐标取平均，对人脸进行预处理；

102、二值化深度卷积处理人脸：构建深度卷积网络模型，对模型参数进行二值化，以处理人脸并输出人脸图像特征；

103、运算人脸图像特征的关键点位置增量：采用回归关键点位置增量的方法，对人脸图像特征的特征点的位置偏移量进行迭代，得到关键点位置增量；

104、运算人脸图像特征的关键点的位置：构建关键点位置增量回归模型，对关键点位置增量和样本真实的形状增量进行拟合，输出关键点的位置。

2.根据权利要求1所述一种基于二值卷积神经网络的人脸对齐方法，其特征在于，所述步骤101中，对人脸的矩形区域以及关键点的位置坐标取平均得到平均脸，然后，将每张人脸减去平均脸后除以平均脸，进行人脸预处理操作。

3.根据权利要求1所述一种基于二值卷积神经网络的人脸对齐方法，其特征在于，所述步骤101中，按照人脸的关键部件选取68个特征点的位置来表示人脸的形状，一张人脸形状表示为S＝{x₁,y₁,x₂,y₂,…,x₆₈,y₆₈}，其中，x_i、y_i分别表示第i个关键点的横、纵坐标。

4.根据权利要求1所述一种基于二值卷积神经网络的人脸对齐方法，其特征在于，所述步骤102中，人脸图像依次经VGG网络、卷积模块、二值化参数模块处理后输出人脸图像特征，具体处理步骤如下：

(a)将人脸图像输入到VGG网络；

(b)随后输入三个卷积模块，分别进行卷积操作、批归一化操作及ReLU激活函数；

(c)将三个卷积层接入到二值化参数模块，将滤波器参数二值化；

(d)利用最大池化及反卷积操作，将三个卷积层的输出特征谱融合，输出人脸图像特征。

5.根据权利要求4所述一种基于二值卷积神经网络的人脸对齐方法，其特征在于，所述步骤102中，人脸图像的大小为112*112。

6.根据权利要求4所述一种基于二值卷积神经网络的人脸对齐方法，其特征在于，所述步骤102中，三个卷积模块依次连接，其通道个数分别为64、128、256。

7.根据权利要求1所述一种基于二值卷积神经网络的人脸对齐方法，其特征在于，所述步骤103中，第n次迭代的关键点位置增量函数为ΔS_n＝ΔS_n-1+W_nF_n(I,ΔS_n-1)，式中，ΔS_n表示第n次迭代的关键点位置增量，W_n表示需要学习的参数，F_n表示第n次迭代的非线性映射函数。

8.根据权利要求1所述一种基于二值卷积神经网络的人脸对齐方法，其特征在于，所述步骤103中，每一次迭代运算结束后，计算当前关键点增量与前一次迭代关键点增量的差异，如果两者差异达到指定的收敛范围或者经过3次迭代则停止迭代，否则继续迭代。

9.根据权利要求1所述一种基于二值卷积神经网络的人脸对齐方法，其特征在于，所述步骤104中，采用最小二乘回归方法构建关键点位置增量回归模型。

10.一种基于二值卷积神经网络的人脸对齐系统，其特征在于，包括

人脸预处理模块：用于选取训练人脸样本，对人脸的矩形区域以及关键点的位置坐标取平均，对人脸进行预处理；及

二值化深度卷积处理模块：用于构建深度卷积网络模型，对模型参数进行二值化，以处理人脸并输出人脸图像特征；及

人脸图像特征的关键点位置增量运算模块：用于采用回归关键点位置增量的方法，对人脸图像特征的特征点的位置偏移量进行迭代，得到关键点位置增量；及

人脸图像特征的关键点的位置运算模块：用于构建关键点位置增量回归模型，对关键点位置增量和样本真实的形状增量进行拟合，输出关键点的位置。