CN107038429A - 一种基于深度学习的多任务级联人脸对齐方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的多任务级联人脸对齐方法，包括如下步骤：采用卷积神经网络进行人脸对齐模型训练，其中：主线网络包括8层卷积层、4层归一化层、4层激活层、4层池化层以及一层全连接层，结构是每两层卷积层之后是归一化层、激活层和池化层，以此类推；前三层归一化和最后一层全连接层之后分别由全连接层作为支线网络进行预测，分别预测出人脸的关键点和人脸的属性。本发明在模型的训练过程中加入了性别、是否笑、是否带眼睛、姿态等辅助信息实现了多任务学习，在网络的每两层都有预测输出，实现了由粗到精的级联人脸关键点定位检测，提高了人脸对齐对人脸表情、姿态、性别和遮挡的鲁棒性。

Description

一种基于深度学习的多任务级联人脸对齐方法

技术领域

本发明涉及一种基于深度学习的多任务级联人脸对齐方法。

背景技术

人脸对齐应用的领域非常广泛：一、人脸识别，关键点预测是人脸识别中的一个极其重要的环节，人脸对齐的鲁棒性直接关系人脸识别的精度；二、人脸器官定位、器官跟踪。通过人脸对齐，我们能够定位到人脸的每个部件，提取相应的部件特征做后续的开发；三、表情识别。通过人脸对齐后，我们能够利用对齐后的人脸形状分析人脸的表情状态；四、人脸漫画/素描图像生成。通过人脸对齐后，我们能够进行人脸漫画和素描生成；五、虚拟现实和增强现实。通过人脸对齐后，我们能够做出很多好玩的应用；六、人脸老化、年轻化、年龄推断。特征融合/图像增强。通过人脸对齐后，我们能够有效提取人脸特征，并分析人脸年龄、人脸老化等；七、性别鉴别。通过人脸对齐，能够对人脸进行性别识别，男女之间的人脸形状有一定的差异性；八、3D卡通。通过人脸对齐能够进行3D卡通模拟。因此提高人脸对齐的鲁棒性具有重大的意义。

现有人脸对齐方法对人脸表情、姿态、遮挡和性别的鲁棒性不高。因此,我们需要设计一种高效率的、高准确率的人脸对齐方法。

发明内容

为了克服现有技术的上述缺点，本发明提出了一种基于深度学习的多任务级联人脸对齐方法。

本发明解决其技术问题所采用的技术方案是：一种基于深度学习的多任务级联人脸对齐方法，包括如下步骤：

步骤一、样本采集：标记人脸的关键点和人脸的属性标签；

步骤二、样本预处理：对人脸图像进行灰度化和归一化处理；

步骤三、采用卷积神经网络进行人脸对齐模型训练，其中：主线网络包括8层卷积层、4层归一化层、4层激活层、4层池化层以及一层全连接层，结构是每两层卷积层之后是归一化层、激活层和池化层，以此类推；前三层归一化和最后一层全连接层之后分别由全连接层作为支线网络进行预测，分别预测出人脸的关键点和人脸的属性；

步骤四、实时输出人脸的关键点和人脸的属性。

与现有技术相比，本发明的积极效果是：在模型的训练过程中加入了性别、是否笑、是否带眼睛、姿态等辅助信息实现了多任务学习，在网络的每两层都有预测输出，实现了由粗到精的级联人脸关键点定位检测。本发明通过基于深度学习的多任务级联训练模型实现了一种高效率和高精度的人脸对齐方法，提高了人脸对齐对人脸表情、姿态、性别和遮挡的鲁棒性。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是人脸对齐训练流程图；

图2是人脸关键点原始图；

图3是人脸轮廓关键点；

图4是人脸五官主要关键点；

图5是人脸五官其余关键点；

图6是人脸对齐预测流程图；

图7是人脸对齐模型结构图。

具体实施方式

一种基于深度学习的多任务级联人脸对齐方法，如图1所示，包括如下步骤：

步骤一、样本采集

(1)人工标记人脸的关键点，如图2所示；

(2)标记人脸属性标签：

性别标签：男性为0，女性为1；是否笑标签：笑为1，不笑为0；是否戴眼镜标签：戴眼镜为1，否则为0；姿态标签：Roll、Pitch、Yaw都为-90至90的范围。人脸姿态为三维空间的右手笛卡尔坐标。pitch是围绕X轴旋转，也叫做俯仰角。yaw是围绕Y轴旋转，也叫偏航角。roll是围绕Z轴旋转，也叫翻滚角。

步骤二、样本预处理

(1)人脸图像灰度化，并做归一化处理：

人脸图像采用灰度图像，并且对图像做归一化处理，即减去图像自身的均值且除以图像自身的标准差。

(2)人脸关键点拆分并做归一化处理：

1)人脸关键点拆分：

将人脸关键点拆分为三个部分：人脸轮廓关键点、人脸五官主要关键点、人脸五官外的其余关键点。拆分效果图如图3、图4、图5所示。

2)人脸关键点归一化处理：截取人脸图像部分，重新确定关键点的坐标，将这些坐标的x和y分别除以人脸图像的宽和高。

步骤三、人脸对齐模型训练：用于训练人脸对齐模型。

人脸对齐模型网络结构图如图7所示。

人脸关键点定位算法采用卷积神经网络，主线网络包括8层卷积层、4层BatchNormalization层，4层激活函数层、4层pooling层以及一层全连接层。结构是每两层卷积层之后是Batch Normalization层，激活层，pooling层，以此类推。前三层pooling和最后一层全连接层之后分别由7层全连接层作为支线网络进行预测，分别预测面部轮廓关键点(Contour Points)，五官的主要关键点(Inner Principal Points)，五官的其余关键点(Inner Elaborate Points)，姿态(Roll Pitch Yaw)，性别、是否笑、是否戴眼镜。

人脸关键点的预测和姿态(Roll Pitch Yaw)预测是属于回归问题，而性别、是否笑和是否戴眼镜属于二分类问题。

误差函数的选择方法：由于回归问题的输出是连续的，所以误差计算采用欧式距离；而分类问题的输出是整数非连续，所以误差采用SOFTMAX。

将归一化的图像(50x50x1)作为整个网络的输入，经过两层卷积层、归一化层、激活层和池化层之后分别输入一个34维的全连接层预测人脸轮廓关键点、一个22维的全连层预测人脸五官主要关键点、一个80维的全连层预测人脸其余关键点、一个两维的全连接层预测性别、一个两维的全连接层预测是否微笑、一个两维的全连接层预测是否戴眼镜和一个三维的全连接层预测姿态，并得到误差E1，以此类推分别得到误差E2，E3，E4；E4的误差通过回馈网络到达E3处，假设此时的误差为E4'，E4'和误差E3加权求和得到误差E3',E3'通过回馈网络到达E2处，假设此时的误差为E3”,E3”和误差E2加权求得到误差E2’，E2'通过回馈网络到达E1处，假设此时的网络误差为E2”,E2”和误差E1加权求和得到误差E1',E1'通过回馈网络到达网络的入口，此时整个网络的参数更新一次；继续输入图像重复上述的过程，直到E4误差达到一个稳定值，即网络收敛，停止训练，得到人脸对齐模型。

步骤四、实时输出人脸的关键点和人脸的属性(性别、是否笑、是否戴眼镜、姿态)。

本发明的原理为：对姿态、遮挡、面部表情及性别敏感的问题，设计一种基于深度学习的多任务级联人脸对齐方法。该方法将人脸中若干个面部关键点分为三个部分，其中一部分为面部轮廓关键点，一部分为五官主要关键点，一部分为五官次要关键点，且每张人脸的属性标记:性别、是否微笑、是否戴眼镜、脸部姿态(Roll Pitch Yaw)。将这些属性、脸部特征和灰度图像作为卷积神经网络的输入，在网络的每两层都会有相应的预测输出。这样通过多个任务(姿态、遮挡、面部表情及性别)和级联(每两层都有预测输出)训练，模型就会学习到一个对姿态、遮挡、面部表情及性别鲁棒性高的人脸对齐模型。

Claims (7)

1.一种基于深度学习的多任务级联人脸对齐方法，其特征在于：包括如下步骤：

步骤一、样本采集：标记人脸的关键点和人脸的属性标签；

步骤二、样本预处理：对人脸图像进行灰度化和归一化处理；

步骤三、采用卷积神经网络进行人脸对齐模型训练，其中：主线网络包括8层卷积层、4层归一化层、4层激活层、4层池化层以及一层全连接层，结构是每两层卷积层之后是归一化层、激活层和池化层，以此类推；前三层归一化和最后一层全连接层之后分别由全连接层作为支线网络进行预测，分别预测出人脸的关键点和人脸的属性；

步骤四、实时输出人脸的关键点和人脸的属性。

2.根据权利要求1所述的一种基于深度学习的多任务级联人脸对齐方法，其特征在于：在训练阶段将人脸关键点拆分为人脸轮廓关键点、人脸五官主要关键点和人脸五官外的其余关键点三个部分。

3.根据权利要求2所述的一种基于深度学习的多任务级联人脸对齐方法，其特征在于：人脸的属性标签包括：性别标签、是否笑标签、是否戴眼镜标签和姿态标签。

4.根据权利要求3所述的一种基于深度学习的多任务级联人脸对齐方法，其特征在于：步骤三所述采用卷积神经网络进行人脸对齐模型训练包括如下步骤：

第一步，将归一化处理后的人脸图像作为整个网络的输入，经过两层卷积层、归一化层、激活层和池化层之后分别输入一个34维的全连接层预测人脸轮廓关键点、一个22维的全连层预测人脸五官主要关键点、一个80维的全连层预测人脸其余关键点、一个两维的全连接层预测性别、一个两维的全连接层预测是否微笑、一个两维的全连接层预测是否戴眼镜和一个三维的全连接层预测姿态，并得到误差E1，以此类推分别得到误差E2，E3，E4；

第二步，E4的误差通过回馈网络到达E3处，得到误差E4'，将误差E4'和误差E3加权求和得到误差E3'；E3'通过回馈网络到达E2处，得到误差E3”,将误差E3”和误差E2加权求得到误差E2’；E2'通过回馈网络到达E1处，得到误差E2”,将E2”和误差E1加权求和得到误差E1'；将E1'通过回馈网络到达网络的入口，此时整个网络的参数更新一次；

第三步，继续输入图像重复上述的过程，直到E4误差达到一个稳定值、网络收敛时，停止训练，得到人脸对齐模型。

5.根据权利要求4所述的一种基于深度学习的多任务级联人脸对齐方法，其特征在于：所述人脸关键点的预测和姿态预测时采用欧式距离函数计算误差。

6.根据权利要求4所述的一种基于深度学习的多任务级联人脸对齐方法，其特征在于：所述人脸的性别、是否笑和是否戴眼镜预测时采用SOFTMAX函数计算误差。

7.根据权利要求1所述的一种基于深度学习的多任务级联人脸对齐方法，其特征在于：对人脸关键点进行归一化处理的方法为：截取人脸图像部分，重新确定关键点的坐标(x，y)，然后分别除以人脸图像的宽和高。