CN103824049A - 一种基于级联神经网络的人脸关键点检测方法 - Google Patents

Abstract

本发明涉及一种基于级联神经网络的人脸关键点检测方法，其步骤包括：a)建立训练用人脸图像集，标注需要检测的关键点位置；b)构建第一层深度神经网络并训练人脸区域估计模型；c)构建第二层深度神经网络，做人脸关键点初步检测；d)对内脸区域继续做局部区域划分；e)对每个局部区域分别构建第三层深度神经网络；f)对每个局部区域估计其旋转角度；g)按照估计的旋转角度做矫正；h)对每个局部区域的矫正数据集构建第四层深度神经网络；i)任给一张新的人脸图像，采用上述四层深度神经网络模型进行关键点检测，得到最终的人脸关键点检测结果。本发明有效地提高了人脸关键点检测，尤其是密集人脸关键点检测的准确性和实时性。

Description

一种基于级联神经网络的人脸关键点检测方法

技术领域

本发明属于数字图像处理及人脸识别技术领域，具体涉及一种基于级联神经网络的人脸关键点检测方法。

背景技术

人脸关键点检测（facial landmark detection），即给定一张人脸图片，要从中准确定位出一系列关键点（如瞳孔，眼角，眉角，嘴角，唇沿等等）的位置。人脸关键点检测作为人脸对齐前最重要的一步，它将很大程度影响到人脸识别/分析/搜索系统的整体性能。

传统的人脸关键点检测算法主要可以分为两类：第一类将每个关键点作为独立的部分，每一个关键点根据其局部特征单独训练检测器；第二类将所有关键点放在一起训练，重点考虑关键点之间的相对位置关系，最后得到一个全局最优解。然而在实际应用中，这两类算法都有着自己极大的缺陷：1）对第一类算法，由于每个关键点被单独检测，人脸的全局几何信息被完全忽略了，这使得其对细微扰动非常敏感，对光照变化、姿态变化等都不够鲁邦。此外，该算法的时间复杂程度和关键点的个数成正比，待检测的关键点越多，所需的检测器就越多，这使得其在较密（60点+）关键点的应用中很难实施；2）而对第二类算法，由于人脸不同关键点的检测难度不同（例如，眼睛附近的关键点要远比人脸轮廓上的关键点简单，因为眼睛附近特征明显且不易受姿态变化影响），用一个模型去求解所有关键点的位置往往会得出一个折中的结果，即那些比较容易的关键点被比较难的点所“拖累”，而其实它们单独做本可以做的更好。同时，这类算法使用了大量的冗余信息，就像用嘴和鼻子附近的特征去检测眼睛的关键点，这其实浪费了许多计算资源。

发明内容

本发明针对上述问题，提供一种基于级联神经网络的人脸关键点检测方法，能够有效地提高人脸关键点检测，尤其是密集人脸关键点检测的准确性和实时性。

为实现上述目的，本发明采用的技术方案如下：

一种基于级联神经网络的人脸关键点检测方法，其步骤包括：

a)建立训练用人脸图像集，对其中每一张人脸标注需要检测的关键点位置；

b)构建第一层深度神经网络并训练人脸区域估计模型，此模型中任一张人脸被分为内脸区域与外脸区域两部分；

c)构建第二层深度神经网络，对步骤b)中输出的内脸区域和外脸区域分别做独立的人脸关键点初步检测；

d)根据步骤c)的初步检测结果，对内脸区域继续做局部区域划分；

e)对步骤d)得到的每个局部区域分别构建第三层深度神经网络，用来训练针对该局部区域的人脸关键点检测器；

f)根据步骤e)的人脸关键点检测器的关键点输出结果，对每个局部区域估计其旋转角度；

g)将每个局部区域按照其估计的旋转角度做矫正，将矫正的图片收集作为新的训练集合；

h)对步骤g)中生成的每个局部区域的矫正数据集构建第四层深度神经网络，用来训练人脸关键点检测器；

i)任给一张新的人脸图像，采用经过上述步骤生成的四层深度神经网络模型进行关键点检测，并将最终生成的内脸区域、外脸区域、及各个局部区域的关键点结合输出，即为最终人脸关键点检测结果。

进一步地，步骤b）所述内脸区域包括眉、眼、鼻、嘴，所述外脸区域包括完整人脸轮廓；步骤d）对内脸区域做局部区域划分时，划分成为眉、眼、鼻、嘴四个局部区域。

进一步地，每一层深度神经网络内部由三部分组成：卷积层，最大采样层及全连接层，对输入图像做多轮的卷积和采样，最终经过全连接层输出人脸区域或人脸关键点的坐标。

进一步地，步骤f)对每个局部区域采用最小二乘法估计其旋转角度：

$M=\arg \min {{\mathrm{\Σ}}_X}_i\left|\right|{X^{\′}}_i-{\mathrm{MX}}_i\left|\right|$

其中M为旋转矩阵，X’_i为对正模版的关键点坐标，X_i为步骤e)中获得的关键点坐标。

进一步地，步骤g)将每个局部区域按照其估计的旋转角度做矫正的方法为：

$\stackrel{\‾}{X}=\mathrm{MX},$

其中

为矫正后的对正区域，M为步骤f)估计的旋转矩阵，X为原始区域。

相对于传统方法，本发明的主要贡献在于：

1）提出一种针对密集人脸关键点检测的四层级联神经网络结构。在该结构中，人脸关键点首先被“化繁为简”地逐级拆分成各个部分（如外脸/内脸，眉/眼等），而每个部分被单独地作为下一级的深度神经网络的输入。这样使得最后训练得到的检测器模型既考虑了每个部分的局部上下文信息（local context），又避免了将所有关键点放在一起而产生的相互干扰。同时，该结构亦遵循“由粗到精”的原则，即在每一级中优化上一级的输出结果，逐级优化，使得一些在最初级定位不准确的关键点能在后面的检测器中被逐步纠正，以期在最终层达到最优的关键点检测结果；

2）提出一种基于局部区域旋转估计的关键点检测算法。该算法被实施在整个级联框架最后一级，对关键点的位置做最后的精准定位。该算法能有效地减小人脸平面内旋转对关键点检测产生的负面影响。

基于以上原因，本发明有效地提高了人脸关键点检测，尤其是密集人脸关键点检测的准确性和实时性。

附图说明

图1是本发明的基于级联神经网络的人脸关键点检测方法的步骤流程示意图；

图2是实施例中单层深度神经网络示意图；

图3是本发明与传统方法的实验对比结果图。

具体实施方式

下面通过具体实施例和附图，对本发明做进一步说明。

本发明的基于级联神经网络的人脸关键点检测方法，其具体流程如图1所示，对其具体说明如下：

a)建立训练用人脸图像集A，其中每一张人脸都被人工标注了需要检测的关键点位置；

b)构建第一层深度神经网络（见图2）训练一个人脸区域估计模型，此模型中，任一张人脸被分为内脸区域（包括眉、眼、鼻、嘴）与外脸区域（包括完整人脸轮廓）两部分；

图2是单层深度神经网络的示意图。如图2所示，每一层深度神经网络内部都是由三部分组成：卷积层Con，最大采样层Mp及全连接层Fuc。按照如图2所示的顺序结构，依次对输入图像做多轮的卷积和采样，最终经过全连接输出人脸区域（第一级）或人脸关键点（第二至四级）的坐标。

c)构建第二层深度神经网络，对b)中的输出的内脸/外脸区域分别做独立的人脸关键点初步检测；

d)根据c)的初步检测结果，对内脸继续做局部区域划分，划分成为眉、眼、鼻、嘴四个局部区域；

e)对d)中的每个局部区域分别构建第三层深度神经网络，用来训练一个针对该局部区域的人脸关键点检测器；

f)根据e)的人脸关键点检测器的关键点输出结果，对其每个局部区域用最小二乘法估计其旋转角度。具体方法为：

$M=\arg \min {{\mathrm{\Σ}}_X}_i\left|\right|{X^{\′}}_i-{\mathrm{MX}}_i\left|\right|$

其中M为旋转矩阵，X’_i为对正模版的关键点坐标，X_i为e)中获得的关键点坐标；

g)将每个局部区域按照其估计的旋转角度做矫正，即进行如图1所示的旋转优化，将矫正的图片收集作为新的训练集合。具体矫正方法为：

$\stackrel{\‾}{X}=\mathrm{MX}$

其中M为步骤f)估计的旋转矩阵，X为原始区域，MX即将原始区域的位置乘上旋转矩阵，即为矫正后的对正区域；

h)对g)中生成的每个局部区域的矫正数据集，构建第四层深度神经网络，用来训练人脸关键点检测器；

i)任给一张新的无标注人脸图像，经过步骤b)c)e)h)生成的深度神经网络模型，并将最终生成的内脸/外脸，及各个局部区域的关键点结合输出，即为最终人脸关键点检测结果，最终结果如图1所示。

本发明提出的上述方法是针对密集人脸关键点检测的四层级联神经网络结构。在该结构中，人脸关键点首先被“化繁为简”地逐级拆分成各个部分（如外脸/内脸，眉/眼等），而每个部分被单独地作为下一级的深度神经网络的输入。这样使得最后训练得到的检测器模型既考虑了每个部分的局部上下文信息（local context），又避免了将所有关键点放在一起而产生的相互干扰。同时，该结构亦遵循“由粗到精”的原则，即在每一级中优化上一级的输出结果，逐级优化，使得一些在最初级定位不准确的关键点能在后面的检测器中被逐步纠正，以期在最终层达到最优的关键点检测结果。

在上述方法中，本发明提出了一种基于局部区域旋转估计的关键点检测算法。该算法被实施在整个级联框架最后一级，对关键点的位置做最后的精准定位。该算法能有效地减小人脸平面内旋转对关键点检测产生的负面影响。

基于以上原因，本发明有效地提高了人脸关键点检测，尤其是密集人脸关键点检测的准确性和实时性。如图3所示，给定测试/训练图片样本的比例，本发明对关键点预测的平均误差要远远低于传统方法。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求所述为准。

Claims (6)

1.一种基于级联神经网络的人脸关键点检测方法，其步骤包括：

a)建立训练用人脸图像集，对其中每一张人脸标注需要检测的关键点位置；

b)构建第一层深度神经网络并训练人脸区域估计模型，此模型中任一张人脸被分为内脸区域与外脸区域两部分；

c)构建第二层深度神经网络，对步骤b)中输出的内脸区域和外脸区域分别做独立的人脸关键点初步检测；

d)根据步骤c)的初步检测结果，对内脸区域继续做局部区域划分；

e)对步骤d)得到的每个局部区域分别构建第三层深度神经网络，用来训练针对该局部区域的人脸关键点检测器；

f)根据步骤e)的人脸关键点检测器的关键点输出结果，对每个局部区域估计其旋转角度；

g)将每个局部区域按照其估计的旋转角度做矫正，将矫正的图片收集作为新的训练集合；

h)对步骤g)中生成的每个局部区域的矫正数据集构建第四层深度神经网络，用来训练人脸关键点检测器；

i)任给一张新的人脸图像，采用经过上述步骤生成的四层深度神经网络模型进行关键点检测，并将最终生成的内脸区域、外脸区域、及各个局部区域的关键点结合输出，即为最终人脸关键点检测结果。

2.如权利要求1所述的方法，其特征在于：步骤b）所述内脸区域包括眉、眼、鼻、嘴，所述外脸区域包括完整人脸轮廓。

3.如权利要求1所述的方法，其特征在于：步骤d）对内脸区域做局部区域划分时，划分成为眉、眼、鼻、嘴四个局部区域。

4.如权利要求1所述的方法，其特征在于：每一层深度神经网络内部由三部分组成：卷积层，最大采样层及全连接层，对输入图像做多轮的卷积和采样，最终经过全连接层输出人脸区域或人脸关键点的坐标。

5.如权利要求1所述的方法，其特征在于：步骤f)对每个局部区域采用最小二乘法估计其旋转角度：

$M=\arg \min {{\mathrm{\Σ}}_X}_i\left|\right|{X^{\′}}_i-{\mathrm{MX}}_i\left|\right|,$

其中M为旋转矩阵，X’_i为对正模版的关键点坐标，X_i为步骤e)中获得的关键点坐标。

6.如权利要求5所述的方法，其特征在于：步骤g)将每个局部区域按照其估计的旋转角度做矫正的方法为：

$\stackrel{\‾}{X}=\mathrm{MX},$

其中

为矫正后的对正区域，M为步骤f)估计的旋转矩阵，X为原始区域。

Images