CN106022215A - 人脸特征点定位方法及装置 - Google Patents

Abstract

本发明涉及一种小体积人脸特征点定位方法及装置，其中，该方法包括：从预设样本数据库中随机获取预设数量的图像样本；根据所述图像样本训练用于进行特征点定位的深度网络模型；获取待定位图像；根据所述深度网络模型对所述待定位图像进行特征点定位。本发明的人脸特征点定位方法及装置，基于训练的深度网络模型对待定位图像进行特征点定位，消除了现有的人脸特征点定位方法存在的算法复杂度高、运算速度低、误差容易放大、不利于联合优化以及耗费大量人力成本的弊端，降低了人脸特征点定位算法的复杂度，提高了运算速度，通过联合优化，实现节约人力成本的目的。

Description

人脸特征点定位方法及装置

技术领域

本发明涉及图像处理与模式识别技术领域，尤其涉及一种人脸特征点定位方法及装置。

背景技术

人脸特征点定位的目的是精确定位人脸面部器官，主要应用于人脸识别、表情识别、三维人脸重建等相关领域。由于实际应用中受到人脸采集环境的限制，通常采集的人脸图像会受到光照、表情、遮挡、姿态等变化的影响，给人脸特征点的精确定位提出了严峻的挑战。

针对特征点定位问题存在的困难，研究人员对人脸特征点定位算法进行了广泛而深入的研究，开发出了大量相关算法。例如主动形状模型(Active Shape Model，ASM)和主动表现模型(Active AppearanceModel，AAM)、基于ASM和AAM改进方法、基于逐步回归的方法以及基于深度学习的方法等等。

然而，ASM对于局部纹理建模不稳定，AAM模型对于样本初始化位置敏感；而基于ASM和AAM的改进方法虽然在定位速度与定位精度方面比之前的算法有较大提高，但是改进的同时增加了算法的复杂度，降低了算法运行的速度，限制了算法的应用范围；基于逐步回归的方法通常具有误差传递的现象，也就是前一级回归造成的误差会在之后的回归过程中不断放大，最终导致回归失败；其中，基于决策树建模的逐步回归方法还存在资源文件体积过大的问题，单个资源文件过于庞大，动辄达到50多兆有的甚至上百兆，很难应用于小型移动设备；基于深度学习的方法通常采用多模型的浅层网络描述标记点分布，发布一套算法要分别训练多个模型，不利于算法的联合优化；此外，现有的方法还存在对于一张图像需要标记大量不同属性，以及多应用单一标准进行特征点定位，且为了达到足够的精度需要标记大量的样本，这将耗费大量的人力成本。

发明内容

为消除上述现有的人脸定位方法存在的算法复杂度高、体积庞大、误差容易放大、不利于联合优化以及耗费大量人力成本的弊端，本发明提出了一种人脸特征点定位方法，该方法包括：

从预设样本数据库中随机获取预设数量的图像样本；

根据所述图像样本训练用于进行特征点定位的深度网络模型；

获取待定位图像；

根据所述深度网络模型对所述待定位图像进行特征点定位。

可选地，所述预设样本数据库包括以下一种或其组合：

THFceIDTest数据库、FERET2数据库、CAS_PEAL数据库、JAFFE数据库、CMUPie数据库以及LFW数据库。

可选地，所述根据所述图像样本训练用于进行特征点定位的深度网络模型，包括：

在对前20％*n次遍历的过程中，从三个预设的人脸标记数据库中随机选择一个所述人脸标记数据库来优化基础网络和所选人脸标记数据库对应的分支网络；其中，n为对所述图像数据库进行遍历的总次数；

在对中间的60％*n次遍历的过程中，根据基础网络和所对应的分支网络的优化结果进行88点数据库模型优化，并且每遍历预设数量的图像样本进行一次模型压缩；

在对最后20％*n次遍历的过程中，根据所述88点数据库模型优化的结果再次进行所述88点数据库模型优化。

可选地，所述根据所述图像样本训练用于进行特征点定位的深度网络模型，还包括：

通过加入规范化层增加所述图像样本的收敛速度；

其中，所述规范化层的形式为y＝wx+b，其中x为所述规范化层的输入，w和b为所述规范化层对应的参数，y为输出，计算参数w和b使得对于任何样本x，wx+b的结果落在(-1,1)之间；

在反向传播的过程中利用梯度进一步优化w和b。

可选地，所述根据所述深度网络模型对所述待定位图像进行特征点定位，包括：

利用人脸检测模型得到的人脸框将所述人脸框内的图像缩放到70*70像素；

根据所述深度网络模型对经过缩放的图像进行特征点定位；

根据所述特征点定位的结果将所述经过缩放的图像反向投影到所述人脸框内的图像的原图尺度空间。

另一方面，本发明还提供了一种人脸特征点定位装置，该装置包括：

样本获取单元，用于从预设样本数据库中随机获取预设数量的图像样本；

模型训练单元，用于根据所述图像样本训练用于进行特征点定位的深度网络模型；

图像获取单元，用于获取待定位图像；

特征点定位单元，用于根据所述深度网络模型对所述待定位图像进行特征点定位。

可选地，所述预设样本数据库包括以下一种或其组合：

THFceIDTest数据库、FERET2数据库、CAS_PEAL数据库、JAFFE数据库、CMUPie数据库以及LFW数据库。

可选地，所述模型训练单元进一步用于：

在对前20％*n次遍历的过程中，从三个预设的人脸标记数据库中随机选择一个所述人脸标记数据库来优化基础网络和所选人脸标记数据库对应的分支网络；其中，n为对所述图像数据库进行遍历的总次数；

在对中间的60％*n次遍历的过程中，根据基础网络和所对应的分支网络的优化结果进行88点数据库模型优化，并且每遍历预设数量的图像样本进行一次模型压缩；

在对最后20％*n次遍历的过程中，根据所述88点数据库模型优化的结果再次进行所述88点数据库模型优化。

可选地，所述模型训练单元进一步用于：

通过加入规范化层增加所述图像样本的收敛速度；

其中，所述规范化层的形式为y＝wx+b，其中x为所述规范化层的输入，w和b为所述规范化层对应的参数，y为输出，计算参数w和b使得对于任何样本x，wx+b的结果落在(-1,1)之间；

在反向传播的过程中利用梯度进一步优化w和b。

可选地，所述特征点定位单元进一步用于：

利用人脸检测模型得到的人脸框将所述人脸框内的图像缩放到70*70像素；

根据所述深度网络模型对经过缩放的图像进行特征点定位；

根据所述特征点定位的结果将所述经过缩放的图像反向投影到所述人脸框内的图像的原图尺度空间。

本发明的人脸特征点定位方法及装置，基于训练的深度网络模型对待定位图像进行特征点定位，消除了现有的人脸特征点定位方法存在的算法复杂度高、运算速度低、误差容易放大、不利于联合优化以及耗费大量人力成本的弊端，降低了人脸特征点定位算法的复杂度，提高了运算速度，通过联合优化，实现节约人力成本的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例的人脸特征点定位方法流程示意图；

图2为本发明一个实施例的人脸特征点定位装置的结构示意图；

图3为本发明另一个实施例的人脸特征点定位方法中初始化的人脸框位置的示意图；

图4为本发明另一个实施例的人脸特征点定位方法中,训练特征点定位的深度网络模型的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一个实施例的人脸特征点定位方法流程示意图；如图1所示，该方法包括：

S1：从预设样本数据库中随机获取预设数量的图像样本；

具体来说，该预设样本数据库包括以下一种或其组合：

THFceIDTest数据库、FERET2数据库、CAS_PEAL数据库、JAFFE数据库、CMUPie数据库以及LFW数据库；

其中，THFaceIDTest：为清华大学电子系内部采集的数据库，照片为室内环境，具有一定的表情姿态变化；

FERET2：(http://www.nist.gov/itl/iad/ig/colorferet.cfm)室内采集，包含一定的姿态，表情变化；

CAS_PEAL：(http://www.jdl.ac.cn/peal/index.html)室内采集，包含一定的姿态、表情、光照变化；

JAFFE：(http://www.kasrl.org/jaffe.html)室内采集，具有夸张的表情变化，无姿态光照变化；

CMUPie：(http://www.multipie.org/)室内采集，包含姿态表情等变化；

LFW：(http://vis-www.cs.umass.edu/lfw/)从网上下载的名人图像，包含较丰富的光照、姿态、表情变化；

S2：根据所述图像样本训练用于进行特征点定位的深度网络模型；

S3：获取待定位图像；

S4：根据所述深度网络模型对所述待定位图像进行特征点定位。

本实施例的人脸特征点定位方法及装置，基于训练的深度网络模型对待定位图像进行特征点定位，消除了现有的人脸特征点定位方法存在的算法复杂度高、运算速度低、误差容易放大、不利于联合优化以及耗费大量人力成本的弊端，降低了人脸特征点定位算法的复杂度，提高了运算速度，通过联合优化，实现节约人力成本的目的。

作为本实施例的优选，步骤S2中根据所述图像样本训练用于进行特征点定位的深度网络模型，可以进一步包括：

S21：在对前20％*n次遍历的过程中，从三个预设的人脸标记数据库中随机选择一个所述人脸标记数据库来优化基础网络和所选人脸标记数据库对应的分支网络；其中，n为对所述图像数据库进行遍历的总次数；

S22：在对中间的60％*n次遍历的过程中，根据基础网络和所对应的分支网络的优化结果进行88点数据库模型优化，并且每遍历预设数量的图像样本进行一次模型压缩；

S23：在对最后20％*n次遍历的过程中，根据所述88点数据库模型优化的结果再次进行所述88点数据库模型优化。

可选地，所述根据所述图像样本训练用于进行特征点定位的深度网络模型，还可以包括：

通过加入规范化层增加所述图像样本的收敛速度；

其中，所述规范化层的形式为y＝wx+b，其中x为所述规范化层的输入，w和b为所述规范化层对应的参数，y为输出，计算参数w和b使得对于任何样本x，wx+b的结果落在(-1,1)之间；

在反向传播的过程中利用梯度进一步优化w和b。

作为本实施例的优选，步骤S4中根据所述深度网络模型对所述待定位图像进行特征点定位，可进一步包括：

S41：利用人脸检测模型得到的人脸框将所述人脸框内的图像缩放到70*70像素；

S42：根据所述深度网络模型对经过缩放的图像进行特征点定位；

S43：根据所述特征点定位的结果将所述经过缩放的图像反向投影到所述人脸框内的图像的原图尺度空间。

在上一实施例的基础上，本实施例的人脸特征点定位方法，通过引入规范化层，进一步提高了运算速度，可实现联合优化，进而可实现节约人力成本。

图2为本发明一个实施例的人脸特征点定位装置的结构示意图；如图2所示，该装置包括样本获取单元10、模型训练单元20、图像获取单元30以及特征点定位单元40；其中：

样本获取单元10用于从预设样本数据库中随机获取预设数量的图像样本；

具体来说，该预设样本数据库包括以下一种或其组合：

THFceIDTest数据库、FERET2数据库、CAS_PEAL数据库、JAFFE数据库、CMUPie数据库以及LFW数据库。

模型训练单元20用于根据所述图像样本训练用于进行特征点定位的深度网络模型；

图像获取单元30用于获取待定位图像；

特征点定位单元40用于根据所述深度网络模型对所述待定位图像进行特征点定位。

本实施例所述的装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

作为本实施例的优选，模型训练单元20可进一步用于在对前20％*n次遍历的过程中，从三个预设的人脸标记数据库中随机选择一个所述人脸标记数据库来优化基础网络和所选人脸标记数据库对应的分支网络；其中，n为对所述图像数据库进行遍历的总次数；

以及，在对中间的60％*n次遍历的过程中，根据基础网络和所对应的分支网络的优化结果进行88点数据库模型优化，并且每遍历预设数量的图像样本进行一次模型压缩；

以及，在对最后20％*n次遍历的过程中，根据所述88点数据库模型优化的结果再次进行所述88点数据库模型优化。

可选地，模型训练单元20进一步用于：

通过加入规范化层增加所述图像样本的收敛速度；

其中，所述规范化层的形式为y＝wx+b，其中x为所述规范化层的输入，w和b为所述规范化层对应的参数，y为输出，计算参数w和b使得对于任何样本x，wx+b的结果落在(-1,1)之间；

在反向传播的过程中利用梯度进一步优化w和b。

作为本实施例的优选，特征点定位单元40还可以进一步用于利用人脸检测模型得到的人脸框将所述人脸框内的图像缩放到70*70像素；以及根据所述深度网络模型对经过缩放的图像进行特征点定位；以及根据所述特征点定位的结果将所述经过缩放的图像反向投影到所述人脸框内的图像的原图尺度空间。

本实施例所述的装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

下面以一具体的实施例来说明本发明，但不限定本发明的保护范围。本实施例中所涉及的基本名词如下：

Epoch：在线学习中对于训练样本集合完成一次遍历叫作一个epoch；

Batch：每次迭代过程中送入模型中进行训练的样本数目叫作batch；

迭代：每次模型优化叫作一次迭代。

本实施例的人脸特征点定位方法的主要特点如下：

(1)、采用一种新的人脸数据扰动方法，增加样本数量，既提高了样本的丰富性也减少了对单独人脸检测模型的依赖，具体步骤如下：

(1.1)对于已标记的训练样本，首先利用眼睛、鼻子、嘴巴处的标记点生成一个外接矩形。要求生成的人脸框必须包含这个矩形；

(1.2)生成一个包含(1.1)中所述矩形的正方形，要求该正方形不但完全包含(1.1)所述矩形还要求(1.1)中矩形在正方形中所占比例大于一个阈值，本算法采用的阈值为0.5；

(1.3)具体计算方法如下：

1.31、设由眼睛鼻子嘴巴生成的外接矩形的长宽分别为h，l，设生成的图像窗口为正方形且边长为w，则满足如下不等式组的w为期望的人脸框边长：

$\left\{\begin{array}{c}\frac{w*h}{l}\≥0.5\\ l\≥w\\ l\≥h\end{array}\right.;$

1.32、选择一个有效的w值，扩展眼睛鼻子嘴巴组成的外接矩形就得到最终的人脸窗口，通过不同的w值可以确定大量不同的人脸窗口，具体如图3所示；

(2)加入规范化层增加样本收敛速度。通常的规范化系数都是在正式训练模型之前由训练样本集合得到的，但是对于在线训练算法，模型训练之初无法完全得到所有样本，或者样本数量太大无法一次得到规范化系数，这里我们添加了如下的规范化层：

(2.1)这里设规范化层的形式为y＝wx+b，其中x为所述规范化层的输入，w和b为所述规范化层对应的参数，y为输出从数据库中采样多个batch的样本得到数据集s，计算参数w和b使得对于集合中任何样本x，wx+b的结果落在(-1,1)之间；

(2.2)在反向传播的过程中利用梯度进一步优化w和b。

(3)设计新型网络结构利用不同标记规则进行训练，整体网络结构如下表一、表二所示；

其中第一列依次描述了神经网络中层的类型，首先将生成的人脸窗口规范化到70*70大小送入神经网络在基础网络由9层卷基层(Cov)与Relu激活函数层组成并在其中穿插了两个取最大池化层(Pool(Max))；第二列中以w*h*n的形式描述了网络层的规模比如3*3*27即卷积核大小为3*3，该层共有神经元27个，具体步骤如下：

(3.1)在训练模型的初始阶段每一次epoch从三个不同标记规则数据库中选择一个优化基础网络和对应的分支网络；

(3.2)进行所有epoch的20％之后，不再进行数据库的选择，而是单独采用本实施例使用的88点数据库进行优化；

表一基础网络部分网络结构

表二分支网络部分网络结构

	HISIGN	ZJU	IBUG
				层	结构	结构	结构
Cov+Relu	1*1*21	1*1*21	1*1*21
				Cov+Tanh	1*1*176	1*1*148	1*1*136
Nor[-1,1]	1*1*176	1*1*148	1*1*136
				Square	1*1*176	1*1*148	1*1*136

(4)在每次迭代中采用筛选的方式选择出最需要的样本进行学习

(4.1)每次采样多个batch的样本作为候选样本。

(4.1)利用现有模型对候选样本进行定位，并计算定位误差。

(4.3)按定位误差进行排序，取误差最大的n个样本作为本次训练的输入数据。

(5)采用稀疏化压缩方法减小资源文件体积，本实施例采用如下方法进行网络的稀疏化：

(5.1)训练阶段

(5.11)在网络训练过程中取前20％的epoch进行正常的网络训练；

(5.12)在之后60％的epoch中每隔10次epoch对除了最后一个卷基层之外的所有卷基层进行一次稀疏化；其中，针对每一层进行稀疏化的具体方法如下：

对当前权重系数按照大小进行排序，计算所有权重之和；

对所有系数由大到小进行累计求和，当累计和与权重总和之比大于阈值T时，剩余未累加的小权重全部置零。其中，本实施例中阈值优选为0.99；

(5.13)在最后的20％的epoch中继续进行正常的网络测试。

图4为本发明另一个实施例的人脸特征点定位方法中,训练特征点定位的深度网络模型的流程示意图；如图4所示，首先由三个数据库中选择一个作为本轮优化的数据库，然后通过上文所述的样本生成方法由数据库中的图像生成训练使用的人脸图像，接着计算所有样本的误差并对误差进行排序，最后选择误差最大的样本训练神经网络。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸特征点定位方法，其特征在于，包括：

从预设样本数据库中随机获取预设数量的图像样本；

根据所述图像样本训练用于进行特征点定位的深度网络模型；

获取待定位图像；

根据所述深度网络模型对所述待定位图像进行特征点定位。

2.根据权利要求1所述的方法，其特征在于，所述预设样本数据库包括以下一种或其组合：

THFceIDTest数据库、FERET2数据库、CAS_PEAL数据库、JAFFE数据库、CMUPie数据库以及LFW数据库。

3.根据权利要求1所述的方法，其特征在于，所述根据所述图像样本训练用于进行特征点定位的深度网络模型，包括：

在对前20％*n次遍历的过程中，从三个预设的人脸标记数据库中随机选择一个所述人脸标记数据库来优化基础网络和所选人脸标记数据库对应的分支网络；其中，n为对所述图像数据库进行遍历的总次数；

在对中间的60％*n次遍历的过程中，根据基础网络和所对应的分支网络的优化结果进行88点数据库模型优化，并且每遍历预设数量的图像样本进行一次模型压缩；

在对最后20％*n次遍历的过程中，根据所述88点数据库模型优化的结果再次进行所述88点数据库模型优化。

4.根据权利要求3所述的方法，其特征在于，所述根据所述图像样本训练用于进行特征点定位的深度网络模型，还包括：

通过加入规范化层增加所述图像样本的收敛速度；

其中，所述规范化层的形式为y＝wx+b，其中x为所述规范化层的输入，w和b为所述规范化层对应的参数，y为输出，计算参数w和b使得对于任何样本x，wx+b的结果落在(-1,1)之间；

在反向传播的过程中利用梯度进一步优化w和b。

5.根据权利要求1所述的方法，其特征在于，所述根据所述深度网络模型对所述待定位图像进行特征点定位，包括：

利用人脸检测模型得到的人脸框将所述人脸框内的图像缩放到70*70像素；

根据所述深度网络模型对经过缩放的图像进行特征点定位；

根据所述特征点定位的结果将所述经过缩放的图像反向投影到所述人脸框内的图像的原图尺度空间。

6.一种人脸特征点定位装置，其特征在于，包括：

样本获取单元，用于从预设样本数据库中随机获取预设数量的图像样本；

模型训练单元，用于根据所述图像样本训练用于进行特征点定位的深度网络模型；

图像获取单元，用于获取待定位图像；

特征点定位单元，用于根据所述深度网络模型对所述待定位图像进行特征点定位。

7.根据权利要求6所述的装置，其特征在于，所述预设样本数据库包括以下一种或其组合：

THFceIDTest数据库、FERET2数据库、CAS_PEAL数据库、JAFFE数据库、CMUPie数据库以及LFW数据库。

8.根据权利要求7所述的装置，其特征在于，所述模型训练单元进一步用于：

在对前20％*n次遍历的过程中，从三个预设的人脸标记数据库中随机选择一个所述人脸标记数据库来优化基础网络和所选人脸标记数据库对应的分支网络；其中，n为对所述图像数据库进行遍历的总次数；

在对中间的60％*n次遍历的过程中，根据基础网络和所对应的分支网络的优化结果进行88点数据库模型优化，并且每遍历预设数量的图像样本进行一次模型压缩；

在对最后20％*n次遍历的过程中，根据所述88点数据库模型优化的结果再次进行所述88点数据库模型优化。

9.根据权利要求8所述的装置，其特征在于，所述模型训练单元进一步用于：

通过加入规范化层增加所述图像样本的收敛速度；

其中，所述规范化层的形式为y＝wx+b，其中x为所述规范化层的输入，w和b为所述规范化层对应的参数，y为输出，计算参数w和b使得对于任何样本x，wx+b的结果落在(-1,1)之间；

在反向传播的过程中利用梯度进一步优化w和b。

10.根据权利要求6所述的装置，其特征在于，所述特征点定位单元进一步用于：

利用人脸检测模型得到的人脸框将所述人脸框内的图像缩放到70*70像素；

根据所述深度网络模型对经过缩放的图像进行特征点定位；

根据所述特征点定位的结果将所述经过缩放的图像反向投影到所述人脸框内的图像的原图尺度空间。