CN105760834A - 一种人脸特征点定位方法 - Google Patents

Abstract

本发明涉及一种人脸特征点定位方法，其包括以下步骤：将人脸划分为五个区域：左眼睛与左眉毛、右眼睛与右眉毛、鼻子、嘴和脸部外轮廓，并在整个人脸区域中设置特征点，使用一个卷积神经网络对所有特征点进行全部定位；使用四个卷积神经网络对整个人脸中左眼睛与左眉毛、右眼睛与右眉毛、鼻子以及嘴四个区域内包含的特征点进行局部定位；利用整个人脸中左眼睛与左眉毛、右眼睛与右眉毛、鼻子以及嘴四个区域内包含的特征点局部定位得到的位置坐标代替全部定位得到的相应区域特征点的位置坐标，得到所有特征点的最终位置坐标。本发明使用的网络数量较少，检测特征点数量多，而且不需要额外的脸部属性信息。

Description

一种人脸特征点定位方法

技术领域

本发明属于图像识别技术领域，具体涉及一种人脸特征点定位方法。

背景技术

人脸特征点定位是在人脸检测基础上，进一步定位人脸的眼睛、眉毛、鼻子、嘴巴和轮廓等，其主要思想是利用特征点附近的信息以及各个特征点之间的相互关系来定位。目前，人脸特征点定位方法主要有以下三种：

第一种是基于级联卷积神经网络的脸部五点特征点检测算法，该算法使用了23个卷积神经网络组建级联系统，对脸部五个点进行位置定位，其缺点主要是由于对每一个特征点都使用一个网络进行位置的优化，导致如果将此算法用于194点的特征点定位，会使用大量的网络，使得整个系统十分复杂。

第二种是由粗到细级联网络的六十八点特征点检测算法，此算法使用了16个卷积神经网络对脸部的六十八个点进行定位，按照左眉毛、左眼睛、右眉毛、右眼睛、鼻子和嘴将脸部区域划分为六个部分，分别使用网络进行位置定位，缺点是划分的区域太细，导致使用了过多的网络，而且，定位的特征点数量较少，远少于194个点。

第三个是基于多任务学习与迁移学习的六十八点特征点检测算法，该算法使用了人脸的多个属性标签，比如性别、姿势、是否微笑等，将人脸的多个属性标签与特征点的位置一起进行模型的训练，同时使用迁移学习的方法，从检测五个特征点的模型迁移到可以检测六十八个点的模型，缺点是需要使用额外的标注信息，同时模型的训练由于使用了迁移学习与多任务学习，十分复杂，此外，该算法没有对194点进行定位。

发明内容

为了解决现有技术存在的上述问题，本发明提供了一种人脸特征点定位方法。

为实现上述目的，本发明采取以下技术方案：一种人脸特征点定位方法包括以下步骤：

1)将人脸划分为五个区域：左眼睛与左眉毛、右眼睛与右眉毛、鼻子、嘴和脸部外轮廓，并在整个人脸区域中设置特征点，使用一个卷积神经网络对所有特征点进行定位，得到特征点的位置坐标并将其作为初始位置坐标，对不同的人脸区域的特征点进行分组；

2)分别计算整个人脸中左眼睛与左眉毛、右眼睛与右眉毛、鼻子以及嘴四个区域内包含的特征点的横坐标的平均值和纵坐标的平均值；

将横坐标的平均值和纵坐标的平均值作为所在人脸区域的中心坐标点，以所述中心坐标点为中心，截取出包含所述人脸区域的一个正方形区域；

再分别使用一个卷积神经网络重新对左眼睛与左眉毛、右眼睛与右眉毛、鼻子以及嘴四个区域中截取的所述正方形区域内的所有特征点进行位置定位；

3)利用位置定位后新得到的特征点的位置坐标替换步骤1)中对应的特征点的坐标，生成所有的特征点的最终位置坐标。

进一步地，所述特征点的数量设置为194个，在左眼睛与左眉毛区域设置40个特征点，在右眼睛与右眉毛区域设置40个特征点，在鼻子区域设置17个特征点，在嘴区域设置56个特征点，在脸部外轮廓区域设置41个特征点。

本发明由于采取以上技术方案，其具有以下优点：本发明人脸特征点定位方法通过使用合理的脸部区域划分方法，只需要五个卷积神经网络，就可以实现对194个特征点的定位，其使用的网络数量较少，检测特征点数量多，而且不需要额外的脸部属性信息。

附图说明

图1是本发明一实施例中提供的人脸特征点定位方法的流程图；

图2是本发明一实施例中提供的194个特征点的具体位置示意图；

图3是本发明一实施例中提供的级联卷积神经网络框图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明提供了一种人脸特征点定位方法，其包括以下步骤：

1)将整个人脸分为五个区域：左眼睛与左眉毛，右眼睛与右眉毛，鼻子，嘴，脸部外轮廓。其中，左眼睛与左眉毛共包含40个特征点，右眼睛与右眉毛共包含40个特征点，鼻子包含17个特征点，嘴包含56个特征点，脸部外轮廓包含41个特征点，则整个人脸区域中包含194个特征点。

对输入的人脸区域中的194个特征点进行定位，做法是使用一个卷积神经网络进行回归分析，即使用整张人脸作为卷积神经网络的输入，设置卷积神经网络的输出为388个节点，每两个节点对应一个特征点的位置坐标，即一个特征点的位置坐标用横坐标和纵坐标表示，得到194个特征点的位置坐标；以这些位置坐标作为初始位置坐标，对不同的人脸区域的特征点进行分组。

2)分别计算整个人脸中左眼睛与左眉毛、右眼睛与右眉毛、鼻子以及嘴四个区域内包含的特征点的横坐标的平均值和纵坐标的平均值；

将横坐标的平均值和纵坐标的平均值作为所在人脸区域的中心坐标点，以这个中心坐标点为中心，截取出包含该人脸区域的一个正方形区域；

再分别使用一个卷积神经网络重新对左眼睛与左眉毛、右眼睛与右眉毛、鼻子以及嘴四个区域中截取的正方形区域内的所有特征点进行位置定位。

3)对人脸中左眼睛与左眉毛、右眼睛与右眉毛、鼻子以及嘴四个区域内所有特征点进行重新定位后，利用新得到的特征点的位置坐标替换步骤1)中对应的特征点的坐标，生成所有的194个特征点的最终位置坐标。

本发明通过级联卷积神经网络对人脸区域内194个特征点进行检测，在使用较少的网络数量的情况下实现对194个特征点的检测。本发明的好处在于使用五个卷积神经网络就实现了194个特征点的定位，同时不需要额外的人脸属性信息。

如图2所示，194个特征点位置的详细信息为：编号从0到40的点是外轮廓的特征点，编号从41到57的点则是鼻子的特征点，编号从58到113的点是嘴部的特征点，编号从114到133的点是右眼睛的特征点，编号从154到173的点是右眉毛的特征点，编号从134到153的点是左眼睛的特征点，编号从174到193的点是左眉毛的特征点。

使用的级联卷积神经网络框图如图3所示，整个系统包含一个对全部194个特征点进行定位的初始化卷积神经网络，以及针对左眼睛与左眉毛，右眼睛与右眉毛，鼻子和嘴四个部分的局部定位卷积神经网络。其中，初始化卷积神经网络使用整张人脸作为输入，给出全部194个特征点的初始位置，好处有两点，一是使用整张人脸作为输入可以提取出更全局的特征信息，二是由于同时对194个特征点进行定位，可以将特征点与特征点之间的约束关系潜在的嵌入到模型中去。关于四个局部定位卷积神经网络，使用初始化卷积神经网络的输出结果，将对应的脸部区域进行截取后作为输入，在局部区域内，对相应的特征点进行重新定位，这样做的好处主要是局部区域比整张脸包含更细节的信息，可以定位得更精确。实例结果说明，通过使用合理的脸部区域划分方法，只需要五个卷积神经网络，就可以实现对194个特征点的定位。

本发明不局限于上述最佳实施方式，本领域技术人员在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是具有与本申请相同或相近似的技术方案，均落在本发明的保护范围之内。

Claims (2)

1.一种人脸特征点定位方法，其包括以下步骤：

1)将人脸划分为五个区域：左眼睛与左眉毛、右眼睛与右眉毛、鼻子、嘴和脸部外轮廓，并在整个人脸区域中设置特征点，使用一个卷积神经网络对所有特征点进行定位，得到特征点的位置坐标并将其作为初始位置坐标，对不同的人脸区域的特征点进行分组；

2)分别计算整个人脸中左眼睛与左眉毛、右眼睛与右眉毛、鼻子以及嘴四个区域内包含的特征点的横坐标的平均值和纵坐标的平均值；

将横坐标的平均值和纵坐标的平均值作为所在人脸区域的中心坐标点，以所述中心坐标点为中心，截取出包含所述人脸区域的一个正方形区域；

再分别使用一个卷积神经网络重新对左眼睛与左眉毛、右眼睛与右眉毛、鼻子以及嘴四个区域中截取的所述正方形区域内的所有特征点进行位置定位；

3)利用左眼睛与左眉毛、右眼睛与右眉毛、鼻子以及嘴四个区域中特征点位置定位后新得到的位置坐标替换步骤1)中对应的特征点的坐标，生成所有的特征点的最终位置坐标。

2.如权利要求1所述的一种人脸特征点定位方法，其特征在于：所述特征点的数量设置为194个，在左眼睛与左眉毛区域设置40个特征点，在右眼睛与右眉毛区域设置40个特征点，在鼻子区域设置17个特征点，在嘴区域设置56个特征点，在脸部外轮廓区域设置41个特征点。