CN101339606B - 一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置 - Google Patents

Abstract

本发明公开了一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置。首先获取人脸眼角点与嘴角点的位置；根据所述角点的位置确定出眼睛与嘴巴的中轴线；在所述眼睛的中轴线上确定眼睛和眉毛的外轮廓特征点，在所述嘴巴的中轴线上确定嘴巴外轮廓特征点。在此基础上，对人脸关键器官外轮廓特征点持续定位与跟踪。本发明实施例提供的方案，解决了在人脸做出各种姿态的时候对眼睛、嘴巴和眉毛外轮廓特征点定位不准确的问题，基于这些特征点的定位，可以实时驱动已有的二维和三维人脸模型，实时模拟摄像头前人的皱眉、眨眼、张嘴等表情和面部动作，生成各类真实生动的人脸动画。

Description

一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置。

背景技术

目前，在人脸检测与定位技术中，大抵分为基于器官的检测与定位方法和基于模板的检测与定位方法等。基于器官的方法将人脸视为显著器官的组合，首先提取一些重要的器官：眼、鼻、唇等，然后通过器官的位置和它们之间的几何关系来检测人脸。人脸关键器官定位的性能很大程度上影响着人脸检测方法的精度。

传统的基于主动外貌模型(AAM，Active Appearance Models)、主动形状模型(ASM，Active Shape Models)等方法，一般采用训练模型实现面部器官轮廓点的定位。这些方法在全局意义上获取人脸关键器官外轮廓特征点的位置。根据实验结果，这些方法非常依赖训练模型的初值，很难获取某些夸张表情下的人脸关键器官的外轮廓，例如，此类方法无法定位张大嘴巴的轮廓、紧闭眼睛的轮廓等，这对三维人脸合成技术来说是个很严重的缺陷。

申请人在之前已提出了一系列与人脸检测技术相关的专利申请，其中，中国专利申请号为200710304688.2的专利申请方案中，公开了一种人脸作出各种表情时仍可获取眼睛与嘴巴角点的准确位置的技术实施方案，从而改善现有的人脸面部关键特征点的定位与跟踪技术的性能。

但是，上述的专利申请中的方法无法准确定位人脸眼睛、眉毛和嘴巴的外轮廓，同样无法准确的跟踪这些人脸面部关键器官的外轮廓点，因此，将其应用于二维与三维人脸姿态估算、人脸动画合成时，存在一定的局限性。

发明内容

本发明实施例提供一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置，用以实现人脸眼睛外轮廓、眉毛外轮廓和嘴巴外轮廓的实时定位与跟踪，从而改善现有的人脸关键器官外轮廓定位与跟踪技术的性能。

一种人脸关键器官外轮廓特征点的定位方法之一，包括：

获取输入人脸图像帧人脸眼角点位置；

确定出眼睛的中轴线；

根据眼睛外轮廓点边界强度大小，在所述中轴线上确定多个上下眼皮外轮廓特征点的侯选点，并选取上眼皮外轮廓特征点的侯选点与下眼皮外轮廓特征点的侯选点组成多对侯选点对；

分别根据所述眼角点和每对侯选点对，利用抛物线模型拟合出眼睛的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和，得到与每对侯选点对对应的和值；或者还计算每对候选点对之间各像素点灰度的均值，用所述和值减去所述均值，得到与每对侯选点对对应的差值；将最大和值对应的侯选点对作为人脸眼睛外轮廓特征点；或者将最大差值对应的侯选点对作为人脸眼睛外轮廓特征点。

一种人脸关键器官外轮廓特征点的定位方法之一，包括：

获取输入人脸图像帧人脸嘴角点位置；

确定出嘴巴的中轴线；

根据嘴巴外轮廓点边界强度大小，在所述中轴线上确定多个上下嘴唇外轮廓特征点的侯选点，并选取上嘴唇外轮廓特征点的侯选点与下嘴唇外轮廓特征点的侯选点组成多对侯选点对；

分别根据所述嘴角点和每对侯选点对，利用抛物线模型拟合出嘴巴的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和，得到与每对侯选点对对应的和值；或者还计算所选外轮廓点周围位于嘴巴外轮廓线外侧像素点的色度值与标准肤色的第一差值，以及计算所选外轮廓点周围位于嘴巴外轮廓线内侧像素点的色度值与嘴唇标准红色之间的第二差值，用所述和值减去所述第一差值的绝对值和所述第二差值的绝对值，得到与每对侯选点对对应的差值；将最大和值对应的侯选点对作为人脸嘴巴外轮廓特征点；或者将最大差值对应的侯选点对作为人脸嘴巴外轮廓特征点。所述方法，还包括：

根据所述嘴角点和定位的嘴巴外轮廓特征点，利用抛物线模型拟合出嘴巴的外轮廓线，在所述外轮廓线上选取外轮廓点作为人脸嘴巴外轮廓的其余特征点。

一种人脸关键器官外轮廓特征点的跟踪方法，包括：

确定出人脸关键器官外轮廓的特征点；

获取人脸关键器官外轮廓特征点的跟踪点；

用所述特征点矫正所述跟踪点。

一种人脸关键器官外轮廓特征点的定位装置之一，包括：

获取单元，用于获取输入人脸图像帧人脸眼角点位置；

中轴线确定单元，用于确定出眼睛的中轴线；

第一侯选点确定单元，用于根据眼睛外轮廓点边界强度大小，在所述中轴线上确定多个上下眼皮外轮廓特征点的侯选点，并选取上眼皮外轮廓侯选点与下眼皮外轮廓侯选点组成多对侯选点对；

第一特征点确定单元，用于分别根据所述眼角点和每对侯选点对，利用抛物线模型拟合出眼睛的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和，得到与每对侯选点对对应的和值；或者还计算每对候选点对之间各像素点灰度的均值，用所述和值减去所述均值，得到与每对侯选点对对应的差值；将最大和值对应的侯选点对作为人脸眼睛外轮廓特征点；或者将最大差值对应的侯选点对作为人脸眼睛外轮廓特征点。

一种人脸关键器官外轮廓特征点的定位装置之一，包括：

获取单元，用于获取输入人脸图像帧人脸嘴角点位置；

中轴线确定单元，用于确定出嘴巴的中轴线；

侯选点确定单元，用于根据嘴巴外轮廓点边界强度大小，在所述中轴线上确定多个上下嘴唇外轮廓特征点的侯选点，并选取上嘴唇外轮廓特征点的侯选点与下嘴唇外轮廓特征点的侯选点组成多对侯选点对；

第一特征点确定单元，用于分别根据所述嘴角点和每对侯选点对，利用抛物线模型拟合出嘴巴的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和，得到与每对侯选点对对应的和值；或者还计算所选外轮廓点周围位于嘴巴外轮廓线外侧像素点的色度值与标准肤色的第一差值，以及计算所选外轮廓点周围位于嘴巴外轮廓线内侧像素点的色度值与嘴唇标准红色之间的第二差值，用所述和值减去所述第一差值的绝对值和所述第二差值的绝对值，得到与每对侯选点对对应的差值；将最大和值对应的侯选点对作为人脸嘴巴外轮廓特征点；或者将最大差值对应的侯选点对作为人脸嘴巴外轮廓特征点。

一种人脸关键器官外轮廓特征点的跟踪装置，包括：

特征点确定单元，用于确定出人脸关键器官外轮廓的特征点；

跟踪点获取单元，用于获取人脸关键器官外轮廓特征点的跟踪点；

矫正单元，用于用所述特征点矫正所述跟踪点。

本发明实施例综合考虑人脸眼睛、眉毛和嘴巴的部分规则特征，在角点定位的基础上，确定各个器官的中轴线，根据器官外轮廓特征点边界强度大小，选取外轮廓特征点的侯选点，组成侯选点对，再根据眼睛外轮廓点边界强度，或者眼睛外轮廓点边界强度和侯选点对之间各像素点灰度均值，确定上下眼皮外轮廓特征点和上下眉毛外轮廓特征点，再根据嘴巴外轮廓点边界强度，或者嘴巴外轮廓点边界强度、外轮廓点外侧像素点的色度值与标准肤色的差值和外轮廓点内侧像素点与嘴唇标准红色之间的差值，确定上下嘴唇外轮廓特征点，并利用外轮廓的抛物线模型拟合嘴唇的外轮廓线，获取上下嘴唇其余的外轮廓特征点，接下来，对已获取的外轮廓特征点进行持续定位与跟踪。本发明实施例提供的方案，解决了在人脸做出各种姿态的时候对眼睛、嘴巴和眉毛外轮廓特征点定位不准确的问题，基于这些外轮廓特征点的定位，可以实时驱动已有的二维和三维人脸模型，实时模拟摄像头前人的皱眉、眨眼、张嘴等表情和面部动作，生成各类真实生动的人脸动画。

附图说明

图1为本发明实施例中人脸关键器官外轮廓特征点的定位结果示意图；

图2为本发明实施例中人脸关键器官外轮廓特征点的定位方法流程图之一；

图3为本发明实施例中人脸关键器官外轮廓特征点的定位方法流程图之二；

图4为本发明实施例中人脸关键器官外轮廓特征点的跟踪方法流程图；

图5为本发明实施例中人脸关键器官外轮廓特征点的定位装置结构示意图之一；

图6为本发明实施例中人脸关键器官外轮廓特征点的定位装置结构示意图之二；

图7为本发明实施例中人脸关键器官外轮廓特征点的跟踪装置结构示意图。

具体实施方式

基于输入视频的二维与三维人脸姿态估算、人脸动画合成等系统可实时合成人脸眼睛和嘴巴，在人脸模型上模拟嘴巴眼睛的各种动作。但系统必须以人脸眼睛嘴巴外轮廓的精确定位为基础，只有在准确且快速获取人脸眼睛、眉毛和嘴巴的外轮廓特征点的位置，并可实时准确地跟踪这些外轮廓特征点，才有可能得到稳定生动的二维与三维人脸合成结果，生成逼真的人脸动画。

本发明实施例在人脸眼角点和嘴角点定位和跟踪结果的基础上，提出人脸关键器官外轮廓特征点定位与跟踪的方法及装置。利用该方法和装置可从摄像设备输入的视频图像中实时定位出人脸眼睛、眉毛和嘴巴外轮廓特征点，例如定位出20个特征点，如图1所示，并对这些特征点进行持续定位与跟踪。

下面结合各个附图对本发明实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。

本发明实施例提供一种人脸关键器官外轮廓特征点的定位方法之一，方法流程图如图2所示，具体步骤包括：

步骤21，获取输入人脸图像帧人脸眼角点位置。

获取输入人脸图像帧人脸眼角点位置，可以采用现有技术中的各种实现方式。也可以采用申请号为200710304688.2的专利申请方案中公开的技术方案。即：首先采用人脸检测算法获取人脸的位置；采用AAM算法获取检测人脸的仿射变换系数，得到人脸上眼睛四个角点的初步位置；结合各个角点的AdaBoost训练模型在其邻域范围内搜索候选点的位置，为每个角点获取一定数量的候选点；计算所有角点的Harris角点特征，根据一定规则减少各个角点候选点的数量；将左眼和右眼的角点候选点分别组成对；采用多组特征逐步淘汰点对，最终返回最佳的结果。

步骤22，获取输入人脸图像帧人脸嘴角点位置，对输入人脸图像帧进行尺寸和角度的归一化。

在该步骤22中，标定一幅标准的正面人脸的眼角点和嘴角点的位置，然后根据输入图像中四个眼角点和两个嘴角点共六个角点的位置和标准人脸角点的位置计算仿射变换系数，再利用这个仿射变换系数对输入人脸进行尺寸和角度的归一化。归一化的具体实现方式为现有技术，在此不展开描述。归一化后图象的垂直方向与人脸的垂直方向相同。

步骤22为可选步骤，其他实施例中可以在步骤21后直接执行步骤23。

步骤23，确定出眼睛的中轴线。

中轴线的确定有两种计算方法，一种方法是针对未作归一化处理的人脸图像，将两眼角点连线线段的中垂线作为中轴线；

另一种方法是在步骤22中对输入人脸图象帧进行尺寸和角度的归一化后，中轴线沿着归一化图象的垂直方向，同时经过两个眼角点的中点，即中轴线沿着人脸的垂直方向。

步骤24，确定多个上下眼皮外轮廓特征点的侯选点，并将上眼皮侯选点与下眼皮侯选点组成多对侯选点对。

人脸眼睛外轮廓上的外轮廓点具备这样的特征，靠近眼球位置的颜色要比靠近眼皮位置的颜色偏黑，利用这一特征，可以计算外轮廓点垂直方向图像梯度的绝对值(例如可以用Sobel算子计算图像梯度)作为外轮廓点的边界强度。

本发明实施例首先获取眼睛中心点的位置，中心点为中轴线与两眼角点连线的交点。

计算眼睛中轴线上距离眼睛中心点在一个预先设定的阈值内各像素点的边界强度，选取边界强度较大的像素点(例如选取边界强度最大的10个像素点)作为上下眼皮外轮廓特征点的侯选点，或者选取边界强度大于一个预先设定的阈值的所有像素点作为上下眼皮外轮廓特征点的侯选点，所选侯选点中在中心点上方的作为上眼皮侯选点，在中心点下方的作为下眼皮侯选点。

将确定的多个上眼皮侯选点和下眼皮侯选点组成多对侯选点对，点对组成方法为，例如，上眼皮侯选点有4个，下眼皮侯选点有6个，则可组成24对上下眼皮侯选点对，同时满足上下眼皮侯选点间的距离小于一个预先设定的阈值。

步骤25，从上下眼皮外轮廓特征点的侯选点对中确定上下眼皮外轮廓特征点。

通过两个眼角点和上下眼皮侯选点，利用抛物线模型分别拟合出上下眼皮的外轮廓线。如已知两个角点的位置，设为(x_l，y_l)和(x_r，y_r)，两个角点的中心点坐标为

抛物线方程为y＝ax²+bx+c，该抛物线顶点肯定在中轴线上，其顶点的x坐标为

y坐标与角点中心点的距离L则决定了抛物线的高度，同时也表示该器官张得有多开。如果是在图象归一化后计算中轴线的位置，当两个角点y坐标不一致时，这条抛物线不一定经过这两个角点，而是经过

和

两个点。如果知道L，则该抛物线三点坐标已知，由此可以计算该抛物线的三个参数a，b，c，进而得到一条完整得轮廓线，该线描绘了眼皮的外轮廓线，该外轮廓线上其他点的坐标均可算得。

在确定出与每一对侯选点对对应的上下眼皮的外轮廓线后，选取若干个外轮廓点，例如分别对称中轴线选取4个外轮廓点，计算所选外轮廓点的边界强度之和，得到与每一对侯选点对对应的和值，将最大和值对应的侯选点对作为人脸眼睛外轮廓特征点。

上述是一种确定眼睛外轮廓特征点的方法。

另一实施例中，在分别获得与每一对侯选点对对应的上述和值外，进一步还计算每对候选点对之间各像素点灰度的均值，综合两者来确定人脸眼睛外轮廓特征点。这是因为，考虑到尽管人脸眼球的颜色偏黑，如果候选点对选在眼球内部，则该点对之间各像素点灰度的均值也会很低，但发明人在实验过程中发现，中轴线上眼球内部各点的边界强度一般都比较低，很少有被选为候选点对的，绝大部分候选点对都在眼皮上和眼皮外围，因此本发明采用计算侯选点对之间各像素点灰度的均值的方法，取得了较好的效果，具体确定方法为：

在分别获得与每一对侯选点对对应的上述和值的基础上，还计算每对候选点对之间各像素点灰度的均值，针对每一对侯选点对，计算其对应和值与均值的差值，将最大差值对应的侯选点对作为人脸眼睛外轮廓特征点。

在确定出眼睛外轮廓特征点后，进一步还可以包括以下步骤：

步骤26，确定多个上下眉毛外轮廓特征点的侯选点，并将上眉毛侯选点与下眉毛侯选点组成多对侯选点对。

计算眼睛中轴线上上眼皮外轮廓特征点上方距离上眼皮外轮廓特征点在一个预先设定的阈值内各像素点的边界强度(像素点垂直方向图像梯度的绝对值)，选取边界强度较大的像素点(例如选取边界强度最大的5个像素点)作为上下眉毛外轮廓特征点的侯选点，或者选取边界强度大于一个预先设定的阈值的所有点作为上下眉毛外轮廓特征点的侯选点。

将确定的多个上下眉毛外轮廓特征点的侯选点组成多对侯选点对，点对组成方法为两两组合，满足上眉毛点在下眉毛点的上方，同时两点之间的距离在一个设定阈值范围内。

步骤27，从上下眉毛外轮廓特征点的侯选点对中确定上下眉毛外轮廓特征点。

利用上下眉毛特征点间颜色偏黑的特征，计算每对候选点对之间各像素点灰度的均值，将最小均值对应的侯选点对作为人脸眉毛外轮廓的特征点。

通过图2所述流程，确定出了人脸关键器官(眼睛和眉毛)外轮廓特征点，下面的实施例中，提供一种确定人脸另一关键器官嘴巴外轮廓特征点的方法。参见图3，具体步骤包括：

步骤31，获取输入人脸图像帧人脸嘴角点位置。

采用本发明上述实施例相同的方法获取人脸嘴角的位置。

步骤32，获取输入人脸图像帧人脸眼角点位置，对输入人脸图像帧进行尺寸和角度的归一化。

采用本发明上述实施例相同的方法，进行归一化处理。

步骤32为可选步骤，其他实施例中可以在步骤31后直接执行步骤33。

步骤33，确定出嘴巴的中轴线。

中轴线的确定有两种计算方法，一种方法是针对未作归一化处理的人脸图像，将获取两嘴角点连线线段的中垂线作为中轴线；

另一种方法是在步骤32中对输入人脸图象帧进行尺寸和角度的归一化后，中轴线沿着归一化图象的垂直方向，同时经过两个嘴角点的中点，即中轴线沿着人脸的垂直方向。

步骤34，确定多个上下嘴唇外轮廓特征点的侯选点，并将上嘴唇侯选点与下嘴唇侯选点组成多对侯选点对。

人脸嘴巴外轮廓上的外轮廓点具备这样的特征，外轮廓点周围位于嘴巴外轮廓线内侧的像素点的颜色要比周围位于嘴巴外轮廓线外侧的像素点的颜色偏黑，利用这一特征，可以计算外轮廓点垂直方向图像梯度的绝对值(例如可以用Sobel算子计算图像梯度)作为外轮廓点的边界强度。

本发明实施例首先获取嘴巴中心点的位置，中心点为中轴线与两嘴角点连线的交点，考虑到人在抿嘴时中轴线上上下嘴唇外轮廓特征点可能都在中心点上面，因此，可以加入一个预先定义的参数修正中心点的位置，修正后的中心点在原中心点的上方。

计算嘴巴中轴线上距离嘴巴修正后的中心点在一个预先设定的阈值内各像素点的边界强度，选取边界强度较大的若干个像素点(例如选取边界强度最大的10个像素点)作为上下嘴唇外轮廓特征点的侯选点，或者选取边界强度大于一个预先设定的阈值的所有像素点作为上下嘴唇外轮廓特征点的侯选点，所选侯选点中在修正后的中心点上方的作为上嘴唇侯选点，在修正后的中心点下方的作为下嘴唇侯选点。

将确定的多个上嘴唇侯选点和下嘴唇侯选点组成多对侯选点对，点对组成方法为，例如，上嘴唇侯选点有4个，下嘴唇侯选点有6个，则可组成24对上下嘴唇侯选点对，同时满足上下嘴唇侯选点间的距离小于一个预先设定的阈值。

步骤35，从上下嘴唇外轮廓特征点的侯选点对中确定上下嘴唇外轮廓特征点。

通过两个嘴角点和上下嘴唇侯选点，利用抛物线模型分别拟合出上下嘴唇的外轮廓线，该外轮廓线上其他点的坐标均可算得。

在确定出与每一对侯选点对对应的上下嘴唇外轮廓线后，选取若干个外轮廓点，例如分别对称中轴线选取8个外轮廓点，计算所选外轮廓点的边界强度之和，得到与每一对侯选点对对应的和值，将最大和值对应的侯选点对作为人脸嘴巴外轮廓特征点。

另一实施例中，考虑到嘴巴外轮廓线外侧的像素点所处区域的颜色一般是肤色，颜色偏黄，嘴巴外轮廓线内侧的像素点所处于嘴唇区域，颜色偏红，因此，还计算各嘴巴外轮廓点外侧和内侧各像素点的色度值，通过内侧各像素点的色度值与嘴唇标准红色之间的差别，外侧各像素点的色度值与标准肤色之间差别，来进一步确定人脸嘴巴外轮廓特征点，具体确定方法为：

上下嘴唇两条抛物线组成了一个封闭的轮廓，某个外轮廓点周围位于嘴巴外轮廓线外侧像素点是指外轮廓线外侧的部分邻域点，例如上嘴唇外轮廓点的外侧像素点是指该点上面一定范围的像素点，如该点上方3×3像素点区域内的各像素点，内侧像素点是指外轮廓线内侧的部分邻域点，例如上嘴唇外轮廓点的内侧像素点是指该点下方一定范围的像素点，如该点下方3×3像素点区域内的各像素点。

设某点的颜色为(R，G，B)，计算色度值r＝R/(R+G+B)，色度值g＝G/(R+G+B)。设外侧像素点的色度均值为(r_outside，g_outside)，内侧像素点的色度均值为(r_inside，g_inside)，另外为嘴唇定义标准红色，为皮肤定义标准肤色。

在上述分别获得与每一对侯选点对对应的上述和值的基础上，还计算所选外轮廓点外侧像素点的色度值(可为均值)与标准肤色的第一差值，以及计算所选外轮廓点内侧像素点的色度值(可为均值)与嘴唇标准红色之间的第二差值，针对每一对侯选点对，用其对应和值减去对应的第一差值的绝对值和第二差值的绝对值，得到与每一对侯选点对对应的差值。将最大差值对应的侯选点对作为人脸嘴巴外轮廓特征点。

步骤36，拟合出嘴巴的外轮廓线，在所述外轮廓线上选取外轮廓点作为人脸嘴巴外轮廓的其余特征点。

以嘴巴左上方外轮廓特征点的选取为例，首先确定该点的x坐标为左嘴唇角点与嘴巴中心点连线的中点，再依据该点在已经确定的上嘴唇外轮廓线上求出y坐标，则该外轮廓点的位置确定，其余3个嘴巴外轮廓特征点的确定方法与此相同。

本发明实施例还提供一种人脸关键器官外轮廓特征点的跟踪方法，方法流程图如图4所示，具体步骤包括：

步骤41，确定出人脸关键器官外轮廓的特征点。

本发明实施例中，利用上述实施例中人脸关键器官外轮廓特征点的定位方法，获取人脸面部眼睛、眉毛和嘴巴的外轮廓特征点。

步骤42，获取人脸关键器官外轮廓特征点的跟踪点。

本发明实施例利用前一帧的人脸关键器官外轮廓特征点位置、图象的色度特征等到当前帧图象中进行搜索，获取当前帧的人脸关键器官外轮廓特征点位置，作为当前图象帧外轮廓特征点的跟踪位置。

本发明实施例采用图象色度分布和Lucas-Kanade反算算法精确估算出各个轮廓点的平移矢量，确定当前帧图象中各个外轮廓特征点的位置。关于如何用Lucas-Kanade反算算法获取轮廓点的平移位置，为现有技术，在此不展开描述。

步骤43，根据所述跟踪点修正所述特征点。

修正的具体方法为：将步骤42中获取的跟踪点组成上下眼睛跟踪点对、上下眉毛跟踪点对和上下嘴巴跟踪点对。将上下眼睛跟踪点对作为一对上下眼睛外轮廓特征点的侯选点对，加入上述定位方法的步骤24中确定的多对侯选点对中，执行步骤25，将返回的结果作为修正后的上下眼睛外轮廓特征点；将上下眉毛跟踪点对作为一对上下眉毛外轮廓特征点的侯选点对，加入上述定位方法的步骤26中确定的多对侯选点对中，执行步骤27，将返回的结果作为修正后的上下眉毛外轮廓特征点；将上下嘴唇跟踪点对作为一对上下嘴唇外轮廓特征点的侯选点对，加入上述定位方法的步骤34中确定的多对侯选点对中，执行步骤35，将返回的结果作为修正后的上下嘴唇外轮廓特征点。

步骤43为可选步骤，其他实施例中可以在步骤42后直接执行步骤44。

步骤44，用所述特征点矫正所述跟踪点。

比较采用定位方法确定的特征点与跟踪点的位置，当采用定位方法确定的特征点与跟踪点相距较近时，直接将跟踪点作为当前帧该外轮廓特征点的输出结果。

当采用定位方法确定的特征点与跟踪点相距较远时，本发明实施例不会在当前帧将采用定位方法确定的特征点直接作为该外轮廓特征点的输出结果，而是在随后的几帧中将该外轮廓特征点的输出结果逐步靠近采用定位方法确定的特征点，以保证各个外轮廓特征点的位置不会抖动过于厉害，获取稳定的外轮廓特征点的定位和跟踪结果。

例如，当前帧的跟踪点的坐标为(x_track，y_track)，采用定位方法确定的外轮廓特征点的坐标为(x_locate，y_locate)，则当前帧外轮廓特征点的输出结果的坐标为 $(\frac{x_{\mathrm{track}}\×(n-1)+x_{\mathrm{locate}}}{n},\frac{y_{\mathrm{track}}\×(n-1)+y_{\mathrm{locate}}}{n}),$ n一般取4。

基于同一发明构思，根据本发明上述实施例提供的人脸关键器官外轮廓特征点的定位方法，相应地，本发明实施例还提供了一种人脸关键器官外轮廓特征点的定位装置之一，装置结构示意图如图5所示，具体如下，

获取单元51，用于获取输入人脸图像帧人脸眼角点位置；

图象归一化单元52，用于获取输入人脸图像帧人脸嘴角点位置，根据所述眼角点位置和嘴角点位置，对输入人脸图像帧进行尺寸和角度的归一化；

其他实施例中可以不包括图象归一化单元52；

中轴线确定单元53，用于确定出眼睛的中轴线；

第一侯选点确定单元54，用于根据眼睛外轮廓点边界强度大小，在所述中轴线上确定多个上下眼皮外轮廓特征点的侯选点，并选取上眼皮外轮廓侯选点与下眼皮外轮廓侯选点组成多对侯选点对；

第一特征点确定单元55，用于分别根据所述眼角点和每对侯选点对，利用抛物线模型拟合出眼睛的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和，得到与每对侯选点对对应的和值；或者还计算每对候选点对之间各像素点灰度的均值，用所述和值减去所述均值，得到与每对侯选点对对应的差值；将最大和值对应的侯选点对作为人脸眼睛外轮廓特征点；或者将最大差值对应的侯选点对作为人脸眼睛外轮廓特征点。

其他实施例中还可以包括：

第二侯选点确定单元56，用于根据眉毛外轮廓点边界强度大小，在所述上眼皮外轮廓特征点上方确定多个上下眉毛外轮廓特征点的侯选点，并选取上下眉毛外轮廓特征点的侯选点组成多对侯选点对；

第二特征点确定单元57，用于计算所述第二侯选点确定单元确定出的每对候选点对之间各像素点灰度的均值，将最小均值对应的侯选点对作为人脸眉毛外轮廓的特征点。

相应地，本发明实施例还提供了一种人脸关键器官外轮廓特征点的定位装置之一，装置结构示意图如图6所示，具体如下，

获取单元61，用于获取输入人脸图像帧人脸嘴角点位置；

图象归一化单元62，用于获取输入人脸图像帧人脸眼角点位置，根据所述嘴角点位置和眼角点位置，对输入人脸图像帧进行尺寸和角度的归一化。

其他实施例中可以不包括图象归一化单元62；

中轴线确定单元63，用于确定出嘴巴的中轴线；

侯选点确定单元64，用于根据嘴巴外轮廓点边界强度大小，在所述中轴线上确定多个上下嘴唇外轮廓特征点的侯选点，并选取上嘴唇外轮廓特征点的侯选点与下嘴唇外轮廓特征点的侯选点组成多对侯选点对；

第一特征点确定单元65，用于分别根据所述嘴角点和每对侯选点对，利用抛物线模型拟合出嘴巴的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和，得到与每对侯选点对对应的和值；或者还计算所选外轮廓点周围位于嘴巴外轮廓线外侧像素点的色度值与标准肤色的第一差值，以及计算所选外轮廓点周围位于嘴巴外轮廓线内侧像素点的色度值与嘴唇标准红色之间的第二差值，用所述和值减去所述第一差值的绝对值和所述第二差值的绝对值，得到与每对侯选点对对应的差值；将最大和值对应的侯选点对作为人脸嘴巴外轮廓特征点；或者将最大差值对应的侯选点对作为人脸嘴巴外轮廓特征点。

其他实施例中还可以包括：

第二特征点确定单元66，用于根据所述嘴角点和定位的嘴巴外轮廓特征点，利用抛物线模型拟合出嘴巴的外轮廓线，在所述外轮廓线上选取外轮廓点作为人脸嘴巴外轮廓的其余特征点。

相应地，本发明实施例提供一种人脸关键器官外轮廓特征点的跟踪装置，装置示意图如图7所示，具体如下，

特征点确定单元71，用于确定出人脸关键器官外轮廓的特征点；

跟踪点获取单元72，用于获取人脸关键器官外轮廓特征点的跟踪点；

矫正单元74，用于用所述特征点矫正所述跟踪点。

其他实施例中还可以包括：

修正单元73，用于根据所述跟踪点修正所述特征点。

本发明实施例提供的方案，可以准确的对人脸眼睛、眉毛和嘴巴的外轮廓特征点定位与跟踪，根据这些点的位置，可以实时驱动已有的二维或三维人脸模型，基于该模型实时模拟摄像头前人的皱眉、眨眼、张嘴等表情和面部动作，生成各类真实生动的人脸动画。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种人脸关键器官外轮廓特征点的定位方法，其特征在于，包括：

获取输入人脸图像帧人脸眼角点位置；

确定出眼睛的中轴线；

根据眼睛外轮廓点边界强度大小，在所述中轴线上确定多个上下眼皮外轮廓特征点的候选点，并选取上眼皮外轮廓特征点的候选点与下眼皮外轮廓特征点的候选点组成多对候选点对；

分别根据所述眼角点和每对候选点对，利用抛物线模型拟合出眼睛的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和，得到与每对候选点对对应的和值；或者还计算每对候选点对之间各像素点灰度的均值，用所述和值减去所述均值，得到与每对候选点对对应的差值；将最大和值对应的候选点对作为人脸眼睛外轮廓特征点；或者将最大差值对应的候选点对作为人脸眼睛外轮廓特征点。

2.如权利要求1所述的方法，其特征在于，还包括：

根据眉毛外轮廓点边界强度大小，在所述上眼皮外轮廓特征点上方确定多个上下眉毛外轮廓特征点的候选点，并选取上下眉毛外轮廓特征点的候选点组成多对候选点对；

计算每对候选点对之间各像素点灰度的均值，将最小均值对应的候选点对作为人脸眉毛外轮廓的特征点。

3.如权利要求1或2所述的方法，其特征在于，所述确定出眼睛的中轴线之前还包括：

获取输入人脸图像帧人脸嘴角点位置；

根据所述眼角点位置和嘴角点位置，对输入人脸图像帧进行尺寸和角度的归一化。

4.一种人脸关键器官外轮廓特征点的定位方法，其特征在于，包括：

获取输入人脸图像帧人脸嘴角点位置；

确定出嘴巴的中轴线；

根据嘴巴外轮廓点边界强度大小，在所述中轴线上确定多个上下嘴唇外轮廓特征点的候选点，并选取上嘴唇外轮廓特征点的候选点与下嘴唇外轮廓特征点的候选点组成多对候选点对；

分别根据所述嘴角点和每对候选点对，利用抛物线模型拟合出嘴巴的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和，得到与每对候选点对对应的和值；或者还计算所选外轮廓点周围位于嘴巴外轮廓线外侧像素点的色度值与标准肤色的第一差值，以及计算所选外轮廓点周围位于嘴巴外轮廓线内侧像素点的色度值与嘴唇标准红色之间的第二差值，用所述和值减去所述第一差值的绝对值和所述第二差值的绝对值，得到与每对候选点对对应的差值；将最大和值对应的候选点对作为人脸嘴巴外轮廓特征点；或者将最大差值对应的候选点对作为人脸嘴巴外轮廓特征点。

5.如权利要求4所述的方法，其特征在于，还包括：

根据所述嘴角点和所述嘴巴外轮廓特征点，利用抛物线模型拟合出嘴巴的外轮廓线，在所述外轮廓线上选取外轮廓点作为人脸嘴巴外轮廓的其余特征点。

6.如权利要求4或5所述的方法，其特征在于，所述确定出嘴巴的中轴线之前还包括：

获取输入人脸图像帧人脸眼角点位置；

根据所述嘴角点位置和眼角点位置，对输入人脸图像帧进行尺寸和角度的归一化。

7.一种人脸关键器官外轮廓特征点的跟踪方法，其特征在于，包括：

获取输入人脸图像帧人脸眼角点位置；

确定出眼睛的中轴线；

根据眼睛外轮廓点边界强度大小，在所述中轴线上确定多个上下眼皮外轮廓特征点的候选点，并选取上眼皮外轮廓特征点的候选点与下眼皮外轮廓特征点的候选点组成多对候选点对；

分别根据所述眼角点和每对候选点对，利用抛物线模型拟合出眼睛的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和，得到与每对候选点对对应的和值；或者还计算每对候选点对之间各像素点灰度的均值，用所述和值减去所述均值，得到与每对候选点对对应的差值；将最大和值对应的候选点对作为人脸眼睛外轮廓特征点；或者将最大差值对应的候选点对作为人脸眼睛外轮廓特征点；

获取人脸眼睛外轮廓特征点的跟踪点；

用所述人脸眼睛外轮廓特征点矫正所述跟踪点。

8.如权利要求7所述的方法，其特征在于，所述用所述人脸眼睛外轮廓特征点矫正所述跟踪点之前，还包括：

根据所述跟踪点修正所述人脸眼睛外轮廓特征点。

9.一种人脸关键器官外轮廓特征点的定位装置，其特征在于，包括：

获取单元，用于获取输入人脸图像帧人脸眼角点位置；

中轴线确定单元，用于确定出眼睛的中轴线；

第一候选点确定单元，用于根据眼睛外轮廓点边界强度大小，在所述中轴线上确定多个上下眼皮外轮廓特征点的候选点，并选取上眼皮外轮廓候选点与下眼皮外轮廓候选点组成多对候选点对；

第一特征点确定单元，用于分别根据所述眼角点和每对候选点对，利用抛物线模型拟合出眼睛的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和，得到与每对候选点对对应的和值；或者还计算每对候选点对之间各像素点灰度的均值，用所述和值减去所述均值，得到与每对候选点对对应的差值；将最大和值对应的候选点对作为人脸眼睛外轮廓特征点；或者将最大差值对应的候选点对作为人脸眼睛外轮廓特征点。

10.如权利要求9所述的装置，其特征在于，还包括：

第二候选点确定单元，用于根据眉毛外轮廓点边界强度大小，在所述上眼皮外轮廓特征点上方确定多个上下眉毛外轮廓特征点的候选点，并选取上下眉毛外轮廓特征点的候选点组成多对候选点对；

第二特征点确定单元，用于计算所述第二候选点确定单元确定出的每对候选点对之间各像素点灰度的均值，将最小均值对应的候选点对作为人脸眉毛外轮廓的特征点。

11.如权利要求9或10所述的装置，其特征在于，还包括：

图象归一化单元，用于获取输入人脸图像帧人脸嘴角点位置，根据所述眼角点位置和嘴角点位置，对输入人脸图像帧进行尺寸和角度的归一化。

12.一种人脸关键器官外轮廓特征点的定位装置，其特征在于，包括：

获取单元，用于获取输入人脸图像帧人脸嘴角点位置；

中轴线确定单元，用于确定出嘴巴的中轴线；

候选点确定单元，用于根据嘴巴外轮廓点边界强度大小，在所述中轴线上确定多个上下嘴唇外轮廓特征点的候选点，并选取上嘴唇外轮廓特征点的候选点与下嘴唇外轮廓特征点的候选点组成多对候选点对；

第一特征点确定单元，用于分别根据所述嘴角点和每对候选点对，利用抛物线模型拟合出嘴巴的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和，得到与每对候选点对对应的和值；或者还计算所选外轮廓点周围位于嘴巴外轮廓线外侧像素点的色度值与标准肤色的第一差值，以及计算所选外轮廓点周围位于嘴巴外轮廓线内侧像素点的色度值与嘴唇标准红色之间的第二差值，用所述和值减去所述第一差值的绝对值和所述第二差值的绝对值，得到与每对候选点对对应的差值；将最大和值对应的候选点对作为人脸嘴巴外轮廓特征点；或者将最大差值对应的候选点对作为人脸嘴巴外轮廓特征点。

13.如权利要求12所述的装置，其特征在于，还包括：

第二特征点确定单元，用于根据所述嘴角点和定位的嘴巴外轮廓特征点，利用抛物线模型拟合出嘴巴的外轮廓线，在所述外轮廓线上选取外轮廓点作为人脸嘴巴外轮廓的其余特征点。

14.如权利要求12或13所述的装置，其特征在于，还包括：

图象归一化单元，用于获取输入人脸图像帧人脸眼角点位置，根据所述嘴角点位置和眼角点位置，对输入人脸图像帧进行尺寸和角度的归一化。

15.一种人脸关键器官外轮廓特征点的跟踪装置，其特征在于，包括：

特征点确定单元，用于获取输入人脸图像帧人脸眼角点位置；并确定出眼睛的中轴线；并根据眼睛外轮廓点边界强度大小，在所述中轴线上确定多个上下眼皮外轮廓特征点的候选点，并选取上眼皮外轮廓特征点的候选点与下眼皮外轮廓特征点的候选点组成多对候选点对；以及分别根据所述眼角点和每对候选点对，利用抛物线模型拟合出眼睛的外轮廓线，在所述外轮廓线上选取外轮廓点，计算所选外轮廓点的边界强度之和，得到与每对候选点对对应的和值；或者还计算每对候选点对之间各像素点灰度的均值，用所述和值减去所述均值，得到与每对候选点对对应的差值；将最大和值对应的候选点对作为人脸眼睛外轮廓特征点；或者将最大差值对应的候选点对作为人脸眼睛外轮廓特征点；

跟踪点获取单元，用于获取人脸眼睛外轮廓特征点的跟踪点；

矫正单元，用于用所述人脸眼睛外轮廓特征点矫正所述跟踪点。

16.如权利要求15所述的装置，其特征在于，还包括：

修正单元，用于根据所述跟踪点修正所述人脸眼睛外轮廓特征点。

Images