CN100561503C - 一种人脸眼角与嘴角定位与跟踪的方法及装置 - Google Patents

Abstract

本发明公开了一种人脸眼角与嘴角的定位与跟踪方法及装置，首先采用人脸检测算法获取人脸的位置；采用AAM算法获取检测人脸的仿射变换系数，得到人脸上眼睛和嘴巴六个角点的初步位置；结合各个角点的AdaBoost训练模型在其邻域范围内搜索候选点的位置，为每个角点获取一定数量的候选点；计算所有角点的Harris角点特征，根据一定规则减少各个角点候选点的数量；将左眼、右眼、嘴巴的角点候选点分别组成对；采用多组特征逐步淘汰点对，最终返回最佳的结果。本发明实施例提供的方案，解决了在人脸作出各种姿态的时候对眼睛和嘴巴的角点定位不准确的问题，更为实现人脸眼睛、嘴巴外轮廓定位，进而驱动人脸二维与三维模型提供了可行方案。

Description

一种人脸眼角与嘴角定位与跟踪的方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种人脸眼角与嘴角的定位与跟踪方法及装置。

背景技术

人脸特征点定位是人脸识别、表情识别等人脸处理技术的基础，脸部特征点定位的性能很大程度上影响着人脸检测方法的精度。在所有的脸部特征点中，双眼及嘴巴位置最为重要。对于一般的应用，这三个器官位置已经能够满足处理方法的需要，能够将不同形状、大小的人脸对齐归一化，并为进一步处理提供信息。此外，左/右眼及嘴巴角点这六点也可以作为其它脸部特征点定位方法的前提和基础。此外，在人机交互以及娱乐领域，对于已知双眼、嘴巴位置的输入人脸，可以对其进行纹理、颜色、形状等变换，产生各种有趣的图像效果。眼睛特征点容易受到包括姿态、光照、图像质量、头发眼镜遮档等因素的影响，而由人脸表情的变化引起的嘴巴张开与闭合也影响着嘴巴的外观。因此，准确快速的眼睛、嘴巴角点定位方法是一个困难且需要解决的问题。

申请人在之前已经提出了一系列与人脸检测技术相关的专利，包括“视频序列中人脸的实时检测与持续跟踪的方法及系统“，中国专利申请号为200510135668.8，以下简称文献1；“多姿态人脸检测与追踪系统及方法“，中国专利申请号为200610113423.X，以下简称文献2；“一种人脸特征点定位方法”，中国专利申请号为200610011673.2，以下简称文献3。基于上述的几个专利中的人脸检测跟踪、人脸眼睛嘴巴中心点定位等方法，可以实现多个人脸特效，如人脸自动追踪、戴面具人脸识别等。

但是，上述的专利申请中的算法也存在一定的局限性，实现的特效仍存在不少缺陷，例如，首先，上述的算法中，眼睛、嘴巴定位结果并不十分稳定，导致戴面具的人脸上的面具经常抖动；其次，上述的算法中未加入眼睛嘴巴定位点的跟踪算法，导致计算量偏大；再次就是上述的算法在人脸平面旋转角度过大时无法定位眼睛嘴巴，导致相应的特效失效。

发明内容

本发明实施例提供一种人脸眼角与嘴角的定位与跟踪方法及装置，用以实现人脸作出各种表情时仍可获取眼睛与嘴巴角点的准确位置，从而改善现有的人脸面部关键特征点的定位与跟踪技术的性能。

一种人脸眼角与嘴角的定位方法，该方法包括：

A、采用人脸检测算法获取人脸的位置；

B、采用主动外貌模型AAM算法获取检测人脸的仿射变换系数，得到人脸眼角与嘴角所对应的六个角点的初始位置；

C、以所述六个角点的初始位置为基础，结合各角点的AdaBoost训练模型，在各角点邻域范围内搜索候选点；

D、根据各角点候选点的Harris角点特征排序以减少候选点数量，在对各角点候选点组对后，采用多组特征逐步淘汰各角点的候选点对，得到人脸眼角与嘴角的定位结果。

所述步骤D包括：

D1、计算所述各角点候选点的Harris角点特征，并根据Harris角点特征进行排序，根据排序结果减少各个角点的候选点数量；

D2、将左眼、右眼、嘴巴的角点候选点分别组成对，为左眼、右眼、嘴巴分别得到若干个候选点对；

D3、采用多组特征逐步淘汰候选点对，从各个器官的候选点对中挑选出最佳点对，得到人脸眼角与嘴角的定位结果。

所述步骤C中在各角点邻域范围内搜索候选点，包括：

将各角点邻域范围内每一个像素点都确定为一候选点，或者按照固定的窗口大小，每隔几个像素点确定一个候选点。

一种人脸眼角与嘴角持续跟踪的方法，该方法包括：

a、由多姿态人脸跟踪算法返回的位置获取当前图像帧中眼角与嘴角所对应各角点的初值；

b、在当前帧图像与前一帧图像之间进行匹配，获取当前帧中眼角与嘴角各个角点的跟踪位置；

c、以当前帧中眼角与嘴角各个角点的跟踪位置为初值，采用如权利要求1所述的人脸眼角与嘴角定位方法获取当前帧中眼角与嘴角各个角点的定位位置，作为当前帧中眼角与嘴角各个角点的定位位置；

d、采用当前帧中眼角与嘴角各个角点的定位位置对角点的跟踪位置进行修正，得到当前帧中眼角与嘴角的跟踪结果。

所述步骤b进一步包括：

在当前帧图像与前一帧图像之间进行匹配，获取当前帧中眼角与嘴角各个角点的跟踪位置；并对各角点的跟踪位置计算置信度；

判断各角点的跟踪位置的置信度是否大于等于预先设定的阈值，如果是，将当前各角点跟踪位置作为当前帧中各角点的跟踪结果；否则，执行步骤c。

所述步骤c之后，步骤d之前，进一步包括：

c1、计算并比较各角点跟踪位置与定位位置的置信度，如果各角点的跟踪位置的置信度大于等于各角点定位位置的置信度，则将各角点跟踪位置作为当前帧各角点的跟踪结果；否则，执行步骤d。

一种人脸眼角与嘴角定位装置，该装置包括人脸检测单元、AAM变换单元、邻域搜索单元以及定位单元，其中，

人脸检测单元，用于获取人脸的位置；

AAM变换单元，用于采用AAM算法获取检测人脸的仿射变换系数，得到人脸上眼角与嘴角六个角点的初步位置；

邻域搜索单元，用于以六个角点的初始位置为基础，结合各个角点的AdaBoost训练模型在各角点邻域范围内搜索候选点，为每个角点获取一定数量的候选点；

定位单元，用于根据各角点候选点的Harris角点特征排序以减少候选点数量，在对各角点候选点组对后，采用多组特征逐步淘汰各角点的候选点对，得到人脸眼角与嘴角的定位结果。

所述定位单元进一步包括排序子单元、组对子单元以及挑选子单元，其中，

排序子单元，用于计算所有角点的Harris角点特征，并根据角点特征进行排序，根据排序结果减少各个角点候选点的数量；

组对子单元，用于将左眼、右眼、嘴巴的角点候选点分别组成对，为每个器官得到若干个候选点对；

挑选子单元，用于从各个器官的候选点对中挑选出最佳点对，得到人脸眼角与嘴角的定位结果。

一种人脸眼角与嘴角跟踪装置，包括如上所述的人脸眼角与嘴角定位装置，该装置还包括初值获取单元、跟踪位置获取单元和修正单元，其中，

初值获取单元，用于获取当前图像帧中眼角与嘴角各个角点的初值；

跟踪位置获取单元，用于在当前帧图像与前一帧图像之间进行匹配，获取当前帧中眼角与嘴角各个角点的跟踪位置；

人脸眼角与嘴角装置，用于以当前帧各角点的跟踪位置为初值，采用角点定位算法获取当前帧各角点的定位位置；

修正单元，用于采用角点的定位位置对角点的跟踪位置进行修正，得到当前帧中眼角与嘴角的跟踪结果。

所述装置进一步包括置信度判断单元，用于对人脸眼角与嘴角定位装置输出的当前帧角点的定位结果的置信度进行判断，并返回判断结果：

所述人脸眼角与嘴角定位装置根据返回的判断结果确定是否对角点的跟踪位置进行修正。

本发明实施例首先采用人脸检测算法获取人脸的位置；采用主动外貌模型(AAM，Active Appearance Models)算法获取检测人脸的仿射变换系数，得到人脸上眼睛和嘴巴六个角点的初步位置；以六个角点的初始位置为基础，结合各个角点的AdaBoost训练模型在其邻域范围内搜索候选点的位置，为每个角点获取一定数量的候选点；计算所有角点的Harris角点特征，并根据角点特征进行排序，根据一定规则减少各个角点候选点的数量；将左眼、右眼、嘴巴的角点候选点分别组成对，为每个器官得到若干个候选点对；从各个器官的候选点对中挑选出最佳点对，采用多组特征逐步淘汰点对，最终返回最佳的结果。本发明实施例提供的方案，解决了在人脸作出各种姿态的时候对眼睛和嘴巴的角点定位不准确的问题，改善了现有的人脸面部特征点的定位与跟踪技术的性能，以此为基础可实现更准确的人脸面部关键器官轮廓的准确定位，提高各类人脸系统如人脸识别、人脸合成的性能。

附图说明

图1为本发明实施例1提供的角点定位方法流程图；

图2为本发明实施例2提供的角点跟踪方法流程图；

图3为本发明实施例提供的角点定位装置的结构示意图之一；

图4为本发明实施例提供的角点定位装置的结构示意图之二；

图5为本发明实施例提供的角点跟踪装置的结构示意图之一；

图6为本发明实施例提供的角点跟踪装置的结构示意图之二；

图7a～图7d为本发明实施例提供的角点初值设定和定位结果示意图。

具体实施方式

人脸由眼睛、鼻子、嘴巴、下巴等部件构成，其中，眼睛和嘴巴作为人脸最显著的特征，能够提供更可靠、更重要的信息，因此眼睛嘴巴的精确定位往往是各类人脸处理技术如人脸识别、人脸合成系统中中一个关键性的处理流程。

本发明针对现有的特征点定位算法的缺陷，提出了基于Adaboost与角点信息的人脸四个眼角点、两个嘴角点共六个点的精确定位和跟踪算法，目的是在人脸作出各种表情时仍可获取这些角点的准确位置。本发明涉及本申请人已经提交的另一项专利申请“多姿态人脸检测与追踪系统及方法”(文献2)。本发明涉及文献2中的一个关键步骤，为了使本发明更容易理解，本发明与上述已提交专利申请在此整体结合参考。

本发明实施例首先采用人脸检测算法获取人脸的位置；采用AAM算法获取检测人脸的仿射变换系数，得到人脸上眼睛和嘴巴六个角点的初步位置；以六个角点的初始位置为基础，结合各个角点的AdaBoost训练模型在其邻域范围内搜索候选点的位置，为每个角点获取一定数量的候选点；计算所有角点的Harris角点特征，并根据角点特征进行排序，根据一定规则减少各个角点候选点的数量；将左眼、右眼、嘴巴的角点候选点分别组成对，为每个器官得到若干个候选点对；从各个器官的候选点对中挑选出最佳点对，采用多组特征逐步淘汰点对，最终返回最佳的结果。

下面结合各个附图对本发明实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。

如图1所示，本发明实施例1的主要实现原理流程如下：

步骤10，采用人脸检测算法获取人脸的位置。

本发明采用文献1中提到的多姿态人脸检测算法获取人脸的位置。文献2中公开了一种多姿态人脸检测与追踪系统及方法，通过人脸样本训练，分别获得人脸正面与半侧面检测模型，并确定AAM人脸模型；利用所述人脸正面与半侧面检测模型，对输入视频图像进行人脸检测，确定一帧图像中是否存在人脸；如果在某帧图像中检测到人脸，则在后续帧中追踪并验证该人脸。应用本发明所述的方法，可以追踪检测多姿态的人脸，且能克服受到与人脸肤色相近的非人脸区域干扰的缺点，并能确保多姿态人脸的持续跟踪和检测算法的稳定性，并获取人脸的平面旋转角度，输出人脸的准确尺寸。

步骤20，采用AAM算法获取检测人脸的仿射变换系数，得到人脸上眼角与嘴角六个角点的初步位置。

本发明同样由文献2中提到的AAM算法获取输入人脸基于标准人脸的仿射变换系数，进而确定输入人脸中眼角和嘴角六个角点的位置。

图7a为标准人脸，其中共标定了六个角点，设为[x_stad(i)，y_stad(i)]，i＝0，1，2，3，4，5。对于任意一幅输入人脸，设AAM算法求得的仿射变换系数为(a，b，c，d)，则该人脸中六个角点的初始位置为[x_init(i)，y_init(i)]，i＝0，1，2，3，4，5，如图7b，计算公式为

$\left\{\begin{array}{c}{x}_{\mathrm{init}}\left(i\right)\\ y_{\mathrm{init}}\left(i\right)\end{array}\right\}=\left\{\begin{array}{ccc}c& -d& a\\ d& c& b\end{array}\right\}\left\{\begin{array}{c}{x}_{\mathrm{stad}}\left(i\right)\\ y_{\mathrm{stad}}\left(i\right)\\ 1\end{array}\right\},i=\mathrm{0,1,2,3,4,5}$ 公式(1)

据此，可以计算得到眼角与嘴角六个角点的初步位置。

步骤30，以六个角点的初始位置为基础，结合各个角点的AdaBoost训练模型在各角点邻域范围内搜索候选点，为每个角点获取一定数量的候选点。

AdaBoost理论是一种将任意强于随机猜测的弱分类器组合成强分类器的通用算法。该算法在人脸检测中已经取得了非常成功的应用。基于AdaBoost的人脸检测算法首先由大量“人脸”和“非人脸”样本训练一个“人脸/非人脸”二类分类器，该分类器可以确定某个尺度的矩形窗口是否是人脸，设矩形长为m，宽为n，则人脸检测的流程就是：首先是按照一定比例连续放缩图像，在得到的系列图像中穷举搜索和判别所有大小为m×n的像素窗口，将各个窗口输入到“人脸/非人脸”分类器中，留下识别为人脸的候选窗口，再采用后处理算法合并相邻位置的候选，输出所有检测到的人脸的位置、大小等信息。

同样，AdaBoost理论也可用于人脸面部六个角点的检测，而角点检测算法的实现流程与人脸检测算法类似。例如，对于左眼左侧角点，我们也同样采集大量的“左眼左侧角点”和“非左眼左侧角点”的训练样本，训练一个二类分类器。该分类器可确定图像中某个尺度的矩形窗口的中心点是否是左眼左侧角点。在角点检测时，我们已该角点的初始位置为基础，在其邻域范围内搜索所有的后续点，即已该候选点为中心的固定尺度的矩形窗口，如通过训练的二类分类器，则输出一个后续角点。

这样，我们为六个角点各训练了一个AdaBoost二类分类器，并在各个角点的初始位置的邻域内获取一定数据的后续点。

步骤40，计算所有候选点的Harris角点特征，并根据计算的角点特征进行排序，根据排序结果减少六个角点的候选点的数量。

所谓“角点”，一般是指该点邻域范围内边界比较复杂，在两个垂直方向都有复杂边界的点。人脸面部这六个角点与其他象素点的最大区别就是这些角点的邻域内有着非常复杂的边界特征。文献中已有研究人员提出了Harris角点检测算法，该算法可获取图像中各点的角点特征，描述该点邻域范围内不同方向边界特征的复杂度，如某点邻域内的边界特征较复杂，存在着不同方向的边界，即有水平方向的边界，也有垂直方向的边界，则该点的Harris角点特征就会比较大，反之，如某点邻域内没有边界，或者只有一个方向的边界，则该点的Harris角点特征就会非常小。

由于六个角点的Harris特征一般都会比较大，因此我们可以为所有候选点计算角点特征，并根据角点特征的大小进行排序，将最大的几个候选点留下，而淘汰角点特征比较小的候选点。

步骤50，将左眼、右眼、嘴巴的角点候选点分别组成对，为每个器官得到若干个候选点对。

将左眼、右眼和嘴巴的角点候选点分别组成对，为三个器官分别达到一定数量的候选点对。例如，如左眼左侧角点有3个候选点，右侧角点有4个候选点，则可为左眼达到12个候选点对。

步骤60，采用多组特征逐步淘汰候选点对，从各个器官的候选点对中挑选出最佳点对，得到人脸眼角与嘴角的定位结果。

这是嘴角和眼角定位的最后一步，目的是从各个器官的候选点对中挑选最佳的点对。本发明将人眼和嘴巴的多组特征综合起来，为每个候选点对计算一个参数，将最大参数对应的候选点对返回。

申请人之前提出的“一种人脸特征点定位方法”专利(文献3)中，为人脸左眼、右眼和嘴巴各训练了一个AdaBoost模型，该专利还可为任意输入的一幅固定尺寸的矩形图像输出三个置信度，判断该图像与对应的三个器官的相似度。例如，对于左眼的某个候选点对，我们根据该候选点对的位置从人脸中裁剪出一幅左眼的图像，并对该图像矩形仿射变换，获取固定尺寸的矩形图像，且两个候选角点变换到该矩形图像中固定的位置，将这幅图像输入到左眼的AdaBoost模型中，返回一个置信度，这个数越大，表明这两个候选点是角点的概率也越大。

另外，我们还可以利用人脸眼睛嘴巴的一些规则特征，例如，对于眼睛，其中心区域一般是眼珠，应该会比较黑，由此对于眼睛的每各候选点对，我们可以计算这两个点中轴线的邻域内部分象素点的均值，如均值比较小，则人脸这个候选点对对应角点的概率也比较大。再就是对于三个器官，给定某个候选点对，其中轴线两侧的图像应该是近似对称的，如不对称，则说明角点的位置有偏差，由此可以利用对称性来确定候选点对是角点的概率。

综合上面提到的这些算法和规则，我们可以为各个候选点对计算一个总的参数，根据该参数的大小确定哪个候选点对是最佳点对，这个点对返回的角点就是角点的最终定位结果。图7c和7d给出了两组角点定位结果。

本发明实施例提供的方案，解决了在人脸作出各种姿态的时候对眼睛和嘴巴的角点定位不准确的问题，改善了现有的人脸面部特征点的定位与跟踪技术的性能，以此为基础可实现更准确的人脸面部关键器官轮廓的准确定位，提高各类人脸系统如人脸识别、人脸合成的性能。

在获得了人脸角点定位结果的基础上，本发明实施例还提供一种人脸角点跟踪的方法，如图2所示，本发明实施例2的实现方法具体包括：

步骤100，由多姿态人脸跟踪算法返回的位置获取当前图像帧中眼睛与嘴巴角点的初值。

本发明所指的多姿态人脸跟踪算法，同样采用文献2中提到的算法持续跟踪检测到的人脸。该算法对输入视频图像进行人脸检测，确定一帧图像中是否存在人脸；如果在某帧图像中检测到人脸，则在后续帧中追踪并验证该人脸。该算法采用基于Mean shift的人脸跟踪算法快速获取当前帧人脸中心点的粗略位置，接着结合人脸色度分布特征和Lucas-Kanade反算算法估算人脸的精确平移速度，进而利用人脸检测模型对人脸图像矩形不断验证，并结合AAM仿射系数估算算法计算人脸的尺度姿态，确保算法可一直跟踪到人脸区域，且使跟踪区域精度更高，并可获取人脸的精确尺寸、旋转角度等。

在获取人脸的位置后，就可以根据上述的角点定位方法获取人脸中各个角点的初步位置。

步骤200，在当前帧图像与前一帧图像之间进行匹配，获取当前帧中眼角与嘴角各个角点的跟踪位置。

实际上，本发明实施例利用第k-1帧的人脸中的角点位置、图像的色度特征等到第k帧图像中进行搜索，获取第k帧的人脸中的角点位置，作为当前角点的跟踪位置。

本发明采用图像色度分布和Lucas-Kanade反算算法精确估算出各个角点的平移矢量，确定当前帧图像中各个角点的精确位置。关于如何用Lucas-Kanade反算算法获取角点的平移位置，为本领域公知技术，可参考相关文献和文献2，此处不再赘述。

步骤300，以当前帧中眼角与嘴角各个角点的跟踪位置为初值，采用角点定位算法获取当前帧角点的定位位置。

这里的角点定位算法采用上述实施例中的角点定位算法，由于已经获得了当前帧中各角点的初值，因而可以省略角点定位算法中的获取各个角点初始位置的步骤，其余步骤均与上述实施例相同，此处不再赘述。

步骤400，采用角点的定位位置对角点的跟踪位置进行修正，得到当前帧中各角点的跟踪结果，并确保角点的跟踪结果不会出错。

由于实际视频中人脸面部图像的变化可能会非常剧烈，如人脸的剧烈运动、表情剧烈变化等都会极大地影响角点的跟踪位置，导致跟踪算法在数帧后获取的角点位置与真实位置偏差会越来越大，这也是所有特征点跟踪算法的通病。为修正这个错误，我们在跟踪过程中不断对跟踪结果进行判决，结合各帧角点的定位结果对不准确的跟踪结果进行修正。

本实施例中，如果角点的跟踪位置比较准确，就不需要对角点的跟踪位置进行修正。另外，角点的定位位置有时也会存在偏差。因此，在修正角点跟踪位置时仍旧需要考虑角点定位位置的精确度，如果角点定位位置精度较低，在当前帧中就暂时不对角点跟踪位置进行修正。

申请人之前提出的“一种人脸特征点定位方法”专利(文献3)中，可利用三个器官的Adaboost训练模型为人脸眼睛嘴巴的裁剪图像返回一个置信度。本实施例中也采用这个专利中的方法来判断获取的六个角点的精确程度，为各个器官的每对角点跟踪位置返回一个置信度。因此，本实施例中的步骤200中进一步可以包括：

在当前帧图像与前一帧图像之间进行匹配，获取当前帧中眼角与嘴角各个角点的跟踪位置；并对各角点的跟踪位置计算置信度；判断各角点的跟踪位置的置信度是否大于等于预先设定的阈值，如果是，将当前各角点跟踪位置作为当前帧中各角点的跟踪结果；否则，执行步骤300。

这里，预先设定的阈值为一个经验值，可以通过试验方法测定。

相应的，本实施例中也可以采用上述实施例中的人脸眼睛、嘴巴AdaBoost检测模型判断六个角点的精确程度，为各个器官的每对角点定位位置返回一个置信度，并由此置信度判断当前帧中角点的跟踪位置与角点的定位位置哪个更为准确。如果跟踪位置比较准确，则不需要使用角点定位位置修正角点的跟踪位置，以角点的跟踪位置作为当前帧中人脸六个角点的位置；否则，如果角点定位位置比较准确，就需要进一步使用角点定位位置修正角点跟踪位置，得到当前帧中人脸各个角点的跟踪结果。

也就是说，本实施例中，步骤300之后，步骤400之前，进一步可以包括：

计算并比较各角点跟踪位置与定位位置的置信度，如果各角点的跟踪位置的置信度大于等于各角点定位位置的置信度，则将各角点跟踪位置作为当前帧各角点的跟踪结果；否则，执行步骤400。

本实施例中，在之前角点定位算法的基础上，进一步实现了人脸角点位置的持续跟踪与修正，完成视频图像流中人脸角点的准确定位。

相应地，本发明实施例还提供了一种人脸角点定位装置，如图3所示，该装置包括人脸检测单元11、AAM变换单元12、邻域搜索单元13以及定位单元14，具体如下：

人脸检测单元11，用于采用人脸检测算法获取人脸的位置；

AAM变换单元12，用于采用AAM算法获取检测人脸的仿射变换系数，得到人脸上眼角与嘴角六个角点的初步位置；

邻域搜索单元13，用于以六个角点的初始位置为基础，结合各个角点的AdaBoost训练模型在各角点邻域范围内搜索候选点，为每个角点获取一定数量的候选点；

定位单元14，用于对所有的候选点进行排序、组对以及挑选角点最佳点对。

较佳地，如图4所示，上述装置中的定位单元14，进一步包括排序子单元141、组对子单元142以及挑选子单元143，具体如下：

排序子单元141，用于计算所有角点的Harris角点特征，并根据角点特征进行排序，根据排序结果减少各个角点候选点的数量；

组对子单元142，用于将左眼、右眼、嘴巴的角点候选点分别组成对，为每个器官得到若干个候选点对；

挑选子单元143，用于采用多组特征逐步淘汰候选点对，从各个器官的候选点对中挑选出最佳点对，得到人脸眼角与嘴角的定位结果。

相应的，本发明实施例提供一种人脸角点跟踪的装置，如图5所示，包括上述的角点定位装置以及初值获取单元101、跟踪位置获取单元102和修正单元103，具体如下：

初值获取单元101，用于由多姿态人脸跟踪算法返回的位置获取当前图像帧中眼角与嘴角各个角点的初值；

跟踪位置获取单元102，用于在当前帧图像与前一帧图像之间进行匹配，获取当前帧中眼角与嘴角各个角点的跟踪位置；

角点定位装置，用于以当前帧各角点的跟踪位置为初值，采用角点定位算法获取当前帧各角点的定位位置，作为当前帧角点的定位结果；

修正单元103，用于采用角点的定位结果对跟踪角点的位置进行修正，确保角点的跟踪结果不会出错，得到当前帧中眼角与嘴角的跟踪结果，实现人脸眼角与嘴角的跟踪。

较佳地，如图6所示，上述实施例中的人脸角点跟踪装置，进一步包括置信度判断单元104，用于对角点定位装置输出的当前帧角点的定位结果的置信度进行判断，并返回判断结果：

角点定位装置根据返回的判断结果确定是否对角点的跟踪位置进行修正。

本发明实施例提供的方案，解决了在人脸作出各种姿态的时候对眼睛和嘴巴的角点定位不准确的问题，更为实现人脸眼睛、嘴巴外轮廓定位，进而驱动人脸二维与三维模型提供了可行方案，从而改善现有的人脸检测与跟踪技术的性能。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1、一种人脸眼角与嘴角的定位方法，其特征在于，该方法包括：

A、采用人脸检测算法获取人脸的位置；

B、采用主动外貌模型AAM算法获取检测人脸的仿射变换系数，得到人脸眼角与嘴角所对应的六个角点的初始位置；

C、以所述六个角点的初始位置为基础，结合各角点的AdaBoost训练模型，在各角点邻域范围内搜索候选点；

D、根据各角点候选点的Harris角点特征排序以减少候选点数量，在对各角点候选点组对后，采用多组特征逐步淘汰各角点的候选点对，得到人脸眼角与嘴角的定位结果。

2、如权利要求1所述的方法，其特征在于，所述步骤D包括：

D1、计算所述各角点候选点的Harris角点特征，并根据Harris角点特征进行排序，根据排序结果减少各个角点的候选点数量；

D2、将左眼、右眼、嘴巴的角点候选点分别组成对，为左眼、右眼、嘴巴分别得到若干个候选点对；

D3、采用多组特征逐步淘汰候选点对，从各个器官的候选点对中挑选出最佳点对，得到人脸眼角与嘴角的定位结果。

3、如权利要求1所述的方法，其特征在于，所述步骤C中在各角点邻域范围内搜索候选点，包括：

将各角点邻域范围内每一个像素点都确定为一候选点，或者按照固定的窗口大小，每隔几个像素点确定一个候选点。

4、一种人脸眼角与嘴角持续跟踪的方法，其特征在于，该方法包括：

a、由多姿态人脸跟踪算法返回的位置获取当前图像帧中眼角与嘴角所对应各角点的初值；

b、在当前帧图像与前一帧图像之间进行匹配，获取当前帧中眼角与嘴角各个角点的跟踪位置；

c、以当前帧中眼角与嘴角各个角点的跟踪位置为初值，采用如权利要求1所述的人脸眼角与嘴角定位方法获取当前帧中眼角与嘴角各个角点的定位位置，作为当前帧中眼角与嘴角各个角点的定位位置；

d、采用当前帧中眼角与嘴角各个角点的定位位置对角点的跟踪位置进行修正，得到当前帧中眼角与嘴角的跟踪结果。

5、如权利要求4所述的方法，其特征在于，所述步骤b进一步包括：

在当前帧图像与前一帧图像之间进行匹配，获取当前帧中眼角与嘴角各个角点的跟踪位置；并对各角点的跟踪位置计算置信度；

判断各角点的跟踪位置的置信度是否大于等于预先设定的阈值，如果是，将当前各角点跟踪位置作为当前帧中各角点的跟踪结果；否则，执行步骤c。

6、如权利要求4所述的方法，其特征在于，所述步骤c之后，步骤d之前，进一步包括：

c1、计算并比较各角点跟踪位置与定位位置的置信度，如果各角点的跟踪位置的置信度大于等于各角点定位位置的置信度，则将各角点跟踪位置作为当前帧各角点的跟踪结果；否则，执行步骤d。

7、一种人脸眼角与嘴角定位装置，其特征在于，该装置包括人脸检测单元、AAM变换单元、邻域搜索单元以及定位单元，其中，

所述人脸检测单元，用于获取人脸的位置；

所述AAM变换单元，用于采用AAM算法获取检测人脸的仿射变换系数，得到人脸上眼角与嘴角六个角点的初步位置；

所述邻域搜索单元，用于以六个角点的初始位置为基础，结合各个角点的AdaBoost训练模型在各角点邻域范围内搜索候选点，为每个角点获取一定数量的候选点；

所述定位单元，用于根据各角点候选点的Harris角点特征排序以减少候选点数量，在对各角点候选点组对后，采用多组特征逐步淘汰各角点的候选点对，得到人脸眼角与嘴角的定位结果。

8、如权利要求7所述的装置，其特征在于，所述定位单元进一步包括排序子单元、组对子单元以及挑选子单元，其中，

所述排序子单元，用于计算所有角点的Harris角点特征，并根据角点特征进行排序，根据排序结果减少各个角点候选点的数量；

所述组对子单元，用于将左眼、右眼、嘴巴的角点候选点分别组成对，为每个器官得到若干个候选点对；

所述挑选子单元，用于从各个器官的候选点对中挑选出最佳点对，得到人脸眼角与嘴角的定位结果。

9、一种人脸眼角与嘴角跟踪装置，包括如权利要求7所述的人脸眼角与嘴角定位装置，其特征在于，该装置还包括初值获取单元、跟踪位置获取单元和修正单元，其中，

所述初值获取单元，用于获取当前图像帧中眼角与嘴角各个角点的初值；

所述跟踪位置获取单元，用于在当前帧图像与前一帧图像之间进行匹配，获取当前帧中眼角与嘴角各个角点的跟踪位置；

所述人脸眼角与嘴角定位装置，用于以当前帧各角点的跟踪位置为初值，采用角点定位算法获取当前帧各角点的定位位置；

所述修正单元，用于采用角点的定位位置对角点的跟踪位置进行修正，得到当前帧中眼角与嘴角的跟踪结果。

10、如权利要求9所述的装置，其特征在于，该装置进一步包括置信度判断单元，用于对人脸眼角与嘴角定位装置输出的当前帧角点的定位结果的置信度进行判断，并返回判断结果：

所述人脸眼角与嘴角定位装置根据返回的判断结果确定是否对角点的跟踪位置进行修正。

Images