CN100440246C - 一种人脸特征点定位方法 - Google Patents

Abstract

本发明公开了一种人脸特征点定位方法，首先确定左右眼初选位置，然后采用单眼局部特征检测器为每个左右眼初选位置确定单眼相似度数值，选择最大的前N₁个作为左右眼候选位置，配成双眼候选对，采用双眼区域检测器为每个双眼候选对确定双眼相似度数值，并选择最大的前M₁个候选对，对其分别求均值，作为左右眼特征点位置；对于嘴巴定位，首先确定嘴巴初选位置，采用嘴巴局部特征检测器为每个嘴巴初选位置确定嘴巴局部相似度数值，并选择最大的前N₂个作为候选位置，采用脸部区域检测器为其中的每个候选位置确定嘴巴全局相似度数值，选择最大的前M₂个求均值作为嘴巴特征点位置。应用本发明所述方法能够快速准确地定位人脸特征点位置。

Description

一种人脸特征点定位方法

技术领域

本发明涉及人脸识别领域，尤其涉及人脸识别过程中的一种人脸特征点定位方法。

背景技术

人脸特征点定位是人脸识别、表情识别等人脸处理技术的基础，脸部特征点定位的性能很大程度上影响着上述方法的精度。在所有的脸部特征点中，双眼中心及嘴巴位置最为重要。对于一般的应用，这三点位置已经能够满足处理方法的需要，能够将不同形状、大小的人脸对齐归一化，并为进一步处理提供信息。此外，左/右眼及嘴巴中心点这三点也可以作为其它脸部特征点定位方法的前提和基础，以这三点位置为基础，可以进一步定位出眉毛、眼角、嘴角、鼻孔、脸部轮廓点等特征点。此外，在人机交互以及娱乐领域，对于已知双眼、嘴巴位置的输入人脸，可以对其进行纹理、颜色、形状等变换，产生各种有趣的图像效果。

眼睛特征点容易受到包括姿态、光照、图像质量、头发眼镜遮挡等因素的影响，而由人脸表情的变化引起的嘴巴张开与闭合也影响着嘴巴的外观。因此，准确快速的眼睛、嘴巴特征点定位方法是一个困难且需要解决的问题。目前的左/右眼、嘴巴特征点定位方法可以分为基于启发式规则的方法和基于样本统计学习的方法。基于启发式规则的方法一般结合图像处理方法，根据器官分布、形状、颜色、边缘等先验知识来定位左/右眼和嘴巴。而基于样本统计学习的方法一般需要收集大量样本，对模型的参数进行训练获取，并采用训练获得的模型对未知样本进行定位。

在论文《复杂背景下人脸检测和器官定位研究》(马勇，清华大学电子工程系工学博士论文，2004年7月，以下简称文献1)中，提出了一种眼睛特征点定位的方法，该方法采用了单一阈值的方式，也就是说对于通过局部特征检测器所有层的候选才会被进一步处理，没有通过所有层的候选位置直接被排除。这样的处理方式有如下缺点：首先，无法避免特殊条件眼睛位置和眼镜边框、眉毛等干扰之间的矛盾：采用层次型检测器滤除的方式，如果阈值设得太严格，则对于某些非正面姿态、戴眼镜、特殊光照条件、大胡子等特殊条件下人脸，会造成漏检；如果阈值设置不够严格，保证了上述特殊条件下的眼睛特征点能够检测到，但是会无法滤除某些干扰，如眉毛、眼镜边框等。其次，处理速度无法保证：在很多情况下，存在的候选很多(大约几十个)，左右眼组成的候选对数目太大(可能会成百上千个)会影响速度，虽然该方法进一步采用了合并相邻候选的方式来减少进一步运算的复杂度，但是依然没有办法保证进一步处理的候选数目固定在某个数量上。

此外，基于启发式规则的方法，由于其假设模型一般无法代表较多情况下的器官外观，而且参数获取通常会很繁复，需要大量的人工干预，还容易受主观影响，可扩展性很差，对于一些特殊条件无法处理，对于新的没有考虑的情况也缺乏可扩展性，因而应用受到很多限制。而以往的基于样本统计学习的方法，常常采用与人脸相似的处理方式，忽略了人脸外观模式强于眼睛嘴巴外观模式这一特点。由于，眼睛、嘴巴这些器官的外观比人脸变化程度更大，模式更加不确定，因而，采用普通样本统计方法获得的特征点定位方法或者由于限制太死，无法定位到特殊情况下的器官位置，或者由于限制太少，使得检测结果存在大量虚警，造成定错，或者受虚警影响而偏离真实位置。

这些方法不可克服的缺点表现为或者无法定位到侧面、戴眼镜等特殊模式下的特征点，或者会错把眉毛当作眼睛发生定位错误。因此需要一种人脸特征点定位方法，既能保证在非典型模式下检测到候选特征点位置，也能很好地排除干扰位置，以达到预期的定位效果。

发明内容

本发明所要解决的技术问题在于，提供一种人脸特征点定位方法，以在人脸图像中快速、准确的定位人脸特征点位置。

为解决上述技术问题，本发明提供一种人脸特征点定位方法，用以根据人脸位置信息确定眼睛特征点位置，包括如下步骤：

(1)在已获人脸位置信息的基础上，采用统计方式确定左眼搜索区域和右眼搜索区域，并确定左眼初选位置与右眼初选位置；

(2)在所述左眼与右眼搜索区域内，分别采用左眼局部特征检测器与右眼局部特征检测器，对所有左眼初选位置和右眼初选位置进行判别，并为每个初选位置确定一个单眼相似度数值；

(3)从所有左眼初选位置与右眼初选位置中，分别选择单眼相似度数值最大的前N₁个位置作为左眼候选位置和右眼候选位置，并将所有左眼和右眼候选位置配成双眼候选对，以每一个双眼候选对为基准确定双眼区域；

(4)采用双眼区域检测器作为全局约束，对每一个所述双眼区域进行判别，为其中每个双眼候选对确定一个双眼相似度数值；

(5)选择双眼相似度数值最大的前M₁个双眼候选对，对其中的所有左眼候选位置与所有右眼候选位置分别计算平均值，作为左眼特征点位置与右眼特征点位置。

为解决上述技术问题，本发明进而还提供一种人脸特征点定位方法，用以根据人脸位置信息确定嘴巴特征点位置，包括如下步骤：

(1)在已获眼睛位置信息的基础上，采用统计方式确定嘴巴位置搜索区域，并确定嘴巴初选位置；

(2)在嘴巴位置搜索区域内，采用嘴巴局部特征检测器对每一个嘴巴初选位置进行判别，并为之确定一个嘴巴局部相似度数值；

(3)选择嘴巴局部相似度数值最大的前N₂个嘴巴初选位置作为嘴巴候选位置，对于每个嘴巴候选位置，以左眼特征点位置、右眼特征点位置、嘴巴中心位置为基准，确定脸部区域；

(4)采用脸部区域检测器作为全局约束，对每个所述确定的脸部区域进行判别，为其中的每个嘴巴候选位置确定一个嘴巴全局相似度数值；

(5)选择嘴巴全局相似度数值最大的前M₂个嘴巴候选位置，计算这些嘴巴候选位置的平均值，作为嘴巴特征点位置。

本发明采用局部特征检测器在限定范围内搜索所有可能的候选特征点位置，并采用全局约束检测器判别并滤除干扰位置，即能保证在非典型模式下能检测到部件位置，同时，采用全局约束能很好地排除误检，快速而准确的实现了人脸特征点的定位。

附图说明

图1是根据本发明实施例所述的眼睛特征点定位方法的流程框图；

图2是根据本发明实施例所述的嘴巴特征点定位方法的流程框图；

图3是根据本发明实施例所述的人脸眼睛、嘴巴特征点定位方法的流程示意图；

图4是根据本发明实施例所述的局部特征和全局特征的样本割取及检测器训练示意图；

图5是根据本发明实施例所述的层次型检测器结构示意图；

图6是根据本发明实施例所述的微结构特征示意图；

图7是根据本发明实施例所述的双眼区域的定义示意图；

图8是根据本发明实施例所述的以双眼、嘴巴位置为基准割取人脸区域的示意图。

具体实施方式

如图1所示，根据本发明实施例对眼睛特征点进行定位的过程，可以包括如下步骤：

参考图1中的步骤101：首先输入原始图像，在人脸检测获得的人脸位置和角度信息基础上，根据统计结果分别得到左眼、右眼搜索区域范围，并在其中确定左右眼初选位置。

根据本发明，首先要确定眼睛特征点的搜索区域和搜索大小，根据人脸的位置确定左眼、右眼的搜索区域，这样既减少了搜索区域，提高了定位速度，同时也排除了背景中不必要的干扰。

在本发明的实施例中，可以根据3000余张标定好的训练样本，采用统计的方式确定特征点的搜索范围。通过公式表达，最终确定的左右眼区域的搜索范围可以是：Ω_{left&rightteye}＝(x，y)，

其中：

x_facecenter-0.6W_face＜x＜x_facecenter+0.6W_face，

y_facecenter-0.65H_face＜y＜y_facecenter

(x_facecenter，y_facecenter)为人脸检测得到的人脸区域的中心点，W_face为人脸检测框宽度，H_face为人脸检测框高度，且W_face＝H_face。

考虑到需要处理的人脸姿态范围不包括左右旋转30度以上的侧面人脸，为了简化运算，将左右眼区域的水平分界线定为左右眼区域中心线，其表达式为：x＝x_facecenter。而左眼、右眼的局部特征区域的搜索大小范围也影响着系统的处理速度。为了在保证不漏检的基础上提高处理速度，统计确定左眼、右眼区域的搜索大小范围为0.1W_face＜w_eye＜0.5W_face。其中，左眼右眼局部特征区域的宽度/长度固定为3/2。

在搜索区域范围内确定左右眼初选位置的方式有多种，例如简单的将每一个像素点都确定为一个可能的特征点位置，或者按照固定的窗口大小，每隔几个像素点确定一个初选位置。

参考图1中的步骤102：在搜索区域范围内，采用经过单个眼睛局部特征训练得到的左、右眼局部特征检测器对所有可能的单个眼睛位置(即确定的左右眼初选位置)进行判别，根据判别结果为每个单眼初选位置确定一个单眼相似度数值。

对于搜索区域中所有初选位置，需要采用训练好的检测器对其进行判别，并根据判别结果，对每个初选位置给出一个与该模式的相似度数值，用来衡量其与目标类别的相似程度。

考虑到左眼、右眼处理过程的相似性，下面就用左眼为例来说明采用局部特征检测初选位置的过程：

采用与人脸检测相似的检测器结构和训练方法来训练眼睛局部特征检测器。对于采集收集得到的人脸图像，手工标定左眼特征点、左右眼角点，以特征点为中心，以左右眼角点距离为宽度，割取宽长比为3/2的眼睛区域，并归一化为18×12大小的灰度图像。相对文献1中24×12的大小，本实施例采用的大小能够检测到更小的眼睛。这样获得的图像具有很强的特征性，在脸部背景区域中存在很少的相似区域。局部特征和全局特征的样本割取及检测器训练如图4所示。

一些割取的正样本和反样本及经过训练得到的眼睛局部特征检测器如图4中的401所示。

根据本发明的实施例，可以采用Real AdaBoost算法进行训练，用得到的微结构特征构建分类器，具体方法，可以参见文献：Robust Real TimeObject Detection，(P.Viola and M.Jones，IEEE ICCV Workshop onStatistical and Computational Theories of Vision，Vancouver，Canada，July13，2001，以下简称文献2)中所用的层次型结构来构造最终的分类器。算法分为三个部分：强分类器训练算法、弱分类器构造选择算法以及层次型检测器结构。

Real AdaBoost算法的强分类器训练算法过程如下所示：

1.给定训练集L＝{(x_i，y_i)}，i＝1，...，n，y_i∈{+1，-1}是样本标号，x_i∈X是样本特征；

2.样本的初始权重 $D_i\left(i\right)=\frac{1}{n},i=1,...,n;$

3.迭代次数t＝1，...，T：在该轮分布D_t上，采用弱分类器构造选择算法，获取此轮最佳的弱分类器，得到h_t：X→{+∝，-∝}；

4.更新样本的权重为 $D_{t+1}\left(i\right)=\frac{D_t\left(i\right)\exp (-y_i{h}_i\left(x_i\right))}{Z_t}$

其中 $Z_t=\underset{i}{\mathrm{\Σ}}{D}_t\left(i\right)\exp (-y_i{h}_i\left(x_i\right))$ 是归一化因子；

5.输出最后的强分类器： $H\left(x\right)=\mathrm{sign}(\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{h}_t\left(x\right)-b).$

在每轮迭代中，对于弱分类器构造算法，可以采用区域分割弱分类器构造方法(Domain-partitioning weak hypotheses)，具体方式可以参见文献：Improved Boosting Algorithms Using Confidence-rated Predictions(E.Schapire and Y.Singer，Proceedings of the Eleventh Annual Conferenceon Computational Learning Theory，1998.80-91，以下简称文献3)来构造弱分类器，并从中选取使得分类误差上界最小的弱分类器作为本轮输出。其中弱分类器构造算法如下所示：

首先，在分布D_t上，对于候选特征空间H中的每个特征构造其对应的弱分类器如下：

1.将样本空间分为n个不同的区间X₁，...，X_n，X₁∪X₂∪...∪X_n＝X且 $X_i\underset{i\≠j}{\mathrm{\∩}}{X}_j=\mathrm{\Φ};$

2.在分布D_t上，计算：

$W_l^j=P(x_i\∈X_j,y_i=l)=\underset{i:x_i\∈X_j^y_i=l}{\mathrm{\Σ}}{D}_t\left(i\right),$ 其中l＝±1；

3.对于X_j中的每个X，设定其对应弱分类器输出为

$\∀x\∈X_j,h\left(x\right)=\frac{1}{2}\ln \left(\frac{W_{+1}^j+\mathrm{\ϵ}}{W_{-1}^j+\mathrm{\ϵ}}\right),$

其中ε＜＜1/2N，引入ε是为了避免分母为零时引起的数字溢出；

4.计算 $Z=2\underset{j}{\mathrm{\Σ}}\sqrt{W_{+1}^j{W}_{-1}^j};$

然后，从构造的所有弱分类器中，选择使得Z最小的h作为此轮最终选择输出的弱分类器，即 $h_t=\arg \underset{h\∈H}{\min }Z.$

本发明实施例采用的层次型检测器结构如图5所示。层次型检测器分为多层，每一层都是上述Real-AdaBoost算法训练得到的一个强分类器，经过阈值调整，使得每一层都能让几乎全部人脸样本通过，而拒绝很大一部分非人脸样本。这样，靠近前面的各层，采用少量的特征却拒绝了大部分的非人脸样本，靠近后面的各层，虽然采用大量的特征来排除近似人脸的非人脸候选图像的干扰，但是由于需要处理的窗口数目很少，对于整体运算时间的耗费很小，就在保证检测效果的同时，提高了人脸检测速度。

上述文献2中采用了如图6所示的微结构特征作为候选弱特征，这五类特征为后续人脸检测、物体检测、特征点定位等算法采用。本发明也可以采用图6中的微结构特征作为候选弱特征。

经过训练，最后得到的层次型检测器结果即左/右眼局部特征检测器训练结果如下表所示：

	图像大小	候选特征总数	训练分类器层数	训练弱特征数目
					左眼	18×12	37400	7	359
右眼	18×12	37400	7	339

由于仅利用眼睛的局部特征很难区分开眼睛、眉毛、镜框等物体，所以眼睛检测器不需要确定出眼睛的唯一位置，而只需要快速排除掉绝大部分背景窗口并给出少量候选位置，以便于在这些候选基础上利用更多的特征进一步判别。

与文献1中采用的单一阈值方式不同，本发明考虑到眼睛搜索区域中必然会存在眼睛，故采用了选择与眼睛相似度最大的N₁个作为下一步处理候选的方式。为了衡量眼睛初选位置与真实眼睛位置的相似程度，根据初选位置通过的层数和最后层的输出为每个初选位置确定一个置信度来衡量其与真实眼睛位置的相似程度。

置信度的计算，主要是根据初选位置通过检测器的层数以及最后一层的输出来决定，具体公式如下所示：

(s_p-s_a)+α×(f_out-thr_ret)，

其中，s_p为通过的层数，s_a为全部层数，f_out为历经的最后一层的处理结果，thr_ret为该层阈值，α为常数，经过试验取α＝0.2。

提出置信度的计算，一是避免了文献1中为了减少下一步处理的候选数目来合并相邻候选的操作，而且，能够保证下一步操作的候选数目固定为N₁，可以折衷性能和速度需要确定N₁的值；二是避免了某些特殊的眼睛模式，无法通过检测器的所有层，从而漏检的问题，这样处理后，只要真实眼睛位置是相似度最接近眼睛的前N₁个候选位置之一，便有可能在下一次操作中脱颖而出成为最终结果。N₁的取值，决定了处理速度也影响了最后漏检的几率，需要折衷考虑，在此实施例中，取N₁＝4。

参考图1中的步骤103：根据所有单眼初选位置的相似度，分别对左眼/右眼选择相似度最大的前N₁个结果作为左眼/右眼特征点候选位置，并将左眼/右眼配对，对所有可能的左眼/右眼特征点候选对，以左眼、右眼中心为基准，割取双眼区域，并采用训练得到的双眼区域检测器作为全局约束来判别，根据判别结果为每个双眼候选对确定一个双眼相似度数值。

采用单一的局部特征很难在各种条件下都准确地定位到眼睛、嘴巴位置。某些条件下，眉毛、眼镜边框以及头发区域等干扰的相似度会大于眼睛区域的相似度，这样，即使取最大相似度的结果也会产生误检结果。

因此，根据本发明的实施例，可以采用双眼模板作为全局约束特征来拒除干扰的方式。即，首先以左右眼候选位置的中心点为基准，如图7所示，割取双眼模板图像，并对图像进行旋转矫正，使得在矫正后的图像中左右眼在同一水平方向上，在该图像上，以左右眼中心点连线中心为中心，宽度为5/3双眼距离，高度为双眼距离，割取一个矩形图像区域即为需要的双眼模板。将所有标定样本割取双眼模板图像，并归一化为20×12大小，采用层次型Real-AdaBoost算法进行训练，得到一个双眼模板检测器。一些割取的正样本和反样本及经过训练得到的双眼区域检测器如图4中的402所示。最终训练结果从34425个候选弱分类器中选择了209个特征，共包含8层，组成最终的强分类器。该检测器体现了左右眼位置之间的全局约束关系。

由于本发明的实施例首先采用局部特征检测器检测所有左右眼的初选位置，并依据置信度从中选择相似度最大的N₁个结果作为进一步处理的结果，这样对于特殊条件下，即使眼睛区域的相似度不是最高，也没有通过所有层分类器的情况，也可以将真实的眼睛位置作为候选保留了下来。然后对于所有配对的左右眼候选对，假定它们的位置为左/右眼正选位置，按照图7所示旋转矫正割取双眼模板并归一化到标准大小，并采用训练好的双眼模板检测器进行检测，得到其与真实双眼模板的置信度。

考虑到一般情况下，眼睛的干扰一般来源于眉毛或者眼镜边框以及头发，当假定它们的位置为眼睛位置割取双眼区域时，得到的双眼区域在区域范围和呈现亮度上都与真实双眼区域相差很多，而对于真正的眼睛位置，割取得到的双眼区域与真实双眼区域的相似度一般会很大，这样采用双眼区域的置信度就可以很容易滤除干扰而保留正确结果。

参考图1中的步骤104：根据双眼相似度数值，选择其中相似度最大的前M₁个候选对，按照左眼、右眼分别求取均值的方式，获得最终的左眼、右眼特征点位置。

本发明实施例采用双眼区域置信度最大的前M₁个结果的均值作为最终的双眼候选对，并将M₁个结果的置信度取均值作为左右眼检测结果的最终置信度。

这样，即使采用全局约束得到的最终处理结果是错误的，由于错误结果决定的双眼区域全局约束特征与真实双眼区域相似度很低，本发明也能够根据得到的最终结果的置信度得出处理结果的可信度。在进一步的应用中，对于处理结果的可信程度使得应用灵活方便。如果最终双眼相似度很大，则可以确信双眼检测结果的正确性，如果最终置信度很低，则丢弃处理结果。这在视频图像输入的人脸相关应用中，可以根据置信度选择性地处理各帧数据，使得方法更加灵活可靠。

参考图1中的步骤105：将获得的双眼特征点位置根据人脸角度旋转矫正，得到原始图像中双眼位置。

下面再参考图2，说明本发明的实施例对嘴巴特征点进行定位的流程：

参考图2中的步骤201：在获得左眼、右眼位置的基础上，根据统计结果获得嘴巴位置搜索区域，并在其中确定嘴巴的初选位置。

应当说明的是，尽管嘴巴定位是以已知眼睛位置信息为基础的，但本发明所述的嘴巴定位方法并不依赖于任何一种眼睛定位方法，也就是说，本发明所述的嘴巴定位方法，可以使用本发明所述的眼睛定位方法获得的眼睛位置信息，也可以使用其他方法获得的眼睛位置信息来进行嘴巴定位。

根据本发明的实施例，为了减少误差，采用嘴巴相对双眼的相对位置来确定嘴巴搜索区域范围。

嘴巴搜索区域的范围为Ω_mouth＝(x，y)，

其中：

x_mouthcenter-d_botheye＜x＜x_mouthcenter+d_botheye

y_mouthcenter-d_botheye＜y＜y_mouthcenter+d_botheye，

其中，d_botheye为双眼中心点间距，(x_mouthcenter，y_mouthcenter)是嘴巴中心的估计点，为了计算方便，取为与左眼、右眼中心点呈正三角形的点。统计得到嘴巴区域局部特征区域大小的搜索范围确定为0.6d_botheye＜w_mouth＜1.8d_botheye。其中，嘴巴局部特征区域的宽度/长度比例固定为5/4。

在确定的嘴巴搜索区域范围内，可以采用与眼睛初选位置类似的方式选定多个嘴巴初选位置。

参考图2中的步骤202：在嘴巴位置搜索区域中，采用嘴巴局部特征训练得到的嘴巴局部特征检测器对所有可能的嘴巴候选位置(即确定的嘴巴初选位置)进行判别，并根据判别结果为每个嘴巴候选位置确定一个嘴巴相似度数值。

嘴巴局部特征检测器算法与眼睛检测器训练算法基本相同。根据标定的嘴巴特征点和左右嘴角点为基准割取嘴巴区域图像，归一化为20×16大小，采用5类Haar-like特征，采用Real-AdaBoost强分类器训练流程、Real-AdaBoost弱分类器构造流程、层次型人脸检测器结构构造最终的嘴巴局部特征检测器。一些割取的正样本和反样本及经过训练得到的嘴巴局部特征检测器如图4中的403所示。最终在89775个候选弱特征中选择得到共8层，322个特征组成嘴巴局部特征检测器。

对于搜索区域中的所有可能位置，采用训练得到的局部特征检测器对其进行检测。并根据通过的层数和最终层输出结果得到候选与真实嘴巴的置信度。采用类似于眼睛的处理方式，选择置信度最大的前N₂个结果进行进一步处理。N₂取值应该是速度和嘴巴漏检率的折衷考虑。在此实施中，取N₂＝6。

参考图2中的步骤203：根据所有嘴巴初选位置的相似度数值，选择其中相似度最大的前N₂个位置作为嘴巴特征点候选位置，对于每个候选位置，以左眼、右眼、嘴巴中心位置为基准，割取脸部区域图像，并采用训练得到的脸部区域检测器作为全局约束对脸部区域图像进行判别，得到嘴巴全局相似度数值。

如图8所示，对于训练样本，旋转原始图像矫正使得双眼中心在同一水平线上，然后，对于矫正后的图像，以左右眼睛中心点与候选嘴巴中心点连线的中心点为中心，高度为嘴巴中心点到双眼连线中心点垂直距离的1.4倍，割取脸部区域作为全局约束特征区域。将图像归一化为20×20大小图像，并采用与左眼相似的训练方法训练得到脸部区域局部特征检测器。一些割取的正样本和反样本及经过训练得到的脸部区域检测器如图4中的404所示。最终得到的检测器，从117045个候选弱分类器中选择得到169个特征共9层组成最终的检测器。该检测器反映了双眼位置、嘴巴位置之间的全局约束关系。假定双眼位置定位准确，则结果嘴巴的位置与真实嘴巴位置之间的差异可以体现在检测器的检测结果中。

对于局部特征置信度最大的前N₂个结果，假定其为真实嘴巴位置，根据双眼中心位置、嘴巴中心位置，根据图8割取脸部区域图像，并送入训练好的脸部区域全局约束检测器进行检测，为每个嘴巴候选位置得到一个嘴巴全局相似度数值。

步骤204：根据所述每个嘴巴候选位置的嘴巴全局相似度数值，选择其中最大的前M₂个结果，通过求取均值来获取最终的嘴巴特征点位置。

步骤205：根据双眼相对人脸的位置，旋转并矫正嘴巴特征点位置，以获得嘴巴在原始图像中的位置。

下面以一个真实的人脸图像为例，来说明本发明对人脸图像的眼睛、嘴巴特征点综合定位的流程。

步骤301：输入原始图像，在平面内进行360度人脸检测获得的人脸位置和角度信息的基础上，根据统计结果获得左右眼搜索区域；

步骤302：在搜索区域范围内，采用经过单个眼睛局部特征训练得到的左右眼局部特征检测器对所有可能的单个眼睛位置进行判别，根据判别结果为每个单眼初选位置确定一个单眼相似度数值；

步骤303：根据所有单眼候选位置的相似度，分别对左眼/右眼选择相似度最大的前N₁个结果作为左眼/右眼特征点候选位置，并将左眼/右眼配对，对所有可能的左眼/右眼特征点候选对，以左眼、右眼中心为基准，割取双眼区域，并采用训练得到的双眼区域检测器作为全局约束来判别，根据判别结果为每个双眼候选对确定一个双眼相似度数值；

步骤304：根据所述确定的双眼相似度，选择其中相似度最大的前M₁个候选对，即采用双眼区域全局特征排除错误局部特征侯选位置，按照左眼、右眼分别求取均值的方式，获得最终的左眼、右眼特征点位置；

步骤305：融合双眼位置的结果，并根据双眼位置矫正人脸，在获得的双眼位置的基础上，根据统计结果获得嘴巴位置搜索区域；

步骤306：在嘴巴位置搜索区域中，采用嘴巴局部特征训练得到的嘴巴局部特征检测器对所有可能的嘴巴候选位置进行判别，并根据判别结果为每个嘴巴初选位置确定一个嘴巴相似度数值；

步骤307：根据所有嘴巴初选位置的相似度，选择其中相似度最大的前N₂个位置作为嘴巴特征点候选位置，对于每个候选位置，以左眼、右眼、嘴巴中心位置为基准，割取脸部区域图像，并采用训练得到的脸部区域检测器作为全局约束对脸部区域图像进行判别，得到嘴巴全局相似度数值，根据所述嘴巴全局相似度数值，选择其中最大的前M₂个结果，即为用全局特征排除嘴巴侯选位置；

步骤308：对所述最大的前M₂个结果，通过求取均值来获取最终的嘴巴特征点位置；

步骤309：将获得的双眼特征点位置根据人脸角度旋转矫正，得到原始图像中双眼位置，根据双眼相对人脸的位置，旋转并矫正嘴巴特征点位置，以获得嘴巴在原始图像中的位置；

步骤310：最后得到人脸原始图像中左眼、右眼、嘴巴位置。

对于器官特征点定位方法而言，衡量方法的定位精度需要定义方法的定位误差衡量标准。本发明采用了一种与人脸尺寸无关的定位误差度量标准来衡量方法的定位准确度。由于正面人脸的双眼中心间距一般不随表情等改变，具有相对的稳定性，所以衡量标准采用以人工标定的双眼中心间距为基准。

对于一张人脸，假定手工标定的左眼、右眼、嘴巴位置分别为(P_le ^l，P_re ^l，P_m ^l)，自动定位的左眼、右眼、嘴巴位置分别为(P_le ^a，P_re ^a，P_m ^a)，自动定位结果与手工标定结果之间的欧氏距离对于左眼、右眼、嘴巴分别为(d_le，d_re，d_m)。手工标定左右眼之间的欧式距离为d_lr。

则眼睛定位误差定义为：

$e_{\mathrm{eye}}=\frac{\max (d_{\mathrm{le}},d_{\mathrm{re}})}{d_{\mathrm{lr}}},$

嘴巴定位误差定义为：

$e_{\mathrm{mouth}}=\frac{d_m}{d_{\mathrm{lr}}}.$

本实施例对眼睛和嘴巴采用了不同的定位准确度阈值，判断标准如下：

当眼睛定位误差e_eye＜0.15时，认为双眼的定位是准确的；

当嘴巴定位误差e_mouth＜0.20时，认为嘴巴的定位是准确的。

为了测试方法的性能，这里采用了收集得到经手工标定后的测试库来进行测试。库中图像包括来自BioID、CMU表情库等的人脸图像，以及从网络上收集的图片。这些图片涵盖了各种姿态条件、各种光照条件、以及各种佩饰条件(如戴眼睛、蓄胡须等)的人脸。经测试，得到的双眼定位准确率为96.0％，定位误差为0.046，嘴巴定位准确度为97.8％，定位误差为0.056。

利用本发明，可以实现一种准确鲁棒的眼睛、嘴巴特征点定位方法。该方法定义了一种层次型AdaBoost检测器置信度的计算方法；采用置信度概念，从局部候选中选择最具可能的几个位置作为进一步处理的候选，避免了单一阈值滤除方式容易造成漏检的问题，同时限制候选位置数目，从而提高了处理速度；根据置信度，给出最终处理结果的可信任程度，为进一步处理提供参考信息，从而减少了二值化结果造成的信息损失；对于嘴巴候选，以眼睛、嘴巴特征点决定的脸部区域作为全局约束，从候选中进一步精确定位嘴巴位置。这种方式不仅利用了局部特征结合全局约束的优点，而且，使得嘴巴和眼睛定位方法的框架相同，有利于方法的编程实现。

该方法结合了局部特征和全局约束特征，不仅能够检测到正面正常光照条件下的人脸部件中心点，而且，对于一定范围内的左右旋转、平面内旋转、非正面均匀光、非中性表情等姿态、光照、表情变化也比较鲁棒，在实际应用中取得了很好的效果。

Claims (14)

1、一种人脸特征点定位方法，用以根据人脸位置信息确定眼睛特征点位置，其特征在于，包括如下步骤：

(1)在已获人脸位置信息的基础上，采用统计方式确定左眼搜索区域和右眼搜索区域，并确定左眼初选位置与右眼初选位置；

(2)在所述左眼与右眼搜索区域内，分别采用左眼局部特征检测器与右眼局部特征检测器，对所有左眼初选位置和右眼初选位置进行判别，并为每个初选位置确定一个单眼相似度数值；

(3)从所有左眼初选位置与右眼初选位置中，分别选择单眼相似度数值最大的前N₁个位置作为左眼候选位置和右眼候选位置，并将所有左眼和右眼候选位置配成双眼候选对，以每一个双眼候选对为基准确定双眼区域；

(4)采用双眼区域检测器作为全局约束，对每一个所述双眼区域进行判别，为其中每个双眼候选对确定一个双眼相似度数值；

(5)选择双眼相似度数值最大的前M₁个双眼候选对，对其中的所有左眼候选位置与所有右眼候选位置分别计算平均值，作为左眼特征点位置与右眼特征点位置。

2、如权利要求1所述的方法，其特征在于，进一步包括：

将获得的左眼与右眼特征点位置根据人脸角度进行矫正，得到原始图像中的双眼位置。

3、如权利要求1所述方法，其特征在于，步骤(1)所述采用统计方式确定左眼搜索区域和右眼搜索区域，包括：

(1-1)采用统计的方式确定双眼搜索区域；

(1-2)以水平方向中心线为分界线，分别得到左眼与右眼搜索区域。

4、如权利要求3所述方法，其特征在于，所述步骤(1-1)中，所述双眼搜索区域通过公式：Ω_{left&rightteye}＝(x，y)来确定，其中：

x_facecenter-0.6W_face＜x＜x_facecenter+0.6W_face

                                              ，

y_facecenter-0.65H_face＜y＜y_facecenter

其中，(x_facecenter，y_facecenter)为人脸检测得到的人脸区域的中心点，W_face为人脸检测框宽度，H_face为人脸检测框高度，且W_face＝H_face。

5、如权利要求3所述方法，其特征在于，所述步骤(1-2)中，所述分界线的表达式为：x＝x_facecenter。

6、如权利要求1所述方法，其特征在于，所述左眼局部特征检测器、所述右眼局部特征检测器及所述双眼区域检测器是采用AdaBoost算法进行训练而得到的。

7、如权利要求1所述方法，其特征在于，所述单眼相似度数值，通过以下公式进行计算：

(s_p-s_a)+α×(f_out-thr_ret)，

其中，s_p为初选位置通过左眼或右眼局部特征检测器的层数，s_a为左眼或右眼局部特征检测器的全部层数，f_out为初选位置通过左眼或右眼局部特征检测器所历经的最后一层的处理结果，thr_ret为该层阈值，α为常数。

8、如权利要求1所述方法，其特征在于，步骤(3)所述以每一个双眼候选对为基准确定双眼区域，包括：

(3-1)对图像进行矫正，以使图像中的双眼处于同一水平线上；

(3-2)以双眼中心点的连线中点作为中心，以双眼中心点距离的5/3倍作为宽度，以双眼中心点距离作为高度，确定双眼区域。

9、一种人脸特征点定位方法，用以根据人脸位置信息确定嘴巴特征点位置，其特征在于，包括如下步骤：

(1)在已获眼睛位置信息的基础上，采用统计方式确定嘴巴位置搜索区域，并确定嘴巴初选位置；

(2)在嘴巴位置搜索区域内，采用嘴巴局部特征检测器对每一个嘴巴初选位置进行判别，并为之确定一个嘴巴局部相似度数值；

(3)选择嘴巴局部相似度数值最大的前N₂个嘴巴初选位置作为嘴巴候选位置，对于每个嘴巴候选位置，以左眼特征点位置、右眼特征点位置、嘴巴中心位置为基准，确定脸部区域；

(4)采用脸部区域检测器作为全局约束，对每个所述确定的脸部区域进行判别，为其中的每个嘴巴候选位置确定一个嘴巴全局相似度数值；

(5)选择嘴巴全局相似度数值最大的前M₂个嘴巴候选位置，计算这些嘴巴候选位置的平均值，作为嘴巴特征点位置。

10、如权利要求9所述的方法，其特征在于，进一步包括：

根据双眼相对于人脸的位置，矫正嘴巴特征点位置，获得嘴巴在原始图像中的位置。

11、如权利要求9所述方法，其特征在于，所述步骤(1)中，嘴巴位置搜索区域通过公式：Ω_mouth＝(x，y)来确定：

其中：

x_mouthcenter-d_botheye＜x＜x_mouthcenter+d_botheye

                                                  ，

y_mouthcenter-d_botheye＜y＜y_mouthcenter+d_botheye

其中，d_botheye为双眼特征点间距，(x_mouthcenter，y_mouthcenter)是嘴巴中心的估计点，取为与左眼、右眼成正三角形的点。

12、如权利要求9所述方法，其特征在于，所述嘴巴局部特征检测器、所述脸部区域检测器是采用AdaBoost算法进行训练而得到的。

13、如权利要求9所述方法，其特征在于，所述嘴巴局部相似度数值，通过以下公式进行计算：

(s_p-s_a)+α×(f_out-thr_ret)，

其中，s_p为嘴巴初选位置通过嘴巴局部特征检测器的层数，s_a为嘴巴局部特征检测器的全部层数，f_out为嘴巴初选位置通过嘴巴局部特征检测器所历经的最后一层的处理结果，thr_ret为该层阈值，α为常数。

14、如权利要求9所述方法，其特征在于，步骤(3)所述确定脸部区域，包括如下步骤：

(3-1)对图像进行矫正，以使图像中双眼处于同一水平线上；

(3-2)以双眼中心点的连线中点与嘴巴候选位置中心点之间连线的中点作为中心，以嘴巴候选位置中心点到双眼连线之间的垂直距离的1.4倍为宽度与高度，得到脸部区域。

Images