CN103632129A - 一种人脸特征点定位方法及装置 - Google Patents

Abstract

本发明涉及一种人脸特征点定位方法及装置。本发明的人脸特征点定位方法包括：结合人脸检测和人眼匹配对人脸位置进行初步定位,并获取初步定位信息；根据初步定位信息进行人脸特征点拟合；根据拟合结果完成人脸特征点定位。本发明的有效益果在于：同时采用人脸检测和人眼匹配，且根据初步定位信息结合表观模型的至少一特征更精确的定位人脸位置信息，完成人脸特征点的精确定位。

Description

一种人脸特征点定位方法及装置

技术领域

本发明属于互联网技术领域，尤其涉及一种人脸特征点定位方法及装置。

背景技术

人脸面部的关键特征点定位既是人脸识别研究中的一个关键问题，也是图形学和计算机视觉领域的一个级别问题。人脸特征点定位是采用数字图像处理和模式识别等技术对一段视频流进行人脸检测，并对人脸关键点进行精确定位并跟踪的技术，目的是通过定位的人脸关键特征点来确定和研究嘴巴等主要器官的形状信息。

现有技术方案通过人脸检测技术进行定位，但现有技术中依靠人脸检测结果所定位的人脸初始位置不够精确，导致对人脸关键点的定位不够精确，容易造成人脸关键点拟合失败。另外，现有技术在人脸特征点拟合算法上采用ASM算法，ASM算法只考虑了形状信息，准确率不高。

发明内容

本发明提供了一种人脸特征点定位方法及装置，旨在解决现有技术中由于人脸关键点的定位不够精确造成人脸关键点拟合失败且拟合准确率不高的问题。

本发明是这样实现的，一种人脸特征点定位方法，包括以下步骤：

结合人脸检测和人眼匹配对人脸位置进行初步定位,并获取初步定位信息；

根据初步定位信息进行人脸特征点拟合；

根据拟合结果完成人脸特征点定位。

本发明实施例的技术方案还包括：所述人脸检测对人脸位置进行初步定位为：通过级联的特征分类器对人脸进行检测，获得人脸的初始位置信息和初始人脸大小信息。

本发明实施例的技术方案还包括：在所述结合人脸检测技术和人眼匹配技术对人脸位置进行初步定位前还包括：输入视频，获取所述视频中对应的人脸图像信息，其中，所述初步定位包括获取双眼初始位置、人脸初始位置及人脸初始大小。

本发明实施例的技术方案还包括：所述结合人脸检测和人眼匹配对人脸位置进行初步定位包括：判断上一帧图像是否检测出人眼，如果是，通过人眼匹配技术进行初步定位；如果否，进行人脸检测定位。

本发明实施例的技术方案还包括：所述通过人眼匹配对人脸位置进行初步定位包括：在人眼感兴趣区域ROI内进行搜索，匹配人眼的初始位置信息，并根据人眼的初始位置信息进行人脸特征点拟合。

本发明实施例的技术方案还包括：所述进行人脸检测定位包括：进行人脸检测，并判断是否检测出人脸，如果是，获得人脸的初始位置信息和初始人脸大小信息，并根据人脸的初始位置和大小信息结合灰度值、人脸的初始位置x,y轴方向的梯度值、边缘和角点特征进行人脸特征点拟合；如果否，则重新输入视频。

本发明实施例的技术方案还包括：所述进行人脸特征点拟合后还包括：判断人脸特征点是否拟合成功，如果是，根据拟合结果完成人脸特征点定位，并根据人脸特征点获取人眼图像，以上一帧图像中的人眼图像作为模板在人眼感兴趣区域内匹配下一帧图像中双眼的位置；如果否，重新输入视频。

本发明另一实施例的技术方案为：一种人脸特征点定位装置，包括人脸检测模块、特征点拟合模块及特征点定位模块，所述人脸检测模块用于通过人脸检测技术和人眼匹配技术对人脸位置进行初步定位；所述特征点拟合模块用于根据初步定位信息进行人脸特征点拟合，所述特征点定位模块根据拟合结果完成人脸特征点定位。

本发明实施例的技术方案还包括：所述人脸检测模块通过人脸检测技术对人脸位置进行初步定位为：通过级联的特征分类器对人脸进行检测，获得人脸的初始位置信息和初始人脸大小信息。

本发明实施例的技术方案还包括：所述人脸检测模块包括人眼检测单元和人脸检测单元，

所述人眼检测单元用于判断上一帧图像是否检测出人眼，如果是，在人眼感兴趣区域内进行搜索，匹配人眼的位置信息；如果否，则通过人脸检测单元进行人脸检测；

所述人脸检测单元用于进行人脸检测，并判断是否检测出人脸，如果是，获得人脸的初始位置信息和初始人脸大小信息；如果否，则重新输入视频。

本发明实施例的技术方案还包括：所述特征点拟合模块包括人眼拟合单元和人脸拟合单元，

所述人眼拟合单元用于根据人眼的初始位置信息进行人脸特征点拟合，并通过拟合判断单元判断拟合是否成功；

所述人脸拟合单元用于根据人脸的初始位置和大小信息结合灰度值、人脸的初始位置x,y轴方向的梯度值、边缘和角点特征进行人脸特征点拟合，并通过拟合判断单元判断拟合是否成功。

本发明实施例的技术方案还包括：所述特征点拟合模块还包括拟合判断单元，

所述拟合判断单元用于判断人脸特征点是否拟合成功，如果是，通过特征点定位模块定位人脸特征点；如果否，则重新输入视频。

本发明实施例的技术方案还包括：所述特征点定位模块用于根据拟合结果完成人脸特征点定位，并根据人脸特征点获取人眼图像，通过人眼检测单元以上一帧图像中的人眼图像作为模板在人眼感兴趣区域内匹配下一帧图像中双眼的位置。

本发明的技术方案具有如下优点或有益效果：本发明实施例的人脸特征点定位方法及装置结合人脸检测技术和人眼匹配技术对人脸位置进行初步定位，比只使用人脸检测能更精确的定位人脸位置信息；根据初步定位信息结合灰度，梯度、边缘和角点特征的使用Inverse Compositional算法进行人脸特征点拟合，完成人脸特征点的精确定位。在AAM模型中，增加了x，y轴方向的梯度值以及边缘角点特征等表观模型，使得人脸特征点的拟合更加精确，并有效的减少了原有的AAM模型拟合过程中容易陷入局部最小化及抗干扰能力差的问题。

附图说明

附图1是本发明第一实施例人脸特征点定位方法的流程图；

附图2是本发明第二实施例人脸特征点定位方法的流程图。

附图3是本发明实施例人脸特征点定位方法的人眼搜索ROI区域示意图；

附图4是本发明实施例人脸特征点定位方法的人脸特征点的标注点示意图；

附图5是本发明实施例人脸特征点定位方法的人脸特征点形状模型建模的流程图；

附图6是本发明实施例的人脸特征点定位的装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，是本发明第一实施例人脸特征点定位的方法的流程图。本发明第一实施例人脸特征点定位的方法包括以下步骤：

S100：结合人脸检测和人眼匹配对人脸位置进行初步定位；

在S100中，本发明使用级联的Harr特征分类器对人脸进行检测，获得人脸的初始位置信息和初始人脸大小信息s，同时使用人眼匹配算法匹配双眼的位置信息，比只使用人脸检测方法定位更加精确。

S110：根据初步定位信息及AAM（主动表观模型）的至少一特征进行人脸特征点拟合；

在S110中，AAM（主动表观模型）的特则包括灰度、梯度、边缘和角点等特征；本发明通过AAM算法结合灰度值、x，y轴方向的梯度值、边缘和角点等多个特征做为AAM模型的表观模型，使人脸特征点的拟合位置也更精确；在本发明实施例中，使用Inverse Compositional（反向合成）算法进行人脸特征点拟合。

S120：根据拟合结果完成人脸特征点定位。

在S120中，人脸特征点定位后，可以根据人脸特征点的位置得到双眼图像，在下一帧图像中，确定下一帧图像人眼搜索ROI区域（Region OfInterest的缩写，图像处理中的术语“感兴趣区域），并在ROI区域内以上一帧图像中的人眼图像作为模板，使用图像匹配算法，得到当前帧中双眼的位置；ROI区域的确定方法为，ROI区域中心和眼睛中心重合，eye_height,eye_width分别为眼睛的高度和宽度，roi_height,roi_width分别为眼睛搜索ROI区域的高度和宽度，其中，

roi_height=α·eye_height;

roi_width=β·eye_widih;

α,β为ROI区域大小控制系数，在本技术方案中取α=3,β＝2。

本发明实施例的人脸特征点定位方法结合人脸检测技术和人眼匹配技术对人脸位置进行初步定位，比只使用人脸检测能更精确的定位人脸位置信息。

请参阅图2，是本发明第二实施例人脸特征点定位的方法的流程图。本发明第二实施例人脸特征点定位的方法包括以下步骤：

S200：输入视频，获取所述视频中对应的人脸图像信息；

S210：判断上一帧图像是否检测出人眼，如果是，执行S220；如果否，执行S240；

在S210中，本发明在人脸检测的同时使用人眼匹配算法进行人眼匹配，比只使用人脸检测方法定位更加精确。

S220：在人眼ROI（Region Of Interest的缩写，图像处理中的术语“感兴趣区域）区域内进行搜索，匹配人眼的初始位置信息；

在S220中，ROI区域确定方法为，ROI区域中心和眼睛中心重合，eye_height,eye_width分别为眼睛的高度和宽度，roi_height,roi_width分别为眼睛搜索ROI区域的高度和宽度，具体请一并参阅图3，是本发明人眼搜索ROI区域示意图。中间较小边框内为左眼图片，外部较大边框内为左眼搜索ROI区域，其中，

roi_height=α·eye_height;

roi_width=β·eye_width;

α,β为ROI区域大小控制系数，在本发明实施例中取α=3,β=2；人眼匹配算法具体为：T(x,y)为人眼图像，I(x,y)为搜索ROI区域，R(x,y)为匹配结果图像，则

$R(x,y)=\frac{\underset{x^{\·},y^{\′}}{\mathrm{\Σ}}(T(x^{\′},y^{\′})\·I(x+x^{\′},y+y^{\′}))}{\sqrt{\underset{x^{\′},y^{\′}}{\mathrm{\Σ}}T{(x^{\′},y^{\′})}^2\·\underset{x^{\′},y^{\′}}{\mathrm{\Σ}}I{(x+x^{\′},y+y^{\′})}^2}}$

其中，匹配结果图像R(x,y)在最大值时即为在ROI区域I(x,y)和人眼图像T(x,y)中最匹配的位置。

S230：根据人眼的初始位置信息进行AAM人脸特征点拟合，并执行S260；

S240：进行人脸检测，并判断是否检测出人脸，如果是，执行S250，如果否，重新执行S200；

在S240中，本发明使用级联的Harr特征分类器对人脸进行检测，获得人脸的初始位置信息和初始人脸大小信息。

S250：获得人脸的初始位置信息（x,y）和初始人脸大小信息s，并根据人脸的初始位置和大小信息结合灰度值、人脸的初始位置x,y轴方向的梯度值、边缘和角点等特征进行AAM人脸特征点拟合；

在S250中，在获得初始位置和大小信息后，结合灰度值、人脸的初始位置x,y轴方向的梯度值、边缘和角点等特征作为AAM的表观模型，对人脸特征点进行拟合，使人脸特征点的拟合位置也更精确。表观模型为一种参数化模型，其利用主成分分析对可变性目标的形状和纹理进行统一建模，并使用二范数最小化策略对未知目标进行匹配。其中，人脸特征点的ASM(ActiveShape Model，主动形状模型)可由矢量S={x₁,y₁...x_n,y_n}表示，x_i,y_i为第i个点的位置坐标，在本发明实施例中，采用了82个人脸标注点，具体请参阅图4，是本发明人脸特征点的标注点示意图。在AAM模型训练过程中，采集一定量的人脸表情图片，按照图4所示手动标注82个人脸特征点的位置坐标，得到人脸特征点的坐标矢量S=(x₁,y₁,x₂,y₂...x₈₂,y₈₂)，对人脸特征点的坐标矢量进行Procrustes算法进行几何对齐，然后对训练数据进行PCA（principlecomponents analysis，主成分分析）学习，得到，

$S=S_0+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{p}_i{S}_i$

其中，S₀为平均形状，S_i为形状的PCA基，p_i为PCA基的系数，在拟合过程中计算出不同的p_i即可得到相应的ASM形状模型的矢量S；具体请一并参阅图5，是本发明人脸特征点形状模型建模的方法的流程图。本发明人脸特征点形状模型建模的方法包括以下步骤：

S251：对所有人脸特征点的坐标矢量去除均值，转移到质心坐标系下；

S252：选择一个样本作为初始的平均形状，并校准尺寸使得

S253：将初始估计的平均形状记为

并将此作为参考坐标系；

S254：将所有训练样本的特征点坐标矢量通过仿射变换校准到当前平均形状上；

S255：对校准后的所有样本重新计算平均形状；

S256：将当前的平均形状校准到

上，并且使得

S257：判断校准后的平均形状是否大于给定阈值，如果是，重新执行S254；如果否，执行S258；

S258：通过PCA方法将对齐后的样本进行统计形状建模，得：

$S=S_0+\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{p}_i{S}_i$

根据ASM形状模型所包围区域内的点映射到平均形状，即得到AAM表观模型A，其中，映射算法可采用分段仿射映射算法；同理，对AAM表观模型可以进行PCA学习，得到，

$A=A_0+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\λ}}_i{A}_i$

其中，A₀为平均表观，A_i为AAM表观模型的PCA基，λ_i为PCA基的系数。

AAM表观模型的建模方法具体为：将每个训练样本映射到平均形状中，然后分别计算灰度值、x轴y轴的梯度值、边缘和角点特征值三类特征作为表观模型；其中，灰度值A_gray的计算方法为：I(x,y)为每个样本映射到平均形状内的灰度图像，则灰度表观模型值为：

A_gray(x,y)=I(x,y)

x轴y轴梯度值的计算方法为：使用sobel算子（Sobel operator/索贝尔算子，是图像处理中的算子之一，主要用作边缘检测）计算x轴y轴梯度值：

$G_x(x,y)=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]*I(x,y)$

$G_y(x,y)=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]*I(x,y)$

则x轴y轴梯度值的表观模型值A_dx及A_dy用以下公式获得：

A_dx(x,y)=G_x(x,y)²;

A_dy(x,y)=G_y(x,y)²;

边缘角点特征A_{edge_and_corner}的计算方法为：得到x轴y轴方向梯度值后，设：

Edge_xx(x,y)=G_x(x,y)·G_x(x,y);

Edge_yy(x,y)=G_y(x,y)·G_y(x,y);

Edge_xy(x,y)=G_x(x,y)·G_y(x,y);

然后采用3x3的Gaussian窗分别对Edge_xx(x,y),Edge_yy(x,y),Edge_xy(x,y)进行滤波，得：

$\mathrm{Edg}{e_{\mathrm{xx}}}^{\′}(x,y)=\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]*{\mathrm{Edge}}_{\mathrm{xx}}(x,y);$

$\mathrm{Edg}{e_{\mathrm{yy}}}^{\′}(x,y)=\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]*{\mathrm{Edge}}_{\mathrm{yy}}(x,y);$

$\mathrm{Edg}{e_{\mathrm{xy}}}^{\′}(x,y)=\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]*{\mathrm{Edge}}_{\mathrm{xy}}(x,y);$

用以下公式计算得到边缘和角点特征：

A_{edge_and_corner}(x,y)=

(Edge_xx′(x,y)+Edge_yy′(x,y))²-2·(Edge_xx′(x,y)·Edge_yy′(x,y)-Edge_xy′(x,y)·Edge_xy′(x,y))

由于灰度值、x轴y轴方向梯度值、边缘和角点等特征不在同一个尺度下，所以计算完后需要将三个特征值归一化到同一尺度下，在本发明实施方式中，选用Sigmoidal方法进行特征值归一，具体为：

${A_{\mathrm{gray}}}^{\′}(x,y)=A_{\mathrm{gray}}(x,y)/(A_{\mathrm{gray}}(x,y)+\stackrel{\‾}{A_{\mathrm{gray}}(x,y)});$

${A_{\mathrm{dx}}}^{\′}(x,y)=A_{\mathrm{dx}}(x,y)/(A_{\mathrm{dx}}(x,y)+\stackrel{\‾}{A_{\mathrm{dx}}(x,y)});$

${A_{\mathrm{dy}}}^{\′}(x,y)=A_{\mathrm{dy}}(x,y)/(A_{\mathrm{dy}}(x,y)+\stackrel{\‾}{A_{\mathrm{dy}}(x,y)});$

${A_{\mathrm{edge}\_\mathrm{and}\_\mathrm{corner}}}^{\′}(x,y)=$

$A_{\mathrm{edge}\_\mathrm{and}\_\mathrm{corner}}(x,y)/(A_{\mathrm{edge}\_\mathrm{and}\_\mathrm{corner}}(x,y)+\stackrel{\‾}{A_{\mathrm{edge}\_\mathrm{and}\_\mathrm{corner}}(x,y)});$

归一化后，三类特征都处于同一个尺度下，每一个训练样本对应三类特征及四个特征值；得到四个特征值的AAM表观模型后，通过PCA进行学习，得到：

$A=A_0+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\λ}}_i{A}_i$

在本发明实施方式中，使用Inverse Compositional（反向合成算法，是本领域内一种常用算法）算法对人脸特征点进行拟合，具体包括：根据人脸检测或人眼匹配算法得到的初始的四个全局仿射变换参数q，对输入图像I(x,y)进行变换，得I(N(W(x|p)|q))，W定义为从基本形状S₀到当前形状S的分段仿射映射，N为2维相似变换，q为相似变换参数，则 $N\left(x\right|q)=\left[\begin{array}{cc}1+a& -b\\ b& 1+b\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right],$ 其中，q＝(a,b,t_x,t_y)，可以通过人眼匹配算法计算得到，对变换后的图像计算三类特征表观模型得A(I(N(W(x|p))|q))；计算表观模型差值A(I(N(W(x|p))|q))-A₀(x)；计算 $(\▿q,\▿p)=H^{-1}{\mathrm{\ΣSD}}^T\·(A\left(I\left(N\left(W\left(x\right|p)\right)\right|q)\right)-A_0\left(x\right));$ 其中，H为Hessian矩阵（海赛矩阵，是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵），SD为最速下降图，训练模型时预先计算好的，由以下公式计算得到：

$\mathrm{SD}={\▿A}_0\frac{\∂W}{\∂p}-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}[{\mathrm{\ΣA}}_i\·{\▿A}_0\frac{\∂W}{\∂p}]A_i;$

H=∑SD^T·SD;

更新形状参数

直到 $\left|\right|\&dtri;q,\&dtri;p\left|\right|<\mathrm{\&epsiv;}.$

S260：判断人脸特征点是否拟合成功，如果是，执行S270，如果否，重新执行S200；

S270：根据拟合结果完成人脸特征点定位，并根据人脸特征点获取人眼图像，以上一帧图像中的人眼图像作为模板在人眼ROI区域内匹配下一帧图像中双眼的位置。

在S270中，可以根据人脸特征点的位置得到双眼图像，在下一帧图像中，确定下一帧图像人眼搜索ROI区域，并在ROI区域内以上一帧图像中的人眼图像作为模板，使用图像匹配算法，重新匹配当前帧中双眼的位置。

本发明实施例的人脸特征点定位的方法根据初步定位信息结合灰度，梯度、边缘和角点特征的使用Inverse Compositional算法进行人脸特征点拟合，完成人脸特征点的精确定位。在AAM模型中，增加了x，y轴方向的梯度值以及边缘角点特征等表观模型，使得人脸特征点的拟合更加精确，并有效的减少了原有的AAM模型拟合过程中容易陷入局部最小化及抗干扰能力差的问题。

请参阅图6，是本发明人脸特征点定位的装置的结构示意图。本发明人脸特征点定位的装置包括人脸检测模块、特征点拟合模块及特征点定位模块，人脸检测模块用于结合人脸检测和人眼匹配对人脸位置进行初步定位；其中，人脸检测模块使用级联的Harr特征分类器对人脸进行检测，获得人脸的初始位置信息（x,y）和初始人脸大小信息s，同时使用人眼匹配算法匹配双眼的位置信息，比只使用人脸检测方法定位更加精确；特征点拟合模块用于根据初步定位信息结合AAM表观模型进行人脸特征点拟合；其中，AAM表观模型包括灰度、梯度、边缘和角点等特征；特征点定位模块根据拟合结果完成人脸特征点定位。

人脸检测模块包括人眼检测单元和人脸检测单元，其中，

人眼检测单元用于判断上一帧图像是否检测出人眼，如果是，在人眼ROI（Region Of Interest的缩写，图像处理中的术语“感兴趣区域）区域内进行搜索，匹配人眼的位置信息；如果否，则通过人脸检测单元进行人脸检测；其中，本发明在人脸检测的同时使用人眼匹配算法进行人眼匹配，比只使用人脸检测方法定位更加精确；ROI区域确定方法为，ROI区域中心和眼睛中心重合，eye_height,eye_width分别为眼睛的高度和宽度，roi_height,roi_width分别为眼睛搜索ROI区域的高度和宽度，具体请一并参阅图3，是本发明人眼搜索ROI区域示意图。中间较小边框内为左眼图片，外部较大边框内为左眼搜索ROI区域，其中，

roi_height=α·eye_height;

roi_width=β·eye_width;

α,β为ROI区域大小控制系数，在本发明实施例中取α=3,β=2；人眼匹配算法具体为：T(x,y)为人眼图像，I(x,y)为搜索ROI区域，R(x,y)为匹配结果图像，则

$R(x,y)=\frac{\underset{x^{\&CenterDot;},y^{\&prime;}}{\mathrm{\&Sigma;}}(T(x^{\&prime;},y^{\&prime;})\&CenterDot;I(x+x^{\&prime;},y+y^{\&prime;}))}{\sqrt{\underset{x^{\&prime;},y^{\&prime;}}{\mathrm{\&Sigma;}}T{(x^{\&prime;},y^{\&prime;})}^2\&CenterDot;\underset{x^{\&prime;},y^{\&prime;}}{\mathrm{\&Sigma;}}I{(x+x^{\&prime;},y+y^{\&prime;})}^2}}$

其中，匹配结果图像R(x,y)在最大值时即为在ROI区域I(x,y)和人眼图像T(x,y)中最匹配的位置。

人脸检测单元用于进行人脸检测，并判断是否检测出人脸，如果是，获得人脸的初始位置信息（x,y）和初始人脸大小信息s；如果否，则重新输入视频；其中，本发明使用级联的Harr特征分类器对人脸进行检测，获得人脸的初始位置和初始人脸大小信息。

特征点拟合模块包括人眼拟合单元、人脸拟合单元和拟合判断单元，其中

人眼拟合单元用于根据人眼的初始位置信息进行AAM人脸特征点拟合，并通过拟合判断单元判断拟合是否成功；

人脸拟合单元用于根据人脸的初始位置和大小信息结合灰度值、人脸的初始位置x,y轴方向的梯度值、边缘和角点等特征进行AAM人脸特征点拟合，并通过拟合判断单元判断拟合是否成功；其中，在获得初始位置和大小信息后，结合灰度值、人脸的初始位置x,y轴方向的梯度值、边缘和角点等特征作为AAM的表观模型，对人脸特征点进行拟合，使人脸特征点的拟合位置也更精确。其中，人脸特征点的ASM(Active Shape Model，主动形状模型)可由矢量S={x₁,y₁...x_n,y_n}表示，x_i,y_i为第i个点的位置坐标，在本发明实施例中，采用了82个人脸标注点，具体请参阅图4，是本发明人脸特征点的标注点示意图。在AAM模型训练过程中，采集一定量的人脸表情图片，按照图4所示手动标注82个人脸特征点的位置坐标，得到人脸特征点的坐标矢量S=(x₁,y₁,x₂,y₂...x₈₂,y₈₂)，对人脸特征点的坐标矢量进行Procrustes算法进行几何对齐，然后对训练数据进行PCA（principle components analysis，主成分分析）学习，得到，

$S=S_0+\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{p}_i{S}_i$

其中，S₀为平均形状，S_i为形状的PCA基，p_i为PCA基的系数，在拟合过程中计算出不同的p_i即可得到相应的形状模型的矢量S；本发明人脸特征点形状模型建模具体包括：对所有人脸特征点的坐标矢量去除均值，转移到质心坐标系下；选择一个样本作为初始的平均形状，并校准尺寸使得

将初始估计的平均形状记为并将此作为参考坐标系；将所有训练样本的特征点坐标矢量通过仿射变换校准到当前平均形状上；对校准后的所有样本重新计算平均形状；将当前的平均形状校准到

上，并且使得

判断校准后的平均形状是否大于给定阈值，如果是，重新变换校准所有训练样本的特征点坐标矢量；如果否，通过PCA方法将对齐后的样本进行统计形状建模，得：

$S=S_0+\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}{p}_i{S}_i$

根据形状模型所包围区域内的点映射到平均形状，即得到表观模型A，其中，映射算法可采用分段仿射映射算法；同理，对表观模型可以进行PCA学习，得到，

$A=A_0+\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i{A}_i$

其中，A₀为平均表观，A_i为表观模型的PCA基，λ_i为PCA基的系数。

表观模型的建模方法具体为：将每个训练样本映射到平均形状中，然后分别计算灰度值、x轴y轴的梯度值、边缘和角点特征值三类特征作为表观模型；其中，灰度值A_gray的计算方法为：I(x,y)为每个样本映射到平均形状内的灰度图像，则灰度表观模型值为：

A_gray(x,y)=I(x,y)

x轴y轴梯度值的计算方法为：使用sobel算子（Sobel operator/索贝尔算子，是图像处理中的算子之一，主要用作边缘检测）计算x轴y轴梯度值：

$G_x(x,y)=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]*I(x,y)$

$G_y(x,y)=\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]*I(x,y)$

则x轴y轴梯度值的表观模型值A_dx及A_dy用以下公式获得：

A_dx(x,y)=G_x(x,y)²;

A_dy(x,y)=G_y(x,y)²;

边缘角点特征A_{edge_and_corner}的计算方法为：得到x轴y轴方向梯度值后，设：

Edge_xx(x,y)=G_x(x,y)·G_x(x,y);

Edge_yy(x,y)=G_y(x,y)·G_y(x,y);

Edge_xy(x,y)=G_x(x,y)·G_y(x,y);

然后采用3x3的Gaussian窗分别对Edge_xx(x,y),Edge_yy(x,y),Edge_xy(x,y)进行滤波，得：

$\mathrm{Edg}{e_{\mathrm{xx}}}^{\&prime;}(x,y)=\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]*{\mathrm{Edge}}_{\mathrm{xx}}(x,y);$

$\mathrm{Edg}{e_{\mathrm{yy}}}^{\&prime;}(x,y)=\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]*{\mathrm{Edge}}_{\mathrm{yy}}(x,y);$

$\mathrm{Edg}{e_{\mathrm{xy}}}^{\&prime;}(x,y)=\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]*{\mathrm{Edge}}_{\mathrm{xy}}(x,y);$

用以下公式计算得到边缘和角点特征：

A_{edge_and_corner}(x,y)=

(Edge_xx'(x,y)+Edge_yy'(x,y))²-2·(Edge_xx'(x,y)·Edge_yy′(x,y)-Edge_xy′(x,y)·Edge_xy′(x,y))

由于灰度值、x轴y轴方向梯度值、边缘和角点等特征不在同一个尺度下，所以计算完后需要将三个特征值归一化到同一尺度下，在本发明实施方式中，选用Sigmoidal方法进行特征值归一，具体为：

${A_{\mathrm{gray}}}^{\&prime;}(x,y)=A_{\mathrm{gray}}(x,y)/(A_{\mathrm{gray}}(x,y)+\stackrel{\&OverBar;}{A_{\mathrm{gray}}(x,y)});$

${A_{\mathrm{dx}}}^{\&prime;}(x,y)=A_{\mathrm{dx}}(x,y)/(A_{\mathrm{dx}}(x,y)+\stackrel{\&OverBar;}{A_{\mathrm{dx}}(x,y)});$

${A_{\mathrm{dy}}}^{\&prime;}(x,y)=A_{\mathrm{dy}}(x,y)/(A_{\mathrm{dy}}(x,y)+\stackrel{\&OverBar;}{A_{\mathrm{dy}}(x,y)});$

${A_{\mathrm{edge}\_\mathrm{and}\_\mathrm{corner}}}^{\&prime;}(x,y)=$

$A_{\mathrm{edge}\_\mathrm{and}\_\mathrm{corner}}(x,y)/(A_{\mathrm{edge}\_\mathrm{and}\_\mathrm{corner}}(x,y)+\stackrel{\&OverBar;}{A_{\mathrm{edge}\_\mathrm{and}\_\mathrm{corner}}(x,y)});$

归一化后，三类特征都处于同一个尺度下，每一个训练样本对应三类特征及四个特征值；得到四个特征值的表观模型后，通过PCA进行学习，得到：

$A=A_0+\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i{A}_i$

在本发明实施方式中，使用Inverse Compositional（反向合成算法，是本领域内一种常用算法）算法对人脸特征点进行拟合，具体包括：根据人脸检测或人眼匹配算法得到的初始的四个全局仿射变换参数q，对输入图像I(x,y)进行变换，得I(N(W(x|p)|q))，W定义为从基本形状S₀到当前形状S的分段仿射映射，N为2维相似变换，q为相似变换参数，则 $N\left(x\right|q)=\left[\begin{array}{cc}1+a& -b\\ b& 1+b\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}{t}_x\\ t_y\end{array}\right],$ 其中，q＝(a,b,t_x,t_y)，可以通过人眼匹配算法计算得到，对变换后的图像计算三类特征表观模型得A(I(N(W(x|p))|q))；计算表观模型差值A(I(N(W(x|p))|q))-A₀(x)；计算 $(\&dtri;q,\&dtri;p)=H^{-1}{\mathrm{\&Sigma;SD}}^T\&CenterDot;(A\left(I\left(N\left(W\left(x\right|p)\right)\right|q)\right)-A_0\left(x\right));$ 其中，H为Hessian矩阵（海赛矩阵，是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵），SD为最速下降图，训练模型时预先计算好的，由以下公式计算得到：

$\mathrm{SD}={\&dtri;A}_0\frac{\&PartialD;W}{\&PartialD;p}-\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}[{\mathrm{\&Sigma;A}}_i\&CenterDot;{\&dtri;A}_0\frac{\&PartialD;W}{\&PartialD;p}]A_i;$

H=∑SD^T·SD;

更新形状参数

直到 $\left|\right|\&dtri;q,\&dtri;p\left|\right|<\mathrm{\&epsiv;}.$

拟合判断单元用于判断人脸特征点是否拟合成功，如果是，通过特征点定位模块定位人脸特征点，如果否，则重新输入视频；

特征点定位模块用于根据拟合结果完成人脸特征点定位，并根据人脸特征点获取人眼图像，通过人眼检测单元以上一帧图像中的人眼图像作为模板在人眼ROI区域内匹配下一帧图像中双眼的位置；其中，可以根据人脸特征点的位置得到双眼图像，在下一帧图像中，确定下一帧图像人眼搜索ROI区域，并在ROI区域内以上一帧图像中的人眼图像作为模板，使用图像匹配算法，得到当前帧中双眼的位置。

本发明实施例的人脸特征点定位方法及装置结合人脸检测技术和人眼匹配技术对人脸位置进行初步定位，比只使用人脸检测能更精确的定位人脸位置信息；根据初步定位信息结合灰度，梯度、边缘和角点特征的使用InverseCompositional算法进行人脸特征点拟合，完成人脸特征点的精确定位。在AAM模型中，增加了x，y轴方向的梯度值以及边缘角点特征等表观模型，使得人脸特征点的拟合更加精确，并有效的减少了原有的AAM模型拟合过程中容易陷入局部最小化及抗干扰能力差的问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种人脸特征点定位方法，其特征在于，包括以下步骤：

结合人脸检测和人眼匹配对人脸位置进行初步定位,并获取初步定位信息；

根据初步定位信息进行人脸特征点拟合；

根据拟合结果完成人脸特征点定位。

2.根据权利要求1所述的人脸特征点定位方法，其特征在于，结合人脸检测和人眼匹配对人脸位置进行初步定位,并获取初步定位信息的步骤具体为：通过级联的特征分类器对人脸进行检测，获得人脸的初始位置信息和初始人脸大小信息。

3.根据权利要求1或2所述的人脸特征点定位方法，其特征在于，在所述结合人脸检测技术和人眼匹配技术对人脸位置进行初步定位并获取初步定位信息的步骤前还包括：输入视频，获取所述视频中对应的人脸图像信息，其中，所述初步定位包括获取双眼初始位置、人脸初始位置及人脸初始大小。

4.根据权利要求1所述的人脸特征点定位方法，其特征在于，所述结合人脸检测和人眼匹配对人脸位置进行初步定位包括：判断上一帧图像是否检测出人眼，如果是，通过人眼匹配技术进行初步定位；如果否，进行人脸检测定位。

5.根据权利要求1或4所述的人脸特征点定位方法，其特征在于，所述通过人眼匹配对人脸位置进行初步定位包括：在人眼感兴趣区域ROI内进行搜索，匹配人眼的初始位置信息，并根据人眼的初始位置信息进行人脸特征点拟合。

6.根据权利要求4所述的人脸特征点定位方法，其特征在于，所述进行人脸检测定位包括：进行人脸检测，并判断是否检测出人脸，如果是，获得人脸的初始位置信息和初始人脸大小信息，并根据人脸的初始位置和大小信息结合灰度值、人脸的初始位置x,y轴方向的梯度值、边缘和角点特征进行人脸特征点拟合；如果否，则重新输入视频。

7.根据权利要求3所述的人脸特征点定位方法，其特征在于，所述进行人脸特征点拟合后还包括：判断人脸特征点是否拟合成功，如果是，根据拟合结果完成人脸特征点定位，并根据人脸特征点获取人眼图像，以上一帧图像中的人眼图像作为模板在人眼感兴趣区域内匹配下一帧图像中双眼的位置；如果否，重新输入视频。

8.一种人脸特征点定位装置，其特征在于，包括人脸检测模块、特征点拟合模块及特征点定位模块，所述人脸检测模块用于通过人脸检测技术和人眼匹配技术对人脸位置进行初步定位；所述特征点拟合模块用于根据初步定位信息进行人脸特征点拟合，所述特征点定位模块根据拟合结果完成人脸特征点定位。

9.根据权利要求8所述的人脸特征点定位装置，其特征在于，所述人脸检测模块通过人脸检测技术对人脸位置进行初步定位为：通过级联的特征分类器对人脸进行检测，获得人脸的初始位置信息和初始人脸大小信息。

10.根据权利要求8或9所述的人脸特征点定位装置，其特征在于，所述人脸检测模块包括人眼检测单元和人脸检测单元，

所述人眼检测单元用于判断上一帧图像是否检测出人眼，如果是，在人眼感兴趣区域内进行搜索，匹配人眼的位置信息；如果否，则通过人脸检测单元进行人脸检测；

所述人脸检测单元用于进行人脸检测，并判断是否检测出人脸，如果是，获得人脸的初始位置信息和初始人脸大小信息；如果否，则重新输入视频。

11.根据权利要求8或9所述的人脸特征点定位装置，其特征在于，所述特征点拟合模块包括人眼拟合单元和人脸拟合单元，

所述人眼拟合单元用于根据人眼的初始位置信息进行人脸特征点拟合，并通过拟合判断单元判断拟合是否成功；

所述人脸拟合单元用于根据人脸的初始位置和大小信息结合灰度值、人脸的初始位置x,y轴方向的梯度值、边缘和角点特征进行人脸特征点拟合，并通过拟合判断单元判断拟合是否成功。

12.根据权利要求11所述的人脸特征点定位装置，其特征在于，所述特征点拟合模块还包括拟合判断单元，

所述拟合判断单元用于判断人脸特征点是否拟合成功，如果是，通过特征点定位模块定位人脸特征点；如果否，则重新输入视频。

13.根据权利要求11所述的人脸特征点定位装置，其特征在于，所述特征点定位模块用于根据拟合结果完成人脸特征点定位，并根据人脸特征点获取人眼图像，通过人眼检测单元以上一帧图像中的人眼图像作为模板在人眼感兴趣区域内匹配下一帧图像中双眼的位置。

Images