CN104318264A - 一种基于人眼优先拟合的人脸特征点跟踪方法 - Google Patents

Abstract

本发明提出了一种基于人眼优先拟合的人脸特征点跟踪方法，其特征在于：包含了人脸姿态估计与更新、人眼的检测与跟踪以及基于反向合成算法的人眼优先拟合与人脸剩余部件的拟合步骤：本发明解决了在人脸特征点跟踪时，人脸姿态出现大幅度偏转、人脸模型的初始位置与目标位置偏离较大时，出现人脸特征点跟踪丢失，跟踪准确低等问题，提高了视频人脸特征点跟踪的准确性、实时性和鲁棒性。

Description

一种基于人眼优先拟合的人脸特征点跟踪方法

技术领域

本发明涉及图像模式识别领域，尤其涉及一种基于人眼优先拟合的人脸特征点跟踪方法。

背景技术

人脸特征点跟踪在人机交互、视频监控等领域得到了广泛的应用，成为当前计算机视觉研究领域中研究热点。传统的人脸跟踪技术是对目标人脸所在每一帧的位置进行标记，而人脸特征点的跟踪不仅能确定目标人脸的位置，同时还能够准确的描述人脸各部件特征点的位置。目前人脸特征点的定位与跟踪主要采用的是主动外观模型(Active Appearance Model，AAM)并此基础上研究人员进行了大量的改进，在人脸与其他非刚体的识别中得到了广泛应用。

AAM模型是通过统计学习建立目标人脸的形状和纹理模型，由于AAM模型使用的是人脸的全局表观，对人脸具有较强的描述能力。使用传统的AAM模型进行人脸特征点跟踪时是通过对形状与纹理模型赋予初值，以迭代的方式求解模型的增加量对模型的参数进行更新，算法的计算量较大，无法实现实时的人脸特征点跟踪。目前主流的人脸特征点跟踪技术采用的是反向合成拟合(Inverse Compositional)算法实现人脸与AAM人脸模型的拟合，该算法是通过计算AAM模型的反向增量，使得在迭代寻优的计算过程中所需的梯度与Hessian保持不变，降低了算法计算代价，然而当AAM模型的初始位置与目标位置偏离较大，或者人脸姿态出现较大幅度转动时，将对算法的拟合效率与精确度产生较大的影响，最终导致人脸特征点跟踪失败。因此同时解决人脸特征点跟踪过程中鲁棒性与准确性方面的问题具有重要的研究意义。

发明内容

本发明的目的在于解决人脸模型的初始位置与目标人脸偏离较大、人脸出现大幅度偏转以及人脸特征点跟踪不精确的问题，提出一种基于人眼优先拟合的人脸特征点跟踪方法。

为解决上述技术问题，本发明采用以下技术方案：

一种基于人眼优先拟合的人脸特征点跟踪方法，其特征在于：包含了人脸姿态估计与更新、人眼的检测与跟踪以及基于反向合成算法的人眼优先拟合与人脸剩余部件的拟合步骤：

首先对归一化后的训练样本进行主成分分析，建立人眼与人脸剩余部件的AAM形状模型；

然后，应用支持向量机算法建立人脸偏转模型，估算出当前人脸的偏转角度并对人脸姿态偏转模型中的参数进行实时更新，有效解决人脸姿态大幅度偏转问题；与此同时，使用强跟踪卡尔曼滤波算法进行人眼跟踪，获取的当前准确的人眼位置坐标；

将人眼位置坐标与人脸姿态信息相结合对反向合成算法中的参数进行更新，使用人眼形状模型优先对人眼区域进行特征点拟合，当人眼特征点拟合完成后再对剩余人脸部件特征点进行拟合。

上述技术方案中，基于人眼优先拟合的人脸特征点跟踪方法的具体实现步骤如下：

步骤S1：对训练集中所有样本中的人眼与人脸剩余部件特征点的二维坐标进行中心、尺度和方向归一化，将所有归一化的形状向量进行主成分分析建立人眼与人脸剩余部件的AAM形状模型；

步骤S2：使用Opencv开源视觉库，按照所设定帧率读取摄像头中的视频流，作为算法的数据输入；

步骤S3：应用支持向量机算法对人脸姿态进行检测，计算出人脸偏转角度，使用人脸偏转角度对人脸偏转模型中的参数进行更新；与此同时，使用Adaboost算法与强跟踪Kalman滤波对人眼进行检测跟踪，获取人眼的准确位置坐标；

步骤S4：使用人眼位置坐标与人脸姿态信息对AAM模型的反向合成算法中参数进行优化，进行人眼特征点的优先拟合，若拟合成功，对人脸剩余部件特征点进行拟合，否则丢弃当前帧，程序跳转至步骤S2顺序执行；

步骤S5：应用反向合成算法对人脸剩余部件特征点进行拟合，若拟合成功则对下一帧图像进行人脸特征点跟踪，否则丢弃当前帧，程序跳转至步骤S2顺序执行。

上述技术方案中，步骤S1：人眼形状模型与人脸剩余部件的AAM形状模型的建立方法，包含了以下步骤：

步骤S11：建立人眼的形状模型：通过对人眼特征点的二维坐标进行中心、尺度和方向归一化，在对训练集中所有归一化的形状向量进行主成分分析；建立人眼AAM形状模型；

步骤S12：建立人脸剩余部件的形状模型：通过对人脸剩余部件的二维坐标进行中心、尺度和方向归一化，在对训练集中所有归一化的形状向量进行主成分分析；建立人脸剩余部件的AAM形状模型。

上述技术方案中，步骤S3具体包含以下步骤：

步骤S31，人脸偏转角度的估计，采用支持向量机算法对大量人脸样本进行学习，建立人脸姿态的分类器，使用该分类器对当前人脸进行检测，估算出当前人脸的偏转角度，根据该偏转角度建立人脸的偏转模型；

步骤S32，应用Adaboost算法对人脸进行检测，在检测出人脸的区域内进行人眼检测并标识出人眼的位置；在对人脸和人眼进行检测时，使用Haar特征进行模型训练与检测；

步骤S33，使用强跟踪Kalman滤波算法对人眼进行跟踪，将算法检测到的人眼位置与人眼运动模型对下一帧图像中人眼可能出现的位置进行预测，并对该预测位置优先进行检测。

步骤S32中Adaboost算法是一种自适应增强(Adaptive Boosting)的分类算法,该算法的核心思想是通过自适应调节训练样本的权重分布，挑选出当前权重分布下分类准确率较高的弱分类器，并根据权重的分布将弱分类器组合成强分类器。在对人脸和人眼进行检测时，使用Haar特征进行模型训练与检测，由于Haar特征采用积分图进行求取，因此耗费在特征值计算上时间为常量，都是简单的加减运算，使得算法具备较高的效率与精度。步骤S33中强跟踪Kalman滤波算法的使用对于稳定人眼跟踪精度具有重要作用。

综上，本发明所提出的基于人眼优先拟合的AAM人脸特征点跟踪算法，针对传统的AAM人脸特征点跟踪算法对初始位置及人脸姿态与表情的变化较为敏感的问题，进行了研究，相对于现有方法，有以下几方面的有益效果：1)建立了人脸姿态偏转模型，为人脸跟踪提供准确的姿态信息，有效解决了人脸姿态大幅度偏转问题；2)使用强跟踪Kalman滤波算法对人眼进行实时准确的跟踪，为特征点的拟合提供了准确的初始位置；3)提出了一种人眼优先拟合的策略，根据人眼跟踪算法所提供的人眼坐标，优先对人眼进行拟合。本发明方法解决了在进行人脸特征点跟踪时，当人脸姿态出现大幅度偏转以及人脸模型的初始位置与目标位置偏离较大时，容易导致人脸特征点跟踪丢失，跟踪准确低等问题。本发明方法提高了视频人脸特征点跟踪的准确性、实时性和鲁棒性。

附图说明

图1是本发明基于人眼优先拟合的人脸特征点跟踪方法流程图；

图2是本发明方法中人眼形状模型；

图3是本发明方法中人脸剩余部件模型；

图4是根据本发明方法对正面人脸进行特征点跟踪的结果示意图，图中所有蓝色的圆点为本发明方法所跟踪到的人脸特征点，白色的连线为根据人脸特征点构建的Delaunay三角网；

图5是根据本发明方法对快速运动的人脸进行特征点跟踪结果示意图，图中所有蓝色的圆点为本发明方法所跟踪到的人脸特征点，白色的连线为根据人脸特征点构建的Delaunay三角网；

图6是根据本发明方法对具有表情变化与小角度偏转的人脸进行特征点跟踪结果示意图，图中所有蓝色的圆点为本发明方法所跟踪到的人脸特征点，白色的连线为根据人脸特征点构建的Delaunay三角网；

图7是根据本发明方法对存在大角度偏转的人脸进行特征点跟踪结果示意图，图中所有蓝色的圆点为本发明方法所跟踪到的人脸特征点，白色的连线为根据人脸特征点构建的Delaunay三角网。

具体实施方式

为了进一步说明本发明的技术方案与优势，通过具体实施例并结合附图，对本发明进行详细的说明。

图1为本发明基于人眼优先拟合的人脸特征点跟踪方法流程图，该检测方法包含以下步骤：

步骤S1：对训练集中所有样本中的人眼(如图2)与人脸剩余部件特征点(如图3)的二维坐标进行中心、尺度和方向归一化，将所有归一化的形状向量进行主成分分析建立人眼形状模型与人脸除人眼外的面部剩余部件的AAM形状模型；

人眼形状模型与人脸剩余部件的AAM形状模型的建立方法，包含了以下步骤：

步骤S11：建立人眼的形状模型，如图2所示。为了实现人眼的优先拟合，需要建立人眼与人脸剩余部件的AAM形状模型，在本发明中使用的68个特征点对人脸轮廓进行描述，其中人眼由22个特征点，如图3所示，人脸剩余部件由46个特征点构成。通过对人眼特征点的二维坐标进行中心、尺度和方向归一化，在对训练集中所有归一化的形状向量进行主成分分析，这样人眼形状模型可以表示为：

$S\left(\mathrm{eye}\right)=S_e+\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{q}_j{S}_j---\left(1\right)$

式(1)中S_e为人眼的平均形状，q_j为人眼形状参数，S_j为人眼形状主分量。

步骤S12：建立人脸剩余部件的形状模型，通过对人脸剩余部件的二维坐标进行中心、尺度和方向归一化，在对训练集中所有归一化的形状向量进行主成分分析，这样人脸剩余部件形状模型可以表示为：

$S\left(\mathrm{left}\right)=S_l+\underset{k=1}{\overset{a}{\mathrm{\Σ}}}{p}_k{S}_k---\left(2\right)$

式(2)中S_l分别为人脸剩余部件的平均形状，p_k为人脸剩余部件的形状参数，S_k人脸剩余部件的形状主分量。

步骤S2，使用Opencv开源视觉库，按照所设定帧率读取摄像头中的视频流，作为算法的数据输入。

步骤S3，应用支持向量机算法对人脸姿态进行检测，计算出人脸偏转角度，使用人脸偏转角度对人脸偏转模型中的参数进行更新。与此同时，使用Adaboost算法与强跟踪Kalman滤波对人眼进行检测跟踪，获取人眼的位置坐标；

在步骤S3中的主要实现了人脸偏转模型的参数优化与人眼的位置坐标的准确获取，具体的实现方法包含以下步骤：

步骤S31，人脸偏转角度的估计，采用支持向量机算法对大量人脸样本进行学习，建立人脸姿态的分类器，使用该分类器对当前人脸进行检测，估算出当前人脸的偏转角度，根据该偏转角度建立人脸的偏转模型。人脸偏转模型的具体实现方法包含了以下步骤：

步骤S311，建立支持向量机算法的核函数：

步骤S312，假设人脸姿态的训练样本集为(x_i,y_i)，其中x_i∈Rⁿ，y_i∈R，i＝1,...,l，将人脸姿态的分类问题转化为回归问题，即为求解下式的条件约束优化问题：

约束条件为：

$\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\α}}_i-{\mathrm{\α}}_i^{*})=0---\left(4\right)$

这样便可得出回归函数:

$\mathrm{\θ}\left(x\right)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(\stackrel{\‾}{{\mathrm{\α}}_i}-{\stackrel{\‾}{\mathrm{\α}}}_i^{*})K(x,x_i)+\stackrel{\‾}{b}---\left(5\right)$

步骤S313，输入测试样本x，使用式(5)求得θ(x)，通过判断θ(x)所处的区间来判断人脸的水平转角{0°,±15°,±30°,±45°,±60°}。而上下旋转角度，亦使用上述方法求得。

步骤S314，通过学习得到人眼与剩余人脸部件形状模型的统一参数P_x：

$S\left(\mathrm{eye}\right)={\stackrel{\‾}{S}}_{\mathrm{eye}}+Q_{\mathrm{eye}}{P}_x---\left(6\right)$

$S\left(\mathrm{left}\right)={\stackrel{\‾}{S}}_{\mathrm{left}}+Q_{\mathrm{left}}{P}_x---\left(7\right)$

步骤S315，使用人脸偏转角度θ建立人脸的偏转模型P_x'：

P_x'＝P_x0+P_xxcosθ+P_xysinθ      (8)

式(8)中参数θ为使用式(5)估算出来的人脸偏转角度，使用该偏转模型中能够估计出人脸的偏转角度，P_x0、P_xx、P_xy为人脸偏转模型中的通过学习得到的偏转参数。

偏转模型参数的更新方程为：

d＝P_x-P_x'      (9)

$P_x^{*}=(P_{x0}+P_{\mathrm{xx}}\cos {\mathrm{\θ}}^{*}+P_{\mathrm{xy}}\sin {\mathrm{\θ}}^{*})+d---\left(10\right)$

步骤S32，应用Adaboost算法对人脸进行检测，在检测出人脸的区域内进行人眼检测并标识出人眼的位置。Adaboost算法是一种自适应增强(Adaptive Boosting)的分类算法,该算法的核心思想是通过自适应调节训练样本的权重分布，挑选出当前权重分布下分类准确率较高的弱分类器，并根据权重的分布将弱分类器组合成强分类器。在对人脸和人眼进行检测时，使用Haar特征进行模型训练与检测，由于Haar特征采用积分图进行求取，因此耗费在特征值计算上时间为常量，都是简单的加减运算，使得算法具备较高的效率与精度。

步骤S33，使用强跟踪Kalman滤波算法对人眼进行跟踪，将算法检测到的人眼位置与人眼运动模型对下一帧图像中人眼可能出现的位置进行预测，并对该预测位置优先进行检测。强跟踪Kalman滤波算法的使用对于稳定人眼跟踪精度具有重要作用。

下面给出了基于强跟踪Kalman滤波的人眼跟踪算法的主要实现方法与算法的工作流程。

强跟踪Kalman滤波的实现方法如下所示：

首先建立强跟踪Kalman滤波的状态方程和观测方程：

X_k＝A_k/k-1X_k-1+w_k-1      (11)

Z_k＝H_kX_k+v_k      (12)

式(11)、(12)中，A_k/k-1为从k-1时刻到k时刻的系统的状态转移矩阵，H_k为观测矩阵，w_k-1和v_k分别为观测噪声和观测噪声，并假设以上噪声相互独立且服从高斯分布。状态转移矩阵

然后建立k时刻的状态更新方程：

k时刻的状态估计：

${\tilde{X}}_k^{\′}=A_k{\tilde{X}}_{k-1}^{\′}---\left(14\right)$

k时刻预测误差方差阵：

$P_k^{\′}=A_k{P}_{k-1}{A}_k^T+Q_k$ 其中Q_k＝E{v(k)v^T(k)}     (15)

k时刻最优状态估计值

${\tilde{X}}_k={\tilde{X}}_k^{\′}+K_k\left({\mathrm{\γ}}_k\right),{\mathrm{\γ}}_k=Z_k-H_k{\tilde{X}}_k^{\′}---\left(16\right)$

k时刻最优状态预测误差方差阵：

P_k＝(1-K_kH_k)P_k′     (17)

Kalman增益矩阵：

$K_k=P_k^{\′}{H}_k^T{(H_k{P}_k^{\′}{H}_k^T+R_k)}^{-1},R_k=E\left\{w\left(k\right)w^T\left(k\right)\right\}---\left(18\right)$

式(18)中P_k′为：

$P_k^{\′}={\mathrm{\λ}}_k{A}_k{P}_{k-1}{A}_k^T+Q_k---\left(19\right)$

式(19)中λ_k＞1时即为时变的渐消因子，当λ_k＝1时强跟踪Kalman滤波算法就退化为Kalman滤波算法。

$M\left(k\right)=H\left(k\right)A_k{P}_{k-1}{A}_k^T{H}_k^T\left(k\right)---\left(24\right)$

式(22)中的0＜ρ≤1为遗忘因子，本文中ρ取值为0.95。式(23)中β＞1为弱化因子，弱化因子的引入主要目的是让状态估计更为平滑。

下面给出使用强跟踪Kalman滤波算法进行人眼跟踪时的具体执行步骤：

步骤S331，当k＝0时，计算初始值P₀′，同时选择一个合适的弱化因子β；

步骤S332，使用式(14)(16)计算出与γ_k，应用式(22)计算出

步骤S333，使用式(20)(21)(23)(24)计算出次优渐消因子λ_k。

步骤S334，使用式(19)计算P_k′，使用式(18)计算出K_k；计算出状态估计值

步骤S335，k+1→k跳转至第2步，循环执行。

步骤S4，使用人眼位置坐标与人脸姿态信息对AAM模型的反向合成算法中参数进行优化，进行人眼特征点的优先拟合，若拟合成功，对人脸剩余部件特征点进行拟合，否则丢弃当前帧，程序跳转至步骤S2顺序执行；

步骤S41，结合使用人眼位置坐标与人脸偏转模型对反向合成算法中的参数进行优化，实现对人眼的优先拟合，应用反向合成算法的具体实现方法如下所示：

通过计算形状参数中的增向量ΔP，使人脸图像与人脸外观模型间的图像差取得最小值：

$\underset{x}{\mathrm{\Σ}}{[I\left(W(x,P)\right)-A_0\left(W(x,\mathrm{\ΔP})\right)]}^2---\left(25\right)$

式(25)中I为输入的人脸图像，A₀为人脸外观模型，ΔP是由当前变换参数P估计出的偏移量，W(x,P)是平均形状S₀到形状参数P对应的新形状，W(x,ΔP)是平均形状S₀到形状参数ΔP对应的新形状。

使用增向量ΔP对仿射变换进行更新：

W(x；P)←W(x；P)οW(x；ΔP)^-1      (26)

对式(25)应用一阶泰勒展开式：

$\underset{x}{\mathrm{\Σ}}{[I\left(W(x;P)\right)-A_0\left(W(x;0)\right)+\▿A_0\frac{\∂W}{\∂P}\mathrm{\ΔP}]}^2---\left(27\right)$

从而得到形状向量的更新参数ΔP：

$\mathrm{\ΔP}=H^{-1}\underset{x}{\mathrm{\Σ}}{[\▿A_0\frac{\∂W}{\∂P}]}^T[I\left(W(x;P)\right)-A_0\left(x\right)]---\left(28\right)$

将式(29)中对式(28)中的参数P进行更新，得到更新后的ΔP：

$P_x^{*}=(P_{x0}+P_{\mathrm{xx}}\cos {\mathrm{\θ}}^{*}+P_{\mathrm{xy}}\sin {\mathrm{\θ}}^{*})+d---\left(29\right)$

$\mathrm{\ΔP}=H^{-1}\underset{x}{\mathrm{\Σ}}{[\▿A_0\frac{\∂W}{\∂P}]}^T[I\left(W(x;P_x^{*})\right)-A_0\left(x\right)]---\left(30\right)$

式(30)中H为图像I的Hessian矩阵，表示为：

$H=\underset{x}{\mathrm{\Σ}}{[\▿A_0\frac{\∂W}{\∂P}]}^T[\▿A_0\frac{\∂W}{\∂P}]---\left(31\right)$

由于反向合成拟合算法中所使用的参数A₀为固定值，图像的梯度▽A₀与雅克比的计算只与A₀有关，因此在迭代寻优的计算过程中无需重新计算与矩阵H。

在进行模型与实际人脸进行拟合时，需要通过循环迭代实现人脸与模型的拟合，具体的实现方法包含了以下步骤：

步骤S411，在执行循环迭代步骤之前，需要计算以下变量的初始值：

(1)人脸初始模型A₀(x)的梯度值▽A₀；

循环执行以下步骤直到人脸与模型收敛：

步骤S412，对人脸图像I进行图像变换W(x；p)，计算出变换后的人脸图像I(W(x；p))；

步骤S413，计算出人脸图像与模型间的图像差I(W(x；p))-A₀(x)；

步骤S416，对图像变换方程进行更新W(x；P)←W(x；P)οW(x；ΔP)^-1

步骤S5，应用反向合成算法对人脸剩余部件特征点进行拟合，若拟合成功则对下一帧图像进行人脸特征点跟踪，否则丢弃当前帧，程序跳转至S2顺序执行；

具体的实现方法包含了以下步骤：

步骤S51，根据步骤S41中的反向合成算法，结合使用人眼位置坐标与人脸偏转信息对人脸剩余部件进行特征点拟合，最终完成人脸特征点的跟踪。

综上，本发明所提出的基于人眼优先拟合的AAM人脸特征点跟踪算法，针对传统的AAM人脸特征点跟踪算法对初始位置及人脸姿态与表情的变化较为敏感的问题，进行了以下几方面的改进：1)建立了人脸姿态偏转模型，为人脸跟踪提供准确的姿态信息，有效解决了人脸姿态大幅度偏转问题；2)使用强跟踪Kalman滤波算法对人眼进行实时准确的跟踪，为特征点的拟合提供了准确的初始位置；3)提出了一种人眼优先拟合的策略，根据人眼跟踪算法所提供的人眼坐标，优先对人眼进行拟合。本发明方法解决了在进行人脸特征点跟踪时，当人脸姿态出现大幅度偏转以及人脸模型的初始位置与目标位置偏离较大时，容易导致人脸特征点跟踪丢失，跟踪准确低等问题。本发明方法提高了视频人脸特征点跟踪的准确性、实时性和鲁棒性。

Claims (4)

1.一种基于人眼优先拟合的人脸特征点跟踪方法，其特征在于：包含了人脸姿态估计与更新、人眼的检测与跟踪以及基于反向合成算法的人眼优先拟合与人脸剩余部件的拟合步骤：

首先对归一化后的训练样本进行主成分分析，建立人眼与人脸剩余部件的AAM形状模型；

然后，应用支持向量机算法建立人脸偏转模型，估算出当前人脸的偏转角度并对人脸姿态偏转模型中的参数进行实时更新，有效解决人脸姿态大幅度偏转问题；与此同时，使用强跟踪卡尔曼滤波算法进行人眼跟踪，获取的当前准确的人眼位置坐标；

将人眼位置坐标与人脸姿态信息相结合对反向合成算法中的参数进行更新，使用人眼形状模型优先对人眼区域进行特征点拟合，当人眼特征点拟合完成后再对剩余人脸部件特征点进行拟合。

2.根据权利要求1所述的基于人眼优先拟合的人脸特征点跟踪方法，其特征在于：该基于人眼优先拟合的人脸特征点跟踪方法的具体实现步骤如下：

步骤S1：对训练集中所有样本中的人眼与人脸剩余部件特征点的二维坐标进行中心、尺度和方向归一化，将所有归一化的形状向量进行主成分分析建立人眼与人脸剩余部件的AAM形状模型；

步骤S2：使用Opencv开源视觉库，按照所设定帧率读取摄像头中的视频流，作为算法的数据输入；

步骤S3：应用支持向量机算法对人脸姿态进行检测，计算出人脸偏转角度，使用人脸偏转角度对人脸偏转模型中的参数进行更新；与此同时，使用Adaboost算法与强跟踪Kalman滤波对人眼进行检测跟踪，获取人眼的准确位置坐标；

步骤S4：使用人眼位置坐标与人脸姿态信息对AAM模型的反向合成算法中参数进行优化，进行人眼特征点的优先拟合，若拟合成功，对人脸剩余部件特征点进行拟合，否则丢弃当前帧，程序跳转至步骤S2顺序执行；

步骤S5：应用反向合成算法对人脸剩余部件特征点进行拟合，若拟合成功则对下一帧图像进行人脸特征点跟踪，否则丢弃当前帧，程序跳转至步骤S2顺序执行。

3.根据权利要求1所述的基于人眼优先拟合的人脸特征点跟踪方法，其特征在于：步骤S1：人眼形状模型与人脸剩余部件的AAM形状模型的建立方法，包含了以下步骤：

步骤S11：建立人眼的形状模型：通过对人眼特征点的二维坐标进行中心、尺度和方向归一化，在对训练集中所有归一化的形状向量进行主成分分析；建立人眼AAM形状模型；

步骤S12：建立人脸剩余部件的形状模型：通过对人脸剩余部件的二维坐标进行中心、尺度和方向归一化，在对训练集中所有归一化的形状向量进行主成分分析；建立人脸剩余部件的AAM形状模型。

4.根据权利要求1所述的基于人眼优先拟合的人脸特征点跟踪方法，其特征在于：步骤S3具体包含以下步骤：

步骤S31，人脸偏转角度的估计，采用支持向量机算法对大量人脸样本进行学习，建立人脸姿态的分类器，使用该分类器对当前人脸进行检测，估算出当前人脸的偏转角度，根据该偏转角度建立人脸的偏转模型；

步骤S32，应用Adaboost算法对人脸进行检测，在检测出人脸的区域内进行人眼检测并标识出人眼的位置；在对人脸和人眼进行检测时，使用Haar特征进行模型训练与检测；

步骤S33，使用强跟踪Kalman滤波算法对人眼进行跟踪，将算法检测到的人眼位置与人眼运动模型对下一帧图像中人眼可能出现的位置进行预测，并对该预测位置优先进行检测。