CN101968846A - 一种人脸跟踪方法 - Google Patents

Abstract

本发明公开的是一种人脸跟踪方法，包含离线训练方法和在线跟踪方法；离线训练方法包含多层结构人脸模型训练方法和人脸特征点的离线模板训练方法；多层结构人脸模型训练方法为在线跟踪方法提供人脸模型，离线模板训练方法为在线跟踪方法提供人脸特征点离线模板；多层结构人脸模型训练方法包含如下步骤：选取适当的人脸图像作为训练样本；对人脸图像的特征点进行标记；得到基准形状模型；得到全局形状模型；得到局部形状模型。本发明属于生物特征识别技术领域，广泛应用于各种人脸跟踪与比对系统。

Description

一种人脸跟踪方法

技术领域

本发明涉及生物特征识别技术领域，尤其涉及一种人脸跟踪方法。

背景技术

人脸是人的重要信息，是区分不同的人的重要依据。人脸跟踪是在连续的视频序列中跟踪一个或多个人脸。

人脸跟踪在很多场合下都具有非常重要的作用，例如手机彩信中的视频彩信、人机界面、权限控制、智能监视系统等。跟踪的准确性、精度和鲁棒性问题一直是业界关心的主要问题。

解决人脸跟踪问题的难点很多，如人脸表情变化、人脸的姿态变化、光照变化、面部遮挡等等。其中，人脸表情与姿态变化是所有人脸跟踪技术的普遍问题。现有技术往往只能解决两者之一。

因此，业界急需一种能够解除人脸表情变化、姿态变化影响的人脸跟踪技术。

发明内容

为弥补现有技术的不足，本发明目的是提供一种人脸跟踪方法，解决人脸表情变化和姿态变化的影响，提高人脸跟踪的准确性、精度和鲁棒性。

为了实现上述目的，本发明的技术方案如下：

一种人脸跟踪方法，其特征在于，包含：

离线训练方法和在线跟踪方法；

该离线训练方法包含多层结构人脸模型训练方法和人脸特征点的离线模板训练方法；该多层结构人脸模型训练方法为该在线跟踪方法提供人脸模型，该离线模板训练方法为该在线跟踪方法提供人脸特征点离线模板；

该多层结构人脸模型训练方法包含如下步骤：步骤301，选取适当的人脸图像作为训练样本；步骤302，对人脸图像的特征点进行标记；步骤3031-3061，得到基准形状模型；步骤3032-3062，得到全局形状模型；步骤3033-3063，得到局部形状模型。

其中，该基准形状模型、该全局形状模型与该局部形状模型的获得方法为：

用s表示一个人脸形状向量：

$s=\stackrel{\‾}{s}+\mathrm{Pb},$

其中，

为平均人脸形状；P为一组正交的主形状变化模式；b为形状参数向量；

人脸形状向量s表示为(s_R，s_G，s_L)^T，其中s_R、s_G和s_L分别表示基准特征点、全局特征点和局部特征点；

刚性基准形状的点分布模型

全局基准形状的点分布模型

局部形状模型的点分布模型

第i个局部形状向量为s_Gi，Li＝{s_Gi，s_Li}，其中S_Gi，s_Li分别表示属于第i个局部形状的全局和局部特征点。

其中，该人脸特征点的表达方法为：

给定灰度图像

中的一个像素

一系列Gabor系数可表达该点附近的局部外观，可定义为：

$J_j\left(\stackrel{\mathrm{\ρ}}{x}\right)=\∫I\left({\stackrel{\mathrm{\ρ}}{x}}^{\′}\right){\mathrm{\ψ}}_j(\stackrel{\mathrm{\ρ}}{x}-{\stackrel{\mathrm{\ρ}}{x}}^{\′})d^2{\stackrel{\mathrm{\ρ}}{x}}^{\′}$

其中Gabor核ψ_j为高斯包络函数限定的平面波，

${\mathrm{\ψ}}_j\left(\stackrel{\mathrm{\ρ}}{x}\right)=\frac{k_j^2}{{\mathrm{\σ}}^2}\exp (-\frac{k_j^2{x}^2}{2{\mathrm{\σ}}^2})[\exp \left(i{\stackrel{\mathrm{\ρ}}{k}}_j\stackrel{\mathrm{\ρ}}{x}\right)-\exp (-\frac{{\mathrm{\σ}}^2}{2})]$

$k_v=2^{-\frac{v+2}{2}}\mathrm{\π},$

其中，k_v为频率，

为方向，本发明优选v＝0，1，...，9，μ＝0，1，...，7。j＝μ+8v，

且频率波宽设为σ＝2π；

Gabor核由10个频率、8个方向组成80个Gabor复系数，用以表达像素点附近的外观特征，用一个jet向量

表示这些系数，J_j＝α_jexp(iφ_j)，j＝0，1，...，79

其中，α_j和φ_j分别为第j个Gabor系数的幅值和相位；

对80个Gabor复系数进行实验筛选，得到该人脸特征点表达所用的小波特征。其中，该人脸特征点的离线模板训练方法如下：

步骤401，选取N张适当的人脸图像作为训练样本；

步骤402，对人脸图像的特征点进行标记；

步骤403，对图像进行归一化处理；

步骤404，计算所有样本的Gabor特征；

步骤405，获得各样本Gabor特征之间的相似度；

$S_{\mathrm{\φ}}(\stackrel{\mathrm{\ρ}}{J},{\stackrel{\mathrm{\ρ}}{J}}^{\′})=\frac{{\mathrm{\Σ}}_j{\mathrm{\α}}_j{{\mathrm{\α}}^{\′}}_j\cos ({\mathrm{\φ}}_j-{{\mathrm{\φ}}^{\′}}_j-\stackrel{\mathrm{\ρ}}{d}{\stackrel{\mathrm{\ρ}}{k}}_j)}{\sqrt{{\mathrm{\Σ}}_j{\mathrm{\α}}_j^2{{\mathrm{\α}}^{\′}}_j^2}}$

其中，

和

为Gabor特征；

为

和之间的相对位移；

$\stackrel{\mathrm{\ρ}}{d}(\stackrel{\mathrm{\ρ}}{J},{\stackrel{\mathrm{\ρ}}{J}}^{\′})=\left(\begin{array}{c}{d}_x\\ d_y\end{array}\right)=\frac{1}{{\mathrm{\Γ}}_{\mathrm{xx}}{\mathrm{\Γ}}_{\mathrm{yy}}-{\mathrm{\Γ}}_{\mathrm{xy}}{\mathrm{\Γ}}_{\mathrm{yx}}}\×\left(\begin{array}{cc}{\mathrm{\Γ}}_{\mathrm{yy}}& {-\mathrm{\Γ}}_{\mathrm{yx}}\\ -{\mathrm{\Γ}}_{\mathrm{xy}}& {\mathrm{\Γ}}_{\mathrm{xx}}\end{array}\right)\left(\begin{array}{c}{\mathrm{\Φ}}_x\\ {\mathrm{\Φ}}_y\end{array}\right)$

如果Γ_xxΓ_yy-Γ_xyΓ_yx≠0，其中

Φ_x＝∑_jα_jα′_jk_jx(φ_j-φ′_j)，

Γ_xy＝∑_jα_jα′_jk_jxk_jy，

Φ_y，Γ_xx，Γ_yx和Γ_yy类似地进行定义；

对每个特征点，计算N个Gabor特征两两之间的相似度，当其相似度大于阈值S_T时即认为两者相似，S_T可通过实验选取，如0.85；

步骤406，计算各样本Gabor特征的相似特征数n；

步骤407，选择n最大的样本Gabor特征；

步骤408，判断n是否大于n_T；

若步骤408的判断结果为否，则执行步骤411，处理下一特征点，然后返回步骤404继续执行；

若步骤408的判断结果为是，则执行步骤409，将Gabor特征加入离线模板；对每一个Gabor特征，设有n_i个与其相似的Gabor特征，将n_i值最大且大于阈值n_T的Gabor特征加入样本特征集

，n_T也通过实验选取，可选n_T＝2；

步骤410，将该Gabor特征从样本中删除，同时将与其相似度大于阈值S_T’的Gabor特征从

中删除，S_T’大于S_T，如可选0.9；

返回步骤405，对步骤405-409作迭代计算；对

重复上述过程，直到选不出样本为止；

最终的样本特征集

即为该人脸特征点的特征样本，作为人脸特征的离线模板提供给该在线跟踪方法使用。

其中，该在线跟踪方法包含：

步骤501，初始化，初始化变量和参数设置，参数包含但不限于图像格式、分辨率、颜色空间，跟踪模式；

步骤502，输入一帧图像；

步骤503，图像归一化，将输入图像转换成标准尺寸的图像；

步骤504，判断是否重新检测；

若步骤504的判断结果为是，则执行步骤505，利用基准形状模型，基于ASM形状约束，对齐基准特征点；

步骤506，利用全局形状模型，基于ASM形状约束，对齐全局特征点；

步骤507，利用局部形状模型，基于ASM形状约束，对齐局部特征点；

步骤508，更新在线特征模板，根据得到的脸部特征点的位置更新其小波特征作为该人脸的在线特征模板；

步骤515，估计人脸姿态，根据六个基础点的位置估计人脸的姿态；

返回步骤502循环执行本方法各步骤并执行步骤516，输出人脸特征点及人脸姿态信息；

若步骤504的判断结果若为否，则执行步骤509，基于在线特征模板更新眼角点；

然后执行步骤510，基于离线特征模板调整眼角点；

然后执行步骤511，更新其他特征点；

然后执行步骤512，根据前一帧的人脸姿态更新各形状模型的平均形状；

然后执行步骤513，基于形状约束更新全局特征点；

然后执行步骤514，基于形状约束更新局部特征点；

然后返回步骤508，继续执行本方法各步骤。

其中，该步骤505对齐基准特征点的具体方法为：

对图像进行归一化预处理；

根据双眼的位置确定刚性基准点的位置；

刚性基准点的精度根据其Gabor特征与离线特征模板的相似度进行判断；具体判断步骤如下：

(1)对每一刚性基准点i，计算其当前位置

的Gabor特征

(2)计算与离线特征模板中每个Gabor特征的相似度，取相似度最大者作为

与模板的相似度S_i，并获得其相对位移为

(3)当满足以下条件之一时，迭代过程结束，否则转入步骤(4)：a)所有刚性基准点的平均相似度

小于上一次迭代的平均相似度

；b)90％以上的点的绝对位移值足够小，即这里阈值d_T根据所需保证的精度确定，如可选d_T＝2；

(4)对相对位移值

进行限定，减少突变误差，使得|dx_i|≤dx_T，|dy_i|≤dy_T，这里阈值dx_T和dy_T根据所需保证的精度确定，如可选dx_T＝dy_T＝10；

(5)根据

对刚性基准点坐标进行更新：

(6)根据更新的坐标

和基准形状模型更新形状参数；根据更新的形状参数获得新的刚性基准点坐标值；

(7)迭代次数t增加1次，若t超过阈值，则迭代过程结束，否则转入步骤(1)。

其中，该步骤515估计人脸姿态的具体步骤如下：

1)基于基准特征点构建N个三角形。选择任意三个非共线性的特征点组成一个三角形T_i，对每一个T_i，构建一个局部坐标系统C_t；

2)由每个三角形获得投影矩阵M；图像坐标与局部坐标系统C_t的关系表示为

$\left(\begin{array}{c}c-c_0\\ r-r_0\end{array}\right)=M\left(\begin{array}{c}{x}_t-x_{t0}\\ y_t-y_{t0}\end{array}\right)$

其中，(c，r)表示坐标系统C_t中三维点(x_t，y_t，0)的投影图像，(c₀，r₀)是参考点(x_t0，y_t0，0)的投影图像，M是2×2的投影矩阵；

3)计算完全投影矩阵的投影偏差；根据完全投影矩阵P_i将特征点的三维坐标投影到图像中，进而获得其与实际特征点图像坐标的偏差d_error；如果d_error大于阈值d，则删除该矩阵；否则保留该矩阵，并设置其权重为ω_i＝(d-d_error)²；

4)加权得到最终结果；通过对N个三角形的检测，最终得到K个完全投影矩阵P_i，i＝1ΛK，及其对应的权重ω_i，i＝1ΛK。对每个P_i，可得到唯一的一组参数；最终的人脸姿态参数为：

${\mathrm{\α}}_{\mathrm{face}}=\frac{{\mathrm{\Σ}}_{i-1}^K{\mathrm{\α}}_i*{\mathrm{\ω}}_i}{{\mathrm{\Σ}}_{i=1}^K{\mathrm{\ω}}_i}.$

其中，该步骤510的具体计算方法为：

根据离线特征模板对眼角特征点进行再修正：

对于眼角特征点

计算在线特征模板与离线特征模板

的相似度S′_i和位移

眼角特征点进一步修正为其中ε为相似度调整值，根据精度要求进行设置，如优选可设为ε＝0.55。

其中，该步骤503的图像归一化的方法为：根据双眼的位置，得到双眼的中点作为基准点，双眼的连线作为图像的横轴，双眼连线的中垂线作为纵轴，对图像进行旋转，对图像进行缩放以使双眼之间的距离达到一特定值。

其中，该基准特征点为表情变化时不发生运动的特征点，包括但不限于眼角、鼻端；该全局特征点包括八个基准特征点和受表情影响较小的点，包括但不限于嘴角、眉尖；该局部特征点包括但不限于左眼、右眼、嘴、鼻的轮廓点；左眼、右眼轮廓点至少包括如下之一：眼角、上、下眼睑；嘴轮廓点至少包括如下之一：两个嘴角、上/下唇的中点，上/下唇中点与嘴角之间的轮廓点。

附图说明

下面结合附图，通过对本发明的具体实施方式的详细描述，将使本发明的技术方案及其他有益效果显而易见。

图1为本发明人脸跟踪方法的组成框架图；

图2为本发明的人脸特征点示意图；

图3为本发明多层结构人脸模型训练方法的流程图；

图4为本发明人脸特征点的离线模板训练方法流程图；

图5为本发明人脸跟踪方法的流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面进一步阐述本发明。

图1表示了本发明方法的组成框架。本发明人脸跟踪方法包含离线训练方法102和在线跟踪方法101两部分。离线训练方法102包含：多层结构人脸模型训练方法1021和人脸特征点的离线模板训练方法1022；前者为在线跟踪方法101提供人脸模型103，后者为人脸跟踪方法101提供人脸特征点离线模板104。

图2为本发明人脸特征点示意图。图3为本发明多层结构人脸模型训练方法的流程图。下面结合图2与图3详细说明本发明多层结构人脸模型训练方法。

人的面部特征具有很大的相似性，这些特征点的相对运动表达了人脸表情和人脸姿态的变化。给定这些人脸的特征点，用人脸特征点集的统计关系表示人脸模型，即可以构建出一个点分布模型(PDM)来表达人脸的可能的形状变化。

本发明基于ASM的原理，从一系列人脸图像训练得到多层结构人脸模型。

多层结构人脸模型训练方法首先执行步骤301，选取适当的人脸图像作为训练样本。然后执行步骤302，对人脸图像的特征点进行标记。

然后执行步骤3031-3061，得到基准形状模型。具体为：步骤3031，基于刚性基准点组成形状向量，来表示基准特征点的位置；然后执行步骤3041，根据Procrustes变换对齐所有形状向量到一个统一的坐标框架下；然后执行步骤3051，由PCA方法获得形状约束参数，步骤3061，得到基准形状模型。

执行步骤3032-3062，得到全局形状模型。具体为：步骤3032，基于全局基准点组成形状向量，来表示全局特征点的位置；然后执行步骤3042，根据Procrustes变换对齐所有形状向量到一个统一的坐标框架下；然后执行步骤3052，由PCA方法获得形状约束参数，步骤3062，得到全局形状模型。

执行步骤3033-3063，得到局部形状模型。具体为：步骤3033，基于局部基准点组成形状向量，来表示局部特征点的位置；然后执行步骤3043，根据Procrustes变换对齐所有形状向量到一个统一的坐标框架下；然后执行步骤3053，由PCA方法获得形状约束参数，步骤3063，得到局部形状模型。

步骤3031-3061、步骤3032-3062和步骤3033-3063的计算方法具体为：

用向量s表示一个人脸形状：

$s=\stackrel{\‾}{s}+\mathrm{Pb},---\left(1\right)$

其中，

为平均人脸形状；P为一组正交的主形状变化模式；b为形状参数向量。

现有的ASM方法通过迭代过程搜索人脸形状，迭代中所有的特征点位置同时更新，也就是说特征点之间的相互影响是简单的平行关系。鉴于人脸的复杂结构，以及表情丰富的特点，这种简单的平行机制并不足以描述特征点之间的相互关系。例如，假设眼角位置固定，则眼睛的开闭并不能影响口、鼻的特征点定位。

本发明将人脸特征点组织为多个层次，以更好地适应头部运动、表情变化等对特征点位置的不同影响，我们称为多层结构人脸模型。第一类为基准特征点，基本只受头部姿态的影响，如眼角、鼻端等。第二类为全局特征点，用来约束整个人脸的全局形状，包括基准特征点和其他关键点、如嘴角、眉端等。第三类为局部特征点，只用来约束人脸各组成部分如眼、嘴、眉的细部特征，位于其轮廓边界上，如上下嘴唇的轮廓点，上下眼睑等，主要受表情变化影响。基于此，本发明构建的多层结构人脸模型说明如下：

如上所述，人脸形状向量s可表示为(s_R，s_G，s_L)^T，其中s_R、s_G和s_L分别表示基准特征点、全局特征点和局部特征点。基于此，人脸形状模型可分为刚性基准形状、全局基准形状、以及以下局部形状：左眉、右眉、左眼、右眼、鼻、嘴等。对于刚性基准形状和全局基准形状，其点分布模型(PDM)可以从训练数据学习得到如下，

$s_R=\stackrel{\‾}{s_R}+P_R{b}_R---\left(2\right)$

$s_G=\stackrel{\‾}{s_G}+P_G{b}_G---\left(3\right)$

对于局部形状模型，第i个局部形状向量为s_Gi，Li＝{s_Gi，s_Li}，其中s_Gi，s_Li分别表示属于第i个局部形状的全局和局部特征点。亦有，

$s_{\mathrm{Gi},\mathrm{Li}}=\stackrel{\‾}{s_{\mathrm{Gi},\mathrm{Li}}}+P_{\mathrm{Gi},\mathrm{Li},}{b}_{\mathrm{Gi},\mathrm{Li}}---\left(4\right)$

以上(2)、(3)、(4)三式即构成了本发明的多层结构人脸模型。其中各参数均基于ASM的原理通过训练得到。图2显示了本发明优选的一组特征点，其中所有的星形点201为基准特征点，所有的星形点201和空心原点202组成全局特征点，实心原点203为局部特征点。

图4为本发明人脸特征点的离线模板训练方法流程图。

人脸特征点的特征表达有很多种，如灰度特征、边缘特征、小波特征等等。本发明采用多尺度多方向Gabor小波来建模特征点附近的局部外观，表达人脸特征点。基于Gabor小波的特征表达具有人类视觉的心理物理基础，并且对于光照变化以及外观变化下的表情识别、人脸识别和特征点表示等都具有很好的鲁棒性。

本发明小波特征的计算方法为：

给定灰度图像

中的一个像素

一系列Gabor系数

可表达该点附近的局部外观，可定义为：

$J_j\left(\stackrel{\mathrm{\ρ}}{x}\right)=\∫I\left({\stackrel{\mathrm{\ρ}}{x}}^{\′}\right){\mathrm{\ψ}}_j(\stackrel{\mathrm{\ρ}}{x}-{\stackrel{\mathrm{\ρ}}{x}}^{\′})d^2{\stackrel{\mathrm{\ρ}}{x}}^{\′}---\left(5\right)$

其中Gabor核ψ_j为高斯包络函数限定的平面波

${\mathrm{\ψ}}_j\left(\stackrel{\mathrm{\ρ}}{x}\right)=\frac{k_j^2}{{\mathrm{\σ}}^2}\exp (-\frac{k_j^2{x}^2}{2{\mathrm{\σ}}^2})[\exp \left(i{\stackrel{\mathrm{\ρ}}{k}}_j\stackrel{\mathrm{\ρ}}{x}\right)-\exp (-\frac{{\mathrm{\σ}}^2}{2})]---\left(6\right)$

$k_v=2^{-\frac{v+2}{2}}\mathrm{\π},$

其中，k_v为频率，

为方向，本发明优选v＝0，1，...，9，μ＝0，1，...，7。j＝μ+8v，

且频率波宽设为σ＝2π。

由此，本发明优选的Gabor核由10个频率、8个方向组成80个Gabor复系数，用以表达像素点附近的外观特征。特别地，可用一个jet向量表示这些系数，可写成

J_j＝α_jexp(iφ_j)，j＝0，1，...，79         (8)

其中，α_j和φ_j分别为第j个Gabor系数的幅值和相位。

给定一幅图像，每个标记的人脸特征点都可以计算得到Gabor小波的jet向量，该jet向量即表达了该点的特征。然而，针对每一个人脸特征点，并非所有80个Gabor复系数均适合表达该特征。为使其能表达各种人脸的共同特征，须对80个Gabor复系数进行实验筛选。以嘴角特征点为例，本发明优选的Gabor复系数为：j＝24，...，55。

由此，优选出的即为本发明方法中所用的小波特征。

本发明人脸特征点的离线模板训练方法如下：

首先执行步骤401，选取N张适当的人脸图像作为训练样本。

步骤402，对人脸图像的特征点进行标记。

步骤403，对图像进行归一化处理，以保证所有特征点的Gabor特征的计算条件是相近的，从而保证特征采样的精确性。根据双眼的位置，得到双眼的中点作为基准点，双眼的连线作为图像的横轴，双眼连线的中垂线作为纵轴，对图像进行旋转，同时对图像进行缩放以使双眼之间的距离(瞳距)达到一特定值。通过这种归一化处理后能保证Gabor特征表达的精度和鲁棒性。

然后执行步骤404，计算所有样本的Gabor特征。具体方法是：

将标记的特征点坐标转换至归一化图像中，对每个人脸特征点，根据式(5)-(8)计算其Gabor特征。则对每一个特征点而言，共得N个Gabor特征

，i＝0，...，N。

然后，执行步骤405，获得各样本Gabor特征之间的相似度；方法为：

假设Gabor特征

和

，其相似度可由下式计算得到：

$S_{\mathrm{\φ}}(\stackrel{\mathrm{\ρ}}{J},{\stackrel{\mathrm{\ρ}}{J}}^{\′})=\frac{{\mathrm{\Σ}}_j{\mathrm{\α}}_j{{\mathrm{\α}}^{\′}}_j\cos ({\mathrm{\φ}}_j-{{\mathrm{\φ}}^{\′}}_j-\stackrel{\mathrm{\ρ}}{d}{\stackrel{\mathrm{\ρ}}{k}}_j)}{\sqrt{{\mathrm{\Σ}}_j{\mathrm{\α}}_j^2{{\mathrm{\α}}^{\′}}_j^2}}---\left(9\right)$

其中，

为

和

之间的相对位移，可由下式求得

$\stackrel{\mathrm{\ρ}}{d}(\stackrel{\mathrm{\ρ}}{J},{\stackrel{\mathrm{\ρ}}{J}}^{\′})=\left(\begin{array}{c}{d}_x\\ d_y\end{array}\right)=\frac{1}{{\mathrm{\Γ}}_{\mathrm{xx}}{\mathrm{\Γ}}_{\mathrm{yy}}-{\mathrm{\Γ}}_{\mathrm{xy}}{\mathrm{\Γ}}_{\mathrm{yx}}}\×\left(\begin{array}{cc}{\mathrm{\Γ}}_{\mathrm{yy}}& {-\mathrm{\Γ}}_{\mathrm{yx}}\\ -{\mathrm{\Γ}}_{\mathrm{xy}}& {\mathrm{\Γ}}_{\mathrm{xx}}\end{array}\right)\left(\begin{array}{c}{\mathrm{\Φ}}_x\\ {\mathrm{\Φ}}_y\end{array}\right)---\left(10\right)$

如果Γ_xxΓ_yy-Γ_xyΓ_yx≠0，其中

Φ_x＝∑_jα_jα′_jk_jx(φ_j-φ′_j)，

Γ_xy＝∑_jα_jα′_jk_jxk_jy，

Φ_y，Γ_xx，Γ_yx和Γ_yy类似地进行定义。

对每个特征点，根据式(9)、(10)计算N个Gabor特征两两之间的相似度，当其相似度大于阈值S_T时即认为两者相似，S_T可通过实验选取，如0.85。

然后执行步骤406，计算各样本Gabor特征的相似特征数n。

然后执行步骤407，选择n最大的样本Gabor特征。

然后执行步骤408，判断n是否大于n_T。

若步骤408的判断结果为否，则执行步骤411，处理下一特征点。然后返回步骤404，继续执行本发明方法。

若步骤408的判断结果为是，则执行步骤409，将Gabor特征加入离线模板。对每一个Gabor特征，设有n_i个与其相似的Gabor特征，将n_i值最大且大于阈值n_T的Gabor特征加入样本特征集

，n_T也通过实验选取，可选n_T＝2。

然后执行步骤410，将该Gabor特征从样本中删除，同时将与其相似度大于阈值S_T’的Gabor特征从

中删除，这里S_T‘应大于S_T，如可选0.9。

然后返回步骤405，对步骤405-409作迭代计算。对

重复上述过程，直到选不出样本为止。

最终的样本特征集

即为该人脸特征点的特征样本，作为人脸特征的离线模板提供给在线跟踪使用。

图5为本发明人脸跟踪方法的流程图。

本发明方法包含：

步骤501，初始化。本步骤主要初始化引擎，包含：初始化变量，参数设置，参数包括图像格式、分辨率、颜色空间，跟踪模式等。

然后执行步骤502，输入一帧图像。本步骤是根据步骤501设置好的格式输入一帧图像数据。

然后执行步骤503，图像归一化。本步骤是对输入图像进行归一化处理。即根据前一帧的人脸信息，主要为双眼的位置信息，将输入图像转换成标准尺寸的图像，优选的尺寸可为256×256像素。

对人脸图像进行归一化处理，是为了保证所有特征点的计算条件相近，从而保证特征采样的精确性。根据双眼的位置，得到双眼的中点作为基准点，双眼的连线作为图像的横轴，双眼连线的中垂线作为纵轴，对图像进行旋转，同时对图像进行缩放以使双眼之间的距离(瞳距)达到一特定值。通过这种归一化处理后能保证Gabor特征表达的精度和鲁棒性。

然后执行步骤504，判断是否重新检测。本步骤是根据前一帧的检测结果判断是否重新进行人脸特征检测，若为第一帧图像，则直接进行特征检测。

步骤504的判断结果若为是，则继续步骤505，基于形状约束获得基准特征点。本步骤是利用基准形状模型517，基于ASM形状约束对齐基准特征点，基准特征点不会因为表情的变化而运动，如眼角、鼻端。基准形状模型517的获得方法请参见图2和图3及其对应说明。

步骤505基于形状约束获得基准特征点的具体方法为：

首先需对图像进行归一化预处理。

其次，根据双眼的位置确定刚性基准点的位置。根据双眼位置和人脸模型中的刚性基准形状模型对齐刚性基准点，获得这些基准点的初始位置。然后根据式(2)迭代更新其形状参数，直到满足迭代终止条件，即获得刚性基准点的准确位置。迭代过程中，刚性基准点的精度根据其Gabor特征与离线特征模板的相似度进行判断。具体步骤如下：

(1)对每一刚性基准点i，计算其当前位置

的Gabor特征

(2)根据式(9)、(10)计算与离线特征模板中每个Gabor特征的相似度，取相似度最大者作为与模板的相似度S_i，并获得其相对位移为

(3)当满足以下条件之一时，迭代过程结束，否则转入步骤4)：a)所有刚性基准点的平均相似度

小于上一次迭代的平均相似度

；b)90％以上的点的绝对位移值足够小，即

这里阈值d_T根据所需保证的精度确定，如可选d_T＝2；

(4)对相对位移值

进行限定，减少突变误差，使得|dx_i|≤dx_T，|dy_i|≤dy_T，这里阈值dx_T和dy_T根据所需保证的精度确定，如可选dx_T＝dy_T＝10；

(5)根据

对刚性基准点坐标进行更新：

(6)根据更新的坐标

和刚性基准形状模型及式(2)更新形状参数。根据更新的形状参数获得新的刚性基准点坐标值；

(7)迭代次数t增加1次。若t超过阈值，则迭代过程结束，否则转入步骤(1)。

然后执行步骤506，基于形状约束获得全局特征点。本步骤是利用全局形状模型518，基于ASM形状约束，对齐全局特征点。全局特征点除包括8个基准特征点外，还包括其他受表情影响较小的点，如嘴角、眉尖等。获得全局形状模型518的具体方法请参见图2和图3及其对应说明。

步骤506的基于形状约束获得全局特征点的具体方法与步骤505相同，不同的是其利用刚性基准点的位置以及全局基准形状模型，并在迭代中固定刚性基准点的位置不变。

然后执行步骤507，基于形状约束获得局部特征点。本步骤是针对人脸的每一个局部特征，利用局部形状模型519，基于ASM形状约束对齐局部特征点。本发明人脸的局部特征点主要包括左眼、右眼、嘴、鼻的轮廓点，如左(右)眼包括眼角、上、下眼睑等，嘴部包括两个嘴角、上/下唇的中点，以及上/下唇中点与嘴角之间的轮廓点等。获得局部形状模型519的具体方法请参见图2和图3及其对应说明。

步骤507基于形状约束获得局部特征点的具体方法与步骤505相同，不同的是其利用局部形状模型，并固定全局基准点的位置不变。

然后执行步骤508，更新在线特征模板。本步骤是根据得到的脸部特征点计算其Gabor小波特征，作为新的在线特征模板

然后执行步骤515，估计人脸姿态。本步骤是根据6个基础点的位置估计人脸的姿态，6个基础点为：4个眼角点和2个鼻端点。

本发明既可以构建多层结构人脸模型以适应人脸表情的变化，也可以构建不同角度下的人脸形状模型以适应人脸角度的变化，不再赘述。

然而，构建的人脸模型毕竟只能采样有限的角度，如正面人脸，左侧面人脸45度，右侧面人脸45度，等等。为保证人脸特征跟踪的精度，需估计出人脸的角度以选取适当的人脸形状模型，并对其进行角度的补偿。本发明根据人脸的刚性基准特征点的位置即能较好地估计出人脸角度，说明如下。

为减少人脸表情的影响，需选取人脸的基准特征点进行人脸姿态的估计，本发明选择4个眼角点和2个鼻端点作为参考。为估计人脸的姿态，这六个点的三维坐标必须先进行初始化。一般地，特征点的三维坐标X_i＝(x_i，y_i，z_i)由通用的三维人脸模型获得，实际应用中，可要求用户面向摄像头以获得其正面人脸图像，根据检测结果，特征点的x_i和y_i值自动调整为该用户的值，深度值则仍采用三维模型的值进行近似。设人脸姿态参数α_face＝(σ_pan，φ_tilt，κ_swing，λ)，，其中(σ_pan，φ_tilt，κ_swing)为人脸三个方向的欧拉角，λ为人脸大小的缩放值。步骤515估计人脸姿态的具体步骤如下：

1)基于选择的基础点构建N个三角形。选择任意三个非共线性的特征点组成一个三角形T_i，对每一个T_i，构建一个局部坐标系统C_t。

2)由每个三角形获得投影矩阵M。图像坐标与局部坐标系统C_t的关系可表示为

$\left(\begin{array}{c}c-c_0\\ r-r_0\end{array}\right)=M\left(\begin{array}{c}{x}_t-x_{t0}\\ y_t-y_{t0}\end{array}\right)---\left(11\right)$

其中，(c，r)表示坐标系统C_t中三维点(x_t，y_t，0)的投影图像，(c₀，r₀)是参考点(x_t0，y_t0，0)的投影图像，M是2×2的投影矩阵。通过限定欧拉角在

到

的范围，可以从M恢复出两组人脸姿态参数，进而生成完全投影矩阵P_i，但其中只有一个是正确的。

3)计算完全投影矩阵的投影偏差。根据完全投影矩阵P_i将特征点的三维坐标投影到图像中，进而获得其与实际特征点图像坐标的偏差d_error。如果d_error大于阈值d，则删除该矩阵；否则保留该矩阵，并设置其权重为ω_i＝(d-d_error)²。

4)加权得到最终结果。通过对N个三角形的检测，最终得到K个完全投影矩阵P_i，i＝1ΛK，及其对应的权重ω_i，i＝1ΛK。对每个P_i，可得到唯一的一组参数α_i＝(σ_pan，φ_tilt，κ_swing，λ)。最终的人脸姿态参数为：

${\mathrm{\α}}_{\mathrm{face}}=\frac{{\mathrm{\Σ}}_{i-1}^K{\mathrm{\α}}_i*{\mathrm{\ω}}_i}{{\mathrm{\Σ}}_{i=1}^K{\mathrm{\ω}}_i}---\left(12\right)$

然后返回步骤502循环执行本方法各步骤，并执行步骤516，输出人脸特征点及人脸姿态信息。

步骤504的判断结果若为否，则执行步骤509，基于在线模板更新眼角点。本步骤是基于在线模板与特征点的上一帧位置的小波特征进行比较，计算4个眼角点的位移，从而得到眼角的新位置。步骤509的具体获得方法为：

(1)根据前一帧的双眼位置对图像进行归一化预处理；

(2)根据在线特征模板更新刚性基准点中的眼角特征点：对于眼角特征点计算其在当前图像的Gabor特征

，然后根据式(10)计算

与在线特征模板

的位移，则眼角特征点可更新为：

然后执行步骤510，基于离线特征模板调整眼角点。本步骤是计算离线训练的特征模板与在线特征模板的距离和相似度，根据该距离和相似度对眼角位置进行修改得到新的位置。

获得离线特征模板的具体方法见图4及其对应的说明。

步骤510的具体计算方法为：根据离线特征模板对眼角特征点进行再修正：对于眼角特征点根据式(9)、(10)计算在线特征模板

与离线特征模板

的相似度S′_i和位移，则眼角特征点可进一步修正为

其中ε为相似度调整值，根据精度要求进行设置，如优选可设为ε＝0.55。

然后执行步骤511，更新其他特征点。首先，计算新的眼角特征点位置与上一帧位置的平均位移作为人脸刚性运动的初步估计，更新其他特征点所有特征点的坐标为：

然后对每一特征点，重复步骤509与510，对眼角特征点以外的其他特征点的位置进行更新。

然后执行步骤512，根据前一帧的人脸姿态更新各形状模型的平均形状。本步骤是根据前一帧估计的人脸姿态进行误差补偿，对人脸的形状模型进行更新，以得到该姿态下的形状模型。

然后执行步骤513，基于形状约束更新全局特征点。本步骤是对全局特征点，根据补偿的全局形状模型进行形状约束，获得形状参数，根据该形状参数获得准确的全局特征点。本步骤是基于步骤512所更新的形状模型约束更新全局特征点的位置。

然后执行步骤514，基于形状约束更新局部特征点。本步骤是针对人脸的每一个局部特征，这一过程中，全局特征点不再更新。本步骤是基于步骤512所更新的形状模型约束更新其局部特征点的位置。

然后执行步骤508，对所有特征点，计算其Gabor特征作为新的在线特征模板

以上过程根据检测的人脸及人眼的位置完成了人脸特征点的检测定位。由于各个人脸的差异性，其特征点的Gabor特征与离线特征模板的相似度各不相同。为此，根据当前人脸特征点位置获得其Gabor特征作为后续帧人脸跟踪的特征模板，即在线特征模板

，以提高人脸特征跟踪的效率和精度。

本发明通过构建多层结构人脸模型，将人脸特征点表示为基准特征点、全局特征点和局部特征点，然后根据这3类特征点构建基准形状模型、全局形状模型和局部形状模型，在步骤505、506、507和509-514中使用，因此消除了人脸表情和姿态变化对人脸跟踪准确性和鲁棒性的影响，因此跟踪精度、准确性和鲁棒性更高。

以上说明和图示仅为了清楚说明和易于理解本发明，本领域技术人员应可以增加或者减少某个步骤，或者对某个步骤做出简单变换，所有简单的变换和增减均属于本发明的保护范围。

Claims (10)

1.一种人脸跟踪方法，其特征在于，包含：

离线训练方法和在线跟踪方法；

该离线训练方法包含多层结构人脸模型训练方法和人脸特征点的离线模板训练方法；

该多层结构人脸模型训练方法为该在线跟踪方法提供人脸模型，该离线模板训练方法为该在线跟踪方法提供人脸特征点离线模板；

该多层结构人脸模型训练方法包含如下步骤：

步骤301，选取适当的人脸图像作为训练样本；

步骤302，对人脸图像的特征点进行标记；

步骤3031-3061，得到基准形状模型；

步骤3032-3062，得到全局形状模型；

步骤3033-3063，得到局部形状模型。

2.如权利要求1所述的人脸跟踪方法，其特征在于，该基准形状模型、该全局形状模型与该局部形状模型的获得方法为：

用s表示一个人脸形状向量：

$s=\stackrel{\‾}{s}+\mathrm{Pb},$

其中，

为平均人脸形状；P为一组正交的主形状变化模式；b为形状参数向量；

人脸形状向量s表示为(s_R，s_G，s_L)^T，其中s_R、s_G和s_L分别表示基准特征点、全局特征点和局部特征点；

基准形状模型的点分布模型

全局形状模型的点分布模型

局部形状模型的点分布模型

第i个局部形状向量为s_Gi，Li＝{s_Gi，s_Li}，其中s_Gi，s_Li分别表示属于第i个局部形状的全局和局部特征点。

3.如权利要求1所述的人脸跟踪方法，其特征在于，该人脸特征点的表达方法为：

给定灰度图像

中的一个像素

一系列Gabor系数

可表达该点附近的局部外观，可定义为：

$J_j\left(\stackrel{\mathrm{\ρ}}{x}\right)=\∫I\left({\stackrel{\mathrm{\ρ}}{x}}^{\′}\right){\mathrm{\ψ}}_j(\stackrel{\mathrm{\ρ}}{x}-{\stackrel{\mathrm{\ρ}}{x}}^{\′})d^2{\stackrel{\mathrm{\ρ}}{x}}^{\′}$

其中Gabor核ψ_j为高斯包络函数限定的平面波，

${\mathrm{\ψ}}_j\left(\stackrel{\mathrm{\ρ}}{x}\right)=\frac{k_j^2}{{\mathrm{\σ}}^2}\exp (-\frac{k_j^2{x}^2}{2{\mathrm{\σ}}^2})[\exp \left(i{\stackrel{\mathrm{\ρ}}{k}}_j\stackrel{\mathrm{\ρ}}{x}\right)-\exp (-\frac{{\mathrm{\σ}}^2}{2})]$

$k_v=2^{-\frac{v+2}{2}}\mathrm{\π},$

其中，k_v为频率，

为方向，本发明优选v＝0，1，...，9，μ＝0，1，...，7。j＝μ+8v，

且频率波宽设为σ＝2π；

Gabor核由10个频率、8个方向组成80个Gabor复系数，用以表达像素点附近的外观特征，用一个jet向量表示这些系数，J_j＝α_jexp(iφ_j)，j＝0，1，...，79

其中，α_j和φ_j分别为第j个Gabor系数的幅值和相位；

对80个Gabor复系数进行实验筛选，得到该人脸特征点表达所用的小波特征。

4.如权利要求3所述的人脸跟踪方法，其特征在于，该人脸特征点的离线模板训练方法如下：

步骤401，选取N张适当的人脸图像作为训练样本；

步骤402，对人脸图像的特征点进行标记；

步骤403，对图像进行归一化处理；

步骤404，计算所有样本的Gabor特征；

步骤405，获得各样本Gabor特征之间的相似度；

$S_{\mathrm{\φ}}(\stackrel{\mathrm{\ρ}}{J},{\stackrel{\mathrm{\ρ}}{J}}^{\′})=\frac{{\mathrm{\Σ}}_j{\mathrm{\α}}_j{{\mathrm{\α}}^{\′}}_j\cos ({\mathrm{\φ}}_j-{{\mathrm{\φ}}^{\′}}_j-\stackrel{\mathrm{\ρ}}{d}{\stackrel{\mathrm{\ρ}}{k}}_j)}{\sqrt{{\mathrm{\Σ}}_j{\mathrm{\α}}_j^2{{\mathrm{\α}}^{\′}}_j^2}}$

其中，

和

为Gabor特征；

为

和之间的相对位移；

$\stackrel{\mathrm{\ρ}}{d}(\stackrel{\mathrm{\ρ}}{J},{\stackrel{\mathrm{\ρ}}{J}}^{\′})=\left(\begin{array}{c}{d}_x\\ d_y\end{array}\right)=\frac{1}{{\mathrm{\Γ}}_{\mathrm{xx}}{\mathrm{\Γ}}_{\mathrm{yy}}-{\mathrm{\Γ}}_{\mathrm{xy}}{\mathrm{\Γ}}_{\mathrm{yx}}}\×\left(\begin{array}{cc}{\mathrm{\Γ}}_{\mathrm{yy}}& {-\mathrm{\Γ}}_{\mathrm{yx}}\\ -{\mathrm{\Γ}}_{\mathrm{xy}}& {\mathrm{\Γ}}_{\mathrm{xx}}\end{array}\right)\left(\begin{array}{c}{\mathrm{\Φ}}_x\\ {\mathrm{\Φ}}_y\end{array}\right)$

如果Γ_xxΓ_yy-Γ_xyΓ_yx≠0，其中

Φ_x＝∑_jα_jα′_jk_jx(φ_j-φ′_j)，

Γ_xy＝∑_jα_jα′_jk_jxk_jy，

Φ_y，Γ_xx，Γ_yx和Γ_yy类似地进行定义；

对每个特征点，计算N个Gabor特征两两之间的相似度，当其相似度大于阈值S_T时即认为两者相似，S_T可通过实验选取，如0.85；

步骤406，计算各样本Gabor特征的相似特征数n；

步骤407，选择n最大的样本Gabor特征；

步骤408，判断n是否大于n_T；

若步骤408的判断结果为否，则执行步骤411，处理下一特征点，然后返回步骤404继续执行；

若步骤408的判断结果为是，则执行步骤409，将Gabor特征加入离线模板；对每一个Gabor特征，设有n_i个与其相似的Gabor特征，将n_i值最大且大于阈值n_T的Gabor特征加入样本特征集

，n_T也通过实验选取，可选n_T＝2；

步骤410，将该Gabor特征从样本中删除，同时将与其相似度大于阈值S_T’的Gabor特征从

中删除，S_T’大于S_T，如可选0.9；

返回步骤405，对步骤405-409作迭代计算；对

重复上述过程，直到选不出样本为止；

最终的样本特征集

即为该人脸特征点的特征样本，作为人脸特征的离线模板提供给该在线跟踪方法使用。

5.如权利要求3所述的人脸跟踪方法，其特征在于，该在线跟踪方法包含：

步骤501，初始化，初始化变量和参数设置，参数包含但不限于图像格式、分辨率、颜色空间，跟踪模式；

步骤502，输入一帧图像；

步骤503，图像归一化，将输入图像转换成标准尺寸的图像；

步骤504，判断是否重新检测；

若步骤504的判断结果为是，则执行步骤505，利用基准形状模型，基于ASM形状约束，对齐基准特征点；

步骤506，利用全局形状模型，基于ASM形状约束，对齐全局特征点；

步骤507，利用局部形状模型，基于ASM形状约束，对齐局部特征点；

步骤508，更新在线特征模板，根据得到的脸部特征点的位置更新其小波特征作为该人脸的在线特征模板；

步骤515，估计人脸姿态，根据六个基础点的位置估计人脸的姿态；

返回步骤502循环执行本方法各步骤并执行步骤516，输出人脸特征点及人脸姿态信息；

若步骤504的判断结果若为否，则执行步骤509，基于在线特征模板更新眼角点；

然后执行步骤510，基于离线特征模板调整眼角点；

然后执行步骤511，更新其他特征点；

然后执行步骤512，根据前一帧的人脸姿态更新各形状模型的平均形状；

然后执行步骤513，基于形状约束更新全局特征点；

然后执行步骤514，基于形状约束更新局部特征点；

然后返回步骤508，继续执行本方法各步骤。

6.根据权利要求5所述的人脸跟踪方法，其特征在于，该步骤505对齐基准特征点的具体方法为：

对图像进行归一化预处理；

根据双眼的位置确定刚性基准点的位置；

刚性基准点的精度根据其Gabor特征与离线特征模板的相似度进行判断；具体判断步骤如下：

(1)对每一刚性基准点i，计算其当前位置的Gabor特征

(2)计算与离线特征模板

中每个Gabor特征的相似度，取相似度最大者作为

与模板的相似度S_i，并获得其相对位移为

(3)当满足以下条件之一时，迭代过程结束，否则转入步骤(4)：a)所有刚性基准点的平均相似度

小于上一次迭代的平均相似度；b)90％以上的点的绝对位移值足够小，即

这里阈值d_T根据所需保证的精度确定，如可选d_T＝2；

(4)对相对位移值

进行限定，减少突变误差，使得|dx_i|≤dx_T，|dy_i|≤dy_T，这里阈值dx_T和dy_T根据所需保证的精度确定，如可选dx_T＝dy_T＝10；

(5)根据

对刚性基准点坐标进行更新：

(6)根据更新的坐标

和基准形状模型更新形状参数；根据更新的形状参数获得新的刚性基准点坐标值；

(7)迭代次数t增加1次，若t超过阈值，则迭代过程结束，否则转入步骤(1)。

7.根据权利要求5所述的人脸跟踪方法，其特征在于，该步骤515估计人脸姿态的具体步骤如下：

1)基于基准特征点构建N个三角形。选择任意三个非共线性的特征点组成一个三角形T_i，对每一个T_i，构建一个局部坐标系统C_t；

2)由每个三角形获得投影矩阵M；图像坐标与局部坐标系统C_t的关系表示为

$\left(\begin{array}{c}c-c_0\\ r-r_0\end{array}\right)=M\left(\begin{array}{c}{x}_t-x_{t0}\\ y_t-y_{t0}\end{array}\right)$

其中，(c，r)表示坐标系统C_t中三维点(x_t，y_t，0)的投影图像，(c₀，r₀)是参考点(x_t0，y_t0，0)的投影图像，M是2×2的投影矩阵；

3)计算完全投影矩阵的投影偏差；根据完全投影矩阵P_i将特征点的三维坐标投影到图像中，进而获得其与实际特征点图像坐标的偏差d_error；如果d_error大于阈值d，则删除该矩阵；否则保留该矩阵，并设置其权重为ω_i＝(d-d_error)²；

4)加权得到最终结果；通过对N个三角形的检测，最终得到K个完全投影矩阵P_i，i＝1ΛK，及其对应的权重ω_i，i＝1ΛK。对每个P_i，可得到唯一的一组参数；最终的人脸姿态参数为：

${\mathrm{\α}}_{\mathrm{face}}=\frac{{\mathrm{\Σ}}_{i-1}^K{\mathrm{\α}}_i*{\mathrm{\ω}}_i}{{\mathrm{\Σ}}_{i=1}^K{\mathrm{\ω}}_i}.$

8.如权利要求5所述的人脸跟踪方法，其特征在于，该步骤510的具体计算方法为：

根据离线特征模板对眼角特征点进行再修正：

对于眼角特征点计算在线特征模板

与离线特征模板

的相似度S′_i和位移

眼角特征点进一步修正为

其中ε为相似度调整值，ε＝0.55。

9.如权利要求5所述的人脸跟踪方法，其特征在于，该步骤503的图像归一化的方法为：根据双眼的位置，得到双眼的中点作为基准点，双眼的连线作为图像的横轴，双眼连线的中垂线作为纵轴，对图像进行旋转，对图像进行缩放以使双眼之间的距离达到一特定值。

10.根据权利要求5所述的人脸跟踪方法，其特征在于，该基准特征点为表情变化时不发生运动的特征点，包括但不限于眼角、鼻端；该全局特征点包括八个基准特征点和受表情影响较小的点，包括但不限于嘴角、眉尖；该局部特征点包括但不限于左眼、右眼、嘴、鼻的轮廓点；

左眼、右眼轮廓点至少包括如下之一：眼角、上、下眼睑；

嘴轮廓点至少包括如下之一：两个嘴角、上/下唇的中点，上/下唇中点与嘴角之间的轮廓点。

Images