CN101221620B - 人脸跟踪方法 - Google Patents

Abstract

本发明公开了一种人脸跟踪方法，用于在连续的视频图像序列中跟踪人脸位置。所述方法包括以下步骤：确定第一帧图像中的人脸位置；利用该第一帧图像，通过最大分类间隔准则确定特征子空间；从该第二帧图像起，依次读取视频序列中的图像；对于所读取的每一帧图像，利用上一帧图像中的人脸位置和该特征子空间，确定该当前帧图像中的人脸位置；以及，每隔预定数量的帧更新该特征子空间。本发明采用了最大分类间隔准则，从而增强了人脸特征提取的鲁棒性。同时本发明还采用增量学习方法来在线更新特征子空间，既提高了跟踪效果又满足了实时性要求。

Description

人脸跟踪方法

技术领域

本发明涉及人脸跟踪领域，特别是涉及一种在连续的视频图像序列中跟踪人脸位置的方法。

背景技术

人脸跟踪是指在连续的视频图像序列中跟踪一个或多个人脸。人脸跟踪在许多场合下都具有非常重要的应用，如智能视频监控、人机交互、出入控制等等。现有的人脸跟踪方法一般都是利用线性判别分析(LDA)来提取人脸特征，进而进行人脸跟踪。但是常用的线性判别分析会涉及到矩阵求逆的问题。然而，对于高维稀疏矩阵通常难于进行求逆运算，从而使得特征提取的鲁棒性差。当利用线性判别分析进行人脸跟踪时，容易受到人脸表情、姿态、光照等因素影响。

发明内容

本发明的目的在于提供一种鲁棒性好的人脸跟踪方法，以克服上面提到的一个或多个缺陷。

为实现上述目的，本发明提出了一种人脸跟踪方法，用于在连续的视频图像序列中跟踪人脸位置。该方法包括以下步骤：对第一帧图像进行人脸识别，以确定该第一帧图像中的人脸位置；从该第一帧图像中选取多个样本组成训练样本集，根据每个样本与该第一帧图像中人脸位置的距离远近对所述多个样本进行分类；利用该第一帧图像的训练样本集，通过最大分类间隔准则确定人脸图像的特征子空间；从该第二帧图像起，依次读取视频序列中的图像；对于所读取的每一帧图像，利用上一帧图像中的人脸位置和该特征子空间，确定该当前帧图像中的人脸位置；以及，每隔预定数量的帧，从新的图像帧中选取新样本补充到原有的训练样本集中以更新训练样本集，然后利用更新后的训练样本集来更新该特征子空间。

优选地，所述确定当前帧图像中的人脸位置的步骤包括：构造当前帧图像的人脸位置关于上一帧图像的人脸位置的概率分布模型；从所述概率分布模型中随机抽取多个粒子；在每个粒子处分别获取当前帧图像的人脸观测值；构造当前帧人脸观测值在当前帧图像中人脸位置处的似然分布模型；利用该概率分布模型和似然分布模型分别计算每个粒子的后验值；以及，选取后验值最大的粒子作为当前帧图像中的人脸位置。

该第一帧图像中的人脸位置利用Adaboost人脸监测器来确定。

优选地，所述确定特征子空间的步骤包括：从该第一帧图像中选取多个样本组成训练样本集；根据各样本与该第一帧图像中人脸位置的距离远近对其进行分类；计算该训练样本集的类内散度矩阵和类间散度矩阵；以及，利用计算得到的类内散度矩阵和类间散度矩阵来计算该特征子空间。

优选地，所述多个样本被分成正样本和负样本两类，其中位于已确定的人脸位置附近的为正样本，而距离该已确定的人脸位置较远的为负样本。

优选地，所述更新特征子空间的步骤通过增量学习法实现，包括：从当前帧图像中选取多个新样本，加入到该训练样本集中；根据各新样本与当前帧人脸位置的距离远近对所述新样本进行分类；利用原有样本中各类样本的类均值以及该新样本更新类间散度矩阵和类内散度矩阵；以及，利用该更新后的类间散度矩阵和类内散度矩阵来更新特征子空间。

所述更新类间散度矩阵和类内散度矩阵的步骤通过批量更新法实现，该批量更新法是一次利用所有的新样本来更新类间散度矩阵和类内散度矩阵。

可选地，所述更新类间散度矩阵和类内散度矩阵的步骤通过序列更新法实现，该序列更新法是每次利用一个新样本对类间散度矩阵和类内散度矩阵进行更新，并重复多次以完成最终的更新，其中，重复的次数与该新样本的数量相对应。

所述人脸位置用人脸的中心位置、宽度、高度以及旋转角度来表示。

本发明采用最大分类间隔准则提取人脸特征，避免了矩阵求逆运算，即使在数据稀疏的情况下也能正常进行特征提取处理，提高了特征提取的鲁棒性。同时，本发明还采用增量学习算法来在线更新表示人脸的特征子空间，进一步提高了算法的跟踪能力，同时运算量小，可以达到实时处理的要求。可以在光照变化，目标姿态改变以及发生部分遮挡的情况下也能够实时地跟踪目标。

下面结合附图和详细实施方式对本发明进行详细说明。

附图说明

图1示出了根据本发明一个实施例的人脸跟踪方法；

图2示出了获取特征子空间的步骤；

图3示出了基于CONDENSATION算法确定当前帧的人脸位置的步骤；

图4示出了利用增量学习法更新特征子空间的步骤。

具体实施方式

在下面的例子中，使用可旋转的矩形框 $X_t=(x^t,y^t,s_x^t,s_y^t,{\mathrm{\θ}}^t)$ 来表示第t帧图像中的人脸位置，其中，x^t和y^t分别表示人脸中心位置的横、纵坐标，s_x ^t表示人脸的宽度，s_y ^t表示人脸的高度，θ_t表示人脸的旋转角度。然而，应当清楚，根据本发明，人脸位置也可以使用更多或更少的特征量来表示。

图1示出了根据本发明的方法进行人脸跟踪的主要步骤。

首先，从视频图像序列中读取第一帧图像I₁，并确定第一帧图像中的人脸位置X₁(步骤S10)。该人脸位置X₁又称为初始人脸位置。根据本发明的一个实施例，第一帧图像中的人脸位置可利用Adaboost人脸监测器来确定。

然后，基于最大分类间隔准则，从第一帧图像I₁中选取多个样本构成训练样本集，并以此来确定样本的特征子空间W(步骤S20)。最大分类间隔准则由Li，H.等人于2003年提出(参见Li，Haifeng.，Jiang，Tao.and Zhang，Keshu.，Efficient and Robust Feature Extraction by Maximum Margin Criterion，InProceedings of the Advances in Neural Information Processing Systems 16，Vancouver，Canada，2004，MIT Press，2003：97-104.)，其基本原理如下：

设有N个已知分类类别的训练样本(x₁，c₁)，…，(x_N，c_N)，共分为M类。其中，x_i，i＝1，2，…，N表示D维的样本数据；c_i是x_i的类别标签，c_i∈{C₁，C₂，…，C_M}，C_c，c＝1，2，…，M为样本的类别，第c类样本(即，类别标签为C_c的样本)的个数为N_c。这N个样本构成一个训练样本集。

最大分类间隔准则的表达式为：

J＝tr(S_b-S_w)                 (1)

其中，S_b和S_w分别为训练样本集的类间散度矩阵和类内散度矩阵，它们可以通过下式求得：

$S_b=\underset{c=1}{\overset{M}{\mathrm{\Σ}}}{N}_c({\stackrel{\‾}{x}}_c-\stackrel{\‾}{x}){({\stackrel{\‾}{x}}_c-\stackrel{\‾}{x})}^T---\left(2\right)$

$S_w=\underset{c=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\Σ}}_c---\left(3\right)$

其中，x表示全部N个样本的均值，

N_c表示第c类样本的个数，

x_c表示第c类样本的均值(又称类均值)，

${\mathrm{\Σ}}_c=\underset{j=1}{\overset{N_c}{\mathrm{\Σ}}}(x_j^{\left(c\right)}-{\stackrel{\‾}{x}}_c){(x_j^{\left(c\right)}-{\stackrel{\‾}{x}}_c)}^T$ 表示第c类样本的散度矩阵，其中，x_j ^(c)表示第c类样本，j＝1，2，…，N_c。

样本的特征子空间W可以通过最大化下式来获得：

J(W)＝tr(W^T(S_b-S_w)W)             (4)

一般情况下，特征子空间W为列正交矩阵，从而，式(4)可以转化为求解以下的约束最优化问题：

$\max \underset{k=1}{\overset{K}{\mathrm{\Σ}}}{w}_k^T(S_b-S_w)w_k---\left(5\right)$

约束条件为 $w_k^T{w}_k=1,$ k＝1，2，…，K，K为矩阵(S_b-S_w)的特征值个数。

经过推导，可以得到上述约束最优化问题的解：

(S_b-S_w)w_k＝λ_kw_k，k＝1，2，…，K    (6)

其中，λ_k为矩阵(S_b-S_w)的特征值，w_k是与特征值λ_k相对应的特征向量，特征子空间W由这些特征向量w_k构成。

根据本发明的一个优选实施例，当特征子空间W由矩阵(S_b-S_w)最大的d个特征值所对应的特征向量构成时，即可以认为J(W)取到最大值。其中，d应满足以下条件：

$\frac{{\mathrm{\λ}}_1^2+{\mathrm{\λ}}_2^2+...{\mathrm{\λ}}_d^2}{{\mathrm{\λ}}_1^2+{\mathrm{\λ}}_2^2+...{\mathrm{\λ}}_K^2}>T$

其中，T为预先确定的阈值，根据实际情况可以取0.9～0.99之间的任意数值。

这时，式(6)可以转化为

(S_b-S_w)w_k＝λ_kw_k，k＝1，2，…，d    (7)

这样，在得到了训练样本以及阈值T后，就可以通过式(7)计算出特征子空间W。需要注意的是，传统的线性判别分析(LDA)法通常是计算矩阵S_w ^-1S_b的特征值来提取人脸特征，因而需要计算矩阵S_w的逆矩阵S_w ^-1，从而，在数据稀疏的情况下，求逆运算使得LDA算法整体不够稳定。然而，对于本发明来说，利用式(7)计算矩阵(S_b-S_w)特征值即可提取人脸特征，从而不涉及矩阵的求逆运算，即使在数据稀疏的情况下也能正常有效地计算出特征子空间，提高了特征提取的鲁棒性。

如图2所示，根据本发明的一个实施例，特征子空间W可通过以下步骤获得：首先，从第一帧图像I₁中选取多个图像块作为样本组成训练样本集(步骤S21)；然后，根据每个样本与该第一帧图像中人脸位置的距离远近对该样本进行分类(步骤S22)，优选地，样本被分为两类，其中位于初始人脸位置X₁附近的图像块为正样本，而距离初始人脸位置X₁较远的图像块为负样本；接下来，利用式(2)和式(3)分别计算类间散度矩阵S_b和类内散度矩阵S_w(步骤S23)；最后，利用式(7)即可计算得到样本的特征子空间W(步骤S24)。在这里，在选取图像块作为样本时，图像块的宽度和高度分别与初始人脸位置X₁中的宽度s_x ¹和高度s_y ¹相对应。

接下来，从该第二帧图像起，依次读取视频序列中的各帧图像(步骤S30)。由于是在连续的视频图像序列中对人脸位置进行跟踪，因而，在第一帧图像中的人脸位置X₁和特征子空间W已经确定的情况下，之后每一帧图像中的人脸位置都可以用上一帧图像的人脸位置和特征子空间来确定(步骤S40)。在下面的说明中，用X_t和X_t-1分别表示当前帧和上一帧图像中的人脸位置。

根据本发明的一个优选实施例，人脸位置X_t可以基于CONDENSATION算法来确定，具体如图3所示。首先，构造当前帧图像的人脸位置X_t关于上一帧图像的人脸位置X_t-1的概率分布p(X_t|X_t-1)(步骤S41)。一般来说，人脸运动的动态过程具有马尔科夫性，并且其随机过程可以看作是高斯随机游走。如前所述， $X_t=(x^t,y^t,s_x^t,s_y^t,{\mathrm{\θ}}^t),$ 从而概率分布模型p(X_t|X_t-1)可以表示为：

$p\left(X_t\right|X_{t-1})=N\left(x^t\right|x^{t-1},{\mathrm{\σ}}_x^2)N\left(y^t\right|y^{t-1},{\mathrm{\σ}}_y^2)N\left(s_x^t\right|s_x^{t-1},{\mathrm{\σ}}_{s_x}^2)$ (8)

$N\left(s_y^t\right|s_y^{t-1},{\mathrm{\σ}}_{s_y}^2)N\left({\mathrm{\θ}}^t\right|{\mathrm{\θ}}^{t-1},{\mathrm{\σ}}_{\mathrm{\θ}}^2)$

其中，函数N(·|μ，σ²)表示均值为μ，方差为σ²的高斯分布，例如，N(x^t|x^t-1，σ_x ²)表示x^t的均值为x^t-1且方差为σ_x ²的高斯分布。

之后，从概率分布p(X_t|X_t-1)中随机抽取多个粒子，例如n个粒子{X_t ⁱ}_i＝1 ⁿ，(步骤S42)。

接下来，对应于每个粒子X_t ⁱ处，分别从当前帧图像I_t中获取人脸观测值Z_t ⁱ(步骤S43)。观测值Z_t ⁱ可以用当前帧图像的像素灰度值来表示。具体来说，从图像I_t中对应于粒子X_t ⁱ的位置选取一图像块I_t ⁱ，该图像块的宽度和高度分别对应于粒子X_t ⁱ中的人脸宽度和高度；然后，将图像块I_t ⁱ的像素灰度矩阵中的所有列向量按顺序排成一列，从而展开得到一个列向量。该列向量即为在粒子X_t ⁱ处的人脸观测值Z_t ⁱ。

接下来，构造人脸观测值Z_t在当前帧人脸位置X_t处的似然分布模型p(Z_t|X_t)(步骤S44)：

p(Z_t|X_t)∝exp(-α‖W^TZ_t-W^TZ_p||²)        (9)

其中，α是一个正的常数，Z_t表示对应于人脸位置X_t处的观测值，Z_p表示所有正样本的观测值的平均；‖.‖表示L2范数。

接下来，对于每个粒子X_t ⁱ分别计算其后验值p(X_t ⁱ|Z_t ⁱ，X_t-1)(步骤S45)：

$p\left(X_t^i\right|Z_t^i,X_{t-1})=\mathrm{const}\·p\left(X_t^i\right|X_{t-1})p\left(Z_t^i\right|X_t^i)---\left(10\right)$

其中，const为与粒子X_t ⁱ无关的常量；

p(X_t ⁱ|X_t-1)为利用式(8)计算得到的粒子X_t ⁱ的概率值；

p(Z_t ⁱ|Z_t ⁱ)为利用式(9)计算得到的观测值Z_t ⁱ在粒子X_t ⁱ处的观测似然值。

最后，选取后验值最大的那个粒子作为当前第t帧图像中的人脸位置X_t(步骤S46)，从而实现对当前帧图像中人脸位置的定位。

当然，在获得了特征子空间W之后，还可以利用其他的多种方法来获取当前帧的人脸位置。

依此类推，继续读取下一帧图像I_t+1并重复步骤S40，从而可以对整个视频序列中的人脸位置进行跟踪。

随着视频序列中图像的不断到来，由于特征子空间中不包含新的图像数据信息，利用该特征子空间确定出的人脸位置的精度会逐渐降低。因而，在跟踪过程中需要不断地对特征子空间进行更新。如图1所示，更新特征子空间的步骤(步骤S50)可以在确定当前帧图像中的人脸位置之后进行。优选地，可以每隔预定数量的帧更新一次特征子空间，以提高系统的运算速度。该间隔帧数可以根据视频中每秒的帧数来确定，每秒的帧数越多，间隔帧数越大。

更新特征子空间通常需要从新的图像中选取新样本补充到原有的训练样本集中，然后利用更新后的训练样本集来进行特征子空间的更新。对特征子空间的更新可以利用最大分类间隔准则重新训练所有的样本(包括新样本和原来的样本)来实现。然而，当采用这种方法时，随着选取的样本越来越多，计算量也会越来越大，以至于系统将无法承受。在本发明的一个优选实施例中，采取了增量学习法来更新特征子空间。

图4示出了利用增量学习法更新特征子空间的步骤。首先，从当前帧图像中选取多个新样本，例如L个新样本{y_i}_i＝1 ^L，并将它们加入到当前的训练样本集中(步骤S51)，训练样本集中原有样本x_i的数量为N。然后，对于每个新样本y_i，根据其距离在前面步骤S40中检测出的当前帧人脸位置X_t的远近，对其进行分类(步骤S52)，得到每个样本y_i的类别标号l_i。然后，利用训练集中原有样本{x_i}_i＝1 ^N的类均值{x_c}_c＝1 ^M以及新样本{y_i}_i＝1 ^L来更新原有的类间散度矩阵和类内散度矩阵(步骤S53)。

在这里，根据新增样本的个数L的不同，可以选择不同的更新计算方法。

如果新样本的数目L比较大，优选地，可以使用如下的批量更新方法。

更新后的类间散度矩阵记作S′_b，满足：

$S_b^{\′}=\underset{c=1}{\overset{M}{\mathrm{\Σ}}}{N}_c^{\′}({\stackrel{\‾}{x}}_c^{\′}-{\stackrel{\‾}{x}}^{\′}){({\stackrel{\‾}{x}}_c^{\′}-{\stackrel{\‾}{x}}^{\′})}^T---\left(11\right)$

其中，N′_c为更新后的训练样本集中第c类样本的个数；

x′_c为更新后的训练样本集中第c类样本的类均值；

x′为更新后的训练样本集中所有样本的均值。

具体来说，N′_c＝N_c+L_c；x′_c＝(N_cx_c+L_cy_c)/N′_c，其中y_c为第c类新样本的类均值，L_c是第c类新样本的个数；x′＝(Nx+Ly)/(N+L)，其中y为所有新样本的均值。

更新后的类内散度矩阵记作S′_w满足：

$S_w^{\′}=\underset{c=1}{\overset{M}{\mathrm{\Σ}}}({\mathrm{\Σ}}_c+\frac{N_c{L}_c^2}{{(N_c+L_c)}^2}\left(D_c\right)+\frac{N_c^2}{{(N_c+L_c)}^2}\left(E_c\right)+\frac{L_c(L_c+2N_c)}{{(N_c+L_c)}^2}\left(F_c\right))---\left(12\right)$

其中，D_c是第c类新样本的类均值y_c与第c类原有样本类均值x_c的散度矩阵：

D_c＝(y_c-x_c)(y_c-x_c)^T

E_c是第c类新样本

与第c类原有样本类均值x_c的散度矩阵：

$E_c=\underset{j=1}{\overset{L_c}{\mathrm{\Σ}}}(y_j^{\left(c\right)}-{\stackrel{\‾}{x}}_c){(y_j^{\left(c\right)}-{\stackrel{\‾}{x}}_c)}^T$

F_c是第c类新样本的类内散度矩阵：

$F_c=\underset{j=1}{\overset{L_c}{\mathrm{\Σ}}}(y_j^{\left(c\right)}-{\stackrel{\‾}{y}}_c){(y_j^{\left(c\right)}-{\stackrel{\‾}{y}}_c)}^T$

如果新样本的数目L比较小，优选地，可以使用如下的序列更新方法。

序列更新方法是每次利用一个新样本来更新训练样本集的类间散度矩阵和类内散度矩阵；重复L次后，即可完成全部的更新工作。具体来说，对于一个新增样本y_i，其类别为l_i，首先，计算更新后的训练样本集中所有样本的均值x′：

x′＝(Nx+y_i)/(N+1)              (13)

接下来，按照式(11)计算更新后的类间散度矩阵S′_b。

最后，计算更新后的类内散度矩阵S′_w：

$S_w^{\′}=\underset{c=1,c\≠l_i}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\Σ}}_c+{\mathrm{\Σ}}_{l_i}^{\′}$

${\mathrm{\Σ}}_{l_i}^{\′}={\mathrm{\Σ}}_{l_i}+\frac{n_{l_i}}{n_{l_i}+1}(y_i-{\stackrel{\‾}{x}}_{l_i}){(y_i-{\stackrel{\‾}{x}}_{l_i})}^T$

重复上述操作L次之后，即可获得更新后的类间散度矩阵S′_b和类内散度矩阵S′_w。

与通过式(2)和式(3)重新计算更新后的训练样本集的类间散度矩阵S′_b和类内散度矩阵S′_w相比，利用上面提到的两种增量计算方法计算S′_b和S′_w可以大幅度降低运算量，从而能实现对视频中人脸位置的实时跟踪。

当S′_b和S′_w确定后，就可以利用式(7)来重新确定特征向量继而更新特征子空间(步骤S54)。

应当指出，虽然通过上述实施方式对本发明进行了描述，然而本发明还可有其它多种实施方式。在不脱离本发明精神和范围的前提下，熟悉本领域的技术人员显然可以对本发明做出各种相应的改变和变形，但这些改变和变形都应当属于本发明所附权利要求及其等效物所保护的范围内。

Claims (7)

1.一种人脸跟踪方法，用于在连续的视频图像序列中跟踪人脸位置，其特征在于，包括以下步骤：

对第一帧图像进行人脸识别，以确定该第一帧图像中的人脸位置；

从该第一帧图像中选取多个样本组成训练样本集，根据每个样本与该第一帧图像中人脸位置的距离远近对所述多个样本进行分类；

利用该第一帧图像的训练样本集，通过最大分类间隔准则确定人脸图像的特征子空间；

从第二帧图像起，依次读取视频序列中的各帧图像；

对于所读取的每一帧图像，利用上一帧图像中的人脸位置和该特征子空间，确定当前帧图像中的人脸位置；以及

每隔预定数量的帧，从新的图像帧中选取新样本补充到原有的训练样本集中以更新训练样本集，然后利用更新后的训练样本集来更新该特征子空间。

2.根据权利要求1所述的方法，其特征在于，所述确定当前帧图像中的人脸位置的步骤包括：

构造当前帧图像的人脸位置关于上一帧图像的人脸位置的概率分布模型；

从所述概率分布模型中随机抽取多个粒子；

在每个粒子处分别获取当前帧图像的人脸观测值；

构造当前帧人脸观测值在当前帧图像中人脸位置处的似然分布模型；

利用该概率分布模型和似然分布模型分别计算每个粒子的后验值；以及

选取后验值最大的粒子作为当前帧图像中的人脸位置。

3.根据权利要求1所述的方法，其特征在于，该第一帧图像中的人脸位置利用Adaboost人脸监测器来确定。

4.根据权利要求1所述的方法，其特征在于，所述确定特征子空间的步骤包括：

计算该训练样本集的类内散度矩阵和类间散度矩阵；以及

利用计算得到的类内散度矩阵和类间散度矩阵来计算该特征子空间。

5.根据权利要求4所述的方法，其特征在于，所述多个样本被分成正样本和负样本两类，其中位于已确定的人脸位置附近的为正样本，而距离该已确定的人脸位置较远的为负样本。

6.根据权利要求1所述的方法，其特征在于，所述更新特征子空间的步骤通过增量学习法实现，包括：

从当前帧图像中选取多个新样本，加入到该训练样本集中；

根据各新样本与当前帧人脸位置的距离远近对所述新样本进行分类；

利用原有样本中各类样本的类均值以及该新样本更新类间散度矩阵和类内散度矩阵；以及

利用该更新后的类间散度矩阵和类内散度矩阵来更新特征子空间，

其中所述更新类间散度矩阵和类内散度矩阵的步骤通过批量更新法或者序列更新法来实现，所述批量更新法是一次利用所有的新样本来更新类间散度矩阵和类内散度矩阵；所述序列更新法是每次利用一个新样本对类间散度矩阵和类内散度矩阵进行更新，并重复多次以完成最终的更新，其中重复的次数与该新样本的数量相对应。

7.根据前述权利要求中任一项所述的方法，其特征在于，所述人脸位置用人脸的中心位置、宽度、高度以及旋转角度来表示。

Images