CN103093199A - 基于在线识别的特定人脸跟踪方法 - Google Patents

Abstract

本发明公开了一种基于在线识别的特定人脸跟踪方法，其采用离线检测、在线跟踪以及在线识别的联合模块对特定人脸进行有效跟踪。该方法主要包括：离线人脸检测、在线目标跟踪、在线人脸识别以及模型的更新几个步骤。通过本发明方法，能够在实际监控场景中鲁棒地跟踪指定的目标人脸，而不容易跟踪到其他不是指定目标的人脸上去，同时，即使当目标人脸发生严重遮挡或者离开视觉窗口，只要目标人脸重新出现，本发明方法依然能够重新定位出目标人脸的位置。

Description

基于在线识别的特定人脸跟踪方法

技术领域

本发明涉及模式识别以及计算机视觉技术领域，特别是一种基于在线识别的特定人脸跟踪方法。

背景技术

人脸跟踪具有很多的实际应用，例如视频监控、人机交互、机器人视觉等等。但是人脸跟踪仍然面临着很多挑战，例如光照、姿态变化、遮挡、表象相似人脸、离开视觉窗口以及目标重新出现后的身份认证等等。而特定人脸跟踪又是人脸跟踪中比较重要的一个研究领域。特定人脸跟踪，顾名思义，就是要在较长时间里跟踪特定的一个人脸。

对于一般的人脸跟踪方法，复杂的表象模型更加受到偏爱，例如多姿态的人脸跟踪。因为这种方法即使在姿态变化比较大的情况下也能够有效地表示人脸的表象，所以他们在相对比较简单的场景下对人脸有比较好的跟踪效果。但是如果目标人脸被严重遮挡了，或者离开摄像机视线了，这种方法就不能进行有效地跟踪。为了能够重新定位到目标人脸，一些跟踪器引入了检测器。虽然检测器在长时间的目标跟踪中是有用的，但是当场景中存在其他表象相似人脸时，这种只基于检测器的跟踪器的鲁棒性就会受到影响。因此，为了更加有效地提高这种包含检测器的跟踪器的性能，加入一种在线训练的识别器是有必要的。

发明内容

本发明的目的是解决现有的人脸跟踪方法无法长时间有效地跟踪特定的目标人脸，为此本发明提供一种联合了跟踪、检测和识别的特定人脸跟踪方法，以提高现有技术中特定人脸跟踪方法的准确性。

本发明提出的一种基于在线识别的特定人脸跟踪方法，包括如下步骤：

步骤1，训练得到离线模型，所述离线模型包括离线人脸检测模型，离线人眼检测模型和离线正脸和侧脸关联模型；

步骤2，对待处理视频第一帧图像中的人脸信息进行人工标注，同时利用所述离线人眼检测模型检测其中对应的眼睛位置；

步骤3，建立在线人脸跟踪模型和在线人脸识别模型，并对两个模型所使用的分类器分别进行初始化；

步骤4，利用所述离线人脸检测模型和离线人眼检测模型对所述待处理视频的下一帧待处理图像进行检测，得到该待处理图像中所有可能的人脸检测结果以及相对应的眼睛位置；

步骤5，利用所述在线人脸跟踪模型对所述待处理图像中的特定人脸进行跟踪；

步骤6，对所述步骤5在线跟踪得到的人脸及所述步骤4离线检测得到的人脸分别进行人脸识别，并从中确定最终的目标人脸；

步骤7，判断是否满足一更新条件，如果满足，则更新所述在线人脸跟踪模型和所述在线人脸识别模型，否则转入步骤4进行下一帧待处理图像的处理。

本发明的优点是：本发明将跟踪器、检测器以及识别器有效地联合起来，能够处理目标人脸的各种表象变化、遮挡，并且也不会跟踪到非目标的人脸上去，即使目标人脸离开视觉窗口后再次出现也能重新跟踪上。

附图说明

图1是根据本发明一实施例的基于在线识别的特定人脸跟踪方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1是根据本发明一实施例的基于在线识别的特定人脸跟踪方法流程图，如图1所示，所述基于在线识别的特定人脸跟踪方法包括如下步骤：

步骤1，训练得到离线模型，所述离线模型包括离线人脸检测模型，离线人眼检测模型和离线正脸和侧脸关联模型；

所述离线人脸检测模型使用AdaBoost算法以及多尺度块局部二值模式(Multi-block Local Binary Patterns，MB-LBP)特征进行人脸检测。所述离线人眼检测模型使用多个Boosting串联起来的概率框架和局部二值模式(Local Binary Patterns，LBP)特征进行眼睛检测。

本发明采用典型关联分析技术(Canonical Correlation Analysis，CCA)来建立正脸和侧脸关联模型：已知训练数据集X＝[x₁，…，x_n]和Y＝[y₁，…，y_n]，且主因子子空间是训练数据集X和Y的线性子空间，其维数是d。典型关联分析技术同时考虑了两个数据集合并且找出最优的线性投影矩阵，也就是所谓的典型投影对

和

那么，得到的和是有相关性的。所述典型投影对是通过优化下式得到的：

$\mathrm{\ρ}(w_i^x,w_i^y)=\frac{E\left[x_i^{\′T}{y}_i^{\′}\right]}{\sqrt{E\left[{\left|\right|x_i^{\′}\left|\right|}^2\right]E\left[{\left|\right|y_i^{\′}\left|\right|}^2\right]}}=\frac{w_i^{\mathrm{xT}}{C}_{\mathrm{xy}}{w}_i^y}{\sqrt{w_i^{\mathrm{xT}}{C}_{\mathrm{xx}}{w}_i^x{w}_i^{\mathrm{yT}}{C}_{\mathrm{yy}}{w}_i^y}}$

满足于条件 $\mathrm{\ρ}(w_j^x,w_i^y)=\mathrm{\ρ}(w_i^x,w_j^y)=0$ 对于j＝1，…，i-1

其中，

为和

之间的相关系数；E[·]为求期望操作；||·||²为求二范数操作；C_xy，C_xx和C_yy是根据训练数据集X和Y得到的相关矩阵。

然后，通过求解一般化的特征值分解得到W^x和W^y，在特征值分解过程中，W^x和W^y保留的维数为d：

AW＝BWA

其中，

$A=\left(\begin{array}{cc}0& C_{\mathrm{yx}}\\ C_{\mathrm{xy}}& 0\end{array}\right),B=\left(\begin{array}{cc}{C}_{\mathrm{xx}}& 0\\ 0& C_{\mathrm{yy}}\end{array}\right)$

由上，通过在这两个数据集合上使用典型关联分析技术，能够从原始数据里面找出最相关的成分对。因此，就可以得到正面人脸和侧面人脸之间的最优线性投影矩阵。在本发明的一实施例中，训练样本包含了-30度，-15度，15度，30度的侧面人脸，将它们放入训练数据集Y中，同时将相同数量的正面人脸样本放入训练数据集X中。这样，就可以获得对于多姿态的关联投影子空间W^x和W^y。

步骤2，对待处理视频第一帧图像中的人脸信息进行人工标注，同时利用所述离线人眼检测模型检测其中对应的眼睛位置；

所述人工标注包括标注目标人脸的位置和尺度。

步骤3，建立在线人脸跟踪模型和在线人脸识别模型，并对两个模型所使用的分类器分别进行初始化；

所述初始化是利用步骤2中人工标注的信息，即图像中的初始目标状态进行的。所述在线人脸跟踪模型采用在线训练的Boosting分类器以及Haar特征；所述在线人脸识别模型则基于在线的SVM分类器。

给定训练样本，所述SVM分类器所使用的线性判别函数可以写成一个核扩展的形式：

$\hat{g}\left(e\right)={\mathrm{\Σ}}_{i=1}^n{\mathrm{\α}}_{i}K(e,e_i)+b$

其中，为样本e的判别分值，样本e的特征为Haar；K(e，e_i)表示核函数；系数α_i和b可以通过对训练样本(e_i，g_i)…(e_n，g_n)学习而得到，其中g_i为样本标签，即对于正样本，g_i为1；对于负样本，g_i为-1；n为训练样本的个数。这里定义系数α，α是α_i的集合，的对偶目标函数为：

$f\left(\mathrm{\α}\right)=\underset{i}{\mathrm{\Σ}}{\mathrm{\α}}_i{g}_i-\frac{1}{2}\underset{i,j}{\mathrm{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_{j}K(e_i,e_j)$

那么，系数α就可以通过求解二次规划问题而得到。

为了提取所述在线人脸识别模型所使用的特征，需要将样本校正到一个标准的人脸模板，在所述标准的人脸模板中，人脸各个器官的位置处在固定的位置。校正时，先利用所述离线人眼检测模型检测出样本中眼睛的位置，再根据检测到的眼睛的位置与标准的人脸模板中眼睛的位置之间的对应关系，得到一个反射变换矩阵，最后再通过这个反射变换矩阵将样本校正到标准的人脸模板。将校正后得到的样本人脸的原始像素值排列成一个列向量，再经过所述投影矩阵W^x或者W^y投影得到一个投影向量，将该投影向量作为所述在线人脸识别模型所使用的特征。

步骤4，利用所述步骤1中的所述离线人脸检测模型和离线人眼检测模型对所述待处理视频的下一帧待处理图像进行检测，得到该待处理图像中所有可能的人脸检测结果以及相对应的眼睛位置；

步骤5，利用所述在线人脸跟踪模型对所述待处理图像中的特定人脸进行跟踪；

所述特定人脸为所述步骤2中人工标注出的人脸或者上一帧已处理图像中已确定的目标人脸。

利用所述在线人脸跟踪模型进行的人脸跟踪在这里可看作是一个马尔可夫状态传递过程。其中，令O_1:t＝{O₁，…，O_t}表示到t时刻的观测图像数据，z_t＝(l_t，s_t)为在时间t的目标状态，即特定人脸的状态，包括位置l_t和尺度s_t，那么后验概率可由以下的递归等式求得：

p(z_t|O_1:t)∝p(o_t|z_t)∫p(z_t|z_t-1)p(z_t-1|O_1:t-1)dz_t-1

其中，p(o_t|z_t)为目标状态的似然概率，p(z_t|z_t-1)为状态传递概率，p(z_t-1|O_1:t-1)为已知到t-1时刻所有观测的状态估计概率。

对于状态传递，假设目标位置l_t与尺度s_t之间相互独立，所以

p(z_t|z_t-1)＝p(l_t，s_t|l_t-1，s_t-1)＝p(l_t|l_t-1)p(s_t|s_t-1)

那么，当||l_t-l_t-1||＜r时，p(l_t|l_t-1)＝1，否则p(l_t|l_t-1)＝0，其中r为采样半径。

在本发明中，将人脸跟踪看作是一个二分类问题，因为人脸与背景有非常明显的表象差异。因此，所述在线人脸跟踪模型使用Boosting分类器以及Haar特征对人脸进行跟踪，这样的话，所述目标状态的似然概率可以写为：

$p\left(o_t\right|z_t)\∝\exp \left\{{\mathrm{\Σ}}_{i=1}^N{h}_i\right\}$

其中，h_i为对应于Haar特征的弱分类器，N为弱分类器的个数。通过将N个弱分类器线性组合起来，就能获得一个Boosting强分类器。

根据t-1时刻目标状态z_t-1对t时刻目标状态z_t进行采样得到一个目标状态的集合C_t。使用所述Boosting强分离器计算C_t中每个元素的后验概率，最后通过最大后验概率准则就能得到最优的跟踪结果z_T：

$Z_T=\arg \underset{z_t\∈C_t}{\max }p\left(z_t\right|O_{1:t})$

步骤6，对所述步骤5在线跟踪得到的人脸及所述步骤4离线检测得到的人脸分别进行人脸识别，并从中确定最终的目标人脸；

在监控场景中，人脸姿态的变化比较明显，技术人员不能直接知道样本人脸到底是正面的还是侧面的，也就是说，很难决定哪些人脸需要通过W^x投影，哪些需要通过W^y投影。本发明采用一个简单直观的解决办法，就是同时用W^x和W^y对人脸样本进行投影，并用识别器分别对得到的这两个投影向量进行打分，然后将较高的那个分值作为该人脸样本的置信度。这样，就可以得到所有跟踪和检测到的人脸的置信度，将置信度最高的那个样本作为最终确定的目标人脸。

步骤7，判断是否满足一更新条件，如果满足，则更新所述步骤3中的所述在线人脸跟踪模型和所述在线人脸识别模型，否则转入步骤4进行下一帧待处理图像的处理。

所述更新条件为，所述最终确定的目标人脸的置信度超过某一阈值。

在对所述在线跟踪模型进行更新时，更新步骤3中所述Boosting分类器所需的正样本为所述最终确定的目标人脸，负样本为正样本周围随机产生的图像区域，特征为Haar。在所述在线识别模型进行更新时，更新步骤3中所述SVM分类器所需的正样本为所述最终确定的目标人脸，负样本为除了最终确定的目标人脸之外检测到的其他人脸。为了搜集更多的负样本以获得更佳的分离器性能，本发明在每次更新所述在线识别模型的过程中，从背景区域随机中随机挑选出五块图像区域作为负样本。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于在线识别的特定人脸跟踪方法，其特征在于，该方法包括以下步骤：

步骤1，训练得到离线模型，所述离线模型包括离线人脸检测模型，离线人眼检测模型和离线正脸和侧脸关联模型；

步骤2，对待处理视频第一帧图像中的人脸信息进行人工标注，同时利用所述离线人眼检测模型检测其中对应的眼睛位置；

步骤3，建立在线人脸跟踪模型和在线人脸识别模型，并对两个模型所使用的分类器分别进行初始化；

步骤4，利用所述离线人脸检测模型和离线人眼检测模型对所述待处理视频的下一帧待处理图像进行检测，得到该待处理图像中所有可能的人脸检测结果以及相对应的眼睛位置；

步骤5，利用所述在线人脸跟踪模型对所述待处理图像中的特定人脸进行跟踪；

步骤6，对所述步骤5在线跟踪得到的人脸及所述步骤4离线检测得到的人脸分别进行人脸识别，并从中确定最终的目标人脸；

步骤7，判断是否满足一更新条件，如果满足，则更新所述在线人脸跟踪模型和所述在线人脸识别模型，否则转入步骤4进行下一帧待处理图像的处理。

2.根据权利要求1所述的方法，其特征在于，所述离线人脸检测模型使用AdaBoost算法以及多尺度块局部二值模式特征进行人脸检测；所述离线人眼检测模型使用多个Boosting串联起来的概率框架和局部二值模式特征进行眼睛检测。

3.根据权利要求1所述的方法，其特征在于，采用典型关联分析技术来建立正脸和侧脸关联模型，所述正脸和侧脸关联模型中，存在典型投影对 $W^x=[w_1^x,\·\·\·{,w}_d^x]$ 和 $W^y=[w_1^y,\·\·\·{,w}_d^y],$ 使得得到的 $x_i^{\′}=X^T{w}_i^x$ 和

是有相关性的，其中，X＝[x₁，…，x_n]和Y＝[y₁，…，y_n]均为训练数据集。

4.根据权利要求1所述的方法，其特征在于，所述步骤2中的人工标注包括标注目标人脸的位置和尺度。

5.根据权利要求3所述的方法，其特征在于，所述在线人脸跟踪模型采用在线训练的Boosting分类器以及Haar特征；所述在线人脸识别模型基于在线的SVM分类器，其所使用的特征为将样本人脸进行标准人脸模板校正后得到的原始像素值排列成一个列向量，再经过投影矩阵W^x或者W^y投影得到的投影向量。

6.根据权利要求5所述的方法，其特征在于，所述标准人脸模板校正为：

先利用所述离线人眼检测模型检测出样本中眼睛的位置；

再根据检测到的眼睛的位置与标准的人脸模板中眼睛的位置之间的对应关系，得到一个反射变换矩阵；

最后再通过所述反射变换矩阵将样本人脸校正到标准的人脸模板。

7.根据权利要求1所述的方法，其特征在于，利用所述在线人脸跟踪模型进行人脸跟踪可看作是一个马尔可夫状态传递过程，根据t-1时刻目标状态z_t-1对t时刻目标状态z_t进行采样得到一个目标状态的集合C_t，使用Boosting强分离器计算C_t中每个元素的后验概率，通过最大后验概率准则得到最优的跟踪结果z_T：

$z_T=\arg {\max }_{z_t\∈C_t}p\left(z_t\right|O_{1:t});$

其中，O_1:t＝{O₁，…，O_t}表示到t时刻的观测图像数据，z_t＝(l_t，s_t)为在时间t的目标状态，即特定人脸的状态，包括位置l_t和尺度s_t，p(z_t|O_1:t)为后验概率：

p(z_t|O_1:t)∝p(o_t|z_t)∫p(z_t|z_t-1)p(z_t-1|O_1:t-1)dz_t-1，

其中，p(o_t|z_t)为目标状态的似然概率，p(z_t|z_t-1)为状态传递概率，p(z_t-1|O_1:t-1)为已知到t-1时刻所有观测的状态估计概率；

所述Boosting强分离器为N个对应于Haar特征的弱分类器h_i的线性组合。

8.根据权利要求3所述的方法，其特征在于，所述步骤6中，同时用投影矩阵W^x和W^y对人脸样本进行投影，并用识别器分别对得到的这两个投影向量进行打分，将较高的那个分值作为人脸样本的置信度，最后将所有跟踪和检测到的人脸的置信度最高的那个人脸样本作为最终确定的目标人脸。

9.根据权利要求8所述的方法，其特征在于，所述步骤7中更新条件为：最终确定的目标人脸的置信度超过某一阈值。

10.根据权利要求5所述的方法，其特征在于，所述步骤7在对所述在线跟踪模型进行更新时，更新所述Boosting分类器所需的正样本为所述最终确定的目标人脸，负样本为正样本周围随机产生的图像区域，特征为Haar；在所述在线识别模型进行更新时，更新所述SVM分类器所需的正样本为所述最终确定的目标人脸，负样本为除了最终确定的目标人脸之外检测到的其他人脸。

Images