CN100390811C - 实时的从视频中跟踪多个人脸的方法 - Google Patents

Abstract

一种实时的从视频中跟踪多个人脸的方法，采用人脸检测模块对当前帧进行扫描以及人脸检测，确定出所有人脸的位置；对当前视频帧中每一个新检测到的人脸，将其添加到跟踪对象列表中，并对其进行跟踪初始化；如果跟踪对象列表中的人脸在当前帧中被检测到，则将跟踪对象列表改人脸的信息用当前帧中的人脸信息进行更新；如果跟踪对象列表中的人脸在当前帧中由于旋转和遮挡等原因没有被检测到，则切换到人脸跟踪模块，用跟踪的方式对其保持定位。本发明在某些视频帧中未能检测到被跟踪的人脸、或人脸运动停止、或人脸作非线形运动、或摄像机运动、或人脸左右旋转90度以上、或人脸被部分遮挡时，本方法所提供的人脸跟踪仍能快速稳定地进行。

Description

实时的从视频中跟踪多个人脸的方法

技术领域

本发明涉及智能视频监控、人脸识别、与数字娱乐技术领域，特别涉及一种可靠、实时的从视频中跟踪多个人脸的方法及。

背景技术

在日常生活中，人的脸部特征给我们提供了大量丰富的信息。从视频中检测多个人脸的技术由于其在身份验证、档案管理和可视化通讯等方面的巨大应用前景，备受研究者关注，成为一个非常活跃的研究领域。目前视频序列中实时鲁棒的人脸检测还是一个相当困难的工作，其中所面临的问题可以归结为(参见Yang M-H，Ahuja N，Kriegman D.A survey on face detection methods.http://vision.ai.uiuc.edu/mhyang/papers/survey.ps.gz.)：(1)图像中是否存在人脸：这是人脸检测不同于其它有关人脸研究工作的地方，即如何判断图像中是否存在人脸，如何区别人脸和类似人脸的非人脸图像。(2)检测不同表现形式的人脸：人脸可能以不同视角出现在图像中，也可能被某些物体遮挡，造成某些用于检测而需提取的人脸特征不可见。(3)图像中存在着噪声：由于成像时亮度、对比度等因素的影响使图像不清晰，人脸与背景区别不大，给检测带来一定的难度。

视频序列中的人脸跟踪是另一个非常有意义的研究课题，在智能视频监控、安全预警、人脸识别和数字娱乐、交互游戏等方面有着广阔的应用前景。现有的人脸跟踪技术分为两大类。第一类基于静态图像的人脸检测(参见K.Toyama，“Prolegomena for Robust Face Tracking”，MSR Technical Report，MSR-TR-98-65，November 1998；P.Viola and M.Jones，“Rapid Object Detection Using a BoostedCascade of Simple Features”，In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition，Dec.2001；H.A.Rowley，S.Baluja，and T.Kanade，“Neural Network-Based Face Detection”，IEEE Transactions on Pattern Analysis andMachine Intelligence，Volume.20，no.1，pages：23-28，Jan.1998；)；在视频中的每一帧作人脸检测后，把单帧人脸检测结果简单连接起来作为人脸跟踪结果；其缺点是，当人脸偏向一边时，人脸跟踪会由于人脸检测不到而造成丢失。另一类为运动检测后判断运动范围内是否为人脸(参见Mei Han；Wei Xu；Hai Tao；Yihong Gong，An algorithm for multiple object trajectory tracking，Proceedings ofComputer Vision and Pattern Recognition，Volume 1，27 June-2 July，2004，Page(s)：I-864-I-871)；其缺点是，首先它还有赖于对运动范围内是否为人脸的判断，其本质问题仍然是人脸检测，另外当人脸无运动时，检测不到运动，从而无法跟踪人脸。这两大方法准确度和连贯性都较差。

发明内容

本发明目的在于提供一种可靠、实时快速的从视频中检测和跟踪多个人脸方法。

为了实现上述目的，一种实时的从视频中跟踪多个人脸的方法，包括步骤：

a.采用人脸检测模块对当前帧进行扫描以及人脸检测，确定出所有人脸的位置；

b.对当前视频帧中每一个新检测到的人脸，将其添加到跟踪对象列表中，并对其进行跟踪初始化；

c.如果跟踪对象列表中的人脸在当前帧中被检测到，则将跟踪对象列表改人脸的信息用当前帧中的人脸信息进行更新；

d.如果跟踪对象列表中的人脸在当前帧中由于旋转和遮挡等原因没有被检测到，如果跟踪对象列表中的人脸在当前帧中由于旋转和遮挡等原因没有被检测到，根据已存在的跟踪器和当前所有检测到的人脸区域之间的距离关系建立相应的最近邻矩阵；

e.根据当前要处理的跟踪器的ID号查找最近邻矩阵；

f.根据查询结果进行切换判决；

g.如果当前跟踪器附近没有检测到人脸，则由检测模式向跟踪模式切换。

本发明的人脸跟踪稳定、快速、流畅；即使在某些视频帧中未能检测到被跟踪的人脸、或人脸运动停止、或人脸作非线形运动、或摄像机运动、或人脸左右旋转90度以上、或人脸被部分遮挡时，本方法所提供的人脸跟踪仍能快速稳定地进行。

附图说明

图1为人脸检测和跟踪的基本流程示意图；

图1为系统在人脸检测和跟踪之间自动切换的说明图；

图3为主动摄像机对人脸进行检测和跟踪的效果图；

图4为在影视片段中对人脸进行检测和跟踪的效果图。

具体实施方式

本发明采用两个交互的软件模块，第一个模块负责多姿态人脸检测，主要采用基于贯续前向搜索(SFS)和贯续后向搜索(SBS)的boosting学习方法提取特征和设计分类器。在该模块中，先采集一定数量的样本图像，包括人脸和非人脸两大类，每张样本图像都有相应的类别标记。针对这些样本，系统采用离线boosting学习的方法提取最优区分特征，产生一些弱分类器。为了将获得的弱分类器组合成强分类器，我们采用基于贯续前向搜索(SFS)结合贯续后向搜索(SBS)的方法寻找最优的弱分类器线性组合，得到了性能相当优异的强分类器。系统的第二个模块负责物体跟踪，主要采用基于自适应主颜色选取的均值漂移(mean-shift)算法，根据目标对象和模型对象之间的颜色分布的最优匹配来实现当前帧中跟踪对象的准确定位；这两个模块通过一个转换机制进行切换，何时用哪个模块的最佳方案是由该转换机制决定，具体工作原理如下：对于当前输入帧，人脸检测模块寻找出所有可能的人脸，用于更新或者初始化跟踪模块中的跟踪器。对于新检测出的人脸，我们将之存储到系统跟踪对象列表中，创建相应的跟踪器，并计算该人脸图像区域及其附近背景的颜色分布，以用于初始化跟踪器。对于系统中已经处于跟踪中的人脸，当前对应检测到的人脸将用于更新跟踪器的模式信息(主要是位置，尺度和颜色分布)。如果已经被跟踪的人脸在当前帧中由于旋转和遮挡等原因没有被检测到，我们利用存储的模式信息来对该人脸进行定位跟踪。在跟踪的过程中，我们采用主导特征选择的方法来提高均值漂移跟踪算法的有效性。主导特征选择包括两部分：特征空间创建和特征在线特征选取。考虑到摄像机的运动和复杂场景，我们采用RGB颜色空间作为特征空间。为了使目标前景区域和局部背景区域的特征差异尽量大，以提高均值漂移算法的准确性，我们定义出前景/背景主颜色分布特征。具体描述如下：

先建立RGB直方图，包括N＝Nr.Ng.Nb个色度级别.设人脸跟踪对象的原始直方图为q_t

q_t＝{q_t(1)，...，q_t(n)}，n＝1，...，N                (1)

其中 $\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{q}_t\left(n\right)=1$

设当前跟踪对象局部背景区域的原始直方图为q_b

q_b＝{q_b(1)，...，q_b(n)}，n＝1，...，N                (2)

其中 $\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{q}_b\left(n\right)=1$

则前景对象的主颜色分布特征q_d ^k可以表示为：

利用该分布特征，结合传统的均值漂移算法，可以显著提高前景跟踪的鲁棒性。

为了防止误跟踪的发生，对于一个跟踪器，如果连续若干帧没有检测到人脸，则认为该跟踪器已经失效，对应的人脸将从系统跟踪对象列表中删除。这个发明使得人脸跟踪即使在其中一个模块的输出不可靠或无输出时，系统仍能快速稳定地进行，

以下结合附图和具体的实施例对本发明作进一步的详细说明：

在图1中，本发明揭示了一较佳实施例，该人脸检测和跟踪系统，包括：视频采集步骤101；人脸检测步骤102；人脸跟踪步骤106；人脸检测与人脸跟踪切换判决步骤103，104，105；跟踪器创建步骤107；在线特征选取步骤108；系统输出步骤109；

系统利用步骤101采集当前帧图像数据，步骤102采用基于贯续前向搜索(SFS)结合贯续后向搜索(SBS)的boosting方法训练出一个强人脸分类器，利用该分类器对当前帧进行从左到右，从上到下的扫描，检测出所有的人脸区域。人脸检测窗口的标准大小设置为20×20，为了适应尺度的变化，可以由±20％的浮动。对每一个系统中已经存在的跟踪器，判决步骤103根据步骤102的判决结果判断当前跟踪器是否有检测到的人脸与之匹配，如果为真，则执行步骤105，否则执行步骤104；步骤104利用均值漂移技术，在跟踪器所处的局部区域中找到与存储的人脸颜色分布最接近的一定形状的区域(矩形或椭圆形)作为跟踪到的新人脸；特征提取步骤105利用在线学习的方法，提取出人脸区域相对于附近背景的显著颜色分布特征，更新对应跟踪器中存储的人脸模式信息，为后续的基于均值漂移的跟踪提供优化的特征；步骤106判决当前系统已经存在的跟踪器是否都被处理，如果为假则执行步骤107，切换到下一个跟踪器，否则执行步骤108。步骤108对新出现的人脸创建新的跟踪器，加入到系统跟踪器列表中。系统输出步骤109保存和输出当前人脸检测和跟踪的结果，为后续的处理提供数据。

在图2中，本发明揭示了上述实施例中，系统实现人脸检测与人脸跟踪自动切换的机制。该机制具体描述如下：步骤201根据已存在的跟踪器和当前所有检测到的人脸区域之间的距离关系建立相应的最近邻矩阵。在对所有跟踪器进行逐一处理的过程中，步骤202根据当前要处理的跟踪器的ID号查找最近邻矩阵，步骤203根据查询结果进行切换判决，若在当前跟踪器附近存在检测到的人脸区域，系统将处于检测模式，步骤204利用匹配到的人脸区域对当前跟踪器进行信息更新。若203的判决结果是当前跟踪器附近没有检测到人脸(如人脸存在大角度偏转或者遮挡等)，步骤205将完成系统由检测模式向跟踪模式的切换，在跟踪模式下步骤206采用基于颜色直方图的均值漂移跟踪法在跟踪器的局部领域内定位出人脸的位置，进而实现跟踪器的信息更新。总体而言，系统以检测模式为主模式，在主模式失效的情况下将切换到备用的跟踪模式，实现连续的人脸检测与跟踪。

在图3中，揭示了本发明的一种应用实施例，即一种实现室内人脸主动跟踪的系统。

如图3所示，图片301显示当有人进入房间时，其正面的脸被系统检测到，以绿色的十字框标记；图片302显示该人脸在转过一定角度后，人脸检测模块失效，系统自动切换到人脸跟踪模块，跟踪区域以红色十字框标记；图片303显示在人脸转过90度的情况下，该人脸仍能够被系统跟踪住；图片304和图片305显示场景中出现多个人脸时，系统可以同时检测和跟踪；图片306至图片308显示系统在非平面，大旋转角度下保持对人脸跟踪，直至该人离开场景。

在图4中，揭示了本发明的另一种应用实施例，即一种实现电影剪辑片段中人脸监测和跟踪的系统。

图4中，图片401至图片304是在电影《Matrix Revolutions》的片段中检测和跟踪人脸效果图。该片段是室内场景，系统检测到两个人脸并对其保持跟踪，从图片402开始，场景中黑衣的女子脸开始转动，一直到图片404共计转过了270度，系统可以在检测和跟踪模块之间自动切换，始终保持对该女子面部的跟踪。图片405至图片308是在电影《Sent of a Woman》的片段中检测和跟踪人脸的效果图。该片段是室外场景，被跟踪的两个人脸存在尺度上的较大变化，系统对这种变化有较强的自适应性。

Claims (6)

1.一种实时的从视频中跟踪多个人脸的方法，包括步骤：

a.采用人脸检测模块对当前帧进行扫描以及人脸检测，确定出所有人脸的位置；

b.对当前视频帧中每一个新检测到的人脸，将其添加到跟踪对象列表中，并对其进行跟踪初始化；

c.如果跟踪对象列表中的人脸在当前帧中被检测到，则将跟踪对象列表该人脸的信息用当前帧中的人脸信息进行更新；

d.如果跟踪对象列表中的人脸在当前帧中由于旋转和遮挡原因没有被检测到，根据已存在的跟踪器和当前所有检测到的人脸区域之间的距离关系建立相应的最近邻矩阵；

e.根据当前要处理的跟踪器的ID号查找最近邻矩阵；

f.根据查询结果进行切换判决；

g.如果当前跟踪器附近没有检测到人脸，则由检测模式向跟踪模式切换。

2.根据权利要求1所述的方法，其特征在于根据位置、尺度和颜色分布来对该人脸进行定位，保持该跟踪器对相应人脸的跟踪。

3.根据权利要求1所述的方法，其特征在于，采用基于Boosting学习的人脸检测模块，创建或更新跟踪对象列表。

4.根据权利要求1所述的方法，其特征在于，对于新创建的人脸跟踪器，计算对应人脸以及人脸附近背景的颜色分布模型，保存到系统跟踪对象列表中。

5.根据权利要求4所述的方法，其特征在于对于已存在于系统跟踪对象列表中的人脸跟踪器，用当前对应人脸及其附近背景的颜色分布模型更新人脸跟踪器。

6.根据权利要求2所述的方法，其特征在于，采用RGB颜色空间作为特征空间，对前景颜色分布直方图进行一次尺度变换。

Images