CN102214291B - 一种快速准确的基于视频序列的人脸检测跟踪方法 - Google Patents

Abstract

本发明即一种快速准确的基于视频序列的人脸检测跟踪方法涉及模式识别技术领域，所述方法步骤包括：1、提取视频流中视频帧图像；2、对视频帧图像进行预处理，包括光线补偿、肤色区域提取、形态学处理以及区域合并；3、人脸检测，包括Harr-like特征表示人脸、带辅助判决函数的级联Adaboost算法的人脸检测；4、人脸特征的建立，包括检测得到的人脸区域特征和人脸边缘轮廓形状特征；5、人脸跟踪，具体通过人脸区域特征模型完成人脸区域未出现交叉的跟踪，通过人脸边缘轮廓形状特征判断出现交叉情况时的进一步匹配；6、人脸图像序列的提取。通过本发明所述技术方法，可以快速准确的完成基于视频序列的人脸检测跟踪。

Description

一种快速准确的基于视频序列的人脸检测跟踪方法

(一)技术领域

本发明涉及模式识别技术领域，涉及一种快速准确的基于视频序列的人脸检测跟踪方法。

(二)背景技术

人脸检测问题最初来源于人脸识别。最初人脸研究主要集中在人脸识别领域，而且早期的人脸识别算法都是在认为已经得到了一个正面人脸或者人脸很容易获得的前提下进行的。但是随着人脸应用范围的不断扩大和开发实际系统需求的不断提高，这种假设下的研究不再能满足需求。人脸检测开始作为独立的研究内容发展起来。

当今，人脸检测的应用背景已经远远超出了人脸识别系统的范畴，在基于内容的检索、数字视频处理、视频检测等方面有着重要的应用价值。目前，国内外的文献中所涉及的人脸检测算法已经有很多种，许多重要的国际会议和期刊都也都涉及到人脸检测问题研究论题。人脸检测开始广泛应用到全新人机界面、基于内容的检索、数字视频处理、视觉监测等许多领域。

而人脸检测的方法研究最初可以追溯到20世纪70年代，早期的研究主要致力于模板匹配、子空间方法，变形模板匹配等。近期人脸检测的研究主要集中在基于数据驱动的学习方法，如统计模型方法，神经网络学习方法，统计知识理论和支持向量机方法，基于马尔可夫随机域的方法，以及基于肤色的人脸检测。目前在实际中应用的人脸检测方法多为基于Adaboost学习算法的方法。

传统的人脸检测指对于任意一副给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果是则返回一脸的位置、大小和姿态。其难点有两方面，一方面是由于人脸内在的变化所引起：(1)人脸具有相当复杂的细节变化，不同的外貌如脸形、肤色等，不同的表情如眼、嘴的开与闭等；(2)人脸的遮挡，如眼镜、头发和头部饰物以及其他外部物体等；另外一方面由于外在条件变化所引起：(1)由于成像角度的不同造成人脸的多姿态，如平面内旋转、深度旋转以及上下旋转，其中深度旋转影响较大；(2)光照的影响，如图像中的亮度、对比度的变化和阴影等。(3)图像的成像条件，如摄像设备的焦距、成像距离，图像获得的途径等等。

但是，随着监控系统的普及化及庞大化，特别是最近几年城市、小区、办公室等场所，以及政府企业等部门都建设了大量的视频监控系统。在视频监控中对人脸检测就成为了当前研究的一个热点问题。而且视频中人脸检测由于需要考虑人脸检测的实时性，这种要考虑人脸检测的准确率和人脸检测的速度问题；另一方面视频中人脸检测需要考虑人脸跟踪的问题，即对于同一个人在视频序列中需要建立起人脸序列。

对于人脸的跟踪现在常见的方法可以分为三类：基于特征匹配的跟踪、基于区域匹配的跟踪和基于模型匹配的跟踪。

基于特征匹配的跟踪不考虑所跟踪目标的整体特征，即不关心该目标是什么这个问题，仅仅通过目标物体的一些个体特征来进行跟踪。由于图像序列间的采样时间间隔通常很小，可以认为这些个体特征在运动形式上具有平滑性，因此可以通过这些个体特征来完成目标物体的跟踪过程。但是在实际场景跟踪中，特征点会由于遮挡或光线变化而不可见，这将导致跟踪失败，这是基于特征匹配跟踪的缺点。

基于区域匹配的跟踪是把图像中目标物体的连通区域的共有特征信息作为跟踪检测值的一种方法。基于区域匹配的跟踪具有精度高、不依赖于具体目标模型等优点，可用于实现人头部自由运动的跟踪。但由于区域特征仅利用了图像的底层信息，且不能根据目标的整体形状来对跟踪结果进行调整，因此在长时间连续跟踪时，容易因误差累积而发生目标丢失的情况。

基于模型匹配的跟踪算法是通过建立模型的方法来表示需要跟踪的目标物体，然后在序列图像中跟踪这个模型，来达到跟踪的目的。早期这个领域的研究主要集中在刚性物体的模型匹配上。在实际应用中，一些学者针对跟踪人脸的非刚性、确切几何模型不容易获取的特性，提出使用变形模版匹配目标形状。但是，变形模板匹配目标需要大量的计算，对于实时性的人脸跟踪往往不能满足。

本专利所涉及的一种快速准确的基于视频序列的人脸检测跟踪方法，首先对于人脸检测过程，采用光线补偿、肤色模型等策略减少检测区域，提高运算速度；对于人脸检测仅在待测区域采用改进的级联AdaBoost分类器提高了人脸的检测准确率；而对于人脸的跟踪，未采用常规的基于特征匹配的跟踪、基于区域匹配的跟踪和基于模型匹配的跟踪的方法，而是采用了简单高效的人脸区域特征的高斯模型匹配方法，解决了实时性的问题；对于出现人脸的交叉问题，仅仅在交叉发生时根据人脸轮廓形状特征进行进一步的判断；通过该方法可以大大提高基于视频序列的人脸检测跟踪速度和准确率，满足基于人脸的生物特征识别，人机交互，视频监控、基于内容的图像检索、图像编码、视频会议等方面的广泛应用。

(三)发明内容

本发明要解决的技术问题在于：1)解决视频序列中每帧视频图像中人脸检测速度问题，即采用减少检测区域的策略提高人脸检测的速度，使得基于视频序列的人脸检测跟踪的实时应用成为可能；2)解决视频序列中每帧视频图像中人脸检测准确率的问题，即通过改进的级联AdaBoost分类器对于肤色区域进行人脸检测，使得基于视频序列的人脸检测跟踪的广泛应用成为可能；3)解决了视频序列中人脸快速跟踪的问题，即提出了一种高效的基于人脸区域特征的高斯模型策略对检测到得人脸进行匹配跟踪，完成了人脸序列的实时跟踪；4)解决了视频序列中人脸交叉的跟踪问题，即对于检测得到的人脸建立人脸轮廓形状特征，仅在视频序列中出现人脸区域交叉时进行匹配判断，完成了同一视频序列中的基于人脸的多人跟踪。

本发明重点研究一种快速准确的基于视频序列的人脸检测跟踪方法，本发明的目的是这样实现的：

1)提取视频流数据中视频帧图像。

2)视频帧图像的预处理，主要对视频帧图像预处理包括：(1)光线补偿，具体运用“参考白″的方法对图像颜色直方图进行线性调整，从而对图像进行光照补偿；(2)肤色区域提取，具体利用肤色模型提取视频帧图像的肤色区域；(3)形态学处理，具体按照提取的肤色区域对应于原视频帧灰度化处理的图像进行二值化处理后再利用腐蚀膨胀的方法进行处理；(4)区域合并，即设定待检测人脸区域，具体将形态学处理后的相邻肤色区域进行区域合并，再对原视频帧图像进行闭运算，提取出需要进行人脸检测的区域。

3)人脸检测，即对视频帧图像预处理后提取的人脸检测的区域进行人脸检测，主要方法包括：(1)使用Harr-like特征表示人脸，并且使用“积分图”实现特征数值的快速计算；(2)使用Adaboost算法挑选出一些最能代表人脸的矩形特征，即弱分类器，再按照加权投票的方式将弱分类器构造为一个强分类器；(3)将训练得到的若干强分类器串联组成一个级联结构的级联分类器进行人脸检测，级联结构能有效地提高分类器的检测速度；(4)增加辅助判决函数对分类进行辅助判决，由于级联分类器每一级均存在误判，使得整个级联分类器的检测率比较低，因此采用了助判决函数增加辅助判断，具体为当样本被某一级AdaBoost分类器判为假后，使用该级的辅助判决函数对其进行辅助判决，如果辅助判决为真，则仍然使样本输入到下一级的分类器中，反之，则拒绝该样本。

4)人脸特征的建立，即对检测到得人脸建立跟踪过程中需要使用的特征，具体包括：(1)提取人脸区域特征，获取人脸区域中心点坐标、高度和宽度的特征建立高斯模型，主要用于人脸跟踪，由于进行人脸检测的视频拍摄摄像头一般和全景监控摄像头的监控范围和角度存在很大差异，不适合与用常用的基于特征匹配的跟踪、基于区域匹配的跟踪和基于模型匹配的跟踪进行人脸跟踪，而采用人脸区域中心点坐标、高度和宽度的特征获取非常简单，计算复杂度低，并且可以适合于人脸检测的实际拍摄条件；(2)提取人脸的形状特征，主要用于当视频序列中存在多张人脸交叉情况时的跟踪，具体策略是，当发生多张人脸交叉时根据人脸的形状特征判断跟踪。

5)人脸跟踪，(1)非交叉匹配跟踪，对于检测得到的人脸区域提取其中心点坐标、高度和宽度的信息与当前视频序列中建立的人脸区域高斯模型进行匹配，仅仅匹配到一个人脸区域高斯模型或者未匹配到人脸区域高斯模型，说明没有出现人脸交叉情况，则对于匹配到某个模型的人脸加入匹配模型对应的人脸序列并且更新模型，对于未匹配现有模型的人脸区域建立新的人脸特征模型；(2)交叉匹配跟踪，对于出现交叉情况，即有多个人脸区域高斯模型与当前检测得到人脸区域特征匹配，则需要进一步根据人脸轮廓形状特征进行匹配确定具体匹配的人脸特征模型，然后更新匹配的人脸特征模型，并且将人脸加入匹配模型对应的人脸序列。

6)人脸图像序列的获得，根据人脸跟踪建立的人脸序列提取同一人员的人脸图像序列。

本发明有以下技术特征：

1、对视频帧图像进行光线补偿处理，增加人脸检测的准确率，具体方位为“参考白″的方法，即将整个图像中所有像素的亮度从高到低进行排序，取前5％的像素，如果这些像素的数目足够多，就将它们的亮度作为“参考白″，也即将它们色彩的R、G、B分量值都调整为最大的255，整幅图像的其他像素点的色彩值也都按这一调整尺度进行变换，使非参考白的部分象素的RGB值也有相应提高，从而保证光照变化能够尽可能小的影响图像。

2、对视频帧图像进行肤色区域提取，即首先统计彩色皮肤区域的R、G、B的分布，按照高斯分布建立模型，对于输入的视频帧图像利用建立的肤色模型匹配提取肤色区域。

3、对获得的肤色区域进行形态学处理，具体按照提取的肤色区域对原视频帧图像进行二值化处理后再利用腐蚀膨胀的方法进行处理；具体的方法为：采用两次膨胀三次腐蚀一次膨胀的方法填补肤色区域的内部空洞获得更完整肤色区域。

4、合并肤色区域获得人脸待检测区域，具体方法为找出相邻肤色区域的最大外界矩形，作为人脸待检测区域。

5、对于待测人脸区域使用Harr-like特征表示人脸，并且使用“积分图”实现特征数值的快速计算。

6、使用Adaboost算法挑选出一些最能代表人脸的矩形特征(弱分类器)，按照加权投票的方式将弱分类器构造为一个强分类器。

7、将训练得到的若干强分类器串联组成一个级联结构的级联分类器，级联结构能有效地提高分类器的检测速度。

8、增加辅助判决函数对分类进行辅助判决，对于第k级分类器具体的辅助判决函数为前k-1级分类器判为假的次数，即当第k级分类器对样本判为假后，进一步判断前k-1级分类器判为假的次数，如果次数小于设定的阈值，则仍然使样本输入到下一级的分类器中，反之，则拒绝该样本。

9、对附加辅助判决函数的级联Adaboost分类器判定的人脸建立两类特征模型：1)获取人脸区域中心点坐标、高度和宽度的特征建立高斯模型；2)对于人脸区域内提起边缘信息建立基于角度和半径直方图的形状特征。

10、对于检测得到的人脸区域与已有的人脸区域高斯模型进行匹配，匹配成功进行更新高斯模型，将检测得到的人脸区域加入高斯模型，完成人脸的跟踪。

11、对于出现人脸区域交叉的情况，根据检测得到的人脸区域内提起边缘信息的形状特征判断跟踪人脸区域属于的人脸序列，避免交叉情况时的误判。

与现有技术相比，本发明的优点在于：

1、视频帧图像进行人脸检测前进行了预处理，其中光线补偿后校正了视频帧的色偏，减少色偏对后续肤色提取的影响；而肤色区域的提取减少了人脸检测的区域，提高了算法的速度。

2、人脸检测过程中，采用了Harr-like特征表示人脸，增加了人脸检测的准确率，同时使用附加辅助判决函数的级联Adaboost分类器判定的人脸，减少了人脸检测的漏检率。

3、人脸跟踪过程中采用了检测得到的人脸区域的中心点坐标，宽度和高度建立高斯模型匹配的策略，计算速度快，跟踪准确，是基于视频序列人脸跟踪中非常高效的新方法。

4、对于人脸出现交叉时，采用了基于角度和半径直方图描述人脸边缘形状特征进行匹配判断，适应于人脸位移旋转等的变化，准确率非常高。

(四)附图说明

图1本发明的方法处理过程示意图。

图2本发明一种快速准确的基于视频序列的人脸检测跟踪方法的流程图。

(五)具体实施方式

下面结合具体实施例和附图进一步详细说明：

实施例1：

图1所示为本发明的方法处理过程示意图，本发明方法对于视频流数据，首先提取视频流数据中视频帧图像；并对视频帧图像进行预处理，获得人脸待检测区域；然后才对在人脸待检测区域进行人脸检测，获得人脸区域；如果获得人脸区域，则需要提取检测得到人脸的特征，具体包括人脸区域特征和人脸形状特征；根据根据提取的特征跟踪人脸；最后根据人脸跟踪建立的人脸队列提取同一人员的人脸图像序列，完成基于视频序列的人脸检测跟踪。

实施例2：

图2为本发明即一种快速准确的基于视频序列的人脸检测跟踪方法的流程图，具体的流程图描述如下：

1)对于视频流序列首先提取其每帧视频图像进行处理。

2)对于提前的视频帧图像进行光线补偿，具体方法为“参考白″的方法对图像颜色直方图进行线性调整，从而对图像进行光照补偿，即将整个图像中所有像素的亮度从高到低进行排序，取前5％的像素，如果这些像素的数目足够多，就将它们的亮度作为“参考白″，也即将它们色彩的R、G、B分量值都调整为最大的255，其他像素的线性调整公式为：

$\begin{array}{cc}{I}_i^{\′}(x,y)\frac{I_i(x,y)-\mathrm{ref}{B}_i}{\mathrm{ref}{W}_i-\mathrm{ref}{B}_i}\×255,& i=r,g,b\end{array}$

其中，I_i ^′(x，y)表示调整后的像素颜色值，I_i(x，y)为实际的像素颜色值，refB_i为参考白的颜色值，refW_i为实际的像素范围大小值。

3)根据建立好的肤色模型信息对光线补偿后的视频帧图像提取肤色区域，其中肤色模型信息是根据统计获得的R、G、B高斯分布模型。

4)按照提取肤色区域对原视频帧灰度处理后的图像进行二值化处理。

5)对二值化后的图像利用腐蚀膨胀的方法进行形态学处理，具体的方法为：采用两次膨胀三次腐蚀一次膨胀的方法填补肤色区域的内部空洞获得更完整肤色区域。

6)对于形态学处理后的肤色区域进行合并，具体方法为找出相邻肤色区域的最大外界矩形，作为人脸待检测区域。

7)根据人脸待检测区域对应于原视频帧灰度处理后的图像中使用Harr-like特征表示人脸，并且使用“积分图”实现特征数值的快速计算。

8)采用附加辅助判决函数的级联Adaboost算法检测人脸，具体为当样本被某一级AdaBoost分类器判为假后，使用该级的辅助判决函数对其进行辅助判决，如果辅助判决为真，则仍然使样本输入到下一级的分类器中，反之，则拒绝该样本。

其中，对于第k级分类器具体的辅助判决函数特指前k-1级分类器判为假的次数与设定阈值的关系。

9)根据检测得到的人脸区域提取人脸轮廓边缘形状，建立人脸形状特征，具体方法为基于半径和角度的直方图模型。

10)根据检测得到人脸区域提取区域特征，具体包括区域中心点坐标，区域高度，区域宽度信息，根据区域特征与现有人脸区域特征高斯模型进行匹配，如果匹配不成功，则新建人脸特征模型，包括区域高斯和形状特征模型；如果匹配成功，需要检测是否出现交叉。

11)判断是否出现交叉，即是否有多个人脸区域高斯模型与当前人脸区域特征匹配，如果否，则说明没有出现交叉，需要更新匹配的人脸特征模型，包括区域高斯和形状特征模型，并且将人脸加入匹配模型对应的人脸序列；否则，如果是，即说明出现交叉，则需要进一步根据人脸形状特征进行匹配确定具体匹配的人脸特征模型，然后更新匹配的人脸特征模型，并且将人脸加入匹配模型对应的人脸序列。

12)更新现有人脸区域、形状特征模型，对应为匹配过的模型增加未匹配计数。

13)根据人脸区域、形状特征模型中未匹配计数提取大于指定阈值帧未被匹配的人脸序列。

Claims (3)

1.一种快速准确的基于视频序列的人脸检测跟踪方法，其特征在于，所述方法具体包括以下步骤：

(1)提取视频流数据中视频帧图像；

(2)对视频帧图像进行预处理，获得人脸待检测区域；

(3)人脸检测，在人脸待检测区域进行人脸检测，获得人脸区域，具体方法为：A)使用Harr-like特征表示人脸，并且使用积分图方法实现特征数值的快速计算；B)使用Adaboost算法挑选出一些最能代表人脸的矩形特征，即弱分类器，再按照加权投票的方式将弱分类器构造为一个强分类器；C)将训练得到的若干强分类器串联组成一个级联结构的级联分类器，进行人脸检测；D)增加辅助判决函数对分类进行辅助判决，即某一级AdaBoost分类器判为假后，使用该级的辅助判决函数对其进行辅助判决，如果辅助判决为真，则仍然使样本输入到下一级的分类器中，反之，则拒绝该样本；

(4)人脸特征的建立，提取检测得到人脸的特征，具体包括人脸区域特征和人脸形状特征；

(5)人脸跟踪，根据提取的特征跟踪人脸，具体方法为：A)非交叉匹配跟踪，对于检测得到的人脸区域提取其中心点坐标、高度和宽度的信息与当前视频序列中建立的人脸区域高斯模型进行匹配，仅仅匹配到一个人脸区域高斯模型或者未匹配到人脸区域高斯模型，说明没有出现人脸交叉情况，则对于匹配到某个模型的人脸加入匹配模型对应的人脸序列并且更新模型，对于未匹配现有模型的人脸区域建立新的人脸特征模型；B)交叉匹 配跟踪，对于出现交叉情况，即有多个人脸区域高斯模型与当前检测得到人脸区域特征匹配，则需要进一步根据人脸轮廓形状特征进行匹配确定具体匹配的人脸特征模型，然后更新匹配的人脸特征模型，并且将人脸加入匹配模型对应的人脸序列；

(6)人脸图像序列的提取，根据人脸跟踪建立的人脸序列提取同一人员的人脸图像序列。

2.根据权利要求1所述的一种快速准确的基于视频序列的人脸检测跟踪方法，其特征在于，所述对视频帧图像进行预处理包括以下步骤：

(1)光线补偿，具体运用参考白的方法对图像颜色直方图进行线性调整，从而对图像进行光照补偿；

(2)肤色区域提取，具体利用已经建立好的肤色模型提取视频帧图像的肤色区域；

(3)形态学处理，具体按照提取的肤色区域对应于原视频帧灰度化处理的图像进行二值化处理后再利用腐蚀膨胀的方法进行处理；

(4)区域合并，即设定待检测人脸区域，具体将形态学处理后的相邻肤色区域进行区域合并，再对原视频帧图像进行闭运算，提取出需要进行人脸检测的区域。

3.根据权利要求1所述的一种快速准确的基于视频序列的人脸检测跟踪方法，其特征在于，所述人脸特征的建立具体包括：

(1)提取人脸区域特征，包括中心点坐标、高度和宽度的信息；

(2)提取人脸的形状特征，具体方法为基于角度和半径直方图的人脸 轮廓形状特征。 

Images