CN105701466A - 快速的全角度人脸跟踪方法 - Google Patents

Abstract

本发明公开了快速的全角度人脸跟踪方法，采集实时获得的图像数据；图像数据预处理；判断是否满足人脸检测要求，若满足人脸检测要求则执行步骤(d)，若不满足人脸检测要求则执行步骤(i)等。具有以下优点：1、通过人脸检测来确定人脸的位置，并通过逻辑判断来去除部分误检测目标；2、通过人头检测来快速跟踪人脸，并去除部分人脸检测器输出的误检测目标。鲁棒性更好，角度支持更大，更高效的人脸跟踪和去除误检测目标的算法。

Description

快速的全角度人脸跟踪方法

技术领域

本发明涉属于模式识别技术领域，特别是一种新的快速的全角度人脸跟踪方法。

背景技术

人脸检测与跟踪，人脸识别，性别识别，年龄估计，表情识别等等技术现在逐渐已经成为机器视觉领域、人机交互领域最重要的几个研究课题。在智能监控，视频会议，智能行为分析，人脸认证、考勤等方向正在大规模应用。

人脸分析系统中人脸检测和人脸识别一般是最复杂和最耗资源的，人脸跟踪作为一个动态的人脸分析系统必不可少的模块，对系统性能起着至关重要的作用。加入人脸跟踪模块，第一可以降低检测和识别这些耗资源模块调用的频率，提高系统效率；第二可以提高检测和识别这些模块输出结果的准确率，提高识别率。通常人脸跟踪是建立在人脸检测基础之上的，在很多应用场景中人脸跟踪与检测需要交叉进行，两者密不可分。

目前人脸跟踪最常用的方法有三种：基于特征匹配的跟踪、基于区域匹配的跟踪以及基于模型匹配的跟踪。这三种方法主要存在两方面的问题：第一，鲁棒性有待提高，在现实场景中当跟踪目标运动量较大，多目标交叉，目标被部分遮挡等情况下，跟丢或者跟错目标发生的可能性较大；第二，对于各种算法的跟踪速度，特别是在获得较精确位置要求的前提下跟踪速度都还有待提高，尤其对于多目标的跟踪，单个目标的跟踪一定要是高效的。

如授权公告号为CN100390811C的中国发明专利，记载了“实时的从视频中跟踪多个人脸的方法”，其基于人脸颜色直方图的均值漂移跟踪法来跟踪、定位人脸，该方法在实际应用中鲁棒性不够好，容易受光线和人体肤色的影响，跟踪的人脸目标经常会漂移到脖子，手臂上。

如授权公告号为CN101567043B的中国发明专利，记载了“基于分类识别的人脸跟踪方法”，其基于分类的人脸跟踪算法，在人脸运动量较大，角度较大人脸检测器检测不到时，人脸都会跟丢。而且由于该系统需要对每一帧图像检测人脸，因此该算法效率很低，算法耗时很大。

如授权公告号为CN101794385B的中国发明专利，记载了“用于视频序列的多角度多目标快速人脸跟踪方法”，对需要跟踪的人脸建立颜色直方图来作为跟踪模板，第一：容易受人体肤色影响，第二：当人脸变化较快时跟踪模板需要尽快更新。因此该算法的鲁棒性不够好，效率低下。

发明内容

本发明所要解决的技术问题是，提供一种快速的全角度人脸跟踪方法，能够快速、在全角度下跟踪人脸，同时去除人脸检测器误检出来的异常区域的人脸。

为解决上述技术问题，本发明提供的快速的全角度人脸跟踪方法，包括步骤：

a.采集实时获得的图像数据；

b.图像数据预处理；

c.判断是否满足人脸检测要求，若满足人脸检测要求则执行步骤(d)，若不满足人脸检测要求则执行步骤(i)；

d.根据预处理之后的图像进行人脸检测，判断是否存在人脸，若未检测到人脸存在则执行步骤(e)，若检测到人脸则执行步骤(f)；

e.找出人脸检测器之前误检测到的人脸，从跟踪人脸库中剔除该人脸，执行步骤(i)；

f.将检测到的人脸的信息与待跟踪人脸库中的数据进行对比，若该人脸信息与待跟踪人脸库中的所有人脸目标的信息不相符则执行步骤(h)，若该人脸信息与待跟踪人脸库中的某一个人脸目标的信息相符，则执行步骤(g)；

g.判断为同一个人脸，执行步骤(i)；

h.判断为新人脸；

i.更新待跟踪人脸库；

j.扩大待跟踪人脸库中的人脸目标的位置范围，具体扩大的倍数根据实践检测的图像的大小及目标与采集设备的距离而定；

k.在扩大的区域内检测人头，若未检测到人头则执行步骤(m)，若检测到人头则执行步骤(l)；

l.更新待跟踪人脸库中对应的人脸目标信息，执行步骤(n)；

m.删除待跟踪人脸库中对应的人脸目标信息；

n.更新统计信息，然后执行步骤(a)进行下一帧检测与跟踪。

进一步的，步骤(b)中，采用直方图均衡化预处理来减弱光线对检测和识别的影响。

进一步的，步骤(c)中，人脸检测采用全图像帧范围内检测人脸或者是在指定的局部范围内检测人脸。

进一步的，步骤(f)中，检测到的人脸的信息与待跟踪人脸的信息，两个人脸框重叠区域面积所占百分比大于等于事先设置好的经验值，判定该人脸信息与待跟踪人脸库中的某一个人脸目标的信息相符；重叠区域面积所占百分比小于事先设置好的经验值，判定该人脸信息与待跟踪人脸库中的所有人脸目标的信息不相符。

进一步的，步骤(j)中，扩大的范围是原来的1.5-3倍。

采用以上结构后，本发明的快速的全角度人脸跟踪方法与现有技术相比，具有以下优点：1、通过人脸检测来确定人脸的位置，并通过逻辑判断来去除部分误检测目标；2、通过人头检测来快速跟踪人脸，并去除部分人脸检测器输出的误检测目标。鲁棒性更好，角度支持更大，更高效的人脸跟踪和去除误检测目标的算法。

附图说明

图1为本发明流程图。

具体实施方式

下面通过实施例结合附图对本发明作进一步的描述。

如图1所示，本实施例提供的快速的全角度人脸跟踪方法，包括步骤：

a.采集实时获得的图像数据；

b.图像数据预处理；

c.判断是否满足人脸检测要求，若满足人脸检测要求则执行步骤(d)，若不满足人脸检测要求则执行步骤(i)；

d.根据预处理之后的图像进行人脸检测，判断是否存在人脸，若未检测到人脸存在则执行步骤(e)，若检测到人脸则执行步骤(f)；

e.找出人脸检测器之前误检测到的人脸，从跟踪人脸库中剔除该人脸，执行步骤(i)；

f.将检测到的人脸的信息与待跟踪人脸库中的数据进行对比，若该人脸信息与待跟踪人脸库中的所有人脸目标的信息不相符则执行步骤(h)，若该人脸信息与待跟踪人脸库中的某一个人脸目标的信息相符，则执行步骤(g)；

g.判断为同一个人脸，执行步骤(i)；

h.判断为新人脸；

i.更新待跟踪人脸库；

j.扩大待跟踪人脸库中的人脸目标的位置范围，具体扩大的倍数根据实践检测的图像的大小及目标与采集设备的距离而定；

k.在扩大的区域内检测人头，若未检测到人头则执行步骤(m)，若检测到人头则执行步骤(l)；

l.更新待跟踪人脸库中对应的人脸目标信息，执行步骤(n)；

m.删除待跟踪人脸库中对应的人脸目标信息；

n.更新统计信息，然后执行步骤(a)进行下一帧检测与跟踪。

步骤(b)中，采用直方图均衡化预处理来减弱光线对检测和识别的影响。

步骤(c)中，人脸检测采用全图像帧范围内检测人脸或者是在指定的局部范围内检测人脸，本实施例中采用的是全图像帧范围内的检测人脸，例如：设置为每5帧做一次全图像帧范围的人脸检测，假设视频帧数量为num＝0开始递增，num可以被5整除就是人脸检测的条件。

步骤(d)中，根据预处理之后的图像进行人脸检测，判断是否存在人脸，若未检测到人脸存在则执行步骤(e)，因为之前保存的待跟踪人脸库中的人脸可能会在次帧消失，因此对于每一个跟踪目标需要记录没有检测到该跟踪目标的连续帧数目。

步骤(e)中，具体理解为，遍历人脸跟踪目标队列(此人脸在之前出现过而且已经加入到跟踪目标队列中)，如果该目标已经连续M(M为事先设置好的一个经验值，例如为3)帧没有出现，则认为该人脸为检测器之前误检测出来的一个人脸，应该从跟踪目标中剔除。

步骤(f)中，检测到的人脸的信息与待跟踪人脸的信息，两个人脸框重叠区域面积所占百分比大于等于事先设置好的经验值(例如经验值为60％)，判定该人脸信息与待跟踪人脸库中的某一个人脸目标的信息相符，即为同一个人；重叠区域面积所占百分比小于事先设置好的经验值(例如经验值为60％)，判定该人脸信息与待跟踪人脸库中的所有人脸目标的信息不相符，即为新人。

步骤(g)中，判断同一个人脸还要更新待跟踪人脸库的目的就是将该人脸当前位置插入到位置队列中，保存4-5个位置，具体位置数量根据实际需要控制。保存多个位置的原因：根据实际应用需求来保存人脸跟踪过程中出现的问题，例如如果需要分析人脸移动轨迹则需要跟踪该人脸目标从出现直至消失，则需要一直保存到该目标消失；本实施例中，只需要待确认该目标确实是人脸后即可以输出该人脸，此时只需要保存4-5个位置即可。

步骤(h)中，判断出新人脸再更新待跟踪人脸库，就是添加该检测出的新人脸到待跟踪人脸库中，只要该人脸与所有当前跟踪目标队列无相关性，就作为新的跟踪目标加入跟踪队列。

步骤(j)中，扩大的范围是原来的1.5-3倍。也就是说，原来检测的范围占整个脸的1/5，那么扩大范围之后检测的范围占整个脸的3/10-3/5。

该方法的创新点和重点在于将人脸检测与人头检测结合来进行人头的跟踪,人脸检测相对准确性高，人头检测可以在人脸背对采集设备和大角度下检测到人头的位置。通过限定条件(该条件就是步骤c中提到的num可以被5整除的条件)下的全帧人脸检测可以发现画面中出现的新的人脸目标，在扩大的区域内检测人头，减少待检测区域的大小，可提高检测速度，同时去除部分背景的干扰，减少检测器的错误输出。因此该方法不仅提高了算法的鲁棒性和效率，同时增大了跟踪人脸的角度，可实现全角度的人脸快速跟踪。

人脸检测方法为传统的CART+Adaboost+haar算法，本方法在训练人脸检测器时人脸正样本的选择非常严格：需要保证人脸框为脸颊部分，尽量不包含背景；在保证人脸五官特征明显的先决条件下，尽量挑选多个角度的人脸框(一般为±60度之内)。负样本的挑选只需要注意图片中没有人脸就行，但是可以有人头，也就是看不到五官的人头是可以作为人脸检测器负样本的。

人头检测方法为传统的CART+Adaboost+hog算法，人头检测器在训练时：正样本需要采集人头各个角度的图片，可以包含训练人脸检测器时用到的所有人脸正样本；而选择负样本图片时，一定要保证图片中没有人存在。

Haar特征：基于haar小波变换得到的特征。

Adboost：是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。

CART(ClassificationAndRegressionTree)，即分类回归树算法，简称CART算法，它是决策树的一种实现，通常决策树主要有三种实现，分别是ID3算法，CART算法和C4.5算法。

HOG即histogramoforientedgradient,是用于目标检测的特征描述子，该技术将图像局部出现的方向梯度次数进行计数，该方法和边缘方向直方图、scale-invariantfeaturetransform类似，不同的是hog的计算基于一致空间的密度矩阵来提高准确率。

人脸检测算法CART+Adaboost+haar描述：

《一》检测器训练过程描述：

1)训练样本并组成样本集,s＝{(x1,y1),(x2,y2),…,(xn,yn)},其中x1,…,n表示样本图像,y1,…,n＝{0,1}表示正负样本.正负样本尺寸必须一样，例如都为：20x20像素大小。

2)初始化误差权重,对于yi＝0的样本,W_0,i＝1/2M；对于yi＝1的样本,W_1,i＝1/2L.其中M,L分别指的是人脸与非人脸样本数.对每张图片，提取多个Haar特征。

3)进行循环(whilet＝1...T)将权值归一化:

(n表示采取的Haar特征总数，T表示强分类器阶数，ω_t,j表示第t阶强分类器第j个弱分类器的权重)

每个不同的Haar特征f训练成一个弱分类器h；计算其对应的弱分类器的加权(qi)的错误率,ε_f＝∑ω_i,j|h_i(x)-q_i|,这样我们就可以很容易得到最佳弱分类器.对最佳分类器调整权重,

上式中ei＝0表示训练样本被正确的分类,而ei＝1则表示样本被错误的分类, ${\mathrm{\β}}_t=\frac{{\mathrm{\ϵ}}_t}{1-{\mathrm{\ϵ}}_t}.$

说明：

当达到以下条件时一阶弱分类器的训练将终止：

(1)人脸分类正确率大于等于某个值(一般为0.99以上)；

(2)非人脸的分类错误率小于某个值(一般为0.5)。

当满足以下两个条件之一时强分类器终止训练：

(1)强分类器达到指定的阶数，例如12阶；

(2)在保证对于所有人脸正样本内人脸检测率不低于设置值(一般为0.98以上)情况下，所有非人脸样本的误判率小于一个很小很小的数值(例如：1.0×10^-9)。

4)最后得到的强分类器为：

$k\left(x\right)=\left\{\begin{array}{cc}1& \underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_t{k}_t\left(x\right)\≥\frac{1}{2}\underset{t=1}{\overset{T}{\Σ}}{\mathrm{\α}}_{t;}{\mathrm{\α}}_t=\lg \frac{1}{{\mathrm{\β}}_t}\\ 0& others\end{array}\right.$

人脸检测系统采用不同数目的强分类器按照级联的方法组成.而每一级的强分类器又都是用不同数目的弱分类器按级联方式集合起来构成的,而且随着强分类器的级数增高则该层需要的弱分类器的数目就会越多.每一层的强分类器都会经过阈值的调整,这样就可以使得几乎所有人脸样本都能通过,而大多数的非人脸样本被拒绝通过.这样选取弱分类器的个数是因为较前的层所利用到的矩形特征比较少,这样计算就不会显得很繁琐,检测速度自然会很快,由于前面分类器的使用会拒绝多数的不包含人脸的图片,那样越是后面的分类器需要检测的图像就会越少,即使所使用的矩形特征数量会增加,可是计算量却是在不断减少,相应的检测的速度就会加快,这样我们得到的检测系统仍然能够满足实时性的要求。

《二》检测器检测过程描述：

输入一张图片，需要将该图片进行不同尺度的缩放(因为不知道人脸框到底处于什么样的尺寸)，这样组合成金字塔图片。对每张图片按照检测器训练时用到的矩形框从左上到右下，按照一定跨度(一般X方向为1个像素，Y方向为2个像素)进行滑动，对每次滑动得到的矩形框计算haar特征。计算完haar特征之后与此haar特征弱分类器对应的门限值进行比较，根据比较结果得到该弱分类器的输出值。当计算完一阶强分类器的所有弱分类器输出结果后，将这些输出值累加最后与此阶强分类器门限值对比，如果大于此值则继续计算和尝试通过下一阶强分类器，否则输出此矩形框为非人脸的结论。只有当通过了所有的强分类器之后，该矩形框才判断为真正的人脸框。

人头检测算法CART+Adaboost+hog，方法同上，只需要把其中的Haar特征换成Hog特征，正样本为人头，负样本为非人头。

Claims (5)

1.一种快速的全角度人脸跟踪方法，其特征在于，包括步骤：

a.采集实时获得的图像数据；

b.图像数据预处理；

c.判断是否满足人脸检测要求，若满足人脸检测要求则执行步骤(d)，若不满足人脸检测要求则执行步骤(i)；

d.根据预处理之后的图像进行人脸检测，判断是否存在人脸，若未检测到人脸存在则执行步骤(e)，若检测到人脸则执行步骤(f)；

e.找出人脸检测器之前误检测到的人脸，从跟踪人脸库中剔除该人脸，执行步骤(i)；

f.将检测到的人脸的信息与待跟踪人脸库中的数据进行对比，若该人脸信息与待跟踪人脸库中的所有人脸目标的信息不相符则执行步骤(h)，若该人脸信息与待跟踪人脸库中的某一个人脸目标的信息相符，则执行步骤(g)；

g.判断为同一个人脸，执行步骤(i)；

h.判断为新人脸；

i.更新待跟踪人脸库；

j.扩大待跟踪人脸库中的人脸目标的位置范围，具体扩大的倍数根据实践检测的图像的大小及目标与采集设备的距离而定；

k.在扩大的区域内检测人头，若未检测到人头则执行步骤(m)，若检测到人头则执行步骤(l)；

l.更新待跟踪人脸库中对应的人脸目标信息，执行步骤(n)；

m.删除待跟踪人脸库中对应的人脸目标信息；

n.更新统计信息，然后执行步骤(a)进行下一帧检测与跟踪。

2.根据权利要求1所述的快速的全角度人脸跟踪方法，其特征在于：步骤(b)中，采用直方图均衡化预处理来减弱光线对检测和识别的影响。

3.根据权利要求1所述的快速的全角度人脸跟踪方法，其特征在于：步骤(c)中，人脸检测采用全图像帧范围内检测人脸或者是在指定的局部范围内检测人脸。

4.根据权利要求1所述的快速的全角度人脸跟踪方法，其特征在于：步骤(f)中，检测到的人脸的信息与待跟踪人脸的信息，两个人脸框重叠区域面积所占百分比大于等于事先设置好的经验值，判定该人脸信息与待跟踪人脸库中的某一个人脸目标的信息相符；重叠区域面积所占百分比小于事先设置好的经验值，判定该人脸信息与待跟踪人脸库中的所有人脸目标的信息不相符。

5.根据权利要求1所述的快速的全角度人脸跟踪方法，其特征在于：步骤(j)中，扩大的范围是原来的1.5-3倍。