CN104036237B - 基于在线预测的旋转人脸的检测方法 - Google Patents

Abstract

基于在线预测的旋转人脸检测方法，人脸旋转角度在线预测：(1)根据不同旋转角度人脸，在Adaboost方法基础上，构建相应旋转角度范围的分类器，得到不同的cascade检测结构；(2)针对一个待检图像子窗口，依次按照变化的尺度对候选人脸区域进行检测，每类角度的cascade检测结构的前级强分类器都对其进行分类检测，采用阈值比较的方法确定该区域的旋转角度；利用步骤(2)中得到的人脸旋转角度所对应的cascade检测结构的后级强分类器对步骤(2)中的待检图像子窗口进行分类检测，以确定该子窗口是否真的为该旋转角度下的人脸图像；人脸滤波与跟踪：定位出人脸区域后，采用模板匹配与滤波算法优化人脸区域的位置。

Description

基于在线预测的旋转人脸的检测方法

技术领域

本发明涉及旋转人脸检测的方法，尤其是视频装置使用的基于在线预测的旋转人脸的检测方法，属于图像处理、模式识别技术领域。

背景技术

人脸检测是一项有着重要的理论研究价值和应用价值，极具挑战性的课题。尤其是指在一幅图像中检查是否含有旋转人脸，如果有，则需要进一步确定人脸的位置及尺度，进而用一个多边形或圆形框标示出人脸的区域。它的潜在应用包括身份识别、图像搜索、人机交互、人工智能等许多方面。

人脸检测的研究已经有很长的历史，最早的研究工作可以追溯到20世纪40年代，但真正有发展还是在最近20年。人脸检测的输入图像通常有3种情况：正面、侧面、斜面。1997年IBM的工作至今，大多数人脸检测研究工作的对象为正面或接近正面的人脸图像。

目前国内外用于人脸检测的方法层出不穷，概括起来大致有四种：基于知识的、基于特征的、模板匹配的或基于表象的方法。

基于知识的人脸检测方法是将人类有关特征的知识编码成一些规则，利用这些规则进行检测。这些规则主要包括：轮廓规则，如人脸的轮廓可近似的被看成一个椭圆；器官排布规则，如正面人脸中人眼分布在上半个人脸中，鼻子分布在正中；对称性规则，如人的脸部具有对称性；运动规则，如眨眼动作可用于实现人眼与背景的分离。

基于特征的人脸检测方法是寻找一些关于人脸的不依赖于外在条件的属性或结构特征，并利用这些属性或结构特征进行检测和定位。首先通过大量样本学习的方法去寻找这些属性或结构特征，然后用这些属性或结构特征去检测和定位。

模板匹配的人脸检测方法是一种经典的模式识别方法，首先预定义或参数化一个标准的模板，然后计算检测图像区域与标准模板的相关度，通过阈值判定是否为人脸。其中，人脸模板可以动态更新。

基于表象的人脸检测方法一般利用统计分析和机器学习来寻找人脸和非人脸图像的有关特性。学习而来的特性总结成分布模型或者判别函数，再利用这些分布模型或者判别函数来定位人脸。基于表象的人脸检测方法的理论基础是概率论，一般都要用到概率论与数理统计的知识。

在正面人脸检测方面，现有的算法已经达到可以实用的程度。但是由于多姿态人脸的不稳定性，使得在多姿态人脸检测方面的研究仍然存在许多不足。

如果将人脸看作一个平面，人脸的旋转分为两种类型：在同一个平面内的旋转和不处于同一个平面内的旋转。其中，同一个平面内的旋转是指由于人们向左或向右歪头引起的，而不处于同一个平面内的旋转又分为两个类型：由于人们抬头或低头引起的旋转和由于人们向左或向右扭头引起的旋转。所以总体而言，人脸的旋转分为三种类型：由于抬头或低头引起的旋转、由于向左或向右扭头引起的旋转和由于向左或向右歪头引起的旋转。

对于前两种类型的人脸旋转，在较小的旋转角度下，人脸横向和纵向的纹理都变化不大，对于矩形Haar特征的影响较小。所以只需要在训练样本中加入一定比例的属于这两类旋转的人脸样本，就可以保证系统检测的鲁棒性。在我们的机器学习过程中，加入了约25％的小于30度的属于这两类旋转的人脸样本，检测结果表明，这种策略完全可以保证实际情况下检测系统对于这两类人脸旋转的鲁棒性。

针对处于同一平面内的向左或者向右歪头而引起的人脸旋转，人脸图像的横向和纵向纹理都会发生变化，原先得到的矩形Haar特征不能再用于检测这种旋转情况下的人脸。因此，针对这种类型的人脸旋转，我们引入了在线预测算法。

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。

在线预测算法是指在不影响系统检测效率的前提下，先准确预测出人脸旋转的角度，再利用相应的分类器进行分类检测的检测技术。

发明内容

本发明目的是：提出一种基于在线预测的旋转人脸检测方法。该方法采用在线预测人脸旋转角度，完成人脸检测，快速而有效的将人脸区域与图像中的其它区域区分，实现多姿态人脸下的实时定位。其中，方法涉及跟踪、模板匹配以及滤波等算法有效的保证了定位算法的精确性、稳定性和实时性。

本发明的技术解决方案如下：提出一种基于在线预测的旋转人脸检测方法，在人脸候选区域利用在线预测的方法得到人脸旋转的角度，然后通过基于知识的、基于特征的、模板匹配的或基于表象的人脸定位的方法判定是否是人脸区域；其中，在人脸定位阶段采用跟踪算法以加速后续帧图像人脸定位的速度。

采用数字图像处理的手段，对图像摄取装置获得的图像进行分析，进一步确定人脸

位置。基于在线预测的旋转人脸检测方法，具体步骤如下：

(1)人脸旋转角度在线预测：

得到不同旋转角度人脸，在Adaboost方法基础上，构建相应旋转角度范围的分类器，得到不同的cascade检测结构；

(2)针对一个待检图像子窗口，依次按照变化的尺度对候选人脸区域进行检测，5类角度的cascade检测结构的前级强分类器都对其进行分类检测，采用阈值比较的方法确定该区域的旋转角度；

(3)人脸检测与定位：

利用步骤(2)中得到的人脸旋转角度所对应的cascade检测结构的后级强分类器对步骤(2)中的待检图像子窗口进行分类检测，以确定该子窗口是否真的为该旋转角度下的人脸图像，若是则进入步骤(4)，若不是则判定为非人脸，搜索新的候选区域，进入步骤(2)；其它4个角度的cascade检测结构的强分类器则不再参与检测分类；

(4)人脸滤波与跟踪：

定位出人脸区域后，采用模板匹配与滤波算法优化人脸区域的位置；

(5)根据当前帧及前若干帧定位到的人脸位置，采用跟踪算法对下一帧图像中人脸出现的位置进行预测，从而为下一帧整个人脸定位过程的进行节省时间。

进一步的，步骤(1)中所述的人脸检测方法为基于知识的人脸检测方法、基于特征的人脸检测方法、模板匹配的人脸检测方法或基于表象的人脸检测方法。

进一步的，步骤(4)中所述的优化人脸定位的方法为：采用跟踪算法对定位出的人脸位置进行跟踪、采用模板匹配与计算相关的方法提高人脸定位的性能、采用滤波方法提高人脸定位的性能，能够选择上述三类方法中的一种或两种以上的组合。

进一步的，步骤(5)中所述跟踪算法为Kalman预测算法或者Mean-Shift预测算法。

进一步的，基于在线预测的旋转人脸检测方法，具体步骤如下：

以基于特征的Adaboost方法为人脸旋转角度在线预测算法：

(1)得到不同旋转角度人脸，构建相应旋转角度范围的分类器，得到不同的cascade检测结构；

(2)针对一个待检图像子窗口，依次按照变化的尺度对候选人脸区域进行检测，每类旋转角度的cascade检测结构的前级强分类器都对其进行分类检测，采用阈值比较的方法确定该区域的旋转角度；

人脸检测与定位：(3)利用步骤(2)中得到的人脸旋转角度所对应的cascade检测结构的后级强分类器对步骤(2)中的待检图像子窗口进行分类检测，以确定该子窗口是否真的为该旋转角度下的人脸图像，若是则进入步骤(4)，若不是则判定为非人脸，搜索新的候选区域，进入步骤(2)；其它4个角度的cascade检测结构的强分类器则不再参与检测分类；

人脸滤波与跟踪：

(4)定位出人脸区域后，采用模板匹配与滤波算法优化人脸区域的位置；

(5)根据当前帧及前若干帧定位到的人脸位置，采用Kalman预测算法对下一帧图像中人脸出现的位置进行预测，对人脸的移动设定一定的匀速移动模型或匀加速移动模型，预测得到下一帧图像中人脸的可能区域，这些区域直接进行人脸检测，从而加速下一帧图像的定位过程。

本发明的改进是：与现有的人脸定位方法与装置相比，使用了在线预测的方法，提高了多姿态人脸检测的鲁棒性；在人脸定位阶段采用滤波算法提高了人脸定位的精确性；在定位得到人脸区域后通过跟踪算法预测出下一帧图像中可能的人脸区域，从而为后续帧的人脸定位节省了时间。

本发明的有益效果是：利用在线预测完成多姿态的目标检测，在不提高系统复杂性的前提下，通过较少的时间代价完成了旋转目标的检测，增强了系统的鲁棒性，提高了定位精度。在图像处理阶段，采用分级定位、滤波、跟踪、模板匹配结合相关计算优化等多种方法，提高了定位的精确性、稳定性，保证了定位的实时性。

附图说明

图1是本方法的流程图；

图2是在线预测的流程图；

图3是本发明中的几种人脸旋转的样例图；

图4是本发明图像处理中能够使用的几类Haar特征的示例；

图5(a)是本发明摄像装置的示意图；

图5(b)是本发明人脸的示意图。

图6是Kalman一步预测器框图

具体实施方式

如图1为基于在线预测的人脸检测方法流程图，本发明的流程中，从摄取或输入图像后进行处理。

如图5，摄像装置采用奇偶场分别采集图像的CCD，在CCD的周围近距离的布置一圈近红外LED，同时在相对远离CCD的两边沿垂直方向各布置一列近红外LED。奇场图像将会出现亮瞳效应，偶场图像则不会出现亮瞳效应。人脸到摄像装置的距离一般在50厘米到150厘米之间。通过对同一帧图像的两场进行差分，眼睛区域会呈现出很大的灰度值差，从而能够得到人脸的大概位置。

本发明提出的基于在线预测的旋转人脸检测方法，在人脸候选区域利用在线预测的方法得到人脸旋转的角度，然后通过基于知识的、基于特征的、模板匹配的或基于表象的人脸定位的方法判定是否是人脸区域；其中，在人脸定位阶段采用跟踪算法以加速后续帧图像人脸定位的速度。

本实施例以基于特征的Adaboost方法为在线预测算法为例，如图2、3所示，首先，采集候选区域人脸样本，包括不同角度的人脸、非人脸两类样本库，在样本库上进行机器学习，寻找到在正负样本库上区分性能较好的若干Haar特征。设有训练样本集合S＝{(x_1,y_1),(x_2,y_2),…,(x_m,y_m)}，初始化分配给每个样本权重，接着用弱分类器空间H中所有的弱分类器对样本分类，将分类结果与权重相乘后加和，选出效果最好的弱分类器h_1，按照分类结果改变样本权重，误分类的样本提高权重，接着重复以上步骤，从弱分类器空间中选出预测效果最好的弱分类器h_2，重复N次，就获得了N个弱分类器。每个弱分类器也会被分配一个权重，分类效果好的弱分类器分配的权重大，分类效果差的弱分类器分配的权重小。最终的强分类器分类的结果就是N个弱分类器按照各自权重投票分类产生的结果。

每个待检测窗口经过强分类器后得到其为人脸的置信值，置信值越大，窗口是人脸窗口的概率也越大。在此基础上，给每一级强分类器选取合理的阈值，达到过滤掉非人脸样本，留下人脸样本的目的。

特别的是，针对不同角度的旋转人脸，分别进行AdaBoost训练。以(-75°,-45°)、(-45°,-15°)、(-15°,+15°)、(+15°,+45°)和(+45°,+75°)为例，针对每一类旋转角度都得到一个由9级强分类器构成的结构相同的cascade检测结构。

检测时，针对一个待检图像子窗口，采集此窗口的Haar特征值，分别送到5个角度的cascade检测结构进行检测，先利用前3级强分类器都对其进行分类检测，通过每个角度的前三级分类器后，选出置信度最高的分类器，将置信度与训练所得区分人脸的置信度相比，如果大于阈值，用剩余的后级强分类器对该待检图像子窗口进行分类检测，以确定该子窗口是否真的为该旋转角度下的人脸图像，其它4个角度cascade检测结构的强分类器则不再参与检测分类；如果小于阈值，则判定为非人脸。而前三级强分类中包含的弱分类器数目较少，所以对检测系统的检测效率影响不大，仍然可以保证系统监测的实时性。图4所示为AdaBoost算法中可能用到的几类Haar特征。

若是该旋转角度下的人脸图像，则对其进行优化处理，优化人脸定位的方法为：首先存储前几帧的人脸图像作为模板，在此帧检测位置周围采用三步搜索的块模板匹配的方法，选取匹配度最高的区域作为人脸区域，以此减小待检测窗口尺度变化粒度太大造成的误差，提高人脸定位的精度。

三步搜索(TSS)算法是一种非常经典的运动估计快速算法,它从搜索窗口的原点(0,0)开始,以最大搜索长度的一半为步长,计算中心点及其周围8个邻点的块匹配误差,找到最小块匹配误差(minimum block distortion,MBD)点。下一步以该点为中心,步长减半,在缩小的方形上的9个点中找MBD点,依次类推,直到搜索步长减为1。若搜索窗口的最大步长为7,则TSS以4,2,1为步长序列,经历三步完成运动估计。

此外，以Kalman跟踪算法为例对下一帧图像中人脸出现的位置进行预测。具体的方法为：选取匀加速移动模型，采集人脸的位置变化序列，针对样本，选择卡尔曼算法方程的适宜的参数。卡尔曼滤波的计算流程如下：

由以上假定可以得到卡尔曼预测的递推流程：

1.在t＝k-1时刻，计算

2.计算预测误差的协方差矩阵

3.计算增益矩阵

4.计算对当前时刻状态的估计值：

5.计算估计误差P(k|k)＝(I-K(k)C(k))P(k|k-1)；

在下一时刻，重复1-5操作。这一过程的框图如图6所示。

应用中，Kalman算法将会在已知位置序列的基础上，根据新的数据和前一时刻的参数估计值，借助于系统本身的状态转移方程，按照一套递推公式，即可算出新的参数估计值。预测得到下一帧图像中人脸的可能区域，这些区域直接进行人脸检测，从而加速了下一帧图像的定位过程。

Claims (1)

1.基于在线预测的旋转人脸检测方法，具体步骤如下：

（1）人脸旋转角度在线预测：根据得到的不同旋转角度人脸，在Adaboost方法基础上，构建相应旋转角度范围的分类器，得到不同的cascade检测结构；

（2）针对一个待检图像子窗口，依次按照变化的尺度对候选人脸区域进行检测，每类角度的cascade检测结构的前级强分类器都对其进行分类检测，采用阈值比较的方法确定该区域的旋转角度；

（3）人脸检测与定位：利用步骤（2）中得到的人脸旋转角度所对应的cascade检测结构的后级强分类器对步骤（2）中的待检图像子窗口进行分类检测，以确定该子窗口是否真的为该旋转角度下的人脸图像，若是则进入步骤（4），若不是则判定为非人脸，搜索新的候选区域，进入步骤（2）；其它4个角度的cascade检测结构的强分类器则不再参与检测分类；

（4）人脸滤波与跟踪：定位出人脸区域后，采用模板匹配与滤波算法优化人脸区域的位置；并进行优化人脸定位：采用跟踪算法对定位出的人脸位置进行跟踪、采用模板匹配的方法提高人脸定位的性能、采用滤波方法提高人脸定位的性能，能够选择上述三类方法中的一种或两种以上的组合；

（5）根据当前帧及前若干帧定位到的人脸位置，采用跟踪算法对下一帧图像中人脸出现的位置进行预测，从而为下一帧整个人脸定位过程的进行节省时间；所述跟踪算法为Kalman预测算法或者Mean-Shift预测算法；

其中步骤（1）中所述的人脸检测方法为基于知识的人脸检测方法、基于特征的人脸检测方法、模板匹配的人脸检测方法或基于表象的人脸检测方法；步骤（1）中所述的cascade检测结构为由步骤（2）中所述前级强分类器步骤（3）中所述后级强分类器构成；

步骤（1）与（2）以基于特征的Adaboost方法为人脸旋转角度在线预测算法，具体步骤如下：

1）得到不同旋转角度人脸，在Adaboost方法基础上，构建相应旋转角度范围的分类器，得到不同的cascade检测结构；

2）针对一个待检图像子窗口，依次按照变化的尺度对候选人脸区域进行检测，每类角度的cascade检测结构的前几级强分类器都对其进行分类检测，采用阈值比较的方法确定该区域的旋转角度；

步骤（3）人脸检测与定位的具体步骤：

利用步骤（2）中得到的人脸旋转角度所对应的cascade检测结构的后级强分类器对步骤（2）中的待检图像子窗口进行分类检测，以确定该子窗口是否真的为该旋转角度下的人脸图像，若是则进入步骤（4），若不是则判定为非人脸，搜索新的候选区域，进入步骤（2）；其它角度的cascade检测结构的强分类器则不再参与检测分类；

步骤（4）人脸滤波与跟踪的具体步骤：

1）定位出人脸区域后，采用模板匹配与滤波算法优化人脸区域的位置；

2）根据当前帧及前若干帧定位到的人脸位置，采用Kalman预测算法对下一帧图像中人脸出现的位置进行预测，对人脸的移动设定一定的匀速移动模型或匀加速移动模型，预测得到下一帧图像中人脸的可能区域，这些区域直接进行人脸检测，从而加速下一帧图像的定位过程。