CN101625721B - 基于统计数据的人脸检测和跟踪方法 - Google Patents

Abstract

一种基于统计数据的人脸检测和跟踪方法，在不增加硬件成本的前提下，利用系统中现有的数字信号处理器统计数据作为基础，剔除了大量的非人脸区域，然后在CPU上实现了人脸检测，运行了一个快速的基于局部二元模式特征的支持向量机人脸检测算法，最后根据运动矢量数据进行了人脸跟踪。本发明提供的基于统计数据的人脸检测和跟踪方法清晰明确，检测精度高，速度快。

Description

基于统计数据的人脸检测和跟踪方法

技术领域

本发明涉及嵌入式智能视频分析和监控领域，特别是涉及一种基于数字信号处理器(DSP)统计数据的人脸检测和跟踪方法。

背景技术

人脸检测(Face Detection)就是从各种不同的场景中检测出人脸的存在并确定其位置，人脸跟踪就是在人脸检测的基础上跟踪已经检测到了的人脸。人脸检测和跟踪技术可以应用到新一代的人机界面、安全访问和视频监控以及基于内容的检索等领域。在摄像机、照相机以及安防监控设备高速发展的今天，人脸检测和跟踪越来越受到人们的重视，慢慢的成为了一种标准的配置，目前主流的数码相机和摄像机上都具备了这个功能，它可以在摄像和拍照的过程中提供娱乐和辅助对焦的功能。另外，在安防监控领域中，人脸检测和跟踪更加得到广泛的实际应用，比如门禁识别，人流量统计，银行取款机监控等等。

就目前来看，人脸检测算法也目益成熟，比如2001年，Paul Viola等人提出的基于海尔特征(Harr-like)的层叠式分类器(AdaBoost)的人脸检测算法，已经接近于实时运算的速度。但是人脸检测依然是一个运算量非常巨大的任务，尤其在不具备浮点运算功能的嵌入式设备上，大多数只能依靠添加一块或多块运算能力比较强的数字信号处理器(DSP)来专门进行运算人脸检测算法，显然，这样的硬件成本投入是非常高的。

所以在计算资源和计算能力有限的嵌入式平台上，在算法也基本成熟的情况下，如何实现一个廉价的、快速的，并且消耗计算资源(CPU和DSP)和存储资源少的实时人脸检测系统已经成为工业界的当务之急。

发明内容

本发明提供的一种基于统计数据的人脸检测和跟踪方法，实现简单，检测精度高，运算速度快，并且不需要添加硬件来运行，从而节约硬件成本。

为了达到上述目的，本发明提供了一种基于统计数据的人脸检测和跟踪方法，该方法基于数字信号处理器和CPU的硬件基础，该方法包含以下步骤：

步骤1、初始化人脸分类器；

步骤1.1、收集人脸正样本；

步骤1.2、收集人脸负样本；

步骤1.3、提取局部二元模式(Local Binary Pattern)特征；

局部二元模式特征是一种灰度范围内的纹理度量，它从一种纹理局部近邻定义中衍生出来，它可以用来做人脸检测和人脸识别，它突出的特性是计算简单，一般计算一个像素的特征为4次或者8次减法运算即可；

步骤1.4、利用支持向量机(Support Vector Machine)训练样本集；

利用支持向量机对得到的正负样本的局部二元模式特征进行训练，从样本集中得到一组特征向量，最后得到人脸分类器文件；

步骤2、数字信号处理器计算得到每一帧的图像统计数据；

步骤2.1、对输入图像划分块，将图像划分成M×N个块，M为垂直方向划分块个数，N为水平方向划分块个数；

输入图像宽度为input_image_width，高度为input_image_height，单位为像素，并且输入图像为RGB三通道彩色图像；

对输入图像划分块，块划分的越细，计算量越大，但是计算会越精确，反之亦然；

步骤2.2、计算块平均值：包括亮度块平均值，红绿蓝增益(RGB gain)块平均值，运动矢量(Motion Vector)块平均值；

步骤2.2.1、计算亮度块平均值；

步骤2.2.1.1、根据RGB的值来计算亮度Y；

步骤2.2.1.2、根据M×N个块的划分，对块中的每个像素进行亮度计算，最后计算出每个块的亮度平均值；

$Y_{\mathrm{average}}=\left({\mathrm{\Σ}}_{i=0}^n{Y}_i\right)/n,$

其中Y_average表示某个块的亮度平均值，Y_i表示该块中第i个像素的亮度值，n表示块的所有像素个数；

步骤2.2.2、计算红绿蓝增益(RGB gain)块平均值；

步骤2.2.2.1、根据M×N个块的划分，对块中的每个像素进行红绿蓝增益计算；

步骤2.2.2.2、计算出每个块的红绿蓝增益平均值；

步骤2.2.3、计算运动矢量(Motion Vector)块平均值；

运动矢量的概念来源于视频压缩，目前数码摄像机中的视频压缩大多数是遵循运动图像专家组(MPEG)标准，包括MPEG1，MPEG2和MPEG4。根据这些标准压缩的话，摄像机录制的过程中必然会产生运动矢量，这个也是由数字信号处理器(DSP)在压缩过程中提供的；

步骤2.2.3.1、计算一个宏块的运动矢量；

一个块的运动矢量就是该块在第k帧图像与第k+1帧图像之间的位移，用(x，y)表示；

步骤2.2.3.2、计算块的运动矢量；

将块内包含的宏块的运动矢量进行平均计算，得到平均值；

步骤3、判断是否处于人脸跟踪状态，且跟踪时间小于1秒，若是，转到步骤8，若否，转到步骤4；

步骤4、对亮度块平均值进行运动检测，剔除运动过快的区域；

步骤4.1、判断是否属于运动过快的区域，若|x-y|＞Threshold，则判定这个块是运动过快的，将其排除在人脸检测的范围之外；

其中，x是第i块的亮度块平均值在第k帧的时候的值，y是第i块的亮度块平均值在第k+1帧的时候的值，Threshold为预先设定一个阀值；

步骤4.2、判断是否有M×N/3个数的块都运动过快，若是，则认为整个帧都不适合人脸检测；

步骤5、获得人体肤色区域；

步骤5.1、判定当前的图像块是否属于人体肤色区域；

人体肤色的红绿蓝增益会落在一个较固定的范围内，并且各色人种的范围相差不多，之间的交集范围非常大，可以利用这个范围来判定当前的块是否属于人体肤色区域；

步骤5.2、对所有M×N个块进行统计，统计连续出现属于人体肤色区域的块；

步骤5.2.1、计算每一块的像素大小；

步骤5.2.2、初步确定人体肤色区域包含的块数；

步骤5.2.3、对初步确定的人体肤色区域进行扩大，确定最终的人体肤色区域；

步骤5.3、对多个人体肤色区域逐一进行标注序号，以便后续进行运算；

步骤6、在人体肤色区域内进行人脸检测；

根据人脸分类器，开始从人体肤色区域大小窗口到样本像素大小窗口对步骤5得到的每个人体肤色区域进行扫描，确定人脸位置；

步骤7、判断是否检测到人脸，若是，转到步骤8，若否，转到步骤2；

步骤8、对人脸位置进行运动跟踪，然后转到步骤2。

本发明基于现有的数字信号处理器统计数据，首先就根据亮度块平均值和红绿蓝增益块平均值排除了大量的非人脸区域，对待检测人脸区域检测到人脸后，利用视频压缩过程中的运动矢量可以准确跟踪，本发明检测精度高，跟踪准确，运算速度快，并且没有增加硬件成本。

附图说明

图1是本发明的具体实施例的硬件结构图；

图2是本发明的块划分示意图；

图3是本发明的人体肤色区域检测图；

图4是本发明的运动矢量人脸跟踪示意图；

图5是本发明的方法流程图。

具体实施方式

以下根据图1～图5，具体说明本发明的较佳实施例：

如图1所示，本发明提供了一种基于统计数据的人脸检测和跟踪方法，基于数字信号处理器和CPU的硬件基础，实现对人脸的检测和跟踪。

本实施例中，实现本方法的硬件为数码摄像机，硬件结构包括：

电路连接的数字信号处理器和CPU；

分别电路连接所述数字信号处理器和CPU的存储器RAM；

电路连接所述数字信号处理器的镜头和感光器件，将RGB数据传送给数字信号处理器；

电路连接所述CPU的显示设备。

如图5所示，本发明提供的基于统计数据的人脸检测和跟踪方法，包含以下步骤：

步骤1、初始化人脸分类器，这个过程不需要实时操作，所以可以在PC上实现；

步骤1.1、收集人脸正样本；

本实施例中，共收集了500张正面各色人种的人脸，大小为20×20像素大小，并且对这些样本分别做镜像，以及六种左右角度倾斜((-20°-15°-8°，+8°+15°+20°)，于是一共获得4000张人脸正样本；

步骤1.2、收集人脸负样本；

本实施例中，收集了1000张非人脸样本，大小为20×20像素大小，并且采用自举技巧，也就是利用最后的人脸检测算法进行检测的时候，把非人脸误判为人脸的图像也放入到负样本中，一共采用了7轮自举，最后确定下来4000张非人脸样本；

步骤1.3、提取局部二元模式特征；

这里以典型的LBP_4，1特征为例，比如某个像素为P，与它相邻的上下左右像素个数为4个，分别记为(P1，P2，P3，P4)，那么如果Pi(i＝1，2，3，4)大于P，则Xi(i＝1，2，3，4)＝0，否则Xi(i＝1，2，3，4)＝1，最后(X1，X2，X3，X4)即为对于像素P的LBP_4，1局部二元模式特征；

本实施例采用了特征维数较小的LBP_4，1特征；

步骤1.4、利用支持向量机训练样本集；

利用支持向量机对得到的正负样本的局部二元模式特征进行训练，得到人脸分类器文件，最终的人脸分类器文件的特征向量个数为300个左右，向量的维数是144维；

步骤2、数字信号处理器计算得到每一帧的图像统计数据；

步骤2.1、对输入图像划分块，将图像划分成M×N个块，M为垂直方向划分块个数，N为水平方向划分块个数；

本实施例中，输入图像大小为320×240，即input_image_width＝320，input_image_height＝240；

如图2和图3所示，本实施例中，图像划分是40×30，即M＝40，N＝30；

步骤2.2、计算块平均值：包括亮度块平均值，红绿蓝增益块平均值，运动矢量块平均值；

步骤2.2.1、计算亮度块平均值；

步骤2.2.1.1、根据RGB的值来计算亮度Y；

本实施例中，Y＝0.299R+0.587G+0.114B；

步骤2.2.1.2、根据M×N个块的划分，对块中的每个像素进行亮度计算，最后计算出每个块的亮度平均值；

$Y_{\mathrm{average}}=\left({\mathrm{\Σ}}_{i=0}^n{Y}_i\right)/n,$

其中Y_average表示某个块的亮度平均值，Y_i表示该块中第i个像素的亮度值，n表示块的所有像素个数；

因为亮度块平均值的计算量不大，数字信号处理器DSP和CPU都可以承担，但是因为CPU还要执行一个人脸检测算法，为了减轻CPU的负担，选择数字信号处理器DSP完成计算；

步骤2.2.2、计算红绿蓝增益(RGB gain)块平均值；

步骤2.2.2.1、根据M×N个块的划分，对块中的每个像素进行红绿蓝增益计算；

步骤2.2.2.2、计算出每个块的红绿蓝增益平均值；

本实施例中，红绿蓝增益平均值的计算公式类似于求亮度块平均值公式；

本实施例中，计算红绿蓝增益块平均值的计算来源于数码摄像机做自动白平衡(Auto White Balance)的计算过程，利用数字信号处理器(DSP)自动白平衡通常为数码摄像机或者数码相机的默认设置，所以这一步不会增加CPU运算量，只是把现成的数字信号处理器(DSP)数据提取出来就可以了；

步骤2.2.3、计算运动矢量(Motion Vector)块平均值(如图4所示)；

步骤2.2.3.1、计算宏块的运动矢量；

这里用到的压缩视频流的顺序是“IPPPPPPPPIPPPPPPP…”，其中I代表I帧，P代表P帧；

运动矢量是以宏块(macro block)为单位的，宏块大小通常为16×16或8×8大小；

一个宏块的运动矢量就是该块在第k帧图像与第k+1帧图像之间的位移，某个块K包含了4个相邻宏块，这4个宏块的运动矢量分别(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)；

本实施例中，宏块的运动矢量来源于数码摄像机录制过程中做MPEG压缩的计算过程，在录制MPEG视频的时候，数字信号处理器(DSP)必须要计算每个宏块的运动矢量，利用数字信号处理器(DSP)做MPEG压缩通常为数码摄像机或者数码相机的默认设置，所以这一步不会增加CPU运算量，只是把现成的数字信号处理器(DSP)数据提取出来；

步骤2.2.3.2、计算块的运动矢量；

在M×N的块中，块K的运动矢量为((x1+x2+x3+x4)/4，(y1+y2+y3+y4)/4))；

本实施例中，运动矢量的计算不会增加CPU的运算量；

在步骤2中，得到了每一帧的典型的统计数据，在这一步中，CPU基本上没有计算负担，它要做的只是把数字信号处理器的现成的数据提取出来即可。另外，数字信号处理器也没有做很多特别的计算工作，它也只是把它工作中的一些中间数据平均一下，然后传输出来而已，因为自动白平衡和录制都是它本身就需要完成的工作；

步骤3、判断是否处于人脸跟踪状态，且跟踪时间小于1秒，若是，转到步骤8，若否，转到步骤4；

步骤4、对亮度块平均值进行运动检测，剔除运动过快的区域；

人脸检测一般都是对相对稳定的视频或者图像进行的，本实施例选用了常用的帧差法，因为它计算简单，只需要对两个像素的亮度做减法；

步骤4.1、判断是否属于运动过快的区域，若|x-y|＞Threshold，则判定这个块是运动过快的，将其排除在人脸检测的范围之外；

其中，x是第i块的亮度块平均值在第k帧的时候的值，y是第i块的亮度块平均值在第k+1帧的时候的值，Threshold为预先设定一个阀值；

步骤4.2、判断是否有M×N/3个数的块都运动过快，若是，则认为整个帧都不适合人脸检测；

步骤5、获得人体肤色区域(如图3所示)；

步骤5.1、判定当前的图像块是否属于人体肤色区域；

人体肤色的红绿蓝增益会落在一个较固定的范围内，并且各色人种的范围相差不多，之间的交集范围非常大，可以利用这个范围来判定当前的块是否属于人体肤色区域；

在本实施例中，相对于绿色而言，肤色红增益范围大概在1000至1400，肤色蓝增益范围大概在1400至1800等，对于不同的感光器件和硬件设计，这个值有所差别，需要分别测量；

步骤5.2、对所有M×N个块进行统计，统计连续出现属于人体肤色区域的块；

对于人脸的话，通常这些块的排列应该是一个矩形；

步骤5.2.1、计算每一块的像素大小；

本实施例中，采用典型的M＝40，N＝30，输入图像宽度input_image_width＝320，高度input_image_height＝240。那么每一块的大小是8×8像素大小(8＝input_image_width/M＝input_image_height/N)；

步骤5.2.2、初步确定人体肤色区域包含的块数；

本实施例中，通常假设人脸的大小范围是20×20像素到80×80像素大小，这就意味着对于20×20的人脸大小而言，它对应着2×2块或者3×3块大小的人体肤色区域，同理可得对于人脸大小80×80像素需要10×10个块；

步骤5.2.3、对初步确定的人体肤色区域进行扩大，确定最终的人体肤色区域；

为了确保人脸落在人体肤色区域，对于20×20的人脸大小而言，选择3×3块是比较合适的，3×3块大小也就是(3×8)×(3×8)＝24×24像素大小，对于人脸大小80×80像素来说，为了确保人脸落在人体肤色区域，把人体肤色区域扩展到11×11块大小；

步骤5.3、对多个人体肤色区域逐一进行标注序号，以便后续进行运算；

步骤6、在人体肤色区域内进行人脸检测；

根据人脸分类器，开始从人体肤色区域大小窗口到样本像素大小窗口对步骤5得到的每个人体肤色区域进行扫描，确定人脸位置；

本实施例中，开始从人体肤色区域大小窗口到20×20像素大小(因为样本大小是20×20像素，所以最小的扫描窗口是20×20)窗口对步骤5中得到的每个人体肤色区域进行扫描，步长根据人脸三庭五眼原则设为4个像素，扫描窗口缩放因子设为1.25左右；

虽然步骤6的运算基本上是靠CPU完成的，但是这样做的理由是CPU做检测算法时候的计算负担较轻，第一，检测方法的计算复杂度是比较低的O(n²)，第二，由于分类器的特征向量个数和维数很低，实际消耗的CPU运算周期少，第三，由于步骤4和步骤5已经排除了大量的非人脸区域，因为被检测的人脸的大小在绝大多数情况下接近于人体肤色区域块大小，所以这一步是从较大的扫描窗口递减到较小的窗口扫描，也就是扫描窗口大小是从人体肤色区域块大小递减到20×20像素大小，而不是从20×20像素大小窗口递增扫描到人体肤色区域块大小窗口，这个递减扫描过程中大大的降低了扫描次数，经过实验统计，前三轮的扫描检测成功率达到80％；

步骤7、判断是否检测到人脸，若是，转到步骤8，若否，转到步骤2；

步骤8、对人脸位置进行运动跟踪，然后转到步骤2；

根据步骤6检测到的人脸位置，以及在步骤2中得到了所有M×N个块在录制的视频压缩过程中的运动矢量，所以只需要对人脸位置对应的块的位置进行运动跟踪，不会对CPU造成计算负担；

本实施例中，对于320×240像素的输入图像，采用M＝40，N＝30的分块，那么最小的人脸大小20×20像素对应至少2×2的块的大小，所以可以实现位置偏差小而准确的跟踪。另外由于得到了步骤6较高的人脸检测率的保证，为了减轻CPU的计算负担，只需要1秒钟做一次步骤6的人脸检测，然后利用步骤8进行跟踪就可以满足实时的人脸检测和跟踪的需求。

本发明在一块通用定点DSP和一块ARM9 200MHz的定点CPU作为硬件的基础上，运行以上方法步骤，对于320×240的输入图像的人脸检测速度为100ms，检测率为90％以上，而且一样适用于有一定倾斜角度的人脸，另外由于跟踪不消耗CPU计算资源，最后的检测和跟踪速度可以达到10帧/秒，CPU占用率30％-40％左右，内存需求2M字节左右。

如果实现Paul Viola等人提出的基于Harr-like的AdaBoost的人脸检测算法，首先仍然需要一块通用定点DSP做自动白平衡和MPEG压缩等等工作，但是不利用现有的数字信号处理器统计数据，那么如果只是依靠一块ARM9 200MHz的CPU，对于320×240的输入图像的人脸检测速度为3秒左右，在检测率为90％左右的情况下CPU的占用率接近100％，由于这个检测速度不理想，目前这个方法需要附加另一块通用DSP独立完成人脸检测计算，这样就使得硬件成本显著增高。

所以本发明与背景技术相比具有显著的进步。

本发明在不增加硬件成本的前提下，利用现有的数字信号处理器统计数据作为基础，剔除了大量的非人脸区域，然后在嵌入式的CPU上实现了人脸检测，利用一个快速的基于局部二元模式特征的支持向量机人脸检测方法，最后根据运动矢量数据进行了人脸跟踪。整个过程清晰明确，检测精度高，速度快。

在安防监控领域，因为大多情况下数码摄像机都是处在录制过程中，所以用录制过程中产生的运动矢量进行物体跟踪是一个非常方便和高效率的选择。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (7)

1.一种基于统计数据的人脸检测和跟踪方法，该方法基于数字信号处理器和CPU的硬件基础，其特征在于，该方法包含以下步骤：

步骤1、初始化人脸分类器；

步骤2、数字信号处理器计算得到每一帧的图像统计数据；

步骤2.1、对输入图像划分块，将图像划分成MxN个块，M为垂直方向划分块个数，N为水平方向划分块个数；

输入图像宽度为input_image_width，高度为input_image_height，单位为像素，并且输入图像为RGB三通道彩色图像；

步骤2.2、计算块平均值：包括亮度块平均值，红绿蓝增益块平均值，运动矢量块平均值；

步骤3、判断是否处于人脸跟踪状态，且跟踪时间小于1秒，若是，转到步骤8，若否，转到步骤4；

步骤4、对亮度块平均值进行运动检测，剔除运动过快的区域；

步骤4.1、判断是否属于运动过快的区域，若|x-y|＞Threshold，则判定这个块是运动过快的，将其排除在人脸检测的范围之外；

其中，x是第i块的亮度块平均值在第k帧的时候的值，y是第i块的亮度块平均值在第k+1帧的时候的值，Threshold为预先设定一个阀值；

步骤4.2、判断是否有MxN/3个数的块都运动过快，若是，则认为整个帧都不适合人脸检测；

步骤5、获得人体肤色区域；

步骤5.1、判定当前的图像块是否属于人体肤色区域；

步骤5.2、对所有MxN个块进行统计，统计连续出现属于人体肤色区域的块；

步骤5.3、对多个人体肤色区域逐一进行标注序号，以便后续进行运算；

步骤6、在人体肤色区域内进行人脸检测；

根据人脸分类器，开始从人体肤色区域大小窗口到样本像素大小窗口对步骤5得到的每个人体肤色区域进行扫描，确定人脸位置； 

步骤7、判断是否检测到人脸，若是，转到步骤8，若否，转到步骤2；

步骤8、对人脸位置进行运动跟踪，然后转到步骤2。

2.如权利要求1所述的基于统计数据的人脸检测和跟踪方法，其特征在于，所述的步骤1包含以下步骤：

步骤1.1、收集人脸正样本；

步骤1.2、收集人脸负样本；

步骤1.3、提取局部二元模式特征；

以典型的LBP_4，1特征为例，比如某个像素为P，与它相邻的上下左右像素个数为4个，分别记为(P1，P2，P3，P4)，那么如果Pi(i＝1，2，3，4)大于P，则Xi(i＝1，2，3，4)＝0，否则Xi(i＝1，2，3，4)＝1，最后(X1，X2，X3，X4)即为对于像素P的LBP_4，1局部二元模式特征；

步骤1.4、利用支持向量机训练样本集；

利用支持向量机对得到的正负样本的局部二元模式特征进行训练，从样本集中得到一组特征向量，最后得到人脸分类器文件。

3.如权利要求1所述的基于统计数据的人脸检测和跟踪方法，其特征在于，所述的步骤2.2包含以下步骤：

步骤2.2.1、计算亮度块平均值；

步骤2.2.2、计算红绿蓝增益块平均值；

步骤2.2.3、计算运动矢量块平均值。

4.如权利要求3所述的基于统计数据的人脸检测和跟踪方法，其特征在于，所述的步骤2.2.1包含以下步骤：

步骤2.2.1.1、根据RGB的值来计算亮度Y；

步骤2.2.1.2、根据MxN个块的划分，对块中的每个像素进行亮度计算，最后计算出每个块的亮度平均值；

其中Y_average表示某个块的亮度平均值，Yi表示该块中第i个像素的亮度值，n表示块的所有像素个数。

5.如权利要求3所述的基于统计数据的人脸检测和跟踪方法，其特征在于，所述的步骤2.2.2含以下步骤： 

步骤2.2.2.1、根据MxN个块的划分，对块中的每个像素进行红绿蓝增益计算；

步骤2.2.2.2、计算出每个块的红绿蓝增益平均值。

6.如权利要求3所述的基于统计数据的人脸检测和跟踪方法，其特征在于，所述的步骤2.2.3以下步骤：

步骤2.2.3.1、计算一个宏块的运动矢量；

一个宏块的运动矢量就是该块在第k帧图像与第k+1帧图像之间的位移，用(x，y)表示；

步骤2.2.3.2、计算块的运动矢量；

将块内包含的宏块的运动矢量进行平均计算，得到平均值。

7.如权利要求1所述的基于统计数据的人脸检测和跟踪方法，其特征在于，所述的步骤5.2包含以下步骤：

步骤5.2.1、计算每一块的像素大小；

步骤5.2.2、初步确定人体肤色区域包含的块数；

步骤5.2.3、对初步确定的人体肤色区域进行扩大，确定最终的人体肤色区域。 

Images