CN102819734B - 多模式切换的人脸检测装置及方法 - Google Patents

Abstract

本发明公开了一种多模式切换的人脸检测装置及方法。其装置分为五个模块：控制器、分类器缓存器、人脸检测处理单元、人脸图像缓存器和图像缩小单元，控制器包括有限状态机和寄存器，采用寄存器存储影响人脸检测性能的五个关键参数，通过对它们的控制改变控制器发出的控制信号，使得人脸检测具有可调的检测率、检测速度和输入图像分辨率，最终实现检测装置多种模式工作的目的。

Description

多模式切换的人脸检测装置及方法

技术领域

本发明属于人脸检测技术，具体涉及多模式切换的人脸检测装置及方法。

背景技术

人脸检测技术是指从一幅给定图像中确定其是否含有人脸，并对人脸位置与范围进行定位的过程。随着社会的发展，人脸的应用场合飞速增长，人脸检测已不仅仅服务于人脸识别，它在许多其他领域都起到了举足轻重的作用。在金融、司法、海关、军事及人们日常生活等各个领域中扮演越来越重要的角色，发展速度异常迅猛。

但不同的应用场合往往对人脸检测的精确度、资源消耗等指标有不同程度的要求。在一种应用场合中工作良好的检测系统，并不一定能符合另一种应用的需求。比如用于人流统计的人脸检测系统在小区安防监控中就不能发挥最佳作用。而目前的人脸检测系统都是只偏重于某一个或几个指标，或主要偏重于速度和精确度，对功耗和面积消耗要求不高。或者关注了面积和功率消耗，但针对的只是小分辨率输入图像。如果像这样针对每一个应用环境的特殊情况开发符合各项指标的人脸检测系统，固然能很好的满足其需要，但是由此带来的人力和物力的消耗也是很大的。尤其对于一些移动性设备，随着外界应用环境的改变需要能灵活快速改变检测性能指标。于是，人脸检测的未来发展又面临了一个新的挑战，那就是如何同时满足各种不同场合对检测性能的不同要求。

有文献提出了采用较多相似的子结构组成一个脉动阵列的结构，使结构便于进一步裁减和扩展以满足对不同分辨率图像和具有不同速度要求的人脸检测。这是从设计改变便利性的角度去解决可配置的问题，但是这没能避免对硬件结构的重新设计，而且一旦硬件结构确定，它的性能也不能再改变了。

为了更便利的调整人脸检测性能，一些研究者用可编程逻辑硬件，例如FPGA和其他类似的可编程硬件平台去实现其可配置性。将人脸检测的关键部分采用可配置逻辑模块实现，这些模块的电路结构可以通过软件编程轻易改变。但是可编程逻辑模块，需要消耗大量的硬件资源，又往往不是最简电路，消耗的功耗也相对较多。

发明内容

鉴于现有技术所存在的上述问题，本发明的目的在于提供一种不改变电路，而可以利用外部信号的改变进行多模式切换的人脸检测装置及方法，能灵活满足各种不同场合对检测性能的不同需求，所需硬件资源小，非常适合随着应用场合改变而快速变动，解决了便携移动设备多场合应用的需求。

本发明装置所采用的技术方案如下：一种多模式切换的人脸检测装置，包括分类器缓存器、人脸检测处理单元、人脸图像缓存器和图像缩小单元，人脸检测处理单元分别与分类器缓存器、人脸图像缓存器连接，图像缩小单元与人脸图像缓存器连接，还包括分别与分类器缓存器、人脸检测处理单元、人脸图像缓存器和图像缩小单元连接的控制器，所述控制器包括有限状态机和用于存储外部控制信号的寄存器；

所述寄存器存储的外部控制信号包括：控制图像宽度的信号、控制图像高度的信号、控制图像缩小比例因子的信号、控制图像缩小次数的信号及控制检测所需要用到的分类器级数；

所述有限状态机根据寄存器所存储的外部控制信号在初始状态、分类器读取状态、图像读取状态和人脸检测状态之间进行状态切换；控制器根据有限状态机所切换的状态，向分类器缓存器输出读取分类器信息信号，向图像缓存器输出读取图像数据信号，向图像缩小单元输出缩小图像信号，向人脸检测单元输出检测人脸信号。

所述状态切换如下：在初始状态，控制器的寄存器接收外部控制信号；然后进入分类器读取状态，控制器向分类器缓存器输出读取分类器信息信号；分类器缓存器读取完分类器信息后进入图像读取状态，控制器向人脸图像缓存器输出读取图像数据信号，人脸图像缓存器根据所接收的图像数据向人脸检测处理单元提供所需的图像数据，并同时提供给图像缩小单元所接收的图像数据；人脸检测处理单元接收来自分类器缓存器的分类器数据，并读取来自人脸图像缓存器的图像数据，当读取完第一个检测框内的图像数据时进入人脸检测状态；人脸检测处理单元根据分类器级数确定的分类器数对检测框内的图像数据进行人脸检测，同时处于图像读取状态读取毗邻检测框内的图像数据，直到根据图像缩小次数确定的缩小次数判断出为最后一个尺度的人脸检测之后，重新进入初始状态。

本发明方法所采用的技术方案如下：一种多模式切换的人脸检测方法，采用控制器对模式进行切换，所述控制器包括有限状态机和用于存储外部控制信号的寄存器；所述寄存器存储的外部控制信号包括：控制图像宽度的信号、控制图像高度的信号、控制图像缩小比例因子的信号、控制图像缩小次数的信号及控制检测所需要用到的分类器级数；所述有限状态机根据寄存器所存储的外部控制信号在初始状态、分类器读取状态、图像读取状态和人脸检测状态之间进行状态切换；所述人脸检测方法包括以下步骤：

S1、控制器的有限状态机处于初始状态，控制器接收外部控制信号，并存储于寄存器中；

S2、控制器的有限状态机进入分类器读取状态，控制器向分类器缓存器输出读取分类器信息信号，分类器缓存器根据分类器级数确定的分类器数读取分类器数据；

S3、控制器的有限状态机进入图像读取状态，控制器向人脸图像缓存器输出读取图像信号；人脸图像缓存器接收来自外部存储器的图像数据并根据读取图像信号判断所接收图像数据的行列宽度，向人脸检测处理单元提供所需的图像数据，同时提供给图像缩小单元所接收的图像数据；

S4、人脸检测处理单元接收来自分类器缓存器的分类器数据，并读取来自人脸图像缓存器的图像数据，当读取完第一个检测框内的图像数据时转入步骤S5；

S5、控制器的有限状态机进入人脸检测状态，控制器向人脸检测处理单元输出人脸检测信号，人脸检测处理单元根据分类器级数确定的分类器数对检测框内的人脸图像进行人脸检测，并读取毗邻检测框内的图像数据；控制器向图像缩小单元输出缩小图像信号，图像缩小单元根据图像缩小比例因子的信号对来自人脸图像缓存器的图像数据进行缩小处理，产生下一个尺度的人脸图像，并将其输出至外部存储器；

S6、根据图像宽度的信号和图像高度的信号，控制器判断所有检测框内的图像数据是否都读取完毕，若否返回步骤S5；若是则根据图像缩小次数的信号判断是否为最后一个尺度的人脸图像的检测，若否返回步骤S5，若是则结束检测。

本发明采用寄存器存储影响人脸检测性能的几个关键参数，通过对它们的控制改变控制器发出的控制信号，使得人脸检测具有可调的检测率、检测速度和输入图像分辨率，最终实现检测装置多种模式工作的目的。与现有技术相比，本发明的优点及有益效果在于：

由影响人脸检测性能的几个关键参数控制整个检测装置工作于不同的模式，能灵活满足各种不同场合对检测性能的不同需求。使用的寄存器及控制器因为只涉及简单的判决，占用的芯片面积极少，所需硬件资源小。而且由于寄存器中的数值可以通过用户赋值改变，这种可配置性是用户可调的，不需改动硬件电路，非常适合随着应用场合改变而快速变动，解决了便携移动设备多场合应用的需求。

附图说明

图1为本发明结构示意图；

图2为本发明中控制器及其状态机状态转移图；

图3为本发明具体实施流程图；

图4为使用不同级数的分类器引起的虚警率和检测率的变化；

图5为使用不同级数的分类器所需要的检测时间。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合说明书附图，进一步阐述本发明，但本发明的实施方式不限于此。

实施例

如图1所示，本发明的电路结构分为五大模块，分别为控制器，以及分别与控制器连接的分类器缓存器、人脸检测处理单元、人脸图像缓存器和图像缩小单元。人脸检测处理单元分别与分类器缓存器、人脸图像缓存器连接，图像缩小单元与人脸图像缓存器连接。整个系统的运作由控制器控制，控制器包括控制工作模式的有限状态机（Control FSM）和存储五个关键参数的寄存器。五个关键参数由五个外部控制信号决定，具体为：

a)10位(bit)控制图像宽度的信号(picW)，实现图像横向分辨率1-1024个像素的变化；

b)10位(bit)控制图像高度的信号(picH)，实现图像纵向分辨率1-1024个像素的变化；

c)2位(bit)控制图像缩小比例因子的信号(sl_step)，实现4种不同的图像缩小比例，分别为1.25，1.5，1.75，2；

d)3位(bit)控制图像缩小次数的信号(sl_num)，实现8种不同的图像缩小次数，控制能检测到的最大人脸，分别为无限次（将图像缩小到检测框大小为止）、10次、11次、12次、13次、14次、15次、16次；由于检测时检测框的大小是不变的，所以需要对一些被检测图像进行缩小处理，从而使图像中不同大小的人脸都被检测框检测到。

e)3位(bit)控制检测所需要用到的分类器级数(sg_num)，实现8种不同的分类器级数，分别为12级、13级、14级、15级、16级、17级、18级、19级。

控制器向分类器缓存器输出读取分类器信息信号，向图像缓存器输出读取图像数据信号，向图像缩小单元输出缩小图像信号，向人脸检测单元输出检测人脸信号。其中：

（1）分类器缓存器存储分类器数据，根据来自控制器输出的读取分类器信息信号（即信号A）读取事先训练好的、检测所需级数的分类器信息进行存储。为提供检测速度，分类器缓存器将分类器信息进行了合并，一次可提供给人脸检测模块64位(bit)的数据。

（2）人脸图像缓存器存储部分图像数据，一次接收来自外部存储器的32位(bit)即4个像素的图像数据和来自控制器输出的读取图像信号（即信号C）判断图像的行列宽度。随着检测的进行，其内部的图像数据不断更新，向人脸检测处理单元提供所需的图像数据，如每次给24×8(bit)即24个像素的图像数据，并同时提供给图像缩小单元所接收的图像数据，如每次给32位(bit)即4个像素的图像数据。

（3）图像缩小单元接收来自人脸图像缓存器的32位(bit)即4个像素的图像数据和控制器输出的缩小图像信号（即信号D）产生按一定比例缩小后的图像数据并存储，存储满后将缩小后的图像数据以每个时钟32位(bit)即4个像素的方式输出。图像缩小采取近邻取值法，配合图像缓存器数据的更新取得新图像的各像素数值。

（4）人脸检测处理单元接收64位(bit)来自分类器缓存器的分类器数据、来自人脸图像缓存器的图像数据以及控制器的检测人脸信号（即信号B），对人脸图像进行人脸检测，并最终检测出人脸的大小和位置，输出32位(bit)的人脸信息，包括人脸具体位置和大小。

如图2所示，有限状态机共有4个状态，分别为初始状态、分类器读取状态、图像读取状态和人脸检测状态。而寄存器接受来自外部的可变信号，是决定该有限状态机的状态变化的条件。有限状态机的切换过程如下：

在初始状态，控制器的寄存器接收来自外部的五个输入信号，然后系统进入分类器读取状态。读取完由sg_num确定的分类器数据后，状态机即切换为图像读取状态。而当第一个检测框的图像数据读取完毕，人脸检测状态开始，同步进行其余图像数据的读取、人脸图像的检测以及产生缩小图像的操作。这其中，图像读取数据的范围由picW，picH确定。人脸检测用到的分类器数由sg_num确定，而图像缩小的比例由sl_step确定。一旦判断出所有像素均已被读取且处理完毕，状态机即切换回图像读取状态，进行下一个尺度图像的第一个检测框中数据的读取，之后就重复再次进入人脸检测状态。以此反复，直到根据sl_num确定的缩小次数判断出为最后一个尺度的人脸检测之后，状态机结束，重新进入初始状态待命。

如图3所示，本发明实现人脸检测的多模式切换，包括以下步骤：

S1、控制器的有限状态机处于初始状态，控制器接收外部控制信号，并存储于寄存器中；

S2、控制器的有限状态机进入分类器读取状态，控制器向分类器缓存器输出读取分类器信息信号，分类器缓存器根据分类器级数确定的分类器数读取分类器数据；

S3、控制器的有限状态机进入图像读取状态，控制器向人脸图像缓存器输出读取图像信号；人脸图像缓存器接收来自外部存储器的图像数据并根据读取图像信号判断所接收图像数据的行列宽度，向人脸检测处理单元提供所需的图像数据，同时提供给图像缩小单元所接收的图像数据；

S4、人脸检测处理单元接收来自分类器缓存器的分类器数据，并读取来自人脸图像缓存器的图像数据，当读取完第一个检测框内的图像数据时转入步骤S5；

S5、控制器的有限状态机进入人脸检测状态，控制器向人脸检测处理单元输出人脸检测信号，人脸检测处理单元根据分类器级数确定的分类器数对检测框内的图像数据进行人脸检测，并读取毗邻检测框内的图像数据；控制器向图像缩小单元输出缩小图像信号，图像缩小单元根据图像缩小比例因子的信号对来自人脸图像缓存器的图像数据进行缩小处理，产生下一个尺度的人脸图像，并将其输出至外部存储器以便下个尺度的人脸图像检测时取用；

S6、根据图像宽度的信号和图像高度的信号，控制器判断所有检测框内的图像数据是否都读取完毕，若否返回步骤S5；若是则根据图像缩小次数的信号判断是否为最后一个尺度的人脸图像的检测，若否返回步骤S5，若是则结束检测。

用包括87个不同大小的来自于CMU+MIT人脸库的图片进行了测试，用于衡量检测性能的虚警率和检测率两个指标分别定义如下：

在1.5比例的缩小因子和无限次缩小次数固定的前提下，分类器级数对检测性能的影响结果如图4、图5所示。在图4中，随着采用的分类器级数的不同，虚警率和检测率各自具有不同的变化规律。检测率的变化小，而虚警率下降明显，而且虚警率在相邻分类器级数之间的下降幅度并不一样。随着分类器级数的增加，幅度逐步减小。图5显示了使用不同级数的分类器时，检测时间的变化。在总时间增加的同时，检测时间会有变化，且变化幅度不一样。在12-15级时较大，16-17层较小，18-19层又恢复了比较大的幅度。

在分类器级数为19级，图像采取无限次缩小次数的前提下，四种缩小比例因子对检测性能的影响结果见表1。随着缩小比例的增大，检测准确度和时间均下降，可见高准确度和高速度存在着互相制约关系。

表1  不同的缩小比例因子的情况下检测率和检测时间

缩小比例因子	检测率	检测时间（ms）
			1.25	95%	6.16
1.5	94%	4.12
			1.75	90%	3.40
2	84%	3.15

用SMIC 0.13um CMOS标准工艺，本发明用Synopsys公司的Design Compiler进行了逻辑综合。综合结果表明，该模块占用了5.3mm²面积，可以在1.2v的电压下跑100Mhz的时钟频率，功率消耗为1.8mw/fps。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.一种多模式切换的人脸检测装置，包括分类器缓存器、人脸检测处理单元、人脸图像缓存器和图像缩小单元，人脸检测处理单元分别与分类器缓存器、人脸图像缓存器连接，图像缩小单元与人脸图像缓存器连接，其特征在于，还包括分别与分类器缓存器、人脸检测处理单元、人脸图像缓存器和图像缩小单元连接的控制器，所述控制器包括有限状态机和用于存储外部控制信号的寄存器；

所述寄存器存储的外部控制信号包括：控制图像宽度的信号、控制图像高度的信号、控制图像缩小比例因子的信号、控制图像缩小次数的信号及控制检测所需要用到的分类器级数；

所述有限状态机根据寄存器所存储的外部控制信号在初始状态、分类器读取状态、图像读取状态和人脸检测状态之间进行状态切换；控制器根据有限状态机所切换的状态，向分类器缓存器输出读取分类器信息信号，向图像缓存器输出读取图像数据信号，向图像缩小单元输出缩小图像信号，向人脸检测单元输出检测人脸信号；

所述状态切换如下：

在初始状态，控制器的寄存器接收外部控制信号；然后进入分类器读取状态，控制器向分类器缓存器输出读取分类器信息信号；分类器缓存器读取完分类器信息后进入图像读取状态，控制器向人脸图像缓存器输出读取图像数据信号，人脸图像缓存器根据所接收的图像数据向人脸检测处理单元提供所需的图像数据，并同时提供给图像缩小单元所接收的图像数据；人脸检测处理单元接收来自分类器缓存器的分类器数据，并读取来自人脸图像缓存器的图像数据，当读取完第一个检测框内的图像数据时进入人脸检测状态；人脸检测处理单元根据分类器级数确定的分类器数对检测框内的图像数据进行人脸检测，同时处于图像读取状态读取毗邻检测框内的图像数据，直到根据图像缩小次数确定的缩小次数判断出为最后一个尺度的人脸检测之后，重新进入初始状态。

2.根据权利要求1所述的多模式切换的人脸检测装置，其特征在于，所述图像缩小比例因子的信号包括图像缩小比例：1.25、1.5、1.75及2。

3.根据权利要求1所述的多模式切换的人脸检测装置，其特征在于，所述图像缩小次数包括：将图像缩小到检测框大小为止的次数、10次、11次、12次、13次、14次、15次及16次。

4.一种多模式切换的人脸检测方法，其特征在于，采用控制器对模式进行切换，所述控制器包括有限状态机和用于存储外部控制信号的寄存器；所述寄存器存储的外部控制信号包括：控制图像宽度的信号、控制图像高度的信号、控制图像缩小比例因子的信号、控制图像缩小次数的信号及控制检测所需要用到的分类器级数；所述有限状态机根据寄存器所存储的外部控制信号在初始状态、分类器读取状态、图像读取状态和人脸检测状态之间进行状态切换；所述人脸检测方法包括以下步骤：

S1、控制器的有限状态机处于初始状态，控制器接收外部控制信号，并存储于寄存器中；

S2、控制器的有限状态机进入分类器读取状态，控制器向分类器缓存器输出读取分类器信息信号，分类器缓存器根据分类器级数确定的分类器数读取分类器数据；

S3、控制器的有限状态机进入图像读取状态，控制器向人脸图像缓存器输出读取图像信号；人脸图像缓存器接收来自外部存储器的图像数据并根据读取图像信号判断所接收图像数据的行列宽度，向人脸检测处理单元提供所需的图像数据，同时提供给图像缩小单元所接收的图像数据；

S4、人脸检测处理单元接收来自分类器缓存器的分类器数据，并读取来自人脸图像缓存器的图像数据，当读取完第一个检测框内的图像数据时转入步骤S5；

S5、控制器的有限状态机进入人脸检测状态，控制器向人脸检测处理单元输出人脸检测信号，人脸检测处理单元根据分类器级数确定的分类器数对检测框内的人脸图像进行人脸检测，并读取毗邻检测框内的图像数据；控制器向图像缩小单元输出缩小图像信号，图像缩小单元根据图像缩小比例因子的信号对来自人脸图像缓存器的图像数据进行缩小处理，产生下一个尺度的人脸图像，并将其输出至外部存储器；

S6、根据图像宽度的信号和图像高度的信号，控制器判断所有检测框内的图像数据是否都读取完毕，若否返回步骤S5；若是则根据图像缩小次数的信号判断是否为最后一个尺度的人脸图像的检测，若否返回步骤S5，若是则结束检测。