CN104866833A - 视频流人脸检测方法及其装置 - Google Patents

Abstract

本发明涉及视频处理领域，公开了一种视频流人脸检测方法及其装置。本发明中，包括以下步骤：获取当前帧图像；根据前一帧图像的缩放图像的第一人脸窗口概率值确定当前帧图像进行缩放处理时需要的缩放尺度范围，并在缩放尺度范围内对当前帧图像进行缩放处理，生成该当前帧图像的图像金字塔；生成图像金字塔中每张缩放图像的检测窗口；判断生成的检测窗口是否含有人脸，并统计每张缩放图像含有人脸的检测窗口的数目和不含人脸的检测窗口的数目，得到当前帧的每张缩放图像的第一人脸窗口概率值，以供下一帧图像进行缩放处理时使用。本发明可根据统计值减小图像缩放尺度范围，降低图像检测计算量，提高人脸检测速度，节省系统的计算资源。

Description

视频流人脸检测方法及其装置

技术领域

本发明涉及视频处理领域，特别涉及视频流人脸检测技术。

背景技术

人脸检测是计算机视觉和模式识别中的一项基本研究内容，它是人脸识别的前提，在人机交互、视频检索和智能监控等领域中有着广泛的应用。人脸检测的目的是在图像或者视频流中找到人脸所在的位置及其大小。目前人脸检测最常用的方法是保罗·维奥拉(Paul Viola)和迈克尔·琼斯(MichaelJones)等人提出的AdaBoost(一种迭代算法)算法，该算法具有检测精度高、检测速度快的优点。

AdaBoost算法使用类Haar特征组成级联分类器，该级联分类器是通过训练得到。在进行人脸检测时，为了检测到不同大小的人脸，原图像按照一系列的比例系数缩放为待检测图像集合，该图像集合被称为图像金字塔。然后图像金字塔中的图像按照一定的步长被分为n×n大小的检测窗口，n的经验值是24。之后使用级联分类器对这些窗口进行检测，如果检测窗口通过了全部级联分类器的检测，那么该检测窗口所含的图像中就被认为含有人脸。

传统的AdaBoost算法在计算中存在较多的冗余计算，对每个缩放尺度的所有窗口进行检测需要消耗大量的计算资源和时间，尤其对于视频流。

发明内容

本发明的目的在于提供一种视频流人脸检测方法及其装置，可根据统计值减小图像缩放尺度范围或检测窗口尺寸变化范围，降低图像检测计算量，提高人脸检测速度，节省系统的计算资源。

为解决上述技术问题，本发明的实施方式公开了一种视频流人脸检测方法，包括以下步骤：

获取当前帧图像；

根据前一帧图像的缩放图像的第一人脸窗口概率值确定当前帧图像进行缩放处理时需要的缩放尺度范围，并在缩放尺度范围内对当前帧图像进行缩放处理，生成该当前帧图像的图像金字塔；

生成图像金字塔中每张缩放图像的检测窗口；

判断生成的检测窗口是否含有人脸，并统计每张缩放图像含有人脸的检测窗口的数目和不含人脸的检测窗口的数目，得到当前帧的每张缩放图像的第一人脸窗口概率值，以供下一帧图像进行缩放处理时使用，其中，第一人脸窗口概率值中的最大值越大，下一帧图像的缩放尺度范围越小，且第一人脸窗口概率值越大，下一帧图像的缩放尺度范围的中心值越靠近与该第一人脸窗口概率值对应的缩放图像的缩放尺度。

本发明的实施方式还公开了一种视频流人脸检测方法，包括以下步骤：

获取当前帧图像；

根据前一帧图像的第二人脸窗口概率值确定当前帧图像的检测窗口尺寸范围，并在该尺寸范围内生成当前帧图像的不同尺寸的检测窗口；

判断生成的检测窗口是否含有人脸，并统计每个检测窗口尺寸下具有人脸的检测窗口的数目，得到当前帧的每个检测窗口尺寸的第二人脸窗口概率值，供下一帧图像生成检测窗口时使用，其中，第二人脸窗口概率值中的最大值越大，下一帧图像的检测窗口尺寸范围越小，且第二人脸窗口概率值越大，下一帧图像的检测窗口尺寸范围的中心值越靠近该第二人脸窗口概率值对应的检测窗口尺寸。

本发明的实施方式还公开了一种视频流人脸检测装置，包括：

第一获取单元，用于获取当前帧图像；

图像缩放单元，用于根据前一帧图像的缩放图像的第一人脸窗口概率值确定当前帧图像进行缩放处理时需要的缩放尺度范围，并在缩放尺度范围内对当前帧图像进行缩放处理，生成该当前帧图像的图像金字塔；

第一生成单元，用于生成图像金字塔中每张缩放图像的检测窗口；

第一判断单元，用于判断所述第一生成单元生成的检测窗口是否含有人脸；

第一统计单元，用于统计第一判断单元判断出的每张缩放图像含有人脸的检测窗口的数目和不含人脸的检测窗口的数目，得到当前帧的每张缩放图像的第一人脸窗口概率值，以供下一帧图像进行缩放处理时使用，其中，第一人脸窗口概率值中的最大值越大，下一帧图像的缩放尺度范围越小，且第一人脸窗口概率值越大，下一帧图像的缩放尺度范围的中心值越靠近与该第一人脸窗口概率值对应的缩放图像的缩放尺度。

本发明的实施方式还公开了一种视频流人脸检测装置，包括：

第二获取单元，用于获取当前帧图像；

第二生成单元，用于根据前一帧图像的第二人脸窗口概率值确定当前帧图像的检测窗口尺寸范围，并在该尺寸范围内生成当前帧图像的不同尺寸的检测窗口；

第二判断单元，用于判断所述第二生成单元生成的检测窗口是否含有人脸；

第二统计单元，用于统计每个检测窗口尺寸下具有人脸的检测窗口的数目，得到当前帧的每个检测窗口尺寸的第二人脸窗口概率值，供下一帧图像生成检测窗口时使用，其中，第二人脸窗口概率值中的最大值越大，下一帧图像的检测窗口尺寸范围越小，且第二人脸窗口概率值越大，下一帧图像的检测窗口尺寸范围的中心值越靠近该第二人脸窗口概率值对应的检测窗口尺寸。

本发明实施方式与现有技术相比，主要区别及其效果在于：

通过对是否含有人脸的检测窗口的数目进行统计，可根据统计值减小图像缩放尺度范围，降低图像检测计算量，提高人脸检测速度，节省系统的计算资源。

通过对是否含有人脸的检测窗口的尺寸和对应的数目进行统计，可根据统计值减小检测窗口尺寸范围，减少检测窗口数目，降低图像检测计算量，提高人脸检测速度，节省系统的计算资源。

附图说明

图1是本发明第一实施方式中一种视频流人脸检测方法的流程示意图；

图2是现有技术中图像金字塔的示意图；

图3是本发明第一实施方式中级联分类器的工作示意图；

图4是本发明第一实施方式中一类Haar特征例子的示意图；

图5是本发明的第一实施方式中图像积分图计算示意图；

图6是本发明第二实施方式中一种视频流人脸检测方法的流程示意图；

图7是本发明第三实施方式中检测的窗口数目、节省的冗余计算量与s的关系图；

图8是本发明第四实施方式中一种视频流人脸检测装置的结构示意图；

图9是本发明第五实施方式中一种视频流人脸检测装置的结构示意图；

图10是本发明第六实施方式中一种视频流人脸检测装置的结构示意图；

图11是本发明第六实施方式中图像缩放尺度范围示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本发明第一实施方式涉及一种视频流人脸检测方法。图1是该视频流人脸检测方法的流程示意图。

具体地，如图1所示，该视频流人脸检测方法包括以下步骤：

在步骤101中，获取当前帧图像。

此后进入步骤102，根据前一帧图像的缩放图像的第一人脸窗口概率值确定当前帧图像进行缩放处理时需要的缩放尺度范围，并在缩放尺度范围内对当前帧图像进行缩放处理，生成该当前帧图像的图像金字塔。

其中，图像金字塔是一系列以金字塔形状排列的且靠近金字塔顶端分辨率逐步降低的图像集合，其示意图如图2所示。该步骤中图像缩放尺度的范围是动态变化的，即当前帧图像的缩放尺度范围会受到前一帧图像检测结果的影响。优选地，如果前一帧图像在某个缩放尺度检测出的人脸窗口数最多，那么新一帧图像的缩放尺度被限定在该尺度周围的数个尺度内(即缩放尺度范围内)。当然，可以理解，也可以将缩放尺度范围限定在人脸窗口数目较多的几个缩放尺度组成的范围内，或者以其他形式确定的范围，在此不做限制。

此后进入步骤103，生成图像金字塔中每张缩放图像的检测窗口，并计算检测窗口的积分图。

检测窗口是按照一定的步进长度对图像进行遍历而得。积分图中每个位置的值是原图中对应位置左上角区域所有像素的和。计算积分图能够加速计算AdaBoost算法类Haar特征的特征值。

此后进入步骤104，判断生成的检测窗口是否含有人脸，并统计每张缩放图像含有人脸的检测窗口的数目和不含人脸的检测窗口的数目，得到当前帧的每张缩放图像的第一人脸窗口概率值，以供下一帧图像进行缩放处理时使用，其中，第一人脸窗口概率值中的最大值越大，下一帧图像的缩放尺度范围越小，且第一人脸窗口概率值越大，下一帧图像的缩放尺度范围的中心值越靠近与该第一人脸窗口概率值对应的缩放图像的缩放尺度。

在该步骤中，在判断生成的检测窗口是否含有人脸之后，还对判断出含有人脸的检测窗口对应的检测窗口尺寸下的所有检测窗口进行合并，并将合并后的图像恢复到所述当前帧图像的初始尺寸，将恢复尺寸后的图像上人脸对应的位置在所述未经缩放处理的原始当前帧图像上标出。

此外，可以理解，缩放图像的第一人脸窗口概率值是表示每张缩放图像在其缩放尺度下能够检测出人脸的概率值，用于对后续帧图像的缩放尺度范围产生影响，其能够检测出人脸的概率值高的缩放图像对应的缩放尺度对后一帧图像的缩放尺度范围影响较大。第一人脸窗口概率值可以是缩放图像含有人脸的检测窗口的数目与不含人脸的检测窗口数目的比值，也可以是缩放图像含有人脸的检测窗口数目与该图像检测窗口总数的比值。

此后，结束本流程。

此外，在一优选例中，在上述步骤104中，采用级联分类器判断检测窗口是否含有人脸。

级联分类器的原理如图3所示，各级分类器依次对人脸的检测窗口进行检测，只有检测窗口通过所有级别的分类器，才会被认为含有人脸。每一级分类器都由若干类Haar特征组成，每一个类Haar特征都有一个特征值和两个正负影响因子。类Haar特征的例子如图4所示，包括边缘特征、线特征和特定方向特征。在使用单级分类器检测时，类Haar特征白色矩形区域的像素和减去黑色矩形区域的像素和，计算结果与它的特征值进行比较，如果结果大于特征值，则该类Haar特征就具有正的影响因子，否则具有负的影响因子(值得注意的是，实际的影响因子并不分正负，只是它们的大小不同，它们被称为left value(左边的值)和right value(右边的值)，计算得到的特征值大于阈值，就取left value，反之则取right value)。最终该单级分类器中所有类Haar特征的影响因子取值的和与该级分类器的阈值进行比较，如果影响因子之和大于该级阈值，那么检测窗口通过该级分类器，进入下一级分类器的检测阶段。否则，被检测的窗口被认为不含有人脸，对该窗口的检测终止。

图像积分图加快了矩形区域像素和的计算，如图5所示，计算窗口ABCD中矩形区域EFGH内像素的和。在图像积分图已知的情况下，计算EFGH内的像素和，只需将积分图F、G和H点处的值相加，再减去E点的值即可，这样就避免了对检测窗口中对应区域像素值的逐点累加。

此外，在另一优选例中，在上述步骤104中，当第一人脸窗口概率值都不为零时，下一帧图像缩放尺度范围的中心值为与当前帧图像对应的第一人脸窗口概率值中的最大值对应的缩放图像的缩放尺度。

此外，可以理解，在本发明的其他实施方式中，也可以将靠近第一人脸窗口概率值最大值的对应的缩放图像的缩放尺度的某个数值作为缩放尺度范围的中心值，在此不做限定。

此外，在另一优选例中，在上述步骤104中，当第一人脸窗口概率值都为零时，下一帧图像的缩放尺度范围为AdaBoost算法的默认缩放尺度范围。即如果当前帧图像中没有检测到人脸，那么下一帧图像会在全部可能的缩放尺度上进行缩放。此外，可以理解，默认缩放尺度范围包含任何含有人脸的检测窗口的数目不为零的图像对应的缩放尺度范围。

由于在AdaBoost算法中，图像中的人脸区域大小与检测窗口相当时，才能检测出人脸，在检测窗口尺寸固定时，需要对待检测图像进行不同缩放尺度的缩放处理生成图像金字塔后，才可进行后续的检测窗口检测。在视频图像中，由于视频的连续性，相邻帧间人脸变化较小，在新一帧图像中，人脸很有可能出现在上一帧图像人脸出现最多的缩放尺寸前后的几个缩放尺寸内，因而本发明通过对是否含有人脸的检测窗口的数目进行统计，可根据统计值减小图像缩放尺度范围，降低图像检测计算量，提高人脸检测速度，节省系统的计算资源。

本发明第二实施方式涉及一种视频流人脸检测方法。图6是该视频流人脸检测方法的流程示意图。

具体地说，如图6所示，该视频流人脸检测方法包括以下步骤：

在步骤601中，获取当前帧图像。

此后进入步骤602，根据前一帧图像的第二人脸窗口概率值确定当前帧图像的检测窗口尺寸范围，并在该尺寸范围内生成当前帧图像的不同尺寸的检测窗口。

此后进入步骤603，判断生成的检测窗口是否含有人脸，并统计每个检测窗口尺寸下具有人脸的检测窗口的数目，得到当前帧的每个检测窗口尺寸的第二人脸窗口概率值，供下一帧图像生成检测窗口时使用，其中，第二人脸窗口概率值中的最大值越大，下一帧图像的检测窗口尺寸范围越小，且第二人脸窗口概率值越大，下一帧图像的检测窗口尺寸范围的中心值越靠近该第二人脸窗口概率值对应的检测窗口尺寸。

在该步骤中，在判断生成的检测窗口是否含有人脸之后，对判断出含有人脸的检测窗口对应的检测窗口尺寸下的所有检测窗口进行合并，并将合并后的图像恢复到当前帧图像的初始尺寸，将恢复尺寸后的图像上人脸对应的位置在所述未经缩放处理的原始当前帧图像上标出。

此外，可以理解，第二人脸窗口概率值是表示每一尺寸的检测窗口在其大小尺寸下能够从图像中检测出人脸的概率值，用于对后续帧图像要生成的检测窗口的尺寸范围产生影响，其能够检测出人脸的概率值高的检测窗口尺寸对应的大小对后一帧图像的检测窗口尺寸范围的影响较大。第二人脸窗口概率值可以是每个检测窗口尺寸下含有人脸的检测窗口的数目与不含人脸的检测窗口数目的比值，也可以是该检测窗口尺寸下含有人脸的检测窗口数目与检测窗口总数的比值。

此后结束本流程。

在一优选例中，上述步骤603中，当第二人脸窗口概率值都不为零时，下一帧图像的检测窗口尺寸范围的中心值为当前帧图像对应的第二人脸窗口概率值中的最大值对应的检测窗口尺寸。

此外，可以理解，在本发明的其他实施方式中，也可以采用其他相关数值作为尺寸范围的中心值，在此不做限定，例如，将靠近第二人脸窗口概率值最大值对应的检测窗口尺寸的某个数值作为尺寸范围的中心值。

此外，在一优选例中，在上述步骤603中，采用级联分类器判断检测窗口是否含有人脸。

此外，在另一优选例中，在上述步骤603中，当对应各检测窗口尺寸的第二人脸窗口概率值都为零时，检测窗口的尺寸范围为AdaBoost算法的默认尺寸范围。即如果当前帧图像中没有检测到人脸，那么会对下一帧图像生成所有默认尺寸范围内的检测窗口，然后进行检测。

由于在AdaBoost算法中，图像中的人脸区域大小与检测窗口的大小相当时才能检测出人脸，如果不对图像进行缩放处理，则需要针对图像生成各个尺寸下的检测窗口，才有可能检测出人脸。由于视频的连续性，相邻帧间人脸变化较小，在新一帧图像中，人脸很可能出现在上一帧图像人脸出现最多的检测窗口尺寸附件的几个尺寸内，因此，通过对是否含有人脸的检测窗口的尺寸和对应的数目进行统计，可根据统计值减小检测窗口尺寸范围，减少检测窗口数目，降低图像检测计算量，提高人脸检测速度，节省系统的计算资源。

本发明第三实施方式涉及一种视频流人脸检测方法。具体地，在该实施方式中，以320x240的视频流为例。

对于分辨率为320×240的视频流，按照尺度缩放因子为0.8对图像进行缩小。当检测窗口大小固定为24×24时，图像金字塔最多可以由11级图像构成，各个缩放级别的图像分辨率分别为320×240、256×192、204×154、164×124、132×100、106×80、84×64、68×52、54×42、42×34、34×24，它们对应的缩放尺度编号分别为0到10。在缩放过程中对图像长宽像素数目进行了取整。各个缩放尺度对应的遍历步进长度分别为2、2、2、2、2、1、1、1、1、1、1，单位是像素。对图像遍历是按照“Z”字形的方式进行的，即先进行水平遍历，再竖直换行进行下一个水平方向的遍历。这11个缩放级别的图像总共能够产生47304个大小为24×24的检测窗口。

在当前帧图像获取阶段：获得新的一帧320×240分辨率的图像(即获取当前帧图像)；

在图像缩放阶段：按照尺度缩放因子为0.8对图像进行缩放，在最初开始对第一帧图像进行检测时，原图像被缩放到图像金字塔中的所有缩放尺度的图像尺寸。对于第一帧图像之后的每一帧图像，原图像的缩放尺度的选取方法是：

(1)如果前一帧图像检测完毕之后，在第s缩放尺度的金字塔图像中检测出人脸的窗口最多，那么新一帧图像中原图像的缩放尺度只会选取第s缩放尺度前后各两个缩放尺度，总共五个缩放尺度的金字塔图像进行检测，也就是缩放尺度在[s-2，s+2]区间内；如果s大于8，则缩放尺度区间是[s-2，10]；如果s小于2，则缩放尺度区间是[0，s+2]。之所以这样选择，是因为在连续帧图像间人脸的大小不会突变。前一帧中在第s缩放尺度检测出含人脸窗口数目最多，说明人脸在该缩放尺度检测效果最好；新一帧图像中如果含有人脸的话，由于视频流中帧与帧图像之间是连续的，那么在s缩放尺度前后的缩放尺度内人脸检测效果最好，对其他缩放尺度图像的检测作为冗余计算被省去了。在缩放系数为0.8的情况下，两个缩放尺度级差对应的图像分辨率相差一半左右，在30帧每秒的帧速下，基本能够覆盖脸部区域在图像中的变动情况。需要检测的窗口数目、节省的冗余计算量与s的关系如图7所示。

(2)如果前一帧图像的各个缩放尺度的所有窗口中都没有检测到人脸，那么缩放尺度取值区间是[0，10]，也就是对所有可能的不同缩放尺度的图像进行检测。

在图像缩放完成后，逐个生成待检窗口的图像积分图。

在级联分类器处理阶段：采用的级联分类器是由22级强分类器级联而成的，每一级强分类器由若干弱分类器组合而成。检测窗口能否通过各级分类器的标准是窗口的类Haar特征的影响因子之和是否大于该级分类器的阈值。级联分类器中后级分类器的检测效果要比前级分类器的检测效果好，但是其计算量也相应增大。各级分类器起到一个筛选的作用，前级分类器虽然复杂度低，但是它能在检测初期将明显不含有人脸的窗口滤除，避免了后级分类器的复杂计算。

检测结果处理阶段：在该阶段，当前帧图像所有的检测窗口都已检测完毕，进行结果的合并和统计工作。对不同缩放尺度上检测到的人脸窗口进行合并，并将合并结果还原到原图像尺度，在原图像中将人脸所在区域标出。统计不同缩放尺度中检测出含有人脸窗口的数目，对图像缩放阶段s的值进行更新。

本发明利用了视频流连续帧图像之间的相似性等特征，减少了AdaBoost算法中需要检测窗口的数目，从而加快了人脸检测速度，削减了冗余计算，节省了系统资源。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。

本发明第四实施方式涉及一种视频流人脸检测装置。图8是该视频流人脸检测装置的结构示意图。

具体地说，如图8所示，该视频流人脸检测装置包括：

第一获取单元，用于获取当前帧图像。

图像缩放单元，用于根据前一帧图像的缩放图像的第一人脸窗口概率值确定当前帧图像进行缩放处理时需要的缩放尺度范围，并在缩放尺度范围内对当前帧图像进行缩放处理，生成该当前帧图像的图像金字塔。

第一生成单元，用于生成图像金字塔中每张缩放图像的检测窗口。

第一判断单元，用于判断第一生成单元生成的检测窗口是否含有人脸。

第一统计单元，用于统计第一判断单元判断出的每张缩放图像含有人脸的检测窗口的数目和不含人脸的检测窗口的数目，得到当前帧的每张缩放图像的第一人脸窗口概率值，以供下一帧图像进行缩放处理时使用，其中，第一人脸窗口概率值中的最大值越大，下一帧图像的缩放尺度范围越小，且第一人脸窗口概率值越大，下一帧图像的缩放尺度范围的中心值越靠近与该第一人脸窗口概率值对应的缩放图像的缩放尺度。

第一合并单元，用于在第一判断单元判断生成的检测窗口是否含有人脸之后，还对判断出含有人脸的检测窗口对应的检测窗口尺寸下的所有检测窗口进行合并，并将合并后的图像恢复到所述当前帧图像的初始尺寸，将恢复尺寸后的图像上人脸对应的位置在所述未经缩放处理的原始当前帧图像上标出。

此外，在一优选例中，当第一统计单元中得到的第一人脸窗口概率值都不为零时，下一帧图像缩放尺度范围的中心值为与当前帧图像对应的第一人脸窗口概率值中的最大值对应的缩放图像的缩放尺度。

此外，在一优选例中，第一统计单元在第一人脸窗口概率值都为零时，将下一帧图像的缩放尺度范围设为AdaBoost算法的默认缩放尺度范围。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

本发明第五实施方式涉及一种视频流人脸检测装置。图9是该视频流人脸检测装置的结构示意图。

具体地说，如图9所示，该视频流人脸检测装置包括：

第二获取单元，用于获取当前帧图像。

第二生成单元，用于根据前一帧图像的第二人脸窗口概率值确定当前帧图像的检测窗口尺寸范围，并在该尺寸范围内生成当前帧图像的不同尺寸的检测窗口。

第二判断单元，用于判断第二生成单元生成的检测窗口是否含有人脸。

第二统计单元，用于统计每个检测窗口尺寸下具有人脸的检测窗口的数目，得到当前帧的每个检测窗口尺寸的第二人脸窗口概率值，供下一帧图像生成检测窗口时使用，其中，第二人脸窗口概率值中的最大值越大，下一帧图像的检测窗口尺寸范围越小，且第二人脸窗口概率值越大，下一帧图像的检测窗口尺寸范围的中心值越靠近该第二人脸窗口概率值对应的检测窗口尺寸。

第二合并单元，用于在第二判断单元判断生成的检测窗口是否含有人脸之后，对判断出含有人脸的检测窗口对应的检测窗口尺寸下的所有检测窗口进行合并，并将合并后的图像恢复到当前帧图像的初始尺寸，将恢复尺寸后的图像上人脸对应的位置在所述未经缩放处理的原始当前帧图像上标出。

此外，在一优选例中，当第二统计单元中得到的第二人脸窗口概率值都不为零时，下一帧图像的检测窗口尺寸范围的中心值为当前帧图像对应的第二人脸窗口概率值中的最大值对应的检测窗口尺寸。

第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。

本发明第六实施方式涉及一种视频流人脸检测装置。图10是该视频流人脸检测装置的结构示意图。

具体地说，如图10所示，该装置包括：

视频流捕捉模块：该模块的功能是获取视频流，为系统的人脸检测部分提供图像；

图像缩放模块：该模块在尺度系数产生模块的控制下对原图像进行缩放；

窗口产生模块：该模块的功能是按照一定的步进长度，从缩放后的图像中截取出用于人脸检测的检测窗口，并产生检测窗口图像的图像积分图；

级联分类器模块：该模块利用级联分类器对窗口产生模块产生的检测窗口进行检测，判断该检测窗口中是否含有人脸；

结果处理模块：该模块对级联分类器模块的结果进行处理，对检测窗口是否含有人脸的结果进行合并和统计。将同一缩放尺度上检测到的人脸窗口进行合并，并按照缩放系数复原到原图像的尺度上，在原图像中标出检测结果。对不同缩放尺度上检测出的含有人脸的窗口数目进行统计，得出检出含有人脸窗口数目最多的图像缩放尺度s的取值，将这一结果传送给尺度系数产生模块；

尺度系数产生模块：该模块根据结果处理模块给出的结果来调节新一帧图像的缩放尺度范围。该模块通过缩放尺度上限指针Pu和缩放尺度下限指针Pl来控制图像的缩放尺度范围。如果原图像的分辨率是M×N，检测窗口大小是n×n，图像缩放系数为α，那么图像金字塔的缩放尺度数目m可由下式计算得出

m＝ceil(log_α(min(M,N))

其中ceil是向上取整操作，min是取最小值操作。如图11所示，对于一个有m个缩放尺度的图像金字塔，如果前一帧图像在第s缩放尺度上检测出的含有人脸窗口数目最多，那么对于新一帧图像，其缩放尺度范围以s为中心，Pu向高缩放尺度端偏移t个尺度，指向s+t缩放尺度；Pl向低缩放尺度端偏移t个尺度，指向s-t缩放尺度。为保证Pu和Pl的值不溢出[0,m-1]缩放尺度区间，Pu的最大值是m-1，Pl的最小值是0。两个指针限定出了[Pl,Pu]缩放尺度区间，新一帧图像将在这个缩放尺度范围内进行人脸检测。如果前一帧图像中没有检测到人脸，那么新一帧图像的缩放尺度范围是[0,m-1]，Pu指向m-1，Pl指向0。

第三实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第三实施方式中。

需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (12)

1.一种视频流人脸检测方法，其特征在于，包括以下步骤：

获取当前帧图像；

根据前一帧图像的缩放图像的第一人脸窗口概率值确定所述当前帧图像进行缩放处理时需要的缩放尺度范围，并在所述缩放尺度范围内对当前帧图像进行缩放处理，生成该当前帧图像的图像金字塔；

生成所述图像金字塔中每张缩放图像的检测窗口；

判断生成的所述检测窗口是否含有人脸，并统计每张缩放图像含有人脸的检测窗口的数目和不含人脸的检测窗口的数目，得到当前帧的每张缩放图像的第一人脸窗口概率值，以供下一帧图像进行缩放处理时使用，其中，所述第一人脸窗口概率值中的最大值越大，下一帧图像的缩放尺度范围越小，且第一人脸窗口概率值越大，下一帧图像的缩放尺度范围的中心值越靠近与该第一人脸窗口概率值对应的缩放图像的缩放尺度。

2.根据权利要求1所述的视频流人脸检测方法，其特征在于，在所述得到当前帧的每张缩放图像的第一人脸窗口概率值，以供下一帧图像进行缩放处理时使用的步骤中，当所述第一人脸窗口概率值都不为零时，下一帧图像缩放尺度范围的中心值为与当前帧图像对应的所述第一人脸窗口概率值中的最大值对应的缩放图像的缩放尺度。

3.根据权利要求1所述的视频流人脸检测方法，其特征在于，在所述统计每张缩放图像含有人脸的检测窗口的数目和不含人脸的检测窗口的数目的步骤中，当所述第一人脸窗口概率值都为零时，所述下一帧图像的缩放尺度范围为AdaBoost算法的默认缩放尺度范围。

4.根据权利要求1至3中任一项所述的视频流人脸检测方法，其特征在于，在所述判断生成的所述检测窗口是否含有人脸的步骤之后，还包括以下步骤：

对判断出含有人脸的检测窗口对应的缩放图像的所有检测窗口进行合并，并将合并后的缩放图像恢复到所述当前帧图像的初始尺寸，将恢复尺寸后的图像上人脸对应的位置在所述未经缩放处理的原始当前帧图像上标出。

5.一种视频流人脸检测方法，其特征在于，包括以下步骤：

获取当前帧图像；

根据前一帧图像的第二人脸窗口概率值确定当前帧图像的检测窗口尺寸范围，并在该尺寸范围内生成当前帧图像的不同尺寸的检测窗口；

判断生成的所述检测窗口是否含有人脸，并统计每个检测窗口尺寸下具有人脸的检测窗口的数目，得到当前帧的每个检测窗口尺寸的第二人脸窗口概率值，供下一帧图像生成检测窗口时使用，其中，所述第二人脸窗口概率值中的最大值越大，下一帧图像的检测窗口尺寸范围越小，且第二人脸窗口概率值越大，下一帧图像的检测窗口尺寸范围的中心值越靠近该第二人脸窗口概率值对应的检测窗口尺寸。

6.根据权利要求5所述的视频流人脸检测方法，其特征在于，在所述得到当前帧的每个检测窗口尺寸的第二人脸窗口概率值，供下一帧图像生成检测窗口时使用的步骤中，当所述第二人脸窗口概率值都不为零时，下一帧图像的检测窗口尺寸范围的中心值为当前帧图像对应的所述第二人脸窗口概率值中的最大值对应的检测窗口尺寸。

7.根据权利要求5或6所述的视频流人脸检测方法，其特征在于，在所述判断生成的所述检测窗口是否含有人脸的步骤之后，还包括以下步骤：

对判断出含有人脸的检测窗口对应的检测窗口尺寸下的所有检测窗口进行合并，并将合并后的图像恢复到所述当前帧图像的初始尺寸，将恢复尺寸后的图像上人脸对应的位置在所述未经缩放处理的原始当前帧图像上标出。

8.一种视频流人脸检测装置，其特征在于，包括：

第一获取单元，用于获取当前帧图像；

图像缩放单元，用于根据前一帧图像的缩放图像的第一人脸窗口概率值确定所述当前帧图像进行缩放处理时需要的缩放尺度范围，并在所述缩放尺度范围内对当前帧图像进行缩放处理，生成该当前帧图像的图像金字塔；

第一生成单元，用于生成所述图像金字塔中每张缩放图像的检测窗口；

第一判断单元，用于判断所述第一生成单元生成的所述检测窗口是否含有人脸；

第一统计单元，用于统计所述第一判断单元判断出的每张缩放图像含有人脸的检测窗口的数目和不含人脸的检测窗口的数目，得到当前帧的每张缩放图像的第一人脸窗口概率值，以供下一帧图像进行缩放处理时使用，其中，所述第一人脸窗口概率值中的最大值越大，下一帧图像的缩放尺度范围越小，且第一人脸窗口概率值越大，下一帧图像的缩放尺度范围的中心值越靠近与该第一人脸窗口概率值对应的缩放图像的缩放尺度。

9.根据权利要求8所述的视频流人脸检测装置，其特征在于，当所述第一统计单元中得到的第一人脸窗口概率值都不为零时，下一帧图像缩放尺度范围的中心值为与当前帧图像对应的所述第一人脸窗口概率值中的最大值对应的缩放图像的缩放尺度。

10.根据权利要求8或9所述的视频流人脸检测装置，其特征在于，所述第一统计单元在所述第一人脸窗口概率值都为零时，将所述下一帧图像的缩放尺度范围设为AdaBoost算法的默认缩放尺度范围。

11.一种视频流人脸检测装置，其特征在于，包括：

第二获取单元，用于获取当前帧图像；

第二生成单元，用于根据前一帧图像的第二人脸窗口概率值确定当前帧图像的检测窗口尺寸范围，并在该尺寸范围内生成当前帧图像的不同尺寸的检测窗口；

第二判断单元，用于判断所述第二生成单元生成的所述检测窗口是否含有人脸；

第二统计单元，用于统计每个检测窗口尺寸下具有人脸的检测窗口的数目，得到当前帧的每个检测窗口尺寸的第二人脸窗口概率值，供下一帧图像生成检测窗口时使用，其中，所述第二人脸窗口概率值中的最大值越大，下一帧图像的检测窗口尺寸范围越小，且第二人脸窗口概率值越大，下一帧图像的检测窗口尺寸范围的中心值越靠近该第二人脸窗口概率值对应的检测窗口尺寸。

12.根据权利要求10所述的视频流人脸检测装置，其特征在于，当所述第二统计单元中得到的所述第二人脸窗口概率值都不为零时，下一帧图像的检测窗口尺寸范围的中心值为当前帧图像对应的所述第二人脸窗口概率值中的最大值对应的检测窗口尺寸。