CN101196995A - 图像中最大人脸的检测方法 - Google Patents

Abstract

本发明公开了一种图像中最大人脸的检测装置和方法，以减小运算复杂度，提高运行效率，本发明方法包括：根据预设尺度的人脸检测器和一系列尺度级数，采用特征放缩的方式得到不同尺度的一系列人脸检测器；按照由大尺度到小尺度的顺序，依次采用所述一系列人脸检测器对所述图像进行检测，在检测到第一个人脸后退出处理，并将该人脸作为最大人脸。本发明减小了运算复杂度，提高了最大人脸检测的效率。

Description

图像中最大人脸的检测方法

技术领域

本发明涉及图像处理技术，具体地说，是涉及一种图像中最大人脸的检测方法。

背景技术

近年来，随着模式识别技术的发展，在计算机视觉和图像处理技术领域，获取图像或者视频中的人脸信息在诸如人机交互、安全、娱乐等领域都具有重要的应用。因此，从图像中自动获取人脸的数目、大小、位置信息的技术，即人脸检测技术，受到了极大的重视。

现有的人脸检测技术一般都会检测出图像中存在的所有人脸区域。但在很多视频图像处理的应用中，并不需要得到视频中的所有人脸的位置。比如基于人脸信息进行AE(Auto-Exposure，自动曝光)、AF(Auto-Focus，自动对焦)和AWB(Auto White Balance，自动白平衡调整)时，往往只关心视频中最大的人脸的位置。此外，诸如视力保护，数字放大人脸区域，以及人脸识别等应用也往往只关心视频中最大的人脸。

一种以现有技术为基础的最大人脸检测的简单方案为：首先采用人脸检测方法将视频中所有的人脸都检测出来，并对检测出来的人脸大小(面积，宽度或者高度)进行判定，确定最大人脸。

在文献P.Viola and M.Jones.Robust real time object detection.IEEEICCV Workshop on Statistical and Computational Theories of Vision，Vancouver，Canada，July 13，2001中Voila等提出了一种基于微结构特征(Haar-like Features)和层次型自适应增强(Adaboost)分类器的人脸检测技术。该技术采用对每一微结构特征构造最简单的树分类器作为弱分类器，每个弱分类器只需要一次阈值比较就可以完成判决，得出是否为人脸的判决输出。该技术提出的层次型Adaboost分类器结构对于所有候选窗口，先采用第一层分类器进行判断，如果能通过第一层分类器，则采用第二层分类器继续进行判断，否则直接拒掉，并依此进行后续各层处理，将能够通过所有分类器处理的矩形区域作为最终的人脸区域。该技术在性能上与基于支持向量机(SVM)和神经网络(Neural Network)的方法相当，但是，在速度上远远高于基于支持向量机和神经网络的方法，基本可以达到实时运行的水平。该方法提出后，便得到了研究者的重视，提出了很多改进技术，并且应用于工业界的很多产品中。

Viola提出的人脸检测方法速度快的原因主要是两点，一是采用基于积分图像(Integral Image)的方法计算微结构特征值，能够快速地计算出输入图像的微结构特征值；二是采用层次型Adaboost算法，利用运算量小的层去除大部分容易排除的干扰，然后再利用运算量大的层处理少量候选干扰。

进一步，为了能够检测到不同大小、不同位置的人脸，Viola采用基于特征放缩的方式进行处理。首先设定一个人脸检测器模型的宽度和高度，然后采用割取并放缩为此尺度的人脸样本和非人脸样本，训练层次型AdaBoost人脸检测模型，再采用特征放缩的方式放缩得到一系列不同尺度的分类器。对输入图像计算一次积分图像后，采用得到的不同尺度的人脸检测器分别进行遍历搜索，从而检测到不同大小、不同位置的人脸，并将所有通过层次型检测器的候选矩形添加到人脸检测队列中记录下来。

考虑到一个人脸可能会因为尺度、位移变化而对应多个检测结果，一般人脸检测算法都会采用后处理步骤来融合检测结果，使得一个人脸位置只输出一个检测结果。同时，通过融合也能合并某些误检结果，从而减少误检率。在这个处理过程中，将通过人脸检测器的人脸候选位置(称作候选人脸框)添加到人脸检测队列中，每个候选人脸框对应一个矩形，对任意两个候选人脸框，首先计算两个对应矩形区域的交叠区域面积；然后计算交叠区域面积与两矩形区域平均面积之比(称作交叠度)，将交叠度与阈值进行比较，如果大于阈值则认为两个候选人脸框交叠，为同一个人脸，否则认为没有交叠。将与某候选人脸框交叠的所有候选人脸框与该候选人脸框合并，得到融合检测结果，具体步骤如下：将所有矩形的左边框横坐标，右边框横坐标，上边框纵坐标和下边框纵坐标平均，得到最终合并矩形的左边框横坐标，右边框横坐标，上边框纵坐标和下边框纵坐标。

图1显示了采用层次型(Cascade-based)自适应增强(AdaBoost)算法和微结构(Haar-like)特征检测最大人脸的简单算法步骤，其中假定图像宽度为W，高度为H，预先设定的人脸检测尺度共有N个。首先，计算图像的积分图像和平方积分图像，构造出人脸检测器(步骤110)；然后采用所有N个尺度中每个尺度的人脸检测器(对应一个层次型分类器)，以一定步长在图像的水平方向和垂直方向遍历，对图像中存在的该尺度大小的所有矩形框进行判定(步骤120)，验证这些矩形框是否为人脸框(步骤130)，如果是则将当前矩形框加入人脸队列中(步骤140)，否则丢弃当前矩形框(步骤141)，直到在所有尺度都检测完毕。处理完所有尺度后，将人脸队列中与某候选人脸框交叠的所有候选人脸框与该候选人脸框合并，得到融合检测结果(步骤150)；然后根据各个融合检测结果得到人脸的尺度，挑选出最大人脸框作为最大人脸(步骤160)。

这种先找出所有人脸框，再从中获得最大人脸的检测框架在处理上运算量很大，尤其是对于只需要对最大人脸进行处理的应用中，这种方法往往具有冗余运算，因此存在处理时间长，效率低下等缺陷。

发明内容

本发明所要解决的技术问题是在于需要提供一种图像中最大人脸的检测方法，以减小运算复杂度，提高运行效率。

为了解决上述技术问题，本发明首先提供了一种图像中最大人脸的检测装置，包括：

检测器预设模块，用于获得一个预设尺度的人脸检测器；

尺度级数生成模块，用于直接设定或生成一系列尺度级数；

检测器生成模块，与所述检测器预设模块和尺度级数生成模块相连，根据所述预设尺度的人脸检测器和所述一系列尺度级数，采用特征放缩的方式得到不同尺度的一系列人脸检测器；

检测模块，与所述检测器生成模块相连，按照由大尺度到小尺度的顺序，依次采用所述一系列人脸检测器对所述图像进行检测，在检测到第一个人脸后退出处理，并将该人脸作为最大人脸。

上述的图像中最大人脸的检测装置中，所述尺度级数生成模块可以进一步包括：

检测尺度设定单元，用于设定最大检测尺度MAXF、最小检测尺度MINF；

检测尺度因子设定单元，用于设定检测尺度因子SS；

尺度级数生成单元，与所述检测尺度设定单元和检测尺度因子设定单元相连，用于根据所述MAXF、MINF和SS生成所述一系列尺度级数，使得采用特征放缩的方式得到所述不同尺度的一系列人脸检测器能检测到的最小人脸尺度不大于所述MINF，最大人脸尺度不小于所述MAXF。

本发明进而提供了一种图像中最大人脸的检测方法，包括步骤：

根据预设尺度的人脸检测器和一系列尺度级数，采用特征放缩的方式得到不同尺度的一系列人脸检测器；

按照由大尺度到小尺度的顺序，依次采用所述一系列人脸检测器对所述图像进行检测，在检测到第一个人脸后退出处理，并将该人脸作为最大人脸。

上述的图像中最大人脸的检测方法中，所述一系列尺度级数的获得方式可以包括直接设定。

上述的图像中最大人脸的检测方法中，所述一系列尺度级数的获得方式可以分为如下步骤：

(1)设定最大检测尺度MAXF、最小检测尺度MINF以及检测尺度因子SS；

(2)根据所述MAXF、MINF和SS，获得所述一系列尺度级数，使得采用特征放缩的方式得到所述不同尺度的一系列人脸检测器能检测到的最小人脸尺度不大于所述MINF，最大人脸尺度不小于所述MAXF。

进一步地，步骤(2)中获得所述一系列尺度级数的步骤可以分为：

(21)获得满足MS*SS^N1≤MINF的最大整数N1，获得满足MS*SS^N2≥MAXF的最小整数N2，其中MS为所述预设尺度的人脸检测器的尺度；

(22)获得所述一系列尺度级数，其中最大尺度级数为N2，最小尺度级数为N1。

更进一步地，所述按照由大尺度到小尺度的顺序对所述图像进行检测的步骤，可以包括：

(1)从所述一系列尺度级数中的最大尺度级数开始，按照由大尺度到小尺度的顺序，依次采用对应的人脸检测器对图像中所有可能的该尺度矩形框进行判定；

(2)获得第一个通过检测的矩形框后退出处理，该矩形框中的人脸作为所述最大人脸。

与现有技术相比，本发明减小了运算复杂度，提高了检测效率。

附图说明

图1是现有技术中最大人脸检测方法步骤示意图。

图2是本发明最大人脸检测装置实施例的结构示意图。

图3是本发明装置中尺度级数生成模块的组成示意图。

图4是本发明最大人脸检测方法实施例的流程示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。

本发明的基本思想是从提高检测速度，简化算法步骤出发，按照从大到小的尺度顺序检测人脸框，首次检测到的人脸即为最大人脸。由于避免了对全部尺度和全图范围进行遍历搜索，因此减少了运算，提高了运算效率。

采用Viola提出的方法训练得到的人脸检测器模型的尺度是一个单一尺度，假定训练好的人脸检测器模型的宽度和高度分别为MW和MH(Viola采用的MW＝24，MH＝24)，为了能够检测到不同大小、不同位置的人脸，需要对训练好的模型进行特征放缩，以得到不同尺度的一系列人脸检测器模型。假定检测尺度放缩因子为SS，则采用特征放缩的方式放缩得到的一系列不同尺度的分类器的宽度和高度分别为ROUND(MW*SSⁿ)和ROUND(MH*SSⁿ)。其中，n为大于等于0的整数，表示人脸检测器的尺度级数，ROUND()表示对括号内的数值进行四舍五入取整运算。此过程，对于训练过程只需要进行一次，在检测过程中不再需要进行。

基于本发明基本思想，图2示出了本发明最大人脸检测装置实施例的结构示意，包括如下模块：

检测器预设模块10，用于预设一个人脸检测器的尺度；

尺度级数生成模块20，用于获得一系列尺度级数；

检测器生成模块30，与检测器预设模块10和尺度级数生成模块20相连，根据预设尺度的人脸检测器，采用特征放缩的方式得到不同尺度的一系列人脸检测器；

检测模块40，与检测器生成模块30相连，按照由大尺度到小尺度的顺序，依次采用所述一系列人脸检测器对图像进行检测，在检测到第一个人脸后退出处理，并将该人脸作为最大人脸。

其中的一系列尺度级数，可以由尺度级数生成模块20直接指定，也可以由尺度级数生成模块20根据相应参数进行生成。图3进一步地示出了尺度级数生成模块20的组成，用来生成一系列尺度级数，主要包括：

检测尺度设定单元21，用于设定最大检测尺度MAXF、最小检测尺度MINF；

检测尺度因子设定单元22，用于设定检测尺度因子SS；

尺度级数生成单元，与检测尺度设定单元21和检测尺度因子设定单元22相连，根据MAXF、MINF和SS来生成一系列尺度级数，使得采用特征放缩的方式得到不同尺度的一系列人脸检测器能检测到的最小人脸尺度不大于MINF，最大人脸尺度不小于MAXF。

下面参照图4所示本发明最大人脸检测方法实施例的步骤示意，来进一步理解图2所示本发明装置实施例和图3所示尺度级数生成模块20的组成，本发明方法实施例，主要包括如下步骤：

步骤410，设定人脸检测器级数范围，并根据预设的人脸检测器，采用特征放缩的方式得到不同尺度的一系列人脸检测器。设定人脸检测器级数范围的一种简单的方式是直接设定所采用尺度级数范围，包含一系列尺度级数，这些尺度级数均为正整数。本发明给出另一种较复杂但是更利于应用的方式，是根据预设的能够检测到人脸的最大尺度和最小尺度确定所采用的人脸检测器的级数范围，一种可行方式如下：

预设训练好的人脸检测器的尺度为MS(可以选择MW，也可以选择MH)，设定人脸最小检测尺度MINF(如果MS取MW，则此最小检测尺度为最小检测人脸宽度，否则为最小检测人脸高度)，最大检测尺度MAXF(如果MS取MW，则此最大检测尺度为最大检测人脸宽度，否则为最大检测人脸高度)以及检测尺度放缩因子SS，并根据MINF，MAXF及SS所应满足的式1及式2：

                     MS*SS^N1≤MINF                    (式1)

                     MS*SS^N2≥MAXF                    (式2)

得出满足式1和式2的最大整数N1和最小整数N2：

$N1=\mathrm{FLOOR}\left(\frac{\log \frac{\mathrm{MINF}}{\mathrm{MS}}}{\log \mathrm{SS}}\right)$ (式3)

$N2=\mathrm{CEIL}\left(\frac{\log \frac{\mathrm{MAXF}}{\mathrm{MS}}}{\log \mathrm{SS}}\right)$ (式4)

其中log为自然对数运算，FLOOR()为下取整运算，例如FLOOR(1.6)等于1，FLOOR(1.3)也等于1；CEIL()为上取整运算，例如CEIL(1.6)等于2，CEIL(1.3)也等于2。由此获得检测尺度的数量N为：

                     N＝N2-N1+1                       (式5)

这样就确定了需要用到的人脸检测器尺度级数范围(最大为N2，最小为N1)，以及尺度级数数目N，也即得到了一系列尺度级数。这样，这N个尺度的人脸检测器能检测到的最小人脸的尺寸为MS*SS^N1()，能检测到的最大人脸的尺寸为MS*SS^N2。

步骤420，计算图像的积分图像和平方积分图像。

步骤430，按照由大尺度到小尺度的顺序，从一系列尺度级数中最大的尺度级数开始，采用对应的人脸检测器(N2对应的检测器尺度为MS*SS^N2)，以一定步长在图像的水平方向和垂直方向遍历。

步骤440，对遍历到的所有可能的矩形框进行判定，验证这些矩形框是否为人脸框，如果是则转步骤450，否则继续处理下一个尺度(对于N2，下一个尺度为MS*SS^(N2)-1)(步骤451)，直到在所有尺度都检测完毕后退出。

步骤450，当前矩形框为人脸框，则此人脸框中的人脸即为当前帧的最大人脸，退出检测，结束。

现有方法检测最大人脸时，需要对各个尺度和位置进行检测，处理速度很慢。本发明最大人脸检测方法首先从检测结构上，先处理大尺度，然后处理小尺度，并且检测到一个人脸后就退出检测过程，提高了检测效率。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作些许的更动与润饰，但本发明的专利保护范围，仍须以所附的权利要求书所界定者为准。

Claims (7)

1.一种图像中最大人脸的检测装置，其特征在于，包括：

检测器预设模块，用于获得一个预设尺度的人脸检测器；

尺度级数生成模块，用于直接设定或生成一系列尺度级数；

检测器生成模块，与所述检测器预设模块和尺度级数生成模块相连，根据所述预设尺度的人脸检测器和所述一系列尺度级数，采用特征放缩的方式得到不同尺度的一系列人脸检测器；

检测模块，与所述检测器生成模块相连，按照由大尺度到小尺度的顺序，依次采用所述一系列人脸检测器对所述图像进行检测，在检测到第一个人脸后退出处理，并将该人脸作为最大人脸。

2.如权利要求1所述的图像中最大人脸的检测装置，其特征在于，所述尺度级数生成模块进一步包括：

检测尺度设定单元，用于设定最大检测尺度MAXF、最小检测尺度MINF；

检测尺度因子设定单元，用于设定检测尺度因子SS；

尺度级数生成单元，与所述检测尺度设定单元和检测尺度因子设定单元相连，用于根据所述MAXF、MINF和SS生成所述一系列尺度级数，使得采用特征放缩的方式得到所述不同尺度的一系列人脸检测器能检测到的最小人脸尺度不大于所述MINF，最大人脸尺度不小于所述MAXF。

3.一种图像中最大人脸的检测方法，其特征在于，包括步骤：

根据预设尺度的人脸检测器和一系列尺度级数，采用特征放缩的方式得到不同尺度的一系列人脸检测器；

按照由大尺度到小尺度的顺序，依次采用所述一系列人脸检测器对所述图像进行检测，在检测到第一个人脸后退出处理，并将该人脸作为最大人脸。

4.如权利要求3所述的图像中最大人脸的检测方法，其特征在于，所述一系列尺度级数的获得方式包括直接设定。

5.如权利要求3所述的图像中最大人脸的检测方法，其特征在于，所述一系列尺度级数的获得方式分为如下步骤：

(1)设定最大检测尺度MAXF、最小检测尺度MINF以及检测尺度因子SS；

(2)根据所述MAXF、MINF和SS，获得所述一系列尺度级数，使得采用特征放缩的方式得到所述不同尺度的一系列人脸检测器能检测到的最小人脸尺度不大于所述MINF，最大人脸尺度不小于所述MAXF。

6.如权利要求5所述的图像中最大人脸的检测方法，其特征在于，步骤(2)中获得所述一系列尺度级数的步骤进一步分为：

(21)获得满足MS*SS^N1≤MINF的最大整数N1，获得满足MS*SS^N2≥MAXF的最小整数N2，其中MS为所述预设尺度的人脸检测器的尺度；

(22)获得所述一系列尺度级数，其中最大尺度级数为N2，最小尺度级数为N1。

7.如权利要求4或6所述的图像中最大人脸的检测方法，其特征在于，所述按照由大尺度到小尺度的顺序对所述图像进行检测的步骤包括：

(1)从所述一系列尺度级数中的最大尺度级数开始，按照由大尺度到小尺度的顺序，依次采用对应的人脸检测器对图像中所有可能的该尺度矩形框进行判定；

(2)获得第一个通过检测的矩形框后退出处理，该矩形框中的人脸作为所述最大人脸。

Images