CN105844248B

CN105844248B - 人脸检测方法和装置

Info

Publication number: CN105844248B
Application number: CN201610184874.6A
Authority: CN
Inventors: 车天博; 林熙东
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2016-03-29
Filing date: 2016-03-29
Publication date: 2021-03-30
Anticipated expiration: 2036-03-29
Also published as: CN105844248A

Abstract

本发明公开一种人脸检测方法和装置，涉及图像识别领域。其中根据图像区域合并准则对图像进行区域合并，以得到分割区域集合，基于分割区域集合，根据相邻区域间的相似度对相邻区域进行逐层合并，从而得到不同尺寸的候选区域，对候选区域进行人脸检测，以得到具有人脸的人脸区域。本发明通过对图像分割以获取可能存在物体的候选区域，然后针对候选区域进行人脸检测，从而可大幅减少识别人脸所需处理的区域，有效提高识别效率，并显著降低计算复杂度。

Description

人脸检测方法和装置

技术领域

本发明涉及图像识别领域，特别涉及一种人脸检测方法和装置。

背景技术

人脸检测是计算机视觉与模式识别领域非常活跃的研究课题之一。在身份验证、信息安全、电子商务、基于内容的图像与视频检索、视频监控、智能人机交互、可视通信、公安档案管理等很多方面都有着重要的应用价值。

目前，人脸检测主要采用的是基于滑动窗口(Sliding Window)的人脸检测方法，即通过采用固定比例的搜索窗，穷尽搜索图片中所有的区域，从而提取出可能存在人脸的区域。因此，滑动窗口方法需要计算的潜在区域过多，计算复杂度较高。

发明内容

本发明实施例提供一种人脸检测方法和装置。通过对图像分割以获取可能存在物体的候选区域，然后针对候选区域进行人脸检测。从而可大幅减少识别人脸所需处理的区域，有效提高识别效率，并显著降低计算复杂度。

根据本发明的一个方面，提供一种人脸检测方法，包括：

根据图像区域合并准则对图像进行区域合并，以得到分割区域集合；

基于分割区域集合，根据相邻区域间的相似度对相邻区域进行逐层合并，从而得到不同尺寸的候选区域；

对候选区域进行人脸检测，以得到具有人脸的人脸区域。

在一个实施例中，图像区域合并准则通过比较相邻分割区域间的差异性程度和相邻分割区域内部的差异性程度确定是否将相邻分割区域合并。

在一个实施例中，根据图像区域合并准则对图像进行区域合并以得到分割区域集合的步骤包括：

在相邻分割区域间的差异性程度小于相邻分割区域中最小的内部差异性程度的情况下，合并相邻分割区域以生成新的分割区域。

将图像中的每个像素点作为一个初始分割区域，获得初始分割区域集合；

对初始分割区域集合中的相邻区域根据图像区域合并准则进行区域合并获得新的分割区域集合；

对新的分割区域集合继续进行指定次数的区域合并得到最终的分割区域集合。

在一个实施例中，相邻分割区域间的差异性程度为相邻分割区域间差异性最大的边；

分割区域内部的差异性程度为分割区域内部的最小生成树中差异性最小的边与分割区域的合并阈值之和，其中合并阈值表示分割区域进行合并的难易程度。

在一个实施例中，相邻区域的相似度根据相邻区域的颜色相似度和纹理相似度确定。

在一个实施例中，相邻区域的相似度为相邻区域的颜色相似度和纹理相似度的加权和。

在一个实施例中，在分割区域集合中，根据相邻区域间的相似度对相邻区域进行逐层合并，从而得到不同尺寸的候选区域的步骤包括：

在分割区域集合中，计算每一对相邻区域的相似度，以构成相似度集合；

在相似度集合不为空的情况下，执行以下步骤：

将相似度集合中最大相似度所对应的两个相邻区域合并，以生成新区域；

在相似度集合中，删除与两个相邻区域中任一区域相关的相似度，添加新区域与相邻区域的相似度；

将新区域作为候选区域添加到候选区域集合中。

在一个实施例中，在得到具有人脸的人脸区域后，还包括：

在人脸区域间具有重叠区域的情况下，对重叠区域进行去重处理。

在一个实施例中，利用人脸区域的边界坐标值，判断人脸区域间是否具有重叠区域。

根据本发明的另一方面，提供一种人脸检测装置，包括图像分割单元、候选区域选择单元和人脸检测单元，其中：

图像分割单元，用于根据图像区域合并准则对图像进行区域合并，以得到分割区域集合；

候选区域选择单元，用于基于分割区域集合，根据相邻区域间的相似度对相邻区域进行逐层合并，从而得到不同尺寸的候选区域；

人脸检测单元，用于对候选区域进行人脸检测，以得到具有人脸的人脸区域。

在一个实施例中，图像分割单元具体在相邻分割区域间的差异性程度小于相邻分割区域中最小的内部差异性程度的情况下，合并相邻分割区域以生成新的分割区域。

在一个实施例中，图像分割单元具体包括第一集合生成模块和第一区域合并模块，其中：

第一集合生成模块，用于将图像中的每个像素点作为一个初始分割区域，获得初始分割区域集合；

第一区域合并模块，用于对初始分割区域集合中的相邻区域根据图像区域合并准则进行区域合并获得新的分割区域集合；对新的分割区域集合继续进行指定次数的区域合并得到最终的分割区域集合。

在一个实施例中，候选区域选择单元进一步包括第二集合生成模块和第二区域合并模块，其中：

第二集合生成模块，用于在分割区域集合中，计算每一对相邻区域的相似度，以构成相似度集合；

第二区域合并模块，用于在相似度集合不为空的情况下，执行以下操作：将相似度集合中最大相似度所对应的两个相邻区域合并，以生成新区域，在相似度集合中，删除与两个相邻区域中任一区域相关的相似度，添加新区域与相邻区域的相似度，将新区域作为候选区域添加到候选区域集合中。

在一个实施例中，上述装置还包括去重单元，其中：

去重单元，用于在人脸检测单元得到具有人脸的人脸区域后，在人脸区域间具有重叠区域的情况下，对重叠区域进行去重处理。

在一个实施例中，去重单元具体利用人脸区域的边界坐标值，判断人脸区域间是否具有重叠区域。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明人脸检测方法一个实施例的示意图。

图2为本发明图像分割一个实施例的示意图。

图3a-图3c为本发明图像分割时区域合并一个实施例的示意图。

图4为本发明根据相邻区域间相似度选择候选区域一个实施例的示意图。

图5a-图5e为本发明候选区域选择一个实施例的示意图。

图6为本发明候选区域集合中的候选区域一个实施例的示意图。

图7为本发明人脸检测方法另一实施例的示意图。

图8为本发明人脸检测装置一个实施例的示意图。

图9为本发明人脸检测装置另一实施例的示意图。

图10为本发明人脸检测装置又一实施例的示意图。

图11为本发明待检测图像示意图。

图12为从待检测图像中选择出的候选区域示意图。

图13为从候选区域中选择出的人脸区域示意图。

图14为在待检测图像中标出人脸位置的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1为本发明人脸检测方法一个实施例的示意图。如图1所示，本实施例的方法步骤如下：

步骤101，根据图像区域合并准则对图像进行区域合并，以得到分割区域集合。

这里需要说明的是，可将图像看成是一个带权重的无向图G＝<V，E>，其中V和E分别代表图的顶点和边的集合。此时，顶点v∈V代表图像的像素点，边w(v_i,v_j)∈E表示相邻像素点(或区域)v_i与v_j的差异性程度。差异性程度可以通过计算两个像素点间的RGB空间的三个颜色空间欧式距离得到，如公式(1)所示。

其中F_i与F_j分别表示顶点v_i与v_j的特征向量，

表示求欧氏距离。

基于图的图像分割按照一定的图像区域合并准则，对图像内的区域(或像素)逐步合并，直到达到预先设定的迭代步数为止。

优选的，图像区域合并准则通过比较相邻分割区域间的差异性程度和相邻分割区域内部的差异性程度确定是否将相邻分割区域合并。

例如，在相邻分割区域间的差异性程度小于相邻分割区域中最小的内部差异性程度的情况下，合并相邻分割区域以生成新的分割区域。

其中，两个区域C₁和C₂间的差异性程度可为区域C₁和C₂间差异性最大的边，若区域C₁和C₂间不存在边，两个区域C₁和C₂间的差异性程度被视为正无穷大。形式如公式(2)所示：

其中v₁为区域C₁中的顶点，v₂为区域C₂中的顶点，w(e)表示v₁和v₂的差异性程度。

此外，区域C内部的差异性程度可为区域C的最小生成树(Minimum SpanningTree，简称：MST)中差异性最小的边，形式如公式(3)所示：

优选的，图像区域合并准则可以如公式(4)所示：

Dif(C₁,C₂)<min{Int(C₁)+τ(C₁),Int(C₂)+τ(C₂)} (4)

也就是说，若相邻区域C₁和C₂满足上述图像区域合并准则，则可合并相邻区域C₁和C₂以生成新的区域，其中τ(C₁)和τ(C₂)分别为区域C₁和C₂的合并阈值。

这里，在合并准则中还引入了区域C的合并阈值τ(C)，也就是说，对区域C内部的差异性程度进行了扩展，区域C内部的差异性程度在这里为区域C内部的最小生成树中差异性最小的边与区域C的合并阈值τ(C)之和。τ(C)表示区域在进行合并时的难易程度。例如，τ(C)的形式可以如公式(5)所示：

其中|C|为区域C的相应尺寸，也就是区域C中所包含像素点的总个数，k为控制参数，可以用来控制分割区域的大小。

步骤102，基于分割区域集合，根据相邻区域间的相似度对相邻区域进行逐层合并，从而得到不同尺寸的候选区域。

由于同一物体的不同区域通常具有相似的特征(如纹理特征，颜色特征等)，利用计算区域的相似度，并选择相似度最高的区域合并，能够将小区域重新合并成物体。因此，通过逐层合并区域能够得到候选物体的区域。

优选的，相邻区域的相似度根据相邻区域的颜色相似度S_color和纹理相似度S_texture确定。

其中，S_color可通过统计两个相邻小区域的颜色直方图，计算其相似程度得到；S_texture可通过计算SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)特征得到区域的纹理特征直方图，通过比较两个区域的纹理特征直方图得到。

优选的，相邻区域的相似度为相邻区域的颜色相似度和纹理相似度的加权和。

例如，相邻区域r_i和r_j的相似度计算可如公式(6)所示：

S(r_i,r_j)＝aS_color+bS_texture (6)

其中，a表示颜色相似度的权系数，b表示纹理相似度的权系数。

步骤103，对候选区域进行人脸检测，以得到具有人脸的人脸区域。

判断候选区域是不是人脸，需要利用二分类器将候选区域分成两类：人脸和非人脸。人脸分类器采用OPENCV中基于HAAR-LIKE特征的ADABOOST级联分类器。

由于采用OPENCV中经过训练的人脸分类器如何进行人脸检测并不是本发明的发明点所在，因此这里不展开描述。

基于本发明上述实施例提供的人脸检测方法，通过对图像分割以获取可能存在物体的候选区域，然后针对候选区域进行人脸检测。从而可大幅减少识别人脸所需处理的区域，有效提高识别效率，并显著降低计算复杂度。

此外，在本发明中，由于将可能存在物体的区域作为候选区域，因此可以有效避免将人脸区域排除在候选区域外的情形，从而可提高人脸检测成功率。

图2为本发明图像分割一个实施例的示意图。在该实施例中，通过利用上述的图像区域合并准则对图像进行分割，以得到分割区域集合。

步骤201，将图像中的每个像素点作为一个初始分割区域，获得初始分割区域集合。

在进行分割区域集合初始化时，可根据需要确定分割区域的初始状态。例如，可将图像中的每个顶点作为一个分割区域，也可将图像中的多个相邻顶点作为一个分割区域。

步骤202，对初始分割区域集合中的相邻区域根据图像区域合并准则进行区域合并获得新的分割区域集合。

其中对于任意两个相邻分割区域，若该相邻分割区域间的差异性程度小于相邻分割区域中最小的内部差异性程度，则合并相邻分割区域以生成新的分割区域。

步骤203，对新的分割区域集合继续进行指定次数的区域合并得到最终的分割区域集合。

下面通过一个具体示例对本发明所涉及的图像分割进行说明。

在根据图像生成初始的分割区域集合时，将图像中的每个顶点作为一个分割区域。如图3a所示，在初始生成的分割区域集合中，每个分割区域包括一个像素点。此时分割区域集合M中包括的分割区域为：

M＝{C1、C2、C3、C4、C5、C6、C7、C8、C9}

通过利用上述的图像区域合并准则，发现分割区域C1与C4满足合并区域合并准则，因此将分割区域C1与C4合并以得到分割区域C10；分割区域C2与C3满足合并区域合并准则，因此将分割区域C2与C3合并以得到分割区域C12；分割区域C6与C9满足合并区域合并准则，因此将分割区域C6与C9合并以得到分割区域C13；分割区域C7与C8满足合并区域合并准则，因此将分割区域C7与C8合并以得到分割区域C11。如图3b所示，此时分割区域集合M中包括的分割区域为：

M＝{C5、C10、C11、C12、C13}

继续循环该流程。通过利用图像区域合并准则，发现分割区域C10与C11满足合并区域合并准则，因此将分割区域C10与C11合并以得到分割区域C14；分割区域C12与C5满足合并区域合并准则，因此将分割区域C12与C5合并以得到分割区域C15。如图3c所示，此时分割区域集合M中包括的分割区域为：

M＝{C13、C14、C15}

即，通过上述区域合并操作，将图像分割为C13、C14和C15三个区域。

图4为本发明根据相邻区域间相似度选择候选区域一个实施例的示意图。在该实施例中，通过利用相邻区域间的相似度对区域进行合并，从而可选择出具有物体的候选区域。

步骤401，在分割区域集合中，计算每一对相邻区域的相似度，以构成相似度集合。

步骤402，判断相似度集合是否为空，若相似度集合不为空，则执行步骤403；若相似度集合为空，则执行步骤407。

步骤403，将相似度集合中最大相似度所对应的两个相邻区域合并，以生成新区域。

步骤404，在相似度集合中，删除与两个相邻区域中任一区域相关的相似度。

步骤405，在相似度集合中添加新区域与相邻区域的相似度。

步骤406，将新区域作为候选区域添加到候选区域集合中。然后返回步骤402。

步骤407，结束候选区域选择。从而可利用候选区域集合中所包括的候选区域进行后续的人脸检测。

下面通过一个具体示例对本发明所涉及的候选区域选择进行说明。

如图5a所示，设在通过上述处理得到的分割区域集合中，包括R1-R5共5个区域。

首先，计算每一对相邻区域的相似度，以构成相似度集合N。此时，相似度集合N为：

N＝{S(R1,R2)、S(R2,R3)、S(R2,R4)、S(R3,R5)、S(R4,R5)}

通过对比，发现此时相似度集合N中最高的相似度为S(R3,R5)，因此将区域R3和R5合并，以得到新区域R6，如图5b所示。

由于将区域R3和R5合并，因此将相似度集合N中与区域R3和R5中任一区域相关的相似度删除，此时相似度集合N为：

N＝{S(R1,R2)、S(R2,R4)}

由于新区域R6与R2、R4相邻，因此计算新区域R6与R2、R4的相应相似度并添加到相似度集合N中，此时相似度集合N为：

N＝{S(R1,R2)、S(R2,R4)、S(R6,R2)、S(R6,R4)}

将得到的新区域R6作为具有物体的区域添加到候选区域集合R中，此时R为：

R＝{R6}

由于相似度集合N不为空，因此继续进行循环处理。此时相似度集合N中最高的相似度为S(R6,R2)，因此将区域R6和R2合并，以得到新区域R7，如图5c所示。

由于将区域R6和R2合并，因此将相似度集合N中与区域R6和R2中任一区域相关的相似度删除，此时相似度集合N为：

N＝{}

由于新区域R7与R1、R4相邻，因此计算新区域R7与R1、R4相应的相似度并添加到相似度集合N中，此时相似度集合N为：

N＝{S(R7,R1)、S(R7,R4)}

将得到的新区域R7作为具有物体的区域添加到候选区域集合R中，此时R为：

R＝{R6、R7}

由于此时相似度集合N中最高的相似度为S(R7,R4)，因此将区域R7和R4合并，以得到新区域R8，如图5d所示。

由于将区域R7和R4合并，因此将相似度集合N中与区域R7和R4中任一区域相关的相似度删除，此时相似度集合N为：

N＝{}

由于新区域R8与R1相邻，因此计算新区域R8与R1相应的相似度并添加到相似度集合N中，此时相似度集合N为：

N＝{S(R8,R1)}

将得到的新区域R8作为具有物体的区域添加到候选区域集合R中，此时R为：

R＝{R6、R7、R8}

接下来，由于相似度集合N中唯一的相似度为S(R8,R1)，因此将区域R8和R1合并，以得到新区域R9，如图5e所示。

由于将区域R8和R1合并，因此将相似度集合N中与区域R8和R1中任一区域相关的相似度删除，此时相似度集合N为：

N＝{}

由于新区域R9没有相邻的其它区域，因此不会给相似度集合N添加新的相似度。

将得到的新区域R9作为具有物体的区域添加到候选区域集合R中，此时R为：

R＝{R6、R7、R8、R9}

此时，由于相似度集合N为空，因此区域合并处理结束。此时候选区域集合R中包括的区域如图6所示。接下来，可将候选区域集合R中包括的区域作为候选区域进行人脸检测。

图7为本发明人脸检测方法另一实施例的示意图。其中，本实施例的步骤701-703与图1所示实施例中的步骤101-103相同。

步骤701，根据图像区域合并准则对图像进行区域合并，以得到分割区域集合。

步骤702，基于分割区域集合，根据相邻区域间的相似度对相邻区域进行逐层合并，从而得到不同尺寸的候选区域。

步骤703，对候选区域进行人脸检测，以得到具有人脸的人脸区域。

步骤704，在人脸区域间具有重叠区域的情况下，对重叠区域进行去重处理。

优选的，可利用人脸区域的边界坐标值，判断人脸区域间是否具有重叠区域。

例如，可判断第一人脸区域和第二人脸区域是否满足公式(7)：

max(Xa1,Xb1)≤min(Xa2,Xb2)

max(Ya1,Yb1)≤min(Ya2,Yb2) (7)

若条件满足，则确定第一人脸区域和第二人脸区域之间具有重叠区域，其中(Xa1,Ya1)为第一区域左上角的坐标，(Xa2,Ya2)为第一区域右下角的坐标，(Xb1,Yb1)为第二区域左上角的坐标，min(Xb2,Yb2)为第二区域右下角的坐标。

若存在重叠区域，可在重叠区域内保留人脸区域中面积最小的区域，以作为人脸的位置，这是考虑到面积较小的人脸区域包含的背景较少，因此划分较为准确。

图8为本发明人脸检测装置一个实施例的示意图。如图8所示，人脸检测装置可包括图像分割单元801、候选区域选择单元802和人脸检测单元803。其中：

图像分割单元801根据图像区域合并准则对图像进行区域合并，以得到分割区域集合。

例如，图像分割单元801具体在相邻分割区域间的差异性程度小于相邻分割区域中最小的内部差异性程度的情况下，合并相邻分割区域以生成新的分割区域。

其中，两个区域C₁和C₂间的差异性程度可为区域C₁和C₂间差异性最大的边，若区域C₁和C₂间不存在边，两个区域C₁和C₂间的差异性程度被视为正无穷大。形式如上述公式(2)。

区域C内部的差异性程度可为区域C的MST中差异性最小的边，形式如上述公式(3)。

候选区域选择单元802基于分割区域集合，根据相邻区域间的相似度对相邻区域进行逐层合并，从而得到不同尺寸的候选区域。

优选的，相邻区域的相似度根据相邻区域的颜色相似度和纹理相似度确定。例如，相邻区域的相似度为相邻区域的颜色相似度S_color和纹理相似度S_texture的加权和。

可选的，相邻区域r_i和r_j的相似度计算可如上述公式(6)所示。

人脸检测单元803对候选区域进行人脸检测，以得到具有人脸的人脸区域。

例如，人脸检测单元803可采用OPENCV中基于HAAR-LIKE特征的ADABOOST级联分类器。由于采用OPENCV中经过训练的人脸分类器如何进行人脸检测并不是本发明的发明点所在，因此这里不展开描述。

基于本发明上述实施例提供的人脸检测装置，通过对图像分割以获取可能存在物体的候选区域，然后针对候选区域进行人脸检测。从而可大幅减少识别人脸所需处理的区域，有效提高识别效率，并显著降低计算复杂度。

图9为本发明人脸检测装置另一实施例的示意图。如图9所示，图像分割单元901、候选区域选择单元902和人脸检测单元903与图8所示实施例中涉及的图像分割单元801、候选区域选择单元802和人脸检测单元803相同。此外，在图9所示实施例中，还包括去重单元904。其中：

去重单元904在人脸检测单元得到具有人脸的人脸区域后，在人脸区域间具有重叠区域的情况下，对重叠区域进行去重处理。

优选的，去重单元904具体利用人脸区域的边界坐标值，判断人脸区域间是否具有重叠区域。

例如，去重单元904可判断第一人脸区域和第二人脸区域是否满足上述公式(7)。

在有重叠区域的情况下，去重单元904可在重叠区域内保留人脸区域中面积最小的区域，以作为人脸的位置。

图10为本发明人脸检测装置又一实施例的示意图。在该实施例中，人脸检测单元1003、去重单元1004与图9所示实施例中涉及的人脸检测单元903、去重单元904相同。在图10所示的实施例中，图像分割单元1001可进一步包括第一集合生成模块1011和第一区域合并模块1012。其中：

第一集合生成模块1011将所述图像中的每个像素点作为一个初始分割区域，获得初始分割区域集合。

其中第一集合生成模块1011在进行分割区域集合初始化时，可根据需要确定分割区域的初始状态。例如，可将图像中的每个顶点作为一个分割区域，也可将图像中的多个相邻顶点作为一个分割区域。

第一区域合并模块1012对初始分割区域集合中的相邻区域根据图像区域合并准则进行区域合并获得新的分割区域集合；对新的分割区域集合继续进行指定次数的区域合并得到最终的分割区域集合。

例如，所采用的图像区域合并准则为上述公式(4)。

其中，Dif(C₁,C₂)为相邻分割区域间的差异性程度，分割区域C内部的差异性程度为分割区域内部的最小生成树中差异性最小的边Int(C)与分割区域的合并阈值τ(C)之和，其中合并阈值表示分割区域进行合并的难易程度。例如，τ(C)的形式可以为上述公式(5)：

优选的，在图10所示的实施例中，候选区域选择单元1002可进一步包括第二集合生成模块1021和第二区域合并模块1022。其中：

第二集合生成模块1021用于在分割区域集合中，计算每一对相邻区域的相似度，以构成相似度集合。

第二区域合并模块1022在相似度集合不为空的情况下，执行以下操作：将相似度集合中最大相似度所对应的两个相邻区域合并，以生成新区域，在相似度集合中，删除与两个相邻区域中任一区域相关的相似度，添加新区域与相邻区域的相似度，将新区域作为候选区域添加到候选区域集合中。

下面通过一个人脸检测的具体示例对本发明进行说明。

如图11所示的分辨率为640×480的图像，进行图像分割和区域合并后，共得到292个具有物体的候选区域。其中部分候选区域如图12所示，从图12中可以看出，在这些候选区域中，人脸区域被精确地提取出来(图12中的区域82)。

通过采用OPENCV中训练好的人脸分类器，对上述得到的292个候选区域进行人脸检测，得到的人脸区域如图13所示。

从图13中可以看出，不同的人脸区域具有重叠区域，按照上文中所给出的去重处理方式进行去重处理，以确定人脸位置，最后将所确定的人脸位置坐标在整幅图像中标出，效果如图14所示。

通过实施本发明，由于大幅减少识别人脸所需处理的区域，因此可有效提高识别效率，并显著降低计算复杂度。

对于传统的滑动窗口方式来说，根据图像尺寸的不同，通常需要对图片检测几万到几十万的区域。滑动窗口方式需要预先设定较小的初始检测窗口尺寸，初始检测窗口逐像素移动着遍历整个图片。遍历结束后，对初始检测窗口尺寸按一定比例放大，放大后的检测窗口重新遍历整个图片。直至检测窗口大小等于图片尺寸。

滑动窗口对于每个检测窗口尺寸，需要检测的窗口数计算公式如公式(8)所示：

Windows＝(m-size+1)*(n-size+1) (8)

其中，m和n分别分图像的宽和高，size表示滑动窗口数量。

以本发明采用的方案为例，对于480*640尺寸的图片，按20*20尺寸的检测窗口遍历一次图片，就绪检测超过24万个检测窗口。而且还需要对检测窗口放大后继续遍历。

而本发明利用图像分割技术，对图像行进分割和合并得到可能出现物体的候选区域，在此基础上进行人脸检测，从而大幅减少了需要检测的候选区域数量。本发明将需要检测的区域数量减少至几百到几千之间，同时相应的时间复杂度为：O(nlogn)，这里n为图像像素个数。显然，本发明在实现人脸检测时的计算复杂度和时间复杂度都显著降低。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims

1.一种人脸检测方法，其特征在于，包括：

根据图像区域合并准则对图像进行区域合并，以得到分割区域集合，所述图像区域合并准则通过比较相邻分割区域间的差异性程度和相邻分割区域内部的差异性程度确定是否将相邻分割区域合并，其中在相邻分割区域间的差异性程度小于相邻分割区域中最小的内部差异性程度的情况下，合并相邻分割区域以生成新的分割区域，所述相邻分割区域间的差异性程度为相邻分割区域间差异性最大的边，所述分割区域内部的差异性程度为所述分割区域内部的最小生成树中差异性最小的边与所述分割区域的合并阈值之和，其中合并阈值表示所述分割区域进行合并的难易程度；

在分割区域集合中，根据相邻区域间的相似度对相邻区域进行逐层合并，从而得到不同尺寸的候选区域，其中候选区域未包括在分割区域集合中；

利用二分类器对候选区域进行人脸检测，以得到具有人脸的人脸区域；

其中，在分割区域集合中，根据相邻区域间的相似度对相邻区域进行逐层合并，从而得到不同尺寸的候选区域的步骤包括：

在相似度集合不为空的情况下，执行以下步骤：

在相似度集合中，删除与所述两个相邻区域中任一区域相关的相似度，添加所述新区域与相邻区域的相似度；

将所述新区域作为候选区域添加到候选区域集合中。

2.根据权利要求1所述的方法，其特征在于，

根据图像区域合并准则对图像进行区域合并以得到分割区域集合的步骤包括：

将所述图像中的每个像素点作为一个初始分割区域，获得初始分割区域集合；

3.根据权利要求1所述的方法，其特征在于，

所述相邻区域的相似度根据所述相邻区域的颜色相似度和纹理相似度确定。

4.根据权利要求3所述的方法，其特征在于，

所述相邻区域的相似度为所述相邻区域的颜色相似度和纹理相似度的加权和。

5.根据权利要求1所述的方法，其特征在于，

在得到具有人脸的人脸区域后，还包括：

6.根据权利要求5所述的方法，其特征在于，

利用人脸区域的边界坐标值，判断人脸区域间是否具有重叠区域。

7.一种人脸检测装置，其特征在于，包括图像分割单元、候选区域选择单元和人脸检测单元，其中：

图像分割单元，用于根据图像区域合并准则对图像进行区域合并，以得到分割区域集合，所述图像区域合并准则通过比较相邻分割区域间的差异性程度和相邻分割区域内部的差异性程度确定是否将相邻分割区域合并，其中在相邻分割区域间的差异性程度小于相邻分割区域中最小的内部差异性程度的情况下，合并相邻分割区域以生成新的分割区域，所述相邻分割区域间的差异性程度为相邻分割区域间差异性最大的边，所述分割区域内部的差异性程度为所述分割区域内部的最小生成树中差异性最小的边与所述分割区域的合并阈值之和，其中合并阈值表示所述分割区域进行合并的难易程度；

候选区域选择单元，用于在分割区域集合中，根据相邻区域间的相似度对相邻区域进行逐层合并，从而得到不同尺寸的候选区域，其中候选区域未包括在分割区域集合中；

人脸检测单元，用于利用二分类器对候选区域进行人脸检测，以得到具有人脸的人脸区域；

其中，候选区域选择单元进一步包括第二集合生成模块和第二区域合并模块，其中：

第二区域合并模块，用于在相似度集合不为空的情况下，执行以下操作：将相似度集合中最大相似度所对应的两个相邻区域合并，以生成新区域，在相似度集合中，删除与所述两个相邻区域中任一区域相关的相似度，添加所述新区域与相邻区域的相似度，将所述新区域作为候选区域添加到候选区域集合中。

8.根据权利要求7所述的装置，其特征在于，图像分割单元包括第一集合生成模块和第一区域合并模块，其中：

第一集合生成模块，用于将所述图像中的每个像素点作为一个初始分割区域，获得初始分割区域集合；

9.根据权利要求7所述的装置，其特征在于，

10.根据权利要求9所述的装置，其特征在于，

11.根据权利要求7所述的装置，其特征在于，还包括去重单元，其中：

12.根据权利要求11所述的装置，其特征在于，

去重单元还用于利用人脸区域的边界坐标值，判断人脸区域间是否具有重叠区域。

13.一种人脸检测装置，包括：

存储器，被配置为存储指令；

处理器，耦合到存储器，处理器被配置为基于存储器存储的指令执行实现如权利要求1-6中任一项所述的方法。

14.一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如权利要求1-6中任一项所述的方法。