CN101630363A - 复杂背景下彩色图像人脸的快速检测方法 - Google Patents

Abstract

本发明涉及人脸识别技术领域，尤其涉及一种复杂背景下高分辨率彩色图像人脸的快速检测方法，本方法先根据采集的大量肤色样本数据建立由RGB和YCbCr两种色彩空间约束组成的人脸肤色混合模型来确定肤色像素；并采用整体肤色像素比率快速跳过非人脸区域，以提高人脸候选区域的定位效率；然后使用改进的基于正向特征选择的人脸快速检测算法实现人脸候选区域的人脸初步判定；最后利用基于空间约束和几何约束的虚警抑制方法进一步降低误检率，从而完成人脸检测。本发明能在很低虚警率情况下以很高的检测率实现图像中多个正面人脸的快速定位。在Bao公开数据库，以及多个视频及高分辨率彩色图像测试集上的结果证明了本发明的优异性能。

Description

复杂背景下彩色图像人脸的快速检测方法

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种复杂背景下高分辨率彩色图像人脸的快速检测方法。

背景技术

人脸检测是指对于任意的一幅给定图像，采用一定的策略对其进行搜索以确定其中是否存在人脸，如果存在则进一步确定人脸的位置、大小和姿态等信息。它目前广泛应用于人脸识别、视频监控、图像检索、人机接口等系统中。人脸检测是一个复杂的具有挑战性的模式检测问题，其主要的难点有两方面，一方面是由于人脸内在的变化所引起：(1)人脸具有相当复杂的细节变化，不同的外貌如脸形、肤色等，不同的表情如眼、嘴的开与闭等；(2)人脸的遮挡，如眼镜、头发和头部饰物以及其他外部物体等；另一方面由于外在条件变化所引起：(1)由于成像角度的不同造成人脸的多姿态，如平面内旋转、深度旋转以及上下旋转，其中深度旋转影响较大；(2)光照的影响，如光照变化、阴影等。(3)图像的成像条件，如摄像设备的焦距、成像距离，图像获取途径等。这些因素都为解决人脸检测问题造成了难度。如果能够找到一些相关的算法并能在应用过程中达到实时，将为成功构造出具有实际应用价值的人脸检测与跟踪等应用系统提供保证。

近些年提出的人脸检测方法大致可以分为四类：①基于知识的方法，这类算法只对简单背景下的正面人脸检测有较好的效果；②模板匹配方法，这类算法不能有效地处理人脸尺度、姿态和形状等方面的变化；③基于外观形状的方法；④基于特征的方法。

目前人脸检测的主流方法是基于样本统计学习的特征检测方法。这类方法一般引入了“非人脸”这个类别，通过对收集的样本进行统计学习获得“人脸”类别区别于“非人脸”类别的特征、模型等参数，而不是根据直观印象得到的表层规律，这在统计意义上更可靠。不仅避免了由于观察的不完整、不精确而带来的错误，还可以通过增加训练样本扩充检测的范围，提高了算法的适应性和鲁棒性。此类算法大多采用由简单到复杂的多层分类器结构，先由结构简单的分类器排除掉绝大部分背景窗口，然后由复杂的分类器对剩余的窗口进行进一步判断，从而达到较快的检测速度。考虑到实际图像中“人脸”与“非人脸”两类模式分类错误风险极不平衡的特点，以及“人脸”与“非人脸”训练样本的非对称性，学者们对样本训练算法进行了改进，提出了基于风险敏感Adaboost算法的人脸检测方法、基于正向特征选择的人脸检测方法等，减少了算法训练时间，提高了人脸检测算法的训练速度和检测率。但对高分辨率图像和高清晰视频而言，算法检测时间仍然很长，满足不了实际应用的需要。为了提高算法的检测速度，出现了基于肤色与结构特征的彩色图像人脸检测方法。这类方法先对光照进行补偿，然后对肤色进行建模，再利用肤色模型分割出肤色区域，最后利用基于特征的方法仅在肤色区域进行人脸检测，从而提高了人脸检测效率。但是这类方法存在以下问题：(1)通常采用肤色混合高斯模型或椭圆模型，无论是否是肤色像素都要进行颜色空间的复杂变换和判定，导致肤色分割时计算量很大，影响了人脸检测的速度。(2)在人脸检测时一般先使用整体肤色、形状特征检测出人脸轮廓(如：椭圆结构)，然后在人脸轮廓区域检测人眼、嘴等特征，从而完成人脸的验证。若图像中存在两个或多个人脸轮廓局部重叠，则该类算法将会出现严重的人脸漏检问题。(3)采用了人脸眼、嘴等多种结构特征，算法复杂，检测速度慢，使算法整体性能下降。

发明内容

本发明的目的在于实现克服现有技术的不足，提供一种复杂背景下高分辨率彩色图像人脸的快速检测方法。该人脸检测算法的实现包括肤色建模、人脸检测器训练和人脸检测三个阶段。

在肤色建模阶段，首先应该进行肤色样本的采集，绘制肤色在RGB空间和YCbCr空间的分布图。再根据肤色在RGB空间和YCbCr空间的分布关系，找出肤色在RGB空间的三个分量之间简单的大小约束关系，以及肤色在YCbCr空间CbCr平面肤色凸多边形区域约束关系。然后根据亮度分量Y的统计变化范围对其施加很宽松的约束。综合肤色在RGB和YCbCr两个颜色空间的约束关系就形成了人脸肤色混合模型。如果当前像素点颜色满足该肤色混合模型，则判定该像素为肤色点。

在人脸检测器训练阶段，首先应该进行样本的采集，包括人脸和非人脸样本的采集，然后对样本进行尺寸和光照的归一化处理；再利用训练样本，进行微结构特征的抽取，得到特征库；然后利用特征库结合基于正向特征选择的非对称Adaboost算法，训练得到一层人脸/非人脸强分类器；重复以上训练过程，得到结构由简单到复杂的多层分类器；最后把这些分类器级联起来，得到一个完整的人脸检测器。若得到的人脸检测器不满足实际要求，则修改检测器参数，直到满足技术指标要求为止。

在人脸检测阶段，若光照不正常，可先对图像进行光照补偿，以减轻光照对肤色分割的影响。然后，根据肤色混合模型对输入图像进行肤色快速分割，并计算肤色二值分割后图像的积分图像。再按照一定比例连续缩放输入图像的积分图像，再在得到的系列图像中判别其中每一个一定尺寸的子窗口(定义输入图像中的一个矩形区域子图像为一个子窗口)是否含有人脸。对每一个子窗口，首先根据肤色二值分割后图像的积分图像和当前尺度计算子窗口肤色像素百分比。如果肤色像素百分比小于给定阈值，则跳过该子窗口；反之，则对子窗口进行灰度归一化处理，然后提取其微结构特征，用训练好的人脸检测器对子窗口进行判断，如果任意一层分类器输出低于指定阈值即认为该子窗口为非人脸而不进行后续判断，只有那些通过所有分类器判断的子窗口被认为是一个人脸。最后，再采用基于空间约束和几何约束的虚警抑制方法，很好地抑制了虚警，并获得了很高的人脸检测正确率。该方法已经成功应用于基于人脸的用户身份动态监控系统中。

本发明由以下几个部分组成：肤色建模、人脸样本采集与归一化、积分图像计算、特征选择与分类器设计、人脸候选区域的快速定位、基于特征的人脸快速检测、虚警抑制。

1.肤色建模

首先进行肤色样本的采集，包括室外、室内、树林等场景中不同人脸图像。然后提取人脸正常肤色区域数据，绘制肤色在RGB空间和YCbCr空间的分布图。再根据肤色在RGB空间和YCbCr空间的分布关系，找出肤色在RGB空间的三个分量之间简单的大小约束关系，以及肤色在YCbCr空间CbCr平面肤色凸多边形区域约束关系。然后根据亮度分量Y的统计变化范围对其施加宽松的约束，从而建立满足RGB和YCbCr两种颜色空间约束关系的肤色混合模型。如果像素颜色满足该肤色混合模型，则判定该像素为肤色点。

本发明采用的肤色混合模型为：

(1)肤色在RGB空间的约束

肤色在RGB空间满足式(1)或(2)。其中式(1)为光照条件良好时的肤色约束条件，式(2)为光照不足(如在晴天时拍摄树林中人脸)时的肤色约束条件。

R＞G＞B且R-G＞τ₁          (1)

R＞B≥G且R-B＞τ₂          (2)

式中τ₁＞0，τ₂＞0。光照条件越好，τ₁越大，反之越小。本发明中选择τ₁＝25，τ₂＝20。如果成像后图像偏暗，则阈值τ₁，τ₂取值可适当减少。

(2)肤色在YCbCr空间的约束

利用公式(3)将肤色数据由RGB空间转化至YCbCr空间，并对Cr，Cb进行归一化处理，绘制CbCr平面分布图。然后，保留肤色出现概率在κ％以上的肤色点分布区域(图1)，并用尽可能小的凸多边形包围该肤色分布区域，从而得到肤色在CbCr平面的分布关系。

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.0\\ 112.0& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(3\right)$

为了尽可能地排除非肤色点，根据亮度分量Y的统计变化范围对其进一步施加宽松的约束，从而形成肤色在YCbCr空间的肤色约束条件。

本发明中，对亮度分量的约束为：

Y≥52                   (4)

由于原始图像数据解码后一般为RGB格式，因此在肤色分割时先用肤色混合模型中很简单的RGB大小约束关系快速排除图像中占绝大多数的非肤色像素点，节省了颜色空间变换的时间；然后对可能的非肤色像素用肤色混合模型中较复杂的肤色约束关系进一步排除，从而提高了肤色分割算法的速度。

2.人脸样本采集与归一化

(1)样本的采集

采用手工标定、软件自动标定等方法，从包含人脸的图像中切割出人脸图像，从不包含人脸的图像中随机切割出非人脸图像。人脸图像和非人脸图像分别作为正例样本和反例样本用于训练人脸分类器。

(2)尺寸归一化

将收集好的各尺寸人脸和非人脸图像归一化为指定尺寸。设原始样本图像为[F(x，y)]_M×N，其中图像宽度为M，高度为N。图像位于第x行第y列的像素点的值为F(x，y)；设尺寸归一化后图像为[G(x，y)]_W×H，图像宽度为W，高度为H，实验中取W＝H＝24。这样，尺寸归一化可以看成是将源图像点阵映射为目标图像点的过程。由于采集的大量原始样本宽高比例可能不一样，为了避免人脸图像横向和纵向缩放比例不等，本发明在尺寸归一化时使用反向投影和双线性插值方法将原始样本图像变换到标准尺寸样本图像，并对溢出部分进行剪裁，则输入图像[F(x，y)]_M×N与归一化图像[G(x，y)]_W×H之间的对应关系为：

其中，

表示对图像溢出部分进行中心剪裁，r为x和y方向的尺度变换因子的最小值：r_x＝N/H，r_y＝M/W，r＝min(r_x，r_y)。

(3)灰度归一化

由于外界光照、成像设备等因素可能导致图像亮度或对比度异常，出现阴影或反光等情况，因此还需要对几何归一化后的样本进行灰度均衡化处理，以改善其灰度分布，增强模式间的一致性。本发明采用灰度均值、方差归一化对样本进行灰度均衡化处理，将样本图像灰度的均值μ和方差σ调整到给定值μ₀和σ₀。

先计算样本的均值和方差：

$\stackrel{\‾}{\mathrm{\μ}}=\frac{1}{\mathrm{WH}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}G(x,y)---\left(6\right)$

$\stackrel{\‾}{\mathrm{\σ}}=\sqrt{\frac{1}{\mathrm{WH}}\underset{y=0}{\overset{H-1}{\mathrm{\Σ}}}\underset{x=0}{\overset{W-1}{\mathrm{\Σ}}}{(G(x,y)-\stackrel{\‾}{\mathrm{\μ}})}^2}---\left(7\right)$

然后，对每个像素点的灰度值进行以下变换：

$I(x,y)={\mathrm{\μ}}_0+\frac{{\mathrm{\σ}}_0}{\stackrel{\‾}{\mathrm{\σ}}}(G(x,y)-\stackrel{\‾}{\mathrm{\μ}})---\left(8\right)$

从而将图像灰度的均值和方差调整到给定值μ₀和σ₀，完成样本的灰度归一化。

3.积分图像计算

对于图像内一点A(x，y)，定义其对应的积分图像ii(x，y)为从(0，0)到(x，y)区域内的所有像素之和(图2)：

$\mathrm{ii}(x,y)=\underset{x^{\′}\≤x,y^{\′}\≤y}{\mathrm{\Σ}}i(x^{\′},y^{\′})---\left(9\right)$

其中：i(x′，y′)为点(x′，y′)处的原始图像亮度值；对于灰度图像，其值为0～255。

为了快速计算积分图像，采用以下迭代公式求出：

ii(x，y)＝ii(x-1，y)+s(x，y)           (10)

  s(x，y)＝s(x，y-1)+i(x，y)           (11)

其中，s(x，y)为点(x，y)及其Y方向上所有原始图像之和，可以定义为：

$s(x,y)=\underset{y^{\′}\≤y}{\mathrm{\Σ}}i(x,y^{\′})---\left(12\right)$

并且定义ii(x，-1)＝0，ii(-1，y)＝0。

可见，对于大小为m×n图像，只需遍历每个像素一次，迭代m×n×2次，即可以得到整个图像的积分图像。

4.特征选择与分类器设计

4.1微结构特征的快速提取

本发明采用图3中的五种类型微结构模板来提取人脸和非人脸样本的高维结构特征；每一种结构特征通过计算模板黑色区域和白色区域所对应像素灰度和的差值来得到，并且模板在图像中的位置以及模板的尺寸可以改变。

采用第3节定义的积分图像，通过积分图像若干次加减法就可以快速计算出五种类型微结构特征。

设由左上角至右下角定义结构区域在积分图像中的横坐标依次为x₁，x₂，x₃，x₄，纵坐标依次为y₁，y₂，y₃，y₄。如果该类型微结构模板不存在该点，则定义结束。五种结构单元计算公式分别为：

(a)s＝ii(x₁，y₃)-ii(x₁，y₁)+ii(x₃，y₃)-ii(x₃，y₁)+2·(ii(x₂，y₁)-ii(x₂，y₃))

(b)s＝ii(x₃，y₁)+ii(x₃，y₃)-ii(x₁，y₁)-ii(x₁，y₃)+2·(ii(x₁，y₂)-ii(x₃，y₂))

(c)s＝ii(x₁，y₁)-ii(x₁，y₃)+ii(x₄，y₃)-ii(x₄，y₁)+3·(ii(x₂，y₃)-ii(x₂，y₁)+ii(x₃，y₁)-ii(x₃，y₃))

(d)s＝ii(x₁，y₁)-ii(x₁，y₄)+ii(x₃，y₄)-ii(x₃，y₁)+3·(ii(x₃，y₂)-ii(x₃，y₃)+ii(x₁，y₃)-ii(x₁，y₂))

(e)s＝ii(x₁，y₁)+ii(x₁，y₃)+ii(x₃，y₁)+ii(x₃，y₃)-2·(ii(x₂，y₁)+ii(x₂，y₃)+ii(x₁，y₂)+ii(x₃，y₂))+4·ii(x₂，y₂)

由于每一种结构特征提取仅涉及到矩形区域中像素的计算问题，因此可以利用整幅图像的积分图像快速计算任意尺度、任意位置的某种微结构特征。

4.2特征选择和分类器设计

为了实现快速的人脸检测，人脸检测器必须采用分层结构(图4)，由多层结构的从简单到复杂的强分类器级联起来组成。先由结构简单的强分类器排除掉图像中的大多数背景子窗口，然后由结构复杂的强分类器对余下的子窗口进一步判别。

4.2.1弱分类器的构造

本发明中弱分类器是使用一维特征构造的树分类器：

$h_j\left(\mathrm{subw}\right)=\left\{\begin{array}{cc}1,& \mathrm{if}{g}_j\left(\mathrm{subw}\right)<{\mathrm{\&theta;}}_j\mathrm{or}{g}_j\left(\mathrm{subw}\right)>{\mathrm{\&theta;}}_j\\ 0,& \mathrm{otherwise}\end{array}\right.$

其中，subw是一个w×w像素的样本，g_j(subw)表示从该样本提取得到的第j个特征，θ_j是第j个特征对应的判决阈值，h_j(subw)表示使用第j个特征构造的树分类器的判决输出。这样每个弱分类器只需要比较一次阈值就可以完成判决。

4.2.2基于正向特征选择的强分类器设计

为了提高训练效率，本发明采用吴建鑫(Jianxin Wu，Charles Brubaker，Matthew D.Mullin，and James M.Rehg，Fast Asymmetric Learning for CascadeFace Detection)等提出的基于正向特征选择的快速菲对称学习方法训练非对称Adaboost算法节点分类器，具体训练步骤如下：

(4.2.2.1){给定一系列训练样本

其中y_i＝0表示其为负样本(非人脸)，y_i＝1表示其为正样本(人脸)，N为总训练样本数量。}

(4.2.2.2){给定矩形特征集

其中M为矩形特征数。}

(4.2.2.3){输出是一个集合分类器，负样本分类错误率为0.5，S是选择的特征集。}

(4.2.2.4)重复以下步骤M次(i＝1，2，…，M)

为矩形特征h_i选择合适的阈值，如：h_i是训练中的最小误差。

(4.2.2.5)构建V_i，j表，例如V_i，j＝h_i(x_j)，1≤i≤M，1≤j≤N。

(4.2.2.6)初始化变量： $S\&DoubleLeftArrow;0,$ $v\&DoubleLeftArrow;0_{1\&times;N}.$

(4.2.2.7)重复以下步骤T次(t＝1，2，…，T)

(4.2.2.7.1)重复以下步骤M次(i＝1，2，…，M)

(a) $S^{\&prime;}\&DoubleLeftArrow;S\&cup;h_i,$ $v^{\&prime;}\&DoubleLeftArrow;v+V_{i:},$ 其中V_i:是V的第i行。

(b)计算S′分类器H′(x)＝sgn(∑_h∈S′h(x)-θ)，其中

H′(x_i)＝sgn(∑_h∈S′v′_i-θ)。

(c)求出满足H′有最小误差率ε_i的θ值。

(d) $l_i\&DoubleLeftArrow;{\mathrm{\&epsiv;}}_i$

(4.2.2.7.2) $k\&DoubleLeftArrow;\arg \mathrm{mi}{n}_{1\&le;i\&le;M}{l}_i$

(4.2.2.7.3) $S\&DoubleLeftArrow;S\&cup;h_k,$ $v\&DoubleLeftArrow;v+V_k$

(4.2.2.8){输出H(x)＝sgn(∑_h∈Sh(x)-θ)}

(4.2.2.9)调整θ值，使在训练集上H有50％的虚警率。

4.2.3多层强分类器的级联

由于单层强分类器很难同时实现高检测率和低虚警率等目标，因此整个人脸检测器必须采用分层结构，按先简单后复杂的顺序将多层强分类器级联起来，如图4所示。在检测时只要某个图像窗口不能通过其中任何一层，可立即排除不进行后续的判断，否则由后续更复杂的强分类器进行进一步判断。因此，对于明显不像人脸的窗口图像，在前几级就可排除，无需后续计算，从而大大节省了计算量。

设已知正例样本集{P}，反例样本集{N}，以及自举(Bootstrapping)反例实例数据库{D}，则多层强分类器级联的具体训练步骤如下：

(1)给定学习目标集{G}

(2)输出级联序列为{H＝(H₁，H₂，…，H_r)}

(3)初始化 $i\&DoubleLeftArrow;0,$ $H\&DoubleLeftArrow;\mathrm{\&Phi;}$

(4)重复以下过程，直到满足给定的学习目标

a) $i\&DoubleLeftArrow;i+1$

b)节点分类器学习{通过P和N学习h_i，将H_i加至H}

c)从集合N中删除正确分类的非人脸样本

d)在D上运行当前级联分类器H，将所有的误检样本加至集合N中，直到N中样本数目与初始数目一样。

在人脸检测时如果一个窗口通过所有层分类器判断，则认为该窗口包含一个人脸。

5.人脸候选区域的快速定位

为了快速定位人脸候选区域，减少在非人脸区域进行很费时的人脸检测，我们利用肤色二值分割后的积分图像快速计算当前候选测窗口的肤色像素比率λ₁，并根据λ₁的大小选择有效的人脸候选区域，快速跳过相邻的非人脸区域，提高了人脸检测算法的效率。具体方法如下：

首先利用肤色二值分割后的积分图像和当前检测图像的尺度参数快速计算当前待检测窗口(w×h)的肤色像素比率λ₁。若λ₁大于预设的阈值T₁，则该检测窗口为有效的人脸候选区域；否则抛弃该区域，并计算当前位置2倍宽度窗口(2w×h)的肤色像素比率λ₂。若λ₂≤T₁/2，则下一个待检测窗口位置在水平方向移动w个像素；若λ₂＞T₁/2，且λ₁＜T₁/2，则下一搜索子窗口水平方向偏移量为w/2个像素。

6.基于特征的人脸快速检测

若图像某一区域存在人脸，则包含该人脸图像的相邻子窗口一般都满足肤色约束条件，并要进行耗时的基于特征的人脸检测判断。为了减少在真实人脸区域的大量重复检测，本发明在使用非对称Adaboost算法进行人脸候选子窗口判定时，对常用的相邻子窗口的穷举搜索策略进行了改进，即：若当前子窗口满足肤色比条件，则下一待检测子窗口的位置水平方向搜索方式由1个像素变为2个像素，垂直方向搜索方式不变(仍为一个像素)，从而有效减少了耗时的人脸检测子窗口的数量，提高了算法效率。

7.虚警抑制

在进行人脸检测时，由于检测窗口的滑动，容易对同一人脸区域进行多次检测，从而产生虚警。尤其在对高分辨率图像进行人脸检测时，这种情况更易产生。另外，检测算法也易将局部结构特征与人脸类似的小区域误识成人脸。因此，我们必须对检测出的虚警目标进行快速剔除，以尽可能减轻后续人脸识别算法的压力。

通过大量人脸检测算法的实验结果分析和比较，我们发现人脸检测时常见虚警可分为以下四类。即：(1)同一人脸区域的重复检测；(2)在结构模式上与人脸类似区域；(3)人脸区域一部分与背景组成与人脸类似的结构区域；(4)人脸的局部区域。

对于第一类虚警，根据最近邻重叠原则，将重叠率λ₁≥τ₃的人脸区域进行合并，并将其平均位置作为人脸区域位置，从而消除此类虚警。

对于第二类虚警，可以分为与肤色相似和不相似的两类虚警区域。对于与肤色不相似和仅少数像素颜色与肤色相似的虚警区域，在利用子窗口肤色像素比率λ₂≥τ₄选择人脸候选区域时会自动排除。

对于第三类虚警，由于肤色像素比值很高，仅仅通过人脸区肤色像素比率很难将其剔除。本发明根据检测出的人脸区域的空间相交关系、尺寸比例，以及肤色水平重叠比λ₃，能很好地将此类虚警剔除。具体步骤如下：

步骤1：计算人脸相交区域的肤色比。若该相交区域肤色比大于预设阈值，则分析下方人脸下一半是否满足肤色条件。若满足，则可能为人脸区域，转步骤2进一步判断。反之，则为虚警。

步骤2：若相交的下方人脸下一半肤色比大于预设阈值，且相交人脸的高度重叠率＞25％，宽度重叠率＞75％，则相交的下方人脸区域为虚警。

对于第四类虚警，考虑到在同一幅中不同人脸一般大小相差不大。若检测出的人脸与另外一个检测出的人脸重叠率λ₄≥τ₆，且尺寸相差悬殊时则直接将小的检测人脸作为虚警剔除。

为了验证本发明的有效性，我们在公开的Bao人脸图像库，以及两个视频片段上进行了实验。我们测试了该数据库的多人图像和单人图像各100帧，并对图像质量很差的CCTV-7、光照较差的实验室单人视频片段进行了测试。详细测试结果如表1所示：

为了进一步验证算法检测性能，我们对自己收集的一些高分辨率数码相片，以及一些高清视频也进行了测试，图6和7显示了典型彩色人脸图像的部分检测结果。在算法没有优化的情况下检测速度比Violia等提出的算法速度一般提高50％以上，比吴建鑫等提出的基于正向特征选择的人脸检测算法速度提高5倍以上，虚警率下降85％左右。

表1  本发明算法在Bao数据库正面人脸测试集上的检测性能

本发明复杂背景下彩色图像人脸的快速检测方法的优点是：针对现有算法存在的缺陷，本发明提出了一种基于肤色混合模型和非对称Adaboost算法的复杂背景下高分辨率彩色图像人脸的快速检测方法，采用结构简单且能快速计算的肤色混合模型，较大地减少了肤色分割时间。采用积分图像快速计算候选区域肤色像素百分比，并根据当前肤色子窗口比率快速跳过相邻的非人脸子窗口，有效减少了人脸检测算法搜索空间，从而提高了算法的检测速度。在人脸检测时没有使用传统的穷举方法搜索相邻子窗口，而是采用了水平方向移动2个像素的快速搜索策略，减少了待检测子窗口的数量，进一步提高了人脸检测算法的速度。最后采用了基于空间约束和几何约束的虚警抑制方法，很好地剔除了常见的人脸虚警。这是目前文献中没有使用过的方法。

本发明复杂背景下彩色图像人脸的快速检测方法可以检测出同一幅彩色图像中不同尺度下的多个正面人脸，对光照、尺度和表情等方面的变化不敏感，而且具有很高的检测速度和检测率，以及极低的虚警率，其检测率达到99％，虚警率低至1％，具有广泛的应用前景。

附图说明

图1为肤色在CbCr空间的统计分布图；

图2为积分图像的定义示意图；

图3a～e为人脸检测采用的五种微结构元特征示意图；

图4为人脸分层检测结构示意图；

图5为人脸检测系统框图；

图6为彩色多人脸图像检测效果图；

图7为树荫下彩色人脸图像检测效果图。

具体实施方式

根据图1-7所示，一种复杂背景下彩色图像人脸的快速检测方法，在实现一个人脸检测系统时，首先应该收集足够多的人脸肤色样本，建立由RGB与YCbCr两种颜色空间构成的肤色混合模型；然后收集足够多的人脸样本训练得到人脸检测器。然后根据肤色混合模型确定图像中的肤色像素，再根据子窗口肤色像素比率快速选择人脸候选区域，利用训练好的检测器对人脸候选区域进行检测，以快速确定存在的人脸及其位置等信息。最后，利用人脸在空间位置和几何关系上的约束，尽可能的抑制虚警，提高检测率，降低检测系统的虚警率。整个系统的实现方案如图5所示，下面详细介绍系统的各个部分：

A.肤色建模

先根据采集的自然光照下肤色样本、树荫下肤色样本、室内外光照不足等条件下的非正常肤色样本等不同人脸图像肤色数据，分别绘制肤色在RGB空间和YCbCr空间的分布图。再根据肤色在RGB空间和YCbCr空间的分布关系，找出肤色在RGB空间的三个分量之间简单的大小约束关系，以及肤色在YCbCr空间CbCr平面肤色凸多边形区域约束关系。然后根据亮度分量Y的统计变化范围对其施加宽松的约束，从而建立满足RGB和YCbCr两种颜色空间约束关系的肤色混合模型。

本发明采用的肤色混合模型为：

(1)肤色在RGB空间的约束

肤色在RGB空间满足式(1)或(2)。其中式(1)为光照条件良好时的肤色约束条件，式(2)为光照不足(如在晴天时拍摄树林中人脸)时的肤色约束条件。

R＞G＞B且R-G＞τ₁                (1)

R＞B≥G且R-B＞τ₂                (2)

式中τ₁＞0，τ₂＞0。光照条件越好，τ₁越大，反之越小。本发明中τ₁＝25，τ₂＝20。

(2)肤色在YCbCr空间的约束

利用公式(3)将肤色数据由RGB空间转化至YCbCr空间，并对Cr，Cb进行归一化处理，绘出肤色在CbCr平面的空间分布图。

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.0\\ 112.0& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(3\right)$

然后，保留肤色出现概率在0.25％以上的肤色点分布区域(图1)，并用尽可能小的凸多边形包围该肤色分布区域，从而得到肤色在CbCr平面的分布关系。为了尽可能地排除非肤色点，根据亮度分量Y的统计变化范围对其进一步施加宽松的约束。本发明中，对亮度分量的约束为：

Y≥52                          (4)

B.训练系统的组成

B.1训练样本的获取

利用摄像头、数码相机、扫描仪等设备采集图像，将其中的人脸人工分割出来，建立人脸样本训练数据库；而非人脸训练样本则是从不含人脸的图像中随机切割获得。在本例中共收集到使用5000个人脸样本和5000个非人脸样本作为训练集，验证样本4900个。

B.2样本归一化

B.2.1尺寸归一化

设原始样本图像为[F(x，y)]_M×N，其中图像宽度为M，高度为N。图像位于第x行第y列的像素点的值为F(x，y)；设尺寸归一化后图像为[G(x，y)]_W×H，图像宽度为W，高度为H，实验中取W＝H＝24。为了避免人脸图像横向和纵向缩放比例不等，本发明在尺寸归一化时使用反向投影和双线性插值将原始样本图像变换到标准尺寸样本图像，并对溢出部分进行剪裁，则输入图像F[(x，y)]_M×N与归一化图像[G(x，y)]_W×H之间的对应关系为：

其中，

表示对图像溢出部分进行中心剪裁，r为x和y方向的尺度变换因子的最小值：r_x＝N/H，r_y＝M/W，r＝min(r_x，r_y)。

B.2.2光照归一化

对尺寸归一化后的样本图像G(x，y)的每个像素进行如下灰度变换，将均值μ和方差σ调整到给定值μ₀和σ₀，得到样本图像I(x，y)：

$I(x,y)={\mathrm{\&mu;}}_0+\frac{{\mathrm{\&sigma;}}_0}{\stackrel{\&OverBar;}{\mathrm{\&sigma;}}}(G(x,y)-\stackrel{\&OverBar;}{\mathrm{\&mu;}})$

其中， $\stackrel{\&OverBar;}{\mathrm{\&mu;}}=\frac{1}{\mathrm{WH}}\underset{y=0}{\overset{H-1}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{W-1}{\mathrm{\&Sigma;}}}G(x,y),$ $\stackrel{\&OverBar;}{\mathrm{\&sigma;}}=\sqrt{\frac{1}{\mathrm{WH}}\underset{y=0}{\overset{H-1}{\mathrm{\&Sigma;}}}\underset{x=0}{\overset{W-1}{\mathrm{\&Sigma;}}}{(G(x,y)-\stackrel{\&OverBar;}{\mathrm{\&mu;}})}^2}.$

B.3样本特征的获取

B.3.1样本积分图像的计算

根据定义使用积分图像计算每个样本对应的积分图像ii(x，y)，且有ii(-1，y)＝0，ii(x，-1)＝0。

B.3.2结构特征的提取

利用每一种结构元特征的定义以及对应的积分图像快速提取每一个样本对应的特征，并分别进行归一化，从而分别构成人脸样本的特征库和非人脸样本的特征库。

B.4人脸检测器的训练

给定学习整目标为检测率99.9％，虚警率为10^-7，每个节点分类器的误检率为50％。利用上述的基于正向特征选择的强分类器设计方法训练每个节点分类器，并进一步构成级联的强分类器。

C.检测系统的实现

在检测阶段，本发明包括以下步骤：

C.1图像的采集

利用摄像头、数码相机、扫描仪等设备采集图像。

C.2肤色检测

根据建立的肤色混合模型，确定图像中的肤色像素。在具体肤色分割时先利用肤色混合模型中简单的RGB约束关系快速排除图像中占绝大多数的非肤色像素点，然后用肤色混合模型中较复杂的肤色约束关系对可能的非肤色像素进一步排除，从而能有效提高肤色分割的速度。

C.3输入图像金字塔的构成以及人脸的快速检测

为检测不同尺寸的人脸，采用双线性插值方法按照一定比例(本发明采用1.25的比例)连续缩小输入图像，直到下采样后的图像尺寸小于训练样本窗口大小。然后，分别判断每个下采样图像子窗口是否含有人脸。具体来说包括以下步骤：

C.3.1输入图像的缩放

采用双线性插值方法按比例q＝1.25连续缩小输入图像I(x，y)，直到下采样后的图像尺寸小于w×w(本发明w＝24)像素。

C.3.2积分图像的计算

使用上文迭代公式分别计算每个下采样图像I_i(x，y)的积分图像ii_i(x，y)、平方积分图像P_i(x，y)，以及肤色二值图像的积分图像S_i，i＝1，2，…，L，L为金字塔层数。

C.3.3人脸候选区域的快速判断

从每幅下采样图像I_i(x，y)的左上角开始，按水平方向移动2个像素，垂直方向移动1个像素，判别每个24×24像素尺寸的子区域。对于任一个子区域[x₀，y₀；x₀+23，y₀+23]的处理步骤如下：

C.3.3.1利用整幅图像的肤色积分图像，计算子区域中肤色像素比值：κ_i＝[S_i(x₀+23，y₀+23)+S_i(x₀-1，y₀-1)-S_i(x0-1，y₀+23)-S_i(x₀+23，y₀-1)]/24²。若κ_i＞0.15，转C.2.3.2继续处理。否则抛弃此子区域；然后计算当前位置2倍宽度子区域的肤色像素比率。若肤色像素比率仍小于0.15，则下一子区域搜索位置水平方向移动24个像素；反之，若当前子区域肤色比率小于0.075，则下一搜索子区域水平方向偏移量为12个像素。采用这样的搜索策略，有效地跳过了非人脸子区域，提高了算法的效率。

C.3.3.2利用整幅图像的积分图像和平方和图像计算子窗口的均值μ和方差σ：

μ＝[ii_i(x₀+23，y₀+23)+ii_i(x₀-1，y₀-1)-ii_i(x0-1，y₀+23)-ii_i(x₀+23，y₀-1)]/24²

σ＝{[P_i(x₀+23，y₀+23)+P_i(x₀-1，y₀-1)-P_i(x₀-1，y₀+19)-P_i(x₀+23，y₀-1)]/24²-μ²}^1/2

C.3.3.3利用前文介绍的方法快速提取该子窗口的结构特征，并进行特征归一化处理；

C.3.3.4利用训练好的多层人脸/非人脸强分类器对有效的人脸候选区域进行判断；如果通过所有层强分类器的判断，则认为该子区域包含一个人脸，输出其位置，且下一人脸候选子区域的位置在水平方向上将移动2个像素，从而有效减少了人脸候选子区域的数量，提高了算法的效率。反之，则排除掉该人脸候选子区域。

利用以上步骤，可以快速的初步检测一幅输入图像中的所有人脸。

C.3.3.5利用检测出的人脸空间相对位置，以及水平肤色区重叠率等剔除非人脸区域。具体处理步骤如下：

(1)对于由同一人脸区域的重复检测产生的第一类虚警，根据最近邻重叠原则，将重叠率λ₁≥0.6的人脸区域进行合并，并将其平均位置作为人脸区域位置，从而消除此类虚警。

(2)对于在结构模式上与人脸类似区域产生的第二类虚警，利用子窗口肤色像素比率λ₂≥0.15选择人脸候选区域时会将绝大多数非人脸候选区域排除。

(3)对于由人脸区域一部分与背景组成与人脸类似的结构区域产生的第三类虚警，由于肤色像素比值很高，仅仅通过人脸区肤色像素比率很难将其剔除。本发明根据检测出的人脸区域的空间相交关系、尺寸比例，以及肤色水平重叠比λ₃＝0.85，能很好地将此类虚警剔除。

(4)对于由人脸的局部区域产生的第四类虚警，考虑到在同一幅中不同人脸一般大小相差不大。若一个检测出的人脸与另外一个检测出的人脸重叠率λ₄≥0.55，且尺寸相差悬殊时则直接将小的检测人脸作为虚警剔除。

利用以上步骤，输出图像中检测出的所有人脸位置、大小等信息。

Claims (6)

1、复杂背景下彩色图像人脸的快速检测方法，其特征在于，先根据采集的大量肤色样本建立人脸肤色混合模型，并对图像进行快速肤色分割，然后使用整体肤色像素比率快速定位人脸候选区域，以减少人脸搜索空间，然后利用非对称Adaboost算法对子窗口进行人脸快速检测，最后采用基于空间约束和几何约束的虚警抑制方法剔除检测出的非人脸，从而完成人脸检测。

2、根据权利要求1所述的复杂背景下彩色图像人脸的快速检测方法，其特征是，具体包括以下步骤：

①、肤色建模：根据采集的大量肤色样本数据，在RGB空间和YCbCr空间分别绘制肤色出现概率在预设概率κ％以上的分布区域；然后寻找肤色在RGB空间三个分量之间简单的大小约束关系；然后用尽可能小的凸多边形包围肤色在CbCr平面的分布区域，并对Y分量施加简单约束，从而得到由RGB和YCbCr两种色彩空间约束的肤色混合模型；

②、根据肤色模型快速确定肤色区域：使用本发明提出的肤色混合模型及其实现方法进行肤色区域的快速确定；如果一个像素先后满足肤色混合模型中RGB和YCbCr两种空间约束，则判定该像素为肤色点，否则为背景点；

③、人脸候选区域的快速定位：采用肤色二值分割后图像的积分图像和当前检测图像的尺度参数快速计算当前待检测窗口的肤色像素比率λ₁；并根据预设阈值T₁确定该检测窗口是否为有效的人脸候选区域；若不是，则计算当前位置2倍宽度窗口的肤色像素比率λ₂；然后根据λ₁、λ₂和T₁之间的关系，快速跳过相邻非人脸区域，从而实现了人脸候选区域的快速定位；

④、基于特征的人脸快速检测：本发明使用非对称Adaboost算法进行人脸候选子窗口的判定，但对常用的相邻子窗口的穷举搜索策略进行了改进，即：若当前子窗口满足肤色比条件，则下一待检测子窗口的位置水平方向搜索方式由1个像素变为2个像素，垂直方向搜索方式仍为一个像素，从而有效减少了耗时的人脸检测子窗口的数量，提高了算法的效率；

⑤、虚警抑制：根据基于正向特征选择的人脸检测算法检测出的人脸区域之间的空间位置、重叠区域比例，以及人脸区域的大小等，对常见的人脸虚警进行剔除；

⑥、输出检测结果：根据基于特征的人脸初步检测结果，进行人脸虚警抑制，输出最终人脸检测结果。

3、根据权利要求2所述的复杂背景下彩色图像人脸的快速检测方法，其特征是，所述的肤色混合模型，是指：肤色在RGB空间R、G、B三个分量之间大小宽松约束关系，肤色在YCbCr空间Y分量大小的宽松约束关系，以及CbCr平面的凸多边形约束关系；在肤色分割时先用简单的RGB约束关系快速剔除大量图像背景，然后再用较复杂的YCbCr约束关系进一步排除非肤色像素，从而实现了能适应较大的光照变化，并能快速实现的人脸肤色混合模型。

4、根据权利要求2所述的复杂背景下彩色图像人脸的快速检测方法，其特征是，所述的入脸检测区域的快速选择，是指：采用肤色二值积分图像快速计算当前待检测窗口(w×h)的肤色像素比率λ₁；若λ₁大于预设的阈值T₁，则该检测窗口为有效的人脸候选区域；否则抛弃该区域，并计算当前位置2倍宽度窗口(2w×h)的肤色像素比率λ₂；若λ₂＜T₁/2，则下一个待检测窗口位置在水平方向移动w个像素；若λ₁＜T₁/2，则下一搜索子窗口水平方向偏移量为w/2个像素；采用本发明的检测窗口快速搜索策略，进一步提高了人脸检测算法的运行速度。

5、根据权利要求2所述的复杂背景下彩色图像人脸的快速检测方法，其特征是，所述的基于特征的人脸快速检测，是指：利用非对称Adaboost算法进行人脸候选子窗口判定时，仅对满足肤色比的人脸候选子窗口进行检测，在对相邻子窗口搜索时采用快速搜索策略，即：若当前子窗口存在人脸，则下一待检测子窗口的位置水平方向移动2个像素，垂直方向搜索方式不变，从而有效减少了人脸搜索子窗口的数量，提高了算法效率。

6、根据权利要求2所述的复杂背景下彩色图像人脸的快速检测方法，其特征是，所述的虚警抑制，是指：对人脸检测时出现的大量虚警进行统计分析和分类，然后有针对性的进行虚警剔除；对于相同人脸区域的重复检测，根据最近邻重叠原则，将重叠率大于预设阈值的人脸区域进行合并，并将其平均位置作为人脸区域位置，从而消除此类虚警；对于与肤色不相似和仅少数像素颜色与肤色相似的虚警区域，根据人脸候选区域的肤色像素比率阈值消除；对于由人脸一部分区域与背景组成的与人脸结构类似的区域虚警，则根据检测出的人脸区域的空间相交关系、尺寸比例，以及肤色水平重叠比，剔除此类虚警；对于人脸的局部区域虚警，则根据检测出的人脸重叠率和相差悬殊的尺寸进行虚警剔除。

Images