CN1932847A - 复杂背景下彩色图像人脸检测的方法 - Google Patents

Abstract

本发明涉及的是一种图像检测技术领域的方法，特别是一种复杂背景下彩色图像人脸检测的方法。先使用整体肤色、形状特征检测出人脸候选区域，然后使用局部眼睛，嘴特征进行人脸特征的验证，从而检测出人脸：首先对图像进行光照补偿，部分消除光照对检测的影响；然后对经过肤色模型处理后的二值图像进行分割与合并，结合先验知识提取出人脸候选区域；最后通过验证人脸轮廓，眼睛和嘴等人脸特征来判断人脸候选区域是否包含人脸，从而完成人脸检测。本发明能更精确地定位出人脸位置，也能检测出偏转角度较大的人脸。对1015副变光照和复杂背景的情况下拍摄的包含偏转的彩色人脸图像，其检测率达到89.7％。

Description

复杂背景下彩色图像人脸检测的方法

技术领域

本发明涉及的是一种图像检测技术领域的方法，特别是一种复杂背景下彩色图像人脸检测的方法。

背景技术

人脸检测不仅是自动人脸识别系统的第一步，在监控系统、人机接口、图像检索中也有重要应用。由于人脸是非刚性物体，同时有姿态、旋转、尺度、光照、遮挡等问题的存在，致使人脸检测仍是一个非常困难的问题。近些年提出的人脸检测算法大致可以分为四类：①基于知识的方法，这类算法只对简单背景下的正面人脸检测有较好的效果；②模板匹配方法，该类算法不能有效地处理人脸尺度、姿态和形状等方面的变化；③基于外观形状的方法；④基于特征的方法(Feature-BasedMethods)。

基于特征的方法主要使用人脸特征，肤色或纹理等信息，在特定的环境下非常有效且检测速度较高，对人脸姿态、表情、旋转都不敏感，但是对光照和背景等有较高的要求。经对现有技术文献的检索发现：Hsu等在“彩色人脸检测”(HsuRein-Lien，Mohamed，Jain Anil K..Face detection in color images [J]. IEEETrans on Pattern Analysis and Machine Intelligence，2002，24(5)：696-706.)一文中用基于特征的方法对彩色图像人脸进行了检测，在背景不是很复杂，即在背景中有较少跟皮肤颜色相近或跟人脸几何特征相近的物体情况下得到了比较好的检测结果。但是对于有多个侧面人脸、有接近肤色的背景等问题存在时，检测率不高，且时间复杂度高。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种复杂背景下彩色图像人脸检测的方法。使其针对复杂背景的、通过减轻光照等影响同时使用肤色信息和人脸特征来进行多侧面人脸检测的新方法：先检测出人脸轮廓，然后只在人脸轮廓内验证眼睛和嘴部特征是否存在，从而节省了运算时间提高了检测速度；采用Canny算子来迅速有效地进行区域分割，并提出快速有效的肤色区域合并方法；对Hsu等所提出的光照补偿算法做了适当地改进，效果良好。本发明对光照、尺度、姿态、旋转和表情等方面的变化具有较强的适应性和较高的检测率。

本发明是通过以下技术方案实现的，本发明先使用整体肤色、形状特征检测出人脸候选区域，然后使用局部眼睛，嘴特征进行人脸特征的验证，从而检测出人脸。具体过程为：首先对图像进行光照补偿，部分消除光照对检测的影响；然后对经过肤色模型处理后的二值图像进行分割与合并，结合先验知识提取出人脸候选区域；最后通过验证人脸轮廓，眼睛和嘴等人脸特征来判断人脸候选区域是否包含人脸。从而使该人脸检测方法对光照、尺度、姿态、旋转和表情等方面的变化具有较强的适应性和较高的检测率。

本发明的方法具体按如下步骤进行：

①、光照补偿

在复杂环境中很难将肤色与非肤色区域分割开，光照补偿可以解决这个问题。本发明先对输入图像进行Gamma矫正，然后再定义参考白和参考黑来对图像进行灰度拉伸，从而尽量压缩肤色模型的取值范围，使肤色区域检测得更精确。

本发明定义的Gamma矫正为： $\mathrm{new}\_\mathrm{pixel}\_\mathrm{value}=\mathrm{old}\_\mathrm{pixel}\_{\mathrm{value}}^{1/C_G}---\left(1\right)$

式中，CG为Gamma常数。

本发明采用的灰度拉伸思想是：把图像中黑色像素点和接近于黑色的像素点都标定为黑色，即RGB值为(0，0，0)；把图像中白色像素点和接近于白色的像素点都标定为白色，即RGB值为(255，255，255)；然后将非黑色和非白色的像素点的R，G，B三个分量分别拉伸到(0，255)整个区间。在进行灰度拉伸时，要同时对R，G，B三个分量进行操作。其中，像素点接近于白色的定义为：其在YC_bC_r色彩空间中亮度分量(Y)的值要在[225，235)内，即属于5％最大的数值；一个像素点接近于黑色的定义类似。

在没进行光照补偿而直接进行肤色辨别时，将有大量非肤色像素点被误检为肤色点，而经过光照补偿后的图像进行肤色辨别时能更准确地表示肤色区域。与Hsu等【Rein-Lien Hsu，Mohamed and Anil K.Jain.Face Detection in Color Images.IEEE Trans.on Pattern Analys is and Machine Intelligence，2002，24(5)：696-706.】光照补偿算法不同的是，此算法相当于同时定义了参考白和参考黑，因而光照补偿后的图像更有助于肤色区域的判别。

②、根据肤色模型确定肤色区域

本说明使用Hsu【Rein-Lien Hsu，Mohamed and Anil K.Jain.Face Detectionin Color Images.IEEE Trans.on Pattern Analysis and Machine Intelligence，2002，24(5)：696-706.】等提出的肤色模型进行肤色区域的判定，即在YC_bC_r色彩空间建立了一个椭圆的肤色模型，如果一个像素的C_b，C_r值经过式(3)运算后落到如式(2)所表示的椭圆内，就判定该像素点为肤色点。

$\frac{{(x-\mathrm{ecx})}^2}{a^2}+\frac{{(y-\mathrm{ecy})}^2}{b^2}=1---\left(2\right)$

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}{C}_b^{\′}-\mathrm{cx}\\ C_r^{\′}-\mathrm{cy}\end{array}\right]---\left(3\right)$

③、肤色区域的分割

对输入图像的亮度分量(Y分量)使用Canny算法进行边缘检测，并将结果叠加到肤色二值图像上。对叠加后图像进行形态学开运算，去除图像中很多孤立的像素点或很小的肤色区域，从而得到肤色区域分割图。

④、肤色区域的合并

由于面部经常有遮挡物和经过区域分割后，面部肤色区域经常被分裂成若干个子肤色区域，因此有必要进行区域合并。

先计算任意2个区域之间的距离：

D_ij＝D_c，ij-R_i-R_j                      (4)

$R_k=\frac{R_k^c+R_k^e}{2}$ (k＝i，j)

$R_k^c={(S_k/\mathrm{\π})}^{1/2}$

$R_k^e=\sqrt{\frac{1}{2}({\mathrm{\σ}}_{\mathrm{kx}}^2+{\mathrm{\σ}}_{\mathrm{ky}}^2+\sqrt{{({\mathrm{\σ}}_{\mathrm{kx}}^2-{\mathrm{\σ}}_{\mathrm{ky}}^2)}^2+{4\mathrm{\σ}}_{\mathrm{kxy}}^2})}$

式中D_c，ij为第i个和第j个区域重心之间的欧氏距离；R_k为第k个区域的有效半径；S_k为第k个肤色区域的面积；σ_kx ²，σ_kx ²，σ_kxy为第k个肤色区域的二阶中心矩。R_k ^e为肤色区域协方差矩阵较大的特征根。

若该距离(D_ij)小于一个阈值，则将这2个区域合并。

⑤、产生待检测人脸区域

将肤色区域进行分割与合并后，将产生大量的待检测人脸区域。可以通过一些简单的形状特征和先验知识排除大部分这些非人脸区域，从而形成人脸候选区域。

本发明使用的形状特征有：①包含肤色区域的矩形框面积；②包含肤色区域的矩形框长宽比；③肤色区域面积与矩形框面积之比；④矩形框中心与肤色区域重心之间的距离；⑤肤色区域中具有较高方差的像素个数与肤色区域面积之比(这是由于面部特征的存在，比如眼睛，眉毛等，人脸区域在YCbCr空间Y分量上的方差较其它区域的要大一些)。

⑥、检测人脸轮廓

人脸检测过程中人脸的轮廓、眼睛和嘴是最明显的三个特征，因此可以使用这些信息来排除大部分候选区域，从而定位出真正的人脸。

本发明先对某一肤色区域进行形态学闭运算，然后使用Suzuki等【Suzuki S.，Abe K..Topological structural analysis of digital binary images by borderfollowing.Computer Vision，Graphics，and Image Processing(CVGIP)，1985，30(1)：32-46.】的边缘轮廓算法提取区域最外层边缘，进行凸凹性检测，并条件填充凹进去的区域，最后使用椭圆结构元素来检测人脸轮廓。

条件填充的思想为：

1)被最外围轮廓包围的空洞应该被填充；

2)凹进去区域的深度与区域的宽度之比要大于一定阈值。

填充后的图像其肤色区域在内部是连续的，结合人脸是椭圆的先验信息，本发明使用椭圆的结构元素来探测连通区域的形状。结构元素半径定义为：

$\left.\begin{array}{c}{R}_{\min }=\frac{1}{8}g\min (w,h)\\ R_{\max }=\frac{1}{2}g(R_c+R_e)\end{array}\right\}---\left(5\right)$

R_c＝(S/π)^

$R_e=\sqrt{\frac{1}{2}({\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2-\sqrt{{({\mathrm{\σ}}_x^2-{\mathrm{\σ}}_y^2)}^2+{4\mathrm{\σ}}_{\mathrm{xy}}^2})}$

式中w，h对应于包含肤色区域矩形框的宽与长；S为肤色区域面积；R_c为肤色区域协方差矩阵小的特征根。可使用从大到小的结构元素来检测人脸轮廓，算法如下：

(1)使用半径为R_i的结构元素对填充后的二值图像I_i进行腐蚀操作，得图像T_i；

(2)如果图像T_i为空，则表示完成并退出；

(3)否则，对图像T_i进行膨胀操作得图像I_i′，保存结果I_i′；

(4)降低结构元素的半径为R_i+1，并作图像I_i与I_i′的差为图像I_i+1；

(5)如果R_i+1＞R_min，则跳到(1)继续运算，否则运算结束并退出。

经该算法处理后可以得到若干个大小不一且不相互包含的椭圆区域，即人脸的轮廓。

由于本发明先找出人脸轮廓区域，并只在可能的轮廓区域中验证人脸特征的存在性，因而速度更快更有效。

⑦、人脸验证

在上述步骤中检测到的人脸轮廓内如果可以找到眼睛和嘴，就可以认定该人脸轮廓内存在一个人脸。本发明先使用Gargesha等【Gargesha M.，Panchanathan S..A hybrid technique for facial feature point detection.Fifth IEEE ProcSouthwest Symposium on Image Analysis and Interpretation，April2002：134-138.】提出的眼图和嘴图算法来检测出眼睛和嘴部特征，并对所有特征赋权值，挑出权值最大的一组眼睛和嘴特征来构成该人脸轮廓内的面部特征。若有一组眼睛和嘴存在于该椭圆区中，并且几何结构合理，就认为人脸存在于该椭圆区域，并可根据椭圆定位出人脸的位置和大小。

⑧、输出检测结果

重复第6至第7步，直到第5步产生的所有待检测人脸区域都验证完毕，输出最终人脸检测结果。

本发明具有明显的有益的效果，可以检测出同一幅图片中不同尺度下的多个人脸，对光照、尺度、姿态、旋转和表情等方面的变化不敏感，并且由于使用人脸轮廓识别的方法，更能精确地定位出人脸位置，也能检测出偏转角度较大的人脸。对1015副变光照和复杂背景的情况下拍摄的包含偏转的彩色人脸图像，其检测率达到89.7％。

附图说明

图1为光照补偿与二值化示意图

图2为亮度分割示意图

图3为区域合并的结果示意图

图4人脸候选区域示意图

图5检测人脸轮廓示意图

图6人脸验证流程示意图

图7人脸检测结果示意图

图8人脸检测结果图8计算Ws示意图

检测结果示意图

具体实施方式

本实施例采用的图像数据库中的1015个样本，图片分辨率为800×640，这些图片都是在变光照和复杂背景的情况下拍摄的。并且，数据库中包含大量人脸旋转角度较大的图片，也包含尺度、姿态和表情等方面的变化。整个检测率达到89.7％。整个实现过程如下：

1.光照补偿

先对输入图像进行Gamma矫正，再灰度拉伸

本实施例定义的Gamma矫正为：

$\mathrm{new}\_\mathrm{pixel}\_\mathrm{value}=\mathrm{old}\_\mathrm{pixel}\_{\mathrm{value}}^{1/C_G}---\left(1\right)$

本实施例中，Gamma常数CG取为2.22。

本例子采用的灰度拉伸思想是：把图像中黑色或接近于黑色的像素点都标定为黑色，即RGB值为(0，0，0)；类似地标定出白色像素点；然后将非黑色和非白色的像素点的R，G，B三个分量分别拉伸到(0，255)整个区间。像素点接近于白色的定义为：其在YCbCr色彩空间中亮度分量(Y)的值要在[225，235)内，即属于5％最大的数值；一个像素点接近于黑色的定义类似。

光照补偿后的图像如图1(b)。实验表明，经过光照补偿后的图像进行肤色辨别比直接进行肤色辨别更有效，如图1(c)(d)所示。

2.根据肤色模型确定肤色区域

在YCbCr空间中，如果一个像素的Cb，Cr分量经过式(3)运算后落到如式(2)所表示的椭圆肤色模型内，就判定该像素点为肤色点。

$\frac{{(x-\mathrm{ecx})}^2}{a^2}+\frac{{(y-\mathrm{ecy})}^2}{b^2}=1---\left(2\right)$

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}{C}_b^{\′}-\mathrm{cx}\\ C_r^{\′}-\mathrm{cy}\end{array}\right]---\left(3\right)$

3.肤色区域的分割

图1(c)的肤色区域只是对YCbCr空间的Cb和Cr分量进行处理，因此造成了人脸区域和周围部分非人脸区域连接在一起，这就需要进行肤色区域分割。

采用Canny算法检测边缘，并把对输入图像亮度分量的分割结果叠加到图1(c)所示的肤色二值图像上。对叠加后图像进行形态学开运算，可以去除图像中很多孤立的像素点或很小的肤色区域，从而得到肤色区域分割图，如图2。

4.肤色区域的合并

先按照式(4)计算任意2个区域之间的距离，若该距离小于一个阈值，则将这2个区域合并。

D_ij＝D_c，ij-R_i-R_j                           (4)

$R_k=\frac{R_k^c+R_k^e}{2}$ (k＝i，j)

$R_k^c={(S_k/\mathrm{\π})}^{1/2}$

$R_k^e=\sqrt{\frac{1}{2}({\mathrm{\σ}}_{\mathrm{kx}}^2+{\mathrm{\σ}}_{\mathrm{ky}}^2+\sqrt{{({\mathrm{\σ}}_{\mathrm{kx}}^2-{\mathrm{\σ}}_{\mathrm{ky}}^2)}^2+{4\mathrm{\σ}}_{\mathrm{kxy}}^2})}$

式中D_c，ij为第i个和第j个区域重心之间的欧氏距离；R_k为第k个区域的有效半径；S_k为第k个肤色区域的面积；σ_kx ²，σ_kx ²，σ_kxy为第k个肤色区域的二阶中心矩。R_k ^e为肤色区域协方差矩阵较大的特征根。经过区域合并后的图像如图3所示，可以发现其中有很多非人脸区域，这就需要一些措施来去除这些区域。

5.产生待检测人脸区域

使用形状特征：①包含肤色区域的矩形框面积；②包含肤色区域的矩形框长宽比；③肤色区域面积与矩形框面积之比；④矩形框中心与肤色区域重心之间的距离；⑤肤色区域中具有较高方差的像素个数与肤色区域面积之比。去除误检区域后得到的图像，如图4所示。

6.检测人脸轮廓

图5(b)所示的肤色二值图像是在图4的基础上提取一个完整的肤色连通区域，其对应的亮度图像为图5(a)。由第3步知，图5(b)是综合应用图像的色彩和亮度信息得到的，恰当处理后就可以找出人脸边缘轮廓。

根据发明步骤，先对图5(b)进行形态学闭运算，然后对图5(c)使用Suzuki等的边缘轮廓算法提取区域最外层边缘，进行凸凹性检测，并条件填充凹进去的区域。填充后的图像如图5(d)所示。其肤色区域在内部是连续的。

结合人脸是椭圆的先验信息，使用椭圆的结构元素来探测连通区域的形状，得到若干个大小不一且不相互包含的椭圆区域，即人脸的轮廓，如图5(e)所示。

可以发现定位出的人脸矩形要比整个肤色区域的矩形要小很多，因而更精确。

7.人脸验证

在图5(e)所示的人脸轮廓内如果可以找到眼睛和嘴，就认定该人脸轮廓内存在一个人脸。这里使用Gargesha等【Gargesha M.，Panchanathan S..A hybridtechnique for facial feature point detection.Fifth IEEE Proc SouthwestSymposium on Image Analysis and Interpretation，April 2002：134-138.】提出的眼图(eye map)和嘴图算法来判断是否包含眼睛和嘴部特征。并使用“塔式下采样”降低一定维数从而找出主导特征点，然后再进行“塔式上采样”并结合阈值处理，找出眼睛和嘴部特征点，如图6(a)(b)所示。

结合图5(e)，可以得出特征验证结果，如图6(c)所示，整幅图像的人脸检测结果见图7。由图6(c)可见眼睛和嘴等人脸特征定位并不是很精确，但这并不影响人脸检测的结果。

本例子采用对所有特征赋权值的方法，挑出权值最大的一组眼睛和嘴特征来构成该人脸轮廓内的面部特征。假设同一个人脸轮廓内有i＝1，2，...，m个眼睛特征，j＝1，2，...，n个嘴部特征，则：

(1)根据图8(a)计算每个特征对应的权：

W_s＝exp(-(R-2σ)²/8σ²)               (6)

式中R为图8(b)中点Pe与Pc之间的欧氏距离；点Pc为矩形的中心；点Pe为特征点；σ为点Pc与点Pb之间欧氏距离的

点Pb为点Pc与点Pe之间线段延长线与矩形边框的交点；

(2)j＝1；

(3)根据式(7)计算每2个眼睛特征点，与第j个嘴特征点P_i1，P_i2，P_j组合时的权值，

$W_t=W_{s,\mathrm{Pi}1}{\mathrm{gW}}_{s,\mathrm{Pi}2}{\mathrm{gW}}_{s,\mathrm{Pj}}g(1-\frac{|D_{e,\mathrm{Pi}1\mathrm{pj}}-D_{e,\mathrm{Pi}2\mathrm{Pj}}}{\max (D_{e,\mathrm{Pi}1\mathrm{pj}},D_{e,\mathrm{Pi}2\mathrm{Pj}})})---\left(7\right)$

式中：W_s，Pi1，W_s，Pi2，W_s，Pj分别为点P_i1，P_i2，P_j的W_s权值；D_e，Pi1pj，D_e，Pi2Pj分别为点P_i1，P_i2，与点P_j之间的欧式距离；

(4)如果j≤n，则转到(3)；

(5)找出在所有眼睛和嘴特征点组合中权值最大的一组，保存并退出。

8.输出检测结果

重复第6至第7步，直到第5步产生的所有待检测人脸区域都验证完毕，输出最终人脸检测结果，如图9所示。

Claims (8)

1、一种复杂背景下彩色图像人脸检测的方法，其特征在于，先使用整体肤色、形状特征检测出人脸候选区域，然后使用局部眼睛，嘴特征进行人脸特征的验证，从而检测出人脸：首先对图像进行光照补偿，部分消除光照对检测的影响；然后对经过肤色模型处理后的二值图像进行分割与合并，结合先验知识提取出人脸候选区域；最后通过验证人脸轮廓，眼睛和嘴等人脸特征来判断人脸候选区域是否包含人脸，从而完成人脸检测。

2、根据权利要求1所述的复杂背景下彩色图像人脸检测的方法，其特征是，具体包括如下步骤：

①、光照补偿：在复杂环境中很难将肤色与非肤色区域分割开，先对输入图像进行Gamma矫正，然后再定义参考白和参考黑来对图像进行灰度拉伸，从而压缩肤色模型的取值范围，使肤色区域检测得更精确；

②、根据肤色模型确定肤色区域：使用Hsu提出的肤色模型进行肤色区域的判定，即在YC_bC_r色彩空间建立了一个椭圆的肤色模型，如果一个像素的C_b，C_r值经过式(b)运算后落到如式(a)所表示的椭圆内，就判定该像素点为肤色点：

$\frac{{(x-\mathrm{ecx})}^2}{a^2}+\frac{{(y-\mathrm{ecy})}^2}{b^2}=1---\left(a\right)$

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right]\left[\begin{array}{c}{C}_b^{\′}-\mathrm{cx}\\ C_r^{\′}-\mathrm{cy}\end{array}\right]---\left(b\right);$

③、肤色区域的分割：对输入图像的Y亮度分量使用Canny算法进行边缘检测，并将结果叠加到肤色二值图像上，对叠加后图像进行形态学开运算，去除图像中很多孤立的像素点或很小的肤色区域，从而得到肤色区域分割图；

④、肤色区域的合并：由于面部经常有遮挡物和经过区域分割后，面部肤色区域经常被分裂成若干个子肤色区域，因此有必要进行区域合并；

⑤、产生待检测人脸区域：将肤色区域进行分割与合并后，将产生大量的待检测人脸区域；

⑥、检测人脸轮廓：人脸检测过程中人脸的轮廓、眼睛和嘴的三个特征，使用这些信息来排除大部分候选区域，从而定位出真正的人脸；

⑦、人脸验证：在上述步骤中检测到的人脸轮廓内如找到眼睛和嘴，就认定该人脸轮廓内存在一个人脸，先使用Gargesha提出的眼图和嘴图算法来检测出眼睛和嘴部特征，并对所有特征赋权值，挑出权值最大的一组眼睛和嘴特征来构成该人脸轮廓内的面部特征，若有一组眼睛和嘴存在于该椭圆区中，并且几何结构合理，就认为人脸存在于该椭圆区域，并可根据椭圆定位出人脸的位置和大小；

⑧、输出检测结果：重复第6至第7步，直到第5步产生的所有待检测人脸区域都验证完毕，输出最终人脸检测结果。

3、根据权利要求2所述的复杂背景下彩色图像人脸检测的方法，其特征是，所述的灰度拉伸，是指：把图像中黑色像素点和接近于黑色的像素点都标定为黑色，即RGB值为(0，0，0)；把图像中白色像素点和接近于白色的像素点都标定为白色，即RGB值为(255，255，255)；然后将非黑色和非白色的像素点的R，G，B三个分量分别拉伸到(0，255)整个区间，在进行灰度拉伸时，要同时对R，G，B三个分量进行操作，其中，像素点接近于白色的定义为：其在YC_bC_r色彩空间中亮度分量(Y)的值要在[225，235)内，即属于5％最大的数值；一个像素点接近于黑色的定义类似。

4、根据权利要求2所述的复杂背景下彩色图像人脸检测的方法，其特征是，所述的Gamma矫正为： $\mathrm{new}\_\mathrm{pixel}\_\mathrm{value}=\mathrm{old}\_\mathrm{pixel}\_{\mathrm{value}}^{1/C_G},$ 式中，CG为Gamma常数。

5、根据权利要求2所述的复杂背景下彩色图像人脸检测的方法，其特征是，所述的区域合并，先计算任意2个区域之间的距离：

D_ij＝D_c，ij-R_i-R_j

$R_k=\frac{R_k^c+R_k^e}{2}$ (k＝i，j)

$R_k^c={(S_k/\mathrm{\π})}^{1/2}$

$R_k^e=\sqrt{\frac{1}{2}({\mathrm{\σ}}_{\mathrm{kx}}^2+{\mathrm{\σ}}_{\mathrm{ky}}^2+\sqrt{{({\mathrm{\σ}}_{\mathrm{kx}}^2-{\mathrm{\σ}}_{\mathrm{ky}}^2)}^2+4{\mathrm{\σ}}_{\mathrm{kxy}}^2})}$

式中D_c，ij为第i个和第j个区域重心之间的欧氏距离；R_k为第k个区域的有效半径；S_k为第k个肤色区域的面积；σ_kx ²，σ_kx ²，σ_kxy为第k个肤色区域的二阶中心矩，R_k ^e为肤色区域协方差矩阵较大的特征根，若该距离(D_ij)小于一个阈值，则将这2个区域合并。

6、根据权利要求2所述的复杂背景下彩色图像人脸检测的方法，其特征是，所述的人脸候选区域，使用的形状特征有：①包含肤色区域的矩形框面积；②包含肤色区域的矩形框长宽比；③肤色区域面积与矩形框面积之比；④矩形框中心与肤色区域重心之间的距离；⑤肤色区域中具有较高方差的像素个数与肤色区域面积之比。

7、根据权利要求2所述的复杂背景下彩色图像人脸检测的方法，其特征是，所述的检测人脸轮廓，先对某一肤色区域进行形态学闭运算，然后使用Suzuki的边缘轮廓算法提取区域最外层边缘，进行凸凹性检测，并条件填充凹进去的区域，最后使用椭圆结构元素来检测人脸轮廓。

8、根据权利要求2所述的复杂背景下彩色图像人脸检测的方法，其特征是，所述的条件填充，是指：

1)被最外围轮廓包围的空洞应该被填充；

2)凹进去区域的深度与区域的宽度之比要大于阈值。

填充后的图像其肤色区域在内部是连续的，结合人脸是椭圆的信息，使用椭圆的结构元素来探测连通区域的形状，结构元素半径定义为：

$\left.\begin{array}{c}{R}_{\min }=\frac{1}{8}g\min (w,h)\\ R_{\max }=\frac{1}{2}g(R_c+R_e)\end{array}\right\}$

R_c＝(S/π)1/2

$R_e=\sqrt{\frac{1}{2}({\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2-\sqrt{{({\mathrm{\σ}}_x^2-{\mathrm{\σ}}_y^2)}^2+4{\mathrm{\σ}}_{\mathrm{xy}}^2})}$

式中w，h对应于包含肤色区域矩形框的宽与长；S为肤色区域面积；R_e为肤色区域协方差矩阵小的特征根。

Images