CN102324025A

CN102324025A - 基于高斯肤色模型和特征分析的人脸检测与跟踪方法

Info

Publication number: CN102324025A
Application number: CN201110261500A
Authority: CN
Inventors: 祝世平; 张楠
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2011-09-06
Filing date: 2011-09-06
Publication date: 2012-01-18
Anticipated expiration: 2031-09-06
Also published as: CN102324025B

Abstract

本发明是一种基于高斯肤色模型和特征分析的人脸检测与跟踪方法，步骤如下：首先，对大量人脸图像数据进行统计，在YCbCr色彩空间中建立高斯肤色模型；然后，将视频图像序列由RGB空间转换至YCbCr空间，利用高斯模型计算出肤色似然图，选取自适应阈值进行肤色分割，在此基础上利用人脸几何特征和结构特征实现人脸精确检测；最后，采用改进CAMShift算法进行人脸跟踪，实现视频中的人脸快速检测。本发明的人脸检测与跟踪方法在识别精度、跟踪速度和鲁棒性上具有明显的优势，并且能够有效地解决视频中人脸姿态变化，距离变化以及背景存在类肤色干扰等复杂条件下的人脸跟踪问题。

Description

基于高斯肤色模型和特征分析的人脸检测与跟踪方法

技术领域

本发明涉及一种在视频序列中人脸检测及跟踪的方法，特别涉及一种基于高斯肤色模型和特征分析的检测方法及改进CAMShift跟踪方法。

背景技术

人脸分析技术，包括人脸检测、人脸跟踪、人脸识别和表情分析等分支，是近年来计算机视觉领域与图像处理领域研究的重大课题。人脸检测是指在输入的静态或动态图像中确定所有人脸(如果存在)的位置、大小和姿态的过程；人脸跟踪是指在输入图像序列中确定人脸的运动轨迹及大小变化的情况。作为人脸分析技术中的关键环节，人脸检测与跟踪在智能人机交互、安全监控、视频会议、医疗诊断及基于内容的图像存储与检索等方面具有广阔的发展前景和应用价值。

人脸检测问题的基本思想是通过特征知识或统计学习的方法实现，前者主要利用人脸的几何形状、肤色、纹理、结构及轮廓等特征作为主要识别条件，将人脸图像视为高维向量，通过高维空间中信号分布的检测实现人脸的监测；后者将人脸检测问题归结为从模式样本中区分人脸与非人脸的模式识别，通过训练进行分类。目前常用的人脸检测方法主要包括以下几类：基于先验知识的方法(董立新.基于先验知识的人脸检测算法研究与应用[J].数字技术与应用，2010：73-74.)，基于特征不变性的方法(杜庚.基于尺度不变特征的人脸识别[D]，北京：北京邮电大学，2010)，基于模板匹配的方法(XIE Yuxiang，WANG Wei wei，LUAN Xi dao，Face recognition using skin color and templatematching[J].Computer Engineering & Science，2008，30(6)：54-59)，神经网络方法(袁崇涛，基于神经网络的人脸识别算法研究[D]，大连：大连理工大学，2006)，基于肤色模型的方法(Qi Sun，Yingchun Liu，Yunhua Zhang，Donghe Yang.Face tracking based on skincolor and α-β-γFilter[A].China-Ireland International Conference on Information andCommunications Technologies 2008.Beijing，2008：1-4.)。

人脸跟踪是指对于给定的视频序列，根据前帧定位好的人脸，结合视频中运动对象的特点，在后续帧中捕捉人脸的运动信息。目前常用的跟踪技术包括以下几类：基于模型的跟踪方法(G.D.Hager，P.N.Belhumeur.Efficient region tracking with parametricmodels of geometry and illumination.IEEE Transactions on Pattern Analysis and MachineIntelligence，1998，20(10)：1025-1039.)，基于运动信息的跟踪方法，基于色彩信息的跟踪方法(刘明宝，姚鸿勋，高文.彩色图像的实时人脸跟踪方法.计算机学报，1998，21(6)：527-531)，基于人脸局部特征的跟踪方法(P.M.Antoszczyszyn，J.M.Hannah，P.M.Grant.Tracking of the motion of important facial features in model based coding.SignalProcessing，1998，66(2)：249-260.)。

目前采用的基于肤色模型的人脸检测方法，算法容易执行，但对环境亮度变化较为敏感，并且容易受到背景类肤色物体的干扰，使检测结果的准确性降低；基于模板的方法具有较强的鲁棒性，但模板匹配过程运算量大，检测速度慢，此外，当出现人脸姿态变化(比如仰头或者侧脸情况)时，识别精度会大大降低；在处理视频目标检测问题时，常用CAMShift算法进行目标跟踪，提高处理速度，但出于视频人脸检测的特殊性，对跟踪算法的搜索窗口定位准确性有更高的要求，传统CAMShift算法难以满足要求。

发明内容

本发明要解决的技术问题是：

(1)人脸检测算法对背景噪声及亮度变化敏感的问题；

(2)人脸检测算法运行速度慢，难以实现视频检测的问题；

(3)视频中存在人脸姿态变化(仰头或侧脸)时的识别问题。

本发明的技术方案：基于高斯肤色模型和特征分析的人脸检测与跟踪方法，包括以下步骤：

(1)图像肤色分割：通过对人脸图像数据的统计结果在YCbCr空间建立高斯肤色模型；将获得的视频序列图像由RGB色彩空间转换到YCbCr空间，代入高斯模型计算肤色似然度，得到似然度图像；选取自适应阈值对似然度图像进行分割，得到肤色区域；对包含肤色区域的图像进行闭运算，去除散粒噪声；

(2)人脸特征检测：分别利用人脸几何特征和人脸结构特征对闭运算后的肤色区域结果进行检验，通过整合两部分的结果对非人脸区域进行排除；提取图像中保留的肤色区域，获得人脸目标检测结果；

(3)人脸目标跟踪：根据先验人脸检测结果数据，利用最小二乘法对搜索窗口进行预测；通过CAMShift迭代算法调节搜索窗口与人脸区域重合。

进一步的，所述步骤(1)中的图像肤色分割方法为：先在YCbCr色彩空间建立高斯肤色模型，计算视频序列图像的肤色似然度，选取自适应阈值对似然度图像进行图像分割，最后利用闭运算去除散粒噪声，具体步骤如下：

(1.i)高斯肤色模型通过以下公式建立：

P(Cb，Cr)＝exp{-0.5(x-m)^TC^-1(x-m)}；x＝(Cb，Cr)^T

m＝E{x}，x＝(Cb，Cr)^T；C＝E{(x-m)(x-m)^T}

公式中m为高斯模型均值，C为高斯模型方差，m、C的数值通过对肤色图像数据进行统计得出，x是检测像素点Cb、Cr值组成的向量，m＝[106.7902，146.6155]^T，

C = [\begin{matrix} 77.0592 & 10.0067 \\ 10.0067 & 119.1352 \end{matrix}];

(1.ii)将视频序列图像由RGB空间转化至YCbCr空间，采用分段色彩变换方法：

(\begin{matrix} Y \\ Cb \\ Cr \end{matrix}) = (\begin{matrix} 16 \\ 128 \\ 128 \end{matrix}) + \frac{1}{256} \times (\begin{matrix} 65.738 & 129.057 & 25.064 \\ - 37.945 & - 74.494 & 112.439 \\ 112.439 & - 94.154 & - 18.285 \end{matrix}) \times (\begin{matrix} R \\ G \\ B \end{matrix})

C_{i} (Y) = \{\begin{matrix} (C_{i} (Y) - \overset{&OverBar;}{C_{i} (Y)}) \times \frac{W_{C_{i}}}{W_{C_{i}} (Y)} + \overset{&OverBar;}{C_{i} (Y)}, Y < K_{i} orY > K_{h} \\ C_{i} (Y), Y &Element; [K_{i}, K_{h}] \end{matrix}

W_{c_{i}} (Y) = \{\begin{matrix} {WL}_{C_{i}} + \frac{(Y - Y_{\min}) (W_{C_{i}} - {WL}_{c_{i}})}{K_{i} - Y_{\min}} & if & Y < K_{i} \\ {WH}_{C_{i}} + \frac{(Y_{\max} - Y) (W_{C_{i}} - {WH}_{c_{i}})}{Y_{\max} - K_{i}} & if & Y > K_{h} \end{matrix}

公式中分段阈值K_i＝125，K_h＝128，肤色聚类区域Y分量最大值Y_max＝235，最小值Y_min＝16，i取红r或蓝b两个状态，Ci(Y)为非线性变换后的Cr和Cb值，W_ci(Y)为肤色区域Cr、Cb数值的中轴线，公式中其余参数值Wc_b＝48，WLc_b＝25，WHc_b＝15，Wc_r＝40，WLc_r＝20，WHc_r＝10；

(1.iii)选取自适应阈值对似然度图像进行肤色分割：根据变化趋势最小准则在0.6至0.1范围内进行最佳阈值搜索，让阈值从0.65开始减少，每次减少0.1，直到0.05为止，并记录下每次阈值变化时图像中肤色像素数量的变化，得到数量变化最小时的那个变化区域的中值作为最优化阈值；肤色分割方法如下所示：

\{\begin{matrix} p_{i} = p_{i}, p_{i} &GreaterEqual; T \\ p_{i} = 0, p_{i} < T \end{matrix}

公式中p_i为第i像素的肤色似然度，T为肤色分割阈值；

(1.iv)通过形态学闭运算修补肤色区域边界轮廓，同时去除散粒噪声，方法如下所示：

(A &CirclePlus; B) (s, t) = \max {A (s - x, t - y) + B (x, y) | (s - x, t - y) &Element; D_{A}; (x, y) &Element; D_{B}}

其中D_A和D_B分别是A和B的定义域，A是原始图像，B是用于重构操作的正方形结构单元，(s，t)是结果图像的位置坐标，(x，y)是重构结构单元中的位置坐标。

进一步的，所述步骤(2)中的人脸特征检测，包括对肤色区域分别进行人脸几何特征检测与人脸结构特征检测，通过整合两部分的结果对非人脸区域进行排除，具体步骤如下：

所述人脸几何特征检测步骤为：

(2.i.a)肤色区域面积检测：若目标区域面积S_a小于视场范围10％或超过视场范围的80％，判断其为非人脸区域；

(2.i.b)肤色区域形状检测：若目标区域的外接矩形高宽之比R_a小于0.8或超过2.5，判断其为非人脸区域；

(2.i.c)肤色区域密集度检测：若目标区域的密集度C_a小于45％，判断其为非人脸区域；

所述人脸结构特征检测步骤为：

(2.ii.a)双眼中心距范围检测：双眼中心距应在1/3至2/3目标区域水平尺寸范围内；

(2.ii.b)双眼周围黑块检测：双眼下方一定距离内没有其它器官，因此在似然度图像中不能有其它黑块；

(2.ii.c)双眼水平位置关系检测：双眼中心位置在垂直方向相差不超过20％目标区域竖直尺寸；

(2.ii.d)眼睛区域面积检测：眼睛部分的黑色区域所包含的像素数应在5％至10％目标区域面积范围内；

(2.ii.e)眼睛形状检测：眼睛区域的外接矩形高宽比应在1.5至2.5之间；

(2.iii)人脸几何特征与结构特征检测结果整合：整合两部分结果的目的是判断候选肤色区域是否为人脸区域，以几何特征为主要判断准则，结构特征为辅助判断准则；当候选区域不满足几何特征时，判断其为非人脸区域；结构特征以识别双眼为前提，当候选区域中识别出类似双眼结构时，若不满足结构特征，则判断为非人脸区域，当候选区域不包含双眼结构时，只通过几何特征进行判断。

进一步的，所述步骤(3)的人脸目标跟踪中，利用最小二乘法对搜索窗口进行预测，具体步骤如下：

(3.i)初始化搜索窗；

(3.i.a)默认搜索窗口位置为视场中心，大小为50％视场范围：

(3.i.b)当获得人脸位置先验结果数据之后，采用基于最小二乘拟合法对搜索窗口进行预测，将前十帧图像检测结果代入如下公式：

\{\begin{matrix} y_{k} = a_{1} \times k^{3} + a_{2} \times k^{2} + a_{3} \times k + a_{4} \\ x_{k} = b_{1} \times k^{3} + b_{2} \times k^{2} + b_{3} \times k + b_{4} \end{matrix} - - - (1)

\{\begin{matrix} y_{11} = a_{1} \times 11^{3} + a_{2} \times 11^{2} + a_{3} \times 11 + a_{4} \\ x_{11} = b_{1} \times 11^{3} + b_{2} \times 11^{2} + b_{3} \times 11 + b_{4} \end{matrix} - - - (2)

\{\begin{matrix} w = 3 \times a_{1} \times 10^{2} + 2 \times a_{2} \times 10 + a_{3} + w_{0} \\ h = 1.2 \times (3 \times b_{1} \times 10^{2} + 2 \times b_{2} \times 10 + b_{3}) + h_{0} \end{matrix} - - - (3)

公式(1)为最小二乘拟合曲线方程，k＝1，2，3...，10，(x_k，y_k)为先验人脸坐标值，a₁-a₄、b₁-b₄是最小二乘法得到拟合方程的参数值，公式(2)中(x₁₁，y₁₁)为利用拟合方程系数对检测窗口位置预测的结果，公式(3)为窗口大小预测结果，w为窗口宽度，h为窗口高度，w₀、h₀为窗口尺寸的最小值，其中w₀＝10，h₀＝20，图像为640×480像素；

(3.ii)计算搜索窗的质心；

(3.iii)移动搜索窗，使窗的中心与质心重合；

(3.iv)重复(3.ii)和(3.iii)，直到收敛或窗某次的移动距离小于预设阈值，保存此时的零阶矩和质心值；

(3.v)读入视频的下一帧图像，跳转至(3.i.b)继续执行检测。

本发明与现有技术相比所具有的优点在于：

(1)本发明方法通过分析现有的视频人脸检测算法与实例，提出了一种结合高斯肤色模型和脸部特征分析的高精度人脸检测方法，并采用改进CAMShift算法将其应用于视频人脸检测中，该方法有效地解决了背景类肤色噪声及环境亮度变化带来的干扰问题；

(2)当视频中出现人脸位置变化(远近、上下以及左右移动)、姿态变化(仰头、低头和侧脸)时能够准确地对人脸进行识别；

(3)采用本发明方法进行视频检测，能够实现较高的识别精度与处理速度，系统对环境的适应力强，不易受干扰。

附图说明：

图1是本发明的算法流程图。

图2是将原始图像由RGB空间转化为YCbCr空间，利用YCbCr空间高斯肤色模型进行肤色相似度计算的结果图像，其中(a)是包含理想背景人脸图像，(c)是其肤色似然度图像，(b)是包含类肤色区域的复杂背景人脸图像，(d)是其肤色似然度图像。

图3(a)、(b)分别是图2(c)、(d)经阈值分割处理后的结果图像，其中白色表示肤色区域，黑色表示背景。

图4(a)、(b)分别是图3(a)、(b)经形态学闭运算去噪后的结果图像。

图5(a)、(b)分别是图4(a)、(b)经人脸特征检测，去除非人脸区域的结果，图5(c)、(d)是最终人脸检测结果图像。

图6是视频人脸检测中人脸位置移动的检测结果，(a)、(b)、(c)是距镜头较近时人脸移动的检测结果，(d)、(e)、(f)是距镜头较远时人脸移动的检测结果。

图7是视频人脸检测中人脸姿态变化的检测结果，包括侧脸(a)、(b)，仰头(c)以及低头(d)的等情况。

图8(a)、(b)是视频人脸检测中存在肤色干扰的检测结果。

具体实施方式：

下面结合附图进一步详细介绍本发明。

本发明提出的基于高斯肤色模型和特征分析的人脸检测与跟踪方法，包括以下步骤：

步骤1：图像肤色分割：通过对人脸图像数据的统计结果在YCbCr空间建立高斯肤色模型；将获得的视频序列图像由RGB色彩空间转换到YCbCr空间，代入高斯模型计算肤色似然度；通过分析似然度结果，选取自适应阈值对图像进行肤色分割，得到肤色区域；对肤色图像进行闭运算，去除散粒噪声。

在建立人脸肤色模型的过程中，根据统计学原理，认为人脸肤色在色彩空间中的分布形式类似于正态分布的随机样本序列在特征空间中的分布，即满足高斯分布的基本条件。同时又因为高斯分布在数学统计学中的研究较为深入，应用也十分广泛，并且它的数学表达形式较为简单，在人脸检测算法的应用中具有一定的优势。高斯模型并不是一般的二值肤色像素定位，而是通过计算像素点的概率值来构成连续数据信息并得到一个肤色概率图，根据数值大小来确定肤色，这是几何模型无法达到的。同时由于神经网络模型在提取肤色样本之外，还需要提取非肤色样本，而高斯模型也避免了这一过程。因此，高斯模型适用于基于肤色信息进行的人脸检测。

研究发现，在YCbCr色彩空间(Y表示亮度，Cb表示蓝色差，Cr表示红色差)中，肤色呈现良好的聚类性。YCbCr色彩空间模型可以由RGB色彩空间模型进行线性变换得到，转换公式如下：

(\begin{matrix} Y \\ Cb \\ Cr \end{matrix}) = (\begin{matrix} 16 \\ 128 \\ 128 \end{matrix}) + \frac{1}{256} \times (\begin{matrix} 65.738 & 129.057 & 25.064 \\ - 37.945 & - 74.494 & 112.439 \\ 112.439 & - 94.154 & - 18.285 \end{matrix}) \times (\begin{matrix} R \\ G \\ B \end{matrix})

对人脸图像数据的统计结果表明，其亮度分量Y并不完全独立于色度信息而存在。因此肤色的聚类区域也是随Y的不同而呈分段线性变化的趋势。所以，在肤色检测之前，要先对图像进行分段线性色彩变换，如下公式：

C_{i} (Y) = \{\begin{matrix} (C_{i} (Y) - \overset{&OverBar;}{C_{i} (Y)}) \times \frac{W_{C_{i}}}{W_{C_{i}} (Y)} + \overset{&OverBar;}{C_{i} (Y)}, Y < K_{i} orY > K_{h} \\ C_{i} (Y), Y &Element; [K_{i}, K_{h}] \end{matrix}

W_{c_{i}} (Y) = \{\begin{matrix} {WL}_{C_{i}} + \frac{(Y - Y_{\min}) (W_{C_{i}} - {WL}_{c_{i}})}{K_{i} - Y_{\min}} & if & Y < K_{i} \\ {WH}_{C_{i}} + \frac{(Y_{\max} - Y) (W_{C_{i}} - {WH}_{c_{i}})}{Y_{\max} - K_{i}} & if & Y > K_{h} \end{matrix}

公式中分段阈值K_i＝125，K_h＝128，肤色聚类区域Y分量最大值Y_max＝235，最小值Y_min＝16，i可取r(红)b(蓝)两个状态，Ci(Y)为非线性变换后的Cr和Cb值，W_ci(Y)为肤色区域Cr、Cb数值的中轴线，公式中其余参数值Wc_b＝48，WLc_b＝25，WHc_b＝15，Wc_r＝40，WLc_r＝20，WHc_r＝10。

经过分段色彩变换后，将其投影到二维子空间，得到一个实用的肤色聚类模型。虽然不同人的皮肤颜色可能相差很大，但它们在色度上的差异远小于亮度上的差异。也就是说，不同人的肤色在色度上往往很相近具有聚类特性，只是在亮度上差异较大。肤色空间在CbCr上的聚合主要聚集在Cb＝100和Cr＝150左右，采用YCbCr空间可以不用考虑不同的肤色对肤色模型CbCr中的聚合。选取归一化色度分布图的方法，建立了肤色高斯模型如下所示：

m＝E{x}，x＝(Cb，Cr)^T；C＝E{(x-m)(x-m)^T}

其中m是肤色均值，C是协方差，其数值通过大量人脸数据实验经统计得出，m＝[106.7902，146.6155]^T，

C = [\begin{matrix} 77.0592 & 10.0067 \\ 10.0067 & 119.1352 \end{matrix}] .

利用上面这个拟合的肤色高斯模型，计算人脸图像中所有像素点颜色与肤色的相似程度，随后将每个点的相似度转换为灰度值得到基于肤色相似度的新图像，即为原图像的肤色相似度分布图(肤色似然图)。然后，选择一个合适的阈值对肤色似然图进行分割，从而将肤色区域(包括类肤色区域)和非肤色区域分开。肤色似然图的相似度值可通过下式计算得到：

P(Cb，Cr)＝exp{-0.5(x-m)^TC^-1(x-m)}；x＝(Cb，Cr)^T

图2是将原始图像由RGB空间转化为YCbCr空间，利用YCbCr空间高斯肤色模型进行肤色相似度计算的结果图像，其中(a)是包含理想背景人脸图像，(c)是其肤色似然度图像，(b)是包含类肤色区域的复杂背景人脸图像，(d)是其肤色似然度图像。选用理想背景和现实背景两种试验条件进行试验，图(a)的计算结果(c)表明在理想背景条件下在图像中能够良好的分离出肤色区域，但是人手等非人脸区域也会包含在检测结果中；由图(b)(d)的结果可以发现在复杂的背景中，类肤色区域会对检测结果产生干扰。为了实现人脸检测，在肤色分割基础上还需要利用人脸的其他特征实现对非人脸区域的排除。

通过建立肤色高斯模型，能够得到图像的肤色的相似度灰度图。为了实现肤色分割，常用的方法是选取特定阈值进行分割运算，要完整准确的将目标从背景中分离出来，阈值的选择至关重要。由于不同的图片中人的肤色是不相同的，而且不同人种的肤色有一定的差异，如果阈值取得太大，许多皮肤区域将无法检出，造成漏检；若阈值取得太小，肤色的数量就会增加，并有部分非肤色像素加入，起不到排除非肤色点的作用。故在设定阈值时需要对每一张不同的图片计算出自适应阈值，该阈值应该能够最优地区分出肤色与非肤色像素。实验表明，随着阈值的下降将会导致分割区域的增加，然而当阈值处于某个范围中，随着阈值的降低，分割区域并不会明显增加，因为这个阶段的肤色像素已经被完全检测出来，而非肤色像素还没有被认为是肤色像素。如果继续降低阈值到达某一个特定值后，随着非肤色区域被错认为肤色区域，则会出现分割区域面积大幅度增加的情形。故最优阈值应该是在随着阈值增长，类肤色区域面积增长最小的范围之内。在本文中采用的方法是让阈值从0.65开始减少，每次减少0.1，直到0.05为止，并记录下每次阈值变化时属于肤色像素数量的变化，然后找出属于肤色像素数量变化最小时的那个阈值作为最优化阈值，如得到在从0.45减少到0.35区间时肤色像素数量增加最少，则优化后的阈值为0.40。

得到合适的阈值后，通过如下公式进行分割运算，消除非肤色区域对结果的影响。

\{\begin{matrix} p_{i} = p_{i} (p_{i} &GreaterEqual; T) \\ p_{i} = 0 (p_{i} < T) \end{matrix}

公式中p_i为第i像素的肤色似然度，T为肤色分割阈值。

图3(a)、(b)分别是图2(c)、(d)经阈值分割处理后的结果图像，其中白色表示肤色区域，黑色表示背景。通过结果图像可以发现高斯模型对肤色区域有较好的检测效果，但是结果中会包含散粒噪声和背景类肤色区域的干扰，尤其在包含复杂背景的(b)图中更为明显。

经肤色分割后的图像会出现散粒噪声、边缘形状不规则等情况，为了去除噪声对检测带来的干扰，需要通过形态学闭运算修补肤色区域边界轮廓，同时去除散粒噪声，方法如下所示：

(A &CirclePlus; B) (s, t) = \max {A (s - x, t - y) + B (x, y) | (s - x, t - y) &Element; D_{A}; (x, y) &Element; D_{B}}

图4(a)、(b)分别是图3(a)、(b)经形态学闭运算去噪后的结果图像，可以发现图3(a)(b)中的散粒的噪声得到消除。在图4(a)所示的简单背景条件下，已经实现了人脸区域的检测；而在图4(b)所示的包含类肤色背景的图像中，去噪结果会得到一些边缘平滑的区域，为后续的人脸特征检测做准备。

步骤2：人脸特征检测：分别利用人脸几何特征和人脸结构特征对肤色区域结果进行检验，去除非人脸区域；提取图像中保留的肤色区域，获得人脸目标检测结果。

原始图像在经过肤色分割、噪声去除后，由于背景中会存在类肤色物体，或者图像中包含裸露的四肢等肤色区域，这些情况会干扰人脸区域的确定。本发明中分别采用人脸几何特征和结构特征对人脸作进一步检测，执行过程中几何特征检测和结果特征检测为并列关系，最后整合两部分的结果对非人脸区域进行排除。

人脸几何特征主要讨论肤色区域的形状、密集度等特征，其检测规则如下：

(1)肤色区域面积检测：若目标区域面积S小于视场范围10％或超过视场范围的80％，判断其为非人脸区域；

(2)肤色区域形状检测：若目标区域的外接矩形高宽之比R小于0.8或超过2.5，判断其为非人脸区域。一般来说，人脸的高宽比大约为1，考虑到人姿态各异，为了防止漏选，规定这个比例的下限为0.8。另一方面，人脸高宽比也应当规定一个上限。这是因为在实际中存在一些情况，待检区域中含有人脸，但是图像的高宽比高出了人脸正常高宽比的范围，如人由于颈部及其以下皮肤区域有所暴露，在这种情况下通过肤色分割得到的待检区域高宽比就超出了正常的范围。因此必须考虑这种特殊情况，给出一个更宽的高宽比上限2.5；

(3)肤色区域密集度检测：若目标区域的密集度C小于45％，判断其为非人脸区域。

人脸结构特征主要讨论眼睛、鼻子和嘴巴的位置关系，尤其是双眼的相对位置，其检测规则如下：

(1)双眼中心距范围检测：双眼中心距应在1/3至2/3目标区域水平尺寸范围内；

(2)双眼周围黑块检测：双眼下方一定距离内没有其它器官，因此在似然度图像中不能有其它黑块；

(3)双眼水平位置关系检测：双眼中心位置在垂直方向相差不超过20％目标区域竖直尺寸；

(4)眼睛区域面积检测：眼睛部分的黑色区域所包含的像素数应在5％至10％目标区域面积范围内；

(5)眼睛形状检测：眼睛区域的外接矩形高宽比应在1.5至2.5之间；

完成人脸几何特征与结构特征检测后，通过整合两部分结果判断候选肤色区域是否为人脸区域，以几何特征为主要判断准则，结构特征为辅助判断准则。当候选区域不满足几何特征时，判断其为非人脸区域；结构特征以识别双眼为前提，当候选区域中识别出类似双眼结构时(可能是正脸情况)，若不满足结构特征，则判断为非人脸区域，当候选区域不包含双眼结构时(可能是侧脸情况)，只通过几何特征进行判断。

图5(a)、(b)分别是图4(a)、(b)经人脸特征检测，去除非人脸区域的结果，图5(c)、(d)是最终人脸检测结果图像。人脸特征检测包括对肤色区域几何特征和结构特征两部分。由结果图像可以发现，图4(a)(b)中的人脸区域得到保留，非人脸区域被排除，证明本方法能够实现复杂背景中的人脸准确检测。

步骤3：人脸目标跟踪：根据先验人脸检测结果数据，利用最小二乘法对搜索窗口进行预测；通过CAMShift迭代算法调节搜索窗口与人脸区域重合。

连续自适应均值移动(Continuously Adaptive Mean Shift，CAMShift)算法是一种基于颜色信息的目标跟踪算法，该算法是对色彩概率分布图像进行迭代处理，寻找最优匹配目标。

CAMShift按如下步骤跟踪目标：

(1)预测并初始化搜索窗的位置和大小(可为任意值)；

(2)计算搜索窗的质心；

(3)移动搜索窗，使窗的中心与质心重合；

(4)重复(2)和(3)，直到收敛(或窗某次的移动距离小于预设阈值)，保存此时的零阶矩和质心值；

(5)在下一帧图像中根据(4)得到的零阶矩和质心值重新初始化搜索窗的位置和大小，再跳转到(2)继续执行。

为了实现视频中的人脸目标跟踪，要求算法具有良好的处理速度和识别精度。实验中发现，对于窗口位置的预测是影响跟踪速度的主要因素，因此本文采用基于最小二乘法的窗口预测方案，对CAMShift算法进行改进。通过对图像序列中人脸位置的记录，取前十帧图像检测结果作为先验数据，将其拟合成三阶曲线，通过计算得到人脸位置预测值，窗口大小则通过拟合曲线的速度函数进行预测。实现方法如下公式所示：

\{\begin{matrix} y_{k} = a_{1} \times k^{3} + a_{2} \times k^{2} + a_{3} \times k + a_{4} \\ x_{k} = b_{1} \times k^{3} + b_{2} \times k^{2} + b_{3} \times k + b_{4} \end{matrix} - - - (1)

\{\begin{matrix} y_{11} = a_{1} \times 11^{3} + a_{2} \times 11^{2} + a_{3} \times 11 + a_{4} \\ x_{11} = b_{1} \times 11^{3} + b_{2} \times 11^{2} + b_{3} \times 11 + b_{4} \end{matrix} - - - (2)

\{\begin{matrix} w = 3 \times a_{1} \times 10^{2} + 2 \times a_{2} \times 10 + a_{3} + w_{0} \\ h = 1.2 \times (3 \times b_{1} \times 10^{2} + 2 \times b_{2} \times 10 + b_{3}) + h_{0} \end{matrix} - - - (3)

公式(1)为最小二乘拟合曲线方程，k＝1，2，3...，10，(x_k，y_k)为先验人脸坐标值，a₁-a₄、b₁-b₄是最小二乘法得到拟合方程的参数值，公式(2)中(x₁₁，y₁₁)为利用拟合方程系数对检测窗口位置预测的结果，公式(3)为窗口大小预测结果，w为窗口宽度，h为窗口高度，w₀、h₀为窗口尺寸的最小值，在本系统中w₀＝10，h₀＝20(图像为640×480像素)。

改进后的CAMShift算法流程如下：

(1)预测搜索窗位置；

(1.a)默认搜索窗口位置为视场中心，大小为50％视场范围：

(1.b)利用先验结果的最小二乘预测；

(2)计算搜索窗的质心；

(3)移动搜索窗，使窗的中心与质心重合；

(5)读入视频的下一帧图像，跳转至(1)(b)继续执行检测。

本方法选择C语言作为所述方法的实现语言，CPU为

Core^TM 2Duo T5750，2GHz主频，内存大小为2G，使用Visual C++2008开发环境编程实现。

为了验证本方法的有效性，对大小为640×480，拍摄速度为30帧/秒的视频进行实时人脸跟踪实验，实验结果如图6，7，8所示。

图6是视频人脸检测中人脸位置移动的检测结果，(a)、(b)、(c)是距镜头较近时人脸移动的检测结果，(d)、(e)、(f)是距镜头较远时人脸移动的检测结果。由六幅结果图像可以发现，搜索结果可以准确的跟踪人脸位置，并且在人脸大小变化时搜索窗的大小也随之改变，实现人脸区域的完整检测。

图7是视频人脸检测中人脸姿态变化的检测结果，包括侧脸(a)、(b)，仰头(c)以及低头(d)的等情况。由四幅结果图像可以发现，在人脸姿态变化时程序依然能够实现正常的跟踪。由于现有的人脸检测程序大多要求目标保持正脸状态，因此侧脸跟踪是本系统的一个明显的优势，能够实现这样的效果，主要因为本文在人脸检测过程中采用人脸几何特征和结构特征相结合的方法，在姿态变化时，会出现人脸结构特征检测丢失的现象，此时程序将只依靠几何特征进行人脸判断，因此可以实现侧脸情况的人脸检测。

图8(a)、(b)是视频人脸检测中存在肤色干扰的检测结果。在同样是肤色区域的手掌划过跟踪区域时，跟踪框有一定程度的变大，但跟踪仍然正常进行。跟踪框增大是因为彩色概率分布对应的肤色面积增加，整个区域的面积也增加造成的，但是由于程序要通过人脸结构特征进行人脸判断，因此肤色干扰不会影响跟踪的结果。

实验结果表明，本发明所提出的基于高斯肤色模型和特征分析的人脸检测与跟踪方法可以对视频中的人脸信息进行准确的检测与跟踪，算法支持30帧/秒的处理速度，具有较高的准确性，并且适应复杂的背景与亮度环境。当视频中出现人脸左右侧转，距离摄像头远近变化及有类肤色干扰的情况下时，系统依然能够正常的对人脸区域进行跟踪，得到满意的结果。

Claims

1.一种基于高斯肤色模型和特征分析的人脸检测与跟踪方法，其特征在于如下步骤如下：

2.根据权利要求1中所述的一种基于高斯肤色模型和特征分析的人脸检测与跟踪方法，其特征在于：所述步骤(1)中的图像肤色分割方法为：先在YCbCr色彩空间建立高斯肤色模型，计算视频序列图像的肤色似然度，选取自适应阈值对似然度图像进行图像分割，最后利用闭运算去除散粒噪声，具体步骤如下：

(1.i)高斯肤色模型通过以下公式建立：

P(Cb，Cr)＝exp{-0.5(x-m)^TC^-1(x-m)}；x＝(Cb，Cr)^T

m＝E{x}，x＝(Cb，Cr)^T；C＝E{(x-m)(x-m)^T}

C = [\begin{matrix} 77.0592 & 10.0067 \\ 10.0067 & 119.1352 \end{matrix}];

(\begin{matrix} Y \\ Cb \\ Cr \end{matrix}) = (\begin{matrix} 16 \\ 128 \\ 128 \end{matrix}) + \frac{1}{256} \times (\begin{matrix} 65.738 & 129.057 & 25.064 \\ - 37.945 & - 74.494 & 112.439 \\ 112.439 & - 94.154 & - 18.285 \end{matrix}) \times (\begin{matrix} R \\ G \\ B \end{matrix})

C_{i} (Y) = \{\begin{matrix} (C_{i} (Y) - \overset{&OverBar;}{C_{i} (Y)}) \times \frac{W_{C_{i}}}{W_{C_{i}} (Y)} + \overset{&OverBar;}{C_{i} (Y)}, Y < K_{i} orY > K_{h} \\ C_{i} (Y), Y &Element; [K_{i}, K_{h}] \end{matrix}

W_{c_{i}} (Y) = \{\begin{matrix} {WL}_{C_{i}} + \frac{(Y - Y_{\min}) (W_{C_{i}} - {WL}_{c_{i}})}{K_{i} - Y_{\min}} & if & Y < K_{i} \\ {WH}_{C_{i}} + \frac{(Y_{\max} - Y) (W_{C_{i}} - {WH}_{c_{i}})}{Y_{\max} - K_{i}} & if & Y > K_{h} \end{matrix}

\{\begin{matrix} p_{i} = p_{i}, p_{i} &GreaterEqual; T \\ p_{i} = 0, p_{i} < T \end{matrix}

公式中p_i为第i像素的肤色似然度，T为肤色分割阈值；

(A &CirclePlus; B) (s, t) = \max {A (s - x, t - y) + B (x, y) | (s - x, t - y) &Element; D_{A}; (x, y) &Element; D_{B}}

3.根据权利要求1中所述的一种基于高斯肤色模型和特征分析的人脸检测与跟踪方法，其特征在于：所述步骤(2)中的人脸特征检测，包括对肤色区域分别进行人脸几何特征检测与人脸结构特征检测，通过整合两部分的结果对非人脸区域进行排除，具体步骤如下：

所述人脸几何特征检测步骤为：

所述人脸结构特征检测步骤为：

4.根据权利要求1中所述的一种基于高斯肤色模型和特征分析的人脸检测与跟踪方法，其特征在于：所述步骤(3)的人脸目标跟踪中，利用最小二乘法对搜索窗口进行预测，具体步骤如下：

(3.i)初始化搜索窗；

(3.i.a)默认搜索窗口位置为视场中心，大小为50％视场范围：

\{\begin{matrix} y_{k} = a_{1} \times k^{3} + a_{2} \times k^{2} + a_{3} \times k + a_{4} \\ x_{k} = b_{1} \times k^{3} + b_{2} \times k^{2} + b_{3} \times k + b_{4} \end{matrix} - - - (1)

\{\begin{matrix} y_{11} = a_{1} \times 11^{3} + a_{2} \times 11^{2} + a_{3} \times 11 + a_{4} \\ x_{11} = b_{1} \times 11^{3} + b_{2} \times 11^{2} + b_{3} \times 11 + b_{4} \end{matrix} - - - (2)

\{\begin{matrix} w = 3 \times a_{1} \times 10^{2} + 2 \times a_{2} \times 10 + a_{3} + w_{0} \\ h = 1.2 \times (3 \times b_{1} \times 10^{2} + 2 \times b_{2} \times 10 + b_{3}) + h_{0} \end{matrix} - - - (3)

(3.ii)计算搜索窗的质心；

(3.iii)移动搜索窗，使窗的中心与质心重合；

(3.v)读入视频的下一帧图像，跳转至(3.i.b)继续执行检测。