CN104715244A - 一种基于肤色分割和机器学习的多视角人脸检测方法 - Google Patents

Abstract

本发明公开了一种基于肤色分割和机器学习的多视角人脸检测方法，首先对原始彩色图像采用GrayWorld进行均衡处理，利用椭圆模型进行肤色检测；求取肤色连通区域最小包围矩形后适当扩大并对其进行灰度化和中值滤波处理；使用多视角人脸检测器进行多尺度的遍历搜索检测，最后对检测结果合并输出。多视角人脸检测器由5个视角对应的级联分类器并行构建而成，采用风险敏感型连续Adaboost算法训练分类器。本发明采用GrayWorld进行均衡化，有效消除彩色偏移，使用椭圆模型对肤色进行检测，减少了后续搜索范围从而加快了检测速度；利用风险敏感型连续Adaboost算法构建多视角人脸检测器，能更精确地刻画分类边界，对于人脸样本具有更好的分类效果；其在智能视频监控等方面有广泛的应用前景。

Description

一种基于肤色分割和机器学习的多视角人脸检测方法

技术领域

本发明属于模式识别技术领域，具体涉及一种基于肤色分割和机器学习的多视角人脸检测方法。

背景技术

人脸检测是模式识别和计算机视觉领域中的重要研究方向，也为解决多种目标检测和识别问题提供有效的途径。而多视角人脸检测是指检测图像中覆盖一个较大视角范围的人脸表观模式，其在人机交互、智能监控和机器人视觉等领域有着广泛的应用前景。

作为智能监控系统的重要组成部分，多视角人脸检测系统可以大大提高重要场合行人监控以及计数工作的效率和效果，加快行人监控的自动化、智能化的步伐。而且，多视角人脸检测往往作为视频图片采集后对图像处理的第一步，它的好坏关系到整个智能监控系统性能的优劣。因此，如何快速、准确地检测出多视角人脸是智能监控系统技术中非常关键的。

目前国内外许多学者对多视角人脸检测技术进行了大量的研究，并取得了一些成果。检索该领域目前已有的文献，我们发现现有多视角人脸检测中较为有效的人脸检测方式大都基于机器学习的方法完成。

然而，在现实中，由于具体智能监控系统所处的场景中，背景一般都比较复杂且存在许多灰度与人脸相似的部分，这使得在检测时造成很多误检。由于多视角的人脸本身变化也较多，对检测也造成了一定的影响。而且，由于拍摄视角的变化，加上天气变化导致的不同光照条件等诸多因素，使得人脸准确检测难度较大。此外，在具体的智能视频监控场景中，画面一般较大且复杂，因此，如何在复杂场景中摒除非人脸区域以达到快速准确地检测出多视角的人脸是现有多视角人脸检测技术中有待进一步解决的问题。

发明内容

为了解决快速、准确地从复杂场景中检测多视角人脸的技术问题，本发明提供了一种基于肤色分割和机器学习的多视角人脸检测方法。

本发明提供了一种基于肤色分割和机器学习的多视角人脸检测方法，包括以下步骤：

(1)对原始彩色图像进行光照补偿，使用GrayWorld进行均衡处理；

(2)将均衡处理后的图像的像素从原有RGB色彩空间转换到YCbCr色彩空间，然后将像素从色度空间CbCr经过非线性变换到Cb′Cr′空间；将转换后的色度值Cb′和Cr′输入椭圆肤色模型进行计算，得到图像的肤色区域，对其求取最小包围矩形并对边界进行扩大；

(3)对肤色所在的矩形区域进行灰度化处理，然后对处理后所得到的灰度图像进行中值滤波，作为人脸检测的候选区域；

(4)对于每一个人脸候选区域利用多视角人脸检测器进行多尺度的搜索检测，多视角人脸检测器由各个视角的级联分类器并行构建而成，所述分类器采用风险敏感型连续Adaboost算法进行训练。

进一步地，所述步骤(1)中的GrayWorld进行均衡处理具体为：R′、G′、B′为改进后的值，均衡化公式为： $B^{\′}=B*\left[\frac{K}{B_{\mathrm{average}}}\right],K=\frac{(R_{\mathrm{average}}+G_{\mathrm{average}}+B_{\mathrm{average}})}{2},$ 其中R_average、G_average、B_average分别为原RGB颜色通道的平均值。

进一步地，所述步骤(2)中利用椭圆模型确定肤色区域按照如下方式实现：

(2.1)将图像颜色空间从RGB色彩空间转换到YCbCr色彩空间，转换公式为：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}{R}^{\′}\\ G^{\′}\\ B^{\′}\end{array}\right].$

(2.2)将(2.1)中像素从色度空间CbCr经过非线性变换到Cb′Cr′空间，公式如下：

${\mathrm{Cb}}^{\&prime;}\left(Y\right)=\left\{\begin{array}{c}(\mathrm{Cb}\left(Y\right)-\stackrel{\&OverBar;}{\mathrm{Cb}}\left(Y\right))\&times;\frac{46.97}{W_{\mathrm{Cb}}\left(Y\right)}+\stackrel{\&OverBar;}{\mathrm{Cb}}\left(188\right),Y<125\mathrm{or\; Y}>188\\ \mathrm{Cb}\left(Y\right),Y\&Element;\left[\mathrm{125,188}\right]\end{array}\right.,$

${\mathrm{Cr}}^{\&prime;}\left(Y\right)=\left\{\begin{array}{c}(\mathrm{Cr}\left(Y\right)-\stackrel{\&OverBar;}{\mathrm{Cr}}\left(Y\right))\&times;\frac{38.76}{W_{\mathrm{Cr}}\left(Y\right)}+\stackrel{\&OverBar;}{\mathrm{Cr}}\left(188\right),Y<125\mathrm{or\; Y}>188\\ \mathrm{Cr}\left(Y\right),Y\&Element;\left[\mathrm{125,188}\right]\end{array}\right.,$

其中，W_Cb(Y)和W_Cr(Y)为椭圆模型宽度值，和为椭圆模型中心值。

(2.3)将训练好的椭圆模型存储在一幅二值图像上，将此图像映射到二维坐标系的第一象限。

(2.4)将(2.2)中所得Cb′、Cr′值分别对应到(2.3)中x轴、y轴的值，即将像素点Cb′，Cr′值投影到(2.3)中二值图像上某一点，如果该点在白色椭圆区域内部，则视该像素点为肤色点，反之则为非肤色点。

椭圆模型用(center,axes,angle,startAngle,endAngle)表示，其中center是该椭圆的中心点坐标，axes是该椭圆的长半轴和短半轴，angle是该椭圆和水平方向上的旋转夹角，startAngle表示绘制椭圆弧线相对该椭圆自己的水平轴的起始角度，endAngle表示绘制椭圆弧线相对该椭圆自己的水平轴的终止角度。

进一步地，所述步骤(4)中的多视角人脸检测器，将样本集在水平方向上分为5个视角：[-75°～-45°]，[-45°～-15°]，[-15°～15°]，[15°～45°]，[45°～75°]，分别训练5个视角的级联分类器。不同视角的级联分类器对应各层用到的类Haar特征数目相同。多视角人脸检测器由级联分类器并行构成，且每个级联分类器的前4层构成人脸的姿态预估计部分，不再引入专门的姿态估计器。对于未通过前4层的样本，直接输入下一级联分类器的第一层进行判断；对于通过某一级联分类器前4层的样本，则直接由该级判断其是否为人脸，不再送入其他级联分类器进行判断。

其中，级联分类器是使用风险敏感型连续Adaboost算法训练多个强分类器，进行级联得到，使用的风险敏感型连续Adaboost算法流程如下：

(4.1)针对每个视角，定义其训练样本集S＝{(x_i,y_i)}，包含m个正样本和l个负样本，i＝1,2,…,N，N＝m+l。其中y_i＝±1表示样本类别，y_i＝+1表示正样本即对应视角的人脸图像，y_i＝-1表示负样本即非人脸图像。

(4.2)设定训练集上的人脸类别是非人脸类别的误分类风险倍数c_t＞0，其最佳取值范围为[2.5,3]，初始误分类风险倍数c₁＝3，每两轮降低0.1，降低至2.5停止。正样本分类风险设定为C_i＝2c₁/(c₁+1)，负样本分类风险设定为C_i＝2/(c₁+1)。设定样本的初始权重为即正样本初始权重为D₁(i)＝c₁/(mc₁+l)，负样本初始权重为D₁(i)＝1/(mc₁+l)。

(4.3)对于T轮训练，t＝1,2,...,T：

(4.3.1)令迭代次数t＝1；

(4.3.2)针对每个类Haar特征，求取其特征值f_Haar(x)，并归一化到[0,1]区间，对此区间进行n等分，记v_j＝[(j-1)/n,j/n]，j＝1,…n，此值域的等距划分对应了样本空间的一个划分，本文中n取10；

(4.3.3)对于每一f_Haar(x)∈v_j，则有ε为一小的正常数，其中W_l ^j＝P(f_Haar(x)∈v_j,y＝l)，l＝±1，j＝1,…n，y为样本真实类别；

(4.3.4)定义函数 $V_n^j\left(u\right)=\left\{\begin{array}{c}1,u\&Element;[(j-1)/n,j/n)\\ 0,u\&NotElement;[(j-1)/n,j/n)\end{array}\right.,$ j＝1,…n，则可以得到弱分类器函数表达式： $h_L\left(x\right)=\frac{1}{2}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\ln \left(\frac{W_{+1}^j+\mathrm{\&epsiv;}}{W_{-1}^j+\mathrm{\&epsiv;}}\right)V_n^j\left(f_{\mathrm{Haar}}\left(x\right)\right);$

(4.3.5)令σ(x)＝h_L(x)-b，其中b为手动设定的阈值，默认为0，则可以得到该弱分类在当前权重下的错分率：

(4.3.6)选择具有最小错分率的弱分类器作为本轮最佳分类器，即求得满足条件ξ_t＝min{ξ_f}的h_Lt(x)，并计算参数

(4.3.7)按照h_Lt(x)的分类错误率以及正负样本分类风险来调整样本权重： $D_{t+1}\left(i\right)=\frac{D_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t\mathrm{\&sigma;}\left(x\right)y_i)\exp \left({\mathrm{\&lambda;}}_t{\mathrm{\&alpha;}}_t{y}_i\right)}{Z_t},$

其中 $\mathrm{\&lambda;}=\frac{c_t-1}{c_t+1},$ $Z_t=\underset{i}{\mathrm{\&Sigma;}}{D}_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t\mathrm{\&sigma;}\left(x\right)y_i)\exp \left({\mathrm{\&lambda;}}_t{\mathrm{\&alpha;}}_t{y}_i\right);$

(4.3.8)若t＜T，则t＝t+1，返回步骤(4.3.2)，否则进入步骤(4.3.9)；

(4.3.9)确定强分类器：

$H\left(x\right)=\mathrm{sign}(\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t\mathrm{\&sigma;}\left(x\right)-\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;\&alpha;}}_t).$

若同时被检测为人脸的相邻子区域重叠面积大于阈值，则将这些检测为人脸的相邻子区域进行合并，从而得到准确的人脸。

本发明所产生的技术效果是：由于实际智能监控系统场景较为复杂，存在许多灰度与人脸相似的部分，而肤色检测则可以消除在颜色空间上与人脸肤色不同的区域，也提高了检测速度；采用均衡化进行光照补偿，有利于肤色在颜色空间的良好表达。针对不同视角分别训练级联分类器构建多视角人脸检测器，且引入姿态预估计的思想，提高了对多视角人脸的检测能力。使用的风险敏感型连续Adaboost算法训练得到的分类器，不仅能够更精确地刻画分类边界，并且对于误分类风险较高的人脸样本具有更好的分类效果。对多尺度遍历搜索的肤色区域，若相邻子检测框面积大量重叠，重叠区域面积大于一定的阈值，则将这些识别为人脸的相邻子框进行合并，进而获得更加准确的人脸框。

本发明所采用的方法可以为智能监控系统等提供良好的多视角人脸检测效果，对提高多视角人脸检测的速度与精度，加快监控系统自动化、智能化具有很高的实用价值。

附图说明

图1为本发明基于肤色分割和机器学习的多视角人脸检测方法流程示意图；

图2为本发明所用到的类Haar特征模板示意图；

图3为本发明所用到的风险敏感型连续Adaboost算法训练与判别方法流程图；

图4为本发明中风险敏感型连续Adaboost算法各层所用到的类Haar特征数目示意图；

图5为本发明用到的椭圆模型二值图像；

图6为多视角人脸检测器组成图(其中级联分类器前四层构成姿态预估计，不同视角的级联分类器对应各层用到的类Haar特征数目相同)；

图7为本发明实施例所用到的待检测图像样例对应的均衡化图像；

图8为本发明实施例所用到的待检测图像样例对应的肤色检测结果示意图(检测结果为图中红线所框区域)；

图9为本发明实施例所用到的待检测图像样例对应的最终检测结果示意图(检测结果为图中矩形框所框区域)。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1为本发明方法流程图，本发明操作步骤包括GrayWorld均衡化处理、彩色图像颜色空间的转换、椭圆模型肤色检测、计算肤色连通域个数、对肤色连通域最小包围矩形适当比例扩大、对连通域矩形图像灰度化处理、对连通域矩形图像中值滤波、Adaboost多视角人脸检测器多尺度遍历搜索检测。下面给出一个实施例：

(1)对输入的彩色图像I进行Gray World均衡化处理得到彩色图像G(参见图7)。彩色图像I中像素点的红色分量值为R，绿色分量值为G，蓝色分量值为B，R_average、G_average、B_average分别为其对应分量的平均值。处理后的彩色图像G中像素点的红色分量值为R′，绿色分量值为G′，蓝色分量值为B′，均衡化公式为：

$K=\frac{(R_{\mathrm{average}}+G_{\mathrm{average}}+B_{\mathrm{average}})}{3},$

$R^{\&prime;}=R*\left[\frac{K}{B_{\mathrm{average}}}\right],G^{\&prime;}=G*\left[\frac{K}{G_{\mathrm{average}}}\right],B^{\&prime;}=B*\left[\frac{K}{B_{\mathrm{average}}}\right].$

(2)为了消除非肤色部分对人脸检测的干扰，使用椭圆模型进行肤色区域的确定。椭圆模型由大量含人脸肤色图片的肤色点离线训练而成，训练方式如下：

将YCbCr色彩空间中的色度Cb、Cr进行非线性变换以更好的投影出其是否在肤色聚类区域：

${\mathrm{Ci}}^{\&prime;}\left(Y\right)=\left\{\begin{array}{c}(\mathrm{Ci}\left(Y\right)-\stackrel{\&OverBar;}{\mathrm{Ci}}\left(Y\right))\&times;\frac{W_{\mathrm{Ci}}}{W_{\mathrm{Ci}}\left(Y\right)}+\stackrel{\&OverBar;}{\mathrm{Ci}}\left(K_h\right),Y<K_l\mathrm{or}{K}_h<Y\\ \mathrm{Ci}\left(Y\right),Y\&Element;[K_l,K_h]\end{array}\right.,$

$W_{\mathrm{Ci}}\left(Y\right)=\left\{\begin{array}{c}{\mathrm{WL}}_{\mathrm{Ci}}+\frac{(Y-Y_{\min })\&times;(W_{\mathrm{Ci}}-{\mathrm{WL}}_{\mathrm{Ci}})}{K_l-Y_{\min }}\\ {\mathrm{WH}}_{\mathrm{Ci}}+\frac{(Y_{\max }-Y)\&times;(W_{\mathrm{Ci}}-{\mathrm{WH}}_{\mathrm{Ci}})}{Y_{\max }-K_h},K_h<Y\end{array}\right.,$

$\stackrel{\&OverBar;}{\mathrm{Cb}}\left(Y\right)=\left\{\begin{array}{c}108+\frac{(K_l-Y)\&CenterDot;(118-108)}{K_l-Y_{\min }}Y<K_l\\ 108+\frac{(Y-K_h)\&CenterDot;(118-108)}{Y_{\max }-K_h},K_h<Y\end{array}\right.,$

$\stackrel{\&OverBar;}{\mathrm{Cr}}\left(Y\right)=\left\{\begin{array}{c}154-\frac{(K_l-Y)\&CenterDot;(154-144)}{K_l-Y_{\min }},Y<K_l\\ 154+\frac{\left({Y-K}_h\right)\&CenterDot;(154-132)}{Y_{\max }-K_h},K_h<Y\end{array}\right.,$

对大量肤色点进行统计后得出参数，其中，Ci代表Cb与Cr。进行非线性变换后椭圆模型为：

$\frac{{(x-{\mathrm{ec}}_x)}^2}{a^2}+\frac{{(y-{\mathrm{ec}}_y)}^2}{b^2}=1,$

$\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}\\ -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right]\left[\begin{array}{c}{\mathrm{Cb}}^{\&prime;}-c_x\\ {\mathrm{Cr}}^{\&prime;}-c_y\end{array}\right],$

对大量肤色点进行统计，根据肤色点在Cb′Cr′子空间聚类特性计算后得出参数值。

最终训练而成的椭圆模型用(center,axes,angle,startAngle,endAngle)表示，其中center是该椭圆的中心点坐标，axes是该椭圆的长半轴和短半轴，angle是该椭圆和水平方向上的旋转夹角，startAngle表示绘制椭圆弧线相对该椭圆自己的水平轴的起始角度，endAngle表示绘制椭圆弧线相对该椭圆自己的水平轴的终止角度。

使用上述训练好的椭圆模型进行肤色检测具体步骤如下：

(2.1)将图像颜色空间从RGB色彩空间转换到YCbCr色彩空间，转换公式为：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}{R}^{\&prime;}\\ G^{\&prime;}\\ B^{\&prime;}\end{array}\right].$

(2.2)将(2.1)中像素从色度空间CbCr经过非线性变换到Cb′Cr′空间，公式如下：

${\mathrm{Cb}}^{\&prime;}\left(Y\right)=\left\{\begin{array}{c}(\mathrm{Cb}\left(Y\right)-\stackrel{\&OverBar;}{\mathrm{Cb}}\left(Y\right))\&times;\frac{46.97}{W_{\mathrm{Cb}}\left(Y\right)}+\stackrel{\&OverBar;}{\mathrm{Cb}}\left(188\right),Y<125\mathrm{or\; Y}>188\\ \mathrm{Cb}\left(Y\right),Y\&Element;\left[\mathrm{125,188}\right]\end{array}\right.,$

${\mathrm{Cr}}^{\&prime;}\left(Y\right)=\left\{\begin{array}{c}(\mathrm{Cr}\left(Y\right)-\stackrel{\&OverBar;}{\mathrm{Cr}}\left(Y\right))\&times;\frac{38.76}{W_{\mathrm{Cr}}\left(Y\right)}+\stackrel{\&OverBar;}{\mathrm{Cr}}\left(188\right),Y<125\mathrm{or\; Y}>188\\ \mathrm{Cr}\left(Y\right),Y\&Element;\left[\mathrm{125,188}\right]\end{array}\right.,$

其中，W_Cb(Y)和W_Cr(Y)为椭圆模型宽度值，和为椭圆模型中心值。

(2.3)将训练好的椭圆模型存储在一幅二值图像上，将此图像映射到二维坐标系的第一象限(参见图5)。

(2.4)将(2.2)中所得Cb′、Cr′值分别对应到(2.3)中x轴、y轴的值，即将像素点Cb′，Cr′值投影到(2.3)中二值图像上某一点，如果该点在白色椭圆区域内部，则视该像素点为肤色点，反之则为非肤色点(处理后图像参见图8，红线所框区域为肤色区域)。

对上述操作后的图像进行肤色连通域标记处理，并获取连通域最小包围矩形，统计其个数为K，k＝1,2,…K。对求得的最小包围矩形使用膨胀方式进行适当扩大，原矩形长宽与新矩形长宽的比例为1:1.8。

(3)将新矩形区域转换为灰度图像Gray_k，原图像中像素点(i,j)的红色分量值为R_k(i,j)，绿色分量值为G_k(i,j)，蓝色分量值为B_k(i,j)，转换公式为：

Gray_k(i,j)＝0.212671R_k(i,j)+0.71516G_k(i,j)+0.072169B_k(i,j)。

为减少灰度图像中的噪声，本实施例采用3×3邻域模板中值滤波方法，中值滤波是一种非线性平滑技术，它将图像中每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。

(4)利用多视角人脸检测器进行多尺度的搜索检测。多视角人脸检测器是通过训练基于各个视角的级联分类器构建而成。其中，将样本集在水平方向上分为5个视角：[-75°～-45°]，[-45°～-15°]，[-15°～15°]，[15°～45°]，[45°～75°]，分别训练5个视角的级联分类器。不同视角的级联分类器对应各层用到的类Haar特征数目相同。

多视角人脸检测器由级联分类器并行构成，且每个级联分类器的前4层构成人脸的姿态预估计部分，不再引入专门的姿态估计器。对于未通过前4层的样本，直接输入下一级联分类器的第一层进行判断；对于通过某一级联分类器前4层的样本，则直接由该级判断其是否为人脸，不再送入其他级联分类器进行判断(参见图6)。

风险敏感型连续Adaboost算法的核心思想是针对同一个训练集训练出不同的分类器(弱分类器)，然后把这些弱分类器集合起来构成性能更加强大的分类器(强分类器)。

如图3所示，使用分类器进行多视角人脸检测的算法分为训练部分和判别部分，具体的训练和判别步骤描述如下：

训练部分步骤如下：

将多视角人脸样本按不同视角分别进行训练。对于每个视角，正样本集包含该视角的人脸图像，负样本包含非人脸图像。得到相应图像的灰度图分别作为训练用的正样本集、负样本集。

通过类Haar特征来描述人脸样本与非人脸样本，采用风险敏感型连续Adaboost算法基于正样本集与负样本集进行训练；本发明在训练时优选类Haar特征来描述人脸图像本与非人脸图像，选择合适的类Haar特征获得具有区分相应视角的人脸与非人脸能力的分类器。图2为本发明所使用到的类Haar特征的模板示意图，图中包含了12种类Haar特征模板，如图2中所示，每一种类Haar特征模板由若干个大小相等的小矩形组成。不同尺度的类Haar特征模板表示不同的类Haar特征，每一种类Haar特征值定义为该类Haar特征中非填充矩形区域像素值与填充矩形区域像素值之差。

所述风险敏感型连续Adaboost算法步骤是：

(4.1)针对每个视角，定义其训练样本集S＝{(x_i,y_i)}，包含m个正样本和l个负样本，i＝1,2,…,N，N＝m+l。其中y_i＝±1表示样本类别，y_i＝+1表示正样本即对应视角的人脸图像，y_i＝-1表示负样本即非人脸图像。

(4.2)设定训练集上的人脸类别是非人脸类别的误分类风险倍数c_t＞0，其最佳取值范围为[2.5,3]，初始误分类风险倍数c₁＝3，每两轮降低0.1，降低至2.5停止。正样本分类风险设定为C_i＝2c₁/(c₁+1)，负样本分类风险设定为C_i＝2/(c₁+1)。设定样本的初始权重为即正样本初始权重为D₁(i)＝c₁/(mc₁+l)，负样本初始权重为D₁(i)＝1/(mc₁+l)。

(4.3)对于T轮训练，t＝1,2,...,T：

(4.3.1)令迭代次数t＝1；

(4.3.2)针对每个类Haar特征，求取其特征值f_Haar(x)，并归一化到[0,1]区间，对此区间进行n等分，记v_j＝[(j-1)/n,j/n]，j＝1,…n，此值域的等距划分对应了样本空间的一个划分，本文中n取10；

(4.3.3)对于每一f_Haar(x)∈v_j，则有ε为一小的正常数，其中W_l ^j＝P(f_Haar(x)∈v_j,y＝l)，l＝±1，j＝1,…n，y为样本真实类别；

(4.3.4)定义函数 $V_n^j\left(u\right)=\left\{\begin{array}{c}1,u\&Element;[(j-1)/n,j/n)\\ 0,u\&NotElement;[(j-1)/n,j/n)\end{array}\right.,$ j＝1,…n，则可以得到弱分类器函数表达式： $h_L\left(x\right)=\frac{1}{2}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\ln \left(\frac{W_{+1}^j+\mathrm{\&epsiv;}}{W_{-1}^j+\mathrm{\&epsiv;}}\right)V_n^j\left(f_{\mathrm{Haar}}\left(x\right)\right);$

(4.3.5)令σ(x)＝h_L(x)-b，其中b为手动设定的阈值，默认为0，则可以得到该弱分类在当前权重下的错分率：

(4.3.6)选择具有最小错分率的弱分类器作为本轮最佳分类器，即求得满足条件ξ_t＝min{ξ_f}的h_Lt(x)，并计算参数

(4.3.7)按照h_Lt(x)的分类错误率以及正负样本分类风险来调整样本权重： $D_{t+1}\left(i\right)=\frac{D_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t\mathrm{\&sigma;}\left(x\right)y_i)\exp \left({\mathrm{\&lambda;}}_t{\mathrm{\&alpha;}}_t{y}_i\right)}{Z_t},$

其中 $\mathrm{\&lambda;}=\frac{c_t-1}{c_t+1},$ $Z_t=\underset{i}{\mathrm{\&Sigma;}}{D}_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t\mathrm{\&sigma;}\left(x\right)y_i)\exp \left({\mathrm{\&lambda;}}_t{\mathrm{\&alpha;}}_t{y}_i\right);$

(4.3.8)若t＜T，则t＝t+1，返回步骤(4.3.2)，否则进入步骤(4.3.9)；

(4.3.9)确定强分类器：

$H\left(x\right)=\mathrm{sign}(\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t\mathrm{\&sigma;}\left(x\right)-\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;\&alpha;}}_t).$

按照上述方式训练多个强分类器，并将这些强分类器级联构成级联Adaboost分类器。在本实施例，图4为各级所用到的类Haar特征数目示意图。

判别部分步骤如下：

利用训练好的级联分类器构成的多视角人脸检测器进行多尺度搜索遍历每一个满足要求的肤色区域，若检测出人脸，则框出来。若相邻子检测框面积大量重叠，重叠区域面积大于一定的阈值，则将这些识别为人脸的相邻子区域进行合并，进而获得更加准确的人脸。最终检测结果参见图9。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于肤色分割和机器学习的多视角人脸检测方法，其特征在于，所述方法包括以下步骤：

(1)对原始彩色图像进行光照补偿，使用Gray World进行均衡处理；

(2)将均衡处理后的图像的像素从原有RGB色彩空间转换到YCbCr色彩空间，然后将像素从色度空间CbCr经过非线性变换到Cb′Cr′空间；将转换后的色度值Cb′和Cr′输入椭圆肤色模型进行计算，得到图像的肤色区域，对其求取最小包围矩形并对边界进行扩大；

(3)对肤色所在的矩形区域进行灰度化处理，然后对处理后所得到的灰度图像进行中值滤波，作为人脸检测的候选区域；

(4)对于每一个人脸候选区域利用多视角人脸检测器进行多尺度的搜索检测，多视角人脸检测器由各个视角的级联分类器并行构建而成，所述分类器采用风险敏感型连续Adaboost算法进行训练。

2.根据权利要求1所述的基于肤色分割和机器学习的多视角人脸检测方法，其特征在于，所述步骤(1)中的Gray World进行均衡处理具体为：R′、G′、B′为改进后的值，均衡化公式为： $B^{\&prime;}=B*\left[\frac{K}{B_{\mathrm{average}}}\right],$ $K=\frac{(R_{\mathrm{average}}+G_{\mathrm{average}}+B_{\mathrm{average}})}{3},$ 其中R_average、G_average、B_average分别为原RGB颜色通道的平均值。

3.根据权利要求1或2所述的基于肤色分割和机器学习的多视角人脸检测方法，其特征在于，所述步骤(2)按照如下方式实现：

(2.1)将图像颜色空间从RGB色彩空间转换到YCbCr色彩空间，转换公式为：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.241\end{array}\right]\left[\begin{array}{c}{R}^{\&prime;}\\ G^{\&prime;}\\ B^{\&prime;}\end{array}\right];$

(2.2)将(2.1)中像素从色度空间CbCr经过非线性变换到Cb′Cr′空间，公式如下：

${\mathrm{Cb}}^{\&prime;}\left(Y\right)=\left\{\begin{array}{c}(\mathrm{Cb}\left(Y\right)-\stackrel{\&OverBar;}{\mathrm{Cb}}\left(Y\right))\&times;\frac{46.97}{W_{\mathrm{Cb}}\left(Y\right)}+\stackrel{\&OverBar;}{\mathrm{Cb}}\left(188\right),Y<125\mathrm{orY}>188\\ \mathrm{Cb},Y\&Element;\left[\mathrm{125,188}\right]\end{array}\right.,$

${\mathrm{Cr}}^{\&prime;}\left(Y\right)=\left\{\begin{array}{c}(\mathrm{Cr}\left(Y\right)-\stackrel{\&OverBar;}{\mathrm{Cr}}\left(Y\right))\&times;\frac{38.76}{W_{\mathrm{Cr}}\left(Y\right)}+\stackrel{\&OverBar;}{\mathrm{Cr}}\left(188\right),Y<125\mathrm{orY}>188\\ \mathrm{Cr},Y\&Element;\left[\mathrm{125,188}\right]\end{array}\right.,$

其中，W_Cb(Y)和W_Cr(Y)为椭圆模型宽度值，和为椭圆模型中心值；

(2.3)将训练好的椭圆模型存储在一幅二值图像上，将此图像映射到二维坐标系的第一象限；

(2.4)将(2.2)中所得Cb′、Cr′值分别对应到(2.3)中x轴、y轴的值，即将像素点Cb′，Cr′值投影到(2.3)中二值图像上某一点，如果该点在白色椭圆区域内部，则视该像素点为肤色点，反之则为非肤色点。

4.根据权利要求1或2所述的基于肤色分割和机器学习的多视角人脸检测方法，其特征在于，所述步骤(4)中的多视角人脸检测器具体为：

将样本集在水平方向上分为5个视角：[-75°～-45°]，[-45°～-15°]，[-15°～15°]，[15°～45°]，[45°～75°]，分别训练5个视角的级联分类器；不同视角的级联分类器对应各层用到的类Haar特征数目相同；

多视角人脸检测器由级联分类器并行构成，且每个级联分类器的前4层构成人脸的姿态预估计部分，不再引入专门的姿态估计器；对于未通过前4层的样本，直接输入下一级联分类器的第一层进行判断；对于通过某一级联分类器前4层的样本，则直接由该级判断其是否为人脸，不再送入其他级联分类器进行判断。

5.根据权利要求4所述的基于肤色分割和机器学习的多视角人脸检测方法，所述步骤(4)中的风险敏感型连续Adaboost算法具体包括如下步骤：

(4.1)针对每个视角，定义其训练样本集S＝{(x_i,y_i)}，包含m个正样本和l个负样本，i＝1,2,…,N，N＝m+l；其中y_i＝±1表示样本类别，y_i＝+1表示正样本即对应视角的人脸图像，y_i＝-1表示负样本即非人脸图像；

(4.2)设定训练集上的人脸类别是非人脸类别的误分类风险倍数c_t＞0，其最佳取值范围为[2.5,3]，初始误分类风险倍数c₁＝3，每两轮降低0.1，降低至2.5停止；正样本分类风险设定为C_i＝2c₁/(c₁+1)，负样本分类风险设定为C_i＝2/(c₁+1)；设定样本的初始权重为即正样本初始权重为D₁(i)＝c₁/(mc₁+l)，负样本初始权重为D₁(i)＝1/(mc₁+l)；

(4.3)对于T轮训练，t＝1,2,...,T：

(4.3.1)令迭代次数t＝1；

(4.3.2)针对每个类Haar特征，求取其特征值f_Haar(x)，并归一化到[0,1]区间，对此区间进行n等分，记v_j＝[(j-1)/n,j/n]，j＝1,…n，此值域的等距划分对应了样本空间的一个划分，本文中n取10；

(4.3.3)对于每一f_Haar(x)∈v_j，则有ε为一小的正常数，其中l＝±1，j＝1,…n，y为样本真实类别；

(4.3.4)定义函数j＝1,…n，则可以得到弱分类器函数表达式： $h_L\left(x\right)=\frac{1}{2}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}\ln \left(\frac{W_{+1}^j+\mathrm{\&epsiv;}}{W_{-1}^j+\mathrm{\&epsiv;}}\right)V_n^j\left(f_{\mathrm{Haar}}\left(x\right)\right);$

(4.3.5)令σ(x)＝h_L(x)-b，其中b为手动设定的阈值，默认为0，则可以得到该弱分类在当前权重下的错分率：

(4.3.6)选择具有最小错分率的弱分类器作为本轮最佳分类器，即求得满足条件ξ_t＝min{ξ_f}的h_Lt(x)，并计算参数

(4.3.7)按照h_Lt(x)的分类错误率以及正负样本分类风险来调整样本权重： $D_{t+1}\left(i\right)=\frac{D_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t\mathrm{\&sigma;}\left(x\right)y_i)\exp \left({\mathrm{\&lambda;}}_t{\mathrm{\&alpha;}}_t{y}_i\right)}{Z_t},$

其中 $\mathrm{\&lambda;}=\frac{c_t-1}{c_t+1},$ $Z_t=\underset{i}{\mathrm{\&Sigma;}}{D}_t\left(i\right)\exp (-{\mathrm{\&alpha;}}_t\mathrm{\&sigma;}\left(x\right)y_i)\exp \left({\mathrm{\&lambda;}}_t{\mathrm{\&alpha;}}_t{y}_i\right);$

(4.3.8)若t＜T，则t＝t+1，返回步骤(4.3.2)，否则进入步骤(4.3.9)；

(4.3.9)确定强分类器：

$H\left(x\right)=\mathrm{sign}(\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t\mathrm{\&sigma;}\left(x\right)-\underset{t=1}{\overset{T}{\mathrm{\&Sigma;}}}\mathrm{\&lambda;}{\mathrm{\&alpha;}}_t).$

6.根据权利要求1或2所述的基于肤色分割和机器学习的多视角人脸检测方法，其特征在于，所述步骤(4)中，在待检测人脸候选区域内进行多尺度的子区域提取，利用预先训练好的多视角人脸检测器对各子区域进行人脸检测，若同时被检测为人脸的相邻子区域重叠面积大于阈值，则将这些检测为人脸的相邻子区域进行合并，从而得到准确的人脸。

7.根据权利要求1或2所述的基于肤色分割和机器学习的多视角人脸检测方法，其特征在于，所述步骤(2)中的椭圆模型用(center,axes,angle,startAngle,endAngle)表示，其中center是该椭圆的中心点坐标，axes是该椭圆的长半轴和短半轴，angle是该椭圆和水平方向上的旋转夹角，startAngle表示绘制椭圆弧线相对该椭圆自己的水平轴的起始角度，endAngle表示绘制椭圆弧线相对该椭圆自己的水平轴的终止角度。