CN102521607B - 高斯框架下近似最优肤色检测方法 - Google Patents

Abstract

为了解决目前高斯框架下的方法只能在某个特定的误检率(FalsePositive Rates，简称FPRs)区间内性能较好的问题，本发明专利提出一种高斯框架下近似最优的肤色检测方法，称为多高斯模型(Multiple GaussianModels，简称MGMs)，并推导出其离散和连续的形式。该方法对于整个FPR区间内都具有很好的性能。首先将RGB颜色空间归一化得到rgb空间，然后建立多个最优单高斯模型，最后将多个最优模型融合。MGMs模型包含多个最优单高斯模型，每个高斯模型对应于一个事先定义的FPR值。在每个FPR情况下，对应的最优模型会得到最高的肤色检测率(True Positive Rates，简称TPRs)，该模型采用基于搜索算法的优化问题求解来获得。因此，对于所有的FPR值，MGMs模型能够在高斯框架下获得近似最优的肤色检测性能。此外，MGMs模型与单高斯模型(Single Gaussian Models，简称SGMs)在测试环节具有相同的计算复杂度。

Description

高斯框架下近似最优肤色检测方法

技术领域：

本发明涉及一种基于多高斯模型的肤色检测的方法，属于图像处理领域。

背景技术：

在图像处理与计算机视觉领域中，肤色检测在人脸检测、人脸识别以及不良图像的过滤等应用领域中具有重要的意义。

在过去的几年中，一些基于像素的肤色检测方法已涌现。这些方法可分为两类：第一类是非参数模型，例如肤色空间的直接阈值法和直方图方法；第二类是参数化模型，例如单高斯模型、椭圆边界模型等。与非参数模型相比，参数化模型需要较少的训练数据和较低的存储要求，更易于推广。Menser和Wien利用多维的单高斯模型(Single Gaussian Models，简称SGMs)来表征RGB空间中的肤色分布。由于肤色分布并不严格正态分布，而是有一定程度的倾斜，故单高斯模型并不能准确地描述该分布。Lee和Yoo提出了椭圆边界模型，该模型本质上等价于单高斯模型，但是在均值向量的估计稍有区别。为了更加准确地表示肤色分布，很多研究者采用了混合高斯模型(GaussianMixture Models，简称GMMs)。此外，其它方法如多层感知器分类法(MLP)也已被提出。

由于SGMs、椭圆边界模型、GMMs等基于高斯模型方法具有简单性和良好的推广性等优点，这些方法已被广泛应用。但是，它们局限性在于仅当FPRs在某个较小的特定范围内时方法表现良好。一般地，SGMs在FPR较小的时候表现好于椭圆边界模型法，在FRP大于0.09时椭圆边界法表现优于SGMs。此外，在实验中我们发现GMMs在FPR大过0.40时表现优于上述两种方法。通常地，单个模型仅在特定FPRs范围内表现得较好。因此，提出一种在大范围甚至整个FPRs区间内表现良好的肤色检测方法是非常必要的。

发明内容：

本发明的主要内容，提出一种新的基于像素的肤色检测方法，名为MGMs模型，并导出其离散和连续的形式，用以解决目前高斯框架下绝大多数方法只能在某个特定FPRs小区间上得到较好性能的问题。

MGMs模型是基于多个最优高斯模型而建立的，每个高斯模型对应一个事先给定的FPR。每个最优模型在对应的FPR值条件下能够取得最高的肤色检测TPR值，可以通过搜索的优化算法来解决。因此，对于所有给定的FPRs值，MGMs模型能够在高斯框架下实现近似最优性能。并且，MGMs模型与SGMs有相同的计算代价。

本发明采用了如下技术手段来实现的：首先将RGB空间归一化；

1)建立最优单高斯模型：

从单高斯概率密度函数出发，通过判断概率密度函数值与事先定义的阈值之间的关系来对肤色空间中的样本点进行分类；最优单高斯模型通过求解优化问题来获得：假定肤色检测的FPR值为r_F＝C，最大化肤色检测的检测率TPR，通过该优化问题可以获得最优单高斯模型的均值向量和协方差矩阵参数；该最优化问题的求解通过搜索算法来，按如下步骤进行：

①.最优高斯模型的协方差矩阵通过对训练集中的肤色样本点采用最大似然估计方法获得，假设该矩阵在搜索算法执行过程中不变；

②.采用Fisher线性判别和主成分分析方法得到两个方向，对此进行线性组合来初始化搜索算法中的高斯模型均值向量μ_ini，即为0时刻的均值向量μ₀；

③.在搜索算法中的t时刻，沿着方向θ∈Θ对均值向量μ_t进行移动，其中Θ为预定义的8个方向，步长为δ个像素，从中选择一个方向

使得：在该方向上向量在ROC曲线r_F＝C处法线方向上投影向量处在该ROC曲线的上方，并且范数最大，则即为t时刻均值

向量的更新方向，转至④；否则，中止搜索算法，输出最终的均值向量；

④.在t+1时刻，通过调整阈值的大小使得FPR的值重新为r_F，t+1＝C。t←t+1，转至③。

最终可以通过以上搜索算法获得对应于r_F＝C的最优单高斯模型。若有k个给定的FPR值C₁，C₂，…，C_K，则通过以上算法可以得到K个对应的最优单高斯模型{<N(μ_k，∑)，C_k>|k＝1，2，...，K}，其中μ_k为第k个最优高斯模型均值向量，C_k为第k个最优高斯模型的FPR值。

2)融合多个最优高斯模型：

使N(μ_k，∑)作用于区间F∈[a_k，b_k)而不仅仅是C_k，其中a_k＜C_k＜b_k。每个模型的ROC曲线可以用函数r_T＝f_k(r_F)，r_F∈[0，1]表示。a_k和b_k的值由下式决定：a_k＝min{r_F|f_k(r_F)≥f_l(r_F)，l≠k}和b_k＝max{r_F|f_k(r_F)≥f_l(r_F)，l≠k}，其中f_k(r_F)和f_l(r_F)分别为对应模型N(μ_k，∑)和N(μ_l，∑)的ROC曲线。在[0，1]区间内对误检率FPR进行采样，在此基础上通过实验方法得到f_k(·)，最后通过比较f_k(r_F)和其它ROC曲线来计算a_k，b_k，其中k＝1，2，...，K；最终得到融合后的多高斯模离散形式可以表示为如下二元组的集合{<N(μ_k，∑)，[a_k，b_k)>|k＝1，2，...，K}。

对多个最优高斯模型中的参数采用线性拟合的方法，得到一个μ_k和C_k的线性关系，可以得到的多高斯模型MGMs的连续形式。

本发明的有益效果是：提出了一种在大范围FPRs区间上都能取得近似最优性能的肤色检测方法，并且计算复杂度低，对海量的网络可视媒体的处理具有重要的意义。

具体实施方式：

下面对本发明的具体实施例加以说明：

步骤1，在标准化的RGB颜色空间上对肤色进行建模。

本专利中的图像像素是在归一化的RGB颜色空间(也成为rgb颜色空间)上进行表示的。在忽略背景光的条件下，归一化RGB空间具有相对于光源不随表面方向变化的不变性。此外，RGB到归一化RGB的变换由如下公式可得：

$r=\frac{R}{S_{\mathrm{RGB}}},$ $g=\frac{G}{S_{\mathrm{RGB}}},$ $b=\frac{B}{S_{\mathrm{RGB}}}---\left(1\right)$

其中S_RGB＝R+G+B，r+g+b＝1。第三个分量b不独立于r和g，故仅使用分量r和g来表示图像，在实验中可以线性变换至范围[0，255]。

步骤2，基于一个特定的FPR值r_F＝C∈[0，1]，求解最优单个高斯模型。

为了建立一种基于混合高斯模型的肤色检测方法，本专利首先需要建立基于一个特定FPR下最优的单个高斯模型

(μ，∑)，其概率密度函数表示如下：

$\mathrm{Pr}\left(x\right)=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{n/2}{\left|\mathrm{\&Sigma;}\right|}^{1/2}}{e}^{-\frac{1}{2}{(x-\mathrm{\&mu;})}^T{\mathrm{\&Sigma;}}^{-1}(x-\mathrm{\&mu;})}---\left(2\right)$

其中x＝(r，g)^T表示肤色像素，μ＝(μ_r，μ_g)^T和∑分别表示均值向量和方差矩阵，其中，μ_r是分量r的均值，μ_g是分量g的均值，n是x的维数，n＝2。当像素x满足不等式Pr(x)≥γ时则被判断为肤色像素。该不等式等价于如下公式：

(x-μ)^T∑^-1(x-μ)≤τ²                       (3)

其中式子左侧表示马氏距离的平方，γ和τ为两个事先定义的阈值。

为了达到最优的分类性能，估计参数μ和∑可根据如下优化问题进行求解：

$\widehat{\mathrm{\&mu;}},\widehat{\mathrm{\&Sigma;}}\text{=arg}\underset{\mathrm{\&mu;},\mathrm{\&Sigma;}}{\max }\frac{1}{N_s}\underset{i}{\mathrm{\&Sigma;}}u(\mathrm{\&tau;}-d(x_{i,}\mathrm{\&mu;},\mathrm{\&Sigma;}))---\left(4\right)$

$s.t.\frac{1}{N_{\mathrm{ns}}}\underset{i}{\mathrm{\&Sigma;}}u(\mathrm{\&tau;}-d(y_{i,}\mathrm{\&mu;},\mathrm{\&Sigma;}))=C---\left(5\right)$

其中d(x_i，μ，∑)＝[(x_i-μ)^T∑^-1(x_i-μ)]^1/2，u(t)为单位阶跃函数，x_i和y_i分别表示图像中肤色像素和非肤色像素，N_s，N_ns分别是肤色像素和非肤色像素的数目，C是事先给定的FPR值。公式(4)和(5)表示在肤色检测的FPR值等于C时，最优单高斯模型可通过最大化TPR值来获得。

公式(4)-(6)所描述的优化问题很难求得解析解。因此我们提出一种搜索算法来找到该问题的解。基于实验，我们发现相对于协方差矩阵∑，均值向量μ在决定肤色检测的性能上起着决定性的作用。因此，为了简化求解过程，我们假定∑为常数：

$\mathrm{\&Sigma;}=\frac{1}{N_s}{\mathrm{\&Sigma;}}_{i=1}^{N_s}(x_i-{\mathrm{\&mu;}}^{\&prime;}){(x_i-{\mathrm{\&mu;}}^{\&prime;})}^T---\left(6\right)$

其中，

该搜索算法可能只得到局部最优解，其结果主要取决于初始均值向量的选取。

我们通过结合Fisher线性判别法(FLD)和主成分分析法(PCA)来对均值向量进行初始化。在该初始化中既采用了肤色和非肤色类别间的分类信息，及肤色类别本身的分布信息。首先，我们使用FLD方法计算区分肤色和非肤色类别时的最优投影方向：

$w_1=S_w^{-1}({\mathrm{\&mu;}}_s+{\mathrm{\&mu;}}_{\mathrm{ns}})---\left(7\right)$

其中S_w＝S_s+S_ns， $S_{\mathrm{ns}}={\mathrm{\&Sigma;}}_{i=1}^{N_s}(x_i-\mathrm{\&mu;}){(x_i-\mathrm{\&mu;})}^T,$ $S_{\mathrm{ns}}={\mathrm{\&Sigma;}}_{i=1}^{N_{\mathrm{ns}}}(y_i-{\mathrm{\&mu;}}_{\mathrm{ns}}){(y_i-{\mathrm{\&mu;}}_{\mathrm{ns}})}^T,$

其次，我们使用PCA计算方向w₂：，在该方向上肤色像素数据具有最大的方差，其中w₂是协方差矩阵∑的最大特征值相对应的特征向量。基于实验，我们发现初始均值向量μ_ini与r_F之间近似遵循如下线性关系，这为初始化提供了重要的信息：

μ_ini＝a+br_Fw                  (8)

参数a＝c₁μ+(1-c₁)μ_ns，w＝[c₂w₁+(1-c₂)w₂]/||c₂w₁+(1-c₂)w₂||₂是w₁和w₂的线性组合，参数b、c₁、c₂可由实验求得。在此专利中，b＝379.1，c₁＝0.776，c₂＝-0.258。

在求得模型均值向量的初值后，搜索算法按如下步骤进行：

①.在t＝0时刻，μ₀＝μ_ini，r_F，0＝C；

②.在t时刻，求解模型

的ROC曲线r_F，t＝C处法线r_t′；沿着方向θ∈Θ对均值向量μ_t进行移动得步长为δ个像素，其中Θ为预定义的8个方向，则在该方向上检测性能的变化为

选择方向

使得

在法线方向r_t′的投影向量处在该ROC曲线的上方，并且范数最大，即

则

即为t时刻均值向量的更新方向，转至③，其中r_F，t和r_T，t分别是模型在t时刻的误检率和检测率，

和

分别是该模型沿着方向θ∈Θ对均值向量μ_t进行移动后新模型的误检率和检测率；否则，中止搜索算法，输出最终的均值向量；

③.在t+1时刻，通过调整阈值τ的大小使得FPR的值重新为r_F，t+1＝C；t←t+1，转至②；

最终可以通过以上搜索算法获得对应于r_F＝C的最优单高斯模型；

步骤3：多个最优高斯模型融合。

设{C_k|k＝1，2，...，K}是事先定义的FPRs集合，我们可获对应的最优高斯模型集合：

{<N(μ_k，∑)，C_k>|k＝1，2，...，K}                    (9)

其中N(μ_k，∑)表示对应于FPR值r_F＝C_k下的最优高斯模型，K为最优模型的个数。由于在包含于[0，1]区间中有无数个FPRs值，我们无法求取每一个对应的最优高斯模型，故必须定义有限个FPRs的集合{C_k|k＝1，2，...，K}。其次，我们使N(μ_k，∑)作用于区间r_F∈[a_k，b_k)中，而不是仅仅在离散点r_F＝C_k。假设第k个模型的ROC曲线由函数r_T＝f_k(r_F)，r_F∈[0，1]表示，则a_k，b_k由以下公式求得：

a_k＝min{r_F|f_k(r_F)≥f_l(r_F)，l≠k}                    (10)

b_k＝max{r_F|f_k(r_F)≥f_l(r_F)，l≠k}                    (11)

其中，f_k(r_F)和f_l(r_F)分别表示第k个和第l个模型的ROC曲线。在通过实验得到f_k(·)后，通过公式(10)和(11)即可计算出a_k和b_k，其中k，l＝1，2，...，K。最后，离散的MGM模型表示如下：

{<N(μ_k，∑)，[a_k，b_k)>|k＝1，2，...，K}                (12)

在此离散型MGM模型中，N(μ_k，∑)在r_F＝C_k时具有最优的肤色检测性能，在r_F∈[a_k，b_k)上具有近似最优性能。因此，MGMs方法在高斯框架下具有近似最优的性能。通常，在K值较小的情况下MGMs就可以达到比SGMs，GMMs和椭圆边界模型更好的性能。

表达式(11)给出了一种MGM离散形式。此外，我们还可以基于式(9)获得MGMs的连续形式。假设(μ_r，μ_g，C)可以用如下线性方程表示：

$\frac{{\mathrm{\&mu;}}_r-{\mathrm{\&mu;}}_{0,r}}{m_r}=\frac{{\mathrm{\&mu;}}_g-{\mathrm{\&mu;}}_{0,g}}{m_g}=C---\left(13\right)$

其中μ_r，μ_g是均值向量μ的两个分量，μ_0，r，μ_0，g，m_r和m_g是参数，C是预先定义的FPR值。给定K个数据点{(μ_k，r，μ_k，g，C_k)}，k＝1，...K，上式可写成如下矩阵形式：

MC＝U         (14)

其中

$M=\left(\begin{array}{cc}{m}_r& {\mathrm{\&mu;}}_{0,r}\\ m_g& {\mathrm{\&mu;}}_{0,g}\end{array}\right),$ $C=\left(\begin{array}{ccc}{C}_1& ...& C_K\\ 1& ...& 1\end{array}\right),$ $U=\left(\begin{array}{ccc}{\mathrm{\&mu;}}_{1,g}& ...& {\mathrm{\&mu;}}_{k,r}\\ {\mathrm{\&mu;}}_{1,g}& ...& {\mathrm{\&mu;}}_{k,g}\end{array}\right)---\left(15\right)$

公式(14)的解如下：

$\hat{M}={\mathrm{UC}}^T{\left({\mathrm{CC}}^T\right)}^{-1}---\left(16\right)$

则连续MGM模型表示如下：

$<N({[{\widehat{\mathrm{\&mu;}}}_{0,r}+r_F{\hat{m}}_r,{\widehat{\mathrm{\&mu;}}}_{0,g}+r_F{\hat{m}}_g]}^T,\mathrm{\&Sigma;}),r_F>---\left(17\right)$

Claims (2)

1.一种高斯框架下近似最优的肤色检测方法，其特征在于，包括如下步骤：

1)首先将RGB空间归一化至rgb空间；

2)建立最优单高斯模型：

从单高斯概率密度函数出发，通过判断概率密度函数值与事先定义的阈值之间的关系来对肤色空间中的样本点进行分类；

所述的单高斯概率密度函数为：

$\mathrm{Pr}\left(x\right)=\frac{1}{(2\mathrm{\&pi;}{)}^{n/2}{\left|\mathrm{\&Sigma;}\right|}^{1/2}}{e}^{-\frac{1}{2}(x-\mathrm{\&mu;}{)}^T{\mathrm{\&Sigma;}}^{-1}(x-\mathrm{\&mu;})};$

其中，x=(r,g)^T表示肤色像素，μ=(μ_r,μ_g)^T和∑分别表示均值向量和协方差矩阵，μ_r是分量r的均值，μ_g是分量g的均值，n是x的维数，n=2；当肤色像素x满足不等式Pr(x)≥γ时则被判断为肤色像素，该不等式等价于如下公式：

(x-μ)^T∑^-1(x-μ)≤τ²；

γ和τ为两个事先定义的阈值；

最优单高斯模型通过求解优化问题来获得：假定肤色检测的误检率FPR值为r_F=C∈[0,1]，最大化肤色检测的检测率TPR，通过该优化问题可以获得最优单高斯模型的均值向量和协方差矩阵参数；该最优化问题的求解通过搜索算法来，按如下步骤进行：

①.最优高斯模型的协方差矩阵通过对训练集中的肤色样本点采用最大似然估计方法获得，假设该矩阵在搜索算法执行过程中不变；

②.采用Fisher线性判别和主成分分析方法得到反映肤色分布趋势的两个方向，对此进行线性组合来初始化搜索算法中的高斯模型均值向量μ_ini，即为0时刻的均值向量μ₀；

③.在搜索算法中的t时刻，沿着方向θ∈Θ对均值向量μ_t进行移动，其中Θ为预定义的8个方向，步长为δ个像素，从中选择一个方向

使得：在该方向上t时刻向量

在ROC曲线r_F=C处法线方向上的投影向量处在该ROC曲线的上方，并且范数最大，则

即为t时刻均值向量的更新方向，转至④，其中r_F,t和r_T,t分别是模型在t时刻的误检率FPR和检测率TPR，和

分别是该模型沿着方向

对均值向量μ_t进行移动后新模型的误检率FPR和检测率TPR；否则，中止搜索算法，输出最终的均值向量；

④.在t+1时刻，通过调整阈值τ的大小使得误检率FPR的值重新为r_F,t+1=C；t←t+1，转至③；

最终可以通过以上搜索算法获得对应于r_F=C的最优单高斯模型；若有k个给定的误检率FPR值C₁,C₂,…,C_K，则通过以上算法可以得到K个对应的最优单高斯模型{<N(μ_k,∑),C_k>|k=1,2,...,K}，其中μ_k为第k个最优高斯模型均值向量，C_k为第k个最优高斯模型的误检率FPR值，∑为单高斯概率密度函数中描述的协方差矩阵；

3)融合多个最优高斯模型：

使

作用于区间F∈[a_k,b_k)而不仅仅是C_k，其中a_k<C_k<b_k；第k个模型的ROC曲线可以用函数r_T=f_k(r_F),r_F∈[0,1]表示；a_k和b_k的值由下式决定：a_k=min{r_F|f_k(r_F)≥f_l(r_F),l≠k}和b_k=max{r_F|f_k(r_F)≥f_l(r_F),l≠k}，其中f_k(r_F)和f_l(r_F)分别为对应模型N(μ_k,∑)和N(μ_l,∑)的ROC曲线；

在[0,1]区间内对误检率FPR进行采样，在此基础上通过实验方法得到f_k(·)，最后通过比较f_k(r_F)和其它ROC曲线来计算a_k,b_k，其中k=1,2,...,K；最终得到融合后的多高斯模离散形式，表示为如下二元组的集合{<N(μ_k,∑),[a_k,b_k)>|k=1,2,...,K}。

2.根据权利要求1所述的检测方法，其特征在于，对多个最优高斯模型中的参数采用线性拟合的方法，得到一个μ_k和C_k的线性关系，最终得到的多高斯模型连续形式。