CN102163277A - 一种基于区域的肤色分割方法 - Google Patents

Abstract

本发明公开了一种基于区域的肤色分割方法，包括：将图像从红-绿-蓝颜色空间转换到亮度-红色色度-蓝色色度颜色空间；将图像分割成小的区域，并提取图像中每一小区域的基于协方差描述子的区域纹理特征；分别在红色色度和蓝色色度颜色通道上计算每一小区域内的均值和标准偏差，生成区域颜色特征；合并区域纹理特征和区域颜色特征生成区域特征向量；利用区域特征向量训练分类器模型并进行肤色分割。利用本发明，可以快速高效的分割出图像中人体肤色区域。

Description

一种基于区域的肤色分割方法

技术领域

本发明涉及计算机应用技术领域，特别涉及一种基于区域的肤色分割方法。

背景技术

肤色分割是在图像中选取对应于人体皮肤区域的过程。人体肤色作为一种底层特征，在与人相关的各种机器视觉系统中有着广泛的应用。比较典型的应用包括：色情图像识别、人脸检测与识别、面部表情识别、手势识别、人机交互、视频监控及医疗保健等。

现有方案往往针对单一像素判断其是否为肤色或非肤色，例如在红-绿-蓝RGB颜色空间判断某一像素的颜色范围是否在某一区域范围内，从而判断其是否属于人体肤色。某一像素若同时满足如下条件就判定为肤色像素：

$\left\{\begin{array}{c}R>95\\ G>40\\ B>20\\ \max \{R,G,B\}-\min \{R,G,B\}>15\\ |R-G|>15\\ R>G\\ R>B\end{array}\right.$

该类方法不能考虑像素与像素之间的相关性，因而很容易将属于非肤色的像素误判为肤色像素。

发明内容

(一)要解决的技术问题

有鉴于此，本发明的主要目的是解决现有技术易将属于非肤色的像素误判为肤色像素的问题，为此，本发明提供一种基于区域的肤色分割方法，该方法以每一个小区域内的所有像素为研究对象，能够综合考虑区域内的纹理和颜色信息，高效地进行肤色分割。

(二)技术方案

为达到上述目的，本发明提供了一种基于区域的肤色分割方法，该方法包括步骤如下：

步骤1：将图像从红-绿-蓝颜色空间转换到亮度-红色色度-蓝色色度颜色空间；

步骤2：将图像分割成小的区域，并提取图像中每一小区域的基于协方差描述子的区域纹理特征；

步骤3：分别在红色色度和蓝色色度颜色通道上计算每一小区域内的均值和标准偏差，生成区域颜色特征；

步骤4：合并区域纹理特征和区域颜色特征，生成区域特征向量；

步骤5：利用区域特征向量训练分类器模型并进行肤色分割。

其中，所述图像分割采用矩形的规则区域分割，或采用不规则的图像区域分割。

其中，所述区域纹理特征，是由图像的亮度及其在图像横向坐标x，图像纵向坐标y方向上的一阶、二阶梯度的绝对值，所形成的协方差矩阵投影到切空间并向量化后得到的区域纹理特征。

其中，所述生成区域颜色特征时所用均值和标准偏差的计算如下所述：

均值： $\mathrm{\μ}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{v}_i,$

标准偏差： $\mathrm{\σ}=\sqrt{\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(v_i-\mathrm{\μ})}^2},$

v_i是图像在某一颜色通道上的像素灰度值，n是区域内像素的数量，i是1…n的自然数；分别在红色色度Cr和蓝色色度Cb颜色通道上计算每一小区域内的均值和标准偏差得到μ_cr，σ_cr，μ_cb，σ_cb这4维特征作为该区域的区域颜色特征。

其中，所述分类器模型选用随机森林分类器。

(三)有益效果

从上述技术方案可以看出，本发明具有以下优点：

1、本发明提供的这种肤色分割方法，由于综合考虑了区域的纹理特征和颜色特征，可以比较容易的去除那些在颜色上和肤色比较接近但纹理上和肤色有明显区别的“近肤色”区域，提高了肤色分割的效果。

2、本发明提供的这种肤色分割方法，由于可以采用不同的区域分割方法，既可以采用规则的区域划分方法，借助于积分图像等技术高速的获得略微粗糙带有一定锯齿形边缘的肤色轮廓，又可以采用不规则的区域划分方法获得较为理想的光滑肤色轮廓。

附图说明

图1为本发明的整体框架结构示意图；

图2对图像进行不规则区域划分的示例。

图3为基于区域的肤色分割方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明的整体框架见图1，本发明的执行环境由一台计算机实现以下三个模块组构成：

一、颜色空间转换模块，该模块的主要功能是将原始图像从红-绿-蓝RGB颜色空间转换到亮度-红色色度-蓝色色度YCrCb颜色空间。在YCrCb颜色空间可以更好的对肤色进行建模，并降低光照变化的影响。

二、特征提取模块，该模块的主要功能是分别提取图像上每一小区域上的区域纹理特征和区域颜色特征，并生成最终用来进行分类的区域特征向量。

三、训练及分类模块，该模块的主要功能是通过人工标记好的大量肤色区域特征和非肤色区域特征对分类器进行训练，得到分类器模型参数。利用训练好的分类器模型对输入图像的每一区域进行分类判断，并输出肤色分割结果。

下面结合图3，详细给出本发明技术方案中所涉及的各个步骤细节问题的说明。

步骤301：将图像从RGB颜色空间转换到YCrCb颜色空间。我们采用如下公式将图像从RGB颜色空间转换到YCrCb颜色空间：

Y＝0.299×R+0.587×G+0.114×B

Cr＝(R-Y)×0.713+128                         (1)

Cb＝(B-Y)×0.564+128

其中，R红色，G绿色，B蓝色；Y表示亮度，Cr红色色度，Cb蓝色色度。

步骤302：可以采用两种形式的区域划分方法，即，规则区域划分法和非规则区域划分法，将图像分割成小的区域，并提取图像中每一小区域的基于协方差矩阵C_R描述子的区域纹理特征。

规则区域划分法，即作为检测对象的每一个区域都是规则的矩形窗口，该窗口从左至右，从上至下依次在图像上滑动，如图1所示。窗口的大小：初始时设较大的窗口为32×32(即2⁵)，同时监测当前窗口内的红色色度Cr、蓝色色度Cb颜色通道标准偏差之和，若超过给定阈值则将较大的窗口细分成一系列16×16(即2⁴)的子窗口，重复这一过程，窗口最小细分至4×4(即2²)。这样既可以加快处理的速度又可以缩小区域边缘锯齿的尺寸获得相对光滑的肤色区域轮廓。在规则的区域上，还可以利用积分图像技术加速在该区域上特征的提取速度。

非规则区域划分法，即作为检测对象的每一个区域都是非规则的区域，我们可以采用任意的图像分割算法来将图像分割为较为单纯的区域或超级像素(SuperPixels)，如图2所示。

在每一个小的区域上，我们计算其纹理：

提取图像的亮度通道I(x，y)，x表示图像横向坐标，y表示图像纵向坐标，并计算其在x，y方向上的一阶、二阶梯度的绝对值，则图像上的每个像素被映射到下面的5维特征空间F(x，y)中，如下式表示：

$F(x,y)={\left[I(x,y)\right|\frac{\∂I(x,y)}{\∂x}\left|\right|\frac{\∂I(x,y)}{\∂y}\left|\right|\frac{{\∂}^{2}I(x,y)}{\∂x^2}\left|\right|\frac{{\∂}^{2}I(x,y)}{\∂y^2}\left|\right]}^T,---\left(2\right)$

在每一个小区域上，我们计算下面的5×5的协方差矩阵C_R：

$C_R=\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(f_i-\mathrm{\μ}){(f_i-\mathrm{\μ})}^T,---\left(3\right)$

其中，n是区域内像素的数量，i是1…n的自然数。f_i是区域内每个像素在公式(2)构成的特征空间中的特征向量，μ是均值向量，T是向量的转置操作符。

由于公式(3)得到的协方差矩阵是黎曼流形空间中的点，不能采用常规的分类器进行分类，为此我们首先采用如下对数映射：

${\log }_X\left(Y\right)=X^{\frac{1}{2}}\log \left(X^{\frac{1}{2}}Y{X}^{\frac{1}{2}}\right)X^{\frac{1}{2}},---\left(4\right)$

式中，X、Y分别为黎曼流形空间中的两个点，公式(4)将点Y从黎曼流形空间映射到在X点处的切空间中，即常规的欧式空间中，这样就可以利用常规的分类器对其进行分类。

切空间中的点是5×5对称矩阵，仅有其中的上三角(或下三角)15个独立的变量。采用下面的向量化方法得到切空间中向量z的正交化特征向量vec_X(z)：

${\mathrm{vec}}_X\left(z\right)={\mathrm{vec}}_I\left(X^{\frac{1}{2}}z{X}^{\frac{1}{2}}\right),---\left(5\right)$

其中I是单位矩阵，在单位矩阵处的向量操作符vec_I(z)定义如下：

${\mathrm{vec}}_I\left(z\right)={[z_{\mathrm{1,1}}\sqrt{2}{z}_{\mathrm{1,2}}\sqrt{2}{z}_{\mathrm{1,3}}...z_{\mathrm{2,2}}\sqrt{2}{z}_{\mathrm{2,3}}...z_{\mathrm{5,5}}]}^T---\left(6\right)$

该向量是15维的正交化特征向量，即该区域的区域纹理特征。

步骤303：分别在红色色度Cr和蓝色色度Cb颜色通道上计算每一小区域内的均值和标准偏差，生成区域颜色特征。采用如下公式计算均值和标准偏差：

均值： $\mathrm{\μ}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{v}_i---\left(7\right)$

标准偏差： $\mathrm{\σ}=\sqrt{\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(v_i-\mathrm{\μ})}^2}---\left(8\right)$

其中，v_i是图像在某一颜色通道上的像素灰度值，n是区域内像素的数量，i是1...n的自然数。分别在Cr和Cb颜色通道上计算每一小区域内的均值和标准偏差得到μ_cr，σ_cr，μ_cb，σ_cb这4维特征作为该区域的区域颜色特征。

步骤304：合并区域纹理特征和区域颜色特征生成区域特征向量，是将步骤303得到的4维区域颜色特征向量放到步骤302得到的15维区域纹理特征向量的后面，从而构成该区域的19维区域特征向量。

步骤305：利用区域特征向量训练分类器模型并进行肤色分割，首先在人工标记好的大量肤色区域和非肤色区域上提取上述19维区域特征向量，并将得到的特征向量集合输入随机森林分类器，对其进行训练，得到模型参数。利用训练好的随机森林分类器模型对输入图像的每一区域进行分类判断，并输出肤色分割结果。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种基于区域的肤色分割方法，其特征在于，该方法包括：

步骤1：将图像从红-绿-蓝颜色空间转换到亮度-红色色度-蓝色色度颜色空间；

步骤2：将图像分割成小的区域，并提取图像中每一小区域的基于协方差描述子的区域纹理特征；

步骤3：分别在红色色度和蓝色色度颜色通道上计算每一小区域内的均值和标准偏差，生成区域颜色特征；

步骤4：合并区域纹理特征和区域颜色特征，生成区域特征向量；

步骤5：利用区域特征向量训练分类器模型并进行肤色分割。

2.根据权利要求1所述的基于区域的肤色分割方法，其特征在于，所述图像分割采用矩形的规则区域分割，或采用不规则的图像区域分割。

3.根据权利要求1所述的基于区域的肤色分割方法，其特征在于，所述区域纹理特征，是由图像的亮度及其在图像横向坐标x，图像纵向坐标y方向上的一阶、二阶梯度的绝对值，所形成的协方差矩阵投影到切空间并向量化后得到的区域纹理特征。

4.根据权利要求1所述的基于区域的肤色分割方法，其特征在于，所述生成区域颜色特征时所用均值和标准偏差的计算如下所述：

均值： $\mathrm{\μ}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{v}_i,$

标准偏差： $\mathrm{\σ}\sqrt{\frac{1}{n-1}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(v_i-\mathrm{\μ})}^2},$

v_i是图像在某一颜色通道上的像素灰度值，n是区域内像素的数量，i是1...n的自然数；分别在红色色度Cr和蓝色色度Cb颜色通道上计算每一小区域内的均值和标准偏差得到μ_cr，σ_cr，μ_cb，σ_cb这4维特征作为该区域的区域颜色特征。

5.根据权利要求1所述的基于区域的肤色分割方法，其特征在于，所述分类器模型选用随机森林分类器。