CN102968623A - 肤色检测系统及方法 - Google Patents

Abstract

本发明公开了一种肤色检测系统及方法，该方法包括如下步骤：利用视频自身的若干帧作为样本视频，对样本视频的第一帧图像进行颜色空间的转换；通过收集样本图片训练出肤色查找表；对该第一帧图像，利用肤色查找表进行肤色粗检测；对粗检测后的初始肤色样本进行EM聚类，建立初始高斯分布模型；利用初始高斯模型对该样本视频的第二帧视频进行肤色分类，得到新的肤色样本；以及对新的肤色样本进行EM聚类，从而更新初始高斯分布模型，以此类推，直至该样本视频的所有帧，本发明可以达到鲁棒性强、检测精度高的目的。

Description

肤色检测系统及方法

技术领域

本发明关于一种肤色检测系统及方法，特别是涉及一种鲁棒性在线肤色检测系统及方法。

背景技术

目前，常见的肤色检测方法一般有如下几种：

1、固定阈值法：由于肤色的聚集性强，在颜色空间中的分布相对集中，用数学表达式明确规定肤色范围是一种简单的肤色建模方法。通常可以采用YCbCr颜色空间，当像素的颜色落入Cr^∈[133，173]和Cb^∈[77，127]限定的矩形区域，就认为是属于肤色像素。

2、参数化方法：具有一个明确的函数形式，能够通过训练数据来获得相应的参数，训练和分类速度较慢，例如利用单高斯模型或者混合高斯模型对肤色进行建模。

3、非参数化方法：通过训练集中的肤色出现频率直接估计每种颜色的肤色概率，构造肤色概率图，为离散化的每一个格子赋予一个概率值，例如查找表和贝叶斯方法。

然而，上述传统的肤色检测方法普遍存在如下问题：1)受背景干扰严重。在理想情况下算法性能较好，但当存在光照条件的改变、运动模糊以及复杂背景时，现有方法误差较大，还必须通过后续的图像处理方法改善，例如腐蚀膨胀、或者条件约束，当为复杂背景或者背景为其它类肤色的物体，比如木头、沙滩、头发等将会被误判为肤色；2)现有的肤色检测算法多为离线学习算法，即通过大量视频作为样本，学习出肤色分类器。将该肤色分类器作为通用分类器，适用于任何一个测试视频，不同内容的视频采用相同的分类标准。然而不同视频由于光照、运动以及人种等等的不同，采用通用的分类标准，难以达到令人满意的精度。

发明内容

为克服上述现有肤色检测方法普遍存在的泛化性能低、难以适应复杂背景的不足，本发明之目的在于提供一种肤色检测系统及方法，以达到鲁棒性强、检测精度高的目的。

为达上述及其它目的，本发明提出一种肤色检测系统，用于对视频进行肤色检测，至少包括：

肤色粗查找模组，利用该视频自身的若干帧作为样本，对样本视频的第一帧图形进行颜色空间的转换，并通过收集样本图片训练出肤色查找表，对该第一帧图像，利用该肤色查找表进行肤色的粗检测，获得初始肤色样本；以及

肤色精检测模组，对该初始肤色样本进行EM聚类，建立初始高斯分布模型，再利用该初始高斯模型对该样本视频的第二帧视频进行肤色分类，得到新的肤色样本，对新的肤色样本进行EM聚类，从而更新初始高斯分布模型，以此类推，直至该样本视频的所有帧。

进一步地，该肤色粗查找模组包括：

空间转换模组，用于将该样本视频的第一帧图像从RGB空间转化为HSV空间；

肤色查找表建立模组，收集样本图片，并手工标注图片中肤色区域，在HSV空间下，首先去除V分量，再利用贝叶斯方法训练出二维查找表；以及

粗检测模组，对该第一帧图像，在检测过程中利用肤色查找表直接查找相应参数，实现肤色的粗检测。

进一步地，该样本图片为利用互联网、视频、图片库资源收集获得的1027幅样本图片。

进一步地，该肤色精检测模组包括：

初始高斯肤色模型建立模组，利用该肤色粗检测模组粗检测后的初始肤色样本进行EM聚类，建立初始高斯分布模型；

肤色检测模组，利用该初始高斯肤色模型对该样本视频的下一帧图像进行肤色检测，得到新的肤色区域；

模型更新模组，以该肤色区域为更新的肤色样本，再去进行EM聚类，更新高斯肤色模型，以此类推，直至样本视频的所有帧。

进一步地，该系统利用视频自身前50帧作为样本视频。

进一步地，该EM聚类第一步是E步骤，即计算期望，利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是M步骤，最大化在E步骤上求得的最大似然值来计算参数的值，M步骤上找到的参数估计值被用于下一个E步骤计算中，这个过程不断交替进行，直到收敛为止。

为达到上述及其他目的，本发明还提供一种肤色检测方法，用于对视频进行肤色检测，包括如下步骤：

步骤一，利用视频自身的若干帧作为样本视频，对样本视频的第一帧图像进行颜色空间的转换；

步骤二，通过收集样本图片训练出肤色查找表；

步骤三，对该第一帧图像，利用肤色查找表进行肤色粗检测，获得初始肤色样本；

步骤四，对粗检测后的初始肤色样本进行EM聚类，建立初始高斯分布模型；

步骤五，利用初始高斯模型对该样本视频的第二帧视频进行肤色分类，得到新的肤色样本；以及

步骤六，对新的肤色样本进行EM聚类，从而更新初始高斯分布模型，以此类推，直至该样本视频的所有帧。

进一步地，于步骤一中，将样本视频的第一帧图像从RGB空间转化为HSV空间。

进一步地，于步骤二中，t通过收集样本图片，并手工标注图片中肤色区域，在HSV空间下，首先去除V分量，再利用贝叶斯方法训练出二维查找表。

进一步地，该EM聚类第一步是E步骤，即计算期望，利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是M步骤，最大化在E步骤上求得的最大似然值来计算参数的值，M步骤上找到的参数估计值被用于下一个E步骤计算中，这个过程不断交替进行，直到收敛为止。

与现有技术相比，本发明一种肤色检测系统及方法采用在线肤色分类，对不同的视频，以自身的视频帧为学习样本，学习出自身的肤色分类器，克服了视频受光照、人种以及复杂背景的影响，同时本发明采用增量式的EM聚类，样本不断更新，修正肤色高斯模型，提高了检测速度。

附图说明

图1为本发明一种肤色检测系统的系统架构图；

图2为本发明一种肤色检测方法的步骤流程图；

图3为本发明一种肤色检测方法之较佳实施例的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种肤色检测系统的系统架构图。如图1所示，本发明一种肤色检测系统，至少包括：肤色粗查找模组10及肤色精检测模组11。

其中肤色粗查找模组10利用视频自身若干帧作为样本，对样本视频的第一帧图像进行颜色空间的转换，并通过收集样本图片训练出肤色查找表，对样本视频的第一帧图像，利用肤色查找表进行肤色的粗检测。具体来说，肤色粗查找模组10包括空间转换模组101、肤色查找表建立模组102以及粗检测模组103，空间转换模组101用于将样本视频的第一帧图像从RGB空间转化为HSV空间，由于原始RGB空间未能将亮度与色度分开，R、G、B三者具有较强的关联性，当亮度改变时会对三个分量都产生影响，因此不适合在该空间下进行肤色检测，为了达到良好的检测效果，本发明采用HSV空间，因此空间转换模组101会将RGB空间转化为HSV空间，由于RGB空间转化为HSV空间为现有技术，在此则不予赘述。肤色查找表建立模组102通过收集样本图片，并手工标注图片中肤色区域，在HSV空间下，首先去除V分量，再利用贝叶斯方法训练出二维查找表，在本发明较佳实施例中，肤色查找表建立模组102利用互联网、视频、图片库等资源收集样本图片1027幅。粗检测模组103对样本视频的第一帧图像，在运动区域，在检测过程中利用肤色查找表直接查找相应参数，实现肤色的粗检测，在本发明中，肤色查找表是一种非参数的肤色检测方法，通过增加存储空间来减少计算时间，在检测过程中直接查找相应参数，无需重复计算，这样可以提高检测速度。

肤色精检测模组11对肤色粗检测模组11粗检测后的初始肤色样本进行EM聚类，建立初始高斯分布模型，再利用初始高斯模型对第二帧视频进行肤色分类，得到新的肤色样本，对新的肤色样本进行EM聚类，从而更新初始高斯分布模型，以此类推，直至样本视频的所有帧，在本发明较佳实施例中，利用视频自身的前50帧作为样本。具体来说，肤色精检测模组11进一步包括：初始高斯肤色模型建立模组110、肤色检测模组111以及模型更新模组112，

初始高斯肤色模型建立模组110利用肤色粗检测模组11粗检测后的初始肤色样本进行EM聚类，建立初始高斯分布模型。假设肤色粗查找后的区域集合包含两类高斯分布，即肤色分布以及非肤色分布，然后通过最大似然估计，确定各个分布的参数。假设观测样本X＝{x_k}，k∈[1，N]，由包含m＝2个有限混合分布模型构成：

$P\left(X\right|\mathrm{\φ})={\mathrm{\Σ}}_{i=1}^m{\mathrm{\π}}_i{P}_i\left(X\right|{\mathrm{\θ}}_i)---\left(1\right)$

P_i(X|θ_i)为概率密度，π_i是混合分布模型中第i个分布的先验概率，并且满足： ${\mathrm{\Σ}}_{i=1}^m={\mathrm{\π}}_i=1.$

φ＝{π_i，μ_i，∑_i}为第i个分布的参数集合；其中μ_i表示均值，∑_i表示协方差矩阵。

第一步是计算期望(E步骤)，利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化(M步骤)，最大化在E步骤上求得的最大似然值来计算参数的值。M步骤上找到的参数估计值被用于下一个E步骤计算中，这个过程不断交替进行，直到收敛为止。

具体过程如下：

1)随机初始化待估参数：φ⁽⁰⁾＝{π_i，μ_i，∑_i}，i＝1...m。其中协方差矩阵为单位矩阵，先验概率π_i＝1/m；均值μ_i随机初始化。

2)重复E步骤以及M步骤。

E步骤：在观察样本和当前解给定的条件下，计算完全数据的对数似然函数期望值。

$E_{\mathrm{ij}}=\frac{{\mathrm{\π}}_i{P}_j(x_{\mathrm{ji}}{u}_i,{\mathrm{\Σ}}_i)}{{\mathrm{\Σ}}_{i=1}^m{\mathrm{\π}}_i{P}_j(x_{\mathrm{ji}}{u}_i,{\mathrm{\Σ}}_i)}---\left(2\right)$

每一个样本以不同概率属于各个高斯分布，概率值由参数计算得到。E_ij表示第j个样本属于第i类分布的概率。

M步骤：重新估计分布参数，以使得数据的似然性最大，给出未知变量的期望估计。

$u_i^{,}=\frac{{\mathrm{\Σ}}_{j=1}^N{E}_{\mathrm{ij}}{x}_j}{{\mathrm{\Σ}}_{j=1}^N{E}_{\mathrm{ij}}}---\left(3\right)$

${\mathrm{\Σ}}_i^{,}=\frac{{\mathrm{\Σ}}_{j=1}^N{E}_{\mathrm{ij}}(x_j-u_i){(x_j-u_i)}^T}{{\mathrm{\Σ}}_{j=1}^N{E}_{\mathrm{ij}}}---\left(4\right)$

${\mathrm{\π}}_i^{,}=\frac{{\mathrm{\Σ}}_{j=1}^N{E}_{\mathrm{ij}}}{N}---\left(5\right)$

θ^*＝arg max E_ij    (6)

不断迭代E步骤以及M步骤，通过公式(3)～(5)重复计算参数，直到参数收敛为止。此时求得的参数θ^*确定了各个成分的分布。

肤色检测模组111利用初始高斯肤色模型对下一帧图像进行肤色检测，得到新的肤色区域。模型更新模组112则以该肤色区域为更新的肤色样本，再去进行EM聚类，更新高斯肤色模型，以此类推，直至样本视频的所有帧。

图2为本发明一种肤色检测方法的步骤流程图。如图2所示，本发明一种肤色检测方法，包括如下步骤：

步骤201，利用视频自身若干帧作为样本视频，对样本视频的第一帧图像进行颜色空间的转换，在本发明较佳实施例中，将样本视频的第一帧图像从RGB空间转化为HSV空间；

步骤202，通过收集样本图片训练出肤色查找表，在本发明较佳实施例中，通过收集样本图片，并手工标注图片中肤色区域，在HSV空间下，首先去除V分量，再利用贝叶斯方法训练出二维查找表；

步骤203，对样本视频的第一帧图像，利用肤色查找表进行肤色粗检测，获得初始肤色样本；

步骤204，对粗检测后的初始肤色样本进行EM聚类，建立初始高斯分布模型；

步骤205，利用初始高斯模型对第二帧视频进行肤色分类，得到新的肤色样本；

步骤206，对新的肤色样本进行EM聚类，从而更新初始高斯分布模型，以此类推，直至样本视频的所有帧。

图3为本发明一种肤色检测方法之较佳实施例的步骤流程图，以下将配合图3对本发明之肤色检测方法进一步说明。

步骤1，初始化，i＝1，采集第一帧图像在内存。将RGB转换为HSV空间，利用查找表，进行肤色粗检测，得到粗检肤色区域(即初始肤色样本)。

步骤2，对粗检肤色区域进行EM聚类，得到高斯肤色模型。

步骤3，i＝i+1；判断i是否满足i＜50；若满足转至步骤4；否则转至步骤5。

步骤4，利用现有高斯肤色模型对第i帧进行肤色检测，得到肤色区域，即肤色样本。转至步骤2。

步骤5，结束，得到最终肤色模型。

一个实用的肤色检测系统必须能够处理由于成像条件变化引起的肤色变化。不同的视频由于拍摄条件、拍摄内容等的不同，如果采用通用的肤色分类器，分类效果很难满足各个视频的要求。本发明针对不同的视频，利用视频自身前50帧作为样本，在线学习出该视频的肤色分类器，从而满足精度要求。

传统的EM算法，需要收集所有的样本后再进行聚类，这样由于前50帧的样本数量大，会使得在第50帧时，学习时间长，用户会感觉到明显的停顿等待。因此本发明使用增量式的EM聚类。首先利用查找表方法对第一帧进行肤色检测，得到初始的肤色样本，对该样本进行EM聚类，建立初始高斯分布模型；再利用初始高斯模型对第二帧视频进行肤色分类，得到新的肤色样本，对新的肤色样本进行EM聚类，从而更新初始高斯分布模型。以此类推，直至第50帧。这样既满足了实时性要求，又达到了精度要求。

综上所述，本发明一种肤色检测系统及方法采用在线肤色分类，对不同的视频，以自身的视频帧为学习样本，学习出自身的肤色分类器，克服了视频受光照、人种以及复杂背景的影响，同时本发明采用增量式的EM聚类，样本不断更新，修正肤色高斯模型，提高了检测速度。与现有技术相比，本发明具有如下优点：

(1)克服了传统肤色检测算法鲁棒性差的问题，对复杂背景以及类肤色背景有较好的分类性。

(2)识别速度快、能够满足实时要求。

(3)不同的视频内容采用不同的肤色分类标准，精度高，具有很好的推广应用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种肤色检测系统，用于对视频进行肤色检测，至少包括：

肤色粗查找模组，利用该视频自身的若干帧作为样本，对样本视频的第一帧图形进行颜色空间的转换，并通过收集样本图片训练出肤色查找表，对该第一帧图像，利用该肤色查找表进行肤色的粗检测，获得初始肤色样本；以及

肤色精检测模组，对该初始肤色样本进行EM聚类，建立初始高斯分布模型，再利用该初始高斯模型对该样本视频的第二帧视频进行肤色分类，得到新的肤色样本，对新的肤色样本进行EM聚类，从而更新初始高斯分布模型，以此类推，直至该样本视频的所有帧。

2.如权利要求1所述的肤色检测系统，其特征在于，该肤色粗查找模组包括：

空间转换模组，用于将该样本视频的第一帧图像从RGB空间转化为HSV空间；

肤色查找表建立模组，收集样本图片，并手工标注图片中肤色区域，在HSV空间下，首先去除V分量，再利用贝叶斯方法训练出二维查找表；以及

粗检测模组，对该第一帧图像，在检测过程中利用肤色查找表直接查找相应参数，实现肤色的粗检测。

3.如权利要求2所述的肤色检测系统，其特征在于：该样本图片为利用互联网、视频、图片库资源收集获得的1027幅样本图片。

4.如权利要求2所述的肤色检测系统，其特征在于，该肤色精检测模组包括：

初始高斯肤色模型建立模组，利用该肤色粗检测模组粗检测后的初始肤色样本进行EM聚类，建立初始高斯分布模型；

肤色检测模组，利用该初始高斯肤色模型对该样本视频的下一帧图像进行肤色检测，得到新的肤色区域；

模型更新模组，以该肤色区域为更新的肤色样本，再去进行EM聚类，更新高斯肤色模型，以此类推，直至样本视频的所有帧。

5.如权利要求4所述的肤色检测系统，其特征在于：该系统利用视频自身前50帧作为样本视频。

6.如权利要求4所述的肤色检测系统，其特征在于：该EM聚类第一步是E步骤，即计算期望，利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是M步骤，最大化在E步骤上求得的最大似然值来计算参数的值，M步骤上找到的参数估计值被用于下一个E步骤计算中，这个过程不断交替进行，直到收敛为止。

7.一种肤色检测方法，用于对视频进行肤色检测，包括如下步骤：

步骤一，利用视频自身的若干帧作为样本视频，对样本视频的第一帧图像进行颜色空间的转换；

步骤二，通过收集样本图片训练出肤色查找表；

步骤三，对该第一帧图像，利用肤色查找表进行肤色粗检测，获得初始肤色样本；

步骤四，对粗检测后的初始肤色样本进行EM聚类，建立初始高斯分布模型；

步骤五，利用初始高斯模型对该样本视频的第二帧视频进行肤色分类，得到新的肤色样本；以及

步骤六，对新的肤色样本进行EM聚类，从而更新初始高斯分布模型，以此类推，直至该样本视频的所有帧。

8.如权利要求7所述的一种肤色检测方法，其特征在于：于步骤一中，将样本视频的第一帧图像从RGB空间转化为HSV空间。

9.如权利要求8所述的一种肤色检测方法，其特征在于：于步骤二中，t通过收集样本图片，并手工标注图片中肤色区域，在HSV空间下，首先去除V分量，再利用贝叶斯方法训练出二维查找表。

10.如权利要求8所述的一种肤色检测方法，其特征在于：该EM聚类第一步是E步骤，即计算期望，利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是M步骤，最大化在E步骤上求得的最大似然值来计算参数的值，M步骤上找到的参数估计值被用于下一个E步骤计算中，这个过程不断交替进行，直到收敛为止。

Images