CN104598914A - 一种肤色检测的方法及装置 - Google Patents

Abstract

一种肤色检测的方法及装置，所述方法包括：建立肤色模板；通过核函数对所述肤色模板进行加权处理，以获得联合模板；基于所述联合模板进行肤色检测。本发明技术方案可以有效加大检测区域中肤色信息的影响，可以减小所述检测区域中非肤色信息的影响，使得可以明显区分所述检测区域中肤色的分布区域和其它颜色的分布区域，即使在复杂背景中，也可以准确确定肤色的分布区域、进而有效的对肤色进行检测。

Description

一种肤色检测的方法及装置

技术领域

本发明涉及肤色检测技术领域，尤其涉及一种肤色检测的方法及装置。

背景技术

在彩色图像中，由于肤色信息不受人体姿态、面部表情等的影响，具有相对的稳定性，且由于肤色与大多数背景物体的颜色有比较明显的区别，使得肤色检测技术在检测、手势分析、目标跟踪和图像检索中都有着广泛的应用，人体肤色检测的目标是从图像中自动定位出人体裸露的皮肤区域，例如从图像中检测出人的脸部、手部等区域。

现有技术中，对肤色区域进行检测的过程中，通常是基于单高斯模型法、混合高斯模型法、椭圆肤色模型法等方法实现的。所述单高斯模型法是假设肤色分布服从单峰高斯分布，通过统计分析、预测高斯分布的参数，基于所述参数建立模型，利用模型来判断新的像素或区域是否为肤色。但由于具有不同种族的肤色分布并不完全满足单峰高斯分布，因此提出了所述混合高斯模型法，所述混合高斯模型法采用多峰的高斯分布模型确定图像的像素或区域是否为肤色。由于通常情况下，肤色信息在转换到YCbCr空间中时，其在CbCr坐标系下是位于一个类似椭圆集簇的范围之内，所以也可以基于肤色信息所确定的椭圆肤色模型对人的肤色进行检测。现有技术中还有其它用于肤色检测的方法，例如基于区域模型的检测方法，基于直方图模型的检测方法等等。

但现有技术在肤色检测的过程中，可能会出现无法对肤色区域和非肤色区域进行准确划分的问题，可能会导致肤色检测结果不准确的问题，且肤色检测受复杂背景、光照条件、姿态变化等影响较大。

相关技术可参考公开号为US2005031173A1的美国专利申请。

发明内容

本发明解决的问题是无法对肤色区域和非肤色区域进行准确划分而导致肤色检测结果不准确的问题。

为解决上述问题，本发明技术方案提供一种肤色检测的方法，所述方法包括：

建立肤色模板；

通过核函数对所述肤色模板进行加权处理，以获得联合模板；

基于所述联合模板进行肤色检测。

可选的，在建立肤色模板之前，对用于建立肤色模板的图像进行校正。

可选的，所述对用于建立肤色模板的图像进行校正的过程包括：

通过公式获取校正参数M(top)，其中，m为像素点的灰度值，L为灰度阈值，f(m)为图像中灰度值为m的像素点的个数，所述灰度阈值是由图像中亮度值大于亮度阈值的像素点的个数占图像总像素点个数的比例确定的；

对图像中的每一个像素点，通过公式获取校正后的该像素点的颜色值Y(new)，其中，Y(old)是校正前的该像素点的颜色值。

可选的，所述基于所述联合模板进行肤色检测的过程包括：

获取跟踪窗口所含有的特征点；

基于所述联合模板对所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作；

在对所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作后，基于稀疏光流算法对所述跟踪窗口所含有的特征点进行跟踪，基于跟踪结果对肤色进行检测。

可选的，对所述跟踪窗口所含有的特征点进行筛选的过程包括：

从跟踪窗口所含有的特征点中选择一个特征点，如果所选择的特征点对应在联合模板的数值大于模板阈值，则保留当前所选择的特征点。

可选的，对所述跟踪窗口所含有的特征点进行补充的过程包括：

从跟踪窗口中选择一个像素点，如果所述像素点距离跟踪窗口所含有的特征点的距离大于距离阈值且所述像素点对应在联合模板上的数值大于模板阈值时，则将所述像素点补充为跟踪窗口所含有的特征点，所述距离阈值是基于联合模板的大小所确定的，所述模板阈值是基于联合模板的数值确定的。

可选的，所述方法还包括：在对所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作之后，基于稀疏光流算法对肤色进行检测之前，对所述特征点进行光照补偿。

可选的，所述对所述特征点进行光照补偿包括：

基于公式J_n=λ×J+δ对所述跟踪窗口所含有的特征点进行光照补偿，其中，λ是所述特征点的亮度的增益系数，δ是所述特征点的亮度的偏置系数，J为所述特征点补偿前的亮度值，J_n为所述特征点补偿后的亮度值。

可选的，所述获取跟踪窗口所含有的特征点的过程包括：

通过下述公式获取图像的跟踪窗口内的所有像素点的自相关矩阵：

$M(x,y)=\left[\begin{array}{cc}\underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x^2& \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x{I}_y\\ \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x{I}_y& \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_y^2\end{array}\right],$ 其中，M(x,y)表示坐标为(x,y)的像素点的自相关矩阵，i，j为跟踪窗口内的像素点分别在X方向和Y方向上的索引值，w(i,j)为在X方向上的索引值为i、在Y方向上的索引值为j处的像素点的权重值，K为所述跟踪窗口的二分之一宽度值，I_x和I_y分别是X方向索引值为i、在Y方向上的索引值为j处的像素点在X方向上偏导数值和在Y方向上的偏导数值；

基于所述像素点的自相关矩阵，获取所述像素点的自相关矩阵的最大特征值和最小特征值；

当λ(min)>A×λ(max)时，确定所述像素点为跟踪窗口所含有的特征点；或者，当λ(min)>A×λ(max)时，且所述像素点距离其它已确定的特征点的距离大于距离阈值时，确定所述像素点为跟踪窗口所含有的特征点；其中λ(max)为所述像素点的自相关矩阵的最大特征值，λ(min)为所述像素点的自相关矩阵的最小特征值，A为特征阈值。

可选的，所述特征阈值的取值为0.001～0.01。

可选的，基于联合模板的大小确定所述距离阈值。

可选的，所述方法还包括：在基于所述联合模板进行肤色检测后，基于所述肤色检测结果对用户的手势进行识别。

可选的，所述通过核函数对所述肤色模板进行加权处理，以获得联合模板的过程包括：

通过公式 $\mathrm{KM}(i,j)=1-\frac{{(i-\frac{a}{2})}^2+{(j-\frac{b}{2})}^2}{{\left(\frac{a}{2}\right)}^2+{\left(\frac{b}{2}\right)}^2}$ 获得加权模板KM，其中，i，j分别为加权模板内像素点在X方向上、Y方向上的索引值，a，b分别为核函数在X方向、Y方向上的窗宽；

通过公式对肤色模板进行加权，以获得联合模板，其中JM为联合模板，SM为肤色模板，KM为加权模板，表示对SM和KM中相同位置的值进行乘积运算。

可选的，所述建立肤色模板包括基于椭圆肤色模型或者高斯肤色模型中的任意一种模型建立肤色模板。

可选的，所述核函数包括Epanechnikov核函数和高斯核函数中的任意一种。

本发明技术方案还提供一种肤色检测的装置，所述装置包括：

建立单元，适于建立肤色模板；

联合模板获得单元，适于通过核函数对所述肤色模板进行加权处理，以获得联合模板；

检测单元，适于基于所述联合模板进行肤色检测。

可选的，所述装置还包括：校正单元，适于在建立肤色模板之前，对用于建立肤色模板的图像进行校正。

可选的，所述检测单元包括：

获取子单元，适于获取跟踪窗口所含有的特征点；

操作子单元，适于基于所述联合模板对所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作；

检测子单元，适于在对所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作后，基于稀疏光流算法对所述跟踪窗口所含有的特征点进行跟踪，基于跟踪结果对肤色进行检测。

可选的，所述操作子单元包括：筛选子单元和补充子单元中的至少一种单元，所述筛选子单元适于从跟踪窗口所含有的特征点中选择一个特征点，如果所选择的特征点对应在联合模板的数值大于模板阈值，则保留当前所选择的特征点；所述补充子单元适于从跟踪窗口中选择一个像素点，如果所述像素点距离跟踪窗口所含有的特征点的距离大于距离阈值且所述像素点对应在联合模板上的数值大于模板阈值时，则将所述像素点补充为跟踪窗口所含有的特征点，所述距离阈值是基于联合模板的大小所确定的。

可选的，所述装置还包括：补偿子单元，适于在对所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作之后，基于稀疏光流算法对肤色进行检测之前，基于公式J_n=λ×J+δ对所述跟踪窗口所含有的特征点进行光照补偿，其中，λ是所述特征点的亮度的增益系数，δ是所述特征点的亮度的偏置系数，J为所述特征点补偿前的亮度值，J_n为所述特征点补偿后的亮度值。

可选的，所述装置还包括：识别单元，适于在检测单元基于所述联合模板进行肤色检测后，基于所述肤色检测结果对用户的手势进行识别。

与现有技术相比，本发明的技术方案具有以下优点：

基于采集的图像建立肤色模板，通过核函数对所述肤色模板进行加权处理的方法获得联合模板，进而基于所述联合模板进行肤色检测。在此方法中，通过核函数对所述肤色模板进行加权处理的方法可以有效加大检测区域中肤色信息的影响，可以减小所述检测区域中非肤色信息的影响，使得可以明显区分所述检测区域中肤色的分布区域和其它颜色的分布区域，即使在复杂背景中，也可以准确确定肤色的分布区域、进而有效的对肤色进行检测。

在建立肤色模板之前，对图像进行校正，在校正的过程中将图像中比较亮的部分像素的亮度值作为参考色，将整个图像的亮度值均按着参考色的标准进行调整，可以有效消除色度空间中亮度因素对图像的影响，使得图像有效应对光照变化，减少光照变化对肤色检测结果的影响。

通过对跟踪窗口所含有的特征点进行筛选和/或补充的操作，可以实时对跟踪窗口所含有的特征点进行调整，可以提高特征点的准确性，提高肤色检测的准确性。

在基于光流算法进行肤色检测之前，通过光照补偿的方法，可以有效地对不同光照条件下的图像进行调整，提高不同光照条件下肤色识别的精度和稳定性。

附图说明

图1是本发明技术方案提供的肤色检测的方法的流程示意图；

图2是本发明实施例一提供的肤色检测的方法的流程示意图；

图3是本发明实施例二提供的肤色检测的方法的流程示意图；

图4是本发明实施例三提供的肤色检测的方法的流程示意图；

图5是本发明实施例四提供的肤色检测的方法的流程示意图。

具体实施方式

现有技术中，对肤色进行检测的过程中，可以基于一种肤色模型建立一个肤色模板，进而基于所述模板对待检测的图像进行肤色检测，例如，可以基于单高斯模型、混合高斯模型、椭圆肤色模型等实现对于图像的肤色检测，但这些检测方法中可能存在当图像中的背景比较复杂，或者由于光照变化等的影响，使得基于上述模型的肤色检测，无法准确区分所述检测区域中肤色的分布区域和其它颜色的分布区域，不能对肤色进行准确检测。

为了解决上述问题，本发明技术方案提供一种肤色检测方法，在该方法中，为了可以准确区分检测区域中的肤色区域和非肤色区域，在基于肤色模型建立相应的模板后，通过核函数对所述肤色模板中的肤色信息进行加权，以有效加大检测区域中肤色信息的影响，进而可以在背景中准确区分出肤色信息。

图1是本发明技术方案提供的肤色检测的方法的流程示意图，如图1所示，执行步骤S101，建立肤色模板。

在对肤色进行检测时，可以通过一些肤色模型建立相应的肤色模板。现有技术中，用于肤色检测的模型有单高斯模型法、混合高斯模型法、椭圆肤色模型法等，基于这些肤色检测的模型可以建立相应的肤色模板。

执行步骤S102，通过核函数对所述肤色模板进行加权处理，以获得联合模板。

通过核函数对所述肤色模板中的肤色信息进行加权，所述核函数可以为高斯核函数、叶帕涅奇尼科夫核函数（Epanechnikov Kernel）等，通过所述加权获得用于肤色检测的联合模板。

执行步骤S103，基于所述联合模板进行肤色检测。

基于上述通过核函数加权处理后的模板对采集的图像中的肤色区域进行检测。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图和实施例对本发明技术方案做进一步的说明。

实施例一

在本实施例中，通过椭圆肤色模型建立肤色模板，之后通过EpanechnikovKernel核函数对所述肤色模板进行加权以获得联合模板，基于所述联合模板对采集的图像进行肤色检测。在本实施例中，以对手部图像的检测为例进行说明。

图2是本发明实施例一提供的肤色检测的方法的流程示意图，如图2所示，首先执行步骤S201，基于椭圆肤色模型建立肤色模板。

针对所采集的图像的尺寸，确定相应的跟踪窗口的大小，所述跟踪窗口的大小可以通过本领域技术人员所知晓的运动检测、背景移除、基于训练模型的肤色检测等多种方法获得，所述跟踪窗口内含有用于检测的肤色目标物体，例如，在本实施例中，所述跟踪窗口内应该含有手部图像。

在确定跟踪窗口后，基于所述跟踪窗口的尺寸，通过所述椭圆肤色模型可以建立相应的肤色模板，所述椭圆肤色模型是本领域技术人员常用的一种肤色模型，例如有基于训练得到的椭圆模型、自适应的椭圆模型等等。

执行步骤S202，通过Epanechnikov Kernel核函数对所述肤色模板进行加权获得联合模板。

在通过步骤S201创建相应的肤色模板之后，则可以通过EpanechnikovKernel核函数对跟踪窗口范围内的所述述肤色模板进行加权。通常，所述跟踪窗口的大小和所述肤色模板的大小是相同的，所跟踪的肤色目标，例如人手应该位于所述跟踪窗口的中心位置，通过对所述肤色模板的加权，可以使得位于模板中心的肤色信息的权值更大，则基于所述肤色模板进行跟踪的时候，可以保证跟踪窗口的中心位置处具有更大的权值。

在通过Epanechnikov Kernel核函数对所述肤色模板进行加权处理的过程中，首先基于Epanechnikov Kernel核函数获得加权模板，所述加权模板的大小和所述肤色模板的大小相同。所述加权模板可以通过公式（1）获得，

$\mathrm{KM}(i,j)=1-\frac{{(i-\frac{a}{2})}^2+{(j-\frac{b}{2})}^2}{{\left(\frac{a}{2}\right)}^2+{\left(\frac{b}{2}\right)}^2}---\left(1\right)$

其中，i，j分别为加权模板内像素点在X方向上、Y方向上的索引值，a，b分别为核函数在X方向、Y方向上的窗宽，在此处，所述a，b也可以理解为肤色模板在X方向、Y方向上的长度值。

在由公式（1）获得和肤色模板大小相同的加权模板KM之后，就可以通过公式（2）对所述肤色模板中的每个像素的值进行加权，所述每个像素的值为根据椭圆肤色模型所得到的该像素为肤色的概率分布值，即该像素对应在跟踪窗口内的像素为肤色的概率值。

$\mathrm{JM}=\mathrm{SM}\⊗\mathrm{KM}---\left(2\right)$

其中SM为肤色模板，KM为加权模板，JM为通过KM对所述肤色模板SM进行加权处理后得到的联合模板，表示对SM和KM中相同位置的值进行乘积运算，所述相同位置是指对应在SM和KM的在X方向上、Y方向上具有相同的索引值的像素点，将相同位置的SM和KM中的像素点的值进行相乘运算，将运算结果作为联合模板中对应在此位置处的像素的值。

结合公式（1）和公式（2）可以得到所述肤色模板经过加权处理后的联合模板，之后可以基于所述联合模板对肤色区域进行检测。

执行步骤S203，采集用于肤色检测的图像。

通过摄像装置，采集用于进行肤色检测的图像。

执行步骤S204，基于所述联合模板进行肤色检测。

通过判断图像的跟踪窗口内的像素点的数值与所述联合模板中所确定的相应位置的像素点的数值的关系来确定当前像素点是不是肤色区域中的像素点。由于椭圆肤色模型可以在CbCr坐标系下确定一个椭圆区域，肤色模板中每个像素的值为根据椭圆肤色模型所得到的该像素为肤色的概率分布值，而联合模板是对肤色模板进行加权而得到的，所以通过判断跟踪窗口内的像素点对应在联合模板上的数值的大小即可以判断该像素为肤色的可能性大小，进而可以确定当前像素点是否属于肤色点。

在进行肤色检测后，则可以基于所述肤色检测结果对用户的手势等进行识别。

在肤色检测的过程中，为了便于对用户的手势进行识别，可以采集单帧或者连续帧图像，所述图像均应该包含有手部的图像。通过上述肤色检测的方法对所述图像进行肤色检测，则针对于每一帧图像都会有一个相应的肤色检测结果，所述肤色检测结果为对应于用户手部的一个肤色区域，在得到所述肤色区域后，则可以采用现有技术中多种方法对手势进行识别，例如可以结合现有技术中已有的相关的手势识别模板对所述肤色区域中的手势进行识别，也可以在获得连续帧图像的肤色区域后，基于所述连续帧图像的肤色区域的变化信息进而确定用户的手势，基于肤色区域信息对用户的手势进行识别的方法在此不作限定。

在本实施例中，通过核函数对所述肤色模板进行加权处理的方法获得联合模板，进而基于所述联合模板进行肤色检测的方法，可以有效加大检测区域中肤色信息的影响，可以减小所述检测区域中非肤色信息的影响，使得可以明显区分所述检测区域中肤色的分布区域和其它颜色的分布区域，即使在复杂背景中，也可以准确确定肤色的分布区域、进而有效的对肤色进行检测。

实施例二

在肤色检测中常见的色彩空间可以为RGB空间、HSV空间以及YCrCb空间等，这些空间之间是可以相互转换的，当肤色等色彩信息受到光照、图像采集设备的性能等的影响，可能会出现色彩偏离实际色彩的情况，比如拍摄的图像太暗、色彩偏向于某一种色彩等情况出现，因此在进行肤色建模前，通常会对用于建立肤色模板的图像的进行校正。

在本实施例中，在采集到图像，建立肤色模板之前，对图像进行校正，在校正的过程中将图像中比较亮的部分像素的亮度值作为参考色，将整个图像的亮度值均按着参考色的标准进行调整。

图3是本发明实施例二提供的肤色检测的方法的流程示意图，如图3所示，首先执行步骤S301，对所采集的图像进行校正。

在校正的过程中，通常可以从图像中选取亮度值相对比较大的一部分像素点，比如从图像的像素点中，按照亮度值从高到低的顺序，从中选择一定比例的像素点，例如选取5%～15%的像素点用于图像的校正，其中所选取出的像素点的数目应该足够多，以便用于后续的肤色检测。举例来说，在本实施例中，可以按照从高到低的顺序选取所述所有像素点中的前5%的像素点用于图像校正，即可以将所述5%的像素点的亮度的均值作为“参考白色”，如果所采集的图像是RGB空间的图像，可以既将5%的像素点的R、G、B分量均调整为255，按照5%的像素点的R、G、B的变化尺度对图像的其它像素点的R、G、B值进行相应的调整。

可以通过公式（3）获取参考白色的灰度值。

$M\left(\mathrm{top}\right)=\frac{\underset{m=L}{\overset{255}{\mathrm{\Σ}}}m\×f\left(m\right)}{\underset{m=L}{\overset{255}{\mathrm{\Σ}}}f\left(m\right)}---\left(3\right)$

其中，M(top)为校正参数，m为像素点的灰度值，m的取值范围为[L，255]，L为灰度阈值，f(m)为图像中灰度值为m的像素点的个数。

所述灰度阈值是由图像中亮度值大于亮度阈值的像素点的个数占图像总像素点个数的比例确定的。

如上所述，当按照从高到低的顺序选取所述所有像素点中的前5%的像素点时，即可确定这5%的像素点所对应亮度值中的最低值，以所述亮度值的最低值作为亮度阈值，由于图像的亮度级别即可以对应图像灰度值，所以由此亮度阈值可以相应确定所述灰度阈值。

基于公式（3）计算得到的校正参数M（top），通过公式（4）对图像中的每一个像素点，获取校正后的该像素点的颜色值Y(new)，其中，Y(old)是校正前的该像素点的颜色值。

$Y\left(\mathrm{new}\right)=\left(\frac{Y\left(\mathrm{old}\right)}{M\left(\mathrm{top}\right)}\right)\×255---\left(4\right)$

在对所采集的图像通过公式（3）和公式（4）进行校正之后，执行步骤S302，将校正后的图像转换到YCbCr空间。

由于在YCbCr空间中，Y表示亮度，Cb和Cr是颜色差别信号，代表色度，而在不同的光照条件下，虽然物体的颜色的亮度会产生很大的差异，但是色度在很大范围内具有稳定性，基本保持不变，而且，现有技术中，也有相关的研究结果表明，人类的肤色在YCbCr空间中的分布相对比较集中，即肤色的聚类特性，不同种族之间的颜色的差异主要是由亮度引起，而与颜色属性无关，所以利用此特性，可以将图像像素分为肤色和非肤色像素，所以在本实施例中，为了可以提高人力检测的准确性，将图像从普遍采用的RGB空间转换到YCbCr空间中。

图像从RGB空间转换到YCbCr空间可以采用现有技术中的多种方法进行转换，在此不作限定。

执行步骤S303，基于椭圆肤色模型建立肤色模板。

在对上述图像进行校正处理后，则可以建立相应的肤色模板，具体请参考实施例一步骤S201。

执行步骤S304，通过Epanechnikov Kernel核函数对所述肤色模板进行加权获得联合模板。请参考实施例一步骤S202。

执行步骤S305，采集用于肤色检测的图像。

通过摄像装置，采集用于进行肤色检测的图像。

执行步骤S306，基于所述联合模板进行肤色检测。

步骤S306请参考实施例一步骤S204。

在进行肤色检测后，则可以基于所述肤色检测结果对用户的手势等进行识别。所述识别方法可以参考实施一中所描述的对用户的手势进行识别的过程，在得到所述肤色区域后，可以结合现有技术中已有的相关的手势识别模板对所述肤色区域中的手势进行识别，也可以在获得连续帧图像的肤色区域后，基于所述连续帧图像的肤色区域的变化信息进而确定用户的手势，可以采用现有技术中多种方法对手势进行识别。

在本实施例中，在校正的过程中将图像中比较亮的部分像素的亮度值作为参考色，将整个图像的亮度值均按着参考色的标准进行调整，可以有效消除色度空间中亮度因素对图像的影响，可以使得图像有效应对光照变化，减少光照变化对肤色检测结果的影响。

实施例三

在对人脸、人手等肤色区域进行检测的时候，可以通过实施例一或者实施例二提供的方法，基于所创建的联合模板对图像中所含有肤色区域进行检测，在本实施例中，为了提高肤色检测的准确性，在本发明技术方案所提供基于联合模板进行肤色检测的方法中，结合基于运动信息的方法对肤色区域进行检测。

所述基于运动信息的方法包括光流法、卡尔曼滤波（Kalman Filter）、粒子滤波（Particle Filter）等方法。所述光流法是利用图像序列中的像素强度在时域、空域的变化来推算出跟踪目标的运动场（Motion Field），根据计算所需的像素点的多少，可以分为稠密光流和稀疏光流。所述光流法可以理解为对图像序列中的若干以特征点为中心的像元计算光流，即以特征点所在像元计算光流，进而基于计算结果对肤色区域进行跟踪。所述像元在本申请文件中定义为以特征点为中心的含有若干像素点的区域。

在本实施例中，在采用光流法对肤色区域进行跟踪的时候，采用本发明技术方案所提供的联合模板对光流法计算中所需要使用的特征点进行筛选、删除等操作，以提高所述特征点的准确性，进而提高肤色检测的准确性。

图4是本发明实施例三提供的肤色检测的方法的流程示意图，如图4所示，首先执行步骤S401，对所采集的图像进行校正。

执行步骤S402，将校正后的图像转换到YCbCr空间。

执行步骤S403，基于椭圆肤色模型建立肤色模板。

执行步骤S404，通过Epanechnikov Kernel核函数对所述肤色模板进行加权获得联合模板。

执行步骤S405，采集用于肤色检测的图像。

步骤S401至步骤S405请参考实施例二步骤S301至步骤S305。

执行步骤S406，获取图像的跟踪窗口内的特征点。

在此步骤中，首先获取用于肤色检测的图像的跟踪窗口内的特征点，图像的特征点的获取方法可以采用现有技术中的多种方法进行获取，例如通过Shi-Tomasi角点算法、Harris算法等获取。

在本实施例中，以Shi-Tomasi角点算法获取特征点的方法为例进行说明。

在Shi-Tomasi角点算法中，首先通过公式（5）获取图像的跟踪窗口内的所有像素点的自相关矩阵。

$M(x,y)=\left[\begin{array}{cc}\underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x^2& \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x{I}_y\\ \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x{I}_y& \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_y^2\end{array}\right]---\left(5\right)$

其中，M(x,y)表示坐标为(x,y)的像素点的自相关矩阵，i，j为跟踪窗口内的像素点分别在X方向和Y方向上的索引值，w(i,j)为在X方向上的索引值为i、在Y方向上的索引值为j处的像素点的权重值，K为所述跟踪窗口的二分之一宽度值，I_x和I_y分别是X方向索引值为i、在Y方向上的索引值为j处的像素点在X方向上偏导数值和在Y方向上的偏导数值。

基于公式（5）计算得到的所有像素点的自相关矩阵，获取所述像素点的自相关矩阵的最大特征值λ(max)和最小特征值λ(min)。所述获取自相关矩阵的最大特征值和最小特征值的方法为本领域技术人员所熟知，在此不再赘述。

通过公式（6）确定所述像素点是否图像的特征点。

λ(min)>A×λ(max)    （6）

其中A为特征阈值，A的取值为0.001～0.01之间的数值。

通常当跟踪窗口内的像素点满足公式（6）时，即可确定所述像素点为图像的特征点。

但在具体实施时，如果仅仅靠上述判断条件确定图像的特征点，则可能会导致图像的特征点分布不均匀，例如可能出现在某一个很小的区域内出现多个特征点的现象，使得肤色检测的结果偏向与特征点很多的地方，而忽略掉同样是肤色区域但特征点比较稀疏的区域，因此，为了避免特征点分布的不均匀性造成检测结果的位置的偏移，此处可以先对特征点进行均匀化处理，所述均匀化处理可以为当λ(min)>A×λ(max)时，需要再判断所述像素点距离其它已确定的特征点的距离是否大于距离阈值，如果大于距离阈值则确定所述像素点为图像的特征点。所述距离阈值可以由上述步骤所确定的联合模板的大小所确定。当联合模板比较大时，相应的所述距离阈值的值可以设置的稍大一些，当所述联合模板比较小的时候，则相应的可以设置的适当小一些。需要说明的是，如果所述距离阈值的值设置的比较小，则获得的特征点相对来说就会比较多，在对肤色进行检测的过程中，数据的计算量就会比较大，而如果所述距离阈值的值设置的比较大，则获得的特征点相对来说就会比较少，但如果特征点过少，可能会导致肤色检测结果不准确或者检测失败，所述距离阈值可以根据联合模板的大小、实际跟踪检测的情况相应的进行调整。

执行步骤S407，基于所述联合模板对所述特征点进行筛选和补充中的至少一种操作。

为了取得准确的肤色检测效果，可以基于由上述步骤所确定的联合模板的信息，对步骤S406中所得到的图像的特征点进行筛选和补充中的至少一种操作。

所述筛选过程包括从跟踪窗口所确定的特征点中选择一个特征点，如果所选择的特征点对应在联合模板的数值大于模板阈值，则保留当前所选择的特征点，如果小于所述模板阈值，则将此特征点丢弃。

可以基于联合模板的数值确定所述模板阈值，例如可以在联合模板中数值从高到低的顺序中选择最能代表肤色信息的一定比例的像素点，以所述一定比例中的像素点中的最低的数值作为模板阈值，也即低于所述模板阈值则像素点可能就不能确定为肤色目标。所述模板阈值也可以通过多次实验得到的经验值获得，在此不做限定。

所述补充过程包括从跟踪窗口中任意选择一个不是特征点的像素点，如果所述像素点距离图像的特征点的距离大于距离阈值，且所述像素点对应在联合模板上的数值大于模板阈值时，则将所述像素点补充为跟踪窗口所含有的特征点，所述距离阈值为步骤S406中所确定的距离阈值。

在步骤S406中所得到的图像的特征点比较多时，如果用所得到的所有的特征点进行跟踪，则计算量会比较大，会较多的消耗系统性能，可以采用如上所述的方法对所述特征点进行筛选。当在步骤S406中所得到的图像的特征点比较少时，可能会不能较好的对肤色进行跟踪，可以采用如上所述的方法对所述特征点进行补充。在具体实施时，也可以结合实际肤色检测情况，将所述对特征点的筛选和补充的方法结合使用，以便得到较好的检测结果。

在基于联合模板确定了用于光流算法中的特征点后，则执行步骤S408，基于稀疏光流算法对肤色进行检测。

所述稀疏光流算法可以为基于图像金字塔的稀疏光流算法，基于所述算法对所述特征点进行跟踪，基于所述特征点跟踪的结果对肤色区域进行检测。

基于图像金字塔的稀疏光流算法进行肤色检测的方法为本领域技术人员所熟知，在此不作细述。

在进行肤色检测后，则可以基于所述肤色检测结果对用户的手势等进行识别。

在采用光流法对特征点进行跟踪并得到肤色区域后，可以结合现有技术中多种手势识别方法对用户手势进行识别。

在本实施例中，通过对跟踪窗口所含有的特征点进行筛选、补充的操作，可以实时对跟踪窗口所含有的特征点进行调整，可以提高特征点的准确性，提高肤色检测的准确性。

实施例四

在本实施例中，对于在实施例三中基于联合模板信息以及结合光流法的方法对肤色区域进行检测的方法中，在采用光流法对肤色区域进行跟踪时，通过联合模板对跟踪窗口内的特征点进行筛选、删除等操作，也可以在对所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作后，对所述跟踪窗口所含有的特征点所在的像元进行光照补偿，之后基于光流法对所述跟踪窗口所含有的特征点进行跟踪，进而基于跟踪结果对肤色区域进行检测。在本实施例中，为了处理更一般的光照变化，在光流计算前，所述对所述跟踪窗口所含有的特征点所在的像元进行光照补偿时，可以采用与偏置、增益相关的线性变化。

图5是本发明实施例四提供的肤色检测的方法的流程示意图，如图5所示，首先执行步骤S501，对所采集的图像进行校正。

执行步骤S502，将校正后的图像转换到YCbCr空间。

执行步骤S503，基于椭圆肤色模型建立肤色模板。

执行步骤S504，通过Epanechnikov Kernel核函数对所述肤色模板进行加权获得联合模板。

执行步骤S505，采集用于肤色检测的图像。

执行步骤S506，获取图像的跟踪窗口内的特征点。

执行步骤S507，基于所述联合模板对所述特征点进行筛选和补充中的至少一种操作。

步骤S501至步骤S507请参考实施例参考实施例三步骤S401至步骤S407。

执行步骤S508，对跟踪窗口内所含有的特征点所在像元进行光照补偿。

在本实施例中，可以采用与偏置、增益相关的线性变化进行光照补偿，在确定了增益系数和偏置系数后，就可以通过公式（7）对跟踪窗口内所含有的特征点所在像元进行光照补偿。

J_n=λ×J+δ   （7）

其中，λ是所述特征点的亮度的增益系数，δ是所述特征点的亮度的偏置系数，J为所述特征点补偿前的亮度值，J_n为所述特征点补偿后的亮度值。在本实施例中，以特征点所在像元计算光流，所以上述公式中相应的各参数的意义可以理解为：λ是所述特征点所在像元的亮度的增益系数，δ是所述特征点所在像元的亮度的偏置系数，J为所述特征点所在像元补偿前的亮度值，J_n为所述特征点所在像元补偿后的亮度值。

所述增益就是对亮度放大的值，偏置就是对亮度值要增加或者减少的值，所述特征点所在像元的亮度的增益系数、亮度的偏置系数的获取，在保证J和J_n具有相同的均值、方差的条件下，可以采用本领域技术人员所知晓的多种方法获得。

在对跟踪窗口内所含有的特征点所在像元进行光照补偿后，则执行步骤S509，基于稀疏光流算法对肤色进行检测。

所述稀疏光流算法可以为基于图像金字塔的稀疏光流算法，基于所述算法对所述特征点进行跟踪，基于所述特征点跟踪的结果对肤色区域进行检测。

在进行肤色检测后，则可以基于所述肤色检测结果对用户的手势等进行识别，在采用光流法对特征点进行跟踪并得到肤色区域后，可以结合现有技术中多种手势识别方法对用户手势进行识别。

在本实施例中，在基于光流算法进行肤色检测之前，通过光照补偿的方法，可以有效地对不同光照条件下的图像进行调整，提高不同光照条件下肤色识别的精度和稳定性。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (21)

1.一种肤色检测的方法，其特征在于，包括：

建立肤色模板；

通过核函数对所述肤色模板进行加权处理，以获得联合模板；

基于所述联合模板进行肤色检测。

2.如权利要求1所述的肤色检测的方法，其特征在于，还包括：在建立肤色模板之前，对用于建立肤色模板的图像进行校正。

3.如权利要求2所述的肤色检测的方法，其特征在于，所述对用于建立肤色模板的图像进行校正的过程包括：

通过公式获取校正参数M(top)，其中，m为像素点的灰度值，L为灰度阈值，f(m)为图像中灰度值为m的像素点的个数，所述灰度阈值是由图像中亮度值大于亮度阈值的像素点的个数占图像总像素点个数的比例确定的；

对图像中的每一个像素点，通过公式获取校正后的该像素点的颜色值Y(new)，其中，Y(old)是校正前的该像素点的颜色值。

4.如权利要求1或2所述的肤色检测的方法，其特征在于，所述基于所述联合模板进行肤色检测的过程包括：

获取跟踪窗口所含有的特征点；

基于所述联合模板对所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作；

在对所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作后，基于稀疏光流算法对所述跟踪窗口所含有的特征点进行跟踪，基于跟踪结果对肤色进行检测。

5.如权利要求4所述的肤色检测的方法，其特征在于，对所述跟踪窗口所含有的特征点进行筛选的过程包括：

从跟踪窗口所含有的特征点中选择一个特征点，如果所选择的特征点对应在联合模板的数值大于模板阈值，则保留当前所选择的特征点，所述模板阈值是基于联合模板的数值确定的。

6.如权利要求4所述的肤色检测的方法，其特征在于，对所述跟踪窗口所含有的特征点进行补充的过程包括：

从跟踪窗口中选择一个像素点，如果所述像素点距离跟踪窗口所含有的特征点的距离大于距离阈值且所述像素点对应在联合模板上的数值大于模板阈值时，则将所述像素点补充为跟踪窗口所含有的特征点，所述距离阈值是基于联合模板的大小所确定的，所述模板阈值是基于联合模板的数值确定的。

7.如权利要求4所述的肤色检测的方法，其特征在于，还包括：在对所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作之后，基于稀疏光流算法对肤色进行检测之前，对所述特征点进行光照补偿。

8.如权利要求7所述的肤色检测的方法，其特征在于，所述对所述特征点进行光照补偿包括：

基于公式J_n=λ×J+δ对所述跟踪窗口所含有的特征点进行光照补偿，其中，λ是所述特征点的亮度的增益系数，δ是所述特征点的亮度的偏置系数，J为所述特征点补偿前的亮度值，J_n为所述特征点补偿后的亮度值。

9.如权利要求4所述的肤色检测的方法，其特征在于，所述获取跟踪窗口所含有的特征点的过程包括：

通过下述公式获取图像的跟踪窗口内的所有像素点的自相关矩阵：

$M(x,y)=\left[\begin{array}{cc}\underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x^2& \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x{I}_y\\ \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_x{I}_y& \underset{-K\≤i,j\≤K}{\mathrm{\Σ}}{w}_{i,j}{I}_y^2\end{array}\right],$ 其中，M(x,y)表示坐标为(x,y)的像素点的自相关矩阵，i，j为跟踪窗口内的像素点分别在X方向和Y方向上的索引值，w(i,j)为在X方向上的索引值为i、在Y方向上的索引值为j处的像素点的权重值，K为所述跟踪窗口的二分之一宽度值，I_x和I_y分别是X方向索引值为i、在Y方向上的索引值为j处的像素点在X方向上偏导数值和在Y方向上的偏导数值；

基于所述像素点的自相关矩阵，获取所述像素点的自相关矩阵的最大特征值和最小特征值；

当λ(min)>A×λ(max)时，确定所述像素点为跟踪窗口所含有的特征点；或者，当λ(min)>A×λ(max)时，且所述像素点距离其它已确定的特征点的距离大于距离阈值时，确定所述像素点为跟踪窗口所含有的特征点；其中λ(max)为所述像素点的自相关矩阵的最大特征值，λ(min)为所述像素点的自相关矩阵的最小特征值，A为特征阈值。

10.如权利要求9所述的肤色检测的方法，其特征在于，所述特征阈值的取值为0.001～0.01。

11.如权利要求9所述的肤色检测的方法，其特征在于，基于联合模板的大小确定所述距离阈值。

12.如权利要求1所述的肤色检测的方法，其特征在于，还包括：在基于所述联合模板进行肤色检测后，基于所述肤色检测结果对用户的手势进行识别。

13.如权利要求1所述的肤色检测的方法，其特征在于，所述通过核函数对所述肤色模板进行加权处理，以获得联合模板的过程包括：

通过公式 $\mathrm{KM}(i,j)=1-\frac{{(i-\frac{a}{2})}^2+{(j-\frac{b}{2})}^2}{{\left(\frac{a}{2}\right)}^2+{\left(\frac{b}{2}\right)}^2}$ 获得加权模板KM，其中，i，j分别为加权模板内像素点在X方向上、Y方向上的索引值，a，b分别为核函数在X方向、Y方向上的窗宽；

通过公式对肤色模板进行加权，以获得联合模板，其中JM为联合模板，SM为肤色模板，KM为加权模板，表示对SM和KM中相同位置的值进行乘积运算。

14.如权利要求1所述的肤色检测的方法，其特征在于，所述建立肤色模板包括基于椭圆肤色模型或者高斯肤色模型中的任意一种模型建立肤色模板。

15.如权利要求1所述的肤色检测的方法，其特征在于，所述核函数包括Epanechnikov核函数和高斯核函数中的任意一种。

16.一种肤色检测的装置，其特征在于，包括：

建立单元，适于建立肤色模板；

联合模板获得单元，适于通过核函数对所述肤色模板进行加权处理，以获得联合模板；

检测单元，适于基于所述联合模板进行肤色检测。

17.如权利要求16所述的肤色检测的装置，其特征在于，还包括：校正单元，适于在建立肤色模板之前，对用于建立肤色模板的图像进行校正。

18.如权利要求16或17所述的肤色检测的装置，其特征在于，所述检测单元包括：

获取子单元，适于获取跟踪窗口所含有的特征点；

操作子单元，适于基于所述联合模板对所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作；

检测子单元，适于在对所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作后，基于稀疏光流算法对所述跟踪窗口所含有的特征点进行跟踪，基于跟踪结果对肤色进行检测。

19.如权利要求18所述的肤色检测的装置，其特征在于，所述操作子单元包括：筛选子单元和补充子单元中的至少一种单元，所述筛选子单元适于从跟踪窗口所含有的特征点中选择一个特征点，如果所选择的特征点对应在联合模板的数值大于模板阈值，则保留当前所选择的特征点；所述补充子单元适于从跟踪窗口中选择一个像素点，如果所述像素点距离跟踪窗口所含有的特征点的距离大于距离阈值且所述像素点对应在联合模板上的数值大于模板阈值时，则将所述像素点补充为跟踪窗口所含有的特征点，所述距离阈值是基于联合模板的大小所确定的，所述模板阈值是基于联合模板的数值确定的。

20.如权利要求18所述的肤色检测的装置，其特征在于，还包括：补偿子单元，适于在对所述跟踪窗口所含有的特征点进行筛选和补充中的至少一种操作之后，基于稀疏光流算法对肤色进行检测之前，基于公式J_n=λ×J+δ对所述跟踪窗口所含有的特征点进行光照补偿，其中，λ是所述特征点的亮度的增益系数，δ是所述特征点的亮度的偏置系数，J为所述特征点补偿前的亮度值，J_n为所述特征点补偿后的亮度值。

21.如权利要求16所述的肤色检测的装置，其特征在于，还包括：识别单元，适于在检测单元基于所述联合模板进行肤色检测后，基于所述肤色检测结果对用户的手势进行识别。