CN105405143B - 一种基于全局期望最大算法的手势分割方法及系统 - Google Patents

Abstract

本发明公开了一种基于全局期望最大算法的手势分割方法及系统。包括：建立肤色的高斯模型；将待分割图像的所有像素点的像素值代入肤色的高斯模型，得到待分割图像的所有像素点的肤色相似度；根据待分割图像的深度信息及其中所有像素点的肤色相似度，得到由三维空间中各点及其肤色相似度组成的四维空间模型；将四维空间模型划分为多个子空间，在每个子空间中，构建评价超曲面拟合效果的损失函数，利用梯度下降法使损失函数最小，得到子空间的四维空间超曲面，最后按照梯度上升的方向得到各子空间的四维空间超曲面的极大值；本发明能生成可比较的数学描述，实现两种模型融合的基础，为不同模态数据之间的融合提供一种新的依据。

Description

一种基于全局期望最大算法的手势分割方法及系统

技术领域

本发明属于人机交互图像信息处理技术领域，更具体地，涉及一种基于全局期望最大算法的手势分割方法及系统。

背景技术

基于图像信息的生物特征识别是近年来计算机视觉研究中的一个热点，其中，针对人类生物特征的识别不可避免地成为了主要研究内容，进一步地，手势识别研究是人类生物特征识别的重要研究内容，它主要从图像数据中分割、跟踪和识别出不同的手势，并对其加以描述和理解。手势识别技术源于数字图像处理与机器学习算法的研究，而手势分割是手势识别研究流水线的基础和先导，对最终的手势识别结果有决定性影响。

手势分割是指把属于手势的像素点与不属于手势的像素点区分开来，手势分割的重要性在于把属于手势的像素点传递给手势跟踪和识别阶段，保证后续研究的收敛性。为了实现手势分割，首先需要选择一个合适的颜色空间对颜色进行建模，目前常用的颜色空间包括RGB、归一化RGB、HSV、YCrCb、YUV等。由于要尽可能地避免环境光照和阴影的不利影响，使手势分割具备一定的鲁棒性，在颜色空间的选择上一般遵循一个通用的原则，即能把色度和亮度较好地分离开来的颜色空间更有利于基于肤色的分割研究。

颜色空间确定之后，还需要进一步确定肤色在该颜色空间中的分布情况，即在颜色空间中对肤色进行建模。一般使用高斯概率密度函数估计像素点为肤色点的概率，以海量图像集合为训练数据，且每个图像中标注出了肤色像素点和非肤色像素点。具体的模型训练过程为在某个特定的颜色空间中标注出每个肤色像素点所在的位置，如果肤色像素点足够多的话，就可以最终得到一个近似高斯分布的肤色直方图，从而进一步得到高斯分布的均值和方差等参数，从而成功建立肤色的高斯模型。对于肤色的高斯模型而言，对其输入任意像素点，输出为该像素点肤色点的可能性。对高斯模型中的各个参数的求解，多采用期望最大(Expectation Maximization,EM)算法。EM算法是求参数极大似然估计的一种迭代优化策略，它能从非完整数据集中对参数进行极大似然估计，是一种简单实用的学习算法。

但是在传统的计算机视觉领域手势分割问题中，仍凸显出很多问题，如分割易受干扰、EM算法难以获得全局最优解等，由于实际环境背景的复杂性，再考虑到背景可能发生光照、阴影等变化，除了背景外还存在类肤色物体的干扰，比如当人脸和手势同时出现在图像中时，通过肤色很难将二者区分开来，因而很可能出现误判。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于全局期望最大算法的手势分割方法及系统，以建立全局最优EM算法为切入点，以融合深度数据为手段，采用全局极大值搜索等方法，建立3D-S空间模型，进而生成可比较的数学描述，实现两种模型融合的基础，为不同模态数据之间的融合提供一种新的依据。

为实现上述目的，按照本发明的一个方面，提供了一种基于全局期望最大算法的手势分割方法，其特征在于，包括如下步骤：

(1)在YCrCb颜色空间中基于Cr分量和Cb分量，建立肤色的高斯模型；

(2)将待分割图像的所有像素点的像素值代入肤色的高斯模型，得到待分割图像的所有像素点的肤色相似度，其中，肤色相似度是指像素点为肤色点的概率；

(3)根据待分割图像的深度信息及其中所有像素点的肤色相似度，得到由三维空间中各点及其肤色相似度组成的四维空间模型；

所述四维空间模型以四维空间超曲面表示如下：

其中，h(x₁,x₂,x₃)表示三维空间中坐标为(x₁,x₂,x₃)的点的肤色相似度，x₁、x₂和x₃分别为三维空间中的点在三个维度上的坐标，a₀、a₁、a₂、a₃、a₄、a₅和a₆均为已知系数；

(4)将四维空间模型划分为多个子空间，在每个子空间中，构建评价超曲面拟合效果的损失函数，利用梯度下降法使损失函数最小，得到子空间的四维空间超曲面，最后按照梯度上升的方向得到各子空间的四维空间超曲面的极大值；

(5)将步骤(4)得到的各子空间的四维空间超曲面的极大值作为初值，分别进行EM算法迭代，将期望最大的子空间的四维空间超曲面的初始极大值作为手势分割结果。

优选地，所述步骤(4)中，损失函数为：利用梯度下降法，根据如下递推公式调整A的值：A＝A-λ▽_AJ(A)，使J(A)取得最小值J(A)_min，利用J(A)_min对应的A值确定子空间的四维空间超曲面，其中，A＝(a₀ a₁ a₂ a₃ a₄ a₅ a₆)^T，s⁽ⁱ⁾表示子空间中第i个点的实际肤色相似度，表示由超曲面拟合计算得到的肤色相似度，m为子空间中点的个数，▽_A表示A的梯度，λ为步长。

优选地，所述步骤(1)中，肤色的高斯模型如下：

p_c(x)＝α_Crg(x,μ_Cr,δ_Cr)+α_Cbg(x,μ_Cb,δ_Cb)，

其中，p_c(x)表示像素点为肤色点的概率，α_Cr表示Cr分量在颜色空间中所占的比重，α_Cb表示Cb分量在颜色空间中所占的比重，x为Cr、Cb二维空间中的坐标点，μ_Cr表示Cr分量上高斯分布的方差，δ_Cr表示Cr分量上高斯分布的均值，μ_Cb表示Cb分量上高斯分布的方差，δ_Cb表示Cb分量上高斯分布的均值，g(x,μ_Cr,δ_Cr)为x点在Cr分量中的肤色相似度高斯模型，g(x,μ_Cb,δ_Cb)为x点在Cb分量中的肤色相似度高斯模型。

按照本发明的另一方面，提供了一种基于全局期望最大算法的手势分割系统，其特征在于，包括：

第一模块，用于在YCrCb颜色空间中基于Cr分量和Cb分量，建立肤色的高斯模型；

第二模块，用于将待分割图像的所有像素点的像素值代入肤色的高斯模型，得到待分割图像的所有像素点的肤色相似度，其中，肤色相似度是指像素点为肤色点的概率；

第三模块，用于根据待分割图像的深度信息及其中所有像素点的肤色相似度，得到由三维空间中各点及其肤色相似度组成的四维空间模型；

所述四维空间模型以四维空间超曲面表示如下：

其中，h(x₁,x₂,x₃)表示三维空间中坐标为(x₁,x₂,x₃)的点的肤色相似度，x₁、x₂和x₃分别为三维空间中的点在三个维度上的坐标，a₀、a₁、a₂、a₃、a₄、a₅和a₆均为已知系数；

第四模块，用于将四维空间模型划分为多个子空间，在每个子空间中，构建评价超曲面拟合效果的损失函数，利用梯度下降法使损失函数最小，得到子空间的四维空间超曲面，最后按照梯度上升的方向得到各子空间的四维空间超曲面的极大值；

第五模块，用于将第四模块得到的各子空间的四维空间超曲面的极大值作为初值，分别进行EM算法迭代，将期望最大的子空间的四维空间超曲面的初始极大值作为手势分割结果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

(1)针对手势图像易受光照和类肤色物体影响导致分割不尽如人意的问题，在图像数据的基础上融合深度数据，建立3D-S空间模型，较传统的基于肤色模型的手势分割算法增强了判断的依据。

(2)引入全局极大搜索算法，避免了在EM迭代过程中进行全局搜索，极大地降低了计算量。

(3)EM算法在迭代之前的初值并非是随机选择的，而是经过了全局极大搜索后的结果，既能有效降低EM算法的迭代次数，又能弥补EM算法无法确定全局最优的缺点，实现EM算法结果的全局最优。

附图说明

图1是本发明实施例的基于全局期望最大算法的手势分割方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施例的基于全局期望最大算法的手势分割方法包括如下步骤：

(1)利用中国科学院计算技术研究所多媒体计算课题组的MCG-Skin数据集，在YCrCb颜色空间中基于Cr分量和Cb分量，建立肤色的高斯模型如下：

p_c(x)＝α_Crg(x,μ_Cr,δ_Cr)+α_Cbg(x,μ_Cb,δ_Cb)，

其中，p_c(x)表示像素点为肤色点的概率，α_Cr表示Cr分量在颜色空间中所占的比重，α_Cb表示Cb分量在颜色空间中所占的比重，x为Cr、Cb二维空间中的坐标点，μ_Cr表示Cr分量上高斯分布的方差，δ_Cr表示Cr分量上高斯分布的均值，μ_Cb表示Cb分量上高斯分布的方差，δ_Cb表示Cb分量上高斯分布的均值，g(x,μ_Cr,δ_Cr)为x点在Cr分量中的肤色相似度高斯模型，g(x,μ_Cb,δ_Cb)为x点在Cb分量中的肤色相似度高斯模型。

具体地，根据不同颜色空间对肤色的表达，不同模型对肤色的不同建模方式，研究每一类模型在实际场景中的适用性，从而形成肤色模型基于颜色空间的表达。

(2)将待分割图像的所有像素点的像素值代入肤色的高斯模型，得到待分割图像的所有像素点为肤色点的概率，即肤色相似度。

(3)根据待分割图像的深度信息(即目标到摄像头的距离)及其中所有像素点的肤色相似度，得到由三维空间中各点及其肤色相似度组成的四维3D-S空间模型。

3D-S空间模型以四维空间超曲面表示如下：

其中，h(x₁,x₂,x₃)表示三维空间中坐标为(x₁,x₂,x₃)的点x_3D的肤色相似度，x₁、x₂和x₃分别为x_3D在三个维度上的坐标，a₀、a₁、a₂、a₃、a₄、a₅和a₆均为已知系数。

h(x₁,x₂,x₃)以矩阵形式表示为：

h(x₁,x₂,x₃)＝A^TX，

其中，

(4)将四维3D-S空间模型划分为多个子空间，在每个子空间中，构建评价超曲面拟合效果的损失函数利用梯度下降法，根据如下递推公式调整A的值：A＝A-λ▽_AJ(A)，使J(A)取得最小值J(A)_min，利用J(A)_min对应的A值确定子空间的四维空间超曲面，最后按照梯度上升的方向得到各子空间的四维空间超曲面的极大值θ₁,θ₂,θ₃,...,θ_n。

其中，s⁽ⁱ⁾表示子空间中第i个点的实际肤色相似度，表示由超曲面拟合计算得到的肤色相似度，m为子空间中点的个数，▽_A表示A的梯度，λ为步长，θ_t为第t个子空间的极大值，t＝1,2,...,n，n为子空间的个数。

在本发明的一个实施例中，每个子空间包含128*128*128*128个点。

(5)将步骤(4)得到的各子空间的四维空间超曲面的极大值作为初值，分别进行EM算法迭代，将期望最大的子空间的四维空间超曲面的初始极大值作为手势分割结果。

进一步包括如下步骤：

(5-1)令子空间的序号t＝1；

(5-2)E步：对第t个子空间的极大值θ_t进行迭代计算：

Q_i(z⁽ⁱ⁾)＝p(z⁽ⁱ⁾|x⁽ⁱ⁾；θ_t)，

其中，x⁽ⁱ⁾为子空间中的点；z⁽ⁱ⁾为子空间中的点x⁽ⁱ⁾所属的分类，p(z⁽ⁱ⁾|x⁽ⁱ⁾；θ_t)为条件概率，表示x⁽ⁱ⁾在参数θ_t这个条件时，属于分类z⁽ⁱ⁾的概率，这也是Q_i(z⁽ⁱ⁾)的含义；

(5-3)M步：计算迭代后的θ_t为：

(5-4)令若t＜n，则令t＝t+1，返回步骤(5-3)，若t＝＝n，则说明所有子空间的极大值均执行完毕，将α₁,α₂,α₃,...,α_n中最大者对应的子空间的四维空间超曲面的初始极大值作为手势分割的全局最优值。

SKIG数据集由Sheffield大学使用微软Kinect传感器采集，包括10类共2160个手势图像序列，其中1080个是RGB图像序列，1080个是深度图像序列。将未标注的SKIG数据集作为输入，利用上述手势分割算法得到手势分割的全局最优值，将其与人工标注SKIG数据集得到的手势图形数据集合进行比较，其中，手势图形数据集合包括：每个样本手势的RGB图像序列和深度图像序列，每帧图像中包含手势的最小矩形和该最小矩形的中心点，手势运动轨迹，以及手势识别结果。结果表明，本方法具有较高的可用性和准确性。

本发明的手势分割方法通过建立肤色的高斯模型，利用全局最优EM算法等技术手段，找到手势分割的全局最优值，以该最优值作为输出。本发明基于已有的工作，实现手势分割算法，并扩展手势图形数据集合进一步验证算法的可用性，最终通过实际场景来检验模型、算法的可用性和准确性。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于全局期望最大算法的手势分割方法，其特征在于，包括如下步骤：

(1)在YCrCb颜色空间中基于Cr分量和Cb分量，建立肤色的高斯模型：p_c(x)＝α_Crg(x,μ_Cr,δ_Cr)+α_Cbg(x,μ_Cb,δ_Cb)，其中，p_c(x)表示像素点为肤色点的概率，α_Cr表示Cr分量在颜色空间中所占的比重，α_Cb表示Cb分量在颜色空间中所占的比重，x为Cr、Cb二维空间中的坐标点，μ_Cr表示Cr分量上高斯分布的方差，δ_Cr表示Cr分量上高斯分布的均值，μ_Cb表示Cb分量上高斯分布的方差，δ_Cb表示Cb分量上高斯分布的均值，g(x,μ_Cr,δ_Cr)为x点在Cr分量中的肤色相似度高斯模型，g(x,μ_Cb,δ_Cb)为x点在Cb分量中的肤色相似度高斯模型；

(2)将待分割图像的所有像素点的像素值代入肤色的高斯模型，得到待分割图像的所有像素点的肤色相似度，其中，肤色相似度是指像素点为肤色点的概率；

(3)根据待分割图像的深度信息及其中所有像素点的肤色相似度，得到由三维空间中各点及其肤色相似度组成的四维空间模型；

所述四维空间模型以四维空间超曲面表示如下：

$h(x_1,x_2,x_3)=a_0+a_1{x}_1+a_2{x}_1^2+a_3{x}_2+a_4{x}_2^2+a_5{x}_3+a_6{x}_3^2,$

其中，h(x₁,x₂,x₃)表示三维空间中坐标为(x₁,x₂,x₃)的点的肤色相似度，x₁、x₂和x₃分别为三维空间中的点在三个维度上的坐标，a₀、a₁、a₂、a₃、a₄、a₅和a₆均为已知系数；

(4)将四维空间模型划分为多个子空间，在每个子空间中，构建评价超曲面拟合效果的损失函数：利用梯度下降法，根据如下递推公式调整A的值：使J(A)取得最小值J(A)_min，利用J(A)_min对应的A值确定子空间的四维空间超曲面，最后按照梯度上升的方向得到各子空间的四维空间超曲面的极大值，其中，A＝(a₀ a₁ a₂ a₃ a₄ a₅ a₆)^T，s⁽ⁱ⁾表示子空间中第i个点的实际肤色相似度，表示由超曲面拟合计算得到的肤色相似度，m为子空间中点的个数，表示A的梯度，λ为步长；

(5)将步骤(4)得到的各子空间的四维空间超曲面的极大值作为初值，分别进行EM算法迭代，将期望最大的子空间的四维空间超曲面的初始极大值作为手势分割结果。

2.一种基于全局期望最大算法的手势分割系统，其特征在于，包括：

第一模块，用于在YCrCb颜色空间中基于Cr分量和Cb分量，建立肤色的高斯模型：p_c(x)＝α_Crg(x,μ_Cr,δ_Cr)+α_Cbg(x,μ_Cb,δ_Cb)，其中，p_c(x)表示像素点为肤色点的概率，α_Cr表示Cr分量在颜色空间中所占的比重，α_Cb表示Cb分量在颜色空间中所占的比重，x为Cr、Cb二维空间中的坐标点，μ_Cr表示Cr分量上高斯分布的方差，δ_Cr表示Cr分量上高斯分布的均值，μ_Cb表示Cb分量上高斯分布的方差，δ_Cb表示Cb分量上高斯分布的均值，g(x,μ_Cr,δ_Cr)为x点在Cr分量中的肤色相似度高斯模型，g(x,μ_Cb,δ_Cb)为x点在Cb分量中的肤色相似度高斯模型；

第二模块，用于将待分割图像的所有像素点的像素值代入肤色的高斯模型，得到待分割图像的所有像素点的肤色相似度，其中，肤色相似度是指像素点为肤色点的概率；

第三模块，用于根据待分割图像的深度信息及其中所有像素点的肤色相似度，得到由三维空间中各点及其肤色相似度组成的四维空间模型；

所述四维空间模型以四维空间超曲面表示如下：

$h(x_1,x_2,x_3)=a_0+a_1{x}_1+a_2{x}_1^2+a_3{x}_2+a_4{x}_2^2+a_5{x}_3+a_6{x}_3^2,$

其中，h(x₁,x₂,x₃)表示三维空间中坐标为(x₁,x₂,x₃)的点的肤色相似度，x₁、x₂和x₃分别为三维空间中的点在三个维度上的坐标，a₀、a₁、a₂、a₃、a₄、a₅和a₆均为已知系数；

第四模块，用于将四维空间模型划分为多个子空间，在每个子空间中，构建评价超曲面拟合效果的损失函数：利用梯度下降法，根据如下递推公式调整A的值：使J(A)取得最小值J(A)_min，利用J(A)_min对应的A值确定子空间的四维空间超曲面，最后按照梯度上升的方向得到各子空间的四维空间超曲面的极大值，其中，A＝(a₀ a₁ a₂ a₃ a₄ a₅ a₆)^T，s⁽ⁱ⁾表示子空间中第i个点的实际肤色相似度，表示由超曲面拟合计算得到的肤色相似度，m为子空间中点的个数，表示A的梯度，λ为步长；

第五模块，用于将第四模块得到的各子空间的四维空间超曲面的极大值作为初值，分别进行EM算法迭代，将期望最大的子空间的四维空间超曲面的初始极大值作为手势分割结果。