CN105893944A - 深度信息静态手势分割方法 - Google Patents

Abstract

一种深度信息静态手势分割方法，由将深度图像转换为等大小的深度灰度图像、确定深度灰度图像中手势区域灰度、将深度灰度图像转换成二值图像、平滑处理二值图像得到掩模图像、确定亮度分量图像、分割出手势区域步骤组成。所分割出的手势区域图像准确、无过分割问题，避免了手势分割中光照不均、种族差异、人体其它部位及相似颜色背景等多种因素的影响。本发明具有方法简单、快速等优点，可为手势识别、控制、医疗手术等人机交互工作提供技术条件。

Description

深度信息静态手势分割方法

技术领域

本发明属于图像处理及模式识别技术领域，具体地涉及到对图像进行分割。

背景技术

作为手势识别系统的关键技术，手势图像分割的好坏直接影响到后续的手势识别过程。手势分割是将有意义的手势区域从包含手势的图像中提取出来的过程，其主要特点是选取一些与不感兴趣区域有明显差异的特征，分离出手势区域与非手势区域。常用的特征有灰度、纹理、颜色和边缘信息等。手势分割是图像分割的一个方面，其过程涉及很多图像处理技术，例如图像形态学处理、边缘检测、区域检测以及手势位置的提取等方面。

目前国内外的手势分割方法主要有基于图像阈值的手势分割方法、基于运动分析的手势分割方法、基于肤色模型的手势分割方法、基于背景差分法的手势分割方法以及基于轮廓分析的手势分割方法等。

上述手势分割方法所存在的主要技术问题是手势复杂，类似皮肤区域、其它目标及噪声的干扰难以实现手势分割，且容易出现过分割的技术问题。

发明内容

本发明所要解决的技术问题在于克服现有技术的缺点，提供一种方法简单、易实现且分割效果高效、快速的深度信息静态手势分割方法。

解决上述技术问题所采用的技术方案由下述步骤组成：

1、将深度图像转换为等大小的深度灰度图像

将深度图像中各个像素的深度值调整到灰度值为0～255，得到深度灰度图像，具体步骤是：

(1)从深度图像中找到像素的最大深度值dmax

取图像矩阵中每行的最大值，从每行的最大值中选取一个最大值作为dmax值。

(2)用式(1)将深度图像转换为深度灰度图像

G(x,y)＝D(x,y)/dmax×255 (1)

式中D(x,y)是深度图像中(x,y)处像素点的深度值，dmax为一幅深度图像中像素的最大深度值，G(x,y)是调整后深度灰度图像(x,y)处像素点的灰度值，x为图像的横向取值，y为图像的纵向取值。

2、确定深度灰度图像中手势区域灰度

取深度灰度图像的中心位置像素点4邻域或8邻域像素的灰度平均值为手势区域灰度d。

3、将深度灰度图像转换成二值图像

根据深度灰度图像中(x,y)处像素点的灰度值、手势区域灰度d与设定的阈值T的关系，用式(2)判断深度灰度图像中(x,y)处像素点的灰度值、手势区域灰度d和预先设定的阈值T的关系，得到手势区域的二值图像：

$IsHand(x,y)=\{\begin{array}{c}0,T<|G(x,y)-d|<255\\ 1,|G(x,y)-d|\&le;T\end{array}---\left(2\right)$

式中x为图像的横向取值，y为图像的纵向取值，d为手势区域的灰度，G(x,y)为调整后深度灰度图像(x,y)处像素点的灰度值，IsHand(x,y)为手势区域的二值图像(x,y)处像素点的值0或1，0代表背景，1代表目标。

上述的阈值T为5～20。

4、平滑处理二值图像得到掩模图像

将步骤3中的二值图像采用形态学闭运算进行平滑处理，得到掩模图像。

5、确定亮度分量图像

从彩色图像中取红色分量、绿色分量、蓝色分量，设定红色分量的权重、绿色分量的权重、蓝色分量的权重，用式(3)从彩色图像中得到彩色图像的亮度分量图像：

I(x,y)＝Wr×R(x,y)+Wg×G(x,y)+Wb×B(x,y) (3)

式中x为图像的横向取值，y为图像的纵向取值，R(x,y)为彩色图像(x,y)处像素点的红色分量，G(x,y)为彩色图像(x,y)处像素点的绿色分量，B(x,y)为彩色图像(x,y)处像素点的蓝色分量，Wr为彩色图像的红色分量的权重，Wg为彩色图像的绿色分量的权重，Wb为彩色图像的蓝色分量的权重。

6、分割出手势区域

将掩模图像与步骤5得到的亮度分量图像I(x,y)做逻辑与运算，得到静态手势区域图像。

在本发明的确定深度灰度图像中手势区域灰度步2中，取深度灰度图像的中心位置像素点最佳8邻域像素的灰度平均值为手势区域灰度d。

在本发明的确定深度灰度图像中手势区域灰度步骤2中，8邻域为在深度灰度图像中心位置的上、下、左、右、左上、左下、右上、右下位置的像素点。

在本发明的确定深度灰度图像中手势区域灰度步2中，4邻域为在深度灰度图像中心位置的上、下、左、右位置的像素点。

在本发明的将深度灰度图像转换成二值图像3中，阈值T为5～15。

在本发明的将深度灰度图像转换成二值图像3中，阈值T最佳为10。

在本发明的平滑处理二值图像得到掩模图像步骤4中，平滑处理步骤为：

(1)观察二值图像中噪声块的形状和大小，最大噪声块中的像素点排列成m行n列的矩阵，确定形态学闭运算中结构元素SE为p行q列的矩阵，在该矩阵中，元素为1，其中q≥m，p≥n，m和n取值为2～8，p和q取值为3～9、且p与q相等。

(2)用式(4)对手势区域二值图像IsHand(x,y)进行形态学闭运算，得到掩模图像：

yanmo(x,y)＝(IsHand(x,y)+SE)ΘSE (4)

式中x为图像的横向取值，y为图像的纵向取值，+为数学形态学膨胀运算符，Θ为数学形态学腐蚀运算符。

由于本发明采用了将深度灰度图像转换成二值图像和平滑处理二值图像得到掩模图像，所分割出的手势区域图像准确、无过分割问题，避免了手势分割中光照不均、种族差异、人体其它部位及相似颜色背景等多种因素的影响。本发明具有方法简单、快速，为手势识别、游戏控制、医疗手术等人机交互工作提供技术条件。

附图说明

图1是本发明实施例1对深度信息静态手势分割方法流程图。

图2是图1中获得的手势区域二值图像效果图。

图3是对图2进行平滑去噪效果图。

图4是本发明实施例1从彩色图像获得的亮度分量图像。

图5是分割后的图像。

具体实施方式

下面结合附图和实例对本发明进行进一步的说明，但本发明不限于下述实例。

实施例1

本实施例的手势图像来自美国手势语言数据集(American Sign Language,ASL)，该库包括Kinect采集的彩色图像和深度图像各60000幅图像。

在图1中，本实施例选择一幅长为184，宽为178的深度图像及对应的彩色图像，深度信息静态手势分割方法分割步骤如下：

1、将深度图像转换为等大小的深度灰度图像

将深度图像中各个像素的深度值调整到灰度值为0～255，得到深度灰度图像，具体步骤是：

(1)从深度图像中找到像素的最大深度值dmax。

取图像矩阵1～178行中每行的最大值，从178个最大值中选取一个最大值3277作为dmax值。

(2)用式(1)将深度图像转换为深度灰度图像

G(x,y)＝D(x,y)/dmax×255 (1)

式中D(x,y)是深度图像中(x,y)处像素点的深度值，dmax为一幅深度图像中像素的最大深度值，本实施例的dmax为3277，G(x,y)是调整后深度灰度图像(x,y)处像素点的灰度值，x为图像的横向取值，y为图像的纵向取值。

2、确定深度灰度图像中手势区域灰度

取深度灰度图像中心位置(89,92)的8邻域像素的灰度平均值为手势区域灰度d，本实施例的8邻域像素为：深度灰度图像中心位置(89,92)的上、下、左、右、左上、左下、右上、右下位置像素点的值，分别为54、54、54、54、54、54、54、54，其平均值为手势区域灰度d，由下式确定d为54；

(54+54+54+54+54+54+54+54)/8＝54

3、将深度灰度图像转换成二值图像

根据深度灰度图像中(x,y)处像素点的灰度值、手势区域灰度d为54与设定的阈值T为10的关系，用式(2)判断深度灰度图像中(x,y)处像素点的灰度值、手势区域灰度d和预先设定的阈值T的关系，得到手势区域的二值图像：

$IsHand(x,y)=\{\begin{array}{c}0,T<|G(x,y)-d|<255\\ 1,|G(x,y)-d|\&le;T\end{array}---\left(2\right)$

式中x为图像的横向取值，y为图像的纵向取值，d为手势区域的灰度，G(x,y)为调整后深度灰度图像(x,y)处像素点的灰度值，IsHand(x,y)为手势区域的二值图像(x,y)处像素点的值0或1，0代表背景，1代表目标。结果见图2，由图2可见，该步骤能得到手势区域的基本轮廓，但该手势区域的二值图像中存在噪声块，需要进一步处理。

4、平滑处理二值图像得到掩模图像

将步骤3中的二值图像采用形态学闭运算进行平滑处理，得到掩模图像。平滑处理步骤为：

(1)观察二值图像中噪声块的形状和大小，最大噪声块中的像素点排列成m行n列的矩阵，确定形态学闭运算中结构元素SE为p行q列的矩阵，在该矩阵中，元素为1，其中q≥m，p≥n。本实施例中m为4，n为4，p为5，q为5。

(2)用式(3)对手势区域二值图像IsHand(x,y)进行形态学闭运算，得到掩模图像。

yanmo(x,y)＝(IsHand(x,y)+SE)ΘSE (3)

式中x为图像的横向取值，y为图像的纵向取值，+为数学形态学膨胀运算符，Θ为数学形态学腐蚀运算符。结果见图3，由图3可见，该步骤能够有效去除步骤3中手势区域二值图像中的噪声块，得到较精确的掩模图像。

5、确定亮度分量图像

从彩色图像中取红色分量、绿色分量、蓝色分量，设定红色分量的权重、绿色分量的权重、蓝色分量的权重，用式(4)从彩色图像中得到彩色图像的亮度分量图像：

I(x,y)＝Wr×R(x,y)+Wg×G(x,y)+Wb×B(x,y) (4)

式中x为图像的横向取值，y为图像的纵向取值，R(x,y)为彩色图像(x,y)处像素点的红色分量，G(x,y)为彩色图像(x,y)处像素点的绿色分量，B(x,y)为彩色图像(x,y)处像素点的蓝色分量，Wr为彩色图像的红色分量的权重，Wg为彩色图像的绿色分量的权重，Wb为彩色图像的蓝色分量的权重。本实施例的Wr取值为0.2989、Wg为0.5870、Wb为0.1140。结果见图4，由图4可见，从彩色图像中得到的亮度分量图像在保持了原有亮度的同时，由原来的三维图像变为二维图像。

6、分割出手势区域

用式(5)对掩模图像yanmo(x,y)与步骤5得到的亮度分量图像I(x,y)做逻辑与运算，得到静态手势区域图像。

shoushi(x,y)＝I(x,y)οyanmo(x,y) (5)

式中x为图像的横向取值，y为图像的纵向取值，ο表示逻辑与运算，yanmo(x,y)是掩模图像(x,y)处像素点的值。结果见图5，由图5可见，该步骤可以有效分割出静态手势区域，去除复杂的背景。

实施例2

本实施例的手势图像来自美国手势语言数据集(American Sign Language,ASL)，该库包括Kinect采集的彩色图像和深度图像各60000幅图像。

本实施例选择一幅长为184，宽为178的深度图像及对应的彩色图像，深度信息静态手势分割方法分割步骤如下：

1、将深度图像转换为等大小的深度灰度图像

该步骤与实施例1相同。

2、确定深度灰度图像中手势区域灰度

该步骤与实施例1相同。

3、将深度灰度图像转换成二值图像

根据深度灰度图像中(x,y)处像素点的灰度值、手势区域灰度d为54与设定的阈值T为5的关系，用式(6)判断深度灰度图像中(x,y)处像素点的灰度值、手势区域灰度d和预先设定的阈值T的关系，得到手势区域的二值图像：

$IsHand(x,y)=\{\begin{array}{c}0,T<|G(x,y)-d|<255\\ 1,|G(x,y)-d|\&le;T\end{array}---\left(6\right)$

式中x为图像的横向取值，y为图像的纵向取值，d为手势区域的灰度，G(x,y)为调整后深度灰度图像(x,y)处像素点的灰度值，IsHand(x,y)为手势区域的二值图像(x,y)处像素点的值0或1，0代表背景，1代表目标。

4、平滑处理二值图像得到掩模图像

将步骤3中的二值图像采用形态学闭运算进行平滑处理，得到掩模图像。平滑处理步骤为：

(1)观察二值图像中噪声块的形状和大小，最大噪声块中的像素点排列成m行n列的矩阵，确定形态学闭运算中结构元素SE为p行q列的矩阵，在该矩阵中，元素为1，其中q≥m，p≥n。本实施例中m为8，n为8，p为9，q为9。

(2)用式(7)对手势区域二值图像IsHand(x,y)进行形态学闭运算，得到掩模图像。

yanmo(x,y)＝(IsHand(x,y)+SE)ΘSE (7)

式中x为图像的横向取值，y为图像的纵向取值，+为数学形态学膨胀运算符，Θ为数学形态学腐蚀运算符。

其它步骤与实施例1相同，得到静态手势区域图像。

实施例3

本实施例的手势图像来自美国手势语言数据集(American Sign Language,ASL)，该库包括Kinect采集的彩色图像和深度图像各60000幅图像。

本实施例选择一幅长为184，宽为178的深度图像及对应的彩色图像，深度信息静态手势分割方法分割步骤如下：

1、将深度图像转换为等大小的深度灰度图像

该步骤与实施例1相同。

2、确定深度灰度图像中手势区域灰度

该步骤与实施例1相同。

3、将深度灰度图像转换成二值图像

根据深度灰度图像中(x,y)处像素点的灰度值、手势区域灰度d为54与设定的阈值T为15的关系，用式(8)判断深度灰度图像中(x,y)处像素点的灰度值、手势区域灰度d和预先设定的阈值T的关系，得到手势区域的二值图像。

$IsHand(x,y)=\{\begin{array}{c}0,T<|G(x,y)-d|<255\\ 1,|G(x,y)-d|\&le;T\end{array}---\left(8\right)$

式中x为图像的横向取值，y为图像的纵向取值，d为手势区域的灰度，G(x,y)为调整后深度灰度图像(x,y)处像素点的灰度值，IsHand(x,y)为手势区域的二值图像(x,y)处像素点的值0或1，0代表背景，1代表目标。

4、平滑处理二值图像得到掩模图像

将步骤3中的二值图像采用形态学闭运算进行平滑处理，得到掩模图像。平滑处理步骤为：

(1)观察二值图像中噪声块的形状和大小，最大噪声块中的像素点排列成m行n列的矩阵，确定形态学闭运算中结构元素SE为p行q列的矩阵，在该矩阵中，元素为1，其中q≥m，p≥n。本实施例中m为3，n为4，p为4，q为4。

(2)用式(9)对手势区域二值图像IsHand(x,y)进行形态学闭运算，得到掩模图像。

yanmo(x,y)＝(IsHand(x,y)+SE)ΘSE (9)

式中x为图像的横向取值，y为图像的纵向取值，+为数学形态学膨胀运算符，Θ为数学形态学腐蚀运算符。

其它步骤与实施例1相同，得到静态手势区域图像。

实施例4

本实施例的手势图像来自美国手势语言数据集(American Sign Language,ASL)，该库包括Kinect采集的彩色图像和深度图像各60000幅图像。

本实施例选择一幅长为184，宽为178的深度图像及对应的彩色图像，深度信息静态手势分割方法分割步骤如下：

1、将深度图像转换为等大小的深度灰度图像

该步骤与实施例1相同。

2、确定深度灰度图像中手势区域灰度

该步骤与实施例1相同。

3、将深度灰度图像转换成二值图像

根据深度灰度图像中(x,y)处像素点的灰度值、手势区域灰度d为54与设定的阈值T为20的关系，用式(10)判断深度灰度图像中(x,y)处像素点的灰度值、手势区域灰度d和预先设定的阈值T的关系，得到手势区域的二值图像：

$IsHand(x,y)=\{\begin{array}{c}0,T<|G(x,y)-d|<255\\ 1,|G(x,y)-d|\&le;T\end{array}---\left(10\right)$

式中x为图像的横向取值，y为图像的纵向取值，d为手势区域的灰度，G(x,y)为调整后深度灰度图像(x,y)处像素点的灰度值，IsHand(x,y)为手势区域的二值图像(x,y)处像素点的值0或1，0代表背景，1代表目标。

4、平滑处理二值图像得到掩模图像

将步骤3中的二值图像采用形态学闭运算进行平滑处理，得到掩模图像。平滑处理步骤为：

(1)观察二值图像中噪声块的形状和大小，最大噪声块中的像素点排列成m行n列的矩阵，确定形态学闭运算中结构元素SE为p行q列的矩阵，在该矩阵中，元素为1，其中q≥m，p≥n。本实施例中m为2，n为2，p为3，q为3。

(2)用式(11)对手势区域二值图像IsHand(x,y)进行形态学闭运算，得到掩模图像。

yanmo(x,y)＝(IsHand(x,y)+SE)ΘSE (11)

式中x为图像的横向取值，y为图像的纵向取值，+为数学形态学膨胀运算符，Θ为数学形态学腐蚀运算符。

其它步骤与实施例1相同，得到静态手势区域图像。

实施例5

在以上的实施例1～4中，将深度图像转换为等大小的深度灰度图像步骤1与实施例1相同。在确定深度灰度图像中手势区域灰度步骤2中，取深度灰度图像的中心位置像素点4邻域像素的灰度平均值为手势区域灰度d。4邻域为在深度灰度图像中心位置的上、下、左、右位置的像素点。

本实施例的4邻域像素为：深度灰度图像中心位置(89,92)的上、下、左、右位置像素点的值，分别为54、54、54、54，其平均值为手势区域灰度d，由下式确定d为54。

(54+54+54+54)/4＝54

其它步骤与相应的实施例相同，得到静态手势区域图像。

Claims (7)

1.一种深度信息静态手势分割方法，其特征在于由下述步骤组成：

(1)将深度图像转换为等大小的深度灰度图像

将深度图像中各个像素的深度值调整到灰度值为0～255，得到深度灰度图像，具体步骤是：

1)从深度图像中找到像素的最大深度值dmax

取图像矩阵中每行的最大值，从每行的最大值中选取一个最大值作为dmax值；

2)用式(1)将深度图像转换为深度灰度图像

G(x,y)＝D(x,y)/dmax×255 (1)

式中D(x,y)是深度图像中(x,y)处像素点的深度值，dmax为一幅深度图像中像素的最大深度值，G(x,y)是调整后深度灰度图像(x,y)处像素点的灰度值，x为图像的横向取值，y为图像的纵向取值；

(2)确定深度灰度图像中手势区域灰度

取深度灰度图像的中心位置像素点4邻域或8邻域像素的灰度平均值为手势区域灰度d；

(3)将深度灰度图像转换成二值图像

根据深度灰度图像中(x,y)处像素点的灰度值、手势区域灰度d与设定的阈值T的关系，用式(2)判断深度灰度图像中(x,y)处像素点的灰度值、手势区域灰度d和预先设定的阈值T的关系，得到手势区域的二值图像：

$IsHand\left(x,y\right)=\left\{\begin{array}{c}0,T<|G\left(x,y\right)-d|<255\\ 1,|G\left(x,y\right)-d|\&le;T\end{array}\right.---\left(2\right)$

式中x为图像的横向取值，y为图像的纵向取值，d为手势区域的灰度，G(x,y)为调整后深度灰度图像(x,y)处像素点的灰度值，IsHand(x,y)为手势区域的二值图像(x,y)处像素点的值0或1，0代表背景，1代表目标；

上述的阈值T为5～20；

(4)平滑处理二值图像得到掩模图像

将步骤(3)中的二值图像采用形态学闭运算进行平滑处理，得到掩模图像；

(5)确定亮度分量图像

从彩色图像中取红色分量、绿色分量、蓝色分量，设定红色分量的权重、绿色分量的权重、蓝色分量的权重，用式(3)从彩色图像中得到彩色图像的亮度分量图像：

I(x,y)＝Wr×R(x,y)+Wg×G(x,y)+Wb×B(x,y) (3)

式中x为图像的横向取值，y为图像的纵向取值，R(x,y)为彩色图像(x,y)处像素点的红色分量，G(x,y)为彩色图像(x,y)处像素点的绿色分量，B(x,y)为彩色图像(x,y)处像素点的蓝色分量，Wr为彩色图像的红色分量的权重，Wg为彩色图像的绿色分量的权重，Wb为彩色图像的蓝色分量的权重；

(6)分割出手势区域

将掩模图像与步骤(5)得到的亮度分量图像I(x,y)做逻辑与运算，得到静态手势区域图像。

2.根据权利要求1所述的深度信息静态手势分割方法，其特征在于：在确定深度灰度图像中手势区域灰度步(2)中，所述的取深度灰度图像的中心位置像素点8邻域像素的灰度平均值为手势区域灰度d。

3.根据权利要求1或2所述的深度信息静态手势分割方法，其特征在于：在确定深度灰度图像中手势区域灰度步骤(2)中，所述的8邻域为在深度灰度图像中心位置的上、下、左、右、左上、左下、右上、右下位置的像素点。

4.根据权利要求1所述的深度信息静态手势分割方法，其特征在于：在确定深度灰度图像中手势区域灰度步(2)中，所述的4邻域为在深度灰度图像中心位置的上、下、左、右位置的像素点。

5.根据权利要求1所述的深度信息静态手势分割方法，其特征在于：在将深度灰度图像转换成二值图像(3)中，所述的阈值T为5～15。

6.根据权利要求1所述的深度信息静态手势分割方法，其特征在于：在将深度灰度图像转换成二值图像(3)中，所述的阈值T为10。

7.根据权利要求1所述的深度信息静态手势分割方法，其特征在于所述的平滑处理二值图像得到掩模图像步骤(4)中的平滑处理步骤为：

(1)观察二值图像中噪声块的形状和大小，最大噪声块中的像素点排列成m行n列的矩阵，确定形态学闭运算中结构元素SE为p行q列的矩阵，在该矩阵中，元素为1，其中q≥m，p≥n，m和n取值为2～8，p和q取值为3～9、且p与q相等；

(2)用式(4)对手势区域二值图像IsHand(x,y)进行形态学闭运算，得到掩模图像：

yanmo(x,y)＝(IsHand(x,y)+SE)ΘSE (4)

式中x为图像的横向取值，y为图像的纵向取值，+为数学形态学膨胀运算符，Θ为数学形态学腐蚀运算符。