CN105913007A - 基于3d点云数据和表观特征的手势识别方法 - Google Patents

Abstract

本发明提供了一种基于3D点云数据和表观特征的手势识别方法，包括S1采集手势的3D点云数据；S2对3D点云数据进行阈值分割并进行灰度转换，得二值图像；S3预处理二值图像以去除二值图像中空洞及噪声点；S4基于二值图像提取手势的表观特征；S5根据手势库中手势样本和待识别手势的表观特征进行手势识别。本发明可同时满足手势识别的精度和时效的要求，具备一定的鲁棒性与普适性，实用性强。

Description

基于3D点云数据和表观特征的手势识别方法

技术领域

本发明属于人机交互技术领域，尤其涉及一种基于3D点云数据和表观特征的手势识别方法。

背景技术

与自然语言一样，手势语言也能表达出丰富的信息，并且手势语言更为直观、简洁。因此，手势语言成为实现人机交互的一个重要途径。手势识别则是利用手势语言进行人机交互的关键所在。

手势识别一般分为三个步骤过程：手势获取与分割、特征提取和手势识别。手势获取通常可以利用各种相机设备实现。而相机获取的场景往往很复杂，除了手势之外还有其他信息，因而需要进行手势分割，手势分割的意义是为了让有意义的区域与其他部分(例如背景)产生明显差异，从而得到具体手势的区域范围。为了高效进行手势识别，需要先进行特征提取，而手势特征包括很多种，不同手势具有各自不同的特征，将各种手势的特征提取出来，得到一个特征库，特征库是进行手势识别的基础。提取完手势特征之后即可进行手势识别，根据不同手势的不同特征，最终可识别出手势，解译出手势语言。

为了高效地进行人机交互，手势识别具有高精度、高速率等要求。传统手势识别方法大多是基于RGB图像实现。对于RGB图像，手势分割成为一项重要挑战，要从复杂多变的背景中分割出手势是十分困难的，固定的手势分割算法难以满足场景的变化，这严重影响手势特征的提取，使特征的稳定性较差，导致手势识别精度不理想。

近年来深度图像(Depth Image)逐渐用来进行手势识别。由于深度图像不仅包含场景的亮度信息，同时也包含场景中不同位置的距离信息，这为手势分割提供了极大的便利。基于深度图像，出现了很多手势识别方法，这些方法流程大都如下：先根据深度图像进行手势分割；选取大量的正负样本，利用相应的分类器(如支持向量机分类器SVM、adaboost分类器)进行特征训练，得到特征库；根据特征库进行待定手势的识别。而以上识别过程往往需要大量的训练样本，导致工作量巨大，并且训练过程也比较耗时，难以同时满足时效与精度的要求。

综合分析，目前手势识别存在以下问题：

(1)基于RGB图像的手势识别方法时效性好，但是鲁棒性和普适性较差，难以满足手势场景的变化，识别精度得不到保障；

(2)基于深度图像的手势识别方法识别精度高，但计算复杂度高且存储空间大，不易于硬件实现。

发明内容

针对现有技术存在的不足，本发明提供了一种基于3D点云数据和表观特征的手势识别方法，该方法可同时满足精度和时效要求，且易于实现。

为解决上述技术问题，本发明采用如下的技术方案：

一种基于3D点云数据和表观特征的手势识别方法，包括：

S1采集手势的3D点云数据，3D点云数据包括各点的三维坐标(x,y,z)；

S2对3D点云数据进行阈值分割并进行灰度转换，得二值图像；阈值分割中，考虑3D点云数据采集时手势与相机的相对位置关系，并通过实验调整确定手势区域的坐标范围，根据确定的坐标范围进行阈值分割，获得手势区域；

S3预处理二值图像以去除二值图像中空洞及噪声点；

S4基于二值图像提取手势的表观特征，表观特征包括伸出手指数、分布特征和相邻伸出手指间角度，本步骤具体为：

S4-1基于二值图像提取手势区域的中心点C；

S4-2构造辅助图形，辅助图形为以中心点C为圆心、r_n为半径的K个共圆心的圆形，或为以中心点C为中心、对角线长2r_n的K个共中心的正方形，正方形方向要保证中心点C(x₀,y₀)到同一正方形上所有点(x_j,y_j)的距离d相等，d定义为：d＝|x_j-x₀|+|y_j-y₀|；D为手势区域边缘到中心点C的最大距离，n＝1,2,3...K，8≤K≤12，所得辅助图形从内向外依次编号为辅助图形1、2......K；

S4-3辅助图形k1与手势区域的交点数即伸出手指数，辅助图形k1根据试验确定；

S4-4以辅助图形k2为手掌区域和伸出手指区域的边界，即辅助图形k2内和外的手势区域分别为手掌区域和伸出手指区域，手掌区域和伸出手指区域的面积比即分布特征R；辅助图形k2根据试验确定；

S4-5获得各伸出手指区域与辅助图形k1的相交区域的中心点C'，中心点C'与中心点C的连线记为边，相邻边的夹角即相邻伸出手指间角度；若无相邻边，则不提取相邻伸出手指间角度；

S5根据手势库中手势样本和待识别手势的表观特征进行手势识别，本步骤具体为：

S5-1判断待识别手势的分布特征R大小，若0.7＜R＜1，则伸出手指数为0的手势样本为待识别手势的手势，手势识别完成；否则，执行子步骤S5-2；

S5-2与待识别手势伸出手指数N相同的手势样本即待识别手势的可能手势，若可能手势仅1个，该可能手势即待识别手势的手势，手势识别完成；否则，执行子步骤S5-3；

S5-3根据可能手势的相邻伸出手指间角度大小或各相邻伸出手指间角度间的大小关系以及形状，确定各可能手势对应的相邻伸出手指间角度或各相邻伸出手指间角度间的大小关系的范围，待识别手势的相邻伸出手指间角度或各相邻伸出手指间角度间的大小关系所落入范围对应的可能手势，即待识别手势的手势。

步骤S2中，采用下述公式进行阈值分割：

G＝{(x,y,z)|Min_x＜x＜Max_x,Min_y＜y＜Max_y,Min_z＜z＜Max_z}

其中，G表示手势区域；Min_x、Min_y、Min_z分别为x、y、z坐标范围的下限；Max_x、Max_y、Max_z分别为x、y、z坐标范围的上限。

步骤S3中，采用形态学中腐蚀和膨胀操作对二值图像进行预处理。

子步骤S4-1中，利用形态学中腐蚀操作提取手势区域中心点C。

子步骤S4-3和S4-5中，当K取10时，k1＝6；同时，k2＝5。

子步骤S5-3具体为：

若待识别手势的伸出手指数N为2，根据各可能手势的形状和相邻伸出手指间角度大小，确定各可能手势对应的相邻伸出手指间角度的范围，待识别手势的相邻伸出手指间角度落入范围所对应的可能手势，即待识别手势的手势。

子步骤S5-3具体为：

若待识别手势的伸出手指数N为3或4，根据各可能手势的形状和各相邻伸出手指间角度间的大小关系，确定各可能手势对应的各相邻伸出手指间角度间的大小关系的范围，待识别手势的各相邻伸出手指间角度间的大小关系落入范围所对应的可能手势，即待识别手势的手势。

与现有技术相比，本发明具有以下优点和有益效果：

(1)考虑到手势识别的精度要求，基于3D点云数据进行手势分割与特征提取，从而保证识别精度。

(2)考虑到手势识别的时效性，综合选取手势的多个表观特征进行手势识别，无需大量训练样本，计算复杂度小，简明高效，便于实现。

(3)对各种变化场景中手势识别效果良好，具备一定的鲁棒性与普适性，实用性强。

附图说明

图1是本发明具体实施方式的流程图；

图2是本发明具体实施方式中手势库示意图；

图3是本发明具体实施方式中基于决策树的手势识别示意图。

具体实施方式

下面将结合具体实施方式进一步说明本发明技术方案，本发明技术方案可采用计算机软件技术自动运行实现。

传统基于RGB图像的手势识别方法存在识别精度不高的问题，基于深度图像的手势识别方法中常用的特征训练算法具有计算复杂度高、样本量需求大等问题，导致时效性差，不利于实际应用。本发明基于3D点云数据进行手势识别，利用3D点云数据的距离信息，以提高手势识别精度；同时，选取可高效提取的表观特征进行手势识别，所提取的表观特征能够代表手势的典型特征，从而大大降低计算复杂度，使得手势识别的精度与速度都达到理想效果。

下面将以图2所示9种手势为例说明本发明具体实施方式，本具体实施中，以SwissRanger 4000相机采集手势的3D点云数据。

见图1，本发明基于相机坐标系进行，具体步骤如下：

S1采集图2所示手势库中各手势的3D点云数据，3D点云数据包括场景中各点的三维坐标(x,y,z)，坐标原点为相机摄影中心。

本具体实施中，利用SwissRanger 4000相机采集3D点云数据。

S2对3D点云数据进行阈值分割并进行灰度转换，得各手势的二值图像。

本步骤进一步包括：

S2-1采用式(1)对3D点云数据进行阈值分割，提取手势区域G。

G＝{(x,y,z)|Min_x＜x＜Max_x,Min_y＜y＜Max_y,Min_z＜z＜Max_z} (1)

式(1)中，G表示分割后的手势区域，Min_x、Max_x分别为手势区域三维坐标x取值范围的下限和上限，Min_y、Max_y分别为手势区域三维坐标y取值范围的下限和上限，Min_z、Max_z分别为手势区域三维坐标z取值范围的下限和上限。

Min_x、Max_x、Min_y、Max_y、Min_z、Max_z等坐标阈值用来提取3D点云数据中手势区域，这些坐标阈值与3D点云数据采集时手势与相机的相对位置关系有关，即，根据手势与相机的相对位置关系选择不同的Min_x、Max_x、Min_y、Max_y、Min_z、Max_z值，基于选择的坐标阈值，进行步骤S3～S5，手势识别最佳效果对应的坐标阈值即确定的坐标阈值。本具体实施中，各坐标阈值确定为：Min_x＝-150mm，Max_x＝150mm，Min_y＝-150mm，Max_y＝150mm，Min_z＝200mm，Max_z＝500mm。

S2-2进行灰度转换得二值图像，所得二值图像中手势区域灰度值为1，非手势区域灰度值为0。

S3预处理二值图像以去除二值图像中空洞及噪声点。

本具体实施中，采用形态学中腐蚀和膨胀操作对二值图像进行预处理。

S4基于二值图像提取手势的表观特征，所述表观特别包括伸出手指数、相邻的伸出手指间角度及手势区域的分布特征。

本步骤进一步包括：

S4-1基于二值图像提取手势区域中心点C。

提取手势区域中心点C为数字图像处理领域的常规技术，例如，可利用形态学中腐蚀操作提取手势区域中心点C。为便于理解，下面将手势区域中心点C的提取过程进行具体说明。

进行一次腐蚀操作过程中，若二值图像上目标点为边界点，则将该目标点灰度值设为0。若干次腐蚀后，二值图像边界不断向内部收缩，直到只留下少量目标点时停止腐蚀。本具体实施中，当留下目标点数少于8时停止腐蚀。这些留下目标点的中心点即手势区域中心点C。所述的目标点指二值图像中灰度值1的点。

S4-2根据手势区域中心点C做辅助图形。

根据手势区域边缘到中心点C的最大距离D定义由r_n组成的序列r：

$r_n=n*\frac{D}{K}---\left(2\right)$

式(2)中，n＝1,2,3...K，K优选为8～12范围内自然数。

本具体实施方式中，K＝10。

根据做辅助图形，辅助图形可以为圆形或正方形，具体为：

以手势区域中心点C为圆心，以r_n为半径做10个共圆心的圆形，由内向外依次编号为辅助图形1、2、......10；或，以手势区域中心点C为中心，做对角线长2r_n的10个共中心的正方形，由内向外依次编号为辅助图形1、2、......10。本发明中，正方形方向要保证中心点C(x₀,y₀)到同一正方形上所有点(x_j,y_j)的距离d相等，d定义为：d＝|x_j-x₀|+|y_j-y₀|。

S4-3根据辅助图形与手势区域的相交情况确定伸出手指数N。

大量实验表明，辅助图形6与手势区域的交点数即伸出手指数N。

S4-4计算手势区域的分布特征。

分布特征用来描述伸出手指区域与手掌区域的面积关系。大量实验表明，辅助图形5可较好区分伸出手指区域与手掌区域，即，以辅助图形5为边界，位于辅助图形5内的手势区域可认为是手掌区域，其面积记为P1；位于辅助图形5外的手势区域可认为伸出手指区域，其面积记为P2，手势区域分布特征以R为：

$R=\frac{P1}{P2}---\left(3\right)$

S4-5根据辅助图形与手势区域的相交情况确定相邻伸出手指间角度A_i。

本子步骤具体为：

分别获得各伸出手指区域与辅助图形6的相交区域的中心点C'，中心点C'与中心点C连线记为边，相邻边的夹角即相邻伸出手指间角度A_i。若无相邻边，则不提取相邻伸出手指间角度。

S5基于提取的表观特征，利用决策树进行手势识别。

下面将以图2所示手势库为例，进一步说明手势识别的具体实施方式。

S5-1判断手势的分布特征R值大小，若0.7＜R＜1，则手势为手势库中手势9，手势识别完成；否则，执行子步骤S5-2；

S5-2判断手势的伸出手指数N值，若N＝1或4或5，采用规则(4)识别手势；若N＝2或3，则执行子步骤S5-3。

S5-3若N＝2，判断手势的相邻伸出手指间角度大小，若0°<A₁<45°，则手势为手势库中手势2；否则，为手势库中手势6。若N＝3，判断手势的相邻伸出手指间角度大小，若0.3*A₂<A₁<0.8*A₂，则手势为手势库中手势7；若0.3*A₁<A₂<0.8*A₁，则手势为手势库中手势8；否则，手势为手势库中手势3。

实验表明，采用本发明方法可准确高效识别出图2手势库中9种手势。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明，并不用于限定本发明。本发明所属技术领域的技术人员可以对所描述的具体实施做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于3D点云数据和表观特征的手势识别方法，其特征是，包括：

S1采集手势的3D点云数据，3D点云数据包括各点的三维坐标(x,y,z)；

S2对3D点云数据进行阈值分割并进行灰度转换，得二值图像；阈值分割中，考虑3D点云数据采集时手势与相机的相对位置关系，并通过实验调整确定手势区域的坐标范围，根据确定的坐标范围进行阈值分割，获得手势区域；

S3预处理二值图像以去除二值图像中空洞及噪声点；

S4基于二值图像提取手势的表观特征，表观特征包括伸出手指数、分布特征和相邻伸出手指间角度，本步骤具体为：

S4-1基于二值图像提取手势区域的中心点C；

S4-2构造辅助图形，辅助图形为以中心点C为圆心、r_n为半径的K个共圆心的圆形，或为以中心点C为中心、对角线长2r_n的K个共中心的正方形，正方形方向要保证中心点C(x₀,y₀)到同一正方形上所有点(x_j,y_j)的距离d相等，d定义为：d＝|x_j-x₀|+|y_j-y₀|；D为手势区域边缘到中心点C的最大距离，n＝1,2,3...K，8≤K≤12，所得辅助图形从内向外依次编号为辅助图形1、2……K；

S4-3辅助图形k1与手势区域的交点数即伸出手指数，辅助图形k1根据试验确定；

S4-4以辅助图形k2为手掌区域和伸出手指区域的边界，即辅助图形k2内和外的手势区域分别为手掌区域和伸出手指区域，手掌区域和伸出手指区域的面积比即分布特征R；辅助图形k2根据试验确定；

S4-5获得各伸出手指区域与辅助图形k1的相交区域的中心点C'，中心点C'与中心点C的连线记为边，相邻边的夹角即相邻伸出手指间角度；若无相邻边，则不提取相邻伸出手指间角度；

S5根据手势库中手势样本和待识别手势的表观特征进行手势识别，本步骤具体为：

S5-1判断待识别手势的分布特征R大小，若0.7＜R＜1，则伸出手指数为0的手势样本为待识别手势的手势，手势识别完成；否则，执行子步骤S5-2；

S5-2与待识别手势伸出手指数N相同的手势样本即待识别手势的可能手势，若可能手势仅1个，该可能手势即待识别手势的手势，手势识别完成；否则，执行子步骤S5-3；

S5-3根据可能手势的相邻伸出手指间角度大小或各相邻伸出手指间角度间的大小关系以及形状，确定各可能手势对应的相邻伸出手指间角度或各相邻伸出手指间角度间的大小关系的范围，待识别手势的相邻伸出手指间角度或各相邻伸出手指间角度间的大小关系所落入范围对应的可能手势，即待识别手势的手势。

2.如权利要求1所述的基于3D点云数据和表观特征的手势识别方法，其特征是：

步骤S2中，采用下述公式进行阈值分割：

G＝{(x,y,z)|Min_x＜x＜Max_x,Min_y＜y＜Max_y,Min_z＜z＜Max_z}

其中，G表示手势区域；Min_x、Min_y、Min_z分别为x、y、z坐标范围的下限；Max_x、Max_y、Max_z分别为x、y、z坐标范围的上限。

3.如权利要求1所述的基于3D点云数据和表观特征的手势识别方法，其特征是：

步骤S3中，采用形态学中腐蚀和膨胀操作对二值图像进行预处理。

4.如权利要求1所述的基于3D点云数据和表观特征的手势识别方法，其特征是：

子步骤S4-1中，利用形态学中腐蚀操作提取手势区域中心点C。

5.如权利要求1所述的基于3D点云数据和表观特征的手势识别方法，其特征是：

子步骤S4-3和S4-5中，当K取10时，k1＝6；同时，k2＝5。

6.如权利要求1所述的基于3D点云数据和表观特征的手势识别方法，其特征是：

子步骤S5-3具体为：

若待识别手势的伸出手指数N为2，根据各可能手势的形状和相邻伸出手指间角度大小，确定各可能手势对应的相邻伸出手指间角度的范围，待识别手势的相邻伸出手指间角度落入范围所对应的可能手势，即待识别手势的手势。

7.如权利要求1所述的基于3D点云数据和表观特征的手势识别方法，其特征是：

子步骤S5-3具体为：

若待识别手势的伸出手指数N为3或4，根据各可能手势的形状和各相邻伸出手指间角度间的大小关系，确定各可能手势对应的各相邻伸出手指间角度间的大小关系的范围，待识别手势的各相邻伸出手指间角度间的大小关系落入范围所对应的可能手势，即待识别手势的手势。