CN107292295A - 手势分割方法及装置 - Google Patents

Abstract

本申请提供了手势分割方法及装置，涉及教育教学技术领域，其中，该手势分割方法包括：首先，提取用户手势的特征点，然后，根据相邻帧手部特征点的位移描述手部运动状态，并且，运用有限自动状态机对手部运动状态进行划分以实现手势分割，通过上述手势分割方法，能够准确描述用户手势动作的各个状态，并运用有限自动状态机对其进行分割，使得课堂教学中的教学手势得以明确分割。

Description

手势分割方法及装置

技术领域

本发明涉及教育教学技术领域，尤其涉及手势分割方法及装置。

背景技术

随着3D摄像头的问世以及3D摄像头识别精度的不断提高，手势在人机交互中的应用研究越来越受到重视。基于深度图像信息的手势识别技术能通过获取手部的相关信息，并运用几何方法提取手势特征并分类，从而实现复杂环境下基于手势的人机交互。在当今的多媒体教学中，教师需要通过鼠标和键盘来控制多媒体设备以辅助课堂教学，这种情况下，教师被束缚在讲桌前，因此，不能更好的与学生进行互动，这样，教师在课堂教学中不能灵活发挥作用，课堂教学也很无趣。

在实际的课堂教学中，很多教学手势中并没有大幅度的肢体动作，而是一些精确到手指的动作，手势分割的研究较少，主要采用特定动作来确定手势的开始和结束，例如，以握拳表示手势开始，手掌张开表示手势结束。但是这种分割方法在环境复杂的状况下实时识别性差，同时会夹杂很多无效动作。并且，仅靠单一动作来分割手势的话，非常容易出错，分割效率低下。总之，实时识别动态手势时，手势分割动作没有明显的开始和结束标志，大量无效动作夹杂在其中，并对手势分割率等产生较大影响。

综上，目前关于在课堂教学中无法明确分割教学手势的问题，尚无有效的解决办法。

发明内容

有鉴于此，本发明实施例的目的在于提供了手势分割方法及装置，通过有限自动状态机等的运用，提高了对用户手势的分割效率。

第一方面，本发明实施例提供了手势分割方法，包括：

提取用户手势的特征点；

根据相邻帧手部特征点的位移描述手部运动状态，且，运用有限自动状态机对手部运动状态进行划分以实现手势分割。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，方法还包括：

从特征点中分别获取五个手指指尖的关节点坐标，且，第f帧关节点j的第一坐标为(X_f,j，Y_f,j，Z_f,j)，第f-1帧关节点j的第二坐标为(X_f-1,j，Y_f-1,j，Z_f-1,j)；

计算第一坐标和第二坐标之间的位移L_f,j，

当位移L_f,j小于预先设定的阈值时，判定手部静止，当位移L_f,j大于或者等于预先设定的阈值时，判定手部移动。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，手势分割方法还包括：

在特征点中提取掌心关节点的运动轨迹，从运动轨迹中获取掌心关节点的三维坐标，且，令P_i表示第i帧掌心关节点的三维坐标；

根据三维坐标求取掌心关节点在空间中的移动轨迹矢量，将移动轨迹矢量作为挥手类手势特征向量P，P＝{P₁-P₀,P₂-P₁,...P_f-1-P_f-2,P_f-P_f-1}。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，手势分割方法还包括：

采用八链码对手势特征向量进行二次编码；

求取手势特征向量中的每一个矢量与八链码中的八个基准方向的方向矢量的夹角，记作其中，V_i为矢量序列中的第i个矢量，E_j为八链码八个基准方向之一，θ为两个矢量的夹角；

计算夹角的最小值，用最小值的方向矢量对方向矢量进行归一化，使所有矢量均归一到八个基准方向上。

结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，手势分割方法还包括：

分别获取拇指关节点和其余四指关节点的三维坐标序列；

计算每一帧拇指关节点与其余四指关节点的距离，记作

其中，D_f,j,5表示第f帧关节点j和拇指关节点之间的欧式距离，Max为求最大值函数，Min为求最小值函数，T_j表示关节点j与拇指关节点之间距离的变化，j∈{9,13,17,21}，拇指关节点为拇指关节点，其余四指关节点记作关节点9，13，17，21。

第二方面，本发明实施例提供了手势分割装置，包括：

特征点获取模块用来提取用户手势的特征点；

手势分割模块用来根据相邻帧手部特征点的位移描述手部运动状态，且，运用有限自动状态机对手部运动状态进行划分以实现手势分割。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，还包括：

关节点坐标获取模块用来从特征点中分别获取五个手指指尖的关节点坐标，且，第f帧关节点j的第一坐标为(X_f,j，Y_f,j，Z_f,j)，第f-1帧关节点j的第二坐标为(X_f-1,j，Y_f-1,j，Z_f-1,j)；

关节点位移计算模块用来计算第一坐标和第二坐标之间的位移L_f,j，

手部状态判定模块用来当位移L_f,j小于预先设定的阈值时，判定手部静止，当位移L_f,j大于或者等于预先设定的阈值时，判定手部移动。

结合第二方面的第一种可能的实施方式，本发明实施例提供了第二方面的第二种可能的实施方式，其中，手势分割装置还包括：

三维坐标获取模块用来在特征点中提取掌心关节点的运动轨迹，从运动轨迹中获取掌心关节点的三维坐标，且，令P_i表示第i帧掌心关节点的三维坐标；

手势特征向量组成模块用来根据三维坐标求取掌心关节点在空间中的移动轨迹矢量，将移动轨迹矢量作为挥手类手势特征向量P，P＝{P₁-P₀,P₂-P₁,...P_f-1-P_f-2,P_f-P_f-1}。

结合第二方面的第二种可能的实施方式，本发明实施例提供了第二方面的第三种可能的实施方式，其中，手势分割装置还包括：

二次编码模块用来采用八链码对手势特征向量进行二次编码；

夹角计算模块用来求取手势特征向量中的每一个矢量与八链码中的八个基准方向的方向矢量的夹角，记作其中，V_i为矢量序列中的第i个矢量，E_j为八链码八个基准方向之一，θ为两个矢量的夹角；

矢量归一化模块用来计算夹角的最小值，用最小值的方向矢量对方向矢量进行归一化，使所有矢量均归一到八个基准方向上。

结合第二方面的第三种可能的实施方式，本发明实施例提供了第二方面的第四种可能的实施方式，其中，手势分割装置还包括：

三维坐标序列获取模块用来分别获取拇指关节点和其余四指关节点的三维坐标序列；

距离计量模块用来计算每一帧拇指关节点与其余四指关节点的距离，记作其中，D_f,j,5表示第f帧关节点j和拇指关节点之间的欧式距离，Max为求最大值函数，Min为求最小值函数，T_j表示关节点j与拇指关节点之间距离的变化，j∈{9,13,17,21}，拇指关节点为拇指关节点，其余四指关节点记作关节点9，13，17，21。

本发明实施例提供的手势分割方法及装置，其中，上述手势分割方法包括：首先，提取用户手势的特征点，然后，根据相邻帧手部特征点的位移描述手部运动状态，并且，运用有限自动状态机对手部运动状态进行划分以实现手势分割，进而对课堂教学中的教学手势进行了明确分割。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的手势分割方法的流程图；图2示出了本发明实施例所提供的手势分割装置的连接图；

图3示出了本发明实施例所提供的手势分割装置的结构框架图；

图4示出了本发明实施例所提供的手势分割装置的结构连接图。

图标：1-特征点获取模块；2-手势分割模块；3-关节点坐标获取模块；4-关节点位移计算模块；5-手部状态判定模块；6-二次编码模块；7-夹角计算模块；8-矢量归一化模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在现实的教学过程中，很多教学手势中并没有大幅度的肢体动作，而是一些精确到手指的细微的动作，另外，由于针对手势分割的研究较少，主要采用特定动作来确定手势的开始和结束，例如，在一种情况下，以握拳表示手势开始，手掌张开表示手势结束，在另一种情况下，以竖拇指表示手势开始，手掌张开表示手势结束，这样，导致难以统一实现手势的分割。而且，在环境复杂的状况下，特别是环境会影响用户手势的情况下，用户手势会夹杂很多无效动作，这样，仅靠单一动作来分割手势的话，分割效率低下，有时候会导致分割错误的情况出现。

基于此，本发明实施例提供了手势分割方法及装置，下面通过实施例进行描述。

实施例1

参见图1，本实施例提出的手势分割方法具体包括以下步骤：

步骤S101：提取用户手势的特征点。

提取用户手势的特征点，以该特征点为基准来判定用户手势的实际意义。通常，由3D摄像头来采集用户手势的特征点，3D摄像头通常分为远景和近景两种，在本实施例中，使用RealSense近景3D摄像头来完成用户手势的采集。

步骤S102：根据相邻帧手部特征点的位移描述手部运动状态，并且，运用有限自动状态机对手部运动状态进行划分以实现手势分割。

这样，当获取到上述特征点后，将其按照相邻帧手部的位移进行运动状态的描述，具体的是分为无效状态(No)、开始(Start)、准备(Prepare)、手势(Gesture)、结束检测(Ending)和结束(End)，这样，一个完整的手势动作包括5个运动阶段：开始、准备、手势、结束检测和结束，并且，各个阶段之间的转换制定了严格的标准，即，有效手势时会包含上述5个运动阶段；无效手势则不完整地经历上述5个运动阶段，而且，会包含无效状态。

之后，运用有限自动状态机对手部运动状态进行划分以实现手势分割。该有限状态自动机定义如下方的公式所示。

M＝(S,∑,f,S0,Z)

其中，运动状态S＝{No，Start，Prepare，Gesture，Ending，End}，∑表示用于区分的停顿，∑＝{NH，HM，HDM，HDM2}，M表示集合，集合M中的元素为手部运动的各个状态，以手部运动状态作为各阶段相互转换的依据，手势集合f：S×Σ→Q，f(q，a)＝p，这里，Q，q，p均表示转换参量，S0为初始状态，S0∈S，Z是终态集，通过统计分析发现，在一个手势的开始和结束，手部会做一个短暂的停顿，速度会发生明显变化，所以利用相邻帧手部位移来描述手部运动状态，能够有效快速的识别出有效手势。

此外，该手势分割方法还包括：首先，从特征点中分别获取五个手指指尖的关节点坐标，且，第f帧关节点j的第一坐标为(X_f,j，Y_f,j，Z_f,j)，第f-1帧关节点j的第二坐标为(X_f-1,j，Y_f-1,j，Z_f-1,j)，之后，计算第一坐标和第二坐标之间的位移L_f,j，这样，当位移L_f,j小于预先设定的阈值时，判定手部静止，当位移L_f,j大于或者等于预先设定的阈值时，判定手部移动。通过上述以手指指尖的关节点坐标为核心的计算过程，能够有效判定手部的运动状态。

此外，为了有效地区分手势，本申请能够根据手部的位移，将手势分成挥手类手势和非挥手类手势。挥手类手势包括表1中定义的上、下、左、右挥手，其特点是手部的整体移动，没有涉及到具体的手指动作，所以选择掌心关节点的运动轨迹作为挥手类手势特征向量。同时，该手势分割方法还包括：在特征点中提取掌心关节点的运动轨迹，从运动轨迹中获取掌心关节点的三维坐标，并且，令P_i表示第i帧掌心关节点的三维坐标，根据三维坐标求取掌心关节点在空间中的移动轨迹矢量，将移动轨迹矢量作为挥手类手势特征向量P，P＝{P₁-P₀,P₂-P₁,...P_f-1-P_f-2,P_f-P_f-1}。

另外，为了减少模板匹配的运算量，保证手势识别的实时性。该手势分割方法还包括：采用八链码对手势特征向量进行二次编码，求取手势特征向量中的每一个矢量与八链码中的八个基准方向的方向矢量的夹角，记作其中，V_i为矢量序列中的第i个矢量，E_j为八链码八个基准方向之一，θ为两个矢量的夹角，计算夹角的最小值，用最小值的方向矢量对方向矢量进行归一化，使所有矢量均归一到八个基准方向上。

非挥手类手势包括表1中定义的单击、全手抓和捏手势，通过观察发现其更多是具体手指的动作，显著的特点是手指之间的相互接触和分离。为此，该手势分割方法还包括：分别获取拇指关节点和其余四指关节点的三维坐标序列，计算每一帧拇指关节点与其余四指关节点的距离，记作其中，D_f,j,5表示第f帧关节点j和拇指关节点之间的欧式距离，Max为求最大值函数，Min为求最小值函数，T_j表示关节点j与拇指关节点之间距离的变化，j∈{9,13,17,21}，拇指关节点为拇指关节点，其余四指关节点记作关节点9，13，17，21。

此外，手势分割方法还包括：

计算食指、中指和无名指指尖最大位移归一化后的值时，利用公式

分别求取食指、中指和无名指指尖所对应的每一帧关节点的位移，记录最大值，用手掌关节点之间的最大距离描述手掌半径，最终求得相对变化如下述公式所示。

其中，L_f，j表示第f帧关节点j的位移，D_f，0，6表示第f帧手掌关节点0和手掌关节点6之间的距离，F_j表示关节点j的最大位移与手掌半径的相对变化。

此外，手势分割方法还包括：计算拇指与食指夹角最小值时，提取关节点3和拇指关节点所连接向量与手掌关节点6和食指关节点所连接向量，计算每一帧两个向量的夹角大小，记录其最小值，最终求得两个向量最小夹角如以下公式所示。

其中，arccos表示反余弦函数，A_f表示第f帧关节点3与拇指关节点所连接向量，B_f表示第f帧手掌关节点6与食指关节点所连接向量。由以上特征组成非挥手类手势特征向量T＝{T₉,T₁₃,T₁₇,T₂₁,F₉,F₁₃,F₁₇,S}。

综上所述，本实施例提供的手势分割方法包括：首先，提取用户手势的特征点，然后，根据相邻帧手部特征点的位移描述手部运动状态，并且，运用有限自动状态机对手部运动状态进行划分以实现手势分割，通过上述手势分割方法，能够将教学过程中的用户手势进行有效分割，进而使教学过程更加生动。

实施例2

参见图2、图3和图4，本实施例提供了手势分割装置包括：依次相连的特征点获取模块1和手势分割模块2，工作时，特征点获取模块1用来提取用户手势的特征点，手势分割模块2用来根据相邻帧手部特征点的位移描述手部运动状态，并且，运用有限自动状态机对手部运动状态进行划分以实现手势分割。

该手势分割装置还包括：依次相连的关节点坐标获取模块3、关节点位移计算模块4和手部状态判定模块5，工作时，关节点坐标获取模块3用来从特征点中分别获取五个手指指尖的关节点坐标，并且，第f帧关节点j的第一坐标为(X_f,j，Y_f,j，Z_f,j)，第f-1帧关节点j的第二坐标为(X_f-1,j，Y_f-1,j，Z_f-1,j)，关节点位移计算模块4用来计算第一坐标和第二坐标之间的位移L_f,j，手部状态判定模块5用来当位移L_f,j小于预先设定的阈值时，判定手部静止，当位移L_f,j大于或者等于预先设定的阈值时，判定手部移动。

该手势分割装置还包括：依次相连的三维坐标获取模块和手势特征向量组成模块，使用时，三维坐标获取模块用来在特征点中提取掌心关节点的运动轨迹，从运动轨迹中获取掌心关节点的三维坐标，且，令P_i表示第i帧掌心关节点的三维坐标，手势特征向量组成模块用来根据三维坐标求取掌心关节点在空间中的移动轨迹矢量，将移动轨迹矢量作为挥手类手势特征向量P，P＝{P₁-P₀,P₂-P₁,...P_f-1-P_f-2,P_f-P_f-1}。

该手势分割装置还包括：依次相连的二次编码模块6、夹角计算模块7和矢量归一化模块8，使用时，二次编码模块6用来采用八链码对手势特征向量进行二次编码，夹角计算模块7用来求取手势特征向量中的每一个矢量与八链码中的八个基准方向的方向矢量的夹角，记作其中，V_i为矢量序列中的第i个矢量，E_j为八链码八个基准方向之一，θ为两个矢量的夹角，矢量归一化模块8用来计算夹角的最小值，用最小值的方向矢量对方向矢量进行归一化，使所有矢量均归一到八个基准方向上。

该手势分割装置还包括：依次相连的三维坐标序列获取模块和距离计量模块，三维坐标序列获取模块用来分别获取拇指关节点和其余四指关节点的三维坐标序列，距离计量模块用来计算每一帧拇指关节点与其余四指关节点的距离，记作

其中，D_f,j,5表示第f帧关节点j和拇指关节点之间的欧式距离，Max为求最大值函数，Min为求最小值函数，T_j表示关节点j与拇指关节点之间距离的变化，j∈{9,13,17,21}，拇指关节点为拇指关节点，其余四指关节点记作关节点9，13，17，21。

综上所述，本实施例提供的手势分割装置包括：依次相连的特征点获取模块1和手势分割模块2，工作时，特征点获取模块1用来提取用户手势的特征点，手势分割模块2用来将根据相邻帧手部特征点的位移描述手部运动状态，且，运用有限自动状态机对手部运动状态进行划分以实现手势分割

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.手势分割方法，其特征在于，包括：

提取用户手势的特征点；

根据相邻帧手部所述特征点的位移描述手部运动状态，且，运用有限自动状态机对所述手部运动状态进行划分以实现手势分割。

2.根据权利要求1所述的手势分割方法，其特征在于，所述方法还包括：

从所述特征点中分别获取五个手指指尖的关节点坐标，且，第f帧关节点j的第一坐标为(X_f,j，Y_f,j，Z_f,j)，第f-1帧关节点j的第二坐标为(X_f-1,j，Y_f-1,j，Z_f-1,j)；

计算所述第一坐标和所述第二坐标之间的位移L_f,j，

当所述位移L_f,j小于预先设定的阈值时，判定手部静止，当所述位移L_f,j大于或者等于预先设定的阈值时，判定手部移动。

3.根据权利要求2所述的手势分割方法，其特征在于，所述方法还包括：

在所述特征点中提取掌心关节点的运动轨迹，从所述运动轨迹中获取掌心关节点的三维坐标，且，令P_i表示第i帧掌心关节点的三维坐标；

根据所述三维坐标求取掌心关节点在空间中的移动轨迹矢量，将所述移动轨迹矢量作为挥手类手势特征向量P，P＝{P₁-P₀,P₂-P₁,...P_f-1-P_f-2,P_f-P_f-1}。

4.根据权利要求3所述的手势分割方法，其特征在于，所述方法还包括：

采用八链码对所述手势特征向量进行二次编码；

求取所述手势特征向量中的每一个矢量与八链码中的八个基准方向的方向矢量的夹角，记作其中，V_i为矢量序列中的第i个矢量，E_j为八链码八个基准方向之一，θ为两个矢量的夹角；

计算所述夹角的最小值，用所述最小值的方向矢量对所述方向矢量进行归一化，使所有矢量均归一到八个基准方向上。

5.根据权利要求4所述的手势分割方法，其特征在于，所述方法还包括：

分别获取拇指关节点和其余四指关节点的三维坐标序列；

计算每一帧拇指关节点与其余四指关节点的距离，记作

其中，D_f,j,5表示第f帧关节点j和拇指关节点之间的欧式距离，Max为求最大值函数，Min为求最小值函数，T_j表示关节点j与拇指关节点之间距离的变化，j∈{9,13,17,21}，拇指关节点为拇指关节点，其余四指关节点记作关节点9，13，17，21。

6.手势分割装置，其特征在于，包括：

特征点获取模块，用于提取用户手势的特征点；

手势分割模块，用于根据相邻帧手部所述特征点的位移描述手部运动状态，且，运用有限自动状态机对所述手部运动状态进行划分以实现手势分割。

7.根据权利要求6所述的手势分割装置，其特征在于，还包括：

关节点坐标获取模块，用于从所述特征点中分别获取五个手指指尖的关节点坐标，且，第f帧关节点j的第一坐标为(X_f,j，Y_f,j，Z_f,j)，第f-1帧关节点j的第二坐标为(X_f-1,j，Y_f-1,j，Z_f-1,j)；

关节点位移计算模块，用于计算所述第一坐标和所述第二坐标之间的位移L_f,j，

手部状态判定模块，用于当所述位移L_f,j小于预先设定的阈值时，判定手部静止，当所述位移L_f,j大于或者等于预先设定的阈值时，判定手部移动。

8.根据权利要求7所述的手势分割装置，其特征在于，还包括：

三维坐标获取模块，用于在所述特征点中提取掌心关节点的运动轨迹，从所述运动轨迹中获取掌心关节点的三维坐标，且，令P_i表示第i帧掌心关节点的三维坐标；

手势特征向量组成模块，用于根据所述三维坐标求取掌心关节点在空间中的移动轨迹矢量，将所述移动轨迹矢量作为挥手类手势特征向量P，P＝{P₁-P₀,P₂-P₁,...P_f-1-P_f-2,P_f-P_f-1}。

9.根据权利要求8所述的手势分割装置，其特征在于，还包括：

二次编码模块，用于采用八链码对所述手势特征向量进行二次编码；

夹角计算模块，用于求取所述手势特征向量中的每一个矢量与八链码中的八个基准方向的方向矢量的夹角，记作其中，V_i为矢量序列中的第i个矢量，E_j为八链码八个基准方向之一，θ为两个矢量的夹角；

矢量归一化模块，用于计算所述夹角的最小值，用所述最小值的方向矢量对所述方向矢量进行归一化，使所有矢量均归一到八个基准方向上。

10.根据权利要求9所述的手势分割装置，其特征在于，还包括：

三维坐标序列获取模块，用于分别获取拇指关节点和其余四指关节点的三维坐标序列；

距离计量模块，用于计算每一帧拇指关节点与其余四指关节点的距离，记作其中，D_f,j,5表示第f帧关节点j和拇指关节点之间的欧式距离，Max为求最大值函数，Min为求最小值函数，T_j表示关节点j与拇指关节点之间距离的变化，j∈{9,13,17,21}，拇指关节点为拇指关节点，其余四指关节点记作关节点9，13，17，21。