CN109993073B - 一种基于Leap Motion的复杂动态手势识别方法 - Google Patents

Abstract

本发明涉及一种基于Leap Motion的复杂动态手势识别方法，属于人工智能与人机交互领域。本发明将静态手势识别与连续轨迹识别用复杂动态手势识别中，通过体感传感器捕捉示用户示教过程中的手部信息，采用支持向量机与基于表示学习的特征向量提取方式进行静态手势学习，对示教过程中的静态手势均标记为指令状态。对处于指令状态下的静态手势，提取各手指远端骨顶点与手掌中心点的信息，生成连续的动态轨迹信息进行学习。对复杂动态手势可以逐帧分解，判断是否为指令手势后，进行识别指令。本发明大大提高了对动态手势识别的准确度，降低了对动态手势的复杂度的要求，并且基于视觉采集设备使人机交互的过程更加友好，更加自然。

Description

一种基于Leap Motion的复杂动态手势识别方法

技术领域

本发明属于人工智能和人机交互领域，特别涉及基于体感传感器的人机交互功能的实现，即一种基于Leap Motion的复杂动态手势识别方法。

背景技术

手是人类在长期进化过程中形成的最完美的工具。手势作为人类最早使用、至今仍广泛应用的一种交流手段，被赋予了大量特殊含义，承载了超过90％的肢体语言，是人类在与机器人交互中最重要的一种方式。能够快速精准的识别手势指令，对机器人控制的发展具有重要的意义。手势识别的研究是近年来的一个热点，目前依靠传感器与人工智能算法结合是手势识别的主要方法，但依靠不同传感器进行手势识别效果不一，且直接处理连续动态手势的方法严格限制了示教手势复杂度，得到的识别结果准确度较低。

面对动态手势识别过程中的问题，首先要确定使用何种传感器来进行交互数据的获取，也是手势识别的首要任务。手势识别领域获取信息一般采用两种形式：1.基于接触式硬件设备，如空间球、数据手套等穿戴式设备；2.基于视觉设备，如光学标记点、Kinect体感采集器、深度摄像头等设备。前者对人的舒适性和自然度有较大影响，对示教动作要求较高，成本较高，不符合以人为本的自然用户界面(Natural User Interface)。而基于视觉的识别系统可提高NUI性能，大大提高了交互体验，成本降低，更重要的是使用者可以在自然状态下进行操作，构建了用户使用复杂手势的基础。

其次，在处理基于视觉设备的传感器信息过程中，各种分类算法已被应用于手势识别领域并取得了一定的成果。对于现代机器学习任务，小样本下，算法本身对结果准确率的影响已经达到一个极限，而对结果影响更大的是采用什么样的流程来使用算法。将采集到的复杂动态手势信息拆分成静态手势进行逐帧识别，这种方法大大提高了手势识别过程中的准确度与稳定性，更重要的是依据静态手势识别的结果，可以过滤掉视觉传感器信息采集过程中的错误信息，对非指令手势不进行响应或识别，提高了准确度。

虽然通过视觉传感器，将动态手势逐帧拆分成静态手势进行识别有很多优点，但由于本质还是进行静态手势识别，所以在手势复杂度和完整性上依旧存在问题。与基于接触式传感器不同，基于视觉传感器进行复杂动态手势识别面临如下三个问题：(1)如何有效的提高可识别手势的复杂度；(2)如何完整理解示教者的连续动态手势；(3)在手势识别过程中如何选用合适的特征值。针对以上存在的问题，提出一种基于Leap Motion的复杂动态手势识别方法，通过视觉传感器逐帧对静态手势与连续轨迹进行判断，实现对复杂动态手势进行识别。

发明内容

本发明提出一种基于Leap Motion体感传感器的复杂动态手势识别方法。首先利用Leap Motion捕捉示用户示教过程中的手部骨骼点数据，采用SVM(支持向量机)与基于表示学习的特征向量提取方式进行静态手势学习，对示教过程中的静态手势均标记为指令状态。对处于指令状态下的静态手势，提取各手指远端骨顶点与手掌中心点的信息，生成连续的动态轨迹信息进行动态手势识别。

为实现上述目的，本发明采用如下的技术方案：

一种基于Leap Motion体感传感器的复杂动态手势识别方法，将用户示教过程中的静态手势标记为指令状态，识别指令状态下的远端骨顶点与手掌中心点连续轨迹信息，达到复杂动态手势识别效果，具体步骤如下：

步骤(1)、利用体感传感器Leap Motion获取用户示教信息，调用Leap函数库获取手部各骨骼点信息。对获取的示教信息进行特征向量提取，对提取的特征向量进行归一化与标准化处理，将静态手势特征向量缩放到单位空间，消除示教位置带来的影响。

步骤(2)、搭建静态手势识别模块，将用户示教手势标记为指令状态。用处理后的静态手势特征向量训练静态手势识别模块，实现逐帧判断静态手势。

步骤(3)、提取指令状态下的各手指远端骨顶点信息，作为手指连续运动轨迹信息。搭建连续轨迹识别模块，对指令状态下手指连续运动状态进行判断，实现对复杂动态手势的识别。

作为优选，步骤1中步骤1中提取全手掌24个骨骼点空间坐标信息进行归一化与标准化处理，消除空间信息影响，使得静态手势识别模块不受样本手势位置信息因素的影响。

作为优选，步骤1中步骤1中与传统手掌特征向量表示方式不同，通过提取全手掌骨骼点，得到手掌24个骨骼点的空间坐标信息。通过计算得到每根手指指尖F_i(i＝1,...,5)到手掌中心C的距离D_i(i＝1,...,5)，手指指尖F_i与掌心C连线的方向向量和手掌方向向量n的夹角A_i(i＝1,...,5)，各手指首尾相连的骨骼形成的关节滚动角θ_Rolli(i＝1,...,5)，俯仰角θ_Pitchi(i＝1,...,5)组成的表征手掌的静态手势姿态特征向量。

作为优选，步骤2中静态手势的指令状态进行细化分类。根据真实使用场景，建立的具体类别为：抓取指令、松弛指令、书写指令、移动指令、确认指令。细化分类的指令状态手势与非指令状态手势对应到SVM中为分别的6类。将6类手势定义后使用SVM进行静态手势识别。

作为优选，步骤3中利用了基于向量夹角差提取特征点、特征点均匀分布处理、过滤冗余特征点三种方式进行连续轨迹特征向量选取。

本发明涉及一种基于Leap Motion的复杂动态手势识别方法，属于人工智能与人机交互领域。本发明将静态手势识别与连续轨迹识别用复杂动态手势识别中，通过体感传感器捕捉示用户示教过程中的手部信息，采用支持向量机与基于表示学习的特征向量提取方式进行静态手势学习，对示教过程中的静态手势均标记为指令状态。对处于指令状态下的静态手势，提取各手指远端骨顶点与手掌中心点的信息，生成连续的动态轨迹信息进行学习。对复杂动态手势可以逐帧分解，判断是否为指令手势后，进行识别指令。本发明大大提高了对动态手势识别的准确度，降低了对动态手势的复杂度的要求，并且基于视觉采集设备使人机交互的过程更加友好，更加自然。

附图说明

图1复杂动态手势识别方法流程图

图2人体手部骨骼点信息图

图3单个样本手势在示教空间中的表达

图4全部样本手势在示教空间中的表达

图5处理后的手势集合在示教空间中的表达

图6核函数高维空间映射分离特征值图

图7示教对象与工作台位置关系图

图8基于向量夹角差提取特征点的原理示意图

图9基于向量夹角差提取特征点提取效果图

图10分布间距与分布参数之间的关系图

图11特征点均匀分布处理的预处理效果图

具体实施方式

本发明提供一种基于Leap Motion的复杂动态手势识别方法，如图1所示，体感传感器捕捉示用户示教过程中的手部信息，采用支持向量机与基于表示学习的特征向量提取方式进行静态手势学习，对示教过程中的静态手势均标记为指令状态。对处于指令状态下的静态手势，提取各手指远端骨顶点与手掌中心点的信息，生成连续的动态轨迹信息进行学习。对复杂动态手势可以逐帧分解，判断是否为指令手势后，进行识别指令。具体实现过程如下：

(1)利用Leap Motion捕捉用户的手部信息，Leap Motion的骨骼数据由19跟骨骼，38个关节空间坐标组成。拇指与其他手指相比，没有中间指骨。为后续处理便捷，则令拇指模型具有零长度的掌骨。取各骨骼定点坐标进行标定，如图2所示。在visual studio中利用Leap Motion开发套件对示教者进行骨骼追踪并记录，用于后续的模仿学习。

(2)选取各手指的掌骨、近端骨、中间掌骨、远端骨的尖端在当前帧下的三维坐标位置表征整个手掌信息。手部结构显示大拇指没有掌骨，为保证手掌信息格式统一，将大拇指近端骨的末端也表示为大拇指的掌骨尖端。通过提取全手掌骨骼点，得到手掌24个骨骼点的空间坐标信息。通过计算得到每根手指指尖F_i(i＝1,...,5)到手掌中心C的距离D_i(i＝1,...,5)与手指指尖F_i与掌心C连线的方向向量和手掌方向向量n的夹角A_i(i＝1,...,5)。

指尖的距离D_i:表示从指尖的位置F_i到手掌中心位置C的欧式距离

式中S是归一化因子，表示从每个手指指尖距离F_i到手掌中心位置C的平均距离，用公式表示为：

方向向量夹角A_i:表示三维空间中手指之间F_i到手掌中心位置C的连线的方向向量与手掌方向向量n之间的角度。

提取各手指关节掌骨、近端骨、中间掌骨、远端骨顶点坐标。

依次计算每一根手指上首尾相邻的骨骼组成的向量，分别为S₁,S₂,S₃,S₄，记

S₂S₁＝S₁-S₂＝(x₁₁-x₁₂,y₁₁-y₁₂,z₁₁-z₁₂) (5)

S₂S₃＝S₃-S₂＝(x₁₃-x₁₂,y₁₃-y₁₂,z₁₃-z₁₂) (6)

S₃S₄＝S₄-S₃＝(x₁₄-x₁₃,y₁₄-y₁₃,z₁₄-z₁₃) (7)

S_3,4S_2,3＝S₃S₄×S₂S₃ (8)

则相应的手部关节滚动角可表示为：

则相应的手部关节俯仰角可表示为：

最终得到静态手势姿态特征向量集为一个大小为1×40的姿态向量：

V＝[D₁,...,D₅,A₁,...,A₅,θ_Roll1,...,θ_Roll15,θ_Pitch1,...,θ_Pitch15] (11)

(3)利用归一化与标准化消除空间信息对特征向量影响。当静态手势单独存在于示教空间时，手的姿态为20个骨骼点组成的向量，如图3所示。机器学习算法通过学习20个点之间的几何坐标去学习手势的表示。当所有样本数据汇集在示教空间中，样本手势由于示教位置的不同，随机分布在示教空间中。单纯的手势内部几何关系不能很好的进行手势的表示，样本之间互相产生影响，如图4所示。为了消除空间中不同的示教位置为手势姿态带来的影响,对特征向量进行归一化与标准化,将分布在整个样本空间中的手势映射到单元位置。

利用数据标准化去除均值和方差进行缩放。当单个特征的样本取值相差甚大或明显不遵从高斯正态分布时，忽略特征数据的分布形状，移除每个特征均值，划分离散特征的标准差，从而等级化，进而实现数据中心化。

利用数据归一化将每个样本缩放到单位范数。对每个样本计算其p-范数，然后对该样本中每个元素除以该范数，这样处理的结果是使得每个处理后样本的p-范数等于1。处理后的手势数据在单位空间中的效果如图5所示。由此学习的手势姿态可以表达完整空间中的全部手势姿态。

(4)本发明使用支持向量机SVM作为静态手势识别模型采用支持向量机算法训练分类器，它是当今最常用的机器学习分类器之一，已经广泛应用于目标检测和识别、文本识别、生物识别和语音识别等领域。如图6所示，在处理线性不可分样本时,利用核函数将非线性输入向量映射到高维特征空间,使得分离更容易。然后,在高维空间中构造最优分离超平面,以避免原始输入空间中复杂的非线性曲面分割计算。在本发明中，由于想尽可能多的保留手部姿态信息，因此选择多项式核函数作为映射高维空间的方式，简化映射空间中的内积运算，公式如下:

K(x_i,x_j)＝exp(-γ||x_i-x_j||²),γ＞0 (12)

单变量特征选择的原理是分别单独的计算每个变量的某个统计指标，根据该指标来判断哪些指标重要，剔除那些不重要的指标。单变量特征选择基于单变量的统计测试来选择最佳特征。将单变量特征选择与SVM算法结合，可以有效提出静态手势全手掌骨骼点中对识别结果影响不利，增加计算量的指标。

(5)通过静态手势识别模型识别出当前手势是否为指令状态。在训练过程中，对静态手势的指令状态进行细化分类，具体类别为：抓取指令、松弛指令、书写指令、移动指令、确认指令。细化分类的指令状态手势与非指令状态手势对应到SVM中为分别的6类，便于后续人机交互的控制。若当前静态手势为指令状态，则执行步骤(6)，否则继续判断下一帧静态手势。

(6)提取指令状态下的各手指远端骨顶点与手掌中心的空间信息作为动态手势连续轨迹，为减小后续计算复杂程度进行降维处理，如图7所示，仅保留相对平行于LeapMotion采集平面(工作台)的x坐标与y坐标的二维数据作为后续工作的原始数据。

(7)对连续轨迹信息通过基于向量夹角差提取特征点、特征点均匀分布处理、筛除冗余特征点三个步骤进行处理。基于向量夹角差提取特征点具体为：通过计算向量夹角差，遍历连续轨迹过程中相邻时刻的远端骨顶点组成的向量求取夹角差，据实验经验所得，保留向量夹角差最大的21个特征值表征连续动态手势轨迹。如图8所示，基于向量夹角差提取特征点的优势在于可以捕捉到手势轨迹的转折点，并能在直线段和弧线上智能分配有限的点，从而最大程度上地保证原始手势轨迹的特征。具体的提取过程分为以下几步：

①将整个原始手势轨迹从起始时刻开始的第一时刻点和第二时刻点默认为是一组基准向量(base_vector)，同时设定这组基准向量按时间顺序所确定的向量与水平轴夹角为基准角度(base_angle)，作为之后的比较对象。

②将原始手势轨迹的第二时刻点和第三时刻点作为一组试探向量(try_vector)，同时设定这组试探向量按时间顺序所确定的向量与水平轴夹角为试探角度(try_angle)。

③计算出试探角度(try_angle)与基准角度(base_angle)两个向量夹角的差并取绝对值(gap)，将其作为提取特征点的评判标准。设定夹角差阈值(threshold)为180°。

④若该向量夹角差的绝对值(gap)小于夹角差阈值(threshold)，则将第三时刻点与第四时刻点设为新的试探向量，并不断沿着连续手势轨迹的时间序列向后遍历，每次都算出新的试探角度与基准角度并做差，取绝对值后与夹角差阈值相比较。如此往复，直至求得的向量夹角差绝对值大于等于夹角差阈值。

⑤若向量夹角差绝对值(gap)大于等于夹角差阈值(threshold)，则这组试探向量(try_vector)的起始时刻点的坐标将会被作为特征点并被记录。

⑥该时刻点与下一时刻点将取代原有的基准向量，成为新的基准向量，其向量与水平轴的夹角也会成为新的基准角度，作为新的基准值。

⑦重复以上步骤，直至遍历完全部连续手势轨迹。

⑧在遍历整个原始手势轨迹后，若保留的特征点个数小于两倍的设定的特征值(即42个)，则将夹角差阈值(threshold)以1°的步长进行递减，并重新开始步骤①，直至保留的特征点的数量大于等于两倍的特征值个数为止。基于向量夹角差提取特征点提取效果如图9所示。

(8)对基于向量夹角差提取的轨迹特征点进行均匀分布处理。对基于向量夹角差提取的轨迹特征点(数量大于等于两倍的特征值)进行均匀分布处理。在计算两点所确定向量与水平轴的夹角的同时，分别记录下基准向量与试探向量的起始点的坐标(取时间序列靠前的点做记录)，并利用勾股定理计算出所选取出来的两点之间的距离。只有当两点间距离大于分布间距(margin)，且向量夹角差大于夹角差阈值(threshold)时，试探向量才会被保留。分布间距(margin)的初始值设定为10mm。分布参数(spread_parameter)的初始值设为1，range_x与range_y分别为连续轨迹中x，y数组的极差。

当遍历所有原始手势轨迹数据后，若提取的特征点的数量小于所需的21个特征值，且夹角差阈值小于0°时，那么分布参数(spread_parameter)会以0.1为步长进行递增，使分布间距(margin)减小，以增加可提取的特征点的数量。分布参数与分布间距的关系为：

margin＝sqrt((range_x/spread_parameter)²+(range_y/spread_parameter)²) (14)

减小分布间距后，重置夹角差阈值为最初的180°，从第一时刻点重新遍历连续手势轨迹，直至提取的特征点等于设定的特征值个数。经过均匀分布处理后，能够让特征点的提取变得更加均匀，避免特征点过多地聚集在弧线上，从而导致丢失直线部分的特征，也防止因为采集手势时示教者的抖动造成的起始轨迹不稳定。经过特征点均匀分布处理的预处理效果如图11所示。

(9)经过基于向量夹角差提取特征点与特征点均匀分布处理后，可以得到大于或等于特征值个数的特征向量。遍历特征点集，逐一筛除里面向量夹角差最小的关键点，直至特征点集所含的特征点数量等于预设的特征值个数为止。

(10)本发明使用支持向量机SVM作为动态轨迹识别模型，对处理后的5条动态轨迹信息进行学习。通过对指令状态下的5条轨迹进行判断，达到识别复杂动态手势的目的。

Claims (2)

1.一种基于Leap Motion体感传感器的复杂动态手势识别方法，其特征在于，具体步骤如下：

步骤(1)、利用体感传感器Leap Motion获取用户示教信息，调用Leap函数库获取手部各骨骼点信息；对获取的示教信息进行特征向量提取，对提取的特征向量进行归一化与标准化处理，将静态手势特征向量缩放到单位空间，消除示教位置带来的影响；

步骤(2)、搭建静态手势识别模块，将用户示教手势标记为指令状态；用处理后的静态手势特征向量训练静态手势识别模块，实现逐帧判断静态手势；

步骤(3)、提取指令状态下的各手指远端骨顶点信息，作为手指连续运动轨迹信息；搭建连续轨迹识别模块，对指令状态下手指连续运动状态进行判断，实现对复杂动态手势的识别；

步骤3基于向量夹角差提取特征点具体为：基于向量夹角差提取特征点这一步骤通过计算向量夹角差，遍历连续轨迹过程中相邻时刻的远端骨顶点组成的向量求取夹角差，保留向量夹角差最大的21个特征值表征连续动态手势轨迹；基于向量夹角差提取特征点的优势在于捕捉到连续动态手势中变化最明显的时刻，并能在直线段和弧线上智能分配有限的点，从而保证了原始连续动态手势轨迹的特征；具体的提取过程分为以下几步：

①将整个原始手势轨迹从起始时刻开始的第一时刻点和第二时刻点默认为是一组基准向量base_vector，同时设定这组基准向量按时间顺序所确定的向量与水平轴夹角为基准角度base_angle，作为之后的比较对象；

②将原始手势轨迹的第二时刻点和第三时刻点作为一组试探向量try_vector，同时设定这组试探向量按时间顺序所确定的向量与水平轴夹角为试探角度try_angle；

③计算出试探角度try_angle与基准角度base_angle两个向量夹角的差并取绝对值gap，将其作为提取特征点的评判标准；设定夹角差阈值threshold为180°；

④若该向量夹角差的绝对值gap小于夹角差阈值threshold，则将第三时刻点与第四时刻点设为新的试探向量，并不断沿着连续手势轨迹的时间序列向后遍历，每次都算出新的试探角度与基准角度并做差，取绝对值后与夹角差阈值相比较；如此往复，直至求得的向量夹角差绝对值大于等于夹角差阈值；

⑤若向量夹角差绝对值gap大于等于夹角差阈值threshold，则这组试探向量try_vector的起始时刻点的坐标将会被作为特征点并被记录；

⑥该时刻点与下一时刻点将取代原有的基准向量，成为新的基准向量，其向量与水平轴的夹角也会成为新的基准角度，作为新的基准值；

⑦重复以上步骤，直至遍历完全部连续手势轨迹；

⑧在遍历整个原始手势轨迹后，若保留的特征点个数小于两倍的设定的特征值,即42个，则将夹角差阈值threshold以1°的步长进行递减，并重新开始步骤①，直至保留的特征点的数量大于等于两倍的特征值个数为止。

2.根据权利要求1所述的一种基于Leap Motion体感传感器的复杂动态手势识别方法，其特征在于：步骤3特征点均匀分布处理具体为：对基于向量夹角差提取的轨迹特征点进行均匀分布处理,其中基于向量夹角差提取的轨迹特征点的数量大于等于两倍的特征值；在计算两点所确定向量与水平轴的夹角的同时，分别记录下基准向量与试探向量的起始点的坐标，取时间序列靠前的时刻点坐标做记录，并利用勾股定理计算出所选取出来的两点之间的距离；只有当两点间距离大于分布间距margin，且向量夹角差大于夹角差阈值threshold时，试探向量才会被保留；分布间距margin的初始值设定为10mm；分布参数spread_parameter的初始值设为1，range_x与range_y分别为连续轨迹中x，y数组的极差；

range_x＝max(x)-min(x)

range_y＝max(y)-min(y)

当遍历所有原始手势轨迹数据后，若提取的特征点的数量小于所需的21个特征值，且夹角差阈值小于0°时，那么分布参数spread_parameter会以0.1为步长进行递增，使分布间距margin减小，以增加提取的特征点的数量；分布参数与分布间距的关系为：

margin＝sqrt((range_x/spread_parameter)²+(range_y/spread_parameter)²)

减小分布间距后，重置夹角差阈值为最初的180°，从第一时刻点重新遍历连续手势轨迹，直至提取的特征点等于设定的特征值个数。

Images