CN104866824A - 一种基于Leap Motion的手语字母识别方法 - Google Patents

Abstract

本发明公开一种基于Leap Motion的手语字母识别方法。本发明通过深度摄像头Leap Motion装置获取手的手掌和手腕骨骼关节点3D坐标信息；对获取的3D坐标信息进行相关计算得到手的关节的弯曲角度信息，然后通过对角度信息进行特征处理，分别获得手型特征信息和手腕弯曲程度的特征信息；对获得的特征信息计算与模板的欧拉距离根据最大概率的近邻准则和连续帧流结果相一致原则，识别出手语字母。所述方法有效的实现快速识别汉语手语字母的目标，并且各个手语字母基元相对独立，识别手语字母的连续性序列可以实时识别手语。本发明能够实时对基于手语字母的手语进行识别，方便聋哑人利用该可穿戴设备与他人进行有效的沟通交流。

Description

一种基于Leap Motion的手语字母识别方法

技术领域

本发明涉及人机智能交互领域，特别涉及一种基于深度摄像头设备Leap Motion的手语字母识别方法。

背景技术

手语是由于聋人交际的需要而产生的，它已作为聋人的一种语言，逐渐为人们所接受。手语包括手指语和手势语。手指语是用手指的指式变化和手型代表字母，并按照拼音顺序依次拼出词语；汉语手语字母可以表示十个数字和26个常用字母，还有汉语里面常用的字母组合，包括ZH，CH，SH，NG等，这样常人说的每一个字，都可以用手语进行精确的表示，不会产生歧义；

目前国内外的手语识别设备根据数据采集方式不同，主要分为基于穿戴式设备(数据手套、位置跟踪器、加速器等)和基于视觉(图像)的手语识别系统。基于其它传统的穿戴式设备的识别系统，是利用数据手套、位置跟踪器等测量手势在空间运动的轨迹以及时序信息，该方法的优点在于能方便的获取精确的手型、位置和运动轨迹等信息,识别率高。缺点是进行手语交流时需要穿戴复杂的数据手套、位置跟踪设备等，穿戴麻烦，影响了人机交互的自然性。基于视觉识别的方法利用普通摄像头采集手势图像或视频，再进行图像处理进行识别处理。该方式有很好的人机交互性，然而由于该方法对光线、背景等外部条件的依赖比较强,在进行手部位置、手型、运动轨迹等特征的提取时就需要识别人佩戴特定颜色的手套和穿有特定颜色服饰辅助定位分割，因此基于视觉识别的方法容易受到背景、灯光、摄像头的位置等环境因素的影响，存在局限 性。

基于Kinect的手语识别系统是利用固定视角的Kinect设备获取的是绝对空间位置坐标的特征信息，其中包含了繁多的上半身部位特征以及双手的视觉上的高维深度信息，计算代价大，且不便携带，不能满足交互自然性。

因此需要一种基于Leap Motion的手语字母识别方法弥补上述若干缺陷。

发明内容

本发明的目的在于有效的利用Leap Motion的优势，提供一种不借助其它任何复杂传感设备，可穿戴，人机交互性好，实现实时交互，识别率较高的手语字母识别方法，该方法通过将手语字母就手型、手腕偏移角度两个方面分别进行特征匹配的模板匹配，再根据最大概率准则以及帧流结果稳定原则识别出手语字母。

为实现上述目的，本发明的技术方案是这样实现的。

一种基于Leap Motion的手语字母识别方法，包括以下步骤：

步骤1：利用Leap Motion设备获取手语字母的手掌和手腕的骨骼关节点的3D坐标向量信息；步骤2：根据手掌和手腕的骨骼关节点的3D坐标向量信息计算对应关节的弯曲角度，获取手型特征信息和手腕偏移角度特征信息；步骤3：根据上述特征信息计算手型基元并识别出待识别的手语字母。步骤4：取连续m帧识别的手语字母相一致的作为最终确定的识别结果。

步骤2进一步包括：利用Leap Motion的手掌获取函数获取手掌的手心、手指以及手腕的各关节的3D坐标向量，计算得到相邻关节的相对方向向量，再计算得出每个关节的弯曲角度，具体包括：获取到的每个关节点的3D坐标向量以后，取手腕的其中一个3D坐标向量作为参考点，计算其他关节点的相 对3D坐标向量，再把相邻的两个关节坐标向量利用余弦定律计算其夹角的角度，即关节弯曲角度，得到一组特征向量信息。

步骤3进一步包括，将待识别的手语字母的特征向量信息利用模板匹配的方法，识别出手语字母，具体包括：将待识别的特征向量信息逐一与模板的特征向量进行欧拉距离计算，找出最小距离的N个模板信息，将这N个距离数据进行排序，利用加权算法，根据最大概率和最近邻匹配准则识别出当前帧的手语字母。

加权算法如下：

$\left\{\begin{array}{c}{P}_i=e^{\mathrm{\δ}({\mathrm{ED}}_i-{\mathrm{ED}}_1)}\\ {\mathrm{\ξ}}_k=\mathrm{\Σ}{P}_i\end{array}\right.---\left(1\right)$

其中：ED_i为排序后的N个最小距离中的第i个欧拉距离；δ为加权因子；P_i为排序后第i个模板的加权值；ξ_k为同一字母的加权值总和；

进一步的，步骤4在连续取帧识别出的手语字母的序列中，取连续m帧相一致的稳定结果的手语字母作为最终的识别结果。

与现有技术相比，本发明所具有如下优点和技术效果：1.基于Leap Motion提取手掌和手腕关节点3D坐标向量进行手语识别，与基于传感器和基于视觉的设备相比，提高了人机交互的自然性；与基于摄像头进行图像处理的手语识别方法相比，不仅定位准确，而且对背景和光照等环境因素的影响小，提高手语识别效果。2.传统的基于视觉的手语识别系统用摄像头拍摄的图像存在运动模糊的干扰因素，在一定因素上使得处理成本增加，鲁棒性差。本发明所述的方法利用Leap Motion技术能够很好的解决这些问题，能够同时快速精确地获得手型的特征信息，通过一些简单的计算便能识别出手语字母，提高了识别的 准确性，并且有更好的实时识别效果。

因此，本发明所述的基于Leap Motion的手语字母识别方法能够有效的改善手语识别效果和人机交互效果，方便聋哑人士使用该可穿戴式手语识别设备与他人进行有效的沟通交流。

附图说明

图1是Leap Motion设备定位的手的关节点图示；

图2是本发明的基于Leap Motion的手语字母识别方法流程图；

图3所示为本发明一较佳实施例的功能方块图。

具体实施方式

下面结合附图对本发明的具体实施作进一步的详细阐明，但本发明的实施和保护不限于此，需指出的是，以下若有未特别详细说明之过程或符号，均是本领域技术人员可参照现有技术实现的。

参考图1，Leap Motion设备调用函数hand.isLeft()判断获取的手的类型，调用函数arm.wristPosition()获取关节点D₂的3D坐标，调用函数arm.direction()获取手臂的3D方向向量，分别调用函数bone.prevJoint()、bone.nextJoint()以及bone.direction()获取手指指骨的3D坐标和相对方向向量，调用函数direction.pitch()获取手掌相对手臂的俯仰角；

Leap Motion设备返回的坐标是根据设备的中心视角作为坐标原点，所以视角不同或手心的相对空间点不同，绝对坐标也会完全不同，所以要采用相对坐标，以D₀作为坐标参考点；

再参考图2，图2是基于Leap Motion的手语字母识别的具体实现方法， 该方法具体包括步骤：步骤M1：利用Leap Motion设备获取手腕和手掌的各关节点的3D坐标如D₀的坐标(x₀,y₀,z₀)，以及一些关节点之间的指骨骨骼的方向向量；步骤M2：根据Leap Motion设备采集的坐标数据，计算相邻关节之间的骨骼的相对方向向量，如D₁D₀之间的方向向量：

Direction＝(x₁,y₁,z₁)-(x₀,y₀,z₀)   (2) 

得到手掌所有指骨的方向向量；再分别计算得到手腕关节D₃D₄和D₂D₀的方向向量；步骤M3：取上步骤得到的相对方向向量计算每个关节的弯曲角度，根据公式2：

$\cos <a,b>=\frac{\mathrm{ab}}{\left|\mathrm{ab}\right|}---\left(3\right)$

其中：a、b表示3D方向向量；<a，b>表示两个方向向量的夹角；

计算的得到手指关节的弯曲角度以及手腕关节D₃D₄和D₂D₀的夹角作为待识别的手语字母的特征信息；步骤M4：将步骤M3得到的特征信息与模板计算欧拉距离，找出最小距离的20个模板信息，将这20个距离数据进行排序，利用加权算法，取δ＝-0.6，根据最大概率和最近邻匹配准则识别出当前帧的手语字母；

欧氏距离计算公式如下：

E.D＝∑(x_i-y_i)²    (4) 

其中：E.D表示欧拉距离；x_i表示特征信息，y_i表示模板信息；

步骤M5：建立计数器，当帧流识别的结果相一致时，计数器自增，当计数器数到10，输出当前帧的识别结果，否则，计数器清零；

参考图3，图3所示的是基于Leap Motion的手语字母识别方法的一较佳实施例。本实施例包括三个模块：数据采集模块10：数据采集模块主要利用Leap Motion设备手的关节的3D坐标数据信息；基于Leap Motion的手语识别系统是可穿戴的，使用者将Leap Motion设备悬挂在胸前，进行手语交流的手在设备视角的前方某范围进行手语演示，Leap Motion能实时地将手语数据经传输线传输到数据处理模块11；数据处理模块可以是放在背包的平板电脑，数据处理模块根据图2的数据处理步骤识别出结果，并将结果传输到手语输出模块12；此处的手语输出模块由语音输出装置组成，语音输出装置实时地以语音输出形式输出翻译的手语，实现聋哑人士利用该设备与他人进行实时地沟通交流。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围应当视权利要求书所界定者为准。

Claims (4)

1.一种基于Leap Motion的手语字母识别方法，其特征在于，包括以下步骤：

步骤1：利用深度摄像头设备Leap Motion获取手语字母的手掌和手腕的骨骼关节点的3D坐标信息；

步骤2：根据手掌和手腕的骨骼关节点的3D坐标向量信息计算对应关节的弯曲角度，获取手型特征信息和手腕偏移角度特征信息；

步骤3：根据步骤2获得的特征信息利用模板匹配的方法以及最大概率和最近邻准则识别出手语字母；

步骤4：根据连续帧流相一致的识别结果确定输出手语字母含义。

2.如权利要求1所述的基于Leap Motion的手语字母识别方法，其特征在于，步骤2进一步包括：将收集的3D坐标信息利用余弦定理计算出每个手指关节的弯曲角度及手腕的弯曲角度，作为手型的特征信息。

3.如权利要求1所述的基于Leap Motion的手语字母识别方法，其特征在于，步骤3进一步包括：将待识别的特征信息与模板的信息逐一进行欧拉距离计算，并找出距离最小的N个模板信息，将这N个距离数据进行排序后，利用加权算法和最大概率准则计算出本帧的手语字母识别结果。

4.如权利要求1所述的基于Leap Motion的手语字母识别方法，其特征在于，步骤4进一步包括：建立计数器，当步骤3中判断本帧的识别结果与上一帧相一致，则计数器自增1，否则计数器清零；取连续m帧相一致的手语字母作为最终的识别结果，m为设定值。