CN111831101A - 一种基于Leap Motion的多特征动态手势识别方法 - Google Patents

一种基于Leap Motion的多特征动态手势识别方法 Download PDF

Info

Publication number
CN111831101A
CN111831101A CN201910323273.2A CN201910323273A CN111831101A CN 111831101 A CN111831101 A CN 111831101A CN 201910323273 A CN201910323273 A CN 201910323273A CN 111831101 A CN111831101 A CN 111831101A
Authority
CN
China
Prior art keywords
gesture
recognition
model
hmm
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910323273.2A
Other languages
English (en)
Inventor
吴晓红
高宇
何小海
王正勇
吴小强
卿粼波
滕奇志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN201910323273.2A priority Critical patent/CN111831101A/zh
Publication of CN111831101A publication Critical patent/CN111831101A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

本发明提出一种基于Leap Motion的多特征动态手势识别方法。首先通过Leap Motion对手势追踪得到深度信息，在从深度信息中提取特征向量的过程中增加对拐点的判定计数和手势位移向量的提取。然后利用特征向量训练得到HMM手势模型，最后通过对待测手势进行HMM手势模型的匹配，选择匹配率最高的作为识别结果。由于新特征体现了相似手势的区分度，从而降低了相似手势的错误识别率，提高了动态手势的整体识别率。在多个动态手势的实验验证了该方法的有效性。

Description

一种基于Leap Motion的多特征动态手势识别方法
技术领域
本发明涉及人机交互领域中的动态手势识别问题，尤其是涉及一种基于LeapMotion的多特征动态手势识别方法。
背景技术
人机交互技术在虚拟现实中扮演的角色地位逐渐提升。人们不仅对人机交互的实时性、识别率等标准的要求愈发严苛，而且提出人机交互方式更简单、准确率更高和参与性更强的发展需求。手势作为一种变化方式和表达含义都很丰富的肢体语言，自然成为人机交互的一种重点媒介。
手势识别分为静态手势识别和动态手势识别，相较于静态手势识别而言，动态手势识别中手部会根据时间和空间的改变而产生手势和运动轨迹的变化。动态手势识别一般有特征数据采集、手势模型训练和手势分类识别三个步骤。其中，手势模型的训练和建立是至关重要的一步。选择不同手势之间区分度较大的特征参与手势模型的训练，才能准确建立出相似手势的不同手势模型。张琪祥利用掌心位移、掌心法向量、掌心球半径和五指伸展程度作为特征训练HMM手势模型，但是一些相似手势的识别率差强人意；陈国良等人选取运动轨迹、手指弯曲度、手掌姿态和手指分开度作为特征进行手势模型训练，然而对相似单指动态手势的识别不够理想。
发明内容
针对以上相似手势识别率不足的问题，本发明提出了一种基于Leap Motion的多特征动态手势识别方法。在对动态手势进行追踪后，为进一步提升相似手势的区分度特征向量中加入拐点的判定计数和手势位移向量的提取，然后结合新特征向量进行HMM手势模型的训练和识别。本发明主要通过以下过程步骤实现上述目的：
(1)使用体感控制器Leap Motion追踪训练样本动态手势获取数据；
(2)通过对获取数据初步处理得到本方法所需特征向量；
(3)根据(2)中所得特征向量进行HMM手势模型的训练；
(4)使用体感控制器Leap Motion追踪待测手势获取与(2)中相同种类的特征向量；
(5)根据(3)中HMM模型和(4)中特征向量对待测手势进行评估，选择匹配概率最大的手势模型作为识别结果。
附图说明
图1基于HMM模型的动态手势识别框架图；
具体实施方式
本发明提取手的掌心位移、掌心法向量、运动方向变化率、掌心球半径、拐点的判定计数和位移向量角度作为构成特征向量的特征。
利用Leap Motion追踪信息提取经典特征如下：
(1)掌心位移数据的获取
从一个时刻起，到另一个时刻止，两个时刻追踪目标手的掌心坐标之间的欧氏距离即为掌心位移。计算过程如下：
Figure BDA0002035350350000021
其中P为掌心位移，(xi,yi,zi)为掌心在i时刻的空间坐标，(xc,yc,zc)为掌心在c时刻的空间坐标。
(2)手势速度的获取
速度特征能够体现出手势运动的快慢，且在本文中速度特征还作为判定手势运动开始、结束以及运动拐点的标准之一。因为Leap Motion的追踪频率能够达到200帧/秒，所以本文中把每两帧的帧间速率近似为瞬时速率，手势在第i帧的速率计算如下：
Figure BDA0002035350350000022
其中T为帧间时间差。当手势速度大于阈值σ时满足开始采集手势的速度条件，小于阈值σ时则满足停止手势采集的速度条件。
(3)运动方向变化率的获取
获取运动方向变化率是为能够区分出由于拐点造成的速度低于阈值和手势停止时速度低于阈值这两种情况，避免发生误判。运动方向变化率需要从帧数据中提取出掌心的空间坐标(xt,yt,zt)，根据如下公式：
Figure BDA0002035350350000031
可求出x在单位时间t内于y轴上的手势运动方向θxy，用同等方法也可求出θxz和θzy。
利用Leap Motion追踪信息提取新特征如下：
(1)拐点的判定及计数的获取
由于手势位于拐点处附近时速度是先降低后升高，所以得出当瞬时速率为0的某一时刻Ti，通过判断该时间段内手势序列中前后两端速率满足：
Figure BDA0002035350350000032
式中τ取0.5，判定该点为手势运动的拐点位置。当判定出某一时刻位置是拐点则做拐点计数加1操作。
(2)手势位移向量角度的获取
通过获取掌心在手势运动的开始位置和停止位置的空间坐标(xo,yo,zo)和(xs,ys,zs)，则手势位移向量
Figure BDA0002035350350000033
计算如下：
Figure BDA0002035350350000034
定义手势位移向量角度为
Figure BDA0002035350350000035
与y轴负方向上的单位向量
Figure BDA0002035350350000036
之间的夹角θs，θs计算过程如下：
Figure BDA0002035350350000037
根据新特征向量进行HMM手势模型的训练方法如下：
利用Leap Motion追踪训练样本手势得到的深度信息，通过预处理提取得到包含新特征的特征向量。然后通过Baum-Welch算法来求解HMM模型的最优模型参数λ。在得到观测序列即得到特征向量时，通过反复迭代计算并更新模型参数
Figure BDA0002035350350000038
直到满足式(7)为止得到最优模型参数，其中
Figure BDA0002035350350000039
和
Figure BDA00020353503500000310
为相邻两次迭代的结果。
Figure BDA0002035350350000041
对待测手势进行手势识别的方法如下：
在经过手势模型的训练阶段已经得出各种手势模型相应的最优模型参数在经过手势模型的训练阶段已经得出各种手势模型相应的最优模型参数λ。利用Leap Motion追踪待测手势得到深度信息，通过预处理提取得到包含新特征的特征向量。然后通过前向算法计算出特征向量与每个HMM的匹配概率，选择匹配概率P(O|λ)最大的手势模型作为识别结果。
为了验证本发明的提出基于Leap Motion的多特征动态手势识别方法的有效性，在相同实验环境的条件下，对提取经典的特征向量的方法A和本文提出的方法进行了对比实验。实验中选择9种动态手势，每种手势200组数据按照3:1比例随机分成120组数据作为HMM模型的训练数据和40组数组作为HMM模型识别的测试数据。以上述方式进行5次交叉实验，取识别率的平均值作为最终结果。实验结果如表1所示：
表1手势识别率比较
Tab.1 Comparison of gesture recognition rate
Figure BDA0002035350350000042
从表中可以看出本发明方法保持了原有高识别率手势的识别效果，在没有对手势模型训练时间造成巨大影响的前提下，使相似手势的区分度提升，从而提高了识别率。将手势平均识别率由传统方法的89.48％提高到92.30％。

Claims (5)

1.一种基于Leap Motion的多特征动态手势识别方法，其特征在于包括以下步骤：
(1)使用体感控制器Leap Motion追踪训练样本动态手势获取数据；
(2)通过对获取数据初步处理得到本方法所需特征向量；
(3)根据(2)中所得特征向量进行HMM手势模型的训练；
(4)使用体感控制器Leap Motion追踪待测手势获取与(2)中相同种类的特征向量；
(5)根据(3)中HMM模型和(4)中特征向量对待测手势进行评估，选择匹配概率最大的手势模型作为识别结果。
2.根据权利要求1所述的方法，其特征在于步骤(2)中加入新特征的提取，使相似手势的区分度提高，加入的新特征如下：
特征一：拐点的判定及计数的获取
由于手势位于拐点处附近时速度是先降低后升高，所以得出当瞬时速率为0的某一时刻Ti，通过判断该时间段内手势序列中前后两端速率满足：
Figure FDA0002035350340000011
式中τ取0.5，判定该点为手势运动的拐点位置，当判定出某一时刻位置是拐点则做拐点计数加1操作；
特征二：手势位移向量角度的获取
通过获取掌心在手势运动的开始位置和停止位置的空间坐标(xo,yo,zo)和(xs,ys,zs)，则手势位移向量
Figure FDA0002035350340000012
计算如下：
Figure FDA0002035350340000013
定义手势位移向量角度为
Figure FDA0002035350340000014
与y轴负方向上的单位向量
Figure FDA0002035350340000015
之间的夹角θs，θs计算过程如下：
Figure FDA0002035350340000016
。
3.根据权利要求1所述的方法，其特征在于步骤(3)中根据训练手势包含新特征的特征向量，通过反复迭代更新模型参数进而得出HMM手势模型。
4.根据权利要求1所述的方法，其特征在于步骤(5)中根据待测手势的新特征向量进行HMM手势模型的匹配评估。
5.根据权利要求1所述方法，其特征在于结合新特征进行HMM手势模型的训练和识别，突出了相似手势的不同，提高了识别成功率。
CN201910323273.2A 2019-04-22 2019-04-22 一种基于Leap Motion的多特征动态手势识别方法 Pending CN111831101A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910323273.2A CN111831101A (zh) 2019-04-22 2019-04-22 一种基于Leap Motion的多特征动态手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910323273.2A CN111831101A (zh) 2019-04-22 2019-04-22 一种基于Leap Motion的多特征动态手势识别方法

Publications (1)

Publication Number Publication Date
CN111831101A true CN111831101A (zh) 2020-10-27

Family

ID=72912103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910323273.2A Pending CN111831101A (zh) 2019-04-22 2019-04-22 一种基于Leap Motion的多特征动态手势识别方法

Country Status (1)

Country Link
CN (1) CN111831101A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278504A1 (en) * 2011-11-01 2013-10-24 Xiaofeng Tong Dynamic gesture based short-range human-machine interaction
US20130294651A1 (en) * 2010-12-29 2013-11-07 Thomson Licensing System and method for gesture recognition
CN105975934A (zh) * 2016-05-05 2016-09-28 中国人民解放军63908部队 一种用于增强现实辅助维修的动态手势识别方法及系统
CN106959808A (zh) * 2017-03-29 2017-07-18 王征 一种基于手势控制3d模型的系统及方法
CN108921011A (zh) * 2018-05-15 2018-11-30 合肥岚钊岚传媒有限公司 一种基于隐马尔可夫模型的动态手势识别系统及方法
CN109214295A (zh) * 2018-08-08 2019-01-15 长春理工大学 基于Kinect v2和Leap Motion的数据融合的手势识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130294651A1 (en) * 2010-12-29 2013-11-07 Thomson Licensing System and method for gesture recognition
US20130278504A1 (en) * 2011-11-01 2013-10-24 Xiaofeng Tong Dynamic gesture based short-range human-machine interaction
CN105975934A (zh) * 2016-05-05 2016-09-28 中国人民解放军63908部队 一种用于增强现实辅助维修的动态手势识别方法及系统
CN106959808A (zh) * 2017-03-29 2017-07-18 王征 一种基于手势控制3d模型的系统及方法
CN108921011A (zh) * 2018-05-15 2018-11-30 合肥岚钊岚传媒有限公司 一种基于隐马尔可夫模型的动态手势识别系统及方法
CN109214295A (zh) * 2018-08-08 2019-01-15 长春理工大学 基于Kinect v2和Leap Motion的数据融合的手势识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘权 等: "基于Leap Motion传感器的自适应动态手势识别", 《计算机应用与软件》 *
张生军，何小海，李刚，周宜波，侯胜伟: "基于视频的手势识别中左右手判别研究", 《四川大学学报(工程科学版)》 *

Similar Documents

Publication Publication Date Title
Kumar et al. Sign language recognition
Xu et al. Online dynamic gesture recognition for human robot interaction
CN104899600B (zh) 一种基于深度图的手部特征点检测方法
CN103415825B (zh) 用于手势识别的系统和方法
US20160171293A1 (en) Gesture tracking and classification
CN103971102A (zh) 基于手指轮廓和决策树的静态手势识别方法
CN103577843A (zh) 一种空中手写字符串识别方法
CN103400109A (zh) 一种手绘草图离线识别与整形方法
CN109190443A (zh) 一种误识手势检测和纠错方法
CN110232308A (zh) 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法
CN102270308A (zh) 一种基于五官相关aam模型的面部特征定位方法
CN109558855B (zh) 一种基于手掌轮廓特征与模版匹配法相结合的空间手势识别方法
CN107346207B (zh) 一种基于隐马尔科夫模型的动态手势切分识别方法
CN107220634B (zh) 基于改进d-p算法与多模板匹配的手势识别方法
CN104915009B (zh) 手势预判的方法及系统
Wang et al. Dynamic gesture recognition using 3D trajectory
CN101299234A (zh) 一种基于嵌入式隐马尔可夫模型的人眼状态识别方法
CN111368762A (zh) 基于改进的K-means聚类算法的机器人手势识别方法
CN114792443A (zh) 一种基于图像识别的智能设备手势识别控制方法
WO2019085060A1 (zh) 一种机器人的挥手检测方法、系统及一种机器人
CN108108015A (zh) 一种基于手机陀螺仪和动态时间规整的动作手势识别方法
Zhang et al. View-invariant action recognition in surveillance videos
CN109886164B (zh) 一种异常手势的识别与处理方法
CN111831101A (zh) 一种基于Leap Motion的多特征动态手势识别方法
Li et al. A dynamic hand gesture recognition model based on the improved dynamic time warping algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201027

WD01 Invention patent application deemed withdrawn after publication