CN109993073A - 一种基于Leap Motion的复杂动态手势识别方法 - Google Patents

一种基于Leap Motion的复杂动态手势识别方法 Download PDF

Info

Publication number
CN109993073A
CN109993073A CN201910191967.5A CN201910191967A CN109993073A CN 109993073 A CN109993073 A CN 109993073A CN 201910191967 A CN201910191967 A CN 201910191967A CN 109993073 A CN109993073 A CN 109993073A
Authority
CN
China
Prior art keywords
vector
gesture
angle
point
angle difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910191967.5A
Other languages
English (en)
Other versions
CN109993073B (zh
Inventor
于建均
安硕
左国玉
姚红柯
王洋
李晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910191967.5A priority Critical patent/CN109993073B/zh
Publication of CN109993073A publication Critical patent/CN109993073A/zh
Application granted granted Critical
Publication of CN109993073B publication Critical patent/CN109993073B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/117Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于Leap Motion的复杂动态手势识别方法,属于人工智能与人机交互领域。本发明将静态手势识别与连续轨迹识别用复杂动态手势识别中,通过体感传感器捕捉示用户示教过程中的手部信息,采用支持向量机与基于表示学习的特征向量提取方式进行静态手势学习,对示教过程中的静态手势均标记为指令状态。对处于指令状态下的静态手势,提取各手指远端骨顶点与手掌中心点的信息,生成连续的动态轨迹信息进行学习。对复杂动态手势可以逐帧分解,判断是否为指令手势后,进行识别指令。本发明大大提高了对动态手势识别的准确度,降低了对动态手势的复杂度的要求,并且基于视觉采集设备使人机交互的过程更加友好,更加自然。

Description

一种基于Leap Motion的复杂动态手势识别方法
技术领域
本发明属于人工智能和人机交互领域,特别涉及基于体感传感器的人机交互功能的实现,即一种基于Leap Motion的复杂动态手势识别方法。
背景技术
手是人类在长期进化过程中形成的最完美的工具。手势作为人类最早使用、至今仍广泛应用的一种交流手段,被赋予了大量特殊含义,承载了超过90%的肢体语言,是人类在与机器人交互中最重要的一种方式。能够快速精准的识别手势指令,对机器人控制的发展具有重要的意义。手势识别的研究是近年来的一个热点,目前依靠传感器与人工智能算法结合是手势识别的主要方法,但依靠不同传感器进行手势识别效果不一,且直接处理连续动态手势的方法严格限制了示教手势复杂度,得到的识别结果准确度较低。
面对动态手势识别过程中的问题,首先要确定使用何种传感器来进行交互数据的获取,也是手势识别的首要任务。手势识别领域获取信息一般采用两种形式:1.基于接触式硬件设备,如空间球、数据手套等穿戴式设备;2.基于视觉设备,如光学标记点、Kinect体感采集器、深度摄像头等设备。前者对人的舒适性和自然度有较大影响,对示教动作要求较高,成本较高,不符合以人为本的自然用户界面(Natural User Interface)。而基于视觉的识别系统可提高NUI性能,大大提高了交互体验,成本降低,更重要的是使用者可以在自然状态下进行操作,构建了用户使用复杂手势的基础。
其次,在处理基于视觉设备的传感器信息过程中,各种分类算法已被应用于手势识别领域并取得了一定的成果。对于现代机器学习任务,小样本下,算法本身对结果准确率的影响已经达到一个极限,而对结果影响更大的是采用什么样的流程来使用算法。将采集到的复杂动态手势信息拆分成静态手势进行逐帧识别,这种方法大大提高了手势识别过程中的准确度与稳定性,更重要的是依据静态手势识别的结果,可以过滤掉视觉传感器信息采集过程中的错误信息,对非指令手势不进行响应或识别,提高了准确度。
虽然通过视觉传感器,将动态手势逐帧拆分成静态手势进行识别有很多优点,但由于本质还是进行静态手势识别,所以在手势复杂度和完整性上依旧存在问题。与基于接触式传感器不同,基于视觉传感器进行复杂动态手势识别面临如下三个问题:(1)如何有效的提高可识别手势的复杂度;(2)如何完整理解示教者的连续动态手势;(3)在手势识别过程中如何选用合适的特征值。针对以上存在的问题,提出一种基于Leap Motion的复杂动态手势识别方法,通过视觉传感器逐帧对静态手势与连续轨迹进行判断,实现对复杂动态手势进行识别。
发明内容
本发明提出一种基于Leap Motion体感传感器的复杂动态手势识别方法。首先利用Leap Motion捕捉示用户示教过程中的手部骨骼点数据,采用SVM(支持向量机)与基于表示学习的特征向量提取方式进行静态手势学习,对示教过程中的静态手势均标记为指令状态。对处于指令状态下的静态手势,提取各手指远端骨顶点与手掌中心点的信息,生成连续的动态轨迹信息进行动态手势识别。
为实现上述目的,本发明采用如下的技术方案:
一种基于Leap Motion体感传感器的复杂动态手势识别方法,将用户示教过程中的静态手势标记为指令状态,识别指令状态下的远端骨顶点与手掌中心点连续轨迹信息,达到复杂动态手势识别效果,具体步骤如下:
步骤(1)、利用体感传感器Leap Motion获取用户示教信息,调用Leap函数库获取手部各骨骼点信息。对获取的示教信息进行特征向量提取,对提取的特征向量进行归一化与标准化处理,将静态手势特征向量缩放到单位空间,消除示教位置带来的影响。
步骤(2)、搭建静态手势识别模块,将用户示教手势标记为指令状态。用处理后的静态手势特征向量训练静态手势识别模块,实现逐帧判断静态手势。
步骤(3)、提取指令状态下的各手指远端骨顶点信息,作为手指连续运动轨迹信息。搭建连续轨迹识别模块,对指令状态下手指连续运动状态进行判断,实现对复杂动态手势的识别。
作为优选,步骤1中步骤1中提取全手掌24个骨骼点空间坐标信息进行归一化与标准化处理,消除空间信息影响,使得静态手势识别模块不受样本手势位置信息因素的影响。
作为优选,步骤1中步骤1中与传统手掌特征向量表示方式不同,通过提取全手掌骨骼点,得到手掌24个骨骼点的空间坐标信息。通过计算得到每根手指指尖Fi(i=1,...,5)到手掌中心C的距离Di(i=1,...,5),手指指尖Fi与掌心C连线的方向向量和手掌方向向量n的夹角Ai(i=1,...,5),各手指首尾相连的骨骼形成的关节滚动角θRolli(i=1,...,5),俯仰角θPitchi(i=1,...,5)组成的表征手掌的静态手势姿态特征向量。
作为优选,步骤2中静态手势的指令状态进行细化分类。根据真实使用场景,建立的具体类别为:抓取指令、松弛指令、书写指令、移动指令、确认指令。细化分类的指令状态手势与非指令状态手势对应到SVM中为分别的6类。将6类手势定义后使用SVM进行静态手势识别。
作为优选,步骤3中利用了基于向量夹角差提取特征点、特征点均匀分布处理、过滤冗余特征点三种方式进行连续轨迹特征向量选取。
本发明涉及一种基于Leap Motion的复杂动态手势识别方法,属于人工智能与人机交互领域。本发明将静态手势识别与连续轨迹识别用复杂动态手势识别中,通过体感传感器捕捉示用户示教过程中的手部信息,采用支持向量机与基于表示学习的特征向量提取方式进行静态手势学习,对示教过程中的静态手势均标记为指令状态。对处于指令状态下的静态手势,提取各手指远端骨顶点与手掌中心点的信息,生成连续的动态轨迹信息进行学习。对复杂动态手势可以逐帧分解,判断是否为指令手势后,进行识别指令。本发明大大提高了对动态手势识别的准确度,降低了对动态手势的复杂度的要求,并且基于视觉采集设备使人机交互的过程更加友好,更加自然。
附图说明
图1复杂动态手势识别方法流程图
图2人体手部骨骼点信息图
图3单个样本手势在示教空间中的表达
图4全部样本手势在示教空间中的表达
图5处理后的手势集合在示教空间中的表达
图6核函数高维空间映射分离特征值图
图7示教对象与工作台位置关系图
图8基于向量夹角差提取特征点的原理示意图
图9基于向量夹角差提取特征点提取效果图
图10分布间距与分布参数之间的关系图
图11特征点均匀分布处理的预处理效果图
具体实施方式
本发明提供一种基于Leap Motion的复杂动态手势识别方法,如图1所示,体感传感器捕捉示用户示教过程中的手部信息,采用支持向量机与基于表示学习的特征向量提取方式进行静态手势学习,对示教过程中的静态手势均标记为指令状态。对处于指令状态下的静态手势,提取各手指远端骨顶点与手掌中心点的信息,生成连续的动态轨迹信息进行学习。对复杂动态手势可以逐帧分解,判断是否为指令手势后,进行识别指令。具体实现过程如下:
(1)利用Leap Motion捕捉用户的手部信息,Leap Motion的骨骼数据由19跟骨骼,38个关节空间坐标组成。拇指与其他手指相比,没有中间指骨。为后续处理便捷,则令拇指模型具有零长度的掌骨。取各骨骼定点坐标进行标定,如图2所示。在visual studio中利用Leap Motion开发套件对示教者进行骨骼追踪并记录,用于后续的模仿学习。
(2)选取各手指的掌骨、近端骨、中间掌骨、远端骨的尖端在当前帧下的三维坐标位置表征整个手掌信息。手部结构显示大拇指没有掌骨,为保证手掌信息格式统一,将大拇指近端骨的末端也表示为大拇指的掌骨尖端。通过提取全手掌骨骼点,得到手掌24个骨骼点的空间坐标信息。通过计算得到每根手指指尖Fi(i=1,...,5)到手掌中心C的距离Di(i=1,...,5)与手指指尖Fi与掌心C连线的方向向量和手掌方向向量n的夹角Ai(i=1,...,5)。
指尖的距离Di:表示从指尖的位置Fi到手掌中心位置C的欧式距离
式中S是归一化因子,表示从每个手指指尖距离Fi到手掌中心位置C的平均距离,用公式表示为:
方向向量夹角Ai:表示三维空间中手指之间Fi到手掌中心位置C的连线的方向向量与手掌方向向量n之间的角度。
提取各手指关节掌骨、近端骨、中间掌骨、远端骨顶点坐标。
依次计算每一根手指上首尾相邻的骨骼组成的向量,分别为S1,S2,S3,S4,记
S2S1=S1-S2=(x11-x12,y11-y12,z11-z12) (5)
S2S3=S3-S2=(x13-x12,y13-y12,z13-z12) (6)
S3S4=S4-S3=(x14-x13,y14-y13,z14-z13) (7)
S3,4S2,3=S3S4×S2S3 (8)
则相应的手部关节滚动角可表示为:
则相应的手部关节俯仰角可表示为:
最终得到静态手势姿态特征向量集为一个大小为1×40的姿态向量:
V=[D1,...,D5,A1,...,A5Roll1,...,θRoll15Pitch1,...,θPitch15] (11)
(3)利用归一化与标准化消除空间信息对特征向量影响。当静态手势单独存在于示教空间时,手的姿态为20个骨骼点组成的向量,如图3所示。机器学习算法通过学习20个点之间的几何坐标去学习手势的表示。当所有样本数据汇集在示教空间中,样本手势由于示教位置的不同,随机分布在示教空间中。单纯的手势内部几何关系不能很好的进行手势的表示,样本之间互相产生影响,如图4所示。为了消除空间中不同的示教位置为手势姿态带来的影响,对特征向量进行归一化与标准化,将分布在整个样本空间中的手势映射到单元位置。
利用数据标准化去除均值和方差进行缩放。当单个特征的样本取值相差甚大或明显不遵从高斯正态分布时,忽略特征数据的分布形状,移除每个特征均值,划分离散特征的标准差,从而等级化,进而实现数据中心化。
利用数据归一化将每个样本缩放到单位范数。对每个样本计算其p-范数,然后对该样本中每个元素除以该范数,这样处理的结果是使得每个处理后样本的p-范数等于1。处理后的手势数据在单位空间中的效果如图5所示。由此学习的手势姿态可以表达完整空间中的全部手势姿态。
(4)本发明使用支持向量机SVM作为静态手势识别模型采用支持向量机算法训练分类器,它是当今最常用的机器学习分类器之一,已经广泛应用于目标检测和识别、文本识别、生物识别和语音识别等领域。如图6所示,在处理线性不可分样本时,利用核函数将非线性输入向量映射到高维特征空间,使得分离更容易。然后,在高维空间中构造最优分离超平面,以避免原始输入空间中复杂的非线性曲面分割计算。在本发明中,由于想尽可能多的保留手部姿态信息,因此选择多项式核函数作为映射高维空间的方式,简化映射空间中的内积运算,公式如下:
K(xi,xj)=exp(-γ||xi-xj||2),γ>0 (12)
单变量特征选择的原理是分别单独的计算每个变量的某个统计指标,根据该指标来判断哪些指标重要,剔除那些不重要的指标。单变量特征选择基于单变量的统计测试来选择最佳特征。将单变量特征选择与SVM算法结合,可以有效提出静态手势全手掌骨骼点中对识别结果影响不利,增加计算量的指标。
(5)通过静态手势识别模型识别出当前手势是否为指令状态。在训练过程中,对静态手势的指令状态进行细化分类,具体类别为:抓取指令、松弛指令、书写指令、移动指令、确认指令。细化分类的指令状态手势与非指令状态手势对应到SVM中为分别的6类,便于后续人机交互的控制。若当前静态手势为指令状态,则执行步骤(6),否则继续判断下一帧静态手势。
(6)提取指令状态下的各手指远端骨顶点与手掌中心的空间信息作为动态手势连续轨迹,为减小后续计算复杂程度进行降维处理,如图7所示,仅保留相对平行于LeapMotion采集平面(工作台)的x坐标与y坐标的二维数据作为后续工作的原始数据。
(7)对连续轨迹信息通过基于向量夹角差提取特征点、特征点均匀分布处理、筛除冗余特征点三个步骤进行处理。基于向量夹角差提取特征点具体为:通过计算向量夹角差,遍历连续轨迹过程中相邻时刻的远端骨顶点组成的向量求取夹角差,据实验经验所得,保留向量夹角差最大的21个特征值表征连续动态手势轨迹。如图8所示,基于向量夹角差提取特征点的优势在于可以捕捉到手势轨迹的转折点,并能在直线段和弧线上智能分配有限的点,从而最大程度上地保证原始手势轨迹的特征。具体的提取过程分为以下几步:
①将整个原始手势轨迹从起始时刻开始的第一时刻点和第二时刻点默认为是一组基准向量(base_vector),同时设定这组基准向量按时间顺序所确定的向量与水平轴夹角为基准角度(base_angle),作为之后的比较对象。
②将原始手势轨迹的第二时刻点和第三时刻点作为一组试探向量(try_vector),同时设定这组试探向量按时间顺序所确定的向量与水平轴夹角为试探角度(try_angle)。
③计算出试探角度(try_angle)与基准角度(base_angle)两个向量夹角的差并取绝对值(gap),将其作为提取特征点的评判标准。设定夹角差阈值(threshold)为180°。
④若该向量夹角差的绝对值(gap)小于夹角差阈值(threshold),则将第三时刻点与第四时刻点设为新的试探向量,并不断沿着连续手势轨迹的时间序列向后遍历,每次都算出新的试探角度与基准角度并做差,取绝对值后与夹角差阈值相比较。如此往复,直至求得的向量夹角差绝对值大于等于夹角差阈值。
⑤若向量夹角差绝对值(gap)大于等于夹角差阈值(threshold),则这组试探向量(try_vector)的起始时刻点的坐标将会被作为特征点并被记录。
⑥该时刻点与下一时刻点将取代原有的基准向量,成为新的基准向量,其向量与水平轴的夹角也会成为新的基准角度,作为新的基准值。
⑦重复以上步骤,直至遍历完全部连续手势轨迹。
⑧在遍历整个原始手势轨迹后,若保留的特征点个数小于两倍的设定的特征值(即42个),则将夹角差阈值(threshold)以1°的步长进行递减,并重新开始步骤①,直至保留的特征点的数量大于等于两倍的特征值个数为止。基于向量夹角差提取特征点提取效果如图9所示。
(8)对基于向量夹角差提取的轨迹特征点进行均匀分布处理。对基于向量夹角差提取的轨迹特征点(数量大于等于两倍的特征值)进行均匀分布处理。在计算两点所确定向量与水平轴的夹角的同时,分别记录下基准向量与试探向量的起始点的坐标(取时间序列靠前的点做记录),并利用勾股定理计算出所选取出来的两点之间的距离。只有当两点间距离大于分布间距(margin),且向量夹角差大于夹角差阈值(threshold)时,试探向量才会被保留。分布间距(margin)的初始值设定为10mm。分布参数(spread_parameter)的初始值设为1,range_x与range_y分别为连续轨迹中x,y数组的极差。
当遍历所有原始手势轨迹数据后,若提取的特征点的数量小于所需的21个特征值,且夹角差阈值小于0°时,那么分布参数(spread_parameter)会以0.1为步长进行递增,使分布间距(margin)减小,以增加可提取的特征点的数量。分布参数与分布间距的关系为:
margin=sqrt((rangex/spread_parameter)2+(rangey/spread_parameter)2) (14)
减小分布间距后,重置夹角差阈值为最初的180°,从第一时刻点重新遍历连续手势轨迹,直至提取的特征点等于设定的特征值个数。经过均匀分布处理后,能够让特征点的提取变得更加均匀,避免特征点过多地聚集在弧线上,从而导致丢失直线部分的特征,也防止因为采集手势时示教者的抖动造成的起始轨迹不稳定。经过特征点均匀分布处理的预处理效果如图11所示。
(9)经过基于向量夹角差提取特征点与特征点均匀分布处理后,可以得到大于或等于特征值个数的特征向量。遍历特征点集,逐一筛除里面向量夹角差最小的关键点,直至特征点集所含的特征点数量等于预设的特征值个数为止。
(10)本发明使用支持向量机SVM作为动态轨迹识别模型,对处理后的5条动态轨迹信息进行学习。通过对指令状态下的5条轨迹进行判断,达到识别复杂动态手势的目的。

Claims (7)

1.一种基于Leap Motion体感传感器的复杂动态手势识别方法,其特征在于,具体步骤如下:
步骤(1)、利用体感传感器Leap Motion获取用户示教信息,调用Leap函数库获取手部各骨骼点信息;对获取的示教信息进行特征向量提取,对提取的特征向量进行归一化与标准化处理,将静态手势特征向量缩放到单位空间,消除示教位置带来的影响;
步骤(2)、搭建静态手势识别模块,将用户示教手势标记为指令状态;用处理后的静态手势特征向量训练静态手势识别模块,实现逐帧判断静态手势;
步骤(3)、提取指令状态下的各手指远端骨顶点信息,作为手指连续运动轨迹信息;搭建连续轨迹识别模块,对指令状态下手指连续运动状态进行判断,实现对复杂动态手势的识别。
2.根据权利要求1所述的一种基于Leap Motion体感传感器的复杂动态手势识别方法,其特征在于:步骤1中提取全手掌24个骨骼点空间坐标信息进行归一化与标准化处理,消除空间信息影响,使得静态手势识别模块不受样本手势位置信息因素的影响;
归一化处理方式为:
由于在对静态手势样本分析时,各个时刻下静态手势的维度量纲不同,采用归一化处理方式目的为将x,y,z坐标值缩放到单位空间内;
标准化处理方式:
3.根据权利要求1所述的一种基于Leap Motion体感传感器的复杂动态手势识别方法,其特征在于:步骤1通过提取全手掌骨骼点,得到手掌24个骨骼点的空间坐标信息;通过计算得到每根手指指尖Fi(i=1,...,5)到手掌中心C的距离Di(i=1,...,5)与手指指尖Fi与掌心C连线的方向向量和手掌方向向量n的夹角Ai(i=1,...,5);
指尖的距离Di:表示从指尖的位置Fi到手掌中心位置C的欧式距离
式中S是归一化因子,表示从每个手指指尖距离Fi到手掌中心位置C的平均距离,用公式表示为:
方向向量夹角Ai:表示三维空间中手指之间Fi到手掌中心位置C的连线的方向向量与手掌方向向量n之间的角度;
提取各手指关节掌骨、近端骨、中间掌骨、远端骨顶点坐标;
Thumb=[x11,y11,z11,x12,y12,z12,x13,y13,z13,x14,y14,z14]
Index=[x21,y21,z21,x22,y22,z22,x23,y23,z23,x24,y24,z24]
Middle=[x31,y31,z31,x32,y32,z32,x33,y33,z33,x34,y34,z34]
Ring=[x41,y41,z41,x42,y42,z42,x43,y43,z43,x44,y44,z44]
Pinky=[x51,y51,z51,x52,y52,z52,x53,y53,z53,x54,y54,z54]
依次计算每一根手指上首尾相邻的骨骼组成的向量,分别为S1,S2,S3,S4,记
S2S1=S1-S2=(x11-x12,y11-y12,z11-z12)
S2S3=S3-S2=(x13-x12,y13-y12,z13-z12)
S3S4=S4-S3=(x14-x13,y14-y13,z14-z13)
S3,4S2,3=S3S4×S2S3
则相应的手部关节滚动角表示为:
则相应的手部关节俯仰角表示为:
最终得到静态手势姿态特征向量集为一个大小为1×40的姿态向量:
V=[D1,...,D5,A1,...,A5Roll1,...,θRoll15Pitch1,...,θPitch15]
基于手掌特征向量,采用支持向量机Support Vector Machine作为分类器;在使用过程中,选择多项式核函数作为映射高维空间的方式,简化映射空间中的内积运算,公式如下:
K(xi,xj)=exp(-γ||xi-xj||2),γ>0
基于手掌特征向量与多项式核函数的SVM算法完成静态手势识别算法,识别结果分为指令状态与非指令状态,指令状态指该静态手势为后续复杂动态手势的一部分,非指令状态则为该静态手势没有对应的复杂动态手势。
4.根据权利要求1所述的一种基于Leap Motion体感传感器的复杂动态手势识别方法,其特征在于:步骤2中对静态手势的指令状态进行细化分类;根据真实使用场景,建立的具体类别为:抓取指令、松弛指令、书写指令、移动指令、确认指令;细化分类的指令状态手势与非指令状态手势对应到SVM中为分别的6类;将6类手势定义后使用SVM进行静态手势识别。
5.根据权利要求1所述的一种基于Leap Motion体感传感器的复杂动态手势识别方法,其特征在于:步骤3中利用了基于向量夹角差提取特征点、特征点均匀分布处理、过滤冗余特征点三种方式进行连续轨迹特征向量选取。
6.根据权利要求1所述的一种基于Leap Motion体感传感器的复杂动态手势识别方法,其特征在于:步骤3基于向量夹角差提取特征点具体为:基于向量夹角差提取特征点这一步骤通过计算向量夹角差,遍历连续轨迹过程中相邻时刻的远端骨顶点组成的向量求取夹角差,保留向量夹角差最大的21个特征值表征连续动态手势轨迹;基于向量夹角差提取特征点的优势在于捕捉到连续动态手势中变化最明显的时刻,并能在直线段和弧线上智能分配有限的点,从而保证了原始连续动态手势轨迹的特征;具体的提取过程分为以下几步:
①将整个原始手势轨迹从起始时刻开始的第一时刻点和第二时刻点默认为是一组基准向量base_vector,同时设定这组基准向量按时间顺序所确定的向量与水平轴夹角为基准角度base_angle,作为之后的比较对象;
②将原始手势轨迹的第二时刻点和第三时刻点作为一组试探向量try_vector,同时设定这组试探向量按时间顺序所确定的向量与水平轴夹角为试探角度try_angle;
③计算出试探角度try_angle与基准角度base_angle两个向量夹角的差并取绝对值gap,将其作为提取特征点的评判标准;设定夹角差阈值threshold为180°;
④若该向量夹角差的绝对值gap小于夹角差阈值threshold,则将第三时刻点与第四时刻点设为新的试探向量,并不断沿着连续手势轨迹的时间序列向后遍历,每次都算出新的试探角度与基准角度并做差,取绝对值后与夹角差阈值相比较;如此往复,直至求得的向量夹角差绝对值大于等于夹角差阈值;
⑤若向量夹角差绝对值gap大于等于夹角差阈值threshold,则这组试探向量try_vector的起始时刻点的坐标将会被作为特征点并被记录;
⑥该时刻点与下一时刻点将取代原有的基准向量,成为新的基准向量,其向量与水平轴的夹角也会成为新的基准角度,作为新的基准值;
⑦重复以上步骤,直至遍历完全部连续手势轨迹;
⑧在遍历整个原始手势轨迹后,若保留的特征点个数小于两倍的设定的特征值,即42个,则将夹角差阈值threshold以1°的步长进行递减,并重新开始步骤①,直至保留的特征点的数量大于等于两倍的特征值个数为止。
7.根据权利要求1所述的一种基于Leap Motion体感传感器的复杂动态手势识别方法,其特征在于:步骤3特征点均匀分布处理具体为:对基于向量夹角差提取的轨迹特征点进行均匀分布处理,其中基于向量夹角差提取的轨迹特征点的数量大于等于两倍的特征值;在计算两点所确定向量与水平轴的夹角的同时,分别记录下基准向量与试探向量的起始点的坐标,取时间序列靠前的时刻点坐标做记录,并利用勾股定理计算出所选取出来的两点之间的距离;只有当两点间距离大于分布间距margin,且向量夹角差大于夹角差阈值threshold时,试探向量才会被保留;分布间距margin的初始值设定为10mm;分布参数spread_parameter的初始值设为1,range_x与range_y分别为连续轨迹中x,y数组的极差;
range_x=max(x)-min(x)
range_y=max(y)-min(y)
当遍历所有原始手势轨迹数据后,若提取的特征点的数量小于所需的21个特征值,且夹角差阈值小于0°时,那么分布参数spread_parameter会以0.1为步长进行递增,使分布间距margin减小,以增加提取的特征点的数量;分布参数与分布间距的关系为:
margin=sqrt((rangex/spread_parameter)2+(rangey/spread_parameter)2)
减小分布间距后,重置夹角差阈值为最初的180°,从第一时刻点重新遍历连续手势轨迹,直至提取的特征点等于设定的特征值个数。
CN201910191967.5A 2019-03-14 2019-03-14 一种基于Leap Motion的复杂动态手势识别方法 Active CN109993073B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910191967.5A CN109993073B (zh) 2019-03-14 2019-03-14 一种基于Leap Motion的复杂动态手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910191967.5A CN109993073B (zh) 2019-03-14 2019-03-14 一种基于Leap Motion的复杂动态手势识别方法

Publications (2)

Publication Number Publication Date
CN109993073A true CN109993073A (zh) 2019-07-09
CN109993073B CN109993073B (zh) 2021-07-02

Family

ID=67130581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910191967.5A Active CN109993073B (zh) 2019-03-14 2019-03-14 一种基于Leap Motion的复杂动态手势识别方法

Country Status (1)

Country Link
CN (1) CN109993073B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490168A (zh) * 2019-08-26 2019-11-22 杭州视在科技有限公司 基于目标检测与骨骼点算法的机场迎机人员行为监测方法
CN110837792A (zh) * 2019-11-04 2020-02-25 东南大学 一种三维手势识别方法及装置
CN111580666A (zh) * 2020-05-11 2020-08-25 清华大学 一种设备控制方法、电子设备、设备控制系统及存储介质
CN111626135A (zh) * 2020-04-28 2020-09-04 中南民族大学 基于深度图的三维手势识别系统
CN111680594A (zh) * 2020-05-29 2020-09-18 北京计算机技术及应用研究所 一种基于手势识别的增强现实交互方法
CN112083800A (zh) * 2020-07-24 2020-12-15 青岛小鸟看看科技有限公司 基于自适应手指关节规则滤波的手势识别方法及系统
CN112084898A (zh) * 2020-08-25 2020-12-15 西安理工大学 基于静动态分离的装配作业动作识别方法
CN112784810A (zh) * 2021-02-08 2021-05-11 风变科技(深圳)有限公司 手势识别方法、装置、计算机设备和存储介质
CN113553884A (zh) * 2020-04-26 2021-10-26 武汉Tcl集团工业研究院有限公司 手势识别方法、终端设备及计算机可读存储介质
CN116863541A (zh) * 2023-09-01 2023-10-10 芯原科技(上海)有限公司 动态手势识别方法、装置及相关设备、手写识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140201666A1 (en) * 2013-01-15 2014-07-17 Raffi Bedikian Dynamic, free-space user interactions for machine control
CN105487665A (zh) * 2015-12-02 2016-04-13 南京邮电大学 一种基于头部姿势识别的智能移动服务机器人控制方法
CN106598227A (zh) * 2016-11-15 2017-04-26 电子科技大学 基于Leap Motion和Kinect的手势识别方法
CN107598897A (zh) * 2017-10-19 2018-01-19 北京工业大学 一种基于人体示教的仿人机器人步态规划的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140201666A1 (en) * 2013-01-15 2014-07-17 Raffi Bedikian Dynamic, free-space user interactions for machine control
CN105487665A (zh) * 2015-12-02 2016-04-13 南京邮电大学 一种基于头部姿势识别的智能移动服务机器人控制方法
CN106598227A (zh) * 2016-11-15 2017-04-26 电子科技大学 基于Leap Motion和Kinect的手势识别方法
CN107598897A (zh) * 2017-10-19 2018-01-19 北京工业大学 一种基于人体示教的仿人机器人步态规划的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JAMBHALE S S ET AL.: "Gesture recognition using DTW & piecewise DTW", 《IEEE》 *
杨文璐 等: "基于Leap Motion和支持向量机的手势识别", 《传感器与微系统》 *
陈一新: "基于Kinect的手势识别技术在人机交互中的应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
马淑慧 等: "基于SVM的Leap Motion手势识别", 《图形图像》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490168A (zh) * 2019-08-26 2019-11-22 杭州视在科技有限公司 基于目标检测与骨骼点算法的机场迎机人员行为监测方法
CN110837792A (zh) * 2019-11-04 2020-02-25 东南大学 一种三维手势识别方法及装置
CN110837792B (zh) * 2019-11-04 2023-07-25 东南大学 一种三维手势识别方法及装置
CN113553884A (zh) * 2020-04-26 2021-10-26 武汉Tcl集团工业研究院有限公司 手势识别方法、终端设备及计算机可读存储介质
CN113553884B (zh) * 2020-04-26 2023-04-18 武汉Tcl集团工业研究院有限公司 手势识别方法、终端设备及计算机可读存储介质
CN111626135A (zh) * 2020-04-28 2020-09-04 中南民族大学 基于深度图的三维手势识别系统
CN111580666A (zh) * 2020-05-11 2020-08-25 清华大学 一种设备控制方法、电子设备、设备控制系统及存储介质
CN111680594A (zh) * 2020-05-29 2020-09-18 北京计算机技术及应用研究所 一种基于手势识别的增强现实交互方法
CN111680594B (zh) * 2020-05-29 2023-06-09 北京计算机技术及应用研究所 一种基于手势识别的增强现实交互方法
CN112083800A (zh) * 2020-07-24 2020-12-15 青岛小鸟看看科技有限公司 基于自适应手指关节规则滤波的手势识别方法及系统
CN112083800B (zh) * 2020-07-24 2024-04-30 青岛小鸟看看科技有限公司 基于自适应手指关节规则滤波的手势识别方法及系统
CN112084898A (zh) * 2020-08-25 2020-12-15 西安理工大学 基于静动态分离的装配作业动作识别方法
CN112084898B (zh) * 2020-08-25 2024-02-09 西安理工大学 基于静动态分离的装配作业动作识别方法
CN112784810A (zh) * 2021-02-08 2021-05-11 风变科技(深圳)有限公司 手势识别方法、装置、计算机设备和存储介质
CN116863541A (zh) * 2023-09-01 2023-10-10 芯原科技(上海)有限公司 动态手势识别方法、装置及相关设备、手写识别方法
CN116863541B (zh) * 2023-09-01 2023-11-21 芯原科技(上海)有限公司 动态手势识别方法、装置及相关设备、手写识别方法

Also Published As

Publication number Publication date
CN109993073B (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN109993073A (zh) 一种基于Leap Motion的复杂动态手势识别方法
CN107168527B (zh) 基于区域卷积神经网络的第一视角手势识别与交互方法
De Smedt et al. Skeleton-based dynamic hand gesture recognition
CN109597485B (zh) 一种基于双指角域特征的手势交互系统及其工作方法
CN110232308B (zh) 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法
CN105809144A (zh) 一种采用动作切分的手势识别系统和方法
CN111563452B (zh) 一种基于实例分割的多人体姿态检测及状态判别方法
CN111460976B (zh) 一种数据驱动的基于rgb视频的实时手部动作评估方法
CN109543644B (zh) 一种多模态手势的识别方法
Anwar et al. Feature extraction for indonesian sign language (SIBI) using leap motion controller
CN115937928A (zh) 基于多视觉特征融合的学习状态监测方法及系统
CN113901881B (zh) 一种肌电数据自动标注方法
Daza et al. MATT: Multimodal Attention Level Estimation for e-learning Platforms
CN109753922A (zh) 基于稠密卷积神经网络的仿人机器人表情识别方法
Chen et al. Gaze Gestures and Their Applications in human-computer interaction with a head-mounted display
Huang et al. Real-time precise human-computer interaction system based on gaze estimation and tracking
CN109144262B (zh) 一种基于眼动的人机交互方法、装置、设备及存储介质
Hasan et al. Gesture feature extraction for static gesture recognition
Gupta et al. S-pencil: A smart pencil grip monitoring system for kids using sensors
Prange et al. A categorisation and implementation of digital pen features for behaviour characterisation
Maurya et al. Analysis on hand gesture recognition using artificial neural network
CN113703564A (zh) 一种基于面部特征的人机交互设备及系统
CN113705280B (zh) 一种基于面部特征的人机交互方法及装置
CN105740848B (zh) 一种基于可信度的快速人眼定位方法
CN116524572B (zh) 基于自适应Hope-Net的人脸精准实时定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant