CN107894834A - 增强现实环境下控制手势识别方法与系统 - Google Patents

增强现实环境下控制手势识别方法与系统 Download PDF

Info

Publication number
CN107894834A
CN107894834A CN201711100432.XA CN201711100432A CN107894834A CN 107894834 A CN107894834 A CN 107894834A CN 201711100432 A CN201711100432 A CN 201711100432A CN 107894834 A CN107894834 A CN 107894834A
Authority
CN
China
Prior art keywords
mrow
msub
neuron
signal
neighborhood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711100432.XA
Other languages
English (en)
Other versions
CN107894834B (zh
Inventor
赵群飞
董嘉棋
颜庭满
夏泽洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201711100432.XA priority Critical patent/CN107894834B/zh
Publication of CN107894834A publication Critical patent/CN107894834A/zh
Application granted granted Critical
Publication of CN107894834B publication Critical patent/CN107894834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种增强现实环境下控制手势识别方法，包含以下步骤：数据获取步骤：根据通过深度摄像头跟踪获取人手部的深度数据，计算手部关键点的三维坐标，来获取手部关键点的运动特征序列；神经网络处理步骤：对手部关键点的运动特征序列进行跟踪与识别，获得手势的特征序列；手势识别步骤：根据手势的特征序列，获得手势识别结果。相应地，本发明还提供了一种增强现实环境下控制手势识别系统。本发明可以对手势进行准确并快速的识别，减少了资源占用，提高了鲁棒性和实时性。

Description

增强现实环境下控制手势识别方法与系统
技术领域
本发明涉及人机交互的技术领域；具体地，涉及到手势控制，体感游戏操作，增强现实，虚拟现实，混合现实，计算机操作，手语识别，医疗控制领域；特别地，涉及一种增强现实环境下控制手势识别方法与系统。
背景技术
人机交互技术(Human-Computer Interaction Techniques)是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。其主要研究的是人和计算机之间的信息交换，包括人到计算机和计算机到人的信息交换两部分。人与计算机之间的信息交换主要依靠交互设备进行，如早期人们通过鼠标和键盘对计算机进行操作交互等。但随着计算的发展，人们不断寻求着更方便更自如的人机交互方式。
随着计算机视觉及图像技术的发展，增强现实(Augmented Real ity，简称AR)技术以一种新的交互方式呈现在人们眼前。AR技术是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。增强现实技术不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。
经过对现有的技术文献的检索中发现，在许多AR系统的应用中，大多采用了手势来进行交互。专利文献CN103955267A公开了一种光透视增强现实系统中双手人机交互方法，通过算法对数据手套的读数进行自适应处理，并利用处理后的数据实时获取用户手部的方位以及手指的弯曲状态。虽然数据手套作为AR人机交互系统的基本手段之一，却有设备重、操作不便和响应速度慢等缺点。专利文献CN104850582A公开了一种索引式增强现实系统，通过增强现实输入笔读取并解析对象携带的编码规则的OID编码得到特征信息，并将特征信息传输给终端。虽然采用交互面板和输入笔能够获取快速的交互响应、识别率高、易用性强等优点，但是交互过程中用户必须手持面板和笔，影响了用户交互的体验。
在AR交互技术方面，微软研发的AR设备HoloLens(美国专利号：9557569)使用户能对操作系统不加任何限制直接进行手势交互，但目前的能操作的手势非常局限，只有点击鼠标和呼出菜单两种手势操作，不能满足用户对计算机的操作需求。
手势识别算法是AR系统人机交互技术实现的研究热点，专利文献CN106502424A公开了一种基于语音手势及肢体动作互动的增强现实系统，通过传感器采集肢体位置变化的信息，手势和肢体动作识别模块对来自视频采集模块的视频流进行解析，识别出手势指令和肢体动作，以及人体在场景中的位置。但为了实现复杂的手势交互，往往需要占用大量的硬件资源，无法保证实时性和鲁棒性。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种增强现实环境下控制手势识别方法与系统。
根据本发明提供的增强现实环境下控制手势识别方法，包含以下步骤：
数据获取步骤：根据通过深度摄像头跟踪获取人手部的深度数据，计算手部关键点的三维坐标，来获取手部关键点的运动特征序列；
神经网络处理步骤：对手部关键点的运动特征序列进行跟踪与识别，获得手势的特征序列；
手势识别步骤：根据手势的特征序列，获得手势识别结果。
优选地，所述数据获取步骤中，根据每一个手部关键点的三维坐标得到该手部关键点的运动位移，并根据该手部关键点的运动位移为该手部关键点添加权重值，所述权重值按如下公式计算：
式中：W为手部关键点的权重值；Dist为手部关键点的运动位移；σ1、σ2为选取的阈值，单位为mm；
将全部手部关键点的权重值作为所述手部关键点的运动特征序列。
优选地，所述神经网络处理步骤中，采用神经网络对手部关键点的运动特征序列进行跟踪与识别；
所述神经网络为多个神经元互连形成的反馈型神经网络。
优选地，所述神经网络处理步骤包含以下步骤：
接收步骤：当一个神经元获取到邻域神经元的信号时，获取该神经元与邻域神经元的馈接信号与连接信号，选取馈接信号与连接信号中的较小值作为该神经元的邻域信号；
根据获取到的该神经元的被激活的邻域神经元的信号和所述邻域信号，对被激活的邻域神经元进行权重筛选以获得筛选信号，公式如下：
Li(n)＝min{Lli(n)，Lki(n)}
Pi(n)＝Select{Sk,j(n)}
式中：Lli为神经元Ni获取的邻域神经元的连接信号；Lli()为神经元Ni获取的邻域神经元的连接信号函数；Ni表示第i个神经元；n为迭代次数；Lli(n)为第n次迭代下的神经元Ni获取的邻域神经元的连接信号；e为自然底数；αL为连接域的时间常数；Lli(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的连接信号；VL为连接域的放大系数；l的取值范围为：l为邻域发出连接信号神经元的个数，l为正整数；Wli为神经元Ni的连接域的连接权系数矩阵；Yl为邻域发出连接信号的神经元的输出；Yl()为邻域发出连接信号的神经元的输出函数；Yl(n-1)为第n-1次迭代下邻域发出连接信号的神经元的输出；Lki为神经元Ni获取的邻域神经元的馈接信号；Lki()为神经元Ni获取的邻域神经元的馈接信号函数；Lki(n)为第n次迭代下的神经元Ni获取的邻域神经元的馈接信号；αK为馈接域的时间常数；Lki(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的馈接信号；VK为馈接域的放大系数；k的取值范围为：k为邻域发出馈接信号神经元的个数，k为正整数；Wki为神经元Ni的馈送域的连接权系数矩阵；Yk为邻域发出馈接信号的神经元的输出；Yk()为邻域发出馈接信号的神经元的输出函数；Yk(n-1)为第n-1次迭代下邻域发出馈接信号的神经元的输出；Li为神经元Ni的筛选后的连接信号；Li()为神经元Ni的筛选后的连接信号函数；Li(n)为第n次迭代下的神经元Ni的筛选后的连接信号；Pi为神经元Ni的筛选信号；Pi()为神经元Ni的筛选信号函数；Pi(n)为第n次迭代下的神经元Ni的筛选信号；Select{}表示对被激活的邻域神经元的激活信号进行筛选；Select{Sk,j(n)}表示筛选出的被激活的邻域神经元的激活信号；Sk,j为被激活的邻域神经元的激活信号；Sk,j()为被激活的邻域神经元的激活信号函数；Sk,j(n)为第n次迭代下被激活的邻域神经元的激活信号；
调节步骤：对筛选信号与邻域信号按以下公式进行调整，获得调整信号：
式中：为神经元Ni的调整信号；为神经元Ni的调整信号函数；为第n次迭代下的神经元Ni的调整信号；dist(Ni,NT)表示神经元Ni和NT之间的欧式距离；Ni表示第i个神经元，NT表示终点目标神经元；
脉冲发生步骤：将调整信号输入到脉冲触发器中，按以下公式来进行感兴趣方向的调整：
式中：Ui为神经元Ni的内部行为信号；Ui()为神经元Ni的内部行为信号函数；Ui(n)为第n次迭代下的神经元Ni的内部行为信号；Ui(n-1)为第n-1次迭代下的神经元Ni的内部行为信号；θi为神经元Ni的变阈值函数输出；θi()为神经元Ni的变阈值函数输出函数；θi(n)为第n次迭代下的神经元Ni的变阈值函数输出；αθ为变域值函数的时间常数；θi(n-1)为第n-1次迭代下的神经元Ni的变阈值函数输出；Vθ为阈值放大系数；Yi为神经元Ni的输出信号；Yi()为神经元Ni的输出信号函数；Yi(n)为第n次迭代下的神经元Ni的输出信号；
将Yi(n)作为所述手势的特征序列。
优选地，所述片段识别步骤包含以下步骤：
步骤S1：将手势特征序列输入到初始窗口大小为W0的滑动窗口中，对局部的手势片段与样本手势进行匹配识别，获得最短路径Dspl；其中，所述手势片段是通过对手势的特征序列进行片段识别得到的；
步骤S2：将最短路径Dspl与阈值TH1进行比较，若Dspl≥TH1，则增加滑动窗口大小至W+ΔW，W为窗口当前大小，ΔW为窗口大小每次增加的设定值，再返回执行步骤S1；若Dspl＜TH1，继续执行步骤S3；
步骤S3：将次最短路径D2spl和最短路径Dspl之差与阈值TH2进行比较，若D2spl-Dspl≤TH2，则增加滑动窗口大小至W+ΔW，再返回执行步骤S1；若D2spl-Dspl＞TH2，则采用当前滑动窗口，通过手势的特征序列获得手势识别结果。
本发明还提供了一种增强现实环境下控制手势识别系统，包含以下模块：
数据获取模块：根据通过深度摄像头跟踪获取人手部的深度数据，计算手部关键点的三维坐标，来获取手部关键点的运动特征序列；
神经网络处理模块：对手部关键点的运动特征序列进行跟踪与识别，获得手势的特征序列；
手势识别模块：根据手势的特征序列，获得手势识别结果。
优选地，所述数据获取模块中，根据每一个手部关键点的三维坐标得到该手部关键点的运动位移，并根据该手部关键点的运动位移为该手部关键点添加权重值，所述权重值按如下公式计算：
式中：W为手部关键点的权重值；Dist为手部关键点的运动位移；σ1、σ2为选取的阈值，单位为mm；
将全部手部关键点的权重值作为所述手部关键点的运动特征序列。
优选地，所述神经网络处理模块中，采用神经网络对手部关键点的运动特征序列进行跟踪与识别；
所述神经网络为多个神经元互连形成的反馈型神经网络。
优选地，所述神经网络处理模块包含以下模块：
接收模块：当一个神经元获取到邻域神经元的信号时，获取该神经元与邻域神经元的馈接信号与连接信号，选取馈接信号与连接信号中的较小值作为该神经元的邻域信号；
根据获取到的该神经元的被激活的邻域神经元的信号和所述邻域信号，对被激活的邻域神经元进行权重筛选以获得筛选信号，公式如下：
Li(n)＝min{Lli(n)，Lki(n)}
Pi(n)＝Select{Sk,j(n)}
式中：Lli为神经元Ni获取的邻域神经元的连接信号；Lli()为神经元Ni获取的邻域神经元的连接信号函数；Ni表示第i个神经元；n为迭代次数；Lli(n)为第n次迭代下的神经元Ni获取的邻域神经元的连接信号；e为自然底数；αL为连接域的时间常数；Lli(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的连接信号；VL为连接域的放大系数；l的取值范围为：l为邻域发出连接信号神经元的个数，l为正整数；Wli为神经元Ni的连接域的连接权系数矩阵；Yl为邻域发出连接信号的神经元的输出；Yl()为邻域发出连接信号的神经元的输出函数；Yl(n-1)为第n-1次迭代下邻域发出连接信号的神经元的输出；Lki为神经元Ni获取的邻域神经元的馈接信号；Lki()为神经元Ni获取的邻域神经元的馈接信号函数；Lki(n)为第n次迭代下的神经元Ni获取的邻域神经元的馈接信号；αK为馈接域的时间常数；Lki(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的馈接信号；Vk为馈接域的放大系数；k的取值范围为：k为邻域发出馈接信号神经元的个数，k为正整数；Wki为神经元Ni的馈送域的连接权系数矩阵；Yk为邻域发出馈接信号的神经元的输出；Yk()为邻域发出馈接信号的神经元的输出函数；Yk(n-1)为第n-1次迭代下邻域发出馈接信号的神经元的输出；Li为神经元Ni的筛选后的连接信号；Li()为神经元Ni的筛选后的连接信号函数；Li(n)为第n次迭代下的神经元Ni的筛选后的连接信号；Pi为神经元Ni的筛选信号；Pi()为神经元Ni的筛选信号函数；Pi(n)为第n次迭代下的神经元Ni的筛选信号；Select{}表示对被激活的邻域神经元的激活信号进行筛选；Select{Sk,j(n)}表示筛选出的被激活的邻域神经元的激活信号；Sk,j为被激活的邻域神经元的激活信号；Sk,j()为被激活的邻域神经元的激活信号函数；Sk,j(n)为第n次迭代下被激活的邻域神经元的激活信号；
调节模块：对筛选信号与邻域信号按以下公式进行调整，获得调整信号：
式中：为神经元Ni的调整信号；为神经元Ni的调整信号函数；为第n次迭代下的神经元Ni的调整信号；dist(Ni,NT)表示神经元Ni和NT之间的欧式距离；Ni表示第i个神经元，NT表示终点目标神经元；
脉冲发生模块：将调整信号输入到脉冲触发器中，按以下公式来进行感兴趣方向的调整：
式中：Ui为神经元Ni的内部行为信号；Ui()为神经元Ni的内部行为信号函数；Ui(n)为第n次迭代下的神经元Ni的内部行为信号；Ui(n-1)为第n-1次迭代下的神经元Ni的内部行为信号；θi为神经元Ni的变阈值函数输出；θi()为神经元Ni的变阈值函数输出函数；θi(n)为第n次迭代下的神经元Ni的变阈值函数输出；αθ为变域值函数的时间常数；θi(n-1)为第n-1次迭代下的神经元Ni的变阈值函数输出；Vθ为阈值放大系数；Yi为神经元Ni的输出信号；Yi()为神经元Ni的输出信号函数；Yi(n)为第n次迭代下的神经元Ni的输出信号；
将Yi(n)作为所述手势的特征序列。
优选地，所述片段识别模块包含以下模块：
模块S1：将手势特征序列输入到初始窗口大小为W0的滑动窗口中，对局部的手势片段与样本手势进行匹配识别，获得最短路径Dspl；其中，所述手势片段是通过对手势的特征序列进行片段识别得到的；
模块S2：将最短路径Dspl与阈值TH1进行比较，若Dspl≥TH1，则增加滑动窗口大小至W+ΔW，W为窗口当前大小，ΔW为窗口大小每次增加的设定值，再返回执行模块S1；若Dspl＜TH1，继续执行模块S3；
模块S3：将次最短路径D2spl和最短路径Dspl之差与阈值TH2进行比较，若D2spl-Dspl≤TH2，则增加滑动窗口大小至W+ΔW，再返回执行模块S1；若D2spl-Dspl＞TH2，则采用当前滑动窗口，通过手势的特征序列获得手势识别结果。
与现有技术相比，本发明具有如下的有益效果：
1、本发明可以对手势进行准确并快速的识别，减少了资源占用，提高了鲁棒性和实时性；
2、本发明可以直接通过多种手势在复杂的AR环境下进行各种操作控制，提高了交互体验；
3、本发明算法简单，易于实现。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的增强现实环境下控制手势识别方法的算法流程图。
图2为本发明提供的增强现实环境下控制手势识别方法的算法示意图。
图3为本发明提供的增强现实环境下控制手势识别方法的快速手势识别方法的示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如图1所示，本发明提供的增强现实环境下控制手势识别方法包含以下步骤：数据获取步骤：根据通过深度摄像头跟踪获取人手部的深度数据，计算手部关键点的三维坐标，来获取手部关键点的运动特征序列；神经网络处理步骤：对手部关键点的运动特征序列进行跟踪与识别，获得手势的特征序列；手势识别步骤：根据手势的特征序列，获得手势识别结果。
在所述数据获取步骤中，根据每一个手部关键点的三维坐标得到该手部关键点的运动位移，并根据该手部关键点的运动位移为该手部关键点添加权重值，所述权重值按如下公式计算：
式中：W为手部关键点的权重值；Dist为手部关键点的运动位移，该运动位移指手部关键点的绝对位移值，即不分正向与反向，因此位移值的大小不会小于零；σ1、σ2为选取的阈值，单位为mm。
将全部手部关键点的权重值作为所述手部关键点的运动特征序列。所述神经网络处理步骤中，采用神经网络对手部关键点的运动特征序列进行跟踪与识别，所述神经网络为多个神经元互连形成的反馈型神经网络。如图2所示，神经网络处理步骤包含接收步骤、调节步骤以及脉冲发生步骤。
接收步骤：当一个神经元获取到邻域神经元的信号时，获取该神经元与邻域神经元的馈接信号与连接信号，选取馈接信号与连接信号中的较小值作为该神经元的邻域信号；根据获取到的该神经元的被激活的邻域神经元的信号和所述邻域信号，对被激活的邻域神经元进行权重筛选以获得筛选信号，公式如下：
Li(n)＝min{Lli(n)，Lki(n)}
Pi(n)＝Select{Sk,j(n)}
式中：Lli为神经元Ni获取的邻域神经元的连接信号；Lli()为神经元Ni获取的邻域神经元的连接信号函数；Ni表示第i个神经元；n为迭代次数；Lli(n)为第n次迭代下的神经元Ni获取的邻域神经元的连接信号；e为自然底数；αL为连接域的时间常数；Lli(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的连接信号；VL为连接域的放大系数；l的取值范围为：l为邻域发出连接信号神经元的个数，l为正整数；Wli为神经元Ni的连接域的连接权系数矩阵；Yl为邻域发出连接信号的神经元的输出；Yl()为邻域发出连接信号的神经元的输出函数；Yl(n-1)为第n-1次迭代下邻域发出连接信号的神经元的输出；Lki为神经元Ni获取的邻域神经元的馈接信号；Lki()为神经元Ni获取的邻域神经元的馈接信号函数；Lki(n)为第n次迭代下的神经元Ni获取的邻域神经元的馈接信号；αK为馈接域的时间常数；Lki(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的馈接信号；VK为馈接域的放大系数；k的取值范围为：k为邻域发出馈接信号神经元的个数，k为正整数；Wki为神经元Ni的馈送域的连接权系数矩阵；Yk为邻域发出馈接信号的神经元的输出；Yk()为邻域发出馈接信号的神经元的输出函数；Yk(n-1)为第n-1次迭代下邻域发出馈接信号的神经元的输出；Li为神经元Ni的筛选后的连接信号；Li()为神经元Ni的筛选后的连接信号函数；Li(n)为第n次迭代下的神经元Ni的筛选后的连接信号；Pi为神经元Ni的筛选信号；Pi()为神经元Ni的筛选信号函数；Pi(n)为第n次迭代下的神经元Ni的筛选信号；Select{}表示对被激活的邻域神经元的激活信号进行筛选；Select{Sk,j(n)}表示筛选出的被激活的邻域神经元的激活信号；Sk,j为被激活的邻域神经元的激活信号；Sk,j()为被激活的邻域神经元的激活信号函数；Sk,j(n)为第n次迭代下被激活的邻域神经元的激活信号。
调节步骤：对筛选信号与邻域信号按以下公式进行调整，获得调整信号：
式中：为神经元Ni的调整信号；为神经元Ni的调整信号函数；为第n次迭代下的神经元Ni的调整信号；dist(Ni,NT)表示神经元Ni和NT之间的欧式距离；Ni表示第i个神经元，NT表示终点目标神经元。
脉冲发生步骤：将调整信号输入到脉冲触发器中，按以下公式来进行感兴趣方向的调整：
式中：Ui为神经元Ni的内部行为信号；Ui()为神经元Ni的内部行为信号函数；Ui(n)为第n次迭代下的神经元Ni的内部行为信号；Ui(n-1)为第n-1次迭代下的神经元Ni的内部行为信号；θi为神经元Ni的变阈值函数输出；θi()为神经元Ni的变阈值函数输出函数；θi(n)为第n次迭代下的神经元Ni的变阈值函数输出；αθ为变域值函数的时间常数；θi(n-1)为第n-1次迭代下的神经元Ni的变阈值函数输出；Vθ为阈值放大系数；Yi为神经元Ni的输出信号；Yi()为神经元Ni的输出信号函数；Yi(n)为第n次迭代下的神经元Ni的输出信号；
将Yi(n)作为所述手势的特征序列。在图2中，m为筛选出来的邻域神经元标号；Fi表示神经元Ni的外部刺激信号，Fi＝dist(Ni,NT)。因为算法过程是需要一次次迭代实现的，所以在公式中加入了迭代参数m，而图中只是表示了一次迭代过程中的具体流程，故都省略了变量n。
如图3所示：所述片段识别步骤包含以下步骤：步骤S1：将手势特征序列输入到初始窗口大小为W0的滑动窗口中，对局部的手势片段与样本手势进行匹配识别，获得最短路径Dspl；其中，所述手势片段是通过对手势的特征序列进行片段识别得到的；步骤S2：将最短路径Dspl与阈值TH1进行比较，若Dspl≥TH1，则增加滑动窗口大小至W+ΔW，W为窗口当前大小，ΔW为窗口大小每次增加的设定值，再返回执行步骤S1；若Dspl＜TH1，继续执行步骤S3；步骤S3：将次最短路径D2spl和最短路径Dspl之差与阈值TH2进行比较，若D2spl-Dspl≤TH2，则增加滑动窗口大小至W+ΔW，再返回执行步骤S1；若D2spl-Dspl＞TH2，则采用当前滑动窗口，采用DPCNN算法，通过手势的特征序列获得手势识别结果。其中W0即初始时刻窗口当前大小W的值。
优选实施方式中，通过AR设备上的深度摄像头获取用户手部关键点的运动特征序列并进行跟踪与识别，主要的控制手势分为：电脑操作系统控制手势，被识别的手势主要为点击鼠标、移动窗口、上下滑动、翻页、缩放等模拟计算机系统操作的功能手势；聋哑人手语手势，被识别的手势主要为聋哑人常用交流手势，如谢谢、再见、对不起、原谅、麻烦、人称代词等；复杂细微的控制手势，如穿针引线，手术操作等。其中电脑操作系统控制手势具体定义的控制手势如下所示：
聋哑人手语手势具体定义的识别手势如下所示：
本发明还提供了一种增强现实环境下控制手势识别系统，上述的增强现实环境下控制手势识别方法的步骤流程可以视作增强现实环境下控制手势识别系统的优选实施方式，增强现实环境下控制手势识别系统的功能可以通过执行增强现实环境下控制手势识别方法中的步骤来实现。增强现实环境下控制手势识别系统包含以下模块：数据获取模块：根据通过深度摄像头跟踪获取人手部的深度数据，计算手部关键点的三维坐标，来获取手部关键点的运动特征序列；神经网络处理模块：对手部关键点的运动特征序列进行跟踪与识别，获得手势的特征序列；手势识别模块：根据手势的特征序列，获得手势识别结果。
在所述数据获取模块中，根据每一个手部关键点的三维坐标得到该手部关键点的运动位移，并根据该手部关键点的运动位移为该手部关键点添加权重值，所述权重值按如下公式计算：
式中：W为手部关键点的权重值；Dist为手部关键点的运动位移，该运动位移指手部关键点的绝对位移值，即不分正向与反向，因此位移值的大小不会小于零；σ1、σ2为选取的阈值，单位为mm。
将全部手部关键点的权重值作为所述手部关键点的运动特征序列。所述神经网络处理模块中，采用神经网络对手部关键点的运动特征序列进行跟踪与识别，所述神经网络为多个神经元互连形成的反馈型神经网络。如图2所示，神经网络处理模块包含接收模块、调节模块以及脉冲发生模块。
接收模块：当一个神经元获取到邻域神经元的信号时，获取该神经元与邻域神经元的馈接信号与连接信号，选取馈接信号与连接信号中的较小值作为该神经元的邻域信号；根据获取到的该神经元的被激活的邻域神经元的信号和所述邻域信号，对被激活的邻域神经元进行权重筛选以获得筛选信号，公式如下：
Li(n)＝min{Lli(n)，Lki(n)}
Pi(n)＝Select{Sk,j(n)}
式中：Lli为神经元Ni获取的邻域神经元的连接信号；Lli()为神经元Ni获取的邻域神经元的连接信号函数；Ni表示第i个神经元；n为迭代次数；Lli(n)为第n次迭代下的神经元Ni获取的邻域神经元的连接信号；e为自然底数；αL为连接域的时间常数；Lli(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的连接信号；VL为连接域的放大系数；l的取值范围为：l为邻域发出连接信号神经元的个数，l为正整数；Wli为神经元Ni的连接域的连接权系数矩阵；Yl为邻域发出连接信号的神经元的输出；Yl()为邻域发出连接信号的神经元的输出函数；Yl(n-1)为第n-1次迭代下邻域发出连接信号的神经元的输出；Lki为神经元Ni获取的邻域神经元的馈接信号；Lki()为神经元Ni获取的邻域神经元的馈接信号函数；Lki(n)为第n次迭代下的神经元Ni获取的邻域神经元的馈接信号；αK为馈接域的时间常数；Lki(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的馈接信号；VK为馈接域的放大系数；k的取值范围为：k为邻域发出馈接信号神经元的个数，k为正整数；Wki为神经元Ni的馈送域的连接权系数矩阵；Yk为邻域发出馈接信号的神经元的输出；Yk()为邻域发出馈接信号的神经元的输出函数；Yk(n-1)为第n-1次迭代下邻域发出馈接信号的神经元的输出；Li为神经元Ni的筛选后的连接信号；Li()为神经元Ni的筛选后的连接信号函数；Li(n)为第n次迭代下的神经元Ni的筛选后的连接信号；Pi为神经元Ni的筛选信号；Pi()为神经元Ni的筛选信号函数；Pi(n)为第n次迭代下的神经元Ni的筛选信号；Select{}表示对被激活的邻域神经元的激活信号进行筛选；Select{Sk,j(n)}表示筛选出的被激活的邻域神经元的激活信号；Sk,j为被激活的邻域神经元的激活信号；Sk,j()为被激活的邻域神经元的激活信号函数；Sk,j(n)为第n次迭代下被激活的邻域神经元的激活信号。
调节模块：对筛选信号与邻域信号按以下公式进行调整，获得调整信号：
式中：为神经元Ni的调整信号；为神经元Ni的调整信号函数；为第n次迭代下的神经元Ni的调整信号；dist(Ni,NT)表示神经元Ni和NT之间的欧式距离；Ni表示第i个神经元，NT表示终点目标神经元。
脉冲发生模块：将调整信号输入到脉冲触发器中，按以下公式来进行感兴趣方向的调整：
式中：Ui为神经元Ni的内部行为信号；Ui()为神经元Ni的内部行为信号函数；Ui(n)为第n次迭代下的神经元Ni的内部行为信号；Ui(n-1)为第n-1次迭代下的神经元Ni的内部行为信号；θi为神经元Ni的变阈值函数输出；θi()为神经元Ni的变阈值函数输出函数；θi(n)为第n次迭代下的神经元Ni的变阈值函数输出；αθ为变域值函数的时间常数；θi(n-1)为第n-1次迭代下的神经元Ni的变阈值函数输出；Vθ为阈值放大系数；Yi为神经元Ni的输出信号；Yi()为神经元Ni的输出信号函数；Yi(n)为第n次迭代下的神经元Ni的输出信号；
将Yi(n)作为所述手势的特征序列。在图2中，m为筛选出来的邻域神经元标号；Fi表示神经元Ni的外部刺激信号，Fi＝dist(Ni,NT)。因为算法过程是需要一次次迭代实现的，所以在公式中加入了迭代参数m，而图中只是表示了一次迭代过程中的具体流程，故都省略了变量n。
如图3所示：所述片段识别模块包含以下模块：模块S1：将手势特征序列输入到初始窗口大小为W0的滑动窗口中，对局部的手势片段与样本手势进行匹配识别，获得最短路径Dspl；其中，所述手势片段是通过对手势的特征序列进行片段识别得到的；模块S2：将最短路径Dspl与阈值TH1进行比较，若Dspl≥TH1，则增加滑动窗口大小至W+ΔW，W为窗口当前大小，ΔW为窗口大小每次增加的设定值，再返回执行模块S1；若Dspl＜TH1，继续执行模块S3；模块S3：将次最短路径D2spl和最短路径Dspl之差与阈值TH2进行比较，若D2spl-Dspl≤TH2，则增加滑动窗口大小至W+ΔW，再返回执行模块S1；若D2spl-Dspl＞TH2，则采用当前滑动窗口，采用DPCNN算法，通过手势的特征序列获得手势识别结果。其中W0即初始时刻窗口当前大小W的值。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的控制器及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的控制器及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的控制器及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种增强现实环境下控制手势识别方法，其特征在于，包含以下步骤：
数据获取步骤：根据通过深度摄像头跟踪获取人手部的深度数据，计算手部关键点的三维坐标，来获取手部关键点的运动特征序列；
神经网络处理步骤：对手部关键点的运动特征序列进行跟踪与识别，获得手势的特征序列；
手势识别步骤：根据手势的特征序列，获得手势识别结果。
2.根据权利要求1所述的增强现实环境下控制手势识别方法，其特征在于，所述数据获取步骤中，根据每一个手部关键点的三维坐标得到该手部关键点的运动位移，并根据该手部关键点的运动位移为该手部关键点添加权重值，所述权重值按如下公式计算：
<mrow> <mi>W</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mn>0</mn> <mo>&lt;</mo> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mo>&lt;</mo> <msub> <mi>&amp;sigma;</mi> <mn>1</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mfrac> <mrow> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mo>-</mo> <msub> <mi>&amp;sigma;</mi> <mn>1</mn> </msub> </mrow> <mrow> <mo>(</mo> <msub> <mi>&amp;sigma;</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>&amp;sigma;</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mfrac> <mo>*</mo> <mrow> <mo>(</mo> <msub> <mi>&amp;sigma;</mi> <mn>1</mn> </msub> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>+</mo> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>&amp;sigma;</mi> <mn>1</mn> </msub> <mo>&amp;le;</mo> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mo>&lt;</mo> <msub> <mi>&amp;sigma;</mi> <mn>2</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;sigma;</mi> <mn>2</mn> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mo>&amp;GreaterEqual;</mo> <msub> <mi>&amp;sigma;</mi> <mn>2</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
式中：W为手部关键点的权重值；Dist为手部关键点的运动位移；σ1、σ2为选取的阈值，单位为mm；
将全部手部关键点的权重值作为所述手部关键点的运动特征序列。
3.根据权利要求1所述的增强现实环境下控制手势识别方法，其特征在于，所述神经网络处理步骤中，采用神经网络对手部关键点的运动特征序列进行跟踪与识别；
所述神经网络为多个神经元互连形成的反馈型神经网络。
4.根据权利要求3所述的增强现实环境下控制手势识别方法，其特征在于，所述神经网络处理步骤包含以下步骤：
接收步骤：当一个神经元获取到邻域神经元的信号时，获取该神经元与邻域神经元的馈接信号与连接信号，选取馈接信号与连接信号中的较小值作为该神经元的邻域信号；
根据获取到的该神经元的被激活的邻域神经元的信号和所述邻域信号，对被激活的邻域神经元进行权重筛选以获得筛选信号，公式如下：
<mrow> <msub> <mi>L</mi> <mrow> <mi>l</mi> <mi>i</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>L</mi> </msub> </mrow> </msup> <msub> <mi>L</mi> <mrow> <mi>l</mi> <mi>i</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>V</mi> <mi>L</mi> </msub> <munder> <mo>&amp;Sigma;</mo> <mi>l</mi> </munder> <msub> <mi>W</mi> <mrow> <mi>l</mi> <mi>i</mi> </mrow> </msub> <msub> <mi>Y</mi> <mi>l</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>L</mi> <mrow> <mi>k</mi> <mi>i</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>K</mi> </msub> </mrow> </msup> <msub> <mi>L</mi> <mrow> <mi>k</mi> <mi>i</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>V</mi> <mi>K</mi> </msub> <munder> <mo>&amp;Sigma;</mo> <mi>k</mi> </munder> <msub> <mi>W</mi> <mrow> <mi>k</mi> <mi>i</mi> </mrow> </msub> <msub> <mi>Y</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
Li(n)＝min{Lli(n)，Lki(n)}
Pi(n)＝Select{Sk,j(n)}
式中：Lli为神经元Ni获取的邻域神经元的连接信号；Lli( )为神经元Ni获取的邻域神经元的连接信号函数；Ni表示第i个神经元；n为迭代次数；Lli(n)为第n次迭代下的神经元Ni获取的邻域神经元的连接信号；e为自然底数；αL为连接域的时间常数；Lli(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的连接信号；VL为连接域的放大系数；l的取值范围为：l为邻域发出连接信号神经元的个数，l为正整数；Wli为神经元Ni的连接域的连接权系数矩阵；Yl为邻域发出连接信号的神经元的输出；Yl( )为邻域发出连接信号的神经元的输出函数；Yl(n-1)为第n-1次迭代下邻域发出连接信号的神经元的输出；Lki为神经元Ni获取的邻域神经元的馈接信号；Lki( )为神经元Ni获取的邻域神经元的馈接信号函数；Lki(n)为第n次迭代下的神经元Ni获取的邻域神经元的馈接信号；αK为馈接域的时间常数；Lki(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的馈接信号；VK为馈接域的放大系数；k的取值范围为：k为邻域发出馈接信号神经元的个数，k为正整数；Wki为神经元Ni的馈送域的连接权系数矩阵；Yk为邻域发出馈接信号的神经元的输出；Yk()为邻域发出馈接信号的神经元的输出函数；Yk(n-1)为第n-1次迭代下邻域发出馈接信号的神经元的输出；Li为神经元Ni的筛选后的连接信号；Li()为神经元Ni的筛选后的连接信号函数；Li(n)为第n次迭代下的神经元Ni的筛选后的连接信号；Pi为神经元Ni的筛选信号；Pi( )为神经元Ni的筛选信号函数；Pi(n)为第n次迭代下的神经元Ni的筛选信号；Select{ }表示对被激活的邻域神经元的激活信号进行筛选；Select{Sk,j(n)}表示筛选出的被激活的邻域神经元的激活信号；Sk,j为被激活的邻域神经元的激活信号；Sk,j( )为被激活的邻域神经元的激活信号函数；Sk,j(n)为第n次迭代下被激活的邻域神经元的激活信号；
调节步骤：对筛选信号与邻域信号按以下公式进行调整，获得调整信号：
<mrow> <msub> <mover> <mi>U</mi> <mo>^</mo> </mover> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>P</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <msub> <mi>N</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>N</mi> <mi>T</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>L</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
式中：为神经元Ni的调整信号；为神经元Ni的调整信号函数；为第n次迭代下的神经元Ni的调整信号；dist(Ni,NT)表示神经元Ni和NT之间的欧式距离；Ni表示第i个神经元，NT表示终点目标神经元；
脉冲发生步骤：将调整信号输入到脉冲触发器中，按以下公式来进行感兴趣方向的调整：
<mrow> <msub> <mi>U</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mo>{</mo> <msub> <mi>U</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>,</mo> <msub> <mover> <mi>U</mi> <mo>^</mo> </mover> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>}</mo> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>P</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>U</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>P</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
<mrow> <msub> <mi>&amp;theta;</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>&amp;theta;</mi> </msub> </mrow> </msup> <msub> <mi>&amp;theta;</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>V</mi> <mi>&amp;theta;</mi> </msub> <msub> <mi>Y</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>Y</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> <mo>,</mo> <msub> <mi>U</mi> <mi>i</mi> </msub> <mo>(</mo> <mi>n</mi> <mo>)</mo> <mo>&gt;</mo> <msub> <mi>&amp;theta;</mi> <mi>i</mi> </msub> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> <mo>,</mo> <msub> <mi>U</mi> <mi>i</mi> </msub> <mo>(</mo> <mi>n</mi> <mo>)</mo> <mo>&amp;le;</mo> <msub> <mi>&amp;theta;</mi> <mi>i</mi> </msub> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mtd> </mtr> </mtable> </mfenced> </mrow>
式中：Ui为神经元Ni的内部行为信号；Ui( )为神经元Ni的内部行为信号函数；Ui(n)为第n次迭代下的神经元Ni的内部行为信号；Ui(n-1)为第n-1次迭代下的神经元Ni的内部行为信号；θi为神经元Ni的变阈值函数输出；θi( )为神经元Ni的变阈值函数输出函数；θi(n)为第n次迭代下的神经元Ni的变阈值函数输出；αθ为变域值函数的时间常数；θi(n-1)为第n-1次迭代下的神经元Ni的变阈值函数输出；Vθ为阈值放大系数；Yi为神经元Ni的输出信号；Yi( )为神经元Ni的输出信号函数；Yi(n)为第n次迭代下的神经元Ni的输出信号；
将Yi(n)作为所述手势的特征序列。
5.根据权利要求1所述的增强现实环境下控制手势识别方法，其特征在于，所述片段识别步骤包含以下步骤：
步骤S1：将手势特征序列输入到初始窗口大小为W0的滑动窗口中，对局部的手势片段与样本手势进行匹配识别，获得最短路径Dspl；其中，所述手势片段是通过对手势的特征序列进行片段识别得到的；
步骤S2：将最短路径Dspl与阈值TH1进行比较，若Dspl≥TH1，则增加滑动窗口大小至W+ΔW，W为窗口当前大小，ΔW为窗口大小每次增加的设定值，再返回执行步骤S1；若Dspl＜TH1，继续执行步骤S3；
步骤S3：将次最短路径D2spl和最短路径Dspl之差与阈值TH2进行比较，若D2spl-Dspl≤TH2，则增加滑动窗口大小至W+ΔW，再返回执行步骤S1；若D2spl-Dspl＞TH2，则采用当前滑动窗口，通过手势的特征序列获得手势识别结果。
6.一种增强现实环境下控制手势识别系统，其特征在于，包含以下模块：
数据获取模块：根据通过深度摄像头跟踪获取人手部的深度数据，计算手部关键点的三维坐标，来获取手部关键点的运动特征序列；
神经网络处理模块：对手部关键点的运动特征序列进行跟踪与识别，获得手势的特征序列；
手势识别模块：根据手势的特征序列，获得手势识别结果。
7.根据权利要求6所述的增强现实环境下控制手势识别系统，其特征在于，所述数据获取模块中，根据每一个手部关键点的三维坐标得到该手部关键点的运动位移，并根据该手部关键点的运动位移为该手部关键点添加权重值，所述权重值按如下公式计算：
<mrow> <mi>W</mi> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mn>0</mn> <mo>&lt;</mo> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mo>&lt;</mo> <msub> <mi>&amp;sigma;</mi> <mn>1</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mfrac> <mrow> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mo>-</mo> <msub> <mi>&amp;sigma;</mi> <mn>1</mn> </msub> </mrow> <mrow> <mo>(</mo> <msub> <mi>&amp;sigma;</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>&amp;sigma;</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </mfrac> <mo>*</mo> <mrow> <mo>(</mo> <msub> <mi>&amp;sigma;</mi> <mn>1</mn> </msub> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>+</mo> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>&amp;sigma;</mi> <mn>1</mn> </msub> <mo>&amp;le;</mo> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mo>&lt;</mo> <msub> <mi>&amp;sigma;</mi> <mn>2</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;sigma;</mi> <mn>2</mn> </msub> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mo>&amp;GreaterEqual;</mo> <msub> <mi>&amp;sigma;</mi> <mn>2</mn> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>D</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
式中：W为手部关键点的权重值；Dist为手部关键点的运动位移；σ1、σ2为选取的阈值，单位为mm；
将全部手部关键点的权重值作为所述手部关键点的运动特征序列。
8.根据权利要求6所述的增强现实环境下控制手势识别系统，其特征在于，所述神经网络处理模块中，采用神经网络对手部关键点的运动特征序列进行跟踪与识别；
所述神经网络为多个神经元互连形成的反馈型神经网络。
9.根据权利要求8所述的增强现实环境下控制手势识别系统，其特征在于，所述神经网络处理模块包含以下模块：
接收模块：当一个神经元获取到邻域神经元的信号时，获取该神经元与邻域神经元的馈接信号与连接信号，选取馈接信号与连接信号中的较小值作为该神经元的邻域信号；
根据获取到的该神经元的被激活的邻域神经元的信号和所述邻域信号，对被激活的邻域神经元进行权重筛选以获得筛选信号，公式如下：
<mrow> <msub> <mi>L</mi> <mrow> <mi>l</mi> <mi>i</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>L</mi> </msub> </mrow> </msup> <msub> <mi>L</mi> <mrow> <mi>l</mi> <mi>i</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>V</mi> <mi>L</mi> </msub> <munder> <mo>&amp;Sigma;</mo> <mi>l</mi> </munder> <msub> <mi>W</mi> <mrow> <mi>l</mi> <mi>i</mi> </mrow> </msub> <msub> <mi>Y</mi> <mi>l</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>L</mi> <mrow> <mi>k</mi> <mi>i</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>K</mi> </msub> </mrow> </msup> <msub> <mi>L</mi> <mrow> <mi>k</mi> <mi>i</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>V</mi> <mi>K</mi> </msub> <munder> <mo>&amp;Sigma;</mo> <mi>k</mi> </munder> <msub> <mi>W</mi> <mrow> <mi>k</mi> <mi>i</mi> </mrow> </msub> <msub> <mi>Y</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
Li(n)＝min{Lli(n)，Lki(n)}
Pi(n)＝Select{Sk,j(n)}
式中：Lli为神经元Ni获取的邻域神经元的连接信号；Lli( )为神经元Ni获取的邻域神经元的连接信号函数；Ni表示第i个神经元；n为迭代次数；Lli(n)为第n次迭代下的神经元Ni获取的邻域神经元的连接信号；e为自然底数；αL为连接域的时间常数；Lli(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的连接信号；VL为连接域的放大系数；l的取值范围为：l为邻域发出连接信号神经元的个数，l为正整数；Wli为神经元Ni的连接域的连接权系数矩阵；Yl为邻域发出连接信号的神经元的输出；Yl( )为邻域发出连接信号的神经元的输出函数；Yl(n-1)为第n-1次迭代下邻域发出连接信号的神经元的输出；Lki为神经元Ni获取的邻域神经元的馈接信号；Lki( )为神经元Ni获取的邻域神经元的馈接信号函数；Lki(n)为第n次迭代下的神经元Ni获取的邻域神经元的馈接信号；αK为馈接域的时间常数；Lki(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的馈接信号；VK为馈接域的放大系数；k的取值范围为：k为邻域发出馈接信号神经元的个数，k为正整数；Wki为神经元Ni的馈送域的连接权系数矩阵；Yk为邻域发出馈接信号的神经元的输出；Yk( )为邻域发出馈接信号的神经元的输出函数；Yk(n-1)为第n-1次迭代下邻域发出馈接信号的神经元的输出；Li为神经元Ni的筛选后的连接信号；Li( )为神经元Ni的筛选后的连接信号函数；Li(n)为第n次迭代下的神经元Ni的筛选后的连接信号；Pi为神经元Ni的筛选信号；Pi( )为神经元Ni的筛选信号函数；Pi(n)为第n次迭代下的神经元Ni的筛选信号；Select{ }表示对被激活的邻域神经元的激活信号进行筛选；Select{Sk,j(n)}表示筛选出的被激活的邻域神经元的激活信号；Sk,j为被激活的邻域神经元的激活信号；Sk,j( )为被激活的邻域神经元的激活信号函数；Sk,j(n)为第n次迭代下被激活的邻域神经元的激活信号；
调节模块：对筛选信号与邻域信号按以下公式进行调整，获得调整信号：
<mrow> <msub> <mover> <mi>U</mi> <mo>^</mo> </mover> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msub> <mi>P</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mi>t</mi> <mrow> <mo>(</mo> <msub> <mi>N</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>N</mi> <mi>T</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>L</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow>
式中：为神经元Ni的调整信号；为神经元Ni的调整信号函数；为第n次迭代下的神经元Ni的调整信号；dist(Ni,NT)表示神经元Ni和NT之间的欧式距离；Ni表示第i个神经元，NT表示终点目标神经元；
脉冲发生模块：将调整信号输入到脉冲触发器中，按以下公式来进行感兴趣方向的调整：
<mrow> <msub> <mi>U</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mo>{</mo> <msub> <mi>U</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>,</mo> <msub> <mover> <mi>U</mi> <mo>^</mo> </mover> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>}</mo> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>P</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>U</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>P</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
<mrow> <msub> <mi>&amp;theta;</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <msup> <mi>e</mi> <mrow> <mo>-</mo> <msub> <mi>&amp;alpha;</mi> <mi>&amp;theta;</mi> </msub> </mrow> </msup> <msub> <mi>&amp;theta;</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>V</mi> <mi>&amp;theta;</mi> </msub> <msub> <mi>Y</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>Y</mi> <mi>i</mi> </msub> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> <mo>,</mo> <msub> <mi>U</mi> <mi>i</mi> </msub> <mo>(</mo> <mi>n</mi> <mo>)</mo> <mo>&gt;</mo> <msub> <mi>&amp;theta;</mi> <mi>i</mi> </msub> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> <mo>,</mo> <msub> <mi>U</mi> <mi>i</mi> </msub> <mo>(</mo> <mi>n</mi> <mo>)</mo> <mo>&amp;le;</mo> <msub> <mi>&amp;theta;</mi> <mi>i</mi> </msub> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mtd> </mtr> </mtable> </mfenced> </mrow>
式中：Ui为神经元Ni的内部行为信号；Ui( )为神经元Ni的内部行为信号函数；Ui(n)为第n次迭代下的神经元Ni的内部行为信号；Ui(n-1)为第n-1次迭代下的神经元Ni的内部行为信号；θi为神经元Ni的变阈值函数输出；θi( )为神经元Ni的变阈值函数输出函数；θi(n)为第n次迭代下的神经元Ni的变阈值函数输出；αθ为变域值函数的时间常数；θi(n-1)为第n-1次迭代下的神经元Ni的变阈值函数输出；Vθ为阈值放大系数；Yi为神经元Ni的输出信号；Yi( )为神经元Ni的输出信号函数；Yi(n)为第n次迭代下的神经元Ni的输出信号；
将Yi(n)作为所述手势的特征序列。
10.根据权利要求6所述的增强现实环境下控制手势识别系统，其特征在于，所述片段识别模块包含以下模块：
模块S1：将手势特征序列输入到初始窗口大小为W0的滑动窗口中，对局部的手势片段与样本手势进行匹配识别，获得最短路径Dspl；其中，所述手势片段是通过对手势的特征序列进行片段识别得到的；
模块S2：将最短路径Dspl与阈值TH1进行比较，若Dspl≥TH1，则增加滑动窗口大小至W+ΔW，W为窗口当前大小，ΔW为窗口大小每次增加的设定值，再返回执行模块S1；若Dspl＜TH1，继续执行模块S3；
模块S3：将次最短路径D2spl和最短路径Dspl之差与阈值TH2进行比较，若D2spl-Dspl≤TH2，则增加滑动窗口大小至W+ΔW，再返回执行模块S1；若D2spl-Dspl＞TH2，则采用当前滑动窗口，通过手势的特征序列获得手势识别结果。
CN201711100432.XA 2017-11-09 2017-11-09 增强现实环境下控制手势识别方法与系统 Active CN107894834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711100432.XA CN107894834B (zh) 2017-11-09 2017-11-09 增强现实环境下控制手势识别方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711100432.XA CN107894834B (zh) 2017-11-09 2017-11-09 增强现实环境下控制手势识别方法与系统

Publications (2)

Publication Number Publication Date
CN107894834A true CN107894834A (zh) 2018-04-10
CN107894834B CN107894834B (zh) 2021-04-02

Family

ID=61804861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711100432.XA Active CN107894834B (zh) 2017-11-09 2017-11-09 增强现实环境下控制手势识别方法与系统

Country Status (1)

Country Link
CN (1) CN107894834B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359514A (zh) * 2018-08-30 2019-02-19 浙江工业大学 一种面向deskVR的手势跟踪识别联合策略方法
CN109582136A (zh) * 2018-11-13 2019-04-05 深圳市创凯智能股份有限公司 三维窗口手势导航方法、装置、移动终端及存储介质
CN110909439A (zh) * 2018-09-14 2020-03-24 中国商用飞机有限责任公司 一种基于ar的装配方法、装置及终端
CN111228792A (zh) * 2020-01-14 2020-06-05 深圳十米网络科技有限公司 体感游戏动作识别方法、装置、计算机设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104834922A (zh) * 2015-05-27 2015-08-12 电子科技大学 基于混合神经网络的手势识别方法
CN105807926A (zh) * 2016-03-08 2016-07-27 中山大学 一种基于三维连续动态手势识别的无人机人机交互方法
US20160283783A1 (en) * 2015-03-27 2016-09-29 Intel Corporation Gesture Recognition Mechanism
CN106228121A (zh) * 2016-07-15 2016-12-14 华中科技大学 手势特征识别方法和装置
CN106411952A (zh) * 2016-12-01 2017-02-15 安徽工业大学 一种隔空动态手势用户身份认证方法及装置
US20170060254A1 (en) * 2015-03-03 2017-03-02 Nvidia Corporation Multi-sensor based user interface
CN106648103A (zh) * 2016-12-28 2017-05-10 歌尔科技有限公司 一种vr头戴设备的手势跟踪方法和vr头戴设备
CN106709480A (zh) * 2017-03-02 2017-05-24 太原理工大学 基于加权强度pcnn模型的分块人脸识别方法
US20170161607A1 (en) * 2015-12-04 2017-06-08 Pilot Ai Labs, Inc. System and method for improved gesture recognition using neural networks
CN107203753A (zh) * 2017-05-25 2017-09-26 西安工业大学 一种基于模糊神经网络和图模型推理的动作识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170060254A1 (en) * 2015-03-03 2017-03-02 Nvidia Corporation Multi-sensor based user interface
US20160283783A1 (en) * 2015-03-27 2016-09-29 Intel Corporation Gesture Recognition Mechanism
CN104834922A (zh) * 2015-05-27 2015-08-12 电子科技大学 基于混合神经网络的手势识别方法
US20170161607A1 (en) * 2015-12-04 2017-06-08 Pilot Ai Labs, Inc. System and method for improved gesture recognition using neural networks
CN105807926A (zh) * 2016-03-08 2016-07-27 中山大学 一种基于三维连续动态手势识别的无人机人机交互方法
CN106228121A (zh) * 2016-07-15 2016-12-14 华中科技大学 手势特征识别方法和装置
CN106411952A (zh) * 2016-12-01 2017-02-15 安徽工业大学 一种隔空动态手势用户身份认证方法及装置
CN106648103A (zh) * 2016-12-28 2017-05-10 歌尔科技有限公司 一种vr头戴设备的手势跟踪方法和vr头戴设备
CN106709480A (zh) * 2017-03-02 2017-05-24 太原理工大学 基于加权强度pcnn模型的分块人脸识别方法
CN107203753A (zh) * 2017-05-25 2017-09-26 西安工业大学 一种基于模糊神经网络和图模型推理的动作识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Q. WANG, Y. XU, Y.L. CHEN ET AL.: "Dynamic hand gesture early recognition based on Hidden Semi-Markov Models", 《2014 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS (ROBIO)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359514A (zh) * 2018-08-30 2019-02-19 浙江工业大学 一种面向deskVR的手势跟踪识别联合策略方法
CN109359514B (zh) * 2018-08-30 2020-08-04 浙江工业大学 一种面向deskVR的手势跟踪识别联合策略方法
CN110909439A (zh) * 2018-09-14 2020-03-24 中国商用飞机有限责任公司 一种基于ar的装配方法、装置及终端
CN109582136A (zh) * 2018-11-13 2019-04-05 深圳市创凯智能股份有限公司 三维窗口手势导航方法、装置、移动终端及存储介质
CN109582136B (zh) * 2018-11-13 2022-05-03 深圳市创凯智能股份有限公司 三维窗口手势导航方法、装置、移动终端及存储介质
CN111228792A (zh) * 2020-01-14 2020-06-05 深圳十米网络科技有限公司 体感游戏动作识别方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN107894834B (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
Wexelblat An approach to natural gesture in virtual environments
Weissmann et al. Gesture recognition for virtual reality applications using data gloves and neural networks
CN103226388B (zh) 一种基于Kinect的手写方法
CN107894834A (zh) 增强现实环境下控制手势识别方法与系统
CN110008839B (zh) 一种自适应手势识别的智能手语交互系统及方法
CN106355072A (zh) 三维模型验证码的实现方法及其装置
CN110569817A (zh) 基于视觉实现手势识别的系统和方法
CN106502390B (zh) 一种基于动态3d手写数字识别的虚拟人交互系统及方法
CN104298354A (zh) 一种人机交互的手势识别方法
CN105046249B (zh) 一种人机交互方法
Rehman et al. Two hand gesture based 3d navigation in virtual environments
Park et al. An implementation of an FPGA-based embedded gesture recognizer using a data glove
Conci et al. Natural human-machine interface using an interactive virtual blackboard
CN109375766A (zh) 一种基于手势控制的新型学习方法
KR20190027287A (ko) 손가락 동작과 입 모양에 의한 키보드와 마우스 기능 모사 방법
CN104123008A (zh) 一种基于静态手势的人机交互方法及系统
Pansare et al. Gestuelle: A system to recognize dynamic hand gestures using hidden Markov model to control windows applications
Annachhatre et al. Virtual Mouse Using Hand Gesture Recognition-A Systematic Literature Review
CN115016641A (zh) 基于手势识别的会议控制方法、装置、会议系统和介质
CN106796649A (zh) 使用标记物的基于姿态的人机接口
Aggarwal et al. An Approach to Control the PC with Hand Gesture Recognition using Computer Vision Technique
CN109582136B (zh) 三维窗口手势导航方法、装置、移动终端及存储介质
Shastrakar et al. Cursor Movement Control Using Color Detection
Patil et al. Mouse on Finger Tips using ML and AI
CN107085467A (zh) 一种手势识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant