CN106406518B - 手势控制装置及手势识别方法 - Google Patents
手势控制装置及手势识别方法 Download PDFInfo
- Publication number
- CN106406518B CN106406518B CN201610739466.2A CN201610739466A CN106406518B CN 106406518 B CN106406518 B CN 106406518B CN 201610739466 A CN201610739466 A CN 201610739466A CN 106406518 B CN106406518 B CN 106406518B
- Authority
- CN
- China
- Prior art keywords
- joint
- gesture
- trunk
- large arm
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 210000000245 forearm Anatomy 0.000 claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000005070 sampling Methods 0.000 claims description 16
- 210000002310 elbow joint Anatomy 0.000 claims description 10
- 230000003068 static effect Effects 0.000 claims description 8
- 210000000323 shoulder joint Anatomy 0.000 claims description 7
- 230000001537 neural effect Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000001186 cumulative effect Effects 0.000 claims 1
- 230000003252 repetitive effect Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种手势控制装置及手势识别方法，手势控制装置包括：计算终端，用于进行离线的自然手势建模和在线的手势识别；多个传感器，分别设置在被测对象的小臂、大臂以及躯干处以相应地采集小臂、大臂以及躯干的姿态坐标，且各传感器通信连接于计算终端。其中，在在线的手势识别过程中，计算终端基于各传感器采集到的数据进行计算处理，经过计算处理得到的被测对象的实际状态与计算终端在离线的自然手势建模过程中得到的手势模型自动比对以完成被测对象的手势识别。在本发明的手势控制装置中，计算终端能够处理重复动作，简化了离线的自然手势建模过程和在线的手势识别过程，提高了手势识别率，并使得接近人习惯的自然手势控制成为可能。
Description
技术领域
本发明涉及通信与信息领域，尤其涉及一种手势控制装置及手势识别方法。
背景技术
随着电子技术的发展，越来越多的数字设备例如手机、电脑和智能家电等成为日常生活中不可或缺的部分。在未来，这一趋势仍将持续，现有产品将功能继续加强并逐步智能化，新的产品如机器人，智能汽车也将逐步走进大众的生活。目前，对这些产品的操控主要通过遥控器、键盘、鼠标及触控板等输入设备完成。这种方式较为繁琐，用户学习成本高。
手势控制作为一种新兴的操作方式，具有灵活、自然、直观等特点，因而有广阔的应用前景。现有的手势控制装置大多采用摄像头方案，如通过普通单目、双目视觉，或通过深度摄像机如微软体感器(Kinect)采集人体运动信息，识别出其代表的指令，再对设备进行控制。这种基于外部视觉的方案，受到使用空间和环境光线的限制，给手势控制带来诸多不便。此外，在现有手势识别方法上，绝大多数使用手掌的运动轨迹表示或建模手势，其中轨迹又以简单的直线或者平面图形如圆、三角形等为主；进而使用隐马尔可夫模型、支持向量机、人工神经网络等方法进行识别。这种方式存在很大的问题：简单的直线运动易于掌握，但种类少，区分度不高，难以表达复杂的含义；复杂的图形与人们日常使用的手势有较大的差别，不自然，用户学习成本高；现有建模及识别方法需要大量的训练数据，无法方便地添加新手势或修改已定义的手势。
发明内容
鉴于背景技术中存在的问题，本发明的目的在于提供一种手势控制装置及手势识别方法，手势控制装置中能够存储大量的手势模型，且用户可以方便地定义和修改手势模型，而手势识别方法无需进行大规模的样本采集与参数学习过程即可完成手势建模，简化了自然手势建模和手势识别过程，提高了手势识别率，并使得接近人习惯的自然手势控制成为可能。
为了实现上述目的，在第一方面，本发明提供了一种手势控制装置，其包括：计算终端，用于进行离线的自然手势建模和在线的手势识别；多个传感器，分别设置在被测对象的小臂、大臂以及躯干处以相应地采集小臂、大臂以及躯干的姿态坐标，且各传感器通信连接于计算终端。其中，在在线的手势识别过程中，计算终端基于各传感器采集到的数据进行计算处理，经过计算处理得到的被测对象的实际状态与计算终端在离线的自然手势建模过程中得到的手势模型自动比对以完成被测对象的手势识别。
为了实现上述目的，在第二方面，本发明提供了一种手势识别方法，其由本发明第一方面所述的手势控制装置来实现，包括步骤：S1，在离线状态下，计算终端通过被测对象的大臂、小臂以及躯干在指定状态下的姿态信息建立手势模型并存入计算终端的手势库中；S2，在在线状态下，计算终端分别接收各传感器在每个采样周期内采集到的被测对象的小臂的姿态坐标qf、大臂的姿态坐标qu以及躯干的姿态坐标qb；S3，计算终端对步骤S2中得到的姿态坐标分别进行处理计算，得到小臂相对躯干的相对姿态坐标af、大臂相对躯干的相对姿态坐标au以及各关节的关节角度大小和运动状态；S4，计算出各关节在每个采样周期内处于各运动状态的概率；S5，计算出手势库中的每个手势模型与被测对象在当前采样周期中的实际状态之间的相似程度；以及S6，比较手势库中所有手势模型的总相似度，求出拥有最大总相似度的手势模型，若该手势的总相似度大于设定的阈值，则将该手势作为识别结果返回。
本发明的有益效果如下：
在根据本发明的手势控制装置中，计算终端能够处理重复动作，简化了离线的自然手势建模过程和在线的手势识别过程，提高了手势识别率，并使得接近人习惯的自然手势控制成为可能。此外，本发明的手势控制装置不受使用空间和环境光线的限制，且用户可以任意的定义和修改手势库中现有的手势模型。
在本发明的手势识别方法中，在离线状态下，无需进行大规模的样本采集与参数学习过程即可完成离线的自然手势建模。而在在线状态下，手势控制装置能够充分利用被测对象的以躯干为基准的小臂、大臂的姿态信息、各关节的关节角度大小及运动状态来完成在线的手势识别，手势识别率高，并使得接近人习惯的自然手势控制成为可能。
附图说明
图1是根据本发明的手势控制装置的简化示意图；
图2是被测对象的各部位的坐标系及各关节角度示意图。
其中，附图标记说明如下：
1 计算终端 31 小臂
2 传感器 32 大臂
3 被测对象 33 躯干
具体实施方式
下面参照附图来详细说明根据本发明的手势控制装置及手势识别方法。
首先说明本发明第一方面的手势控制装置。
参照图1，根据本发明的手势控制装置包括：计算终端1，用于进行离线的自然手势建模(得到的手势模型自动存入计算终端1的手势库中)和在线的手势识别；多个传感器2，分别设置在被测对象3的小臂31、大臂32以及躯干33处以相应地采集小臂31、大臂32以及躯干33的姿态坐标，且各传感器2通信连接于计算终端1。其中，在在线的手势识别过程中，计算终端1基于各传感器2采集到的数据进行计算处理，经过计算处理得到的被测对象3的实际状态与计算终端1在离线的自然手势建模过程中得到的手势模型自动比对以完成被测对象3的手势识别。
在根据本发明的手势控制装置中，计算终端1能够处理重复动作，简化了离线的自然手势建模过程和在线的手势识别过程，提高了手势识别率，并使得接近人习惯的自然手势控制成为可能。此外，本发明的手势控制装置不受使用空间和环境光线的限制，且用户可以任意的定义和修改手势库中现有的手势模型。
在本发明的手势控制装置中，传感器2可套设于被测对象3的不同部位或传感器2集成于被测对象3。
在本发明的手势控制装置中，计算终端1可为手机、电脑、单片机或智能手表等。
其次说明本发明第二方面的手势识别方法。
参照图1和图2，根据本发明的手势识别方法，其由本发明第一方面所述的手势控制装置来实现，包括步骤：S1，在离线状态下，计算终端1通过指定被测对象3的大臂32、小臂31以及躯干33的姿态、各关节的关节角度大小及运动状态建立手势模型并存入计算终端1的手势库中；S2，在在线状态下，计算终端1分别接收各传感器2在每个采样周期内采集到的被测对象3的小臂31的姿态坐标qf、大臂32的姿态坐标qu以及躯干33的姿态坐标qb；S3，计算终端1对步骤S2中得到的姿态坐标分别进行处理计算，得到小臂31相对躯干33的相对姿态坐标af、大臂32相对躯干33的相对姿态坐标au以及各关节的关节角度大小和运动状态；S4，计算出各关节在每个采样周期内处于各运动状态的概率；S5，计算出手势库中的每个手势模型与被测对象3在当前采样周期中的实际状态之间的相似程度；以及S6，比较手势库中所有手势模型的总相似度，求出拥有最大总相似度的手势模型，若该手势的总相似度大于设定的阈值，则将该手势作为识别结果返回。
在本发明的手势识别方法中，在离线状态下，无需进行大规模的样本采集与参数学习过程即可完成离线的自然手势建模。而在在线状态下，手势控制装置能够充分利用被测对象3的以躯干33为基准的小臂31、大臂32的姿态信息(即方向信息)、各关节的关节角度大小及运动状态来完成在线的手势识别，手势识别率高，并使得接近人习惯的自然手势控制成为可能。
在这里补充说明的是，在上述步骤S6中提到的“阈值”，可以根据被测对象3的运动特性以及手势库中的手势模型的复杂程度来进行适当的设置。
根据本发明的手势识别方法，在步骤S1中，qf、qu、qb可由四元数表征。但不仅限如此，qf、qu、qb也可用欧拉角或矩阵形式表示。
根据本发明的手势识别方法，参照图2，步骤S3可包括步骤：S31，分别建立小臂坐标系Of-XfYfZf、大臂坐标系Ou-XuYuZu以及躯干坐标系Oref-XrefYrefZref；S32，解算出小臂31相对躯干33的相对姿态坐标af、大臂32相对躯干33的相对姿态坐标au；以及S33，解算出各关节的关节角度大小和运动状态。其中，af为小臂坐标系中任一个坐标轴在躯干坐标系下的坐标向量，au为大臂坐标系中任一个坐标轴在躯干坐标系下的坐标向量。
在这里补充说明的是，小臂坐标系的Zf轴沿着小臂31指向肘关节，而Yf轴和Xf轴的方向可以采用如下方法确定：即向前平伸小臂31，使手掌朝上，Yf轴指向与手掌朝向相同，Xf轴指向身体右侧。同理，大臂坐标系的建立方法与小臂坐标系一致，即大臂坐标系的Zu轴沿着大臂32指向肩关节，而Yu轴指向与手掌朝向相同，Xu轴指向身体右侧。而躯干坐标系的Xref轴指向躯干33右侧，Yref轴指向前方，Zref轴指向上方。
在根据本发明的手势识别方法中，关节包括连接小臂31与大臂32的肘关节和连接大臂32与躯干33的肩关节。肘关节的关节角度包括小臂扭转角τ和肘关节角ε，肩关节的关节角度包括大臂方位角大臂仰角θ和大臂扭转角ω，如图2所示。
在步骤S32中，求解小臂31相对躯干33的相对姿态坐标af的计算公式为：
求解大臂32相对躯干33的相对姿态坐标au的计算公式为：
其中，aref为躯干33坐标系中任一个坐标轴在自身坐标系下的坐标向量。
在步骤S33中，肘关节的关节角度计算式为：
ε＝arccos(zu·zf)
τ＝arccos(xu·x′f)
qrot＝(cos(-ε/2),sin(-ε/2)xu)
肩关节的关节角度计算式为：
θ＝arccos(zu,zref)
ω＝arccos(xref,y′u)
qrot2＝(cos(-θ/2),sin(-θ/2)xref)
qyu＝(0,yu)
xf、zf为小臂坐标系中的Xf轴、Zf轴在躯干坐标系下的坐标向量，xu、yu、zu为大臂坐标系中的Xu轴、Yu轴、Zu轴在躯干坐标系下的坐标向量，zu-xy为zu在躯干坐标系的Xref-Yref平面中的投影，xref、zref为躯干坐标系中的Xref轴、Zref轴在自身坐标系下的坐标向量。
根据本发明的手势识别方法，在步骤S3中，各关节的运动状态可为相对静止、正向运动、反向运动或往复运动。
根据本发明的手势识别方法，步骤S4可包括步骤：S41，将各关节的当前采样周期的关节角度与上一采样周期的关节角度作差，得到本周期的运动幅值；S42，根据得到的运动幅值的大小判断各关节在当前采样周期的运动状态(这里具体指相对静止、正向运动或反向运动)；以及S43，根据步骤S42中的运动状态判断结果分别计算出当前采样周期的各关节处于相对静止、正向运动、反向运动以及往复运动的概率。
在这里补充说明的是，在步骤S42中，对于任意一个关节，当运动幅值大于某一阈值(如0.01rad)时，当前采样周期的该关节的运动状态为正向运动；当运动幅值小于另一阈值(如-0.01rad)时，当前采样周期的该关节的运动状态为反向运动；而当运动幅值介于这两个阈值之间时，当前采样周期的该关节的运动状态为相对静止。其中本段所述的这两个“阈值”可以根据被测对象3的运动特性以及手势库中的手势模型的复杂程度来进行适当的设置。
在步骤S43中，对于任意一个关节，若判定该关节在当前采样周期的运动状态为相对静止，则：该关节处于静止的概率为p(t)＝p(t-1)+δ，处于正向运动的概率为p(t)＝p(t-1)-δ，处于反向运动的概率为p(t)＝p(t-1)-δ。
若判定该关节在当前采样周期的运动状态为正向运动，则：该关节处于静止的概率为p(t)＝p(t-1)-δ，处于正向运动的概率为处于反向运动的概率为p(t)＝p(t-1)-2δ。
若判定该关节在当前采样周期的运动状态为反向运动，则：该关节处于静止的概率为p(t)＝p(t-1)-δ，处于正向运动的概率为p(t)＝p(t-1)-2δ，处于反向运动的概率为
其中，p(t)为当前采样周期的各关节处于该运动状态的概率，p(t-1)为上一采样周期的各关节处于该运动状态的概率，δ为相邻两个采样周期之间的概率更新量，A为累计运动幅值(即从当前采样周期往前搜索，累加运动幅值，直到某采样周期的运动状态与当前采样周期运动状态不同)，Amax为该关节的最大可能运动幅值。
进一步地，在步骤S43中，当判定某关节在当前采样周期的运动状态为正向运动或反向运动，且该关节的当前采样周期的该运动状态为该关节往复运动的一部分时，则当前采样周期的该关节处于该运动状态的概率为：
其中，C为正向运动与反向运动之间的转换次数(即从当前采样周期往前搜索，直到某采样周期的运动状态为相对静止)，A为所有幅值的绝对值之和，Amax为该关节的最大可能运动幅值。
根据本发明的手势识别方法，手势库中的每个手势模型由三类判据确定。具体地，第一类判据为小臂31或大臂32相对躯干33的朝向(即小臂31相对躯干33的相对姿态坐标或大臂32相对躯干33的相对姿态坐标)；第二类判据为各关节的关节角度大小；第三类判据为各关节的运动状态。其中，对于第一类判据、第二类判据和第三类判据中的任一一类判据来说，都可以有一条或多条判据。
当基于小臂31或大臂32相对躯干33的朝向计算相似度时，相似度的计算公式为：
S＝a·vref
其中，S为相似程度，a表示小臂31或大臂32的某坐标轴的实际的单位向量，vref为手势模型中判据指定单位向量；
当基于各关节的关节角度大小计算相似度时，相似度的计算公式为：
S＝cos(α-εref)
其中，α为对应关节的实际角度，εref是手势模型中判据指定的参考角度；
当基于各关节的运动状态计算相似度时，相似度等于对应关节处于手势模型指定的运动状态的概率。
根据本发明的手势识别方法，在步骤S6中，每个手势模型的总相似度的计算公式为：
其中n为该模型的判据总数，Si为每个判据的相似程度，Soverall为总相似度。
根据本发明的手势识别方法，在一实施例中，手势模型的第一条判据为af＝(1,0,0)，第二条判据为肘关节角ε做往复运动，第三条判据为大臂仰角θ＝π/2。其中，第一条判据中的af为小臂坐标系中的y轴在躯干坐标系下的坐标向量，属于大臂32和小臂31相对躯干33的姿态；第二条判据属于关节的运动状态；而第三条判据属于关节的关节角度大小。所述三类判据描述了一个向右挥手的动作，其对应的指令可设置为“右转”或“右移”。
Claims (9)
1.一种手势识别方法，由一种手势控制装置来实现，手势控制装置包括：
计算终端(1)，传感器(2)用于进行离线的自然手势建模和在线的手势识别；以及
多个传感器(2)，分别设置在被测对象(3)的小臂(31)、大臂(32)以及躯干(33)处以相应地采集小臂(31)、大臂(32)以及躯干(33)的姿态坐标，且各传感器(2)通信连接于计算终端(1)；
其中，在在线的手势识别过程中，计算终端(1)基于各传感器(2)采集到的数据进行计算处理，经过计算处理得到的被测对象(3)的实际状态与计算终端(1)在离线的自然手势建模过程中得到的手势模型自动比对以完成被测对象(3)的手势识别；
其特征在于，手势识别方法包括步骤：
S1，离线状态下，计算终端(1)通过指定被测对象(3)的大臂(32)、小臂(31)以及躯干(33)的姿态、各关节的关节角度大小及运动状态建立手势模型并存入计算终端(1)的手势库中；
S2，在线状态下，计算终端(1)分别接收各传感器(2)在每个采样周期内采集到的被测对象(3)的小臂(31)的姿态坐标qf、大臂(32)的姿态坐标qu以及躯干(33)的姿态坐标qb；
S3，计算终端(1)对步骤S2中得到的姿态坐标分别进行处理计算，得到小臂(31)相对躯干(33)的相对姿态坐标af、大臂(32)相对躯干(33)的相对姿态坐标au以及各关节的关节角度大小和运动状态；
S4，计算出各关节在每个采样周期内处于各运动状态的概率；
S5，基于小臂(31)相对躯干(33)的相对姿态坐标af、大臂(32)相对躯干(33)的相对姿态坐标au、各关节的关节角度大小和各关节处于各运动状态的概率，分别计算出手势库中的每个手势模型与被测对象(3)在当前采样周期中的实际状态之间的相似度以及每个手势模型的总相似度；
S6，比较手势库中所有手势模型的总相似度，求出拥有最大总相似度的手势模型，若该手势的总相似度大于设定的阈值，则将该手势作为识别结果返回。
2.根据权利要求1所述的手势识别方法，其特征在于，步骤S3包括步骤：
S31，分别建立小臂坐标系Of-XfYfZf、大臂坐标系Ou-XuYuZu以及躯干坐标系Oref-XrefYrefZref；
S32，解算出小臂(31)相对躯干(33)的相对姿态坐标af、大臂(32)相对躯干(33)的相对姿态坐标au；以及
S33，解算出各关节的关节角度大小和运动状态；
其中，af为小臂坐标系中任一个坐标轴在躯干坐标系下的坐标向量，au为大臂坐标系中任一个坐标轴在躯干坐标系下的坐标向量。
3.根据权利要求2所述的手势识别方法，其特征在于，
关节包括连接小臂(31)与大臂(32)的肘关节和连接大臂(32)与躯干(33)的肩关节；
肘关节的关节角度包括小臂扭转角τ和肘关节角ε；
肩关节的关节角度包括大臂方位角大臂仰角θ和大臂扭转角ω；
在步骤S32中，求解小臂(31)相对躯干(33)的相对姿态坐标af的计算公式为：
求解大臂(32)相对躯干(33)的相对姿态坐标au的计算公式为：
其中，aref为躯干坐标系中任一个坐标轴在自身坐标系下的坐标向量；
在步骤S33中，肘关节的关节角度计算式为：
ε＝arccos(zu·zf)
τ＝arccos(xu·x′f)
qrot＝(cos(-ε/2),sin(-ε/2)xu)
肩关节的关节角度计算式为：
θ＝arccos(zu,zref)
ω＝arccos(xref,y′u)
qrot2＝(cos(-θ/2),sin(-θ/2)xref)
xf、zf为小臂坐标系中的Xf轴、Zf轴在躯干坐标系下的坐标向量，xu、yu、zu为大臂坐标系中的Xu轴、Yu轴、Zu轴在躯干坐标系下的坐标向量，zu-xy为zu在躯干坐标系的Xref-Yref平面中的投影，xref、zref为躯干坐标系中的Xref轴、Zref轴在自身坐标系下的坐标向量。
4.根据权利要求2所述的手势识别方法，其特征在于，步骤S4包括步骤：
S41，将各关节的当前采样周期的关节角度与上一采样周期的关节角度作差，得到本周期的运动幅值；
S42，根据得到的运动幅值的大小判断各关节在当前采样周期的运动状态；以及
S43，根据步骤S42中的运动状态判断结果分别计算出当前采样周期的各关节处于相对静止、正向运动、反向运动以及往复运动的概率。
5.根据权利要求4所述的手势识别方法，其特征在于，在步骤S43中，对于任意一个关节，
若判定该关节在当前采样周期的运动状态为相对静止，则：该关节处于静止的概率为p(t)＝p(t-1)+δ，处于正向运动的概率为p(t)＝p(t-1)-δ，处于反向运动的概率为p(t)＝p(t-1)-δ；
若判定该关节在当前采样周期的运动状态为正向运动，则：该关节处于静止的概率为p(t)＝p(t-1)-δ，处于正向运动的概率为处于反向运动的概率为p(t)＝p(t-1)-2δ；
若判定该关节在当前采样周期的运动状态为反向运动，则：该关节处于静止的概率为p(t)＝p(t-1)-δ，处于正向运动的概率为p(t)＝p(t-1)-2δ，处于反向运动的概率为
其中，p(t)为当前采样周期的各关节处于该运动状态的概率，p(t-1)为上一采样周期的各关节处于该运动状态的概率，δ为相邻两个采样周期之间的概率更新量，A为累计运动幅值，Amax为该关节的最大可能运动幅值。
6.根据权利要求5所述的手势识别方法，其特征在于，
当判定某关节在当前采样周期的运动状态为正向运动或反向运动，且该关节的当前采样周期的该运动状态为该关节往复运动的一部分时，则当前采样周期的该关节处于该运动状态的概率为：
其中，C为正向运动与反向运动之间的转换次数，A为所有幅值的绝对值之和。
7.根据权利要求1所述的手势识别方法，其特征在于，
手势库中的每个手势模型由三类判据确定；
第一类判据为小臂(31)或大臂(32)相对躯干(33)的朝向；
第二类判据为各关节的关节角度大小；
第三类判据为各关节的运动状态。
8.根据权利要求7所述的手势识别方法，其特征在于，
当基于小臂(31)或大臂(32)相对躯干(33)的朝向计算相似度时，相似度的计算公式为：
S＝a·vref
其中，S为相似度，a表示小臂(31)或大臂(32)的某坐标轴的实际的单位向量，vref为手势模型中判据指定的单位向量；
当基于各关节的关节角度值计算相似度时，相似度的计算公式为：
S＝cos(α-εref)
其中，α为对应关节的实际角度，εref是手势模型中判据指定的参考角度；
当基于各关节的运动状态计算相似度时，相似度等于对应关节处于手势模型指定的运动状态的概率。
9.根据权利要求8所述的手势识别方法，其特征在于，在步骤S5中，每个手势模型的总相似度的计算公式为：
其中n为该模型的判据总数，Si为每个判据的相似度，Soverall为总相似度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610739466.2A CN106406518B (zh) | 2016-08-26 | 2016-08-26 | 手势控制装置及手势识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610739466.2A CN106406518B (zh) | 2016-08-26 | 2016-08-26 | 手势控制装置及手势识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106406518A CN106406518A (zh) | 2017-02-15 |
| CN106406518B true CN106406518B (zh) | 2019-01-18 |
Family
ID=58005330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610739466.2A Active CN106406518B (zh) | 2016-08-26 | 2016-08-26 | 手势控制装置及手势识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106406518B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107856014B (zh) * | 2017-11-08 | 2020-10-09 | 浙江工业大学 | 基于手势识别的机械臂位姿控制方法 |
| CN110163045B (zh) * | 2018-06-07 | 2024-08-09 | 腾讯科技（深圳）有限公司 | 一种手势动作的识别方法、装置以及设备 |
| CN109591016A (zh) * | 2018-12-29 | 2019-04-09 | 深圳市工匠社科技有限公司 | 仿人机械手臂体感控制系统及相关产品 |
| CN109531578B (zh) * | 2018-12-29 | 2020-08-07 | 深圳市工匠社科技有限公司 | 仿人机械手臂体感控制方法及装置 |
| CN110032957B (zh) * | 2019-03-27 | 2023-10-17 | 长春理工大学 | 一种基于骨骼节点信息的手势空间域匹配方法 |
| CN112894794B (zh) * | 2019-11-19 | 2022-08-05 | 深圳市优必选科技股份有限公司 | 人体手臂动作模仿方法、装置、终端设备及存储介质 |
| CN111080589A (zh) * | 2019-12-05 | 2020-04-28 | 广州极泽科技有限公司 | 目标对象匹配方法、系统、设备及机器可读介质 |
| CN117322872B (zh) * | 2023-10-26 | 2024-06-14 | 北京软体机器人科技股份有限公司 | 运动捕捉方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102402289A (zh) * | 2011-11-22 | 2012-04-04 | 华南理工大学 | 一种基于机器视觉的手势鼠标识别方法 |
| CN103593056A (zh) * | 2013-11-26 | 2014-02-19 | 青岛海信电器股份有限公司 | 手势数据识别和处理方法、电视机和手势输入设备 |
| CN104808788A (zh) * | 2015-03-18 | 2015-07-29 | 北京工业大学 | 一种非接触式手势操控用户界面的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10613642B2 (en) * | 2014-03-12 | 2020-04-07 | Microsoft Technology Licensing, Llc | Gesture parameter tuning |
-
2016
- 2016-08-26 CN CN201610739466.2A patent/CN106406518B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102402289A (zh) * | 2011-11-22 | 2012-04-04 | 华南理工大学 | 一种基于机器视觉的手势鼠标识别方法 |
| CN103593056A (zh) * | 2013-11-26 | 2014-02-19 | 青岛海信电器股份有限公司 | 手势数据识别和处理方法、电视机和手势输入设备 |
| CN104808788A (zh) * | 2015-03-18 | 2015-07-29 | 北京工业大学 | 一种非接触式手势操控用户界面的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106406518A (zh) | 2017-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106406518B (zh) | 手势控制装置及手势识别方法 | |
| Pavlovic et al. | Visual interpretation of hand gestures for human-computer interaction: A review | |
| Lu et al. | Gesture recognition using data glove: An extreme learning machine method | |
| CN103390168A (zh) | 基于Kinect深度信息的智能轮椅动态手势识别方法 | |
| CN110363816A (zh) | 一种基于深度学习的移动机器人环境语义建图方法 | |
| CN107357428A (zh) | 基于手势识别的人机交互方法及装置、系统 | |
| Bhuyan et al. | Hand pose recognition using geometric features | |
| Wu et al. | Natural gesture modeling and recognition approach based on joint movements and arm orientations | |
| CN105930785A (zh) | 一种智能化的隐式交互系统 | |
| CN104866824A (zh) | 一种基于Leap Motion的手语字母识别方法 | |
| Kevin et al. | Trajectory modeling in gesture recognition using CyberGloves/sup/spl reg//and magnetic trackers | |
| Yanik et al. | Use of kinect depth data and growing neural gas for gesture based robot control | |
| Xu et al. | Robust hand gesture recognition based on RGB-D Data for natural human–computer interaction | |
| CN111753696A (zh) | 一种感知场景信息的方法、仿真装置、机器人 | |
| CN111695408A (zh) | 一种智能手势信息识别系统及方法、信息数据处理终端 | |
| Tapus et al. | Topology learning and recognition using Bayesian programming for mobile robot navigation | |
| CN109871116B (zh) | 用于识别手势的装置和方法 | |
| Park et al. | An implementation of an FPGA-based embedded gesture recognizer using a data glove | |
| Appenrodt et al. | Multi stereo camera data fusion for fingertip detection in gesture recognition systems | |
| Park et al. | Real-time 3D pointing gesture recognition in mobile space | |
| Dhamanskar et al. | Human computer interaction using hand gestures and voice | |
| Luan et al. | Dynamic hand gesture recognition for robot ARM teaching based on improved LRCN model | |
| Vanc et al. | Context-aware robot control using gesture episodes | |
| Yang et al. | Multifidelity sampling for fast Bayesian shape estimation with tactile exploration | |
| Xu et al. | A novel multimedia human-computer interaction (HCI) system based on kinect and depth image understanding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |