CN111984112A - 一种手势识别装置及识别方法 - Google Patents

Abstract

本发明公开了一种手势识别装置及方法，包括：抓取识别机构，其包括：第一臂，其被配置为能够跟随食指运动；第二臂，其与第一臂相铰接，被配置为能够跟随拇指运动；偏移检测机构，其用于检测第一臂相对于第二臂的运动偏移量；处理模块，其与偏移检测机构通信连接，用于接收偏移检测机构发送的运动偏移量，并且根据运动偏移量计算第一臂与第二臂的张开度。本发明的手势识别装置，利用人体工程原理，手指执行抓取动作时会带来手指姿态的改变，本发明通过设置能够分别跟随不同手指运动的臂，其反映了手指之间的张开度，本方案可以准确对手指动作识别，不受传感器累计误差影响，检测准确度更高。

Description

一种手势识别装置及识别方法

技术领域

本发明属于智能可穿戴设备技术领域，具体地说，涉及一种手势识别装置及识别方法。

背景技术

目前，沉浸式显示设备诸如VR眼镜快速发展，但是作为其子部分的手势识别装置仍未普及，无法满足人们更高层次的需求。与沉浸式显示设备交互的手势识别装置有限，大部分装置并未涉及手指部位的识别。

此外，目前涉及手指动作捕捉的装置，仍然存在识别范围小、具有传感器累计误差的问题。

发明内容

本发明针对现有技术中智能穿戴设备无法对手指动作或者捕捉误差大的问题，提出了一种手势识别装置，可以解决上述问题。

为实现上述发明目的，本发明采用下述技术方案予以实现：

一种手势识别装置，包括：

抓取识别机构，其包括：

第一臂，其被配置为能够跟随食指运动；

第二臂，其与所述第一臂相铰接，被配置为能够跟随拇指运动；

偏移检测机构，其用于检测第一臂相对于第二臂的运动偏移量；

处理模块，其与所述偏移检测机构通信连接，用于接收所述偏移检测机构发送的运动偏移量，并且根据所述运动偏移量计算所述第一臂与第二臂的张开度。

进一步的，所述第一臂包括：

第一动臂，其用于与食指固定；

第一连接臂，其与所述第一动臂固定连接；

所述第二臂包括：

第二动臂，其用于与拇指固定；

第二连接臂，其与所述第二动臂固定连接，且所述第二连接臂与所述第一连接臂相铰接；

所述偏移检测机构设置在所述第一连接臂和第二动臂之间。

进一步的，所述偏移检测机构包括：

固定元件，其沿着所述第二动臂的长度方向设置，且与所述第二动臂固定；

滑动元件，其一端与所述第一连接臂活动连接，另外一端与所述固定元件滑动连接，且能够在所述固定元件的长度方向运动；

所述偏移检测机构检测所述固定元件与滑动元件的位移量，并作为所述第一臂相对于第二臂的运动偏移量发送至所述处理模块。

进一步的，所述滑动元件通过滑块与所述第一连接臂连接，所述滑块可沿所述第一连接臂的长度方向滑动，所述滑动元件与所述滑块相铰接。

进一步的，所述第一连接臂朝向所述第二连接臂的一侧面上沿其长度方向开设有滑槽，部分所述滑块探入至所述滑槽内，可沿所述滑槽滑动。

进一步的，所述第二动臂沿其长度方向开设有导向腔，所述固定元件固定在所述导向腔内，至少所述滑动元件的端部从所述导向腔的口部插入至所述导向腔中。

进一步的，手势识别装置还包括：

逆止机构，其设置在所述第一臂与第二臂之间，所述逆止机构用于当所述第一臂与第二臂的张开度不大于设定值时，阻止所述第一臂或第二臂朝向对方继续运动。

进一步的，所述手势识别装置还包括：

逆止机构，其为棘轮逆止器，包括：

棘轮，其与所述第一连接臂连接；

棘爪，其一端与所述第二连接臂通过转轴连接；

动力机构，其设置在所述第二臂上，受所述处理模块的控制，用于驱动所述棘爪绕轴转动，使得所述棘爪的自由端探入止所述棘轮的齿间，或者远离所述棘轮的齿间。

进一步的，所述手势识别装置还包括：

手套，其至少具有用于套设在掌部的本体、用于套设在食指的食指指套和用于套设在拇指的拇指指套，所述食指指套和拇指指套分别与所述本体连接；

所述第一臂与所述食指指套固定，所述第二臂与所述拇指指套固定；

所述处理模块固定在所述本体上。

本发明同时提出了一种手势识别方法，包括前面任一条所记载的手势识别装置，所述处理模块根据所述第一臂与第二臂的张开度与虚拟物体的直径进行比较，根据比较结果判断抓取虚拟物体的状态。

与现有技术相比，本发明的优点和积极效果是：本发明的手势识别装置，利用人体工程原理，手指执行抓取动作时会带来手指姿态的改变，本发明通过设置能够分别跟随不同手指运动的臂，将手指的运动带动的运动，通过检测臂的运动偏移量而获取臂之间的张开度，其反映了手指之间的张开度，本方案可以准确对手指动作识别，不受传感器累计误差影响，检测准确度更高。

结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提出的手势识别装置的一种实施例结构示意图；

图2是图1中手势识别装置的佩戴示意图；

图3是本发明提出的手势识别方法的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合附图和实施例，对本发明作进一步详细说明。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“竖”、“横”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

实施例一

VR(Virtual Reality，虚拟现实)以及AR(AugmentedReality，增强现实)技术应用越来越广泛，与传统的PC(Personal Computer，个人计算机)和移动终端相比，最大的特点是沉浸感。从物理心理学的角度，沉浸感来自三个方面：3D场景带来的视觉真实性；用户自身代入感的真实性；以及用户和虚拟世界交互的真实性。

现有技术中，可以通过VR以及AR技术营造出的沉浸式场景模拟各种实际的景象，为了满足人们更高层次的需求，手势识别装置用于检测用户手势，以更好的与用户进行互动可以使得VR或者AR更有真实感。由于手指动作幅度较为细微，目前的手势识别装置很难识别，大部分装置存在识别范围小、具有传感器累计误差的问题。

本实施例的手势识别装置，如图1、图2所示，包括抓取识别机构1，抓取识别机构1包括第一臂11、第二臂12、偏移检测机构13以及处理模块14，其中，第一臂11被配置为能够跟随食指运动；第二臂12与第一臂11相铰接，被配置为能够跟随拇指运动；偏移检测机构13用于检测第一臂11相对于第二臂12的运动偏移量；处理模块14与偏移检测机构13通信连接，用于接收偏移检测机构13发送的运动偏移量，并且根据运动偏移量计算第一臂11与第二臂12的张开度。

本实施例中通过配置第一臂11可以跟随食指运动，第二臂12跟随拇指运动，符合人体工程力学原理，因为人通过改变手的姿态实现一些功能(如抓、握)时，拇指单独动作，其余四指同步动作，且其余四指与拇指相比动作幅度更大一些。因此，本方案中通过设置两个臂分别跟随拇指和食指的动作，根据判断该两个手指的动作可以判断出手的所有基本动作，有利于节约检测装置的成本。

此外，本方案仅设置两个臂跟随手指，手指活动不受限制，手指活动更加灵活，不会给佩戴者带来不适感。

用户的食指或者拇指运动时，带动第一臂11或者第二臂12动作，哪怕只有细微的动作，均会带来第一臂11与第二臂12的相对位置发生变化，本方案中通过检测两者的运动偏移量，由于第一臂11和第二臂12的初始位置及初始位置时所对应的手势(体现为食指与拇指的张开度)为已知，通过该运动偏移量即可计算得到第一臂11与第二臂12的张开度。本方案可以准确对手指动作识别，不受传感器累计误差影响，检测准确度更高。

至少部分第一臂11沿着食指的长度方向设置，至少部分第二臂12沿着拇指的长度方向设置，因此，第一臂11与第二臂12之间的运动偏移量反应了食指与拇指的运动偏移量。而第一臂11与第二臂12的张开度即反应了食指与拇指的张开度。食指与拇指的张开度也即用户手势的重要表示参数，通过其即可判断出用户所执行的抓、握等动作。

本实施例中优选第一臂11包括第一动臂111和第一连接臂112，其中，第一动臂111用于与食指固定，且第一动臂111的长度方向与食指一致；第一连接臂112与第一动臂111固定连接。

第二臂12包括第二动臂121和第二连接臂122，第二动臂121用于与拇指固定，且第二动臂121的长度方向与拇指一致；第二连接臂122与第二动臂121固定连接，且第二连接臂122与第一连接臂112相铰接。通过将第一臂11与第二臂12相铰接连接，便于采集第一臂11与第二臂12的运动偏移量。

偏移检测机构13设置在第一连接臂112和第二动臂121之间。第一连接臂112跟随第一动臂111一起动作，当第一臂11或者第二臂12运动时，均会带来第一连接臂112和第二动臂121之间的位置发生变化。且从物理距离上，第一连接臂112和第二动臂121之间具有较大的空间，因此，通过将偏移检测机构13设置在第一连接臂112和第二动臂121之间，方便设置。

本实施例中偏移检测机构13包括固定元件131和滑动元件132：固定元件131沿着第二动臂121的长度方向设置，且与第二动臂121固定；滑动元件132的一端与第一连接臂112活动连接，另外一端与固定元件131滑动连接，且能够沿着固定元件131的长度方向运动；当第一臂11或者第二臂12动作时，第一连接臂112与第二动臂121之间的距离发生变化，本方案中的偏移检测机构13可以将第一连接臂112与第二动臂121之间的距离变化转换为固定元件131和滑动元件132的位移变化量，方便检测获取。且手部的轻微动作均可以带来固定元件131和滑动元件132的位移变化，可以捕捉手指细微动作，解决了传统姿态检测传感器的误差大的问题。

所检测的固定元件131与滑动元件132的位移量作为第一臂11相对于第二臂12的运动偏移量，偏移检测机构13将其发送至处理模块14。

处理模块14可以采用ATmega15U2主控芯片实现。

处理模块14还与上位机连接，两者连接后，等待上位机发操作提示，用户完成手势动作，当手指张开时，食指带动第一臂11运动，进而带动滑动元件132直线运动。

为了提高滑动元件132活动的灵活性，滑动元件132通过滑块133与第一连接臂112连接，滑块133可沿第一连接臂112的长度方向滑动，滑动元件132与滑块133相铰接。当手指张开时，食指带动第一臂11运动，第一臂11带动滑块133在其滑动面运动，最终滑块133带动滑动元件132沿固定元件131做直线运动。通过检测滑动元件132或者固定元件131的电位或者电阻等电学参数，即可获得两者发生相对位移的距离。

第一连接臂112朝向第二连接臂122的一侧面上沿其长度方向开设有滑槽113，部分滑块133探入至滑槽113内，可沿滑槽113滑动。滑槽113起到对滑块133的导向作用，提高用户动作连贯性，防止被卡止。

第二动臂121沿其长度方向开设有导向腔123，固定元件131固定在导向腔123内，至少滑动元件132的端部从导向腔123的口部插入至导向腔123中。滑动元件132可沿着导向腔123的长度方向运动。

为了进一步提高VR或者AR的沉浸感，除了向用户呈现视觉可见的场景之外，还需要向其提供肢体上的互动，比如，用户用手去握持虚拟的物体，仅能够从虚拟场景中看到握持住了，实际中用户手中什么也没有，其手感觉不到握东西。因此，本方案中的手势识别装置还包括逆止机构15，逆止机构15设置在第一臂11与第二臂12之间，逆止机构15用于当第一臂11与第二臂12的张开度不大于设定值时，阻止第一臂或第二臂朝向对方继续运动。当处理器根据其手姿判断出用户将虚拟物体握持住时，控制逆止机构动作，使得用户无法再进一步缩小食指与拇指之间的开度。也即当用户进一步缩小食指与拇指之间的开度时，是无法缩小的，就像真的握住物体带来的止挡手感一样，本方案进一步提高了沉浸式场景模拟的真实性。

如1图所示，优选本实施例的逆止机构15采用棘轮逆止器实现，其包括棘轮151、棘爪152和动力机构，棘轮151与第一连接臂112连接；棘爪152一端与第二连接臂122通过转轴连接，动力机构设置在第二臂12上，动力机构受处理模块14的控制，用于驱动棘爪152绕轴转动，使得棘爪152的自由端探入止棘轮151的齿间，或者远离棘轮151的齿间。当棘爪152的自由端探入止棘轮151的齿间时，可以阻止第一连接臂112进一步绕轴转动，进而通过第一动臂111阻止食指进一步动作。当棘爪152远离棘轮151的齿间时，解除对第一连接臂112的锁定，用户的手指可以自由活动。

动力机构可以采用舵机或者步进电机实现。

为了方便佩戴该手势识别装置佩戴，如图2所示，该手势识别装置还包括手套2，手套2至少具有能够套设在掌部的本体21、用于套设在食指的食指指套22和用于套设在拇指的拇指指套23，食指指套22和拇指指套23分别与本体21连接；第一臂11与食指指套22固定，当食指指套22套设在食指外部时，第一臂11可跟随食指一起运动，第二臂12与拇指指套23固定，当拇指指套23套设在拇指外部时，第二臂12可跟随拇指一起运动。

处理模块14可固定在本体21上。

本实施例的手势识别装置还包括分别与处理器14连接的加速度传感器17、蓝牙传输模块18以及锂电池19，加速度传感器17用于检测手部的翻转信息，通过卡尔曼滤波算法实时更新背部的翻转角度。加速度传感器17和抓取识别机构1相互配合，将所采集到的数据映射到沉浸式交互设备上。

本实施例中运动幅度较大，活动频率相对较低的手腕部分，采用加速度传感器识别；对于运动幅度较小，活动频率较高的手指部分，采用抓取识别机构1识别。通过两种传感器配合的方式，实现抓取手势动作的识别。

实施例二

本实施例提出了一种手势识别方法，包括实施例一中记载的手势识别装置，处理模块根据第一臂11与第二臂12的张开度与虚拟物体的直径进行比较，根据比较结果判断抓取虚拟物体的状态。也即第一臂11与第二臂12的张开度不大于虚拟物体的直径时，则判断为抓取到该物体，否则，未抓取到。

如图3所示，L1为滑动元件132的长度，L2为第二动臂121的长度，L3为上第一连接臂112的长度，L4为第二连接臂122的长度，L5为第一动臂111的长度(下极限位置)，L5’为第一动臂111的长度(上极限位置)，a为节点o投影到L1前半距离，b为节点o投影到L1后半距离，C为手指张合大小，α为L3和L4的夹角，β为L1和L3的夹角，γ1为L1和L4的夹角，γ2为L2和L4的夹角。

o为第一臂11和第二臂12的铰接点，过o的垂线交L1于点o’，高度为H。

偏移检测机构13的量程固定，所以L1和L2为定值，且L1＝L2＝L。

本手势识别方法的尺寸关系推导如下：

分离变量得右端为常数的一元二次方程：

目前已知量为长度L、H、a和角度α。其余长度用这些已知值均可以推导得到。

综上所述，只需要确定高度H的大小，并根据需要选取合适的张开角α的大小，就可以确定整个机构各个部分的尺寸。于此同此，通过调节H的大小，可以调节手指张合大小C。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。

Claims (10)

1.一种手势识别装置，其特征在于，包括：

抓取识别机构，其包括：

第一臂，其被配置为能够跟随食指运动；

第二臂，其与所述第一臂相铰接，被配置为能够跟随拇指运动；

偏移检测机构，其用于检测第一臂相对于第二臂的运动偏移量；

处理模块，其与所述偏移检测机构通信连接，用于接收所述偏移检测机构发送的运动偏移量，并且根据所述运动偏移量计算所述第一臂与第二臂的张开度。

2.根据权利要求1所述的手势识别装置，其特征在于，所述第一臂包括：

第一动臂，其用于与食指固定；

第一连接臂，其与所述第一动臂固定连接；

所述第二臂包括：

第二动臂，其用于与拇指固定；

第二连接臂，其与所述第二动臂固定连接，且所述第二连接臂与所述第一连接臂相铰接；

所述偏移检测机构设置在所述第一连接臂和第二动臂之间。

3.根据权利要求2所述的手势识别装置，其特征在于，所述偏移检测机构包括：

固定元件，其沿着所述第二动臂的长度方向设置，且与所述第二动臂固定；

滑动元件，其一端与所述第一连接臂活动连接，另外一端与所述固定元件滑动连接，且能够在所述固定元件的长度方向运动；

所述偏移检测机构检测所述固定元件与滑动元件的位移量，并作为所述第一臂相对于第二臂的运动偏移量发送至所述处理模块。

4.根据权利要求3所述的手势识别装置，其特征在于，所述滑动元件通过滑块与所述第一连接臂连接，所述滑块可沿所述第一连接臂的长度方向滑动，所述滑动元件与所述滑块相铰接。

5.根据权利要求4所述的手势识别装置，其特征在于，所述第一连接臂朝向所述第二连接臂的一侧面上沿其长度方向开设有滑槽，部分所述滑块探入至所述滑槽内，可沿所述滑槽滑动。

6.根据权利要求3所述的手势识别装置，其特征在于，所述第二动臂沿其长度方向开设有导向腔，所述固定元件固定在所述导向腔内，至少所述滑动元件的端部从所述导向腔的口部插入至所述导向腔中。

7.根据权利要求1-6任一项所述的手势识别装置，其特征在于，手势识别装置还包括：

逆止机构，其设置在所述第一臂与第二臂之间，所述逆止机构用于当所述第一臂与第二臂的张开度不大于设定值时，阻止所述第一臂或第二臂朝向对方继续运动。

8.根据权利要求2-6任一项所述的手势识别装置，其特征在于，所述手势识别装置还包括：

逆止机构，其为棘轮逆止器，包括：

棘轮，其与所述第一连接臂连接；

棘爪，其一端与所述第二连接臂通过转轴连接；

动力机构，其设置在所述第二臂上，受所述处理模块的控制，用于驱动所述棘爪绕轴转动，使得所述棘爪的自由端探入止所述棘轮的齿间，或者远离所述棘轮的齿间。

9.根据权利要求1-6任一项所述的手势识别装置，其特征在于，所述手势识别装置还包括：

手套，其至少具有用于套设在掌部的本体、用于套设在食指的食指指套和用于套设在拇指的拇指指套，所述食指指套和拇指指套分别与所述本体连接；

所述第一臂与所述食指指套固定，所述第二臂与所述拇指指套固定；

所述处理模块固定在所述本体上。

10.一种手势识别方法，其特征在于，包括权利要求1-9任一项所述的手势识别装置，所述处理模块根据所述第一臂与第二臂的张开度与虚拟物体的直径进行比较，根据比较结果判断抓取虚拟物体的状态。

Images