CN106445130A - 一种用于手势识别的动作捕捉手套及其校准方法 - Google Patents

Abstract

本发明属于人机交互技术领域，公开了一种用于手势识别的动作捕捉手套，在手套本体的每个关节两端的手指部位均安装一个姿态传感模块；姿态传感模块至少集成有一个三轴MEMS陀螺仪、三轴MEMS加速度计和三轴磁传感器及传感微处理器；每个姿态传感模块通过特殊引脚芯片封装插座与手套本体相连，特殊引脚芯片封装插座贴装在手套本体内部布置的软排线上，各姿态传感模块通过软排线与所述集线器相连。本发明所提供动作捕捉手套中，采用可方便更换的姿态传感模块硬件方案，在某一姿态传感模块失效导致姿态检测结果错误时，用户可以方便地对其进行更换，由于不需要焊接等复杂操作，降低了动捕手套的维护难度和维修成本。本发明还提供了相应的校准方法。

Description

一种用于手势识别的动作捕捉手套及其校准方法

技术领域

本发明属于人机交互技术领域，更具体地，涉及一种用于手势识别的动作捕捉手套及其校准方法。

背景技术

人们与外界进行交互的过程中手势动作是重要的交互方式。人们用手势动作来表达思想、感知客观世界并完成各种操作。随着虚拟现实技术的快速发展，通过使用动作捕捉设备采集人体手势信息，可以极大地丰富虚拟现实的设计内容，增加内容的可玩性，提高人机交互的效率，拓宽虚拟现实系统的应用范围。

数据手套是目前虚拟现实系统中进行手部动作捕捉非常重要的输入设备，它可以跟踪测量穿戴者灵活的手势姿态变化，实时地将其传送至处理单元，最终在显示系统中重现手部运动。虚拟现实技术的高速发展促进了手部动作捕捉技术的应用。动作捕捉手套凭借其自然高效的人机互动方式，已在游戏娱乐、动画设计、手术教学、手语识别、可视化科学研究、机器人控制等领域得到广泛应用。传统的手势动作测量系统主要有机械式和光学式两大类。机械式如Dexta Robotics手部动作捕捉设备Dexmo，光学式如Leap Motion公司的视觉识别手势捕捉。机械式手势捕捉系统原理和结构相对复杂，维护成本高且存在运动受限。光学式手势捕捉系统工作方式复杂，受光线条件和遮挡条件影响大，同时受使用范围大小限制。

与传统的手势捕捉系统中使用的传感技术相比，微机电系统(Micro-Electro-Mechanic System，MEMS)传感器具有体积小、重量轻、可靠性高、成本低、易于大规模生产等优点。近年来随着MEMS技术的普及以及其价格的下降，MEMS拥有广阔的工程应用前景，尤其是对体积和成本敏感的虚拟现实系统应用具有重要意义。现有技术中描述了一种使用惯性传感器件进行手部姿态检测的数据手套。该数据手套集成的每一个微型传感器均由一个三轴MEMS陀螺仪、三轴MEMS加速度计和三轴磁传感器组成，且内嵌了多传感器融合算法用于测量每个关节的姿态变化，进而实现手势姿态的解算。然而该数据手套是基于惯性传感原理，其集成的航姿参考系统封装在电路板上，并通过导线连接至数据采集与控制模块。该方案中航姿参考系统依然是通过将单个陀螺仪、加速度计和磁传感器贴装在电路板上实现，当某一个传感器出现问题导致航姿参考系统不可用时，更换航姿参考系统将十分不便。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种用于手势识别的动作捕捉手套及其校准方法，其目的在于采用可方便更换的姿态传感模块硬件方案，降低动捕手套的维护难度和维修成本，并且进一步消除由于安装偏差导致的姿态传感模块的初始姿态四元数误差，实现高精度的手势动作捕捉。

为实现上述目的，按照本发明的一个方面，提供了一种用于手势识别的动作捕捉手套，包括姿态传感模块、手套本体以及设置在手套本体末端的集线器，其中：

在所述手套本体的每个关节两端的手指部位均安装一个姿态传感模块；

所述姿态传感模块至少集成有一个三轴MEMS陀螺仪、三轴MEMS加速度计和三轴磁传感器及传感微处理器；所述三轴陀螺仪用于测量手部运动的角速度，三轴加速度计用于测量手部运动的加速度，三轴磁传感器用于测量手部运动时不同方位下的地磁场大小，传感微处理器用于融合多传感器测量的数据，得到手部各关节运动的姿态并输出姿态四元数；

所述每个姿态传感模块通过特殊引脚芯片封装插座与所述手套本体相连，所述特殊引脚芯片封装插座贴装在所述手套本体内部布置的软排线上，所述各姿态传感模块通过软排线与所述集线器相连。

在本发明的一个实施例中，所述集线器内部集成有校准微处理器与信号发射模块，其中：

所述校准微处理器用于接收各姿态传感模块采集的各关节姿态四元数；

所述信号发射模块用于将所述各关节姿态四元数传输到相应的显示设备上，实现手势动作捕捉。

在本发明的一个实施例中，所述校准微处理器还用于对所述各关节姿态四元数进行位置偏差校准。

在本发明的一个实施例中，所述校准微处理器根据初始偏差四元数对所述各姿态传感模块采集的各关节姿态四元数进行位置偏差校准。

在本发明的一个实施例中，所述校准微处理器根据五个手指自然并拢平放时各个关节局部坐标系下的理论初始四元数以及各姿态传感模块的输出四元数计算所述初始偏差四元数。

在本发明的一个实施例中，所述初始偏差四元数为其中i＝1,2...16，所述为姿态传感模块的输出四元数，所述为五个手指自然并拢平放时各个关节局部坐标系下的理论初始四元数。

在本发明的一个实施例中，所述姿态传感模块共有16个。

在本发明的一个实施例中，15个姿态传感模块安置于每根手指关节之间，第16个姿态传感模块设置在手背或手掌处。

按照本发明的另一方面，还提供了一种上述用于手势识别的动作捕捉手套的校准方法，在手部手指运动过程中，通过惯性姿态传感模块测得的四元数得到真实的关节运动四元数 i＝1,2...16，其中所述为初始偏差四元数。

在本发明的一个实施例中，所述所述为姿态传感模块的输出四元数，所述为五个手指自然并拢平放时各个关节局部坐标系下的理论初始四元数。

与现有技术相比，本发明具有如下有益效果：

(1)本发明所提供动作捕捉手套中，使用的姿态传感模块直接卡在PLCC插座上，PLCC插座则贴装在手套上的柔性基板上，传感模块的小体积满足手部灵活运动的需求；

(2)本发明所提供动作捕捉手套中，采用可方便更换的姿态传感模块硬件方案，在某一姿态传感模块失效导致姿态检测结果错误时，用户可以方便地对其进行更换，由于不需要焊接等复杂操作，降低了动捕手套的维护难度和维修成本。并且，用户可以自由选择是否需要安装全部的姿态传感模块，对于不需要全部手指运动信息的场合可以根据实际适当减少姿态模块的使用数量；

(3)本发明所提供动作捕捉手套中，姿态传感模块输出以四元数表示的手部姿态信息，由于采用四元数来描述手部关节运动，四元数不存在描述旋转运动时的奇异点，可以避免使用欧拉角表示方法在俯仰角接近±90°附近时引起的的解算不稳定问题；

(4)本发明所提供动作捕捉手套的校准方法中，以四元数的方法表示模块安装的初始偏，并且通过对姿态传感模块的误差校准，可以消除由于安装偏差导致的初始姿态传感模块的姿态四元数误差，消除初始安装偏差对手部动作捕捉的影响，提高姿态传感系统的测量精度，实现高精度的手势动作捕捉，保证了动捕手套的可用性。

附图说明

图1是本发明实施例中动作捕捉手套的硬件结构示意图；

图2是本发明实施例中姿态传感模块与HUB折连接示意图；

图3是本发明实施例中姿态传感系统的初始安装偏差示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

针对现有技术的以上问题，本发明设计了一种用于手势识别的动作捕捉手套，该手套使用可贴装的卡扣插座式的姿态传感系统安装结构，当某一姿态传感系统出现问题时，可以直接更换姿态传感系统模块而不用牵涉姿态传感系统之间的连接导线，后期维护更加简单方便。并且不同于现有技术中使用欧拉角来描述手部关节的运动信息，本发明中采用四元数来描述手部关节运动，四元数不存在描述旋转运动时的奇异点问题，可以避免使用欧拉角表示方法在俯仰角接近±90°附近时引起的的解算不稳定问题。

本发明提供的用于手势识别的动作捕捉手套的硬件组成如图1所示，主要包括姿态传感模块、手套本体以及设置在手套本体末端的集线器HUB等部分。人的手部骨骼可以分为16块，手套上每个关节两端的手指部位均安装一个姿态传感模块。具体地，可以将15个姿态传感模块安置于每根手指关节之间，第16个姿态传感模块设置在手背或手掌处。姿态传感模块集成一个三轴MEMS陀螺仪、三轴MEMS加速度计、三轴磁传感器及传感微处理器。三轴陀螺仪用来测量手部运动的角速度；三轴加速度计用来测量手部运动的加速度；三轴磁传感器测量手部运动时的不同方位下的地磁场大小；传感微处理器负责多传感器测量数据的融合，得到手部各关节运动的姿态并输出姿态四元数。

如图2所示，每个姿态传感模块通过特殊引脚芯片封装(Plastic Leaded ChipCarrier，PLCC)插座与手套本体相连。所述PLCC插座贴装在所述手套本体内部布置的软排线上，各姿态传感模块通过软排线与设置在手套本体末端的HUB主节点相连。HUB主节点内部集成了校准微处理器与信号发射模块，校准微处理器接收各姿态传感模块采集的各关节姿态四元数，并将将所述各关节姿态四元数通过信号发射模块传输到相应的显示设备上，实现手势动作捕捉。

然而由于每个人的手型、大小不会完全一样，戴上手套之后航姿参考系统的位置并不一定处在理想位置。这种初始的安装位置偏差会导致手部运动时的姿态数据不准确而无法得到精确的手部姿态。因为戴上手套之后存在初始位置误差，传感器并不能固定到理想位置，如图3所示，穿戴动捕手套时难以保证姿态传感模块的安装位置完全与手指关节的坐标系完全重合，姿态传感模块的初始安装偏差会导致手部姿态测量误差，因此必须通过一定的校准实现姿态传感模块初始安装偏差的补偿，减小手指运动时的动作捕捉误差。

因此本发明进一步提出了基于四元数叉积变换的位置误差校准方法，通过本发明的姿态校准校准方法可以消除姿态传感模块安装位置姿态与理想位置之间的偏差，使姿态传感模块的姿态能够反映人体手指运动的运动，进而实现精确的手势捕捉。

为了实现上述目的，所述校准微处理器还用于对所述各关节姿态四元数进行位置偏差校准。具体地，可根据初始偏差四元数对所述各姿态传感模块采集的各关节姿态四元数进行位置偏差校准。

本发明采用的姿态传感模块校准方法为：

假设五个手指自然并拢平放时各个关节局部坐标系下的理论初始四元数为姿态传感模块的输出四元数为初始偏差四元数为理论初始四元数、姿态传感模块输出四元数与初始偏差四元数满足关系：

其中表示四元数的乘法计算，即:

进一步可以得到初始偏差四元数

在手部手指运动过程中，通过惯性姿态传感系统测得的四元数可以得到真实的关节运动四元数

以上动捕手套集成的全部姿态传感系统的校准过程以及初始偏差四元数的计算均由可集成在HUB中的微处理器中完成，并进一步通过HUB传输到后端的虚拟现实等需要手势动作信息应用场景中。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于手势识别的动作捕捉手套，其特征在于，包括姿态传感模块、手套本体以及设置在手套本体末端的集线器，其中：

在所述手套本体的每个关节两端的手指部位均安装一个姿态传感模块；

所述姿态传感模块至少集成有一个三轴MEMS陀螺仪、三轴MEMS加速度计和三轴磁传感器及传感微处理器；所述三轴陀螺仪用于测量手部运动的角速度，三轴加速度计用于测量手部运动的加速度，三轴磁传感器用于测量手部运动时不同方位下的地磁场大小，传感微处理器用于融合多传感器测量的数据，得到手部各关节运动的姿态并输出姿态四元数。

所述每个姿态传感模块通过特殊引脚芯片封装插座与所述手套本体相连，所述特殊引脚芯片封装插座贴装在所述手套本体内部布置的软排线上，所述各姿态传感模块通过软排线与所述集线器相连。

2.如权利要求1所述的用于手势识别的动作捕捉手套，其特征在于，所述集线器内部集成有校准微处理器与信号发射模块，其中：

所述校准微处理器用于接收各姿态传感模块采集的各关节姿态四元数；

所述信号发射模块用于将所述各关节姿态四元数传输到相应的显示设备上，实现手势动作捕捉。

3.如权利要求2所述的用于手势识别的动作捕捉手套，其特征在于，所述校准微处理器还用于对所述各关节姿态四元数进行位置偏差校准。

4.如权利要求3所述的用于手势识别的动作捕捉手套，其特征在于，所述校准微处理器根据初始偏差四元数对所述各姿态传感模块采集的各关节姿态四元数进行位置偏差校准。

5.如权利要求4所述的用于手势识别的动作捕捉手套，其特征在于，所述校准微处理器根据五个手指自然并拢平放时各个关节局部坐标系下的理论初始四元数以及各姿态传感模块的输出四元数计算所述初始偏差四元数。

6.如权利要求4或5所述的用于手势识别的动作捕捉手套，其特征在于，所述初始偏差四元数为其中i＝1,2...16，所述为姿态传感模块的输出四元数，所述为五个手指自然并拢平放时各个关节局部坐标系下的理论初始四元数。

7.如权利要求1或2所述的用于手势识别的动作捕捉手套，其特征在于，所述姿态传感模块共有16个。

8.如权利要求1或2所述的用于手势识别的动作捕捉手套，其特征在于，15个姿态传感模块安置于每根手指关节之间，第16个姿态传感模块设置在手背或手掌处。

9.如权利要求1至8任一项用于手势识别的动作捕捉手套的校准方法，其特征在于，在手部手指运动过程中，通过惯性姿态传感模块测得的四元数得到真实的关节运动四元数i＝1,2...16，其中所述为初始偏差四元数。

10.如权利要求9所述的用于手势识别的动作捕捉手套的校准方法，其特征在于，所述所述为姿态传感模块的输出四元数，所述为五个手指自然并拢平放时各个关节局部坐标系下的理论初始四元数。