CN206162390U - 基于惯性传感器和触觉反馈的手势识别设备 - Google Patents

Abstract

本实用新型公开一种基于惯性传感器和触觉反馈的手势识别设备，包括M组采集原始手势数据的惯性传感器、接收并处理原始手势数据的1个MCU、传输手势数据的无线传输设备以及需要进行交互的外部终端设备，惯性传感器连接MCU的输入端，无线传输设备连接与MCU的输出端与外部终端设备之间，还包括N个触觉反馈装置，触觉反馈装置连接MCU。本实用新型既可以进行手势识别，又可以进行触觉反馈，极大地增加了交互的沉浸感，提升了用户体验。

Description

基于惯性传感器和触觉反馈的手势识别设备

技术领域

本实用新型涉及一种基于惯性传感器和触觉反馈的手势识别设备，属于人机交互技术领域。

背景技术

现有的基于惯性传感器的手势识别设备，仅仅可以识别出手势动作，但是无法模拟出手部的触觉，这样会极大地降低用户体验。本实用新型采用惯性传感器进行手势识别，同时采用触觉反馈装置进行触觉识别，在人机交互的过程中会有手部触觉的反馈，极大地增加了交互的沉浸感，提升了用户体验。

实用新型内容

本实用新型要解决的技术问题是提供一种基于惯性传感器和触觉反馈的手势识别设备，既可以进行手势识别，又可以进行触觉反馈，增加交互的沉浸感，提升用户体验。

为了解决所述技术问题，本实用新型采用的技术方案是：一种基于惯性传感器和触觉反馈的手势识别设备，包括M组采集原始手势数据的惯性传感器、接收并处理原始手势数据的1个MCU、传输手势数据的无线传输设备以及需要进行交互的外部终端设备，惯性传感器连接MCU的输入端，无线传输设备连接与MCU的输出端与外部终端设备之间，还包括N个触觉反馈装置，触觉反馈装置连接MCU。

本实用新型所述基于惯性传感器和触觉反馈的手势识别设备，所述触觉反馈装置有6个，分别设置于五指的指节以及手掌上。

本实用新型所述基于惯性传感器和触觉反馈的手势识别设备，触觉反馈装置设置于大拇指第二指节、食指第三指节、中指第三指节、无名指第三指节、小拇指第三指节以及手掌内侧。

本实用新型所述基于惯性传感器和触觉反馈的手势识别设备，所述触觉反馈装置为触觉传感器或者振动马达。

本实用新型所述基于惯性传感器和触觉反馈的手势识别设备，所述惯性传感器有1-17组，分别设置于上臂、前臂、手掌以及五指的指节上。

本实用新型所述基于惯性传感器和触觉反馈的手势识别设备，每组惯性传感器包括陀螺仪、加速度计和磁力计。

本实用新型所述基于惯性传感器和触觉反馈的手势识别设备，所述无线传输设备为蓝牙无线传输设备或者WiFi无线传输设备。

本实用新型所述基于惯性传感器和触觉反馈的手势识别设备，所述外部终端设备为电脑、手机、电视、机械臂、虚拟现实头戴式显示器中的一种。

本实用新型的有益效果：本实用新型把多组惯性传感器设置于整条手臂的各个位置，用以检测整条手臂各个位置处的姿态，从而可以精准地识别出整条手臂的姿态。并且，本实用新型把多个触觉反馈装置设置于手掌和手指的各个位置，用以反馈手掌和手指的触觉。这样，本实用新型既可以进行手势识别，又可以进行触觉反馈，极大地增加了交互的沉浸感，提升了用户体验。

附图说明

图1为本实用新型的原理框图；

图2为本实用新型设置触觉反馈装置的结构示意图；

图3为本实用新型设置惯性传感器的结构示意图；

图中：1、触觉反馈装置，2、惯性传感器，3、MCU，4、锂电池，5、无线发送单元，6、无线接收单元。

具体实施方式

下面结合附图和具体实施例对本实用新型做进一步的说明。

如图1所示，一种基于惯性传感器和触觉反馈的手势识别设备，包括M组采集原始手势数据的惯性传感器2、接收并处理原始手势数据的1个MCU 3、传输手势数据的无线传输设备以及需要进行交互的外部终端设备，惯性传感器2连接MCU的输入端，无线传输设备连接与MCU 3的输出端与外部终端设备之间，还包括N个触觉反馈装置1，触觉反馈装置1连接MCU 3。

如图2所示，所述触觉反馈装置1有6个，分别设置于大拇指第二指节、食指第三指节、中指第三指节、无名指第三指节、小拇指第三指节以及手掌内侧。本实施例中，所述触觉反馈装置1为触觉传感器，当然也可以使用振动马达。每个触觉反馈装置用于反馈其所在关节处的触觉感受。

本实施例中，五指和手掌内侧全部设置有触觉反馈装置1，也可以对某些位置的触觉反馈装置1进行适当的增删组合。例如，如果6组全部设置，那么手掌的6个设置有触觉反馈装置1的位置的触觉都可以反馈出来；如果大拇指的第一指节处也设置上触觉反馈装置1，那么大拇指的第一指节处的触觉就可以反馈出来；如果在手掌处多设置几个触觉反馈装置1，那么手掌处的触觉就可以更全面地反馈出来。这种触觉反馈装置1的增删组合包括但不限于本实施例。

如图3所示，本实施例中，所述惯性传感器2有17组，分别设置于上臂、前臂、手掌、大拇指第一指节、大拇指第二指节、食指第一指节、食指第二指节、食指第三指节、中指第一指节、中指第二指节、中指第三指节、无名指第一指节、无名指第二指节、无名指第三指节、小指第一指节、小指第二指节和小指第三指节上。每组惯性传感器2包括陀螺仪、加速度计和磁力计。每组惯性传感器2用于采集其所在关节处原始手势数据，并将其传至MCU进行融合处理。

本实施例中，手臂的17个关节处均设有惯性传感器2，也可以对某些位置的惯性传感器2进行适当的增删组合。例如，如果17组全部设置，那么手臂的17个关节位置的姿态都可以精确地计算出来；如果上臂和前臂位置的惯性传感器2删减掉，那么可以只是精确地计算手掌和五指的姿态；如果删减掉手指的第三指节处的惯性传感器2，那么可以根据其他位置处的惯性传感器2的数据近似推算出手指的第三指节处的姿态。这种惯性传感器2的增删组合包括但不限于本实施例。

本实施例中，所述无线传输设备包括无线发送单元5和无线接收单元6，无线发送单元5与MCU 3相连，无线接收单元6与需要交互的外部终端设备相连，无线发送单元5与无线接收单元6通过蓝牙或者WiFi无线连接。

本实施例中，所述外部终端设备为电脑、手机、电视、机械臂、虚拟现实头戴式显示器中的一种。

本实施例中，还包括锂电池4，锂电池4为所有设备供电。

本实用新型的工作过程为：多组惯性传感器2采集其所在关节处的原始手势数据并将多组原始手势数据传输至MCU 3。所述MCU 3在接收到所述多组惯性传感器采集的原始数据后，进行统一地数据融合处理。首先，多组惯性传感器2采集到的原始数据全部直接都传输到这个MCU 3里；然后，在这个MCU 3里进行多传感器深度数据融合及智能预测学习，就可以得到整条手臂的多组惯性传感器所处位置的姿态；如果多组惯性传感器2的位置组合状态不能完全覆盖整条手臂的所有关节位置，那么可以根据人体动力学，依据设有惯性传感器2的关节位置推算出没有惯性传感器的关节位置的姿态；至此，整条手臂所有关节的姿态全部计算出来；最后根据手臂联动关系：上臂带动前臂、前臂带动手掌、手掌带动五指的第一指节、第一指节带动第二指节、第二指节带动第三指节，可以得到整条手臂的实时运动姿态，再把整条手臂的实时运动姿态传输到无线发送单元5，然后以无线的形式把整条手臂的实时运动姿态传输到无线接收单元6，最后再传输到外部终端设备。同时，当外部终端设备检测到手部需要有触觉反馈（例如，在虚拟场景里，当手触碰到虚拟的物体时候，物体会给手部一个力的触觉反馈）的时候，外部终端设备会把触觉反馈的命令发送到无线接收单元6，然后无线接收单元6会把命令发送给无线发送单元5，无线发送单元5再把命令传输给MCU 3，最后MCU 3把命令传输给手部的触觉反馈装置1，从而触觉反馈装置1会模拟出触觉以反馈给手部。

以上描述的仅是本实用新型的基本原理和优选实施例，本领域技术人员根据本实用新型作出的改进和替换，属于本实用新型的保护范围。

Claims (8)

1.一种基于惯性传感器和触觉反馈的手势识别设备，其特征在于：包括M组采集原始手势数据的惯性传感器、接收并处理原始手势数据的1个MCU、传输手势数据的无线传输设备以及需要进行交互的外部终端设备，惯性传感器连接MCU的输入端，无线传输设备连接与MCU的输出端与外部终端设备之间，还包括N个触觉反馈装置，触觉反馈装置连接MCU，M≥1，N≥1。

2.根据权利要求1所述的基于惯性传感器和触觉反馈的手势识别设备，其特征在于：所述触觉反馈装置有6个，分别设置于五指的指节以及手掌上。

3.根据权利要求2所述的基于惯性传感器和触觉反馈的手势识别设备，其特征在于：触觉反馈装置设置于大拇指第二指节、食指第三指节、中指第三指节、无名指第三指节、小拇指第三指节以及手掌内侧。

4.根据权利要求1或2所述的基于惯性传感器和触觉反馈的手势识别设备，其特征在于：所述触觉反馈装置为触觉传感器或者振动马达。

5.根据权利要求1所述的基于惯性传感器和触觉反馈的手势识别设备，其特征在于：所述惯性传感器有1-17组，分别设置于上臂、前臂、手掌以及五指的指节上。

6.根据权利要求1或5所述的基于惯性传感器和触觉反馈的手势识别设备，其特征在于：每组惯性传感器包括陀螺仪、加速度计和磁力计。

7.根据权利要求1所述的基于惯性传感器和触觉反馈的手势识别设备，其特征在于：所述无线传输设备为蓝牙无线传输设备或者WiFi无线传输设备。

8.根据权利要求1所述的基于惯性传感器和触觉反馈的手势识别设备，其特征在于：所述外部终端设备为电脑、手机、电视、机械臂、虚拟现实头戴式显示器中的一种。