CN106406544B - 一种语义式人机自然交互控制方法及系统 - Google Patents

Abstract

本发明公开了一种语义式人机自然交互控制方法，包括：步骤1，建立操控者手势库与被控装备控制指令库对应的映射关系；步骤2，采集并融合操控者佩戴的肌电传感器和惯导传感器的信息，获取操控者的手势信息，实现对操控者手势的识别；步骤3，根据步骤1中的映射关系，将步骤2中识别的手势信息转化成对所述被控装备的控制指令；步骤4，将步骤3中的控制指令传输给所述被控装备，实现对所述被控装备的实时控制。本发明还提供了一种语义式人机自然交互控制系统。本发明的有益效果为：建立了符合人类表述习惯的映射关系，这种编码的方式形象、简单、便捷、可靠性高，误触发率低，提高了对被控设备的控制准确度和可靠度。

Description

一种语义式人机自然交互控制方法及系统

技术领域

本发明涉及智能控制技术领域，具体而言，涉及一种语义式人机自然交互控制方法及系统。

背景技术

手势识别技术是新一代自然人机交互的一项关键技术，相对于传统的鼠标，键盘等接触式的操作方式，手势具有自然直观、容易理解、操作简单、体验性好等优点，更加符合人类日常交流习惯，手势识别已经成为人机交互方案的研究热点。手势作为一门自然、方便的语言，在情感上和实用性上都非常适合用于人机交互。手势识别技术的研究意义在于将手势这种自然且直观的交流方式应用到人机交互的接口技术上，使得人机接口更加接近于人类的使用习惯，进而使得人机交互变得更自然方便。随着机器人控制技术的发展，人与机器人之间的交互活动变得越来越普遍。利用手势来控制机器人可方便地操纵机器人，向机器人发布命令，与机器人进行交互。

手势是指人手产生的各种姿势和动作，广义的手势可分为两种，一种为由连续手部动作组成的动态手势，另一种为静态的手部姿势。静态手势识别考虑某个时间点上手势的外形特征，动态手势关注一段时间内手部及手臂的一系列动作，增加了时间信息和动作特征。研究静态手势对于理解分析动态手势具有重要的意义。由于动态手势的识别可以归结为几个静态姿势识别的综合，所以两种手势识别的过程和方法基本一致。但是，动态手势的识别需要考虑时间、空间等因素，即不同因素会造成手势轨迹在时间上的非线性波动，因此，动态手势识别必须考虑如何消除这些波动的影响，比静态手势识别更富有技术挑战性。

目前，国外虽然目前已有许多肌电传感器(EMG)信号识别的研究结果，但绝大多数研究，仅能识别静态手势，无法识别动态手势。造成这种局面的主要原因是没有将EMG信号与手臂的宏观运动状态相结合识别。在国内，对基于手势的人机自然交互控制主要采用数据手套的交互方式或采用外部摄像头结合Kinect组件的交互方式。在采用数据手套对手势进行识别方面，哈尔滨工业大学的吴江琴等在中国手语研究中，使用18个传感器的CyberGlover数据手套，结合人工神经网络，但这只对部分手语动作进行了识别。在采用外部摄像头结合Kinect组件的手势识别方面，上海海事大学、兰州理工大学、北京交通大学、浙江大学、哈尔滨工业大学、华中师范大学也只对静态手势进行了识别。另外，现有的人机交互识别中，对手势的编码可靠性不高，容易存在误触发。

无人机是目前智能控制领域研究的热点，具有成本低廉、可垂直起降、易于操控等优点，在搜索、救援、测绘、农业、航拍等领域具有广阔的应用前景。研究操控者与无人机之间的人机交互具有良好的应用前景。

发明内容

为解决上述问题，本发明的目的在于提供一种语义式人机自然交互控制方法及系统，可识别动态手势，并且识别可靠性高，能准确实现对无人机的实时交互控制。

本发明提供了一种语义式人机自然交互控制方法，该方法包括：

步骤1，根据被控装备的控制模态，通过操控者的手势对这些控制模态进行表示，建立操控者手势库与被控装备控制指令库对应的映射关系；

步骤2，采集操控者佩戴的肌电传感器和惯导传感器的信息，并融合肌电传感器和惯导传感器的传感数据，获取操控者的手势信息，实现对操控者手势的识别；

步骤3，根据步骤1中的映射关系，将步骤2中识别的手势信息转化成对所述被控装备的控制指令；

步骤4，将步骤3中的控制指令通过无线网络传输给所述被控装备，实现对所述被控装备的实时控制。

作为本发明进一步的改进，步骤1中，所述被控装备的控制模态分为基本控制、复合控制、任务控制；

其中，

所述基本控制是指对所述被控装备实现最常用状态的控制，采用符合人类表述习惯的基本手势直接对这些最常用状态进行表示，其中，最常用状态包括起飞、降落、前进、后退、返航、左转弯、右转弯，对应的基本手势为左手手背向上平抬、左手手背向上平降、左手手背正对操控者向前平推、左手手背正对操控者向后收回、左手手掌正对操控者向前挥动、左手食指逆时针转动、左手食指顺时针转动；

所述复合控制是指对所述被控装备实现定量状态的控制，采用基本手势+表示数字的手势的组合手势对这些定量状态进行表示，其中，定量状态包括以某一速度起飞、降落、前进、后退、返航，或以某一角度左转弯、右转弯，对应的组合手势为左手手背向上平抬+右手手指指示速度数字、左手手背向上平降+右手手指指示速度数字、左手手背正对操控者向前平推+右手手指指示速度数字、左手手背正对操控者向后收回+右手手指指示速度数字、左手手掌正对操控者向前挥动+右手手指指示速度数字，或左手食指逆时针转动+右手手指指示转动角度数字、左手食指顺时针转动+右手手指指示转动角度数字；

所述任务控制是指对所述被控装备实现某项具体任务的执行状态的控制，采用约定手势+表示确认的手势的组合手势对这些执行状态进行表示，其中，执行状态包括火力打击，对应的组合手势为左手拇指食指比划打枪+右手握拳向下。

作为本发明进一步的改进，步骤2具体包括：

步骤201，通过操控者身上安装的多路电极，分别采集左右手臂上的肌电传感器的电流信号，并通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在小范围内的运动状态信息；

步骤202，采集所述惯导传感器的加速度信号和角速度信号，通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在大范围内的运动状态信息；

步骤203，融合步骤201和步骤202提取的运动状态信息，实现对操控者手势的识别。

作为本发明进一步的改进，还包括：

通过震动的方式反馈被控装备的重要状态信息，根据状态信息的重要等级给操控者以不同的震动触觉反馈，并将这种状态信息和振动模式的映射归入步骤1中的映射关系库；

在需要对被控装备进行重要状态的操控时，操控者启动相应的震动模式，将震动信息转化成对所述被控装备的控制指令，并将该控制指令传输给所述被控装备，实现对所述被控装备的实时控制。

本发明还提供了一种语义式人机自然交互控制系统，该系统包括：

交互编码模块，根据被控装备的控制模态，通过操控者的手势对这些控制模态进行表示，建立操控者手势库与被控装备控制指令库对应的映射关系；

采集处理模块，采集操控者佩戴的肌电传感器和惯导传感器的信息，并融合肌电传感器和惯导传感器的传感数据，获取操控者的手势信息，实现对操控者手势的识别；

实时解码模块，根据所述交互编码模块中的映射关系，将所述采集处理模块中识别的手势信息转化成对所述被控装备的控制指令；

无线传输模块，将所述实时解码模块中的控制指令通过无线网络传输给所述被控装备，实现对所述被控装备的实时控制。

作为本发明进一步的改进，所述交互编码模块中，所述被控装备的控制模态分为基本控制、复合控制、任务控制；

其中，

所述基本控制是指对所述被控装备实现最常用状态的控制，采用符合人类表述习惯的基本手势直接对这些最常用状态进行表示，其中，最常用状态包括起飞、降落、前进、后退、返航、左转弯、右转弯，对应的基本手势为左手手背向上平抬、左手手背向上平降、左手手背正对操控者向前平推、左手手背正对操控者向后收回、左手手掌正对操控者向前挥动、左手食指逆时针转动、左手食指顺时针转动；

所述复合控制是指对所述被控装备实现定量状态的控制，采用基本手势+表示数字的手势的组合手势对这些定量状态进行表示，其中，定量状态包括以某一速度起飞、降落、前进、后退、返航，或以某一角度左转弯、右转弯，对应的组合手势为左手手背向上平抬+右手手指指示速度数字、左手手背向上平降+右手手指指示速度数字、左手手背正对操控者向前平推+右手手指指示速度数字、左手手背正对操控者向后收回+右手手指指示速度数字、左手手掌正对操控者向前挥动+右手手指指示速度数字，或左手食指逆时针转动+右手手指指示转动角度数字、左手食指顺时针转动+右手手指指示转动角度数字；

所述任务控制是指对所述被控装备实现某项具体任务的执行状态的控制，采用约定手势+表示确认的手势的组合手势对这些执行状态进行表示，其中，执行状态包括火力打击，对应的组合手势为左手拇指食指比划打枪+右手握拳向下。

作为本发明进一步的改进，采集处理模块包括：

肌电传感器采集处理模块，通过操控者身上安装的多路电极，分别采集左右手臂上的肌电传感器的电流信号，并通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在小范围内的运动状态信息；

惯导传感器采集处理模块，采集所述惯导传感器的加速度信号和角速度信号，通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在大范围内的运动状态信息；

融合处理模块，融合肌电传感器采集处理模块和惯导传感器采集处理模块提取的运动状态信息，实现对操控者手势的识别。

作为本发明进一步的改进，还包括触觉反馈模块，通过震动的方式反馈被控装备的重要状态信息，根据状态信息的重要等级给操控者以不同的震动触觉反馈，并将这种状态信息和振动模式的映射归入交互编码模块中的映射关系库，在需要对被控装备进行重要状态的操控时，操控者启动相应的震动模式，将震动信息转化成对所述被控装备的控制指令，并将该控制指令传输给所述被控装备，实现对所述被控装备的实时控制。

本发明的有益效果为：

1、通过手臂表面的肌肉电流信号可精确识别小范围内的双手手指、手掌、手腕和手臂的运动姿态；

2、通过惯导传感器的加速度信号和角速度信号可精确识别大范围内的双手手指、手掌、手腕和手臂的运动姿态；

3、建立了符合人类表述习惯的映射关系，这种编码的方式形象、简单、便捷、可靠性高，误触发率低，提高了对被控设备的控制准确度和可靠度。

附图说明

图1为本发明实施例所述的一种语义式人机自然交互控制方法的流程示意图；

图2为本发明实施例所述的一种语义式人机自然交互控制系统的结构示意图。

具体实施方式

下面通过具体的实施例并结合附图对本发明做进一步的详细描述。

实施例1，如图1所示，本发明实施例的一种语义式人机自然交互控制方法，该方法包括：

步骤1，根据被控装备的控制模态，通过操控者的手势对这些控制模态进行表示，建立操控者手势库与被控装备控制指令库对应的映射关系。

其中，被控装备的控制模态分为基本控制、复合控制、任务控制。

基本控制是指对被控装备实现最常用状态的控制，采用符合人类表述习惯的基本手势直接对这些最常用状态进行表示，这种表示形象、简单、便捷。其中，被控装备为无人机时，其最常用状态包括起飞、降落、前进、后退、返航、左转弯、右转弯，操控者对应控制的基本手势为左手手背向上平抬、左手手背向上平降、左手手背正对操控者向前平推、左手手背正对操控者向后收回、左手手掌正对操控者向前挥动、左手食指逆时针转动、左手食指顺时针转动。例如，控制无人机降落时，操控者的左手手背朝上并且左手整体向下降落。

复合控制是指对被控装备实现定量状态的控制，采用基本手势+表示数字的手势的组合手势对这些定量状态进行表示，其中，定量状态包括以某一速度起飞、降落、前进、后退、返航，或以某一角度左转弯、右转弯，对应的组合手势为左手手背向上平抬+右手手指指示速度数字、左手手背向上平降+右手手指指示速度数字、左手手背正对操控者向前平推+右手手指指示速度数字、左手手背正对操控者向后收回+右手手指指示速度数字、左手手掌正对操控者向前挥动+右手手指指示速度数字，或左手食指逆时针转动+右手手指指示转动角度数字、左手食指顺时针转动+右手手指指示转动角度数字。例如，控制无人机以3m/s的速度返航，操控者左手手掌正对操控者，左手向操控者方向挥动，同时右手手指指示3。

任务控制是指对被控装备实现某项具体任务的执行状态的控制，采用约定手势+表示确认的手势的组合手势对这些执行状态进行表示，其中，执行状态包括但不局限于火力打击，火力打击对应的组合手势为左手拇指食指比划打枪+右手握拳向下。例如，控制无人机进行火力打击时，操控者左手拇指食指比划打枪(即大写的八字，并且八字开口朝上)，同时右手握拳从上向下滑动。

上述三种控制状态仅仅列举了无人机部分典型的状态，以及对应的手势组合，在实际操控中，并不仅仅限于上述列举的状态及手势组合，只要采用本发明的编码方法能实现手势和状态的对应即可。另外，采用本方法操控的被控装备也不仅仅局限于无人机，机器人等均可，只需重根据本发明的编码方法重新调整映射关系。

步骤2，采集操控者佩戴的肌电传感器和惯导传感器的信息，并融合肌电传感器和惯导传感器的传感数据，获取操控者的手势信息，实现对操控者手势的识别。具体包括：

步骤201，通过操控者身上安装的多路电极，分别采集左右手臂上的肌电传感器的电流信号，并通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在小范围内的运动状态信息；

步骤202，采集惯导传感器的加速度信号和角速度信号，通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在大范围内的运动状态信息；

步骤203，融合步骤201和步骤202提取的运动状态信息，实现对操控者手势的识别。在对两类传感器的信息进行融合时，可采用神经网络算法、卡尔曼滤波算法等。

步骤3，根据步骤1中的映射关系，将步骤2中识别的手势信息转化成对被控装备的控制指令。

步骤4，将步骤3中的控制指令通过无线网络传输给被控装备，实现对被控装备的实时控制。

进一步的，为了实现对被控装备重要状态的简单快速控制，还包括：通过震动的方式反馈被控装备的重要状态信息，根据状态信息的重要等级给操控者以不同的震动触觉反馈，并将这种状态信息和振动模式的映射归入步骤1中的映射关系库；在需要对被控装备进行重要状态的操控时，操控者启动相应的震动模式，将震动信息转化成对被控装备的控制指令，并将该控制指令传输给被控装备，实现对被控装备的实时控制。

实施例2，如图2所示，本发明还提供了一种语义式人机自然交互控制系统，其特征在于，该系统包括：

交互编码模块，根据被控装备的控制模态，通过操控者的手势对这些控制模态进行表示，建立操控者手势库与被控装备控制指令库对应的映射关系。

其中，被控装备的控制模态分为基本控制、复合控制、任务控制。

基本控制是指对被控装备实现最常用状态的控制，采用符合人类表述习惯的基本手势直接对这些最常用状态进行表示，其中，最常用状态包括起飞、降落、前进、后退、返航、左转弯、右转弯，对应的基本手势为左手手背向上平抬、左手手背向上平降、左手手背正对操控者向前平推、左手手背正对操控者向后收回、左手手掌正对操控者向前挥动、左手食指逆时针转动、左手食指顺时针转动。例如，控制无人机降落时，操控者的左手手背朝上并且左手整体向下降落。

复合控制是指对被控装备实现定量状态的控制，采用基本手势+表示数字的手势的组合手势对这些定量状态进行表示，其中，定量状态包括以某一速度起飞、降落、前进、后退、返航，或以某一角度左转弯、右转弯，对应的组合手势为左手手背向上平抬+右手手指指示速度数字、左手手背向上平降+右手手指指示速度数字、左手手背正对操控者向前平推+右手手指指示速度数字、左手手背正对操控者向后收回+右手手指指示速度数字、左手手掌正对操控者向前挥动+右手手指指示速度数字，或左手食指逆时针转动+右手手指指示转动角度数字、左手食指顺时针转动+右手手指指示转动角度数字。例如，控制无人机以3m/s的速度返航，操控者左手手掌正对操控者，左手向操控者方向挥动，同时右手手指指示3。

任务控制是指对被控装备实现某项具体任务的执行状态的控制，采用约定手势+表示确认的手势的组合手势对这些执行状态进行表示，其中，执行状态包括火力打击，对应的组合手势为左手拇指食指比划打枪+右手握拳向下。例如，控制无人机进行火力打击时，操控者左手拇指食指比划打枪(即大写的八字，并且八字开口朝上)，同时右手握拳从上向下滑动。

采集处理模块，采集操控者佩戴的肌电传感器和惯导传感器的信息，并融合肌电传感器和惯导传感器的传感数据，获取操控者的手势信息，实现对操控者手势的识别。具体包括：

肌电传感器采集处理模块，通过操控者身上安装的多路电极，分别采集左右手臂上的肌电传感器的电流信号，并通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在小范围内的运动状态信息；

惯导传感器采集处理模块，采集惯导传感器的加速度信号和角速度信号，通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在大范围内的运动状态信息；

融合处理模块，融合肌电传感器采集处理模块和惯导传感器采集处理模块提取的运动状态信息，实现对操控者手势的识别。

实时解码模块，根据交互编码模块中的映射关系，将采集处理模块中识别的手势信息转化成对被控装备的控制指令。

无线传输模块，将实时解码模块中的控制指令通过无线网络传输给被控装备，实现对被控装备的实时控制。

进一步的，还包括触觉反馈模块，通过震动的方式反馈被控装备的重要状态信息，根据状态信息的重要等级给操控者以不同的震动触觉反馈，并将这种状态信息和振动模式的映射归入交互编码模块中的映射关系库，在需要对被控装备进行重要状态的操控时，操控者启动相应的震动模式，将震动信息转化成对被控装备的控制指令，并将该控制指令传输给被控装备，实现对被控装备的实时控制。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种语义式人机自然交互控制方法，其特征在于，该方法包括：

步骤1，根据被控装备的控制模态，通过操控者的手势对这些控制模态进行表示，建立操控者手势库与被控装备控制指令库对应的映射关系；

步骤2，采集操控者佩戴的肌电传感器和惯导传感器的信息，并融合肌电传感器和惯导传感器的传感数据，获取操控者的手势信息，实现对操控者手势的识别；

步骤3，根据步骤1中的映射关系，将步骤2中识别的手势信息转化成对所述被控装备的控制指令；

步骤4，将步骤3中的控制指令通过无线网络传输给所述被控装备，实现对所述被控装备的实时控制；

步骤1中，所述被控装备的控制模态分为基本控制、复合控制、任务控制；所述基本控制是指对所述被控装备实现最常用状态的控制，采用符合人类表述习惯的基本手势直接对这些最常用状态进行表示，所述复合控制是指对所述被控装备实现定量状态的控制，采用基本手势+表示数字的手势的组合手势对这些定量状态进行表示，所述任务控制是指对所述被控装备实现某项具体任务的执行状态的控制，采用约定手势+表示确认的手势的组合手势对这些执行状态进行表示；

还包括：

通过震动的方式反馈被控装备的重要状态信息，根据状态信息的重要等级给操控者以不同的震动触觉反馈，并将这种状态信息和震 动模式的映射归入步骤1中的映射关系库；

在需要对被控装备进行重要状态的操控时，操控者启动相应的震动模式，将震动信息转化成对所述被控装备的控制指令，并将该控制指令传输给所述被控装备，实现对所述被控装备的实时控制。

2.根据权利要求1所述的语义式人机自然交互控制方法，其特征在于，最常用状态包括起飞、降落、前进、后退、返航、左转弯、右转弯，对应的基本手势为左手手背向上平抬、左手手背向上平降、左手手背正对操控者向前平推、左手手背正对操控者向后收回、左手手掌正对操控者向前挥动、左手食指逆时针转动、左手食指顺时针转动；

定量状态包括以某一速度起飞、降落、前进、后退、返航，或以某一角度左转弯、右转弯，对应的组合手势为左手手背向上平抬+右手手指指示速度数字、左手手背向上平降+右手手指指示速度数字、左手手背正对操控者向前平推+右手手指指示速度数字、左手手背正对操控者向后收回+右手手指指示速度数字、左手手掌正对操控者向前挥动+右手手指指示速度数字，或左手食指逆时针转动+右手手指指示转动角度数字、左手食指顺时针转动+右手手指指示转动角度数字；

执行状态包括火力打击，对应的组合手势为左手拇指食指比划打枪+右手握拳向下。

3.根据权利要求1所述的语义式人机自然交互控制方法，其特征在于，步骤2具体包括：

步骤201，通过操控者身上安装的多路电极，分别采集左右手臂上的肌电传感器的电流信号，并通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在小范围内的运动状态信息；

步骤202，采集所述惯导传感器的加速度信号和角速度信号，通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在大范围内的运动状态信息；

步骤203，融合步骤201和步骤202提取的运动状态信息，实现对操控者手势的识别。

4.一种语义式人机自然交互控制系统，其特征在于，该系统包括：

交互编码模块，根据被控装备的控制模态，通过操控者的手势对这些控制模态进行表示，建立操控者手势库与被控装备控制指令库对应的映射关系；

采集处理模块，采集操控者佩戴的肌电传感器和惯导传感器的信息，并融合肌电传感器和惯导传感器的传感数据，获取操控者的手势信息，实现对操控者手势的识别；

实时解码模块，根据所述交互编码模块中的映射关系，将所述采集处理模块中识别的手势信息转化成对所述被控装备的控制指令；

无线传输模块，将所述实时解码模块中的控制指令通过无线网络传输给所述被控装备，实现对所述被控装备的实时控制；

所述交互编码模块中，所述被控装备的控制模态分为基本控制、复合控制、任务控制；所述基本控制是指对所述被控装备实现最常用状态的控制，采用符合人类表述习惯的基本手势直接对这些最常用状态进行表示，所述复合控制是指对所述被控装备实现定量状态的控制，采用基本手势+表示数字的手势的组合手势对这些定量状态进行表示，所述任务控制是指对所述被控装备实现某项具体任务的执行状态的控制，采用约定手势+表示确认的手势的组合手势对这些执行状态进行表示；

还包括触觉反馈模块，通过震动的方式反馈被控装备的重要状态信息，根据状态信息的重要等级给操控者以不同的震动触觉反馈，并将这种状态信息和震 动模式的映射归入交互编码模块中的映射关系库，在需要对被控装备进行重要状态的操控时，操控者启动相应的震动模式，将震动信息转化成对所述被控装备的控制指令，并将该控制指令传输给所述被控装备，实现对所述被控装备的实时控制。

5.根据权利要求4所述的语义式人机自然交互控制系统，其特征在于，最常用状态包括起飞、降落、前进、后退、返航、左转弯、右转弯，对应的基本手势为左手手背向上平抬、左手手背向上平降、左手手背正对操控者向前平推、左手手背正对操控者向后收回、左手手掌正对操控者向前挥动、左手食指逆时针转动、左手食指顺时针转动；

定量状态包括以某一速度起飞、降落、前进、后退、返航，或以某一角度左转弯、右转弯，对应的组合手势为左手手背向上平抬+右手手指指示速度数字、左手手背向上平降+右手手指指示速度数字、左手手背正对操控者向前平推+右手手指指示速度数字、左手手背正对操控者向后收回+右手手指指示速度数字、左手手掌正对操控者向前挥动+右手手指指示速度数字，或左手食指逆时针转动+右手手指指示转动角度数字、左手食指顺时针转动+右手手指指示转动角度数字；

执行状态包括火力打击，对应的组合手势为左手拇指食指比划打枪+右手握拳向下。

6.根据权利要求4所述的语义式人机自然交互控制系统，其特征在于，采集处理模块包括：

肌电传感器采集处理模块，通过操控者身上安装的多路电极，分别采集左右手臂上的肌电传感器的电流信号，并通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在小范围内的运动状态信息；

惯导传感器采集处理模块，采集所述惯导传感器的加速度信号和角速度信号，通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在大范围内的运动状态信息；

融合处理模块，融合肌电传感器采集处理模块和惯导传感器采集处理模块提取的运动状态信息，实现对操控者手势的识别。