CN106155300A - 一种基于肌电流和多传感器协同作用的人机交互设备及其使用方法 - Google Patents

Abstract

本发明涉及一种基于肌电流和多传感器协同作用的人机交互设备及其使用方法包括肌电流EMG传感器、辅助传感器与主控单元，所述肌电流EMG传感器用于提取人体EMG信号，所述辅助传感器用于提取相应类型的信号，所述主控单元分别与肌电流EMG传感器和辅助传感器相联通，该主控单元用于分析处理肌电流EMG传感器和辅助传感器提供的信息，且识别指令将指令发送，本发明通过多点采集肌电流信号和其他传感器信号，将多维信号有机融合，共同判断出使用者的操作意图，同时系统具有自学习功能，可以不断加强分类准确度。多传感器协同使用和自学习算法可以显著提高人机接口的准确度。

Description

一种基于肌电流和多传感器协同作用的人机交互设备及其使用方法

技术领域

本发明涉及医学康复工程和计算机技术领域，尤其涉及一种基于肌电流和多传感器协同作用的人机交互设备及其使用方法。

背景技术

随着生活水平的提高，生活中的电子设备越来越多，并已经成为人们不可或缺的生活元素。为了进一步提高生活质量，很多新型的对电子设备的控制方式运用而生。其中，非接触的控制方式以其便捷、快速等优点备受青睐。

如通过脑电控制电视机，如专利号为CN1949140A，申请日为2006.11.08的《一种脑-机接口鼠标控制方法》；通过手势控制遥控器，如专利号为CN202931503U，申请日为2012.10.31的《一种可手势识别的遥控系统及电视机》)；通过肌电流控制鼠标，如专利号为CN1818841A，申请日为2006.03.16的《肌电信号控制鼠标》)等。这些新型的控制方式一般是通过采集原始信号(脑电、运动图像、肌电)，然后通过建立原始信号特征量与目标控制量之间的模型，从而实现对目标设备进行控制的目的。其中，训练过程的复杂程度、训练结果的准确程度都是制约着这些新型控制技术能否顺利转化生产，切实改善人民生活质量的关键。

针对这三种常见的新型控制方式：脑电的训练难度最大，一般要求佩戴者的精神高度集中，并经过多次训练才可通过脑电输出少数几个命令准确命令；手势控制一般是通过摄像头采集信息，训练过程简单，但当运动过快或摄像头摆放位置不当都会引起这种控制的失效，而且可编辑的动作较少，限制了对多控制输出情况下的应用；肌电流一般指表面肌电信号，是肌肉收缩时伴随产生的电信号，肌肉一般容易被人体所控制，因此肌电流信号也相对前两者更容易被人体控制，从而训练过程的难度大大降低，同时，由于人体上的肌肉分布广、种类多，且不同肌肉运动过程中产生的肌电信号各异，使得通过提取单独肌肉上的肌电流和计算多块肌肉上产生肌电流的分布，可实现对大量命令的准确控制。因此，通过肌电流进行多设备、多功能控制，并转化为实际生产，改善民生，有着极大的可能性。

另外如，专利号为CN103315737A，申请日为2013.06.18的《佩戴式多通道表面肌电信号采集臂环》实现了一种通用性的肌电采集器，但由于臂环可采集到的肌肉种类小、肌电流较小，因此可与控制命令建模的肌电特征量少。可控制的目标量少和控制的精度低，是限制了本类专利内容实际使用的主要原因。如专利号为CN102349037A，申请日为2012.02.08的《用于人机接口的基于肌电图的可佩戴控制器》发明了一种多肌电图传感器并用的人接交互设备并阐述了部分控制方法，理论上提高了肌电控制的准确度，但由于传感器防止位置不确定，各个部分肌肉发生的电信号特征多，其在建立模型过程中必定需要很大的计算量。

为了提高检测和判断的准确度，各个领域都引入了多模式检测概念和方法，即通过多种传感器，多个维度对同一事件进行检测和判断，以提高检测结果，降低检测难度。多肌电传感器并用已成为基于肌电流控制设备的必然趋势，然而多路肌电信号仍不能称为多模式检测。本发明，从多模式检测方法出发，将多点的肌电流信号与其他相关传感器有机融合，共同判断出佩戴者的真实意图，从而实现人机接口和对其他设备的控制。

发明内容

针对上述现有技术的现状，本发明所要解决的技术问题在于提供一种多传感器协助提供多维参考信息，使得系统能够，辨别多肌电流传感器反映的真实信息，高效且准确的基于肌电流和多传感器协同作用的人机交互设备及使用方法。

本发明解决上述技术问题所采用的技术方案为：一种基于肌电流和多传感器协同作用的人机交互设备，包括肌电流EMG传感器、辅助传感器与主控单元，所述肌电流EMG传感器用于提取人体EMG信号，所述辅助传感器用于提取相应类型的信号，所述主控单元分别与肌电流EMG传感器和辅助传感器相联通，该主控单元用于分析处理肌电流EMG传感器和辅助传感器提供的信息，且识别指令将指令发送。

进一步地，所述肌电流EMG传感器采集一个或多个点的人体表面EMG信号，该EMG信号的提取位置分布于佩戴者的手臂，腿部，颈部，头部或躯干其他部位。

进一步地，所述辅助传感器包括陀螺仪、加速度传感器、近距离传感器、光学传感器、温度传感器、湿度传感器与摄像头，该辅助传感器分别用于提取线性或转动加速度信号、地磁信号、与目标的距离、体表压力信号、环境光强度、皮肤及环境温度、皮肤及环境湿度及分布与周边物体的图像的信息。

进一步地，所述主控单元包括微处理器、FPGA、CPLD与无线通信设备，该主控单元通过微处理器、FPGA、CPLD将理肌电流EMG传感器和辅助传感器提供的信息进行指令的识别，并通过无线通信设备将指令传递。

进一步地，所述主控单元包括反馈系统，该反馈系统用于显示主控单元识别指令的结果，便于主控单元校准。

进一步地，所述主控单元还包含数据存储模块，供电模块，以及显示模块，增加本发明的使用功能性。

本发明提供的另一技术方案为：一种基于肌电流和多传感器协同作用的人机交互设备的使用方法，包括：

步骤a：操作者佩戴肌本设备，将肌电流EMG传感器和辅助传感器相将安置于相应的人体位置上，将肌电流传感器平铺在操作者方便控制的肌肉群附近；

步骤b：肌电流EMG传感器提取操作者肌肉的EMG信号，辅助传感器提取其他相应类型的信号，并将信号传递于主控单元；

步骤c：主控单元将信号中EMG信号的强度、频谱、分布、脉冲长度、加速度和角加速度的方向、大小、时域和频域分布与辅助传感器提取其相应类型的信号提取出的特征信息或者原始信号综合在一起进行识别判断；

步骤d：主控单元将识别的指令信号通过无线通信设备传递与控制设备，同时也可通过振动，压力，声，光等方式将测量结果直接反馈给操作者。

本发明的技术方案还包括：在所述步骤a中，所述肌电流EMG传感器采集一个或多个点的人体表面EMG信号，该EMG信号的提取位置分布于佩戴者的手臂，腿部，颈部，头部或躯干其他部位。

本发明的技术方案还包括：在所述步骤a中，所述辅助传感器包括陀螺仪、加速度传感器、近距离传感器、光学传感器、温度传感器、湿度传感器与摄像头，该辅助传感器分别用于提取线性或转动加速度信号、地磁信号、与目标的距离、体表压力信号、环境光强度、皮肤及环境温度、皮肤及环境湿度及分布与周边物体的图像的信息。

与现有技术相比，本发明的优点在于：本发明将肌电流EMG传感器和加速度传感器、陀螺仪、压力传感器、声音传感器等相结合，由辅助传感器提供多维参考信息，帮助系统辨别多肌电流传感器反映的真实信息，比单纯的多点肌电流人机交互设备提高了速率和正确率，实现模型建立过程简洁、信号识别准确度高的人机交互设备，本发明可以实现佩戴者仅通过肢体的小幅度运动实现对个人控制意念的传达，可运用于新一代消费电子、患者的康复训练等多个领域，适宜大规模推广。

附图说明

图1为本发明基于肌电流和多传感器协同作用的人机交互设备的结构示意图；

图2为本发明基于肌电流和多传感器协同作用的人机交互设备使用方法的流程图。

具体实施方式

如图1所示，一种基于肌电流和多传感器协同作用的人机交互设备，包括一个或多个肌电流EMG传感器、一个或多个辅助传感器与主控单元，所述肌电流EMG传感器用于提取人体EMG信号，所述辅助传感器用于提取相应类型的信号，所述主控单元分别与肌电流EMG传感器和辅助传感器相联通，该主控单元用于分析处理肌电流EMG传感器和辅助传感器提供的信息，且识别指令将指令发送。

优选的，所述肌电流EMG传感器采集人体表面EMG信号，该EMG信号的提取位置分布于佩戴者的手臂、腿部、颈部、头部或躯干其他部位。

优选地，所述辅助传感器包括陀螺仪、加速度传感器、近距离传感器、光学传感器、温度传感器、湿度传感器与摄像头，该辅助传感器分别用于提取线性或转动加速度信号、地磁信号、与目标的距离、体表压力信号、环境光强度、皮肤及环境温度、皮肤及环境湿度及分布与周边物体的图像的信息。

另外，所述主控单元包括微处理器、FPGA、CPLD与无线通信设备，该主控单元通过微处理器、FPGA、CPLD将理肌电流EMG传感器和辅助传感器提供的信息进行指令的识别，并通过无线通信设备将指令传递，该主控单元还用于显示主控单元识别指令的结果，便于主控单元校准包括反馈系统的反馈系统，以及数据存储模块，供电模块，以及显示模块，来增加本发明的使用功能性。

参照附图图2，本发明基于肌电流和多传感器协同作用的人机交互设备使用方法的流程图，包括：

步骤S1：在初次使用时，操作者佩戴肌电流EMG传感器和辅助传感器后，首先输入要控制的信号或指定的意图，然后在提示之后开始进行肌肉和肢体运动，计算机或内部嵌入式程序会从操作者的运动中提取出各传感器信息，进行特征提取，用来表征操作者事先指定的控制意图；

步骤S2：当特征提取完毕后，主控单元系统会要求操作者再次做出同样运动，来验证识别效果；

步骤S3：主控单元系统记录指令特征后，在操作者运动下达指令，肌电流EMG传感器提操作者肌肉的EMG信号，辅助传感器提取其相应类型的信号，并将信号传递于主控单元；

步骤S4：主控单元将信号中EMG信号的强度、频谱、分布、脉冲长度、加速度和角加速度的方向、大小、时域和频域分布与辅助传感器提取其相应类型的信号提取出的特征信息或者原始信号综合在一起进行识别判断；

步骤S5：主控单元将指令反馈与操作者，并将识别的指令信号通过无线通信设备传递与控制设备。

进一步地的，步骤S1中所述肌电流EMG传感器采集一个或多个点的人体表面EMG信号，该EMG信号的提取位置分布于佩戴者的手臂、腿部、颈部、头部或躯干其他部位，其中所述辅助传感器包括陀螺仪、加速度传感器、近距离传感器、光学传感器、温度传感器、湿度传感器与摄像头，该辅助传感器分别用于提取线性或转动加速度信号、地磁信号、与目标的距离、体表压力信号、环境光强度、皮肤及环境温度、皮肤及环境湿度及分布与周边物体的图像的信息。

实施例一

操作者佩戴本基于肌电流和多传感器协同作用的人机交互设备，该设备内设有一个肌电流EMG传感器与辅助传感器和与前两者相连接的主控单元，其中辅助传感器具有肌电流、加速度、陀螺仪和温度的采集功能，当佩戴者带上设备后，系统首先记录操作者温度，此温度为操作者体温，这个信息会作为指令发出的使能信息，即若设备不在操作者人体上时，部分命令将不识别。

当操作者发出第一条动作指令时，如操作者向上弯曲手臂，1肌电流EMG传感器会采集到响应信息，并保存；辅助传感器中的加速度传感器和陀螺仪会记录信号变化，通知模式识别可以判断出此时操作者的姿态和操作幅度，主控单元内的系统将陀螺仪和加速度传感获得的运动信息和肌电流信息相融合，共同得出一个判断信息，作为此命令的特征量，与操作者的真实意图相关联，并做出相应的控制。

在操作者不断的操作过程中，分类算法中的参数会不断优化调整，实现一个自学习功能。即操作者使用的频率越高的动作，系统识别的准确度越高。

实施例二

操作者分别佩戴多个肌电流EMG传感器，该肌电流EMG传感器分别佩戴于操作者的身体的不同位置，辅助传感器具有加速度、陀螺仪、与目标的距离的采集功能，当佩戴者带上设备后，主控单元能够辨别操作者的多种身体姿态，而且不同的指令之间的差异越大，提高主控单元判断的准确性。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行同等替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神与范围。

Claims (9)

1.一种基于肌电流和多传感器协同作用的人机交互设备，其特征在于，包括肌电流EMG传感器、辅助传感器与主控单元，所述肌电流EMG传感器用于提取人体EMG信号，所述辅助传感器用于提取相应类型的信号，所述主控单元分别与肌电流EMG传感器和辅助传感器相联通，该主控单元用于分析处理肌电流EMG传感器和辅助传感器提供的信息，且识别指令将指令发送。

2.根据权利要求1所述的一种基于肌电流和多传感器协同作用的人机交互设备，其特征在于，所述肌电流EMG传感器采集一个或多个点的人体表面EMG信号，该EMG信号的提取位置分布于佩戴者的手臂，腿部，颈部，头部或躯干其他部位。

3.根据权利要求1所述的一种基于肌电流和多传感器协同作用的人机交互设备，其特征在于，所述辅助传感器包括陀螺仪、加速度传感器、磁场传感器、近距离传感器、压力传感器、光学传感器、温度传感器、湿度传感器与摄像头，该辅助传感器分别用于提取线性或转动加速度信号、地磁信号、与目标的距离、体表压力信号、环境光强度、皮肤及环境温度、皮肤及环境湿度及分布与周边物体的图像的信息。

4.根据权利要求1所述的一种基于肌电流和多传感器协同作用的人机交互设备，其特征在于，所述主控单元包括微处理器、FPGA、CPLD与无线通信设备，该主控单元通过微处理器、FPGA、CPLD将理肌电流EMG传感器和辅助传感器提供的信息进行指令的识别，并通过无线通信设备将指令传递。

5.根据权利要求1或4所述的一种基于肌电流和多传感器协同作用的人机交互设备，其特征在于，所述主控单元包括反馈系统，该反馈系统用于显示主控单元识别指令的结果。

6.根据权利要求1所述的一种基于肌电流和多传感器协同作用的人机交互设备，其特征在于，所述主控单元还包含数据存储模块，供电模块，以及显示模块。

7.一种基于肌电流和多传感器协同作用的人机交互设备的使用方法，包括：

步骤a：操作者佩戴肌本设备，将肌电流EMG传感器和辅助传感器相将安置于相应的人体位置上，将肌电流传感器平铺在操作者方便控制的肌肉群附近；

步骤b：肌电流EMG传感器提取操作者肌肉的EMG信号，辅助传感器提取其他相应类型的信号，并将信号传递于主控单元；

步骤c：主控单元将信号中EMG信号的强度、频谱、分布、脉冲长度、加速度和角加速度的方向、大小、时域和频域分布与辅助传感器提取其相应类型的信号提取出的特征信息或者原始信号综合在一起进行识别判断；

步骤d：主控单元将识别的指令信号通过无线通信设备传递与控制设备。

8.根据权利要求7所述的一种基于肌电流和多传感器协同作用的人机交互设备的使用方法，其特征在于，所述肌电流EMG传感器采集一个或多个点的人体表面EMG信号，该EMG信号的提取位置分布于佩戴者的手臂，腿部，颈部，头部或躯干其他部位。

9.根据权利要求7所述的一种基于肌电流和多传感器协同作用的人机交互设备的使用方法，其特征在于，所述辅助传感器包括陀螺仪、加速度传感器、磁场传感器、近距离传感器、压力传感器、光学传感器、温度传感器、湿度传感器与摄像头，该辅助传感器分别用于提取线性或转动加速度信号、地磁信号、与目标的距离、体表压力信号、环境光强度、皮肤及环境温度、皮肤及环境湿度及分布与周边物体的图像的信息。