CN104267807A

CN104267807A - 基于手部动作肌音信号的人机交互方法及交互系统

Info

Publication number: CN104267807A
Application number: CN201410472465.7A
Authority: CN
Inventors: 夏春明; 董畅; 周静; 蒋志伟
Original assignee: East China University of Science and Technology
Current assignee: East China University of Science and Technology
Priority date: 2014-09-16
Filing date: 2014-09-16
Publication date: 2015-01-07

Abstract

本发明涉及一种基于手部动作肌音信号的人机交互方法及交互系统，所述交互方法为通过采集手臂动作的肌音信号(MMG)并对其进行模式识别来实现鼠标的单击功能，通过手臂移动信息实现鼠标指针移动功能；所述交互系统MMG信号传感器、MMG信号处理电路、MMG信号偏置电路、数据采集卡、模式识别模块、交互驱动模块和手臂移动信息传感器，MMG信号传感器、MMG信号处理电路、MMG信号偏置电路、数据采集卡、模式识别模块依次连接，交互驱动模块分别连接模式识别模块和手臂移动信息传感器。与现有技术相比，本发明具有容易实现、准确率高等优点。

Description

基于手部动作肌音信号的人机交互方法及交互系统

技术领域

本发明涉及肌音信号的应用，尤其是涉及一种基于手部动作肌音信号的人机交互方法及交互系统。

背景技术

在康复领域内的人机交互系统里，实现人机交互的信息源多为人体生物信号。寻找稳定完备的信息源应用到人机交互系统中是当今的热点和难点。到目前为止已经出现了许多不同控制信号源的选择和尝试。例如：肌电信号(Electromyography，EMG)、脑电信号(Electroencephalography，EEG)、声音信息源、延伸生理本体感觉信息源、肢体肌肉周径变化信息源、肢体残端再造指控制信息源、肢体机械运动信息源、肌腱信息源、脑磁信息源等。其中因为肌电信号具有很多优点成为众多学者的主要研究方向。但是事实上，肌电信号也存在着很多不足之处，例如对采集表面要求严格，传感器价格昂贵，受阻抗影响大，抗干扰能力差等。

目前，利用生物信号作为信息源的人机交互系统有以下几种：

1、EMG信号源人机交互系统：

EMG是医学上的术语，主要是指利用电子学仪器来记录肌肉神经兴奋时的生物电位信号。肌肉执行动作时，需要来自中枢神经系统的生物电脉冲信号进行刺激，在此过程中肌肉神经终端以及沿线均会产生电位变化，执行不同的动作需要的生物电刺激不同，因此可以通过感应电极将肌肉产生的生物电位的差异引导出来，采集到的生物电位信号包含了大量的与所执行动作相关的信息，利用这些信息，工程师通过嵌入式系统实现了不依赖于声学信号的语音识别，通过采集用户面部肌肉的EMG信号来判断用户的发音。

EMG语音识别系统应用十分广泛。首先是在飞行控制中，该种系统已经成为高性能飞行器中飞行员的辅助操作设备。美国的实验者曾用EMG信号实时进行了六个单词的语音识别，而这六个单词可以作为NASA火星探测器的指令控制集。而在日本，通讯公司NTT已经发明出一套可以用手指听电话的EMG语音识别装置。经过大量的实验和测试表明EMG能非常有效和准确的反映肌体的运动情况。

但是与此同时EMG信号也有其不容忽视的缺点。EMG语音识别系统以EMG为信号源，而EMG信号源对于采集的要求比较严苛。若该采集对象的肌肉群不够多或者各种原因导致肌肉萎缩都会导致EMG信号质量不好而影响用户的使用。此外，EMG信号极易受到外界各种因素的干扰，例如，肌肉的疲劳、电极位置的改变、体重的波动都会使EMG信号的特征值发生变化。再者，受到技术的限制，EMG信号所能提供的特征和自由度也有限

2、EEG信号源人机交互系统：

EEG简单地说就是由脑神经细胞群产生的电活动信号。大脑产生意识或思维活动时，大脑活动过程中形成电刺激，神经细胞会产生几十毫伏电势差，微电活动在大脑表面的神经细胞中大面积传播形成脑电波。现代仪器检测出的脑电波信号非常微弱，大概在1～100μV，频率大概在0.5～100Hz之间，皮质电位约为1mV。

由于脑电波含有准确并且丰富的生理信号，许多专家把脑电信号作为一种优质的控制信息源。因此出现了大量的以EEG为信号源的嵌入式设备，它们又被称作脑机接口设备。

MindFlex是一款用脑电波控制的玩具，它通过位于前额的传感器检测出使用者的EEG信号，信号经过处理和模式识别可以控制游戏装置中小球的各种动作。

脑电信号较为复杂，脑电信号本身较为微弱，为了能达到控制要求必须将脑电信号进行放大。但是放大增益会给脑电信号带来大部分干扰和噪音，这到目前为止仍是一个未解决的难题。

3、神经信号源人机交互系统

神经控制假肢是由神经活动信号做为信息源的智能化假肢。最早由Wan等于1990年提出了这个想法。神经信号是一种电化学信号，是在神经纤维上面按顺序发生的电化学变化，具体表现为神经细胞上面的电位变化。其传导速度极快，并且神经系统具有可塑性。这种可塑性就是说神经系统在患者的受创部位具有重建和修复的能力，这就为嵌入式系统提供了可靠地信息源。而且神经信号不会轻易受到外界因素如身体疲劳的干扰，这就让其稳定性大大增加。随着人们对神经系统生理活动的进一步了解，这种假肢的性能一定会得到更大的提升。

肌音信号(Mechanomyography，MMG)是一种以人体肌肉或肌肉群在执行动作时做收缩而发出的声音信号。肌音信号拥有一些其他信号所没有的优点，2003年，Mihi.Tarata发表的研究论文详细比较了肌电信号和肌音信号的优缺点，他指出，肌音信号相对肌电更有优势，主要表现在以下方面：

1)肌音信号利用压电加速度传感器即可完成采集，比肌电信号所需要的电极简单，而且成本较低；

2)原始肌音信号比原始肌电信号强，便于采集；

3)肌音信号可以利用传感器直接安装于皮肤表面进行采集，肌电信号需要涂导电液等，肌音信号对采集状况的要求低，便于使用。

因此，肌音信号作为控制信号源能较好的传达有效准确的信息，是一种优质信号源。

有统计结果显示在2006年，我国各类残疾人口总共可达8000多万，其中29.07％的残疾入是肢体残疾。由此可见，此类康复器材在社会的需求量非常大。与此同时，现代越来越多的人每天长时间的接触、使用电脑。由于每天重复的在键盘上打字和移动鼠标，手腕关节因长期密集、反复和过度的活动，导致腕部肌肉或关节麻痹、肿胀、疼痛、痉挛。这种症状被称作鼠标手也叫做“腕管综合症”。这种病症迅速成为一种日渐普遍的现代文明病。所以，有必要研发一种能够代替鼠标的人机交互技术。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种容易实现、准确率高的基于手部动作肌音信号的人机交互方法及交互系统。

本发明的目的可以通过以下技术方案来实现：

一种基于手部动作肌音信号的人机交互方法，包括如下步骤：

A、数据采集及处理：

a1)采集对应左击和右击的手部动作的原始肌音信号；

a2)对采集到的原始肌音信号依次进行滤波和信号偏置处理；

a3)获取处理后的手部动作肌音信号，并保存；

B、模式识别：

b1)获取经所述步骤A处理后的手部动作肌音信号并进行预处理；

b2)提取手部动作肌音信号的时域特征；

b3)将提取出的时域特征输入分类器，判别当前手部动作，得到动作判别结果；

C、人机交互：

c1)采集手部动作的移动信息；

c2)将采集的移动信息和步骤B获得的动作判别结果转化为数字驱动信号；

c3)根据所述数字驱动信号完成鼠标指针的定位以及鼠标单击操作。

在步骤a2)中，所述滤波包括消除直流偏置信号的高通滤波、消除高频成分的低通滤波和消除工频干扰的陷波滤波。

在步骤b1)中，所述预处理包括软件滤波、归一化处理和动作分割。

所述动作分割采用等长分割算法进行分割，其中，动作起点的判断采阈值双门限判断法。

在步骤b3)中，所述分类器为经训练后保存的分类器模型。

一种基于手部动作肌音信号的人机交互系统，包括：

MMG信号传感器，用于采集对应左击和右击的手部动作的原始肌音信号；

MMG信号处理电路，与MMG信号传感器连接，用于对原始肌音信号进行滤波处理；

MMG信号偏置电路，与MMG信号处理电路连接，用于对滤波后的肌音信号进行偏置处理；

数据采集卡，与MMG信号偏置电路连接，用于获取并保存处理后的对应左击和右击的手部动作肌音信号；

模式识别模块，与数据采集卡连接，用于根据所述手部动作肌音信号判别当前手部动作，获得动作判别结果；

手臂移动信息传感器，用于采集手部动作的移动信息；

交互驱动模块，分别连接模式识别模块和手臂移动信息传感器，用于将所述移动信息和动作判别结果转化为数字驱动信号，并根据所述数字驱动信号完成鼠标指针的定位以及鼠标单击操作，实现人机交互。

所述MMG信号传感器为TD-3压电加速度传感器。

所述MMG信号处理电路包括依次连接的高通滤波器、低通滤波器和陷波器。

所述模式识别模块包括：

训练应用切换开关，用于接收电平信号实现训练学习模式与应用模式的切换；

训练学习单元，用于根据学习集进行训练，获得训练后的分类器并保存；

应用单元，用于根据分类器对接收到的手部动作肌音信号进行动作判别，输出动作判别结果。

所述手臂移动信息传感器为包括3个轴向陀螺仪和3个轴向加速器的6轴运动处理组件。

与现有技术相比，本发明具有以下优点：

1、采用肌音信号作为控制信号源，因此控制信号便于采集，而肌音信号与其他生物信号源相比具有信号强度较大、抗干扰能力强的特点，因此可以使系统获得较高的准确率；

2、不需要用到手掌，对于手掌受伤的病人或其他特殊情况也可以采集到有用的信号，实现对鼠标的操作；

3、采用压电加速度传感器，不仅仅依靠表面压力信号获得信息，还能检测肌肉纤维振动引起的加速度信号，具有很高的灵敏度，价格低廉，可以降低采集系统成本，对采集环境的要求低；

4、采用两个手部动作肌音信号即可实现左击和右击操作，手部动作容易实现，避免长期使用鼠标而患有“腕管综合症”现代文明病；

5、采用数字量开关切换训练学习模式和应用模式，可以实现对个人的动作进行学习，然后根据学习结果进行应用，可以大大提高系统运行的准确率；

6、本发明提出了一套替代鼠标功能的人机交互系统设计方案，不仅包含MMG为信号源的单击功能模块还包括运动组件等构成的指针定位模块，可实现鼠标的基本功能，拓展了鼠标的应用人群和体验方式。

附图说明

图1为本发明人机交互方法的流程示意图；

图2为本发明人机交互系统的结构示意图；

图3为本发明MMG信号处理电路的结构示意图；

图4为本发明的高通滤波器电路示意图；

图5为本发明的五阶低通滤波器电路示意图；

图6为本发明的陷波器电路示意图；

图7为本发明的MMG信号偏置电路示意图；

图8为本发明的训练应用切换开关示意图；

图9为本发明模式识别流程示意图；

图10为本发明的动作分割流程示意图；

图11本发明的单击测试结果示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本发明实施例提供基于手部动作肌音信号的人机交互方法，包括如下步骤：

A、数据采集及处理：

a1)采集对应左击和右击的手部动作的原始肌音信号，本实施例中，以攥拳与压腕两个手部动作分别对应鼠标左击和右击的操作。

a2)对采集到的原始肌音信号依次进行滤波和信号偏置处理。所述滤波包括消除直流偏置信号的高通滤波、消除高频成分的低通滤波和消除工频干扰的陷波滤波。

a3)获取处理后的手部动作肌音信号，并保存。

B、模式识别，如图9所示：

b1)获取经所述步骤A处理后的手部动作肌音信号并进行预处理，包括软件滤波、归一化处理和动作分割。

软件滤波采用FIR低通滤波器，采用频率为500Hz，截止频率为100Hz，带通滤波不大于1dB。

信号归一化采用简单的线性归一化方法。

动作分割如图10所示，应用等长分割算法，帧长度取100个数据点。根据实际情况，两个动作的间隙时间至少为0.2秒，分割间隔值M_Delay也取100个数据点，即为1帧长度，在分割好一次动作后对分割间隔值M_Delay的长度的数据不予考虑，直接跳过再进行下一次分割算法的计算，以此来避免数据中存在的毛刺和脉冲干扰对分割效果的影响。对动作起点的判断采用阈值双门限判断法，双门限采用信号的方差和绝对平均值，当MMG信号的方差(MAV)和绝对平均值(VAR)均达到阈值点(Gm和Gv)时就判定动作发生，本发明根据经验值对信号方差的小门限阈值取0.12，而绝对均值的大门阈值则在0.3～0.6左右。

b2)提取手部动作肌音信号的时域特征。

本实施例中针对采集步骤的两个手部动作模式攥拳与压腕选择了6个常见的时域特征作为特征集，6个时域特征分别为均方根、绝对均值、峰度、偏度、中值频率、AR模型估计参数。

b3)将提取出的时域特征输入分类器，判别当前手部动作，得到动作判别结果。分类器采用模糊K最邻近节点算法，其中K取为7。

C、人机交互：

c1)采集手部动作的移动信息。

c2)将采集的移动信息和步骤B获得的动作判别结果转化为数字驱动信号。

如图2所示，本实施例提供的基于手部动作肌音信号的人机交互系统，包括MMG信号传感器1、MMG信号处理电路2、MMG信号偏置电路3、数据采集卡4、模式识别模块5、交互驱动模块6和手臂移动信息传感器7，MMG信号传感器1、MMG信号处理电路2、MMG信号偏置电路3、数据采集卡4、模式识别模块5依次连接，交互驱动模块6分别连接模式识别模块5和手臂移动信息传感器7，并与PC8进行通讯。

MMG信号传感器1采用TD-3压电加速度传感器，用于采集对应左击和右击的手部动作的原始肌音信号。TD-3压电加速度传感器用于采集手部动作的肌音信号，其零漂相对稳定，采用归一化方法消除。MMG信号传感器可设置两个，一个传感器位于尺侧腕屈肌(FCU)、桡侧腕屈肌(FCR)的汇集处，另一个传感器位于桡侧腕长伸肌(ECR)、指总伸长肌(EDC)的汇集处。

MMG信号处理电路2用于对原始肌音信号进行滤波处理，包括依次连接的高通滤波器HPF、低通滤波器LPF和陷波器Notch，如图3所示。

图3、图4、图5分别为信号处理电路中的高通滤波器电路、五阶低通滤波器电路图和陷波器电路图。高通滤波器将LM358N运算放大器和RC滤波器放置在一个Sallen-Key结构中，本实施例中设定常用电容值0.47，高通滤波器的截止频率设定为1.6Hz。五阶低通滤波器为五级有源贝塞尔滤波器，其截止频率设定为80Hz。陷波器是具有双T结构的RC滤波网络，能在每一特定频率的无限深缺口处提供滤波能力，品质因数为2.56，本电路还将得到的最终信号进行了一级放大，因为采集到的信号经过五级滤波器之后幅值有较大衰减，需对信号进行适当的放大处理，此处陷波器的增益G为1.8。

模式识别模块5用于根据所述手部动作肌音信号判别当前手部动作，获得动作判别结果，其中搭载模式识别软件。模式识别模块5包括硬件和软件两个部分，硬件部分为模式识别搭载平台，利用嵌入式系统实现；软件部分实现对手部动作肌音信号的模式识别，输出模式识别结果。本实施例中，模式识别模块5采用德州仪器生产的DSP芯片，型号为TMS320F2812，主频为150MHz，仿真器型号为XDS510Emulator。TMS320F2812的ADC模块参数配置转换模式设为A，采样时间设为0.002，转换的数据类型为unit16，并设置相应通道。

模式识别模块5包括：

训练应用切换开关，用于接收电平信号实现训练学习模式与应用模式的切换，如图8所示；

基于模式识别模块的上述结构，模式识别模块的工作分为两个阶段，阶段一是有监督的学习，受试者首先完成分别对应左击和右击手部动作，系统获得学习数据进行训练，此时在采集的过程当中，数字量开关处于低电平状态，把这个状态定位1档即训练档。当处于1档时，系统接收到的MMG样本自动认为是学习集，系统处于训练学习模式中，在训练好后，系统会把训练好的分类器模型参数自动存储，此时系统的GPIO模块会有数字量输出，黄色指示灯亮起，表示训练结束，训练结束后，把数字量输入开到2档，此时高电平触发，系统进入阶段二应用阶段。

模式识别过程如图9所示，将采集到的肌音信号进行软件滤波，信号归一化，并进行动作分割，对分割得到的手部动作肌音信号进行特征提取，若此时处于训练阶段，系统将利用提取的特征进行训练，通过分类器分类得到模式识别结果，若此时处于应用阶段，系统将根据特征直接进行模式识别分类，得到识别结果。

数据采集卡4用于获取并保存处理后的对应左击和右击的手部动作肌音信号，本实施例中，数据采集卡采用TMS320F2812自带的ADC模块，该模块采样精度为12位，选定的采样频率为500Hz。该ADC模块的输入电压值介于0～3V之间，超过3.3V则会有烧坏的风险。ADC模块采集的肌音信号经过TMS320F2812处理器模式识别，将识别结果通过GPIO模块输出到交互驱动模块6。

MMG信号偏置电路3用于对滤波后的肌音信号进行偏置处理，如图6所示。DSP芯片中的ADC模块中，其输入电压范围在0～3V。而传感器输出的信号范围在±5V左右，因此，需要把采集到的MMG信号进行偏置和放缩，达到ADC模块的输入要求。MMG信号偏置电路提供一个7.5V的基础电压，把MMG信号整体提高7.5V，使得其由原来的±5V变为2.5～12.5V，再经过一个放缩电路，将信号衰减为原来的五分之一，变成0.5～2.5V，这就满足了使MMG信号在0～3V以内，满足了输入到ADC模块中的条件。

交互驱动模块6用于将所述移动信息和动作判别结果转化为数字驱动信号，并根据所述数字驱动信号完成鼠标指针的定位以及鼠标单击操作，实现人机交互。本实施例中，交互驱动模块6采用Cypress芯片，型号为CY7C68013A。CY7C68013A具有强大的USB总线处理功能和强大的平台扩展能力以及丰富的外设接口，该芯片作为DSP芯片与交互系统位置定位外设和计算机沟通的主要桥梁，承载了USB驱动程序以及单击功能和鼠标指针移动功能实现的程序，响应DSP芯片的模式识别处理结果，通过USB总线实现对计算机鼠标的左击和右击操作。DSP把模式识别的结果以数字量的形式传给CY7C68013A芯片的两个引脚，这两个引脚是驱动程序用来设置取代发送鼠标左右键信号的引脚。引脚在无动作时保持高电平，当DSP的数字量信号传过来时，该引脚低电平触发，引发对计算机的操作。

手臂移动信息传感器7用于采集手部动作的移动信息，作为交互系统位置定位外设，为包括3个轴向陀螺仪和3个轴向加速器的6轴运动处理组件，可设置在手腕处。本实施例中，手臂移动信息传感器7用MPU6050运动组件，MPU6050运动组件为整合性的6轴运动处理组件，并避免了陀螺仪与加速器的时间上的差异性，且减少了大量的包装空间。MPU-6050具有3个轴向的陀螺仪、3个轴向的加速器，通过IIC端口与其他的传感器或者组件进行通信，数据在IIC端口传输时是单一形式的。本发明选取了MPU6050的2个方向的角速度感测器(陀螺仪)，分别是竖直方向和水平方向对应控制鼠标指针的竖直移动和水平移动，主要通过手臂移动带动其在两个方向上的角度偏转来控制指针的移动，这样的好处是符合人体的使用习惯，可以保持肘部固定只移动前臂即可。利用MPU6050串口输出模块，该模块通过IIC通讯协议与MPU6050进行通信，读取当前的3轴加速度值和3轴陀螺仪值，将两个信号进行融合，利用卡尔曼滤波将陀螺仪信号和加速度计信号进行融合得到当前角度估计。最后通过串口输出，把指针定位信号传输给CY7C68013A芯片，串口输出波特率为115200，角度刷新频率问100Hz。CY7C68013A芯片处理完这些数据后结合驱动程序把最后的位置结果传输给计算机，完成鼠标指针移动操作。

系统应用实例：

本次试验采集受试者的大约60个动作信号，攥拳与压腕动作交替进行，把一半的信号样本作为学习集，另一半信号样本作为验证集，由学习集训练好分类模型后再用剩下的带有标签的样本对分类器进行验证。结果如果符合标签则正确，若不符合则错误。由正确的次数比上总体样本数量得出实验结果。最终得出20名实验者的MMG模式识别结果。DSP参数配置，包括DSP芯片的型号，主频率以及配套的仿真器设置。

系统试验步骤：

(1)首先实验者保持身姿端正，坐在椅子上，实验者的肘部都有扶手对肘部进行支撑，防止实验者采集时会有疲劳，影响信号质量。MMG信号传感器和定位外设MPU-6050固定在手臂的特定位置上，TD-2压电加速度传感器固定位置如图7所示，外部用柔软并富有弹性的腕带捆绑固定，移动传感器固定在手腕处即可。

(2)将图8所示的训练应用切换开关调至训练模式，移动手臂进行指针移动，尽量完成对全屏的移动操作，并且完成攥拳与压腕两个动作模式。实验者平均大概1～3s完成一个动作模式。每个人采集时间不固定，动作随机选择，总共以60个动作完成为标准。

(3)在训练好后，系统会把训练好的分类器模型参数自动存储，此时系统的GPIO模块会有数字量输出，指示灯亮起，表示训练结束。训练结束后，把图9所示的训练与应用转换开关调至应用模式，在应用状态中，手臂可以自由活动(一般肘部固定)，可自行选择左击(攥拳)或者右击(压腕)。

图11为本发明的单击系统测试结果。本次实验结果，平均准确率达到93.31％。

Claims

1.一种基于手部动作肌音信号的人机交互方法，其特征在于，包括如下步骤：

A、数据采集及处理：

a1)采集对应左击和右击的手部动作的原始肌音信号；

a2)对采集到的原始肌音信号依次进行滤波和信号偏置处理；

a3)获取处理后的手部动作肌音信号，并保存；

B、模式识别：

b2)提取手部动作肌音信号的时域特征；

C、人机交互：

c1)采集手部动作的移动信息；

2.根据权利要求1所述的一种基于手部动作肌音信号的人机交互方法，其特征在于，在步骤a2)中，所述滤波包括消除直流偏置信号的高通滤波、消除高频成分的低通滤波和消除工频干扰的陷波滤波。

3.根据权利要求1所述的一种基于手部动作肌音信号的人机交互方法，其特征在于，在步骤b1)中，所述预处理包括软件滤波、归一化处理和动作分割。

4.根据权利要求3所述的一种基于手部动作肌音信号的人机交互方法，其特征在于，所述动作分割采用等长分割算法进行分割，其中，动作起点的判断采阈值双门限判断法。

5.根据权利要求1所述的一种基于手部动作肌音信号的人机交互方法，其特征在于，在步骤b3)中，所述分类器为经训练后保存的分类器模型。

6.一种基于手部动作肌音信号的人机交互系统，其特征在于，包括：

手臂移动信息传感器，用于采集手部动作的移动信息；

7.根据权利要求6所述的一种基于手部动作肌音信号的人机交互系统，其特征在于，所述MMG信号传感器为TD-3压电加速度传感器。

8.根据权利要求6所述的一种基于手部动作肌音信号的人机交互系统，其特征在于，所述MMG信号处理电路包括依次连接的高通滤波器、低通滤波器和陷波器。

9.根据权利要求6所述的一种基于手部动作肌音信号的人机交互系统，其特征在于，所述模式识别模块包括：

10.根据权利要求6所述的一种基于手部动作肌音信号的人机交互系统，其特征在于，所述手臂移动信息传感器为包括3个轴向陀螺仪和3个轴向加速器的6轴运动处理组件。