CN107957783B - 一种基于脑电与肌电信息的多模式智能控制系统及方法 - Google Patents

Abstract

本发明公开了一种基于脑电与肌电信息的多模式智能控制系统及方法，所述系统包括：脑电诱发器、脑电信号采集与处理模块、肌电信号采集与处理模块和信息通讯模块；所述脑电诱发器用于对人脑中多种脑电信号进行诱发，接收脑电信号采集与处理模块发送的控制指令，执行控制功能外切换过程和内切换过程，触发和切换控制功能并进行显示；所述脑电信号采集与处理模块用于对脑电信号进行采集和分析处理，将提取到的脑电特征信息进行编码以生成相应的控制指令，并发送给脑电诱发器；所述肌电信号采集与处理模块用于执行控制功能释放模式切换，对由特定指控动作产生的肌电信号进行采集和分析处理，生成相应的动作控制指令，通过脑电诱发器发送给被控对象。

Description

一种基于脑电与肌电信息的多模式智能控制系统及方法

技术领域

本发明涉及脑机接口技术领域，具体涉及一种基于脑电(Electroencephalogram,简称EEG)与肌电(electromyography，简称EMG)信息的多模式智能控制系统及方法。

背景技术

随着脑科学的研究、神经系统的认知、计算机技术和传感器技术的不断发展，大大地促进了脑机接口技术的进步，脑机接口技术是一个非肌肉通信系统，它可以使得人大脑意图和环境之间进行直接的信息交流，那么就可以应用该技术来改善人机交互模式，开辟一条更加直接有效的人机通讯专线，以一种全新的智能控制方式来提升人机协作模式。该项技术可应用于特种作业环境下的控制，医疗行业的残疾人康复训练设备控制，智能家居的控制，以及娱乐对象的控制等。

在文献[1](中国专利，CN201710229265.2：一种脑电-肌电信号融合装置及融合方法)中，针对人的某一指控意图进行脑电与肌电信息的双重识别，所用分类识别方法为SVM，信息融合方法为D-S证据理论；针对上述方法进行了相应的可穿戴设备硬件设计。文献[2](徐斌，《基于脑电与肌电信号融合多自由度手部动作识别研究》，杭州电子科技大学硕士论文2012年1月)针对腕内旋、腕外旋、伸腕、屈腕、展拳和握拳6种动作进行肌电信息和脑电信息的双重识别，所用分类识别方法为SVM，信息融合方法为D-S证据理论。上述方法都没有将脑电与肌电信息融合起来，没有充分利用两者组合的信息。

目前应用脑电信号和肌电信号进行控制应用的技术还不十分成熟，目前仅依靠脑电进行控制的案例是利用植入式脑电采集方式采集运动想象的脑电特征控制机械臂抓取杯子，该运动想象特征与本案例应用的稳态诱发电位特征原理不一样，且运动想象过程需要锻炼培训才可以实现很好的控制，实现起来过程复杂且精度不高。仅依靠肌肉信息特征的控制案例是gForce手环，控制精度不高，经常出现指控动作的特征混淆。即目前可应用的、可靠性与准确度高的、容易识别提取的脑电与肌电信号种类不多。

发明内容

本发明的目的在于克服目前智能控制系统存在的上述缺陷，首次提出的组合脑电与肌电两种信息的控制方式；可完成由脑电与肌电信号到最后控制指令发出的映射过程，整个控制过程无需任何按钮操作，提高了操作过程的神秘体验感。

为了实现上述目的，本发明提出了基于脑电与肌电信息的多模式智能控制系统，所述系统包括：脑电诱发器、脑电信号采集与处理模块、肌电信号采集与处理模块和信息通讯模块；

所述脑电诱发器，用于对人脑中多种脑电信号进行诱发，接收脑电信号采集与处理模块发送的控制指令，执行控制功能外切换过程和内切换过程，触发和切换控制功能并进行显示；

所述脑电信号采集与处理模块，用于对脑电诱发器诱发产生的脑电信号进行采集和分析处理，将提取到的脑电特征信息进行编码以生成相应的控制指令，并发送给脑电诱发器；

所述肌电信号采集与处理模块，用于进行控制功能释放模式切换，对由特定指控动作产生的肌电信号进行采集和分析处理，并将提取到的肌电特征信息进行编码以生成相应的动作控制指令，通过脑电诱发器动作控制指令发送给被控对象；

所述信息通讯模块，实现脑电诱发器、脑电信号采集与处理模块、肌电信号采集与处理模块及被控对象之间的信息通讯。

作为上述系统的一种改进，所述系统还包括：供电模块，用于给整个系统供电。

作为上述系统的一种改进，所述脑电诱发器包括：两个LED灯、若干对控制功能指示灯、中央控制器、控制指令接收单元和动作指令发送单元；

所述两个LED指示灯，用于分别产生两个频率f和f1的闪烁灯光，当人眼注视该闪烁的灯光时大脑会产生同样频率的脑电信号；同时分别表示执行控制功能外切换过程和内切换过程；

每对控制功能指示灯，具有相反的控制功能，一个指示灯用于表示该控制功能是否被启动；另一个指示灯用于表示相反的控制功能是否被启动；

所述控制指令接收单元，用于接收脑电信号采集与处理模块和肌电信号采集与处理模块发送的控制指令；

所述中央控制器，用于对接收到的控制指令进行分类，如果是脑电信号采集与处理模块发送的控制指令，则发送给控制功能指示灯进行显示；如果是肌电信号采集与处理模块发送的控制指令，则发送给动作指令发送单元；

所述动作指令发送单元，将接收到的动作控制指令通过信息通讯模块发送给被控对象。

作为上述系统的一种改进，所述脑电信号采集与处理模块包括：脑电信号采集传感器和脑电信号处理单元；

所述脑电信号采集传感器，用于采集含有特征信息的脑电信号；

所述脑电信号处理单元，用于对采集的脑电信号进行处理，解码生成相应的控制指令；具体为：首先对接收到的脑电信息进行叠加平均，叠加的时间窗为T_w，然后进行0.3Hz-70Hz的带通滤波，进行傅里叶变换，将时域信号转变为频域信号，进行频谱分析提取与刺激频率对应或其谐波频率相关的正弦波成分，根据提取的成分进行编码。

作为上述系统的一种改进，所述肌电信号采集与处理模块包括：肌电信号采集传感器和肌电信号处理单元；

所述肌电信号采集传感器，用于当操控者做出手臂动作时，采集含有特征信息的肌电信号；

所述肌电信号处理单元，用于对肌电信号进行识别，当识别的肌电信号特征与预先定义的手势匹配成功后，则生成相应的动作控制指令，该控制指令通过信息通讯模块传输给脑电诱发器，然后传输给被控对象，被控对象接收到该控制指令会执行相应的动作。

一种基于脑电与肌电信息的多模式智能控制方法，基于上述的系统实现，所述方法包括如下步骤：

步骤1)操控者穿戴控制系统并给整个控制系统及被控对象上电，同时，完成需要信息通讯模块之间的蓝牙配对；

步骤2)操控者注视脑电诱发器的LED指示灯的闪烁，进行脑电特征的诱发；

步骤3)所述脑电信号采集与处理模块实时在线采集和分析脑电信息，对提取到的脑电特征进行解码，以获取对应诱发模式的脑电特征；

步骤4)对识别提取出的诱发脑电特征进行控制指令编码；将编码好的控制指令由信息通讯模块发送到脑电诱发器；

步骤5)脑电诱发器中的控制功能指示灯以发光二极管的形式，执行控制功能外切换过程和内切换过程触发和切换控制功能并进行显示；

步骤6)根据控制功能指示灯显示结果确认对被控对象的动作控制，确认方式是通过所述肌电信号采集与处理模块执行控制功能释放模式切换，采集和分析由特定指控动作产生的肌电信息，识别提取出相应的肌电特征后进行控制指令编码，并通过信息通讯模块将其发送到脑电诱发器的中央控制器；

步骤7)中央控制器通过融合其自身的惯性测量单元信息与发送过来的动作控制指令，给出最终的动作控制指令编码，并经由无线通讯模块发送到被控对象；

步骤8)被控对象接收动作控制指令并执行相应的动作。

作为上述方法的一种改进，所述步骤5)的控制功能外切换过程为：

步骤101)当要启动脑电诱发器使其具备某个控制功能时，操控者双眼注视脑电诱发器上以频率f闪动的LED灯，此时操控者的枕叶电极o₁和o₂会产生周期对应于刺激频率f或其谐波的正弦波形成分，通过在枕叶的对应位置的脑电信号采集传感器来获取诱发的脑电信息，所述脑电信号处理单元通过相应的特征提取算法提取出该特征，一旦获取该特征，即表明脑电被诱发并识别成功；

步骤102)所述脑电信号采集与处理模块以二进制数的形式将控制指令发送到脑电诱发器中的控制指令接收单元，然后传输给中央控制器，中央控制器通过计数器来统计该指令的个数n，该个数n与脑电诱发器上的控制功能等级同步：

当n＝0时，表示脑电诱发器未接收到控制指令且无控制功能指示灯被点亮，不具备任何控制功能，

当n＝1时，表示脑电诱发器初次接收到控制指令，也表明脑电诱发器控制功能启动指示灯被点亮，具备初级控制功能；

若再次接收到控制指令，则n＝2，表示中央控制器会在脑电诱发器控制功能启动指示灯被点亮的基础上再次增加被点亮的个数，此时表明脑电诱发器控制功能被切换为更高控制等级；

当n被累加到4时，所述脑电诱发器具备最高控制等级，也表明外切换过程终止。

作为上述方法的一种改进，所述步骤5)的控制功能内切换过程为：

步骤201)当脑电诱发器处于最高控制等级时，此时若需要内切换控制功能，需要操控者双眼注视脑电诱发器上以频率f1闪动的LED灯，此时操控者的枕叶电极o₁和o₂会产生周期对应于刺激频率f1或其谐波的正弦波形成分，通过在枕叶的对应位置的脑电信号采集传感器来获取诱发的脑电信息，所述脑电信号处理单元通过相应的特征提取算法提取出该特征，一旦获取该特征，即表明脑电被诱发并识别成功；

步骤202)所述脑电信号采集与处理模块以二进制数的形式将控制指令发送到脑电诱发器中的控制指令接收单元，然后传输给中央控制器，中央控制器通过计数器来统计该指令的个数n，此时计数器的计数n是递减过程，那么对应的控制功能等级会递减。

作为上述方法的一种改进，所述步骤6)的肌电信号采集与处理模块执行控制功能释放模式切换时，根据操控者的手臂动作进行控制，如果对应于控制功能控制对的手势有两种：手势1和手势2；当操控者手持脑电诱发器做出手势1时，肌电信号处理单元会通过肌电信号采集传感器获取该肌电信号，并识别对应于该手势的肌电信号特征，当识别提取出的肌电信号特征与系统预先定义的手势匹配成功后，生成相应的动作控制指令。

作为上述方法的一种改进，所述控制功能释放模式对应两个控制过程，一种是动作触发，另一种是动作停止；

对于动作触发，操控者观察当前被控对象所处的状态，当被控对象处于非“动作”状态且脑电诱发器“动作”控制功能被开启时，操控者通过控制功能释放模式切换后触发脑电诱发器发送执行“动作”指令，被控对象接收该指令后执行该“动作”；

对于动作停止，以两种方式实现：

(1)如果脑电诱发器的“动作”的控制功能存在

当脑电诱发器的“动作”的控制功能被开启后，控制功能会保持t时间，在这t时间内通过控功能释放模式切换使脑电诱发器向被控对象发出停止“动作”的指令；

(2)脑电诱发器控制“动作”的控制功能已消失

脑电诱发器的“动作”的控制功能超过t时间后会消失，此时通过控制功能开启的方式重新使脑电诱发器恢复控制功能，然后控功能释放模式切换发送“动作”停止的指令；

若遇到紧急情况时，通过急停方式来停止当前正在执行的“动作”，该急停通过相应手势动作触发，所述肌电信号采集传感器通过采集对应该手势的肌电信号，并对其进行分析处理，识别出该肌电信号特征，进而通过脑电诱发器向被控对象发出停止“动作”的指令。

本发明的优势在于：

1、本发明的系统可以应用易识别且准确度高的有限信号来实现复杂控制，即完成由简单信号到复杂控制的可靠映射；

2、本发明首次提出了基于组合应用脑电与肌电两种信息的控制系统方案，可完成由脑电与肌电信号到最后控制指令发出的映射过程，整个控制过程无需任何按钮操作，提高了操作过程的神秘体验感；

3、本发明的系统包括了独立制作的脑电诱发器，目前在稳态诱发电位的诱发过程都是基于电脑屏幕呈现的方式，还没落实到产品实现过程方案中。

附图说明

图1为本发明的基于脑电与肌电信息的多模式智能控制系统的组成结构图；

图2为本发明的基于脑电与肌电信息的多模式智能控制过程的流程图；

图3为本发明的控制功能启动过程；

图4为脑电极分布图；

图5为本发明的控制功能外切换过程示意图；

图6为本发明的手臂控制控制功能释放模式的过程；

图7为本发明的具体控制功能释放模式对应的控制过程。

具体实施方式

下面结合附图和具体实施例对本发明进行详细的说明。

如图1所示，本方案提出了一种基于脑电(EEG)与肌电(EMG)信息的多模式智能控制器，该控制器包括：脑电诱发器、脑电信号采集与处理模块、肌电信号采集与处理模块、信息通讯模块和供电模块，对应每一个模块的功能如下：

1.脑电诱发器

该模块主要作用是利用LED灯产生一定频率的闪烁效果，当人眼注视该闪烁的灯光时大脑会产生同样频率的脑电信号，即该模块可诱导大脑产生相应频率的脑电信号，然后通过脑电信号采集与处理模块就可以采集含有该特征信息的脑电信号，进而解码以生成相应的控制指令。

2.脑电信号采集与分析模块

该模块主要用于采集脑电信号，并对采集到的脑电信号进行分析处理，以提取含有与脑电诱导源相关的脑电特征，进而转化生成对应的控制指令。所述脑电信号采集与分析模块包括：脑电信息采集传感器和脑电信息处理单元；

所述脑电信号采集传感器，用于采集含有特征信息的脑电信号；

所述脑电信号处理单元，用于对采集的脑电信号进行处理，解码生成相应的控制指令；具体为：根据提取的脑电特征进行指令编码，在进行脑电信息的处理过程时，首先对接收到的脑电信息进行叠加平均，叠加的时间窗为T_w，继而进行0.3Hz-70Hz的带通滤波，然后进行傅里叶变换，将时域信号转变为频域信号，进行频谱分析提取与刺激频率对应或其谐波频率相关的正弦波成分，根据提取的成分进行编码。

3.肌电信号采集与分析模块

该模块的主要作用是采集并分析肌电信号，并对采集到的肌电信号进行分析处理，以识别提取与对应手臂动作相关的肌电特征，进而将其转化为相应的控制指令。所述肌电信号采集与分析模块包括：肌电信息采集传感器和肌电信号处理单元；

所述肌电信号采集传感器，用于当采集含有特征信息的肌电信号；

所述肌电信号处理单元，用于对肌电信号进行识别，当识别的肌电信号特征与预先定义的手势匹配成功后，则生成相应的动作控制指令，该控制指令通过信息通讯模块传输给脑电诱发器，然后传输给被控对象，被控对象接收到该控制指令就会执行相应的动作。

4.信息通讯模块

该模块主要负责各模块之间的信息通讯。

5.供电模块

为整个系统的运行提供电源，该电源分别安置在脑电诱发模块(脑电诱发器)、脑电信号采集与处理模块和肌电信号采集与处理模块中。

该控制器可施加多种控制模式，比如对一个四旋翼无人机的控制模式可以是：起飞、降落、向前飞、向后飞、左偏航、右偏航、左旋转和右旋转。具体控制的整体过程如图2所示，首先穿戴控制器并给整个控制器上电，此时控制器还不具备任何控制功能，因此，需要进行控制功能的启动，如图3所示，在进行控制功能启动过程中，仅需将安装有以一定频率f闪烁的LED灯的脑电诱发器置于眼前，然后全神贯注地注视该闪烁的LED灯即可，大约2s至3s的时间控制功能启动指示灯就会亮起，如图3所示，说明此时该脑电诱发器已具备一定的控制功能，具体功能可根据被控对象进行具体定义，在本实施例中以控制四旋翼无人机为例，那么脑电诱发器上各个控制功能指示灯的对应控制功能如图3所示，从图3对控制功能指示灯的控制含义定义上可以看出，具有相反控制功能含义的控制功能指示灯呈上下对称分布，以控制对的形式启动，类似于控制功能启动指示灯启动方式，代表其它控制功能的控制功能指示灯对也要通过眼睛注视脑电诱发器上以一定频率闪烁的LED灯的方式来启动，在各个功能对切换过程中包括外切换过程和内切换过程；

外切换过程主要用于表征脑电诱发器控制功能从无到有的过程，当要启动脑电诱发器使其具备某个控制功能时，操控者仅需双眼全神贯注的注视脑电诱发器上以频率f闪动的LED灯，如图4所示，依据通用标准10-20可知，此时操控者的枕叶电极o1和o2会产生周期对应于刺激频率f或其谐波的正弦波形成分，即可通过在枕叶的对应位置穿戴相应的脑电信息采集传感器来获取诱发的脑电信息，通过相应的特征提取算法提取出该特征，一旦获取该特征，即表明脑电被诱发并识别成功，然后以二进制数的形式由脑电信息处理单元发送到脑电诱发器中的控制指令接收单元，脑电诱发器中的控制指令接收单元将接受到的数据传输给中央控制器，中央控制器通过计数器来统计该指令的个数n，该个数n与脑电诱发器上的控制功能等级同步，即当n＝0时，脑电诱发器未接收到控制指令且无控制功能指示灯被点亮，不具备任何控制功能，当n＝1时，脑电诱发器初次接收到控制指令，也表明脑电诱发器控制功能启动指示灯被点亮，具备初级控制功能，如图3所示，此时若再次接收到控制指令，则n＝2，那么中央控制器会在脑电诱发器控制功能启动指示灯被点亮的基础上再次增加被点亮的个数，结果如图5所示，此时表明脑电诱发器控制功能被切换为更高控制等级，即可控制无人机向前和向后飞，该切换过程被定义为外切换过程，当n被累加到4的时候，脑电诱发器具备最高控制等级，比如对应图3中所示的控制无人机左旋和右旋，也表明外切换规则终止。

内切换过程：当脑电诱发器处于最高控制等级时，外切换规则失效，此时若需要切换控制功能，即降低控制等级的话，需要操控者双眼全神贯注的注视脑电诱发器上以频率f1闪动的LED灯，然后与外切换规则相同的原理进行脑电信号的采集与处理过程，并以相同的方式将指令发送到中央控制器，唯一不同的是此时计数器的计数n是递减过程，那么对应的控制功能等级会递减，即由图5变成图3，该切换过程被定义为内切换过程。

如图2所示，脑电诱发器的控制功能启动并完成控制功能对的切换后就可以对被控对象施加控制了，在本案例中给被控对象施加控制的过程被成为控制功能释放，在该过程中会同时应用到肌电信号采集与处理模块，其主要作用是进行控制功能释放模式的切换，比如当脑电诱发器当前处于图5所示的状态，那么根据图3对各个控制功能指示灯的定义可知此时脑电诱发器具备控制四旋翼无人机进行前飞和后飞的功能，本案例将控制无人机进行前飞或后飞的这一控制模式的选择过程定义为控制功能释放模式的切换，该切换过程由穿戴在手臂上的肌电信息采集与处理模块根据操控者的手臂动作进行控制，具体控制过程如图6所示，即穿戴有肌电信号采集与处理模块的操控者手持脑电诱发器，此时对应于前飞与后飞控制功能控制对的手势有两种，手势1和手势2，所以当操控者手持脑电诱发器做出手势1时，肌电信息处理单元通过所述肌电信息采集传感器获取该肌电信号，并通过相应算法识别对应于该手势的肌电信号特征，当识别提取出的肌电信号特征与系统预先定义的手势匹配成功后，则会生成相应的动作控制指令，该控制指令通过无线蓝牙传输给被控对象，比如四旋翼无人机，被控对象接收到该控制指令就会执行相应的动作。

在上述控制功能释放过程中，每一种控制功能释放模式对应两个控制过程，一种是动作触发，另一种是停止当前动作，比如对于控制功能释放模式“前飞”，如图7所示，操控者可自行观察当前无人机所处飞行状态，当无人机目前处于非“前飞”状态且脑电诱发器“前飞”控制功能被开启时，操控者通过图6过程的控制功能释放模式切换后触发脑电诱发器的“前飞”指令发送，无人机通过蓝牙模块接收该指令后执行向前持续飞行的动作，在此向前飞行的过程中，如若想让无人机停止正在执行的向前飞行的动作，两种方式可以实现：

(1)脑电诱发器的“前飞”的控制功能存在

当脑电诱发器的“前飞”控制控制功能被开启后，控制功能会保持t时间，在这t时间内可以通过图6控制功能释放模式切换过程使脑电诱发器向无人机发出停止向前飞行的动作；

(2)脑电诱发器的“前飞”的控制功能已消失

当脑电诱发器控制向前飞行的控制功能超过t时间后会消失，此时可以通过控制功能开启的方式重新使脑电诱发器恢复控制功能，然后再根据图6和图7的过程释放发送停止向前飞行的指令，若遇到紧急情况可以通过急停方式来停止当前正在执行的动作，该急停同样通过相应手势动作触发，所述肌电信息采集传感器通过采集对应该手势的肌电信号，并对其进行分析处理，识别出该肌电信号特征，进而通过脑电诱发器向无人机发出停止前飞的动作。

在对四旋翼无人机的飞行控制过程中有一个特殊控制过程，即降落过程的控制，为了避免无人机降落过程由于控制延迟而摔机，被控无人机在距离地面1.5m时自动进入自动降落模式。

硬件指标部分

基于意识的可穿戴手势控制设备指标：

腕带肌电信号采集与处理模块：肌电通道数不低于4，肌电增益1000，带宽20Hz～500Hz,每通道采样率1kHz，位数不低于24bit，主控板尺寸不超过35mm×30mm×15mm。

脑电信号采集与处理模块：脑电通道数不低于6，每通道>250Hz，脑电增益10000，位数不低于24bit穿戴方便，电极位置可微调。

算法部分

肌电信号采集传感器可有效地反应肌肉活动的强度，运动传感器能够精确捕获手势动作执行过程中的运动轨迹信息。然而，由于手语动作包含信息的复杂性，对于手语动作的精确分类仍然和困难。所以本方案在识别手势动作过程中融合了表面肌电、加速计和陀螺仪三种传感器信息，以提高手势动作的识别精度。

EMG数据处理

肌电信号是一种非常微弱的电生理信号，峰峰值通常在0～5mV左右，在数据采集过程中很容易受到环境噪声的干扰。为了提高信号的信噪比，避免噪声信号对后续手语手势动作识别的影响，首先将采集到的多通道表面肌电信号经过一个频带范围是20-500Hz的4阶巴特沃斯带通滤波器滤除高频噪声和运动伪迹，同时将加速度和陀螺仪信号通过一个平滑滤波器滤掉信号采集过程中产生的一些尖峰脉冲。另外，因为表面肌电信号的采样率是运动传感器信号的10倍，将运动传感器信号进行10倍升采样操作以保证后续活动段分割的同步进行。

经过滤波处理去除噪声后，按照公式(1)计算t时刻多通道表面肌电信号的求和平均值EMG_avr(t)，其中，1≤k≤C，C为表面肌电信号的通道数量，k为通道编号，M为信号采样点总数。

利用重叠分析窗对平均信号EMG_avr(t)做数据平滑处理，本案例依据公式(2)对其进行平滑处理，其中ML为滑动平均窗口长度，ML＝T_stop-T_start，T_start和T_stop分别表示滑动窗口的起始点和终点。

令经平滑处理之后数据长度变为N，即有一个长度为N的时域序列X＝[x(1),x(2),...,x(N)]，然后应用样本熵理论对其进一步处理以提取应手势动作的信号，具体处理过程如下：

(1)根据序号的连续顺序将时域序列X转换为一组m维矢量，该矢量代表从第i点开始的m个连续x值。

X_m(i)＝[x(i+1),x(i+2),...,x(i+m-1)],1≤i≤N-m+1 (3)

(2)计算矢量X_m(i)和X_m(j)之间对应元素的差值并将两者差值的最大值定义为D_max，即：

(3)根据给定的相似容限阈值Thr，将满足表达式D_max＜Thr的i的数目定义为模板匹配数，记作A(i)。按照公式(5)计算模板匹配数A(i)与距离总数N-m-1的比值：

(4)依据公式(6)计算所有与i值对应的

的平均值，并记为B^m。

(5)增加维度为m+1，即对矢量长度为m+1的序列按照与

相同的计算方法得B^m+1。

(6)对于一个有限长度为N的数据，样本熵定义如下：

由公式(3)～(6)可知，样本熵的计算仅与维度m、相似容限Thr和序列长度N有关。计算多个长度为N的序列的样本熵值后可得样本熵值序列SEN(n)，其中n代表数据段的索引，该值可以反应肌肉运动的强度，即当肌肉的运动增强时该值会增加，相反当肌肉活动减弱后该值也减小。然后将计算得到的样本熵值与预先定义的阈值T_h进行比较，当信号的样本熵值SEN(n)大于T_h并且长度大于L则判断为活动段信号，相反则判断为噪声。

(7)将活动段的分割节点映射到加速度和陀螺仪信号段，提取相应的活动段信号，同样利用样本熵理论计算其熵值，若同样满足要求，则确认活动段信号提取正确，可进行下一步的分类计算。

(8)然后经由SVM算法进行分类识别，对于一组给定的特征向量(x_i,y_i)，SVM的最佳分类超平面可以按照公式(8)计算求得，其中，K(x_i,x)表示线性核函数，参数α_i和b需要通过训练过程求得。

f(x)＝sgn(∑_iy_iα_iK(x_i,x)+b),x_i∈R^d,y_i∈{+1,-1} (8)

(9)然后根据分类结果生成对应的控制指令编码，本案例共涉及3种手势动作的识别，则对应3种控制指令编码，分别为MC01、MC02和MC03。

EEG数据处理

本案例中选择位于大脑视觉皮层的O1、O2和Oz三个通道的脑电信号，首先对其进行新预处理，预处理包括：去除趋势项、利用巴特沃斯滤波器对信号进行5Hz～45Hz的带通滤波。

然后对SSVEP特征频率信号进行提取与分类识别，在本案例中利用同步压缩短时傅里叶变换方法提取SSEVEP特征频率信号，其中设置频率提取范围为1Hz。然后利用典型相关分析方法CCA进行分类识别。

SSVEP范式下EEG可以表示为一系列不同频率的谐波之和：

s(t)＝∑A_i(t)cosφ_i(t)+η(t) (9)

式中：A_i(t)和φ_i(t)分别表示第i个谐波成分的瞬时振幅和瞬时相位，η(t)表示噪音或干扰。瞬时频率定义为瞬时相位的导数：

基于同步压缩短时傅里叶变换的SSVEP特征频率信号提取方法步骤如下：

步骤1)对信号s(t)进行短时傅里叶变换。

式中：g(u)为窗函数，

为窗函数的傅里叶变换。

步骤2)计算本征瞬时频率。虽然实际得到的短时傅里叶变换的时频平面G_s(w,t)能量沿脊线方向存在发散现象，时频谱模糊，但是G_s(w,t)相位不受时间窗长的影响，因此可利用G_s(w,t)的相位来计算本征瞬时频率υ_G(w,t)。当G_s(w,t)不为0时，根据式(10)、式(11)可以推导出初步时频平面内每一个点的本征瞬时频率：

其中

因此在实际计算过程中，偏导数

可由窗函数对时间偏导数的短时傅里叶变换得到。同时为避免|G_s(ω,t)|≈0时计算误差过大，需要引入一个阈值γ＞0，如下式：

步骤3)利用计算得到的本征瞬时频率，通过以下映射(t,ω)→(t,υ_G(ω,t))，在时频平面内对初步的时频分布沿频率方向进行重新分配，即同步压缩，从而得到更加理想的时频分布。时频重排可表示为：

式中：δ(t)为单位脉冲函数，C_g是与窗函数有关的参数C_g＝πg(0)。

步骤4)对信号进行重构。在对时频平面进行时频重排以后，可以得到频率曲线更加集中的时频表达。由于同步压缩变换是对短时傅里叶变换的复数谱仅沿频率方向进行重新分布，因此该过程是可逆的，可提取SSVEP特征频率附近信号进行重构，重构过程如下：

式中：ω_i为SSVEP特征频率，Δω为提取频率范围。

同步压缩变换作为一种时频后处理算法，不同于其他原始的时频重排算法，不仅能提高时频谱的时频可读性，同时支持信号重构，非常适合近似平稳或分段平稳信号的处理。考虑到SSVEP范式下脑电近似平稳的特点，该方法能通过时频重排和信号重构，有效地提取SSVEP特征频率信息，提高EEG的信噪比，从而提高最终识别正确率。

在利用同步压缩短时傅里叶变换提取EEG中SSVEP特征频率后，需要进一步对其进行分类识别。常用的SSVEP分类识别算法主要有典型相关分析、似然比检验、多元同步指数等，这些算法都是通过检测待分类信号与不同频率参考信号之间的“相似程度”，并选取“相似程度”最大的那组参考信号的频率作为SSVEP响应频率。本案例采取经典的CCA算法进行分类识别，CCA算法的基本原理如下。

首先定义多通道脑电信号矩阵X∈R^S×N，其中S代表通道数，N代表每个通道的数据点数。定义不同刺激频率下的参考信号

t＝1/F_s，2/F_s，…，N/F_s，m＝1，2，…，M。

式中：f_m为SSVEP刺激频率，F_s为采样频率，N_h为f_m的谐波个数。CCA通过寻找一对系数矩阵w和v，来最大化线性组合变量x＝X^Tw和

之间的相关系数：

由式(18)可得到X和Y_m间的最大相关系数ρ_m，将max(ρ_m)对应参考信号频率视为SSVEP响应频率。此时即意味着从EEG中提取出了对应刺激的特征信号，进一步将其转化为控制指令码输出即可，本案例共涉及两种刺激，因此会对应两个控制指令码，分别为EC01和EC02。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于脑电与肌电信息的多模式智能控制系统，其特征在于，所述系统包括：脑电诱发器、脑电信号采集与处理模块、肌电信号采集与处理模块和信息通讯模块；

所述脑电诱发器，用于对人脑中多种脑电信号进行诱发，接收脑电信号采集与处理模块发送的控制指令，执行控制功能外切换过程和内切换过程，触发和切换控制功能并进行显示；外切换过程为将脑电诱发器控制功能从无切换到有的过程，内切换过程为对脑电诱发器的控制等级进行切换的过程；

所述脑电信号采集与处理模块，用于对脑电诱发器诱发产生的脑电信号进行采集和分析处理，将提取到的脑电特征信息进行编码以生成相应的控制指令，并发送给脑电诱发器；

所述肌电信号采集与处理模块，用于进行控制功能释放模式切换，对由特定指控动作产生的肌电信号进行采集和分析处理，并将提取到的肌电特征信息进行编码以生成相应的动作控制指令，通过脑电诱发器动作控制指令发送给被控对象；所述信息通讯模块，实现脑电诱发器、脑电信号采集与处理模块、肌电信号采集与处理模块及被控对象之间的信息通讯；

所述脑电诱发器包括：两个LED指示灯、若干对控制功能指示灯、中央控制器、控制指令接收单元和动作指令发送单元；

所述两个LED指示灯，用于分别产生两个频率f和f1的闪烁灯光，当人眼注视该闪烁灯光时大脑会产生同样频率的脑电信号；同时分别表示执行控制功能外切换过程和内切换过程；

每对控制功能指示灯，具有相反的控制功能的指示，一个指示灯用于表示该控制功能是否被启动；另一个指示灯用于表示相反的控制功能是否被启动；

所述控制指令接收单元，用于接收脑电信号采集与处理模块和肌电信号采集与处理模块发送的控制指令；

所述中央控制器，用于对接收到的控制指令进行分类，如果是脑电信号采集与处理模块发送的控制指令，则发送给控制功能指示灯进行显示；如果是肌电信号采集与处理模块发送的控制指令，则发送给动作指令发送单元；

所述动作指令发送单元，将接收到的动作控制指令通过信息通讯模块发送给被控对象；

所述控制功能释放模式对应两个控制过程，一种是动作触发，另一种是动作停止；

对于动作触发，操控者观察当前被控对象所处的状态，当被控对象处于非“动作”状态且脑电诱发器“动作”控制功能被开启时，操控者通过控制功能释放模式切换后触发脑电诱发器发送执行“动作”指令，被控对象接收该指令后执行该“动作”；

对于动作停止，以两种方式实现：

(1)如果脑电诱发器的“动作”的控制功能存在

当脑电诱发器的“动作”的控制功能被开启后，控制功能会保持t时间，在这t时间内通过控功能释放模式切换使脑电诱发器向被控对象发出停止“动作”的指令；

(2)脑电诱发器控制“动作”的控制功能已消失

脑电诱发器的“动作”的控制功能超过t时间后会消失，此时通过控制功能开启的方式重新使脑电诱发器恢复控制功能，然后控功能释放模式切换发送“动作”停止的指令；

若遇到紧急情况时，通过急停方式来停止当前正在执行的“动作”，该急停通过相应手势动作触发，所述肌电信号采集传感器通过采集对应该手势的肌电信号，并对其进行分析处理，识别出该肌电信号特征，进而通过脑电诱发器向被控对象发出停止“动作”的指令。

2.根据权利要求1所述的基于脑电与肌电信息的多模式智能控制系统，其特征在于，所述系统还包括：供电模块，用于给整个系统供电。

3.根据权利要求1所述的基于脑电与肌电信息的多模式智能控制系统，其特征在于，所述脑电信号采集与处理模块包括：脑电信号采集传感器和脑电信号处理单元；

所述脑电信号采集传感器，用于采集含有特征信息的脑电信号；

所述脑电信号处理单元，用于对采集的脑电信号进行处理，解码生成相应的控制指令；具体为：首先对接收到的脑电信息进行叠加平均，叠加的时间窗为T_w，然后进行0.3Hz-70Hz的带通滤波，进行傅里叶变换，将时域信号转变为频域信号，进行频谱分析，提取与刺激频率对应或与谐波频率相关的正弦波成分，根据提取的成分进行编码。

4.根据权利要求3所述的基于脑电与肌电信息的多模式智能控制系统，其特征在于，所述肌电信号采集与处理模块包括：肌电信号采集传感器和肌电信号处理单元；

所述肌电信号采集传感器，用于当操控者做出手臂动作时，采集含有特征信息的肌电信号；

所述肌电信号处理单元，用于对肌电信号进行识别，当识别的肌电信号特征与预先定义的手势匹配成功后，则生成相应的动作控制指令，该控制指令通过信息通讯模块传输给脑电诱发器，然后传输给被控对象，被控对象接收到该控制指令会执行相应的动作。

5.一种基于脑电与肌电信息的多模式智能控制方法，基于权利要求3-4之一所述的系统实现，所述方法包括如下步骤：

步骤1)操控者穿戴控制系统并给整个控制系统及被控对象上电，同时，完成需要信息通讯模块之间的蓝牙配对；

步骤2)操控者注视脑电诱发器的LED指示灯的闪烁，进行脑电特征的诱发；

步骤3)所述脑电信号采集与处理模块实时在线采集和分析脑电信息，对提取到的脑电特征进行解码，以获取对应诱发模式的脑电特征；

步骤4)对识别提取出的诱发脑电特征进行控制指令编码；将编码好的控制指令由信息通讯模块发送到脑电诱发器；

步骤5)脑电诱发器中的控制功能指示灯以发光二极管的形式，执行控制功能外切换过程和内切换过程触发和切换控制功能并进行显示；外切换过程为将脑电诱发器控制功能从无切换到有的过程，内切换过程为对脑电诱发器的控制等级进行切换的过程；

步骤6)根据控制功能指示灯显示结果确认对被控对象的动作控制，确认方式是通过所述肌电信号采集与处理模块执行控制功能释放模式切换，采集和分析由特定指控动作产生的肌电信息，识别提取出相应的肌电特征后进行控制指令编码，并通过信息通讯模块将其发送到脑电诱发器的中央控制器；

步骤7)中央控制器通过融合其自身的惯性测量单元信息与发送过来的动作控制指令，给出最终的动作控制指令编码，并经由无线通讯模块发送到被控对象；

步骤8)被控对象接收动作控制指令并执行相应的动作；

所述步骤6)的肌电信号采集与处理模块执行控制功能释放模式切换时，根据操控者的手臂动作进行控制，如果对应于控制功能控制对的手势有两种：手势1和手势2；当操控者手持脑电诱发器做出手势1时，肌电信号处理单元会通过肌电信号采集传感器获取该肌电信号，并识别对应于该手势的肌电信号特征，当识别提取出的肌电信号特征与系统预先定义的手势匹配成功后，生成相应的动作控制指令；

所述控制功能释放模式对应两个控制过程，一种是动作触发，另一种是动作停止；

对于动作触发，操控者观察当前被控对象所处的状态，当被控对象处于非“动作”状态且脑电诱发器“动作”控制功能被开启时，操控者通过控制功能释放模式切换后触发脑电诱发器发送执行“动作”指令，被控对象接收该指令后执行该“动作”；

对于动作停止，以两种方式实现：

(1)如果脑电诱发器的“动作”的控制功能存在

当脑电诱发器的“动作”的控制功能被开启后，控制功能会保持t时间，在这t时间内通过控功能释放模式切换使脑电诱发器向被控对象发出停止“动作”的指令；

(2)脑电诱发器控制“动作”的控制功能已消失

脑电诱发器的“动作”的控制功能超过t时间后会消失，此时通过控制功能开启的方式重新使脑电诱发器恢复控制功能，然后控功能释放模式切换发送“动作”停止的指令；

若遇到紧急情况时，通过急停方式来停止当前正在执行的“动作”，该急停通过相应手势动作触发，所述肌电信号采集传感器通过采集对应该手势的肌电信号，并对其进行分析处理，识别出该肌电信号特征，进而通过脑电诱发器向被控对象发出停止“动作”的指令。

6.根据权利要求5所述的基于脑电与肌电信息的多模式智能控制方法，其特征在于，所述步骤5)的控制功能外切换过程为：

步骤101)当要启动脑电诱发器使其具备某个控制功能时，操控者双眼注视脑电诱发器上以频率f闪动的LED灯，此时操控者的枕叶电极o₁和o₂会产生周期对应于刺激频率f或谐波频率的正弦波形成分，通过在枕叶的对应位置的脑电信号采集传感器来获取诱发的脑电信息，所述脑电信号处理单元通过相应的特征提取算法提取出脑电特征，一旦获取该脑电特征，即表明脑电被诱发并识别成功；

步骤102)所述脑电信号采集与处理模块以二进制数的形式将控制指令发送到脑电诱发器中的控制指令接收单元，然后传输给中央控制器，中央控制器通过计数器来统计该指令的个数n，该个数n与脑电诱发器上的控制功能等级同步：

当n＝0时，表示脑电诱发器未接收到控制指令且无控制功能指示灯被点亮，不具备任何控制功能，

当n＝1时，表示脑电诱发器初次接收到控制指令，也表明脑电诱发器控制功能启动指示灯被点亮，具备初级控制功能；

若再次接收到控制指令，则n＝2，表示中央控制器会在脑电诱发器控制功能启动指示灯被点亮的基础上再次增加被点亮的个数，此时表明脑电诱发器控制功能被切换为更高控制等级；

当n被累加到4时，所述脑电诱发器具备最高控制等级，也表明外切换过程终止。

7.根据权利要求6所述的基于脑电与肌电信息的多模式智能控制方法，其特征在于，所述步骤5)的控制功能内切换过程为：

步骤201)当脑电诱发器处于最高控制等级时，需要操控者双眼注视脑电诱发器上以频率f1闪动的LED灯，此时操控者的枕叶电极o₁和o₂会产生周期对应于刺激频率f1或谐波频率的正弦波形成分，通过在枕叶的对应位置的脑电信号采集传感器来获取诱发的脑电信息，所述脑电信号处理单元通过相应的特征提取算法提取出脑电特征，一旦获取该脑电特征，即表明脑电被诱发并识别成功；

步骤202)所述脑电信号采集与处理模块以二进制数的形式将控制指令发送到脑电诱发器中的控制指令接收单元，然后传输给中央控制器，中央控制器通过计数器来统计该指令的个数n，此时计数器的计数n是递减的，那么对应的控制功能等级会递减。

Images