CN103349595A

CN103349595A - 基于多模式分层控制的脑机接口智能轮椅

Info

Publication number: CN103349595A
Application number: CN2013103014675A
Authority: CN
Inventors: 罗志增; 周光省; 席旭刚
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2013-07-16
Filing date: 2013-07-16
Publication date: 2013-10-16

Abstract

本发明公开了一种多模式分层控制的脑机接口智能轮椅，包括脑电信号采集模块、脑电信号处理模块、运动控制模块和电动轮椅。本发明从多模式分层控制的角度，采集表达控制意图的运动想象思维活动所引发的EEG信号，使体现人体运动控制意愿的想象左右手和反映选择控制行为的睁闭眼相结合，提高了控制系统的信息传输率和控制信息的可靠性。把经过放大滤波的脑电信号输入到信号处理模块进行消噪、特征提取、分类，将操纵者的运动意愿通过指令发送到控制模块，实现电动轮椅的前进、左转、右转、后退、停止、加速、减速的运动。本发明能够满足实际轮椅控制运行的需要，能够实现速度的控制，在医疗康复训练、残障人服务等方面有价值。

Description

基于多模式分层控制的脑机接口智能轮椅

技术领域

本发明属于生物医学信号处理及人工智能领域，涉及一种基于多模式分层控制的脑机接口智能轮椅。

背景技术

脑机接口系统又称为BCI （Brain Computer Interface）系统，国际脑机接口大会的定义是：不依赖于大脑外周神经与肌肉组成的正常输出通路的控制系统。脑机接口系统的功能是分析实时采集到的脑电信号，经过特征提取和模式识别操作，从而判断人的动作意念。BCI是一种连接大脑和外部设备的实时通信系统，它可以把大脑发出的信息直接转换成能够驱动外部设备的命令，并代替人的肢体或语言器官实现人与外界的交流以及对外部环境的控制。换言之，BCI系统可以代替正常外围神经和肌肉组织，实现人与计算机之间或人与外部环境之间的通信。BCI的实质为通过脑信号推断人的想法或目的，从而实现人机交流。BCI的出现，使得用人脑信号直接控制外部设备的想法成为可能。要想实现脑-机接口，必须有一种能够可靠反映人脑不同思维活动状态的信号，并且这种信号能够实时被提取和分类。

脑电（Electroencephalogram，EEG）信号是脑神经细胞电生理活动在大脑皮层或头皮表面的总体反映，通过布置在头皮或颅内的电极装置来记录的人体脑细胞群的自发性、节律性电活动。由于采集头皮EEG相对简便等原因，因此大多数的BCI系统采用的是头皮脑电信号，即采用非植入方式从头皮电极获得大脑神经活动所产生的电信号。从脑电信号产生机理可以分诱发脑电和自发脑电两大类，其中诱发脑电信号一般包括视觉诱发电位、P300事件相关电位等；而自发脑电信号则包括事件相关同步与去同步、自发

Figure 2013103014675100002DEST_PATH_IMAGE002

节律和

Figure 2013103014675100002DEST_PATH_IMAGE004

波、慢波皮层电位等。

自发脑电是脑细胞的自发性电活动，是人体在自然状态下记录到的脑电信号。自发脑电信号的研究一般是对α节律和μ节律的研究，其频率范围为8-13Hz，在枕部视觉皮层区检测到的α节律反映受试者视觉松弛状态；在感觉运动皮层区检测的μ节律反映受试者运动松弛状态。这类脑电信号的研究方法主要有事件相关同步（Event Related Synchronization，ERS）和去同步（Event Related Desynchronization，ERD），这两种现象与肢体想象运动有很大的相关性。ERD/ERS是一对相反的电生理现象，研究表明当进行单侧的肢体运动或者想象运动时，在大脑的感觉运动皮层会产生特定节律脑电波的幅值变化，其表现为肢体运动对侧的大脑感觉运动皮层区域被激活，代谢活跃明显，测量到的头皮脑电信号幅度下降，即产生ERD现象；而肢体同侧的大脑感觉运动皮层区被增强，表现为测量到的头发脑电信号幅度上升级，节律波频谱的幅值降低或阻滞，即产生ERS现象。

EEG时间序列包含丰富的信息，基于相空间重构的EEG时间序列分析，从单变量时间序列找到系统的吸引子并计算其关联维数，可以标识大脑信息处理运动的特征。安静睁眼状态下额叶区的EEG关联维数明显大于安静闭眼状态的额叶区的EEG关联维数。在闭眼过程中，由于视觉输入被阻断，大脑的活动更多的表现为自治状态，脑电复杂程度下降。该结论与闭眼过程中多数人会出现

波同步现象结论一致，而睁眼时EEG包含了更多信息，复杂度较高。大脑在进行思维活动时，与安静状态相比关联维数增高。安静睁眼状态关联维数较安静闭眼状态为高；闭眼心算较闭眼安静状态为高；睁眼图形推理较睁眼安静状态为高，关联维数与大脑活动度、睁眼与闭眼等成一种相对的线性相关状态。

运动想象脑电的脑机接口研究方面，德国的Berlin大学的Benjamin Blankertz设计了运动想象脑电打字机。通过思维任务控制电动轮椅也是研究的一个方向，J.del.R.Millan等使用这种方式控制了电动轮椅的3种基本运动（包括前进、左转、右转）。天津大学的高扬等利用闭眼产生的

波幅值增加的特性而设计的脑机接口系统应用到了轮椅控制中，由于能识别的脑电模式有限，很难提供多个控制信号。华南理工大学脑机接口与脑信息处理研究中心将ERD/ERS和视觉诱发的P300相融合，成功控制电动轮椅的左右转向、移动加减速变换，但是需要长久的眼睛注视屏幕，在实际操作中人容易疲劳，且P300方法的实时性相对较差。

发明内容

本发明针对上述现有问题的缺陷，公开了一种基于多模式分层控制的脑机接口智能轮椅，本发明所解决的技术问题是：决策融合的方法是将睁眼和闭眼两种情况分别作为选择是“控制方向”还是“控制速度”的方式，来配合运动想象脑电识别的结果来实现多模式识别分类，进而实现智能轮椅的控制。

本发明包括脑电信号采集模块、脑电信号处理模块、运动控制模块和电动轮椅。利用EEG关联维数的差异识别出睁眼和闭眼这两种状态来作为选择控制模式，ERD/ERS方法识别出两类脑电运动想象任务，组合成四类不同模式，另外加上安静闭眼（即没有运动想象）时这一模式。共用安静闭眼、闭眼运动想象左手、闭眼运动想象右手、睁眼运动想象左手、睁眼运动想象右手五种模式。步骤是：先根据EEG关联维数的差异，EEG关联维数最小的为安静闭眼，闭眼的两类脑电运动想象EEG关联维数比安静闭眼大，睁眼的两类脑电运动想象EEG关联维数比闭眼的两类脑电运动想象的要大。再根据排列组合熵值来识别出两类脑电运动想象中想象左手还是右手的意识任务。

本发明设计了基于脑电信号的电动轮椅控制平台，主要包含以下3个模块：脑电信号采集模块、脑电信号处理模块、运动控制模块。

脑电信号采集模块

本发明的脑电信号采集模块主要由40导脑电帽、信号放大器和采集软件组成。该模块的目的是采集实验者的脑电信号，将其进行放大并转化为离散化信号，然后传递给脑电信号处理模块。

脑电信号处理模块

脑电信号处理模块获得采集模块上传的离散化的脑电信号后，对信号数据进行分析处理，提取特征并通过模式识别方法进行分类，从而得到识别结果。

运动控制模块

运动控制模块的功能是将脑电识别主机的识别结果转换成控制命令，并发送给扩充的单片机系统，由单片机系统对改造后的电动轮椅进行控制。控制命令的输出功能是基于串口通信实现的，由脑电识别主机通过串口通信的方式发送控制命令给单片机。

本发明把通过睁闭眼时动作想象以及安静闭眼的脑电信号作为识别对象，脑电信号采集平台使用40导脑电记录仪，把经过放大滤波的脑电信号输入到信号处理模块进行消噪、特征提取、分类，将操纵者的运动意愿通过指令发送到控制模块，实现电动轮椅的前进、左转、右转、后退、停止、加速、减速的运动。本发明能够满足实际轮椅控制运行的需要，能够实现速度的控制，在医疗康复训练、残障人服务等方面有价值。

本发明从多模式分层控制的角度，采集表达控制意图的运动想象思维活动所引发的EEG信号，使体现人体运动控制意愿的想象左右手和反映选择控制行为的睁闭眼相结合，提高了控制系统的信息传输率和控制信息的可靠性。在一定程度上更加准确、快速、可靠地感知使用者的控制意图，帮助使用者自主有效地操纵康复辅助器具，完成部分肢体替代运动，以此改善老年人和残疾人的生活质量和社会参与能力。

附图说明

图1为多模式分层控制的脑机接口的控制系统框图；

图2为智能轮椅的脑机接口框图；

图3为智能轮椅的脑机接口软件流程图；

图4为基于脑电信号控制的电动轮椅实验平台组成；

图5为脑机接口的通信数据包；

图6为PC与单片机串口通信线路。

具体实施方式

以下结合附图对本发明作进一步说明。

如图1所示，本发明包括脑电信号采集模块、脑电信号处理模块、运动控制模块和电动轮椅。本发明中采用的脑电信号采集仪器是40导脑电采集帽和信号放大器，脑电电极按照国际10/20系统标准放置。

脑电信号处理模块

本发明信号处理方法包括三个步骤：(1)对采集的EEG脑电信号预处理，提取预处理后EEG的相关维数作为其睁闭眼的特征，获取状态分类结果；(2)基于EEG的排列组合熵作为运动想象特征，获得运动想象左手与右手的识别分类结果；(3)将EEG的相关维数和排列组合熵特征参数融合，然后采用支持向量机方法，获得睁闭眼时运动想象所表征控制意图的识别结果。

经过对采集系统和电动轮椅控制系统的具体分析，基于脑电信号的电动轮椅控制平台需要完成以下任务：(1)取得脑电信号数据；(2)对脑电信号数据进行特征提取和模式识别处理；(3)识别结果输出至单片机，由单片机完成轮椅控制。设计框图如图2所示。

根据图3的软件流程图，在VC++6.0平台上编程实现BCI Client，最终得到的BCI Client软件。本发明设计的BCI Client软件能够获取离散脑电信号，并对该离散脑电信号进行特征提取和模式识别，最终得到识别结果。

脑电信号的处理：运动模式的分类就是根据脑电信号的特征，来判别使用者希望执行的指令，结合轮椅当前的运动状态，实现速度和方向的控制。

闭眼+纯运动想象左转：对应“加速”指令；

闭眼+纯运动想象右转：对应“减速”指令；

睁眼+纯运动想象左转：对应“左转”指令；

睁眼+纯运动想象右转：对应“右转”指令；

闭眼+安静状态：对应“停止”指令；

通过识别得到的上述指令，结合轮椅的当前状态得出判断，从而控制轮椅达到意图的状态。所用电动轮椅前进有三档速度：高速（6km/h）、中速（4.5km/h）和低速（3km/h），轮椅能向左、向右转，轮椅能够后退，后退的速度只有一档。

表1各个控制指令结合轮椅当前状态下作用后预定达到状态

控制指令	轮椅的当前状态	轮椅预定达到状态
			加速	静止不动	轮椅4.5km/h中速
加速	3km/h低速	轮椅4.5km/h中速
			加速	4.5km/h中速	轮椅6km/h高速
加速	6km/h高速	轮椅6km/h维持不变
			减速	6km/h高速	轮椅4.5km/h中速
减速	4.5km/h中速	轮椅3km/h低速
			减速	3km/h低速	轮椅正常减速停下
减速	停止不动	轮椅后退
			左转	3km/h低速	轮椅低速下左转（建议低速左转）
左转	4.5km/h中速	轮椅中速降至低速下左转
			左转	6km/h高速	轮椅高速降至低速下左转
右转	3km/h低速	轮椅低速下右转（建议低速右转）
			右转	4.5km/h中速	轮椅中速降至低速下右转
右转	6km/h高速	轮椅高速降至低速下右转
			停止	当前任何状态	紧急立即停止

运动控制模块

控制电动轮椅运动的关键传感器一个用于控制轮椅的加速和减速，另一个用于控制轮椅的左转和右转。使用两个微型步进电机控制传感器的偏转轴旋转，达到轮椅基本运动控制的目的。将步进电机和传感器都安装在底座上后，就可以由步进电机精确地控制转动的角度。

单片机控制系统的设计

本发明建立了一个基于单片机的电动轮椅控制系统，主要实现以下两个功能：(1)控制命令传输，即脑电识别主机发送控制命令给单片机；(2)单片机控制电动轮椅的运动，即单片机通过步进电机控制轮椅的两个传感器的偏转轴转动，从而控制轮椅的基本运动。图4为脑机接口智能轮椅的硬件平台组成。

控制命令传输实现

要实现传输控制命令的功能，需要按规定格式从脑电识别主机的串口发送控制命令，单片机通过串口接收到控制命令后，按照规定格式进行解析，因此主要从以下三个方面着手实现：(1)用户层的通信协议，用于统一传输的数据包格式；(2)硬件方面，主要指PC端和单片机端的接线方式；(3)软件方面，主要指编写对应的程序，能够根据脑电信号处理模块的识别结果发送相应的控制命令给单片机。

编制用户层的通信协议的目的是实现PC机和单片机之间的通信功能。根据轮椅控制的具体要求，本发明决定采用字符格式进行发送，每个字符刚好对应一个数据字节。设计的通信数据包如图5所示：

控制信号的发送：

采用串口通信的方法把计算机程序对于脑电信号的分类结果输出到单片机中，使用异步传输。通信协议为：‘#’+‘ct’+ (0 to 10) +‘*’其中‘#’为数据桢起始字节，‘*’为数据桢终止字节，中间三个字节为数据字节，‘ct’代表电动轮椅进行控制模式，0-10代表在相应模式下电动轮椅应采取的动作。在远程控制'ct'模式中，不同数据字节的含义如表2：

表2控制模式“ct”下各个控制指令及作用

控制指令	作用
		0	轮椅紧急停止
1	轮椅前进至4.5km/h
		2	轮椅加速到6km/h
3	轮椅减速到4.5km/h
		4	轮椅减速到3km/h
5	轮椅减速停止
		6	轮椅左转
7	轮椅右转
		8	轮椅后退
9	用于扩展

硬件实现

为了把控制信号发送给单片机，本发明采用的是串口通信的方法，通过RS232接口发送和接收信号。建立串口的连接时需要同时考虑PC端和单片机端：

PC和单片机进行连接时必须进行电平转换，这里使用的是MAX232电平转换芯片。图6为PC与单片机串口通信线路图。数据通信的硬件上采用三线制，将单片机和PC串口的3个引脚（RXD、TXD、GND）分别连在一起，即将PC的发送数据线TXD和单片机的接收数据线RXD连接，将PC的接收数据线RXD和单片机的发送数据线TXD连接。

软件实现

本发明采用的是MSComm（Microsoft Communications Control）实现PC端的串口通信功能。MSComm控件提供了一系列标准通信命令的使用接口，利用它可以建立与串口的连接，并可以通过串口连接到单片机等通信设备，实现发送命令、交换数据以及监视和响应串行连接中发生的事件和错误等功能。当PC端（即脑电识别主机）根据识别结果发出对应的数据包后，单片机根据规定的通信协议，解析接收到的数据包，从而得到用户想要采取的动作，最终控制轮椅的运动。

电动轮椅控制实现

轮椅的运动可以通过步进电机控制轮椅的传感器偏转轴的转动来实现。因此电动轮椅的控制可以归纳为这样一个过程：当单片机接收到脑电识别主机传送过来的数据包后，根据规定的通信协议进行解析，然后按照获取的控制命令分别控制两个步进电机的转动，从而带动相应轮椅传感器的偏转轴的转动，最终控制电动轮椅的运动。当单片机解析出来的控制信息数据包后，单片机可以根据程序中预留的标记，查询到轮椅传感器的偏转轴的偏离位置，然后把偏转轴改变到相应的控制意图的位置，从而达到控制电动轮椅运动速度和方向的目的。

本发明通过分析基于睁闭眼状态下运动想象过程引发的EEG信号，利用多模式，进行睁闭眼状态下运动想象的多模式识别，提高其识别的准确性和鲁棒性。由于采用多模式分层控制脑机接口，极大地提高了系统的信息传输率，从而使智能轮椅能够更加准确、快速、可靠地感知使用者的多种控制意图，为康复辅具智能化地服务残疾人提供一种新型的可选方式。

Claims

1. 基于多模式分层控制的脑机接口智能轮椅，其特征在于：包括脑电信号采集模块、脑电信号处理模块、运动控制模块和电动轮椅；

所述脑电信号采集模块包括40导脑电帽、信号放大器和采集软件；该模块采集实验者的脑电信号，将其进行放大并转化为离散化信号，然后传递给脑电信号处理模块；

所述脑电信号处理模块获得脑电信号采集模块上传的离散化的脑电信号后，对脑电信号进行分析处理，提取特征并通过模式识别方法进行分类，从而得到识别结果；信号分析处理包括三个步骤：(1)对采集的脑电信号预处理，提取预处理后脑电信号的相关维数作为其睁闭眼的特征，获取状态分类结果；(2)基于脑电信号的排列组合熵作为运动想象特征，获得运动想象左手与右手的识别分类结果；(3)将脑电信号的相关维数和排列组合熵特征参数融合，然后采用支持向量机方法，获得睁闭眼时运动想象所表征控制意图的识别结果；

所述运动控制模块是将脑电信号处理模块的识别结果转换成控制命令，并发送给扩充的单片机系统，由单片机系统对改造后的电动轮椅进行控制；控制命令的输出功能是基于串口通信实现的，由脑电信号处理模块通过串口通信的方式发送控制命令给单片机；

所述电动轮椅前进有三档速度：高速、中速和低速，分别对应6km/h、4.5km/h和3km/h，轮椅能向左、向右转，轮椅能够后退，后退的速度只有一档。

2.根据权利要求1所述的基于多模式分层控制的脑机接口智能轮椅，其特征在于：将睁眼和闭眼两种情况分别作为选择是“控制方向”还是“控制速度”的方式，来配合运动想象脑电识别的结果来实现多模式识别分类，进而实现智能轮椅的控制。

3.根据权利要求2所述的基于多模式分层控制的脑机接口智能轮椅，其特征在于：所述利用脑电信号关联维数的差异识别出睁眼和闭眼这两种状态来作为选择控制模式，ERD/ERS方法识别出两类脑电运动想象任务，组合成四类不同模式，另外加上安静闭眼时这一模式，即没有运动想象，共有安静闭眼、闭眼运动想象左手、闭眼运动想象右手、睁眼运动想象左手、睁眼运动想象右手五种模式；步骤是：先根据脑电信号关联维数的差异，脑电信号关联维数最小的为安静闭眼，闭眼的两类脑电运动想象脑电信号关联维数比安静闭眼大，睁眼的两类脑电运动想象脑电信号关联维数比闭眼的两类脑电运动想象的要大；再根据排列组合熵值来识别出两类脑电运动想象中想象左手还是右手的意识任务。