CN109009887A - 一种基于脑机接口的人机交互式导航系统及方法 - Google Patents

Abstract

本发明属于信息技术以及服务机器人技术领域，提供了一种基于脑机接口的人机交互式导航系统及方法。通过对人的脑电信号采集、处理及识别，成功的将人的意图加入到自主导航系统中，实现了半自主导航的效果。解决了自主导航系统中机器为主导，外人不可干预的问题，以及基于脑机接口技术来实现控制功能的稳定性低的问题。本发明可以有效地为残疾人提供一种可靠的半智能化移动方式，方便了残疾人对移动装置的使用，提高了残疾人的出行效率，满足了生活上、工作上的基本出行所需。针对目前残疾人移动装置使用范围窄，使用不方便的问题，本发明能够满足所有残疾人的使用，没有范围限制，使用过程简单方便。

Description

一种基于脑机接口的人机交互式导航系统及方法

技术领域

本发明属于信息技术以及服务机器人技术领域，具体涉及一种基于脑机接口的人机交互式导航系统及方法。

背景技术

随着社会文明的发展进步，保障和提高老年人以及残障人士等弱势群体的生活质量，已经越来越收到社会各界人士的普遍关注。近年来，为了增强老年人以及残障人士的行动能力，很多普通的移动装置受到广泛关注。然而这种移动装置，控制方法大都是手动控制、语音控制、手势控制等等，它们都对残疾人有一定的要求，具有局限性，限制了使用群体。这对于患有严重运动功能的患者或失去运动机能的老年人都是难以实现的，所以有效解决他们的出行需求是一个迫切的问题。

发明内容

为了帮助残疾人能够使用移动装置解决出行问题，本发明提供了一种基于脑机接口的人机交互式导航系统及方法。该发明基于脑电信号处理分析，融合自主导航技术的半自动控制。本发明采集的脑电信号是大脑在活动时，大量神经元同步发生的突触后电位经总和后形成的微弱电信号。本发明能使残疾人越过肌肉的直接控制，而只需要通过接收适当的脑电信号就能实现正常控制需求。与传统的移动装置或者移动装置相比较来说，本发明解放了使用者的双手，控制方便；融合了自主导航技术，使得基于脑电信号的控制更加稳定，安全。此外，本发明将有助于改善残疾人的出行问题以及生活质量，提高出行效率，减轻病人的出行负担。不仅使得他们的生活变得方便，而且对于他们的心理健康、自我评价、精神状态也有着深远的影响。

本发明的技术方案是：

一种基于脑机接口的人机交互式导航系统，包括脑电信号采集设备、中央控制器模块、环境信息采集传感器、助行移动模块、运动控制模块；其中，助行移动模块是一个轮式移动机械装置，用于载人，方便使用者移动，同时系统所需电源、中央控制器模块、环境信息采集传感器和运动控制模块均设置于助行移动模块上；

中央控制器模块，用于完成脑电信号的识别和实时导航控制；

脑电信号采集设备包括电极帽及脑电信号放大器，用于使用者通过佩戴电极帽采集脑部的稳态视觉诱发电位，并通过放大器实现对脑电信号的放大，放大器将放大后的信号传送给中央控制模块，实现脑电信号的识别；

环境信息采集传感器安装固定在助行移动模块近地面的位置上，用于采集周围环境信息，传递给中央控制器模块，实现实时导航线路规划；

运动控制模块，包括供助行移动模块移动的电机、电机控制器及运动控制器，用于接收中央控制器模块的控制命令，执行相关运动控制。

上述的基于脑机接口的人机交互式导航系统的方法，首先使用者需要佩戴脑电采集装置，然后通过外部刺激使人脑产生稳态视觉诱发电位，同时采集装置会采集该稳态视觉诱发电位并输入到中央控制器中，之后经过滤波去噪，特征选择，分类器分类等操作实现对不同频率刺激下的脑电信号的自动分类。中央控制器会结合当前状态下的环境路口信息，并根据脑电信号的分类结果进行融合分析处理，然后会发送一个控制信号到移动装置的运动控制器中，运动控制器通过解析该控制指令来控制移动装置移动，以此实现使用者用脑电信号来控制移动装置移动，达到半自主导航效果，而无须手动操作的功能。

具体包括如下步骤：

步骤1：环境信息采集传感器收集实时状态下的环境路口信息，并及时上传给中央控制器，然后中央控制器分析计算出可行的前进方向；根据脑电激励信号的要求，结合实际的可行的前进方向，产生与可行的前进方向相对应的稳定激励信号，刺激使用者的大脑，使人脑产生稳态视觉诱发电位(SSVEP)；

步骤2：使用者佩戴脑电采集装置后，通过采集在不同频率刺激下的稳态视觉诱发电位，并对信号进行预处理，然后利用机器学习算法对信号进行识别；

步骤3：脑电信号识别出最终结果后，中央控制器再次结合当前路口信息情况，进行融合分析处理，然后发送一个可行的导航控制信号到运动控制模块的运动控制器中，运动控制器解析该控制信号形成相应的电机控制信号，并将其发送给相应的电机控制器，实现控制助行移动模块向指定的方向移动。

进一步地，上述步骤2具体为：

步骤2.1：通过脑电采集装置获得使用者的脑电信号后，分析稳态视觉电位的特征，根据各个通道的SSVEP现象的强弱实现对电极的确定；

步骤2.2：利用滤波器去除电磁干扰，并利用对立成分分析法实现对各种与脑电信号处于同频段的肌电信号的去除；

步骤2.3：根据稳态视觉电位的特征，使用典型关联分析算法计算处理后的脑电信号与正弦信号之间的相关性，通过相关性的大小决定所识别的信号的类型，最后获得最终识别的结果。

进一步地，上述步骤1中为代表每一个控制方向的激励信号设置一个激励频率，并保持在信号激励时信号的激励频率不变。

上述脑电信号识别方法中包括数据采集、信号预处理、信号分类共计3个部分。数据采集部分是指在不同闪烁频率的刺激下，人脑会被这些特定的外部刺激产生相应的诱发脑电信号，脑电采集设备采集此时的脑电信号，并同时上传给中央控制器。信号预处理部分是指使用特定的滤波器去除脑电信号中的工频干扰，然后利用某种信号分析方法去除脑电电信号干扰。信号分类部分是指使用某种成分分析方法来计算脑电信号特征与实际激励信号频率之间的相关度来实现对信号的识别。

上述脑电控制方法中包括环境信息采集部分、控制信号决策部分、运动执行部分共计3个部分。环境信息采集部分是指利用环境信息采集传感器采集移动装置周围的环境障碍物信息，并将该信息数据上传给中央控制器。控制信号决策部分是指中央控制器首先实时处理环境路口信息数据，并分析计算出当前路口下的可行方向信息，然后产生特定的外部刺激信息来刺激大脑，同时等待接收脑电信号的识别结果，再与环境信息数据进行融合处理，分析计算得出一个控制信号发送给运动控制器。运动执行部分就是通过运动控制器接收并解析控制信号，发送相应的电机控制信号给电机，来控制移动装置移动，实现半自主导航功能。

有益效果：

本发明通过对人的脑电信号采集、处理及识别，成功的将人的意图加入到自主导航系统中，实现了半自主导航的效果。发明一方面解决了自主导航系统中机器为主导，外人不可干预的问题，另一方面解决了基于脑机接口技术来实现控制功能的稳定性低的问题，基于脑机接口的人为干预控制与基于自主导航技术的机器人自动控制相互结合，相辅相成。本发明可以有效地为残疾人提供一种可靠的半智能化移动方式，方便了残疾人对移动装置的使用，提高了残疾人的出行效率，满足了生活上、工作上的基本出行所需。针对目前残疾人移动装置使用范围窄，使用不方便的问题，本发明能够满足所有残疾人的使用，没有范围限制，使用过程简单方便。

附图说明

图1是人机交互式导航系统整体结构示意图。

图2是人机交互式导航系统的移动地盘结构图。

图3是四个黑白箭头形式的激励信号。

图4是(a)路口只能往前行走和往左行走情况下的激励信号以及(b)确认选择界面。

图5是脑电采集设备：(a)电极帽，(b)放大器。

图6电极帽电极分布。

图7脑电信号识别程序流程图。

图8带通滤波后的脑电信号。

图9ICA去伪迹后的脑电信号。

图10 7.5Hz刺激下稳态视觉诱发电位幅频图。

图11是用于实时导航控制部分的某一拓扑地图。

图12是用Kinect传感器获取的某路口距离信息。

图13是在某一个拓扑节点上的相邻节点情况。

图14是实时导航控制部分的数据融合处理与决策的程序流程图。

图15是运动控制器电路结构示意图。

图16是闭环总线网络的CAN通信方式。

图17是某次实验中人机交互式导航系统中助行移动装置的移动情况。

图18是人机交互式导航系统的功能流程图。

具体实施方式

下面结合附图对本发明具体实施方式作进一步详细描述。

本发明的一个人机交互式导航系统整体结构示意图如图1所示，整体结构包括信号采集模块、中央处理器模块、运动控制器模块和助行移动模块。其中，中央处理器模块里有两个处理器，处理器1用于完成脑电信号识别工作，处理器2用于完成实时导航控制工作。整个系统以助行移动模块作为基础部件，助行移动模块在系统中有一个移动地盘，其结构如图2所示。移动地盘上有四个由直流伺服电机控制的全向轮，每个全向轮以45度角形式安装在移动地盘上。

脑电信号识别部分的具体实施方式如下。

脑部的激励信号是根据实际环境的控制需要来设置的，而且，针对脑部刺激的信号有频率有求，研究表明当刺激频率在在6Hz到15Hz之间时，所产生的SSVEP现象最明显，而且受工频干扰较小。

本例中设置了四个激励信号，分别代表了不同的控制方向，详细情况如下表1所示。根据相应的频率要求，例子中显示了四个不同闪烁频率的黑白方向箭头，如图3所示。方向箭头以灰度值变化，从白到黑，以变化的频率来做区分。使用者用眼睛一直观看某一个闪烁块，就可以刺激使用者大脑，产生特定的脑电信号。系统为了确保脑电识别的准确性，根据导航控制部分对当前路口的实际情况分析，屏幕中只会显示代表可行方向的指定方向箭头。举一个具体例子，如果当前路口只能往前行走和往左行走，那么屏幕只会显示频率为6Hz和10Hz的两个方向箭头，如图4的左图所示，最终以绿色箭头表示脑电识别系统的选择方向，如图4的右图所示。

表1激励信号与控制含义的对应关系

研究表明人脑指定的某一频率刺激时，人脑尤其是枕部同频率的脑电信号电位会明显高于其他频率范围的脑电信号，即稳态视觉诱发电位(SSVEP)信号。

使用者需要通过佩戴脑电采集设备，才能采集上述人脑产生的脑电信号，并上传到中央处理器的处理器1进行实时处理。本例中的脑电采集设备有40导电极帽及NeuroscanNuAmps放大器，如图4所示，电极分布图如图5所示，放大器的相关参数如下表2所示。

表2脑电放大器的相关参数

处理器1获得脑电信号后，就开始对信号进行分析处理，其流程图如图7所示。处理器1用的是一台笔记本电脑，配置是Intel i73740QM CPU 2.7GHz，内存16GB。

处理器1首先对脑电信号进行了预处理，利用带通滤波器去除了脑电信号中的工频干扰，处理后的脑电信号如图8所示。其中，带通滤波器(band-pass filter)是一个允许特定频段的波通过同时屏蔽其他频段的设备。比如RLC振荡回路就是一个模拟带通滤波器。

然后再利用独立成分分析法(Independent components analysis，ICA)对滤波后的脑电信号进行了伪迹去除处理，这一步处理后的脑电信号如图9所示。其中，ICA又称盲源分离(Blind source separation,BSS)，它假设观察到的随机信号x服从模型x＝As，其中s为未知源信号，其分量相互独立，A为一未知混合矩阵。ICA的目的是通过且仅通过观察x来估计混合矩阵A以及源信号s。

最后利用典型关联分析算法对脑电信号进行分类并识别。其中，典型关联算法(CCA)是通过寻找两组变量对应的两个线性变换，来、使得通过线性变换后的两个组合变量之间的相关系数最大，来实现对两组变量之间相似性的挖掘。

在使用CCA算法实现对脑电信号的识别过程中，将频率模板设计为：

其中,分别代表时间点数，考虑的谐波个数及采样频率

通过寻找这样的和将脑电信号及频率模板Y变换为一维信号和y并使两者的相关性最大。因此该问题转换为如下优化问题：

通过求解上述问题，将会得到脑电信号和频率模板之间的相关性，对应频率大的即为最终的识别结果。如图10所示，具有最佳相关性的频率约为7.5Hz，从图中可以看出以7.5Hz为倍频的脑电信号的幅值强度明显高于其它频率的幅值强度，因此将该信号与以7.5Hz为倍频的正弦信号之间的相关性最大，据此可以实现对7.5Hz稳态视觉诱发电位的识别，也即该图中脑电信号的识别结果就是往左行走。

最后处理器1通过socket通信方式向处理器2发送脑电信号识别结果，此处，处理器1是客户端，处理器2是服务端。处理器2得到了脑电控制命令后，结合当前路口信息数据，再次进行融合处理。

实时导航控制部分的具体实施方式如下。

本例中的实时导航控制是通过拓扑地图来完成的，某一拓扑地图如图11所示，图中的绿点即是拓扑地图中的拓扑节点。拓扑节点取自实际环境中含有特殊意义的位置，各个位置的节点以是否连通组成了这个实际环境的拓扑地图。

处理器2是通过环境信息采集传感器来获取路口的详细信息的。环境信息采集传感器可以使用二维激光传感器，比如2D激光扫描仪Hokuyo，其规格说明如下表3所示。

表3 Hokuyo激光传感器参数

本例子中使用Kinect视觉传感器。Kinect使用光电编码技术得到深度信息，通过深度摄像头和彩色摄像头的配合，可以获取周围的环境信息。Kinect环境信息获取的可视范围参数如下表4。

表4 Kinect视觉传感器参数

环境信息采集传感器还可以采用其他类型的传感器，或者多传感器融合，只要能获取环境障碍物信息即可。因为系统需要环境障碍物信息和实时图像信息，所以本例子以Kinect视觉传感器为主，在某路口获取的距离信息如图12所示，例中以距离小于2米的路口作为可行路口。

Kinect视觉传感器连接到中央处理器的处理器2，处理器2也是一台笔记本电脑，配置是Inteli7-7700HQ CPU 2.8GHz，内存8GB。

处理器2在通过Kinect视觉传感器获得路口信息后，与拓扑地图中的拓扑节点进行匹配，确定自己在拓扑地图中的位置，然后再计算与其相邻的拓扑节点方位，确定可行方向，在某一个拓扑节点上的相邻节点情况如图13所示，图中2号节点有四个方向可供选择。然后将可行方向汇总，按照脑电激励信号的要求，将可行的前进方向信息转化为相应的图像激励信号，显示出来供使用者选择。

等待使用者做出选择后，处理器2会接收来自处理器1的脑电信号识别结果。结合当前的路口可行方向信息，处理器2会对数据进行融合处理，分析计算出最终的决策结果，这一步的算法流程图如图14所示。最终的决策结果作为一个控制信号将会发送到移动装置中的运动控制器。处理器2与运动控制器采用串口通信方式，波特率为115200Hz。

运动控制器使用的是STM32F103C8T6芯片，它是一款基于ARM Cortex-M内核STM32系列的32位的微控制器，程序存储器容量是64KB，需要电压2V～3.6V，工作温度为-40℃～85℃。它属于集成电路IC，也叫嵌入式微控制器，总线宽度32位，速度72MHz，拥有7通道DMA、多达7个定时器、通信接口、快速IO端口等资源。

运动控制器有三个处理器，一个主机，两个从机，都是用STM32F103C8T6芯片。三个处理器之间采用CAN通信方式来保持彼此之间的信息交流。两个从机负责控制四个直流伺服电机，每个从机各控制两个直流伺服电机。电路结构示意图如图15所示。

CAN是控制器局域网络(Controller Area Network)的简称，它是国际上应用最广泛的现场总线之一。与I2C、SPI等具有时钟信号的同步通讯方式不同，CAN通讯并不是以时钟信号来进行同步的，它是一种异步通讯，只具有CAN_High和CAN_Low两条信号线，共同构成一组差分信号线，以差分信号的形式进行通讯。本例中用的通信方式是闭环总线网络方式，它是一种遵循ISO11898标准的高速、短距离"闭环网络"，它的总线最大长度为40m，通信速度最高为1Mbps，总线的两端各要求有一个"120欧"的电阻，如图16所示。

运动控制器通过解析该控制指令来控制电机转动，电机带动移动装置移动，以此实现使用者用脑电信号来控制移动装置移动，而无须手动操作的功能。某次实验中人机交互式导航系统的行走情况如图17所示。

综上所述，绘制出了整个人机交互式导航系统的功能流程图，如图18所示。

Claims (4)

1.一种基于脑机接口的人机交互式导航系统，其特征在于：包括脑电信号采集设备、中央控制器模块、环境信息采集传感器、助行移动模块、运动控制模块；其中，助行移动模块是一个轮式移动机械装置，用于载人，方便使用者移动，同时系统所需电源、中央控制器模块、环境信息采集传感器和运动控制模块均设置于助行移动模块上；

中央控制器模块，用于完成脑电信号的识别和实时导航控制；

脑电信号采集设备包括电极帽及脑电信号放大器，用于使用者通过佩戴电极帽采集脑部的稳态视觉诱发电位，并通过放大器实现对脑电信号的放大，放大器将放大后的信号传送给中央控制模块，实现脑电信号的识别；

环境信息采集传感器安装固定在助行移动模块近地面的位置上，用于采集周围环境信息，传递给中央控制器模块，实现实时导航线路规划；

运动控制模块，包括供助行移动模块移动的电机、电机控制器及运动控制器，用于接收中央控制器模块的控制命令，执行相关运动控制。

2.权利要求1所述的基于脑机接口的人机交互式导航系统的方法，其特征在于，包括如下步骤：

步骤1：环境信息采集传感器收集实时状态下的环境路口信息，并及时上传给中央控制器，然后中央控制器分析计算出可行的前进方向；根据脑电激励信号的要求，结合实际的可行的前进方向，产生与可行的前进方向相对应的稳定激励信号，刺激使用者的大脑，使人脑产生稳态视觉诱发电位(SSVEP)；

步骤2：使用者佩戴脑电采集装置后，通过采集在不同频率刺激下的稳态视觉诱发电位，并对信号进行预处理，然后利用机器学习算法对信号进行识别；

步骤3：脑电信号识别出最终结果后，中央控制器再次结合当前路口信息情况，进行融合分析处理，然后发送一个可行的导航控制信号到运动控制模块的运动控制器中，运动控制器解析该控制信号形成相应的电机控制信号，并将其发送给相应的电机控制器，实现控制助行移动模块向指定的方向移动。

3.根据权利要求2所述的基于脑机接口的人机交互式导航系统的方法，其特征在于，步骤2具体为：

步骤2.1：通过脑电采集装置获得使用者的脑电信号后，分析稳态视觉电位的特征，根据各个通道的SSVEP现象的强弱实现对电极的确定；

步骤2.2：利用滤波器去除电磁干扰，并利用对立成分分析法实现对各种与脑电信号处于同频段的肌电信号的去除；

步骤2.3：根据稳态视觉电位的特征，使用典型关联分析算法计算处理后的脑电信号与正弦信号之间的相关性，通过相关性的大小决定所识别的信号的类型，最后获得最终识别的结果。

4.根据权利要求1或2所述的基于脑机接口的人机交互式导航系统的方法，其特征在于，步骤1中为代表每一个控制方向的激励信号设置一个激励频率，并保持在信号激励时信号的激励频率不变。