CN111631848A - 基于脑机混合智能的意念控制假肢系统 - Google Patents

Abstract

一种基于脑机混合智能的意念控制假肢系统，包括依次连接的视觉刺激模块、便携式脑电信号采集设备、脑电信号处理与识别模块和假肢，所述视觉刺激模块用于为被试者提供视觉刺激选项，脑电信号处理与识别模块用于采集被试者的SSMVEP脑电信号，脑电信号处理与识别模块用于对SSMVEP脑电信号进行特征提取和分类，根据分类结果驱动假肢进行6种动作，所述6种动作为：按电梯，竖大拇指，将水倒入杯子，将食物送入嘴中，将物体上移到橱柜，两根手指捡起一个物体。本发明能够对疲劳状态下的脑卒中患者提高分类辨识精度，进一步减少疲劳状态下脑卒中患者对假肢的误操作率，方便脑卒中患者的日常生活，提高意念控制假肢系统的适用性。

Description

基于脑机混合智能的意念控制假肢系统

技术领域

本发明涉及一种假肢控制。特别是涉及一种基于脑机混合智能的意念控制假肢系统。

背景技术

脑-机接口(Brain-computer interface，BCI)技术通过获取和分析大脑活动信号并解码脑神经活动信息来实现与外界的信息交流或对外部设备的控制，为大脑提供了一条全新的、无需依赖常规外周神经与肌肉系统的对外交流通道。目前，脑-机接口技术已经在医学诊断、残疾辅助、智能家居和生活娱乐等多个领域中得到广泛应用，尤其是在脑卒中患者的日常辅助方面起到了极大地作用。脑-机接口采集脑卒中患者的脑电信号后，对脑电信号进行特征提取与分类，进一步转化为指令控制假肢设备，辅助脑卒中患者完成一些日常活动，大大方便了脑卒中患者的生活，减轻了患者以及家属的负担。

基于SSMVEP的BCI系统由于结构配置简单，训练需求小，信号稳定且传输率高等优势得到了研究人员的青睐。SSMVEP是指人眼在受到持续一段时间的固定频率的外部视觉刺激时，会在大脑的视觉皮层中产生与刺激频率相关的周期性响应。相比SSVEP，SSMVEP视觉上的刺激更加柔和，对亮度对比度变化的敏感度较低，不容易引起被试者的视觉和精神疲劳，有助于获取更加稳定的SSMVEP信号。传统SSMVEP信号特征提取方法一般通过典型相关分析、快速傅里叶变换、小波变换、希尔伯特-黄变换等方法提取EEG信号在频域上的节律特性；通过主成分分析、独立成分分析、共同空间模式等方法提取EEG信号在空间域上的空间分布特性。虽然这些方法取得了可喜的结果，但系统在实际应用中仍然存在识别正确率和信息传输速率较低的问题，无法满足有需要的群体利用BCI进行日常交流与控制的要求。将深度学习引入到BCI应用中，有望减少在手工提取EEG数据特征方面的工作量，同时保持良好的分类性能。深度学习方法不同于传统的模式识别算法，它通过各个网络层逐渐抽取数据的特征来组合成数据的特征表示，进而自动学习数据的内在属性，而不需要手动提取数据特征，能更好的获取数据的全方位信息和内在联系，为脑卒中患者提高了BCI适用性。

发明内容

本发明所要解决的技术问题是，提供一种能够帮助上肢运动通路损伤以致于活动受限的脑卒中病患完成日常任务的基于脑机混合智能的意念控制假肢系统。

本发明所采用的技术方案是：一种基于脑机混合智能的意念控制假肢系统，包括有依次连接的视觉刺激模块、便携式脑电信号采集设备、脑电信号处理与识别模块和假肢，其中，所述视觉刺激模块用于为被试者提供视觉刺激选项，脑电信号处理与识别模块用于采集被试者的SSMVEP脑电信号，脑电信号处理与识别模块用于对SSMVEP脑电信号进行特征提取和分类，根据分类结果驱动假肢进行6种动作，所述6种动作为：按电梯，竖大拇指，将水倒入杯子，将食物送入嘴中，将物体上移到橱柜，两根手指捡起一个物体。

本发明的基于脑机混合智能的意念控制假肢系统，能够对疲劳状态下的脑卒中患者提高分类辨识精度，进一步减少疲劳状态下脑卒中患者对假肢的误操作率，方便脑卒中患者的日常生活，提高意念控制假肢系统的适用性。

附图说明

图1是本发明基于脑机混合智能的意念控制假肢系统的构成框图；

图2是本发明中视觉刺激模块的示意图；

图3是本发明中便携式脑电信号采集设备的构成框图；

图4是本发明脑电信号处理与辨识模块的流程图。

具体实施方式

下面结合实施例和附图对本发明的基于脑机混合智能的意念控制假肢系统做出详细说明。

如图1所示，本发明的基于脑机混合智能的意念控制假肢系统，包括有依次连接的视觉刺激模块1、便携式脑电信号采集设备2、脑电信号处理与识别模块3和假肢4，其中，所述视觉刺激模块1用于为被试者提供视觉刺激选项，脑电信号处理与识别模块3用于采集被试者的SSMVEP脑电信号，脑电信号处理与识别模块3用于对SSMVEP脑电信号进行特征提取和分类，根据分类结果驱动假肢4进行6种动作，所述6种动作为：按电梯，竖大拇指，将水倒入杯子，将食物送入嘴中，将物体上移到橱柜，两根手指捡起一个物体。

被试者观看具有6个不同刺激频率的环形运动棋盘格刺激范式的视觉刺激模块，同时便携式脑电信号采集设备采集被试者的SSMVEP脑电信号；脑电信号处理与识别模块对获得的SSMVEP脑电信号进行预处理，转化为二维EEG图像，将二维EEG图像输入CNN-LSTM融合神经网络进行SSMVEP脑电信号的特征提取与分类，该CNN-LSTM融合神经网络结合卷积神经网络与长短时记忆网络能够提取SSMVEP脑电信号中的时-空深度特征，将分类结果转化为指令传输到假肢，假肢协助被试者完成与各环形运动棋盘格刺激范式对应的动作，动作包括按电梯，竖大拇指，将水倒入杯子，将食物送入嘴中，将物体上移到橱柜，两根手指捡起一个小物体；脑卒中患者的疲劳状态是由于为完成认知任务而长时间集中注意力关注SSMVEP视觉刺激界面造成的，与正常状态相比，在疲劳状态下脑卒中患者将会承受更大的认知工作量，认知能力大幅度降低，较难专注于自己的认知任务，进而会增加BCI的误操作率，本发明所述脑电信号处理和辨识模块使用本发明CNN-LSTM融合神经网络可以提高疲劳状态下的脑卒中患者的分类准确率。

如图2所示，所述的视觉刺激模块(1)所显示的刺激界面包括6个环形运动棋盘格刺激范式，由从内到外的8个圆环构成，每个圆环被分割为数目相等、大小相同的黑白两色格子，黑白两色格子相间排列以确保图案整体亮度和明暗区域的均匀性；每个圆环上黑白两色所占区域面积相等，在整个环形棋盘格的中心处设有1.2像素大小的黑色实心点，帮助被试者定位视野中心；范式图案上的所有黑白网格都沿着径向运动，通过棋盘中的环的变化过程来演示棋盘的收缩扩张运动，但是图案的整体大小一直保持不变，当最外层的环形区域膨胀超出图案的边界时，它将消失，并从内层添加一个新的环；当最内层的环形区域收缩到中心点时也会消失，并从外层补充一个新的环，一个完整的运动周期由收缩运动和扩张运动两个阶段组成。

所述的6个环形运动棋盘格刺激范式分上下两行分布，每行具有3个环形运动棋盘格刺激范式；6个环形运动棋盘格刺激范式的刺激频率依次为4.6Hz、6.7Hz、8.6Hz、11Hz、16Hz和18Hz，环形运动棋盘格刺激范式的刺激频率从左上到右下逐渐增大，这6个环形运动棋盘格刺激范式与所述的假肢的6种动作一一对应；所述的环形运动棋盘格范式诱发出简洁的基频SSMVEP响应，所诱发的高次谐波响应少，可以减少被试者的视觉和精神疲劳。

所述的便携式脑电采集设备，如图3所示，包括有：依次连接的用于采集脑电信号的脑电极帽及其转接线2.1、用于脑电信号放大和转换的生物电信号采集模块2.2、用于控制脑电信号的采集并通过USB通信电路2.4输出脑电信号的FPGA处理器2.3，以及分别连接生物电信号采集模块2.2和FPGA处理器2.3的系统供电电路2.5，其中，

所述的脑电极帽及其转接线2.1中的脑电极帽采集不同脑区的脑电信号，通过转接线及DSUB37接口与生物电信号采集模块2.2相连接，用于生物电信号的采集和传输；

所述的生物电信号采集模块2.2是由数片集成了用于接收脑电帽采集的脑电压信号的高共模抑制比模拟输入模块、用于进行脑电压信号放大的低噪声可编程增益放大器和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器的生物电信号采集芯片组成；

所述的FPGA处理器2.3用于调整生物电信号采集模块2.2的采集模式与参数和控制USB通信电路2.4向数据处理分析模块输出脑电信号数据；

所述的USB通信电路2.4工作在异步FIFO模式，最高传输速率8MB/秒，在FPGA处理器(3)的控制下周期性地将采集到的脑电信号以数据包的形式向数据处理分析模块输出；

所述的系统供电电路2.5，输入电压为5V，由USB接口进行供电，通过电压转换模块提供系统不同芯片的工作电压；如图4所示，所述的脑电信号处理与识别模块具体运行如下步骤：

1)被试者观看视觉刺激模块的SSMVEP视觉刺激界面中与运动意愿对应的SSMVEP视觉刺激选项，便携式脑电信号采集设备采集被试者4秒的SSMVEP脑电信号，并对SSMVEP脑电信号进行预处理；

所述的采集被试者4秒的SSMVEP脑电信号，是通过40通道的电极帽完成的，电极的排布按10-20国际标准导联方法分配，所述的预处理是对SSMVEP脑电数据进行1-40Hz的带通滤波，使用50Hz陷波滤波器去除工频噪声干扰，利用ICA方法去除眼电伪迹，得到预处理后的SSMVEP脑电信号。

2)对预处理后的4秒的SSMVEP脑电信号舍弃掉前1秒的SSMVEP脑电信号，获得后3秒的SSMVEP脑电信号，使用3个连续的长度为1秒的时间窗对3秒的SSMVEP脑电信号进行分割，得到1个SSMVEP脑电信号样本组，包括0～1秒、1～2秒和2～3秒的三个SSMVEP脑电信号样本；

3)通过FFT对每个SSMVEP脑电信号样本的每个通道求取三个频带中每个频带的平均功率，并作为该通道的测量值，测量值为3个；所述的三个频带分别为：θ频带，频率范围为4-7Hz；α频带，频率范围为8-13Hz；β频带，频率范围为13-30Hz，这三个频带包括了视觉刺激模块(1)中的全部刺激频率；

4)将每个SSMVEP脑电信号样本的全部通道的测量值映射为二维彩色EEG图像；包括：

(4.1)通过等距方位投影将各个通道对应电极的三维坐标转换成二维坐标，所有电极共同的投影中心到其他电极的距离保持不变，以保持电极之间的相对距离；

(4.2)利用有限元插值法将全部通道单个频带的测量值映射为二维灰度EEG图像，该二维灰度EEG图像保持了SSMVEP脑电信号中蕴含的空间结构信息和频域信息；

(4.3)对三个频带重复第(4.2)步图像映射过程，得到各个频带的二维灰度EEG图像；

(4.4)将三个频带的二维灰度EEG图像转化为一个二维彩色EEG图像。

5)对SSMVEP脑电信号样本组中3个SSMVEP脑电信号样本重复步骤3)～步骤4)，得到3个二维彩色EEG图像；

6)将3个二维彩色EEG图像输入CNN-LSTM融合神经网络进行特征提取与分类，CNN-LSTM融合神经网络结合卷积神经网络与长短时记忆网络提取SSMVEP脑电信号中的时-空深度特征；所述CNN-LSTM融合神经网络运如以下步骤：

1)将3个二维彩色EEG图像依次输入三个平行卷积组，通过平行卷积组提取各个二维彩色EEG图像的频域和空间特征，获得特征向量；所述每个平行卷积组依次包括：

1)4个堆叠的第一卷积层，卷积核大小都为4×4，激活函数都为ReLU函数；

2)第一最大池化层；

3)3个堆叠的第二卷积层，卷积核大小都为4×4，激活函数都为ReLU函数；

4)第二最大池化层；

5)2个堆叠的第三卷积层，卷积核大小都为4×4，激活函数都为ReLU函数

6)第三最大池化层；

7)第四卷积层，卷积核大小为4×4，激活函数为ReLU函数；

8)第四最大池化层；

9)展平层。

所述第一卷积层、第二卷积层、第三卷积层和第四卷积层，均是采用卷积核在特征图上滑动的方式，对特征图上各个局部特征执行卷积运算来提取更高级特征；以H_j表示堆叠的卷积层中第j层卷积层的特征图，对于第四卷积层，j＝1，通过如下公式得到第j层卷积层的特征图：

其中W_j和b_j分别表示第j层卷积层的一个卷积核的权重矩阵和偏移向量；

表示第j-1层卷积层的特征图与卷积核权重矩阵的卷积运算；h表示激励函数，将卷积操作的结果进行非线性激活，得到第j层卷积层的特征图。

2)将获得的特征向量输入到长短时记忆网络中，按各个二维彩色EEG图像的时间顺序连接各个长短时记忆模块以处理和提取二维彩色EEG图像序列中的时序信息；

3)对各个平行卷积组的输出进行一维卷积；

4)将进行一维卷积后的输出和所述长短时记忆网络的最后一个长短时记忆模块的输出进行整合，将整合后的输出馈送到全连接层中，最终送入到Softmax层进行分类。

7)根据步骤6)的分类结果，生成控制指令控制假肢进行6种手部动作中的一种动作，所述6种手部动作与环形运动棋盘格刺激范式一一对应，实现假肢的意念控制。

具体应用假肢帮助脑卒中患者完成手部动作时，脑卒中患者坐于座椅之上，将脑电极帽佩戴于患者头部，将患者受损上肢置于所述假肢中，患者通过观看SSMVEP视觉刺激模块中特定SSMVEP刺激范式，脑电信号处理与识别模块对脑卒中患者的SSMVEP脑电信号进行辨识，分类结果转化为指令控制假肢协助患者完成日常手部动作。

以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案类似的结构或实施例，均属本发明的保护范围。

Claims (8)

1.一种基于脑机混合智能的意念控制假肢系统，其特征在于，包括有依次连接的视觉刺激模块(1)、便携式脑电信号采集设备(2)、脑电信号处理与识别模块(3)和假肢(4)，其中，所述视觉刺激模块(1)用于为被试者提供视觉刺激选项，脑电信号处理与识别模块(3)用于采集被试者的SSMVEP脑电信号，脑电信号处理与识别模块(3)用于对SSMVEP脑电信号进行特征提取和分类，根据分类结果驱动假肢(4)进行6种动作，所述6种动作为：按电梯，竖大拇指，将水倒入杯子，将食物送入嘴中，将物体上移到橱柜，两根手指捡起一个物体。

2.根据权利要求1所述的基于脑机混合智能的意念控制假肢系统，其特征在于，所述的视觉刺激模块(1)所显示的刺激界面包括6个环形运动棋盘格刺激范式，所述的6个环形运动棋盘格刺激范式分上下两行分布，每行具有3个环形运动棋盘格刺激范式；6个环形运动棋盘格刺激范式的刺激频率依次为4.6Hz、6.7Hz、8.6Hz、11Hz、16Hz和18Hz，环形运动棋盘格刺激范式的刺激频率从左上到右下逐渐增大，这6个环形运动棋盘格刺激范式与所述的假肢的6种动作一一对应。

3.根据权利要求1所述的基于脑机混合智能的意念控制假肢系统，其特征在于，所述的脑电信号处理与识别模块具体运行如下步骤：

1)被试者观看视觉刺激模块的SSMVEP视觉刺激界面中与运动意愿对应的SSMVEP视觉刺激选项，便携式脑电信号采集设备采集被试者4秒的SSMVEP脑电信号，并对SSMVEP脑电信号进行预处理；

2)对预处理后的4秒的SSMVEP脑电信号舍弃掉前1秒的SSMVEP脑电信号，获得后3秒的SSMVEP脑电信号，使用3个连续的长度为1秒的时间窗对3秒的SSMVEP脑电信号进行分割，得到1个SSMVEP脑电信号样本组，包括0～1秒、1～2秒和2～3秒的三个SSMVEP脑电信号样本；

3)通过FFT对每个SSMVEP脑电信号样本的每个通道求取三个频带中每个频带的平均功率，并作为该通道的测量值，测量值为3个；所述的三个频带分别为：θ频带，频率范围为4-7Hz；α频带，频率范围为8-13Hz；β频带，频率范围为13-30Hz，这三个频带包括了视觉刺激模块(1)中的全部刺激频率；

4)将每个SSMVEP脑电信号样本的全部通道的测量值映射为二维彩色EEG图像；

5)对SSMVEP脑电信号样本组中3个SSMVEP脑电信号样本重复步骤3)～步骤4)，得到3个二维彩色EEG图像；

6)将3个二维彩色EEG图像输入CNN-LSTM融合神经网络进行特征提取与分类，CNN-LSTM融合神经网络结合卷积神经网络与长短时记忆网络提取SSMVEP脑电信号中的时-空深度特征；

7)根据步骤6)的分类结果，生成控制指令控制假肢进行6种手部动作中的一种动作，所述6种手部动作与环形运动棋盘格刺激范式一一对应，实现假肢的意念控制。

4.根据权利要求3所述的基于脑机混合智能的意念控制假肢系统，其特征在于，步骤1)所述的采集被试者4秒的SSMVEP脑电信号，是通过40通道的电极帽完成的，电极的排布按10-20国际标准导联方法分配，所述的预处理是对SSMVEP脑电数据进行1-40Hz的带通滤波，使用50Hz陷波滤波器去除工频噪声干扰，利用ICA方法去除眼电伪迹，得到预处理后的SSMVEP脑电信号。

5.根据权利要求3所述的基于脑机混合智能的意念控制假肢系统，其特征在于，步骤4)包括：

(4.1)通过等距方位投影将各个通道对应电极的三维坐标转换成二维坐标，所有电极共同的投影中心到其他电极的距离保持不变，以保持电极之间的相对距离；

(4.2)利用有限元插值法将全部通道单个频带的测量值映射为二维灰度EEG图像，该二维灰度EEG图像保持了SSMVEP脑电信号中蕴含的空间结构信息和频域信息；

(4.3)对三个频带重复第(4.2)步图像映射过程，得到各个频带的二维灰度EEG图像；

(4.4)将三个频带的二维灰度EEG图像转化为一个二维彩色EEG图像。

6.根据权利要求3所述的基于脑机混合智能的意念控制假肢系统，其特征在于，步骤6)所述CNN-LSTM融合神经网络运如以下步骤：

1)将3个二维彩色EEG图像依次输入三个平行卷积组，通过平行卷积组提取各个二维彩色EEG图像的频域和空间特征，获得特征向量；

2)将获得的特征向量输入到长短时记忆网络中，按各个二维彩色EEG图像的时间顺序连接各个长短时记忆模块以处理和提取二维彩色EEG图像序列中的时序信息；

3)对各个平行卷积组的输出进行一维卷积；

4)将进行一维卷积后的输出和所述长短时记忆网络的最后一个长短时记忆模块的输出进行整合，将整合后的输出馈送到全连接层中，最终送入到Softmax层进行分类。

7.根据权利要求6所述的基于脑机混合智能的意念控制假肢系统，其特征在于，步骤1)所述每个平行卷积组依次包括：

1)4个堆叠的第一卷积层，卷积核大小都为4×4，激活函数都为ReLU函数；

2)第一最大池化层；

3)3个堆叠的第二卷积层，卷积核大小都为4×4，激活函数都为ReLU函数；

4)第二最大池化层；

5)2个堆叠的第三卷积层，卷积核大小都为4×4，激活函数都为ReLU函数

6)第三最大池化层；

7)第四卷积层，卷积核大小为4×4，激活函数为ReLU函数；

8)第四最大池化层；

9)展平层。

8.根据权利要求7所述的基于脑机混合智能的意念控制假肢系统，其特征在于，所述第一卷积层、第二卷积层、第三卷积层和第四卷积层，均是采用卷积核在特征图上滑动的方式，对特征图上各个局部特征执行卷积运算来提取更高级特征；以H_j表示堆叠的卷积层中第j层卷积层的特征图，对于第四卷积层，j＝1，通过如下公式得到第j层卷积层的特征图：

其中W_j和b_j分别表示第j层卷积层的一个卷积核的权重矩阵和偏移向量；

表示第j-1层卷积层的特征图与卷积核权重矩阵的卷积运算；h表示激励函数，将卷积操作的结果进行非线性激活，得到第j层卷积层的特征图。

Images