CN111544854A - 基于脑肌电信号深度学习融合的脑卒中运动康复方法 - Google Patents

Abstract

一种基于脑肌电信号深度学习融合的脑卒中运动康复方法：使用者根据显示屏中的符号提示进行相应的运动想象，产生的运动想象脑电信号及肌电信号，通过脑电信号采集装置、康复运动装置中肌电信号采集装置进行采集，并依次进行A/D转换、放大、陷波、滤波、截取预处理；经过预处理后的脑电、肌电信号通过无线通信方式传输至上位机，上位机对脑电信号、肌电信号进行特征提取、特征融合和分类，以及进行运动意图辨识和疲劳监测，输出辨识结果和疲劳度；辨识结果和疲劳度通过无线通信方式回传至康复运动装置，康复运动装置根据辨识结果和疲劳度解算出驱动信号，带动肢体做相应的训练动作。本发明能够增强使用者在康复训练过程中的主动性。

Description

基于脑肌电信号深度学习融合的脑卒中运动康复方法

技术领域

本发明涉及一种脑卒中运动康复方法。特别是涉及一种基于脑肌电信号深度学习融合的脑卒中运动康复方法。

背景技术

脑卒中是一种由于脑部血管骤然破裂或阻塞导致血液不能流入大脑致使脑组织损伤的一种脑血液循环障碍性疾病。根据美国心脏协会(AHA)2018年心脏病与卒中统计数据更新显示，全球范围内卒中死亡率占11.8％，成为仅次于心脏病的第二大死因。根据已有医学研究表明，绝大多数脑卒中患者的脑和肢体神经通路并未完全受损，基于运动想象的脑机接口可用于重建损伤的神经通路。近年来，利用脑机接口技术辨识人脑意图，实现人脑与计算机或外部设备的通讯与控制，已被广泛应用于医疗康复训练当中。其中，运动想象作为一种内源性脑电电位的诱发范式，具有无需外界刺激、训练时间相对较短的特点，适应于基于脑机接口的运动康复医疗设备。在运动康复训练过程中，患者在进行长时间、高强度训练时容易因肌肉疲劳而发生痉挛或拉伤等，因此系统需要根据患者的康复状态进行必要的调整和控制，而皮层肌电信号在直接反映患者运动意图的同时，往往还蕴含了患者运动神经系统功能状态的大量信息，如疲劳度等。因此，基于运动想象的脑电信号与皮层肌电信号相结合的全肢体康复设备能更好地增强患者主动参与性、个体适应性和操作安全性等各个方面。

发明内容

本发明所要解决的技术问题是，提供一种能够实现对患者运动意图的实时监测与分析并进行自主康复训练的基于脑肌电信号深度学习融合的脑卒中运动康复方法。

本发明所采用的技术方案是：一种基于脑肌电信号深度学习融合的脑卒中运动康复方法，包括如下步骤：

1)使用者将需要康复的肢体固定于康复运动装置中，并将脑电信号采集装置的电极帽固定在头部对应位置；

2)使用者根据显示屏中的符号提示进行相应的运动想象，产生的运动想象脑电信号及肌电信号通过脑电信号采集装置、康复运动装置中肌电信号采集装置进行采集，并依次进行A/D转换、放大、陷波、滤波、截取预处理；

3)经过预处理后的脑电、肌电信号通过无线通信方式传输至上位机，上位机对脑电信号、肌电信号进行特征提取、特征融合和分类，以及进行运动意图辨识和疲劳监测，输出辨识结果和疲劳度；

4)辨识结果和疲劳度通过无线通信方式回传至康复运动装置，康复运动装置根据辨识结果和疲劳度解算出驱动信号，带动肢体做相应的训练动作。

步骤2)中在首次进行运动想象时，只产生运动想象脑电信号，肌电信号为零。

步骤2)所述的运动想象每次持续8s，前两秒显示屏显示空白，之后在显示屏中央出现一个□字，并发出beep声提示，提醒使用者运动想象即将开始；从2s到3s间，显示屏上的□字随机变成F、T、L或R中的一种字母提示，使用者根据字母提示想象与字母所对应的脚运动、舌头运动、左手运动或右手运动，想象运动期间持续4s；每两次运动想象期间有3至5s的随机休息间隔，每30次运动想象之间有3分钟的休息时间。

步骤2)所述的脑电信号采集装置根据国际10-20系统采集16个电极通道的脑电数据，所述16个电极通道分别为Fz、FCz、FC1、FC2、FC3、FC4、Cz、C1、C2、C3、C4、CPz、CP1、CP2、P1、POz；参考电极放置在左耳乳突处，接地电极由CMS和DRL两个独立电极替代；肌电信号采集装置采集二头肌与三头肌的皮层电肌信号，采样率为500Hz。

步骤2)所述的滤波处理，其中，对脑电信号滤波的频段为3-40Hz，对肌电信号滤波的频段为2-500Hz。

步骤2)所述的截取处理，是分别截取每次运动想象的3-7s时长的脑电信号，截取肌电信号的时长与截取脑电信号的时长相同。

步骤3)是采用一种多层网络分别用于运动意图分类及状态监测，包括：

(1)L1层，该层为信号输入层，输入16个脑电电极通道和2个肌电电极通道的信号，即18*1000的输入矩阵，其中18代表16个脑电电极通道的运动想象脑电信号和2个肌电电极通道的肌电信号，1000代表每个通道的时间采样点；

(2)L2层，该层为特征提取层，用于分别对脑电信号、肌电信号进行特征提取，得到特征矩阵，并输出大脑和肌肉的疲劳指数，具体是：

通过OVR-CSP多分类特征提取方法提取脑电信号特征，即采用4次共空间模式算法进行特征提取，并将4次的结果逐一拼接在一起，形成一个特征矩阵；

通过计算积分肌电值作为肌电信号特征，计算公式为：

其中，x_i为第i个信号采样点值，N为信号长度；

通过计算脑电信号的慢波和快波的能量比，即大脑疲劳指数F_θ/β，反映大脑的疲劳程度，表达式为：

其中，E_θ为θ波能量，E_β为β波能量；

计算肌电信号功率曲线中心位置的频率值，即肌肉疲劳指数MPF，表达式为：

其中，f为频率变量，p(f)为功率谱函数；

(3)L3层，该层为状态监测层，用于基于L2层得到的大脑疲劳指数和肌肉疲劳指数计算整体的疲劳指数，表达式为：

F＝F_θ/β*MPF

(4)L4层，为特征融合层，包括使用64种滤波器的卷积层和池化层，卷积层用于将L2层得到的脑电信号特征矩阵和肌电信号特征矩阵进行融合，所述融合的方式为每一种滤波器分别与运动想象脑电信号特征和肌电特征进行卷积，得到64种不同的融合特征映射，卷积核的大小设置为25*1；池化层使用均值池化，针对融合特征进行降采样，减少后续计算消耗；

(5)L5层，该层为分类器，包括全连接层和输出层，其中，全连接层将特征融合层与输出层全连接，神经元个数设置为100个；输出层设置4个神经元，输出的结果分别代表左手运动想象、右手运动想象、左脚运动想象、右脚运动想象。

本发明的基于脑肌电信号深度学习融合的脑卒中运动康复方法，具有如下有益效果：

1、提出了一种基于脑电与肌电信号相结合的运动康复方法，能够增强使用者在康复训练过程中的主动性，修复受损运动神经，提升康复训练的效果；

2、提出了一种基于脑电和肌电信号对人体运动意图进行有效辨识的方法。

3、根据脑电和肌电信号实时监测大脑状态及肌肉疲劳程度，合理地安排患者进行更加安全、人性化的自主康复训练，从而达到良好的体验效果。

附图说明

图1是本发明基于脑肌电信号深度学习融合的脑卒中运动康复方法的流程图；

图2是本发明中脑电采集装置的构成构图；

图3是本发明单次运动想象时序图；

图4是本发明的多层网络分别用于运动意图分类及状态监测的流程图。

具体实施方式

下面结合实施例和附图对本发明的基于脑肌电信号深度学习融合的脑卒中运动康复方法做出详细说明。

本发明的基于脑肌电信号深度学习融合的脑卒中运动康复方法，将脑电信号采集装置和肌电信号采集装置采集的脑电信号的肌电信号，预处理后通过无线通信方式送入远程计算机，所述远程计算机进行特征提取、融合和分类，并将运动意图辨识结果通过无线通信方式送入康复运动装置，康复运动装置根据辨识结果和疲劳度解算出驱动信号，带动肢体做相应的训练动作。

同时，远程计算机对脑电信号和肌电信号进行疲劳度评估，输出疲劳度系数；康复运动装置则根据辨识结果及疲劳度系数解算出驱动信号，带动肢体做相应的训练动作。

如图1所示，本发明的基于脑肌电信号深度学习融合的脑卒中运动康复方法，包括如下步骤：

1)使用者将需要康复的肢体固定于康复运动装置中，并将脑电信号采集装置的电极帽固定在头部对应位置；

2)使用者根据显示屏中的符号提示进行相应的运动想象，产生的运动想象脑电信号及肌电信号通过脑电信号采集装置、康复运动装置中肌电信号采集装置进行采集，并依次进行A/D转换、放大、陷波、滤波、截取预处理；本发明中，在首次进行运动想象时，只产生运动想象脑电信号，肌电信号为零。

本发明所述的脑电采集装置，是采用申请号为201810168228.X、发明名称为“便携式脑电采集设备及其在SSVEP和运动想象中的应用”的专利申请所公开的结构，如图2所示，包括，系统供电电路11、脑电极帽转接线12、PGA放大电路13、AD转换器14、STM32处理器15和WIFI模块16，其中，所述脑电极帽转接线12的输入端连接脑电极帽用于采集脑电信号，输出端依次连接PGA放大电路13、AD转换器4和STM32处理器15，所述STM32处理器15分别连接PGA放大电路13和AD转换器14用于对PGA放大电路13和AD转换器14的工作状态进行控制，所述WIFI模块16连接STM32处理器15用于通过无线局域网使STM32处理器15与上位机进行通信，所述系统供电电路11分别连接PGA放大电路13、AD转换器14、STM32处理器15和WIFI模块16用于提供电源。

所述的脑电信号采集装置根据国际10-20系统通过脑电极帽采集16个电极通道的脑电数据，所述16个电极通道分别为Fz、FCz、FC1、FC2、FC3、FC4、Cz、C1、C2、C3、C4、CPz、CP1、CP2、P1、POz；参考电极放置在左耳乳突处，接地电极由CMS和DRL两个独立电极替代；肌电信号采集装置采集二头肌与三头肌的皮层电肌信号，采样率为500Hz。

本发明中所述的康复运动装置可以采用：力迈徳医疗康复器械，如：上下肢主被动训练系统L220L，或四肢联动智能反馈训练系统AL450；或北京西格科技有限公司的产品，如：无线脑电肌电系统eegomylab，或无线脑电肌电系统Eegosports88。

如图3所示，所述的运动想象每次持续8s，前两秒显示屏显示空白，之后在显示屏中央出现一个□字，并发出beep声提示，提醒使用者运动想象即将开始；从2s到3s间，显示屏上的□字随机变成F、T、L或R中的一种字母提示，使用者根据字母提示想象与字母所对应的脚运动、舌头运动、左手运动或右手运动，想象运动期间持续4s；每两次运动想象期间有3至5s的随机休息间隔，每30次运动想象之间有3分钟的休息时间。

滤波处理中，对脑电信号滤波的频段选择3-40Hz，对肌电信号滤波的频段选择2-500Hz。

为获得信号最强的ERD/ERS模式，所述的截取处理，是分别截取每次运动想象的3-7s时长的脑电信号，截取肌电信号的时长与截取脑电信号的时长相同。

3)经过预处理后的脑电、肌电信号通过无线通信方式传输至上位机，上位机对脑电信号、肌电信号进行特征提取、特征融合和分类，以及进行运动意图辨识和疲劳监测，输出辨识结果和疲劳度；

如图4所示，是采用一种多层网络分别用于运动意图分类及状态监测，包括：

(1)L1层，该层为信号输入层，输入16个脑电电极通道和2个肌电电极通道的信号，即18*1000的输入矩阵，其中18代表16个脑电电极通道的运动想象脑电信号和2个肌电电极通道的肌电信号，1000代表每个通道的时间采样点；

(2)L2层，该层为特征提取层，用于分别对脑电信号、肌电信号进行特征提取，得到特征矩阵，并输出大脑和肌肉的疲劳指数，具体是：

通过OVR-CSP多分类特征提取方法提取脑电信号特征，即采用4次共空间模式算法进行特征提取，并将4次的结果逐一拼接在一起，形成一个特征矩阵；

通过计算积分肌电值作为肌电信号特征，计算公式为：

其中，x_i为第i个信号采样点值，N为信号长度；

通过计算脑电信号的慢波(θ波)和快波(β波)的能量比，即大脑疲劳指数F_θ/β，反映大脑的疲劳程度，表达式为：

其中，E_θ为θ波能量，E_β为β波能量；

计算肌电信号功率曲线中心位置的频率值，即肌肉疲劳指数MPF，表达式为：

其中，f为频率变量，p(f)为功率谱函数；

(3)L3层，该层为状态监测层，用于基于L2层得到的大脑疲劳指数和肌肉疲劳指数计算整体的疲劳指数，表达式为：

F＝F_θ/β*MPF

(4)L4层，为特征融合层，包括有使用64种滤波器的卷积层和池化层，卷积层用于将L2层得到的脑电信号特征矩阵和肌电信号特征矩阵进行融合，所述融合的方式为每一种滤波器分别与运动想象脑电信号特征和肌电特征进行卷积，得到64种不同的融合特征映射，卷积核的大小设置为25*1；池化层使用均值池化，针对融合特征进行降采样，减少后续计算消耗；

(5)L5层，该层为分类器，包括全连接层和输出层，其中，全连接层将特征融合层与输出层全连接，神经元个数设置为100个；输出层设置4个神经元，输出的结果分别代表左手运动想象、右手运动想象、左脚运动想象、右脚运动想象。

4)辨识结果和疲劳度通过无线通信方式回传至康复运动装置，康复运动装置根据辨识结果和疲劳度解算出驱动信号，带动肢体做相应的训练动作。

以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案类似的结构或实施例，均属本发明的保护范围。

Claims (7)

1.一种基于脑肌电信号深度学习融合的脑卒中运动康复方法，其特征在于，包括如下步骤：

1)使用者将需要康复的肢体固定于康复运动装置中，并将脑电信号采集装置的电极帽固定在头部对应位置；

2)使用者根据显示屏中的符号提示进行相应的运动想象，产生的运动想象脑电信号及肌电信号通过脑电信号采集装置、康复运动装置中肌电信号采集装置进行采集，并依次进行A/D转换、放大、陷波、滤波、截取预处理；

3)经过预处理后的脑电、肌电信号通过无线通信方式传输至上位机，上位机对脑电信号、肌电信号进行特征提取、特征融合和分类，以及进行运动意图辨识和疲劳监测，输出辨识结果和疲劳度；

4)辨识结果和疲劳度通过无线通信方式回传至康复运动装置，康复运动装置根据辨识结果和疲劳度解算出驱动信号，带动肢体做相应的训练动作。

2.根据权利要求1所述的基于脑肌电信号深度学习融合的脑卒中运动康复方法，其特征在于，步骤2)中在首次进行运动想象时，只产生运动想象脑电信号，肌电信号为零。

3.根据权利要求1所述的基于脑肌电信号深度学习融合的脑卒中运动康复方法，其特征在于，步骤2)所述的运动想象每次持续8s，前两秒显示屏显示空白，之后在显示屏中央出现一个□字，并发出beep声提示，提醒使用者运动想象即将开始；从2s到3s间，显示屏上的□字随机变成F、T、L或R中的一种字母提示，使用者根据字母提示想象与字母所对应的脚运动、舌头运动、左手运动或右手运动，想象运动期间持续4s；每两次运动想象期间有3至5s的随机休息间隔，每30次运动想象之间有3分钟的休息时间。

4.根据权利要求1所述的基于脑肌电信号深度学习融合的脑卒中运动康复方法，其特征在于，步骤2)所述的脑电信号采集装置根据国际10-20系统采集16个电极通道的脑电数据，所述16个电极通道分别为Fz、FCz、FC1、FC2、FC3、FC4、Cz、C1、C2、C3、C4、CPz、CP1、CP2、P1、POz；参考电极放置在左耳乳突处，接地电极由CMS和DRL两个独立电极替代；肌电信号采集装置采集二头肌与三头肌的皮层电肌信号，采样率为500Hz。

5.根据权利要求1所述的基于脑肌电信号深度学习融合的脑卒中运动康复方法，其特征在于，步骤2)所述的滤波处理，其中，对脑电信号滤波的频段为3-40Hz，对肌电信号滤波的频段为2-500Hz。

6.根据权利要求1所述的基于脑肌电信号深度学习融合的脑卒中运动康复方法，其特征在于，步骤2)所述的截取处理，是分别截取每次运动想象的3-7s时长的脑电信号，截取肌电信号的时长与截取脑电信号的时长相同。

7.根据权利要求1所述的基于脑肌电信号深度学习融合的脑卒中运动康复方法，其特征在于，步骤3)是采用一种多层网络分别用于运动意图分类及状态监测，包括：

(1)L1层，该层为信号输入层，输入16个脑电电极通道和2个肌电电极通道的信号，即18*1000的输入矩阵，其中18代表16个脑电电极通道的运动想象脑电信号和2个肌电电极通道的肌电信号，1000代表每个通道的时间采样点；

(2)L2层，该层为特征提取层，用于分别对脑电信号、肌电信号进行特征提取，得到特征矩阵，并输出大脑和肌肉的疲劳指数，具体是：

通过OVR-CSP多分类特征提取方法提取脑电信号特征，即采用4次共空间模式算法进行特征提取，并将4次的结果逐一拼接在一起，形成一个特征矩阵；

通过计算积分肌电值作为肌电信号特征，计算公式为：

其中，x_i为第i个信号采样点值，N为信号长度；

通过计算脑电信号的慢波和快波的能量比，即大脑疲劳指数F_θ/β，反映大脑的疲劳程度，表达式为：

其中，E_θ为θ波能量，E_β为β波能量；

计算肌电信号功率曲线中心位置的频率值，即肌肉疲劳指数MPF，表达式为：

其中，f为频率变量，p(f)为功率谱函数；

(3)L3层，该层为状态监测层，用于基于L2层得到的大脑疲劳指数和肌肉疲劳指数计算整体的疲劳指数，表达式为：

F＝F_θ/β*MPF

(4)L4层，为特征融合层，包括使用64种滤波器的卷积层和池化层，卷积层用于将L2层得到的脑电信号特征矩阵和肌电信号特征矩阵进行融合，所述融合的方式为每一种滤波器分别与运动想象脑电信号特征和肌电特征进行卷积，得到64种不同的融合特征映射，卷积核的大小设置为25*1；池化层使用均值池化，针对融合特征进行降采样，减少后续计算消耗；

(5)L5层，该层为分类器，包括全连接层和输出层，其中，全连接层将特征融合层与输出层全连接，神经元个数设置为100个；输出层设置4个神经元，输出的结果分别代表左手运动想象、右手运动想象、左脚运动想象、右脚运动想象。

Images