CN111584027B - 融合复杂网络和图卷积的脑控康复系统运动想象识别系统 - Google Patents

Abstract

一种融合复杂网络和图卷积的脑控康复系统运动想象识别系统，被试者通过观看手部握拳与伸展动作视频进行运动想象，同时脑电信号采集设备采集被试者的运动想象EEG脑电信号；运动意图识别模块对获得的运动想象EEG脑电信号构建多熵复杂网络，提取运动想象EEG脑电信号中符号波动、频率能量分布和幅值波动方面的特征，输入图卷积神经网络中对握拳运动想象EEG脑电信号和手部伸展运动想象EEG脑电信号进行分类与辨识，将分类结果传输到脑控康复系统，促使被试者执行手部握拳与伸展动作；该脑控康复系统使得运动意图和肢体感觉之间形成闭环通路，逐渐增强被试者的肌肉强度和神经传导速度，促进受损大脑运动区域的恢复，逐渐恢复活动能力。

Description

融合复杂网络和图卷积的脑控康复系统运动想象识别系统

技术领域

本发明涉及一种运动想象识别系统。特别是涉及一种融合复杂网络和图卷积的脑控康复系统运动想象识别系统。

背景技术

脑-机接口(BCI)系统提供了人脑与外部设备之间的连接途径，该系统首先采集大脑活动信号，接着通过信号处理部分检测用户的意图，最后将意图转化为指令控制外部设备。运动想象是一种经典的BCI范式，人在想象肢体运动时，会引起大脑运动感知皮层某一区域的激活，运动感知皮层的激活会引发皮层电位变化，这种电信号称为运动想象信号。不同的运动想象任务会在大脑感觉运动皮层的不同区域观察到振荡活动。应用运动想象的BCI系统在神经科学和康复领域具有重要价值，已被用于脑卒中患者大脑的神经传输功能恢复，帮助患者恢复受损的运动功能。基于运动想象的康复系统可以将患者的运动意图转化为患者的肢体运动，帮助患者更好地进行主动康复训练。关于运动想象的研究，主要在于对采集的运动想象EEG信号进行分类和特征提取。共空间模式(CSP)是运动想象研究中用于提取特征的经典方法，其他特征提取和降维方法，例如独立分量分析(ICA)和主成分分析(PCA)也经常用于提高运动想象分类精度。在分类部分，许多传统算法，如支持向量机(SVM)和线性判别分析(LDA)已被广泛应用。但是由于脑电信号具有微弱、噪声大等特点，目前还无法实现对运动想象信号的精准分类，对于运动想象信号特征的准确提取还需要进一步探索。复杂网络作为新兴的非线性复杂系统分析工具，能够对复杂系统进行表征和特征提取。图卷积能够对图进行处理，提取其中更高层次的特征并对信号进行分类。将复杂网络和图卷积神经网络相结合能够提高运动想象信号的分类准确率，增强脑控康复系统的适用性。

发明内容

本发明所要解决的技术问题是，提供一种可以实现握拳运动想象EEG脑电信号和手部伸展运动想象EEG脑电信号特征提取与辨识，并转化为指令控制脑控康复系统的融合复杂网络和图卷积的脑控康复系统运动想象识别系统。

本发明所采用的技术方案是：一种融合复杂网络和图卷积的脑控康复系统运动想象识别系统，被试者通过观看手部握拳与伸展动作视频进行运动想象，同时脑电信号采集设备采集被试者的运动想象EEG脑电信号；运动意图识别模块对获得的运动想象EEG脑电信号进行预处理，构建多熵复杂网络，该多熵复杂网络能够融合多通道运动想象EEG脑电信号，提取运动想象EEG脑电信号中符号波动、频率能量分布和幅值波动方面的特征；运动意图识别模块将多熵复杂网络的邻接矩阵输入图卷积神经网络中对握拳运动想象EEG脑电信号和手部伸展运动想象EEG脑电信号进行分类与辨识，将分类结果传输到脑控康复系统，促使被试者执行手部握拳与伸展动作；该脑控康复系统使得运动意图和肢体感觉之间形成闭环通路，逐渐增强被试者的肌肉强度和神经传导速度，促进受损大脑运动区域的恢复，最终实现患者通过自主训练重新获得受损的运动功能。

所述的脑控康复系统包括：与所述运动意图识别模块相连的主控制器，与所述主控制器相连的肌电信号采集和多通道电刺激输出模块，所述肌电信号采集和多通道电刺激输出模块根据主控制器的控制指令对被试者上肢施加电刺激，并将电刺激后的肌电信号反馈给主控制器，主控制器根据从运动意图识别模块接收的分类结果和电刺激后的肌电信号生成控制指令，控制肌电信号采集和多通道电刺激输出模块对被试者上肢进行刺激，帮助被试者进行上肢康复训练。

所述的运动意图识别模块具体包括如下步骤：

1)被试者分别观看手部握拳视频与手部伸展视频，同时对视频相应动作进行运动想象，通过脑电信号采集设备采集被试者握拳运动想象EEG脑电信号和手部伸展运动想象EEG脑电信号，统称为运动想象EEG脑电信号，并对运动想象EEG脑电信号进行预处理；

2)对预处理后的每一电极的运动想象EEG脑电信号分别计算加权排列熵S₁、小波包能量熵S₂和幅值熵S₃三种熵，对所述的三种熵基于min-max标准化方法进行归一化；

3)将步骤2)所述加权排列熵S₁、小波包能量熵S₂和幅值熵S₃这三种熵构建成特征向量[S₁,S₂,S₃]；

4)基于步骤3)所述特征向量构建多熵复杂网络；

5)对每个被试者的每一个运动想象EEG脑电信号中的握拳运动想象EEG脑电信号和手部伸展运动想象EEG脑电信号分别构建多熵复杂网络，将多熵复杂网络的邻接矩阵及其分类标签送入图卷积神经网络中进行特征学习和分类；

6)将分类结果传输到脑控康复系统对被试者上肢进行刺激。

步骤1)所述的采集被试者握拳运动想象EEG脑电信号和手部伸展运动想象EEG脑电信号，是通过根据10-20国际标准导联分布的脑电极帽采集C3、C4、F3、F4、P3、P4、T7、T8、Cz九个电极的运动想象EEG脑电信号，并进行预处理，预处理是对运动想象EEG脑电信号进行去伪迹，8-30Hz的带通滤波，以及去平均，得到能够用于实现运动想象状态辨识的运动想象EEG脑电信号：

其中X_c,i表示c电极采集的运动想象EEG脑电信号中第i个采样点，L表示等长的各电极对应的通道中的采样点个数。

步骤2)所述的分别计算加权排列熵S₁、小波包能量熵S₂和幅值熵S₃三种熵具体如下：

(1)加权排列熵S₁的计算方法如下：运动想象EEG脑电信号

的时间延迟嵌入表达式为：

其中，X_c,i表示c电极采集的运动想象EEG脑电信号中第i个采样点，L表示c电极对应的通道中的采样点个数，

表示c电极对应的通道生成的第u个相空间向量，d为嵌入维数，取d＝4，τ为延迟时间，取τ＝1，L-(d-1)τ表示从运动想象EEG脑电信号

获得的相空间向量

的个数，将每一个相空间向量

中的元素按照幅值大小进行排序后映射为一个符号π_c,u，会得到L-(d-1)τ个符号，其中包括小于等于d！种不同的符号，所有种类符号的集合为

其中r表示第r种符号，c＝C3,C4,F3,F4,P3,P4,T7,T8,Cz；每一个相空间向量

映射的符号π_c,u都属于所有种类符号的集合

即

加权排列熵H_WPE由以下公式计算：

其中，ω_c,u为相空间向量

的权重，p_ω(π_c,r)为符号π_c,r的加权可能性，每个相空间向量

的权重ω_c,u通过下式计算：

其中，X_c,u+(m-1)τ表示相空间向量

中的第m个元素，

表示相空间向量

的方差；

(2)小波包能量熵S2的计算方法如下：通过小波包分解将运动想象EEG脑电信号

分解为f个级别，其在第f级具有2^f个频段，第f级的每个频段具有L/2^f个小波包系数，小波包分解的表达式为：

其中，

表示在级别f的第η个频段的第k个小波包系数，

为尺度函数，

为小波函数，小波包能量熵H_WPEE通过如下公式计算：

其中p_η是第η个频段能量的概率，小波包分解使用Daubechies 4小波基(db4)，分解为5层，即f＝5。

(3)幅值信息在揭示系统动力学特征方面具有重要的作用，幅值熵S3计算过程如下：首先将运动想象EEG脑电信号

的幅值范围划分为β个区间，运动想象EEG脑电信号

的采样点落入每个区间的可能性p_γ为：

其中，N_γ是幅值落入第γ个区间的采样点的个数。幅值熵H_AE通过下式计算：

H_AE＝-∑_γp_γlnp_γ

随着信号幅值的离散度增加，幅值熵H_AE增大。

步骤4)所述的构建多熵复杂网络，包括：

将运动想象EEG脑电信号每一电极对应的通道作为节点，计算两两节点对应特征向量之间的二范数距离，采用稀疏度方法确定阈值，稀疏度值选择为20％，如果两个节点之间的二范数距离小于阈值则这两个节点间存在连边，得到多熵复杂网络；如果多熵复杂网络的两节点之间存在连边，则多熵复杂网络的邻接矩阵对应两节点的位置值为1，如果多熵复杂网络的两节点之间不存在连边，则多熵复杂网络的邻接矩阵对应两节点的位置值为0。多熵复杂网络的邻接矩阵的维度为Q×Q，Q为节点数量，等于电极数量，即Q＝9；

所述计算二范数距离R_κ,ν是，设定节点κ的特征向量为[S_κ,1,S_κ,2,S_κ,3]，节点ν的特征向量[S_ν,1,S_ν,2,S_ν,3]，由如下公式计算：

其中，Q为节点数量，等于电极数量，即Q＝9。

步骤5)所述的图卷积神经网络的网络结构包括四个图卷积层、两个图池化层和一个全连接层，两个图卷积层和一个图池化层依次连接组成一个图卷积模块，共构成两个依次连接的图卷积模块，后一个图卷积模块的输出是全连接层的输入；每个图卷积层都表示为如下非线性映射函数：

H^l+1＝σ(AH^lW^l)

其中，H^l为第l个图卷积层特征，A为多熵复杂网络邻接矩阵，W^l是第l个图卷积层的参数矩阵，σ(·)为激活函数，采用ReLU函数；

经过四次图卷积和两次池化操作，提取出运动想象EEG脑电信号中的能够进行类别区分的特征，最后将该特征展平后输入全连接层，进行运动想象类别辨识。

步骤6)包括：

(1)交替播放手部握拳与伸展动作视频，被试者观看视频并进行相应动作的运动想象，脑电信号采集设备采集被试者运动想象EEG脑电信号；

(2)运动意图识别模块对运动想象EEG脑电信号进行预处理，构建多熵复杂网络，将多熵复杂网络邻接矩阵输入图卷积神经网络，以提取信号特征与信号辨识，得到被试者的运动意图并传输到主控制器；

(3)肌电信号采集和多通道电刺激输出模块中的若干肌电信号采集点采集被试者上肢肌肉的肌电信号，并传输到主控制器；

(4)主控制器根据运动意图识别模块得到被试者的运动意图，结合上肢肌肉的肌电信号，决策出刺激电流、刺激脉宽、刺激频率和刺激时间，控制肌电信号采集和多通道电刺激输出模块中的若干电刺激点；

(5)根据主控制器指令，若干电刺激点对运动意图所对应的上肢多块肌肉施加电刺激，使被试者按想象意图进行手部握拳或伸展运动。

本发明的融合复杂网络和图卷积的脑控康复系统运动想象识别系统，通过构建多熵复杂网络进一步输入图卷积神经网络对握拳运动想象EEG脑电信号和手部伸展运动想象EEG脑电信号进行特征提取与辨识，并转化为指令控制脑控康复系统，帮助上肢运动通路损伤以致于活动受限的病患进行康复训练，逐渐恢复他们的活动能力，促进基于运动想象的BCI在康复医疗中的应用。

附图说明

图1是本发明中运动意图识别模块的流程图；

图2是本发明中单次运动想象EEG脑电信号采集时序图；

图3是本发明融合复杂网络和图卷积的脑控康复系统运动想象识别系统的整体框图；

图4是本发明中便携式脑电采集设备的框图；

图5是本发明中肢体功能性电刺激设备的结构示意图；

图6是本发明中肌电信号采集和多通道电刺激输出模块的示意图。

图中

1：脑电信号采集设备 2：运动意图识别模块

3：脑控智能康复系统 3.1：主控制器

3.2：肌电信号采集和多通道电刺激输出模块

3.2.1：电刺激点 3.2.2：肌电信号采集点

具体实施方式

下面结合实施例和附图对本发明的融合复杂网络和图卷积的脑控康复系统运动想象识别系统做出详细说明。

如图3所示，本发明的融合复杂网络和图卷积的脑控康复系统运动想象识别系统，被试者通过观看手部握拳与伸展动作视频进行运动想象，同时便携式脑电信号采集设备采集被试者的运动想象EEG脑电信号；运动意图识别模块对获得的运动想象EEG脑电信号进行预处理，构建多熵复杂网络，该多熵复杂网络能够融合多通道运动想象EEG脑电信号，提取运动想象EEG脑电信号中符号波动、频率能量分布和幅值波动方面的特征；运动意图识别模块将多熵复杂网络的邻接矩阵输入图卷积神经网络中对握拳运动想象EEG脑电信号和手部伸展运动想象EEG脑电信号进行分类与辨识，将分类结果传输到脑控康复系统，促使被试者执行手部握拳与伸展动作；该脑控康复系统使得运动意图和肢体感觉之间形成闭环通路，逐渐增强被试者的肌肉强度和神经传导速度，促进受损大脑运动区域的恢复，最终实现患者通过自主训练重新获得受损的运动功能。

所述的便携式脑电采集设备，是采用申请号为201810168228.X、发明名称为“便携式脑电采集设备及其在SSVEP和运动想象中的应用”的专利申请所公开的结构，如图4所示，包括，系统供电电路11、脑电极帽转接线12、PGA放大电路13、AD转换器14、STM32处理器15和WIFI模块16，其中，所述脑电极帽转接线12的输入端连接脑电极帽用于采集脑电信号，输出端依次连接PGA放大电路13、AD转换器4和STM32处理器15，所述STM32处理器15分别连接PGA放大电路13和AD转换器14用于对PGA放大电路13和AD转换器14的工作状态进行控制，所述WIFI模块16连接STM32处理器15用于通过无线局域网使STM32处理器15与上位机进行通信，所述系统供电电路11分别连接PGA放大电路13、AD转换器14、STM32处理器15和WIFI模块16用于提供电源。所述脑电极帽即为电极帽。

如图3所示，本发明中所述的脑控智能康复系统包括：与所述运动意图识别模块相连的主控制器3.1，与所述主控制器3.1相连的肌电信号采集和多通道电刺激输出模块3.2，所述肌电信号采集和多通道电刺激输出模块3.2根据主控制器3.1的控制指令对被试者上肢施加电刺激，并将电刺激后的肌电信号反馈给主控制器3.1，主控制器3.1根据从运动意图识别模块接收的分类结果和电刺激后的肌电信号生成控制指令，控制肌电信号采集和多通道电刺激输出模块3.2对被试者上肢进行刺激，帮助被试者进行上肢康复训练。

如图1所示，本发明所述的运动意图识别模块具体包括如下步骤：

1)被试者分别观看手部握拳视频与手部伸展视频，同时对视频相应动作进行运动想象，通过便携式脑电采集设备采集被试者握拳运动想象EEG脑电信号和手部伸展运动想象EEG脑电信号，统称为运动想象EEG脑电信号，并对运动想象EEG脑电信号进行预处理；

所述的采集被试者握拳运动想象EEG脑电信号和手部伸展运动想象EEG脑电信号，是通过根据10-20国际标准导联分布的脑电极帽采集C3、C4、F3、F4、P3、P4、T7、T8、Cz九个电极的运动想象EEG脑电信号，并进行预处理。实验开始前，各被试自行进行多次手部握拳与伸展的想象训练以提高信号质量。实验时，被试者端坐在电脑屏幕前。单次运动想象EEG脑电信号采集时序图如图2所示，实验一开始，一个黑色十字出现于屏幕中央，伴随有短暂的语音提示。两秒过后，屏幕会随机出现手部握拳或伸展的视频，视频停留时间为4s，被试根据视频中手部动作想象相应的动作，直至t＝6s时视频消失。经过短暂的休息后，重复上述过程进行下一个运动想象任务。

预处理是对运动想象EEG脑电信号进行去伪迹，8-30Hz的带通滤波，以及去平均，得到能够用于实现运动想象状态辨识的运动想象EEG脑电信号：

其中X_c,i表示c电极采集的运动想象EEG脑电信号中第i个采样点，L表示等长的各电极对应的通道中的采样点个数。

2)对预处理后的每一电极的运动想象EEG脑电信号分别计算加权排列熵S₁、小波包能量熵S₂和幅值熵S₃三种熵，对所述的三种熵基于min-max标准化方法进行归一化；这三种熵可从不同角度刻画、提取时间序列非线性特征，加权排列熵可从时间序列波动模式，即符号表示角度刻画复杂性，小波包能量熵和幅值熵可分别从频率能量分布和幅值波动角度提取特征；其中，所述的分别计算加权排列熵S₁、小波包能量熵S₂和幅值熵S₃三种熵具体如下：

(1)加权排列熵S1的计算方法如下：运动想象EEG脑电信号

的时间延迟嵌入表达式为：

其中，X_c,i表示c电极采集的运动想象EEG脑电信号中第i个采样点，L表示c电极对应的通道中的采样点个数，

表示c电极对应的通道生成的第u个相空间向量，d为嵌入维数，取d＝4，τ为延迟时间，取τ＝1，L-(d-1)τ表示从运动想象EEG脑电信号

获得的相空间向量

的个数，将每一个相空间向量

中的元素按照幅值大小进行排序后映射为一个符号π_c,u，会得到L-(d-1)τ个符号，其中包括小于等于d！种不同的符号，所有种类符号的集合为

其中r表示第r种符号，c＝C3,C4,F3,F4,P3,P4,T7,T8,Cz；每一个相空间向量

映射的符号π_c,u都属于所有种类符号的集合

即

以四维向量

举例，说明将相空间向量

中的元素按照幅值大小进行排序后映射为一个符号π_c,u的过程：该四维向量的幅值排序为a₂＞a₁＞a₃＞a₄，由此该四维向量可以根据下标变换为符号2134，最多可得4！，即24种符号。如果相空间向量中具有幅值相同的元素，则出现时间早的元素判定为相对较大的值，出现时间晚的元素判定为相对较小的值；

加权排列熵H_WPE由以下公式计算：

其中，ω_c,u为相空间向量

的权重，p_ω(π_c,r)为符号π_c,r的加权可能性，每个相空间向量

的权重ω_c,u通过下式计算：

其中，X_c,u+(m-1)τ表示相空间向量

中的第m个元素，

表示相空间向量

的方差；

(2)小波包能量熵S2的计算方法如下：通过小波包分解将运动想象EEG脑电信号

分解为f个级别，其在第f级具有2^f个频段，第f级的每个频段具有L/2^f个小波包系数，小波包分解的表达式为：

其中，

表示在级别f的第η个频段的第k个小波包系数，

为尺度函数，

为小波函数，小波包能量熵H_WPEE通过如下公式计算：

其中p_η是第η个频段能量的概率，小波包分解使用Daubechies 4小波基(db4)，分解为5层，即f＝5；

(3)幅值信息在揭示系统动力学特征方面具有重要的作用，幅值熵S3计算过程如下：首先将运动想象EEG脑电信号

的幅值范围划分为β个区间，运动想象EEG脑电信号

的采样点落入每个区间的可能性p_γ为：

其中，N_γ是幅值落入第γ个区间的采样点的个数。幅值熵H_AE通过下式计算：

H_AE＝-∑_γp_γlnp_γ

随着信号幅值的离散度增加，幅值熵H_AE增大。

3)将步骤2)所述加权排列熵S1、小波包能量熵S2和幅值熵S3这三种熵构建成特征向量[S₁,S₂,S₃]；

4)基于步骤3)所述特征向量构建多熵复杂网络；所述的构建多熵复杂网络，包括：

将运动想象EEG脑电信号每一电极对应的通道作为节点，计算两两节点对应特征向量之间的二范数距离，采用稀疏度方法确定阈值，稀疏度值选择为20％，如果两个节点之间的二范数距离小于阈值则这两个节点间存在连边，得到多熵复杂网络；如果多熵复杂网络的两节点之间存在连边，则多熵复杂网络的邻接矩阵对应两节点的位置值为1，如果多熵复杂网络的两节点之间不存在连边，则多熵复杂网络的邻接矩阵对应两节点的位置值为0。多熵复杂网络的邻接矩阵的维度为Q×Q，Q为节点数量，等于电极数量，即Q＝9。

所述计算二范数距离R_κ,ν是，设定节点κ的特征向量为[S_κ,1,S_κ,2,S_κ,3]，节点ν的特征向量[S_ν,1,S_ν,2,S_ν,3]，由如下公式计算：

其中，Q为节点数量，等于电极数量，即Q＝9。

5)对每个被试者的每一个运动想象EEG脑电信号中的握拳运动想象EEG脑电信号和手部伸展运动想象EEG脑电信号分别构建多熵复杂网络，将多熵复杂网络的邻接矩阵及其分类标签送入图卷积神经网络中进行特征学习和分类；

所述的图卷积神经网络的网络结构包括四个图卷积层、两个图池化层和一个全连接层，两个图卷积层和一个图池化层依次连接组成一个图卷积模块，共构成两个依次连接的图卷积模块，后一个图卷积模块的输出是全连接层的输入；每个图卷积层都表示为如下非线性映射函数：

H^l+1＝σ(AH^lW^l)

其中，H^l为第l个图卷积层特征，A为多熵复杂网络邻接矩阵，W^l是第l个图卷积层的参数矩阵，σ(·)为激活函数，采用ReLU函数；

经过四次图卷积和两次池化操作，提取出运动想象EEG脑电信号中的能够进行类别区分的特征，最后将该特征展平后输入全连接层，进行运动想象类别辨识。

6)将分类结果传输到脑控康复系统对被试者上肢进行刺激，如图3所示，包括：

(1)交替播放手部握拳与伸展动作视频，被试者观看视频并进行相应动作的运动想象，脑电信号采集设备采集被试者运动想象EEG脑电信号；

(2)运动意图识别模块对运动想象EEG脑电信号进行预处理，构建多熵复杂网络，将多熵复杂网络邻接矩阵输入图卷积神经网络，以提取信号特征与信号辨识，得到被试者的运动意图并传输到主控制器；

(3)肌电信号采集和多通道电刺激输出模块中的若干肌电信号采集点采集被试者上肢肌肉的肌电信号，并传输到主控制器；

(4)主控制器根据运动意图识别模块得到被试者的运动意图，结合上肢肌肉的肌电信号，决策出刺激电流、刺激脉宽、刺激频率和刺激时间，具体地，设置的刺激电流为5～140mA，刺激脉宽为50～500us，刺激频率为10～100Hz，控制肌电信号采集和多通道电刺激输出模块中的若干电刺激点；

(5)根据主控制器指令，若干电刺激点对运动意图所对应的上肢多块肌肉施加电刺激，使被试者按想象意图进行手部握拳或伸展运动。基于运动想象的脑控康复系统，使得运动意图和肢体感觉之间形成闭环通路，逐渐增强被试者的肌肉强度和神经传导速度，促进受损大脑运动区域的恢复，最终实现被试者通过自主训练重新获得肢体的运动功能。

该步骤是在如图5所示的肢体功能性电刺激设备上实现，所述的设备包括安装有便携式脑电采集设备1、对下肢进行电刺激和进行肌电信号采集的肌电信号采集和多通道电刺激输出模块3.2，座椅4的靠背上部设有滑动杆，可调节便携式脑电采集设备1的高度；所述的肌电信号采集和多通道电刺激输出模块的结构示意图如图6所示，包括若干电刺激点3.2.1和肌电信号采集点3.2.2。

具体进行上肢康复训练时，被试者坐于座椅之上，通过调节滑动杆将所述脑电信号采集设备调整到适合患者的高度，将电极帽佩戴于被试者头部，将被试者上肢置于安装在座椅上的所述肌电信号采集和多通道电刺激输出模块中，被试者通过进行运动想象完成上肢的自主康复训练。

以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案类似的结构或实施例，均属本发明的保护范围。

Claims (6)

1.一种融合复杂网络和图卷积的脑控康复系统运动想象识别系统，其特征在于，被试者通过观看手部握拳与伸展动作视频进行运动想象，同时脑电信号采集设备采集被试者的运动想象EEG脑电信号；运动意图识别模块对获得的运动想象EEG脑电信号进行预处理，构建多熵复杂网络，该多熵复杂网络能够融合多通道运动想象EEG脑电信号，提取运动想象EEG脑电信号中符号波动、频率能量分布和幅值波动方面的特征；运动意图识别模块将多熵复杂网络的邻接矩阵输入图卷积神经网络中对握拳运动想象EEG脑电信号和手部伸展运动想象EEG脑电信号进行分类与辨识，将分类结果传输到脑控康复系统，促使被试者执行手部握拳与伸展动作；该脑控康复系统使得运动意图和肢体感觉之间形成闭环通路，逐渐增强被试者的肌肉强度和神经传导速度，促进受损大脑运动区域的恢复，最终实现患者通过自主训练重新获得受损的运动功能；

所述的运动意图识别模块具体包括如下步骤：

1)被试者分别观看手部握拳视频与手部伸展视频，同时对视频相应动作进行运动想象，通过脑电信号采集设备采集被试者握拳运动想象EEG脑电信号和手部伸展运动想象EEG脑电信号，统称为运动想象EEG脑电信号，并对运动想象EEG脑电信号进行预处理；

2)对预处理后的每一电极的运动想象EEG脑电信号分别计算加权排列熵S₁、小波包能量熵S₂和幅值熵S₃三种熵，对所述的三种熵基于min-max标准化方法进行归一化；

3)将步骤2)所述加权排列熵S₁、小波包能量熵S₂和幅值熵S₃这三种熵构建成特征向量[S₁,S₂,S₃]；

4)基于步骤3)所述特征向量构建多熵复杂网络；所述的构建多熵复杂网络，包括：

将运动想象EEG脑电信号每一电极对应的通道作为节点，计算两两节点对应特征向量之间的二范数距离，采用稀疏度方法确定阈值，稀疏度值选择为20％，如果两个节点之间的二范数距离小于阈值则这两个节点间存在连边，得到多熵复杂网络；如果多熵复杂网络的两节点之间存在连边，则多熵复杂网络的邻接矩阵对应两节点的位置值为1，如果多熵复杂网络的两节点之间不存在连边，则多熵复杂网络的邻接矩阵对应两节点的位置值为0；多熵复杂网络的邻接矩阵的维度为Q×Q，Q为节点数量，等于电极数量，即Q＝9；

5)对每个被试者的每一个运动想象EEG脑电信号中的握拳运动想象EEG脑电信号和手部伸展运动想象EEG脑电信号分别构建多熵复杂网络，将多熵复杂网络的邻接矩阵及其分类标签送入图卷积神经网络中进行特征学习和分类；所述的图卷积神经网络的网络结构包括四个图卷积层、两个图池化层和一个全连接层，两个图卷积层和一个图池化层依次连接组成一个图卷积模块，共构成两个依次连接的图卷积模块，后一个图卷积模块的输出是全连接层的输入；每个图卷积层都表示为如下非线性映射函数：

H^l+1＝σ(AH^lW^l)

其中，H^l为第l个图卷积层特征，A为多熵复杂网络邻接矩阵，W^l是第l个图卷积层的参数矩阵，σ(·)为激活函数，采用ReLU函数；

经过四次图卷积和两次池化操作，提取出运动想象EEG脑电信号中的能够进行类别区分的特征，最后将该特征展平后输入全连接层，进行运动想象类别辨识；

6)将分类结果传输到脑控康复系统对被试者上肢进行刺激。

2.根据权利要求1所述的融合复杂网络和图卷积的脑控康复系统运动想象识别系统，其特征在于，所述的脑控康复系统包括：与所述运动意图识别模块相连的主控制器，与所述主控制器相连的肌电信号采集和多通道电刺激输出模块，所述肌电信号采集和多通道电刺激输出模块根据主控制器的控制指令对被试者上肢施加电刺激，并将电刺激后的肌电信号反馈给主控制器，主控制器根据从运动意图识别模块接收的分类结果和电刺激后的肌电信号生成控制指令，控制肌电信号采集和多通道电刺激输出模块对被试者上肢进行刺激，帮助被试者进行上肢康复训练。

3.根据权利要求1所述的融合复杂网络和图卷积的脑控康复系统运动想象识别系统，其特征在于，步骤1)所述的采集被试者握拳运动想象EEG脑电信号和手部伸展运动想象EEG脑电信号，是通过根据10-20国际标准导联分布的脑电极帽采集C3、C4、F3、F4、P3、P4、T7、T8、Cz九个电极的运动想象EEG脑电信号，并进行预处理，预处理是对运动想象EEG脑电信号进行去伪迹，8-30Hz的带通滤波，以及去平均，得到能够用于实现运动想象状态辨识的运动想象EEG脑电信号：

其中X_c,i表示c电极采集的运动想象EEG脑电信号中第i个采样点，L表示等长的各电极对应的通道中的采样点个数。

4.根据权利要求1所述的融合复杂网络和图卷积的脑控康复系统运动想象识别系统，其特征在于，步骤2)所述的分别计算加权排列熵S₁、小波包能量熵S₂和幅值熵S₃三种熵具体如下：

(1)加权排列熵S₁的计算方法如下：运动想象EEG脑电信号

的时间延迟嵌入表达式为：

其中，X_c,i表示c电极采集的运动想象EEG脑电信号中第i个采样点，L表示c电极对应的通道中的采样点个数，

表示c电极对应的通道生成的第u个相空间向量，d为嵌入维数，取d＝4，τ为延迟时间，取τ＝1，L-(d-1)τ表示从运动想象EEG脑电信号

获得的相空间向量

的个数，将每一个相空间向量

中的元素按照幅值大小进行排序后映射为一个符号π_c,u，会得到L-(d-1)τ个符号，其中包括小于等于d！种不同的符号，所有种类符号的集合为

其中r表示第r种符号，c＝C3,C4,F3,F4,P3,P4,T7,T8,Cz；每一个相空间向量

映射的符号π_c,u都属于所有种类符号的集合

即

加权排列熵H_WPE由以下公式计算：

其中，ω_c,u为相空间向量

的权重，p_ω(π_c,r)为符号π_c,r的加权可能性，每个相空间向量

的权重ω_c,u通过下式计算：

其中，X_c,u+(m-1)τ表示相空间向量

中的第m个元素，

表示相空间向量

的方差；

(2)小波包能量熵S2的计算方法如下：通过小波包分解将运动想象EEG脑电信号

分解为f个级别，其在第f级具有2^f个频段，第f级的每个频段具有L/2^f个小波包系数，小波包分解的表达式为：

其中，

表示在级别f的第η个频段的第k个小波包系数，

为尺度函数，

为小波函数，小波包能量熵H_WPEE通过如下公式计算：

其中p_η是第η个频段能量的概率，小波包分解使用Daubechies 4小波基(db4)，分解为5层，即f＝5；

(3)幅值信息在揭示系统动力学特征方面具有重要的作用，幅值熵S3计算过程如下：首先将运动想象EEG脑电信号

的幅值范围划分为β个区间，运动想象EEG脑电信号

的采样点落入每个区间的可能性p_γ为：

其中，N_γ是幅值落入第γ个区间的采样点的个数；幅值熵H_AE通过下式计算：

H_AE＝-∑_γp_γlnp_γ

随着信号幅值的离散度增加，幅值熵H_AE增大。

5.根据权利要求1所述的融合复杂网络和图卷积的脑控康复系统运动想象识别系统，其特征在于，所述计算二范数距离R_κ,ν是，设定节点κ的特征向量为[S_κ,1,S_κ,2,S_κ,3]，节点ν的特征向量[S_ν,1,S_ν,2,S_ν,3]，由如下公式计算：

其中，Q为节点数量，等于电极数量，即Q＝9。

6.根据权利要求1所述的融合复杂网络和图卷积的脑控康复系统运动想象识别系统，其特征在于，步骤6)包括：

(1)交替播放手部握拳与伸展动作视频，被试者观看视频并进行相应动作的运动想象，脑电信号采集设备采集被试者运动想象EEG脑电信号；

(2)运动意图识别模块对运动想象EEG脑电信号进行预处理，构建多熵复杂网络，将多熵复杂网络邻接矩阵输入图卷积神经网络，以提取信号特征与信号辨识，得到被试者的运动意图并传输到主控制器；

(3)肌电信号采集和多通道电刺激输出模块中的若干肌电信号采集点采集被试者上肢肌肉的肌电信号，并传输到主控制器；

(4)主控制器根据运动意图识别模块得到被试者的运动意图，结合上肢肌肉的肌电信号，决策出刺激电流、刺激脉宽、刺激频率和刺激时间，控制肌电信号采集和多通道电刺激输出模块中的若干电刺激点；

(5)根据主控制器指令，若干电刺激点对运动意图所对应的上肢多块肌肉施加电刺激，使被试者按想象意图进行手部握拳或伸展运动。

Images