CN113476056A - 一种基于频域图卷积神经网络的运动想象脑电信号分类方法 - Google Patents

Abstract

一种基于频域图卷积神经网络的运动想象脑电信号分类方法，属于生物信息技术及模式识别交叉领域。本发明意在解决传统脑电信号分类方法没有有效利用脑电导联拓扑结构信息以及上游特征表征与下游任务学习不能高效匹配而导致分类准确率不理想的问题，解决方案的思路是基于频域图卷积神经网络的方法来进行分类识别，通过相空间重构的同步性度量方法构建出能够表征导联拓扑结构信息的拉普拉斯矩阵(边信息)，将其同脑电信号的瞬时采用数据(节点信息)作为频域图神经网络的输入，图卷积层提取特征，池化层对图数据进行降维操作，最后的全连接层驱动softmax函数进行分类。本发明可应用于脑机接口系统，助力于医疗康复领域。

Description

一种基于频域图卷积神经网络的运动想象脑电信号分类方法

技术领域

本发明属于生物信息技术及模式识别交叉领域，特别涉及一种运动想象脑电信号的分类方法。

背景技术

近年来，脑机接口技术(BCI)的研究引起了越来越广泛的关注，已经成为研究热点之一。基于脑电图(EEG)的脑机接口技术因其时间分辨率高、无侵袭性、可移植性好而得到广泛的应用。脑电解码算法是脑机接口系统的关键。为了开发更加有效的基于运动想象脑电信号的脑机接口系统，我们需要更加精确和快速有效以及对于个体变化适应性更加鲁棒的脑电解码算法。

传统的运动想象EEG信号解码方法是从EEG信号中手工设计特征，如通过分析固有模态函数或小波变换，然后使用基于机器学习的方法对特征进行分类，虽然这些技术研究在分类精确性上显示了一定的性能，但分类正确率仍不能令人满意。这些方法存在的问题有二，其一：脑电译码方法在译码脑电图信号时没有考虑EEG导联间的拓扑结构关系，即没有考虑脑区之间的信息交互，然而，越来越多的神经科学研究强调了大脑网络动力学在大脑活动变化体现中所扮演的重要角色；其二：这种典型的“特征提取+分类器”的分段式处理的模式识别方法，上游的特征表示并不能保证其对下游的分类器分类是最高效的。

随着计算机物理算力及数据量的高速增长，深度学习的方法得到了广泛的应用，尤其是CNN和RNN这两种方法，这些解决方案在自然语言处理、图像处理等各个领域取得了巨大的成功。以CNN为例，神经网络具有从局部感受野学习信息特征的能力，被广泛用于分类欧式结构的信号。CNN从信号中学习底层特征，这就减少了实际手工设计特征的需要，虽然已有人实现了基于CNN的方法来解决EEG任务分类的问题，从目前的结果来看，其分类正确率仍有很大的空间提高，这些基于CNN的方法通常需要将EEG信号进行相关转换，原因是考虑到EEG信号电极之间的拓扑关系，EEG信号可以看作一种图信号，典型的神经网络(如CNN)不能直接处理图信号这一类非欧几里得结构数据，因为离散卷积不能保持对非欧几里得信号的平移不变性。可见，基于CNN的方法依然丢失了对脑电信号拓扑结构这一重要信息的处理吗，RNN的方法也同样如此。

综上所述，现有的基于CNN的运动想象脑电信号分类方法没有有效利用脑电信号拓扑结构信息；除此之外，其它“特征提取+分类器”的分段式处理的传统模式识别方法，既没有利用脑电信号拓扑结构信息，又存在特征表示与任务学习可能不能高效匹配的问题。因此，现有的相关方法的分类正确率不够理想。本发明提出一种基于频域图卷积神经网络的运动想象脑电信号分类方法，该方法意在克服上述问题，提高运动想象脑电信号分类正确率。

发明内容

本发明的目的意在解决传统运动想象脑电信号分类方法没有有效利用脑电信号导联拓扑结构信息且特征表示与任务学习不能高效匹配从而导致识别准确率不高的问题。为解决该问题，本发明提出一种基于频域图卷积神经网络的运动想象脑电信号的识别分类方法。方法框架示意图如图1所示，通过脑电记录设备获取原始运动想象脑电数据，对原始脑电数据进行数据预处理，然后基于记录的整个运动想象脑电数据利用时间序列相空间重构的同步性度量方法构建出表征整个运动想象任务导联之间拓扑结构信息的拉普拉斯矩阵，其与运动想象脑电数据序列各个时刻的瞬时采样样本作为的频域图神经网络的输入，经过这种基于图卷积的“端对端”方式输出最终的左右手的分类识别结果。

预处理步骤能够最大限度地提高数据的信噪比，本发明中预处理包含伪迹去除、重参考、频带滤波三个部分。伪迹的产生可能是由眼动、头动、肌电、心电等原因造成的，本发明采用独立成分分析(ICA)来去除伪迹。多导联EEG信号通常可以看作是一些相互独立的成分叠加的结果，该叠加可以看作是一个线性瞬时混合的过程。ICA从多维观测信号(原始EEG信号)中提取统计独立成分，根据这些成分的伪迹特点，将识别成的伪迹成分分量剔出，从而获得信噪比更高的EEG信号。脑电信号的记录是由活跃电极和参考电极的差分信号放大得来的，选择的参考将对数据产生重要影响，相同信号选取不同参考将产生不同质量的数据，本发明选取零参考方法作为电位重参考方法，零参考在基于EEG的网络分析中更能揭示EEG信号的空间同步特征，有利于下一步导联同步性度量的进行。想象运动的特征主要集中在阿尔法频段，因此频度滤波选用8-13hz带通滤波来进行感兴趣频带信息的选取。

大脑通常被视为一个复杂的非线性动力系统，对比传统基于皮尔逊相关系数等的线性同步性度量方法，使用相空间重构的方法构建出的导联同步性度量矩阵更符合大脑的非线性动力学特性，该部分内容主要完成的是各个导联间的相空间矩阵中状态间距离计算，从而构建出导联间同步性度量矩阵。首先进行导联时间序列的相空间重构，本发明采用坐标延迟重构法进行各个导联的时间序列相空间重构，输入参数主要有延迟时间τ和嵌入维数d。延迟时间τ用于等间隔延迟采样的时间间隔设定，嵌入维数d用于表示重构后相空间的维度。设某导联时间序列为：s_i:i＝1,2,…,n,n为序列总长度，以构建相空间中第i个状态为例，将时间点i之后的时间点以延迟时间τ作为间隔进行等间隔采样，直至构成一个新的d维向量，该向量为原序列对应相空间中第i个状态。因此，原序列进行相空间重构后相空间中所有的状态为：

X_i＝(s_i,s_i+τ,s_i+2τ,…,s_i+(d-1)τ),i＝1,…,m

m为状态总数，m＝n-(d-1)τ，根据Takens定理，状态序列X_i：i＝1，…，m包含了该导联所重构的非线性动力系统的时间演化信息，可以将该导联的全部状态序列表示为一个d×m维的相空间矩阵，上述重构过程中的延迟采样示意、相空间状态图示(仅显示3维情况)、相空间矩阵形式如图2所示。以上述重构过程类推，依次构建出所有导联的相空间矩阵，然后基于相空间矩阵计算出EEG导联所代表的非线性系统间的同步相关性。设某两个导联时间序列重构出相空间状态分别表示为：

在导联X时间序列对应的相空间中，定义第i个相空间状态X_i的KNN超球面为由距离X_i最近的K个相空间状态构成，对于每个相空间状态都有属于自己的K个近邻的d维状态，令r_i，j：j＝1，…，K和s_i，j：j＝1，…，K分别为X_i和Y_i的K个近邻的索引。

对于状态X_i，其自距离表示为：

状态X_i自距离参与计算的主要对象为

对于状态X_i，其相对Y导联状态Y_i的互距离表示为：

互距离参与计算的主要对象为

图3为两种距离参与计算对象的示意图(K＝5时)，定义两个导联在第i个状态上的相似指数为：

代表了X导联序列的在第i个状态上对Y导联序列的空间结构依赖性度量(同步性)，相同信号相似性指数为1，独立信号相似性指数为0。总共有m个状态，定义导联X与导联Y同步指数为：

以此类推计算出任意两个导联EEG序列间的同步指数，即可得到表征EEG信号导联间同步性的邻近矩阵A，A的元素A_i，j表示第i个导联与第j个导联之间的同步指数，A为对称矩阵。假设总共有N个导联，则能够表征本发明中EEG图数据结构中边属性的拉普拉斯矩阵为：

L＝I_N-D^-1/2AD^-1/2

其中，I_N为单位矩阵，D为对角矩阵，对角元素

在包含导联拓扑结构信息(边信息)的拉普拉斯矩阵建立之后，使用频域图卷积神经网络对EEG图数据结构进行分类，具体地，图卷积层提取图数据结构的特征，池化层进行降维操作，图卷积神经网络的最后的全连接层驱动softmax分类器进行最终的左右手想象运动二分类。频域图卷积神经网络的卷积层图卷积公式为：

z＝Ug_θ(Λ)U^Tx

x为EEG信号某时刻的采样信号，z为该图卷积层的输出，U为拉普拉斯矩阵的特征向量所组成的特征矩阵，gθ(Λ)为卷积核，其是拉普拉斯特征值所组成的对角矩阵Λ的函数，本发明为避免进行特征分解，降低计算复杂度，采用切比雪夫图卷积神经网络，进一步推导可得图卷积公式为：

K为切比雪夫图卷积层切比雪夫阶数，θ_k为图卷积参数，通过对网络进行训练得到，

其中λ_max为最大特征值，一般约等于2，

根据切比雪夫递推公式T_k(x)＝2xT_k-1(x)-T_k-2(x)求得，初始值T₀＝1，T₁＝x。Softmax函数驱动最终二分类，使用带有L2正则化惩罚项的交叉熵作为损失函数，计算公式分别如下：

本发明提供的技术方案所取得的有益效果为通过基于相空间重构的方法构建出的拉普拉斯矩阵表征了EEG导联信号间的拓扑结构信息，该方法所构建出的拓扑结构信息更符合大脑的非线性动力学特性，所采用的图卷积神经网络分类方法能够充分有效利用EEG导联信号中拓扑结构信息(卷积层图卷积公式中的U为拉普拉斯矩阵的特征矩阵，即为拓扑结构信息)，因为图卷积操作能够有效提取所构建EEG图信号的拓扑结构信息，并且该种端对端的方法不存在对图EEG信号的进一步特征表示，而是进行卷积特征提取后直接驱动分类器进行分类，卷积层的参数和分类层的参数同步被损失函数驱动进行调整，克服了传统分类方法特征表示与任务学习不能高效匹配的问题，上述这些发明中的策略能够有效提高想象运动脑电信号的分类准确率。

附图说明

图1为发明技术方案框架；

图2为相空间重构延迟采样示意图、相空间状态图示以及相空间矩阵形式图；

图3为同步性度量过程中两种距离计算对象示意图；

图4为实施案例中图卷积神经网络具体结构信息表；

图5为实施案例中相空间矩阵构建流程；

图6为实施案例中邻接矩阵计算流程；

具体实施方式

为使本发明的发明内容更加清楚，下面对本发明的实施方式作进一步地详细描述。

本发明的实施案例中使用BCI Competition Dataset A数据集作为想象运动脑电信号分类的对象，该数据导联位置按照10-20系统排布，总共有22个EEG信号导联，采样率为250Hz，原始数据以左耳乳突为参考电极，右耳乳突为接地电极。预处理的伪迹除去、重参考、频带滤波三个步骤使用Matlab的EEGLAB工具包进行处理，ICA伪迹去除所选用的独立成分数与电极数相同，重参考方法选取工具包中的零参考方法，频带滤波的带通频段设置为8-13Hz。

以数据集中的被试1的想象运动数据为例，进行构建拉普拉斯矩阵。首先进行数据切片，剔除静息态等脑电数据，切割出每个trial中的有效左右手想象运动数据并进行拼接得到被试1的整个想象运动数据，按照基于坐标延迟法的相空间重构方法得到22个导联的相空间矩阵，流程如图5所示，本发明所实施案例中，输入参数延迟时间τ取10，嵌入维数d取8。然后基于这22个相空间矩阵计算22个导联的非线性同步相关性，即包含22个导联同步相关性信息的邻接矩阵A，流程如图6所示，根据L＝I_N-D^-1/2AD^1/2即可求出表征导联间拓扑结构信息的拉普拉斯矩阵。

本发明的实施案例中的图卷积神经网络具体结构如图4中的表格所示，主要由6个图卷积层、6个池化层以及一个全连接层构成，每个卷积层后接一个池化层，6个图卷积层滤波器的数量分别为16、32、64、128、256、512，激活函数为Relu函数，切比雪夫多项式阶数为2阶多项式，每次池化图节点减少1/2倍，最后的全连接层驱动softmax函数进行二分类，发明的实施案例中的图卷积神经网络构建基于开源图神经网络框架PyTorch Geometric。将数据集中的被试1有效想象运动数据的80％作为训练集来对网络参数进行训练，训练所需的超参数有学习率、网络节点随机失活率、正则化惩罚项系数等，每次卷积之前进行批归一化，利用PyTorch框架提供的Adam优化器进行交叉熵损失函数的优化，参数设置如下：

learnin grate＝0.001,batch size＝1024,train epoch＝100

剩下的20％数据作为测试集评估分类效果，采用GAA和Kappa系数作为分类性能的衡量指标。

本发明并不局限于上述具体的实施方式，特别是上述实施实例中的拉普拉斯矩阵构建过程中的相关参数及图神经网络的超参数设置(包含卷积层和池化层的数量)是示意性质的，而不是限制性的，本领域的技术人员可以在发明的框架下通过参数设置做出很多形式，但这些基于本发明框架下的形式均属于本发明的保护范畴。

Claims (4)

1.一种基于频域图卷积神经网络的运动想象脑电信号分类方法，其特征在于：该方法的框架包含三个部分的内容，数据预处理部分对运动想象脑电数据进行伪迹去除、重参考、频带滤波，导联拓扑结构构建部分使用基于相空间重构的同步性度量方法构建出包含EEG图数据结构边属性信息的拉普拉斯矩阵，最后基于频域图卷积神经网络对想象运动EEG图数据进行识别分类。

2.如权利要求1所述基于频域图卷积神经网络的运动想象脑电信号分类方法，其特征在于：所述数据预处理部分，使用独立成分分析的方法对EEG伪迹进行去除，独立成分选取数量与导联数量相同，选取零参考法进行重参考，频带滤波选取阿尔法频带作为感兴趣频段进行提取。

3.如权利要求1所述基于频域图卷积神经网络的运动想象脑电信号分类方法，其特征在于：所述导联拓扑结构构建部分，首先进行各个导联时间序列对应的相空间矩阵的构建，在构建过程中采用基于坐标延迟重构的方法构建出相空间状态，从而得到属于各个导联的相空间矩阵；接着基于所构建出的相空间矩阵进行导联之间的非线性同步性度量，度量思路为计算各个导联相空间矩阵中对应相空间状态的相似指数，该相似指数通过对指定状态的自距离与互距离的作比得出，得到了各个导联之间的同步指数即得到了邻接矩阵A,由L＝I_N-D^-1/2AD^1/2确定频域图卷积神经网络所需要的拉普拉斯矩阵，该方法使用相空间矩阵中状态间距离计算完成EEG导联间的同步性度量，从而构建出更符合EEG非线性动力学特性的表征边属性的拉普拉斯矩阵，为下一步的频域图卷积奠定图结构数据基础。

4.如权利要求1所述基于频域图卷积神经网络的运动想象脑电信号分类方法，其特征在于：所述基于频域图卷积神经网络对想象运动EEG数据进行识别分类，采用切比雪夫网络，图卷积层提取EEG图数据特征，池化层进行降维操作，损失函数采用交叉熵损失，最后的全连接层驱动softmax函数进行分类。

Images