CN115481695A - 一种利用多分支特征提取的运动想象分类方法 - Google Patents

Abstract

本发明提供了一种利用多分支特征提取的运动想象分类方法，包括以下步骤：S1：原始EEG信号获取；S2：EEG信号预处理衡；S3：空间特征提取；S4：频率特征提取；S5：时间特征提取；S6：加权融合S3、S4和S5过程中提取的特征，利用融合后的特征采用softmax进行EEG信号分类，根据softmax输出的各参数的大小，选取最大的参数所对应的类别，该类别就是最终的分类结果；本发明解决了现有技术中存在的脑电信号分类精度低的问题。

Description

一种利用多分支特征提取的运动想象分类方法

技术领域

本发明属于脑电信号处理技术领域，特别是涉及一种利用多分支特征提取的运动想象分类方法。

背景技术

作为人体的中心枢纽，大脑控制着人的思想、动作、情感等一系列活动，人的一切行为都是由大脑发出指令来完成的，大脑是人体名副其实的“指挥中心”。然而近年来由于各种意外事件的发生，有越来越多的人身患癫痫和渐冻症等疾病，这些患者的大脑能够正常的运转,但是他们丧失了肢体运动的能力,无法将大脑传递而来的信号进行正确的表达。伟大的物理学家霍金就是这些患者中的一员，他在21岁时患上了肌肉萎缩性侧所硬化症，全身瘫痪，不能言语，无法完成正常的行为活动。

渐冻症已经变成危害人类生命健康的一个严重疾病，该疾病属于世界罕见病，目前还无法根治，并且患者的存活时间往往不到5年。大脑清醒，肢体却无法进行活动，这对患者而言非常残酷。近些年随着科技和医疗水平的发展，如何帮助这些大脑正常肢体失常的人与外界进行交流也成为越来越多研究者关注的问题，他们将目光投向脑科学领域，尝试帮助那些患者构建一条通道，将他们脑中的所思所想成功地表达出来，脑机接口(Brain-Computer Interface，BCI)技术也正是在这样的背景下出现了。

脑机接口是一种人机交互技术，它可以在人类大脑和外部设备之间建立直接连接通路，通过对大脑神经元活动进行解码，将解码后的命令传达给外部机器，从而允许人们通过大脑就可以操纵外部机器设备或者与外界进行交流。

自20世纪20年代末，德国生理与精神病学家HansBerger首次从人的大脑头皮采集到脑电信号(Electroencephalography,EEG),并且发现了8-12Hz的 Alpha波，这为脑机接口技术的未来发展打下了坚实基础。1973年，Jacques Vida1发表出第一篇基于脑电信号的脑机接口文章，详细阐述了脑机接口的使用平台和处理脑电信号的方法。至此，掀开了脑机接口的研究浪潮。随着近几十年来计算机技术的提升，各类机器学习、深度学习等人工智能算法层出不穷，大大提升了对脑电信号解码的准确率，使得脑机接口技术得到了飞速发展。

随着脑机接口技术被广泛研究，逐渐分为了运动想象、情绪识别、睡眠分期等不同应用的研究方向。其中，运动想象作为脑机接口技术的重要应用之一，引起了社会上极大的关注。运动想象是指与人体运动有关特异性行为在大脑的实现，但并不伴有实际的身体运动。

随着人工智能算法的飞速进步和智慧医疗的快速发展，对于脑机接口的研究越发受到重视，基于运动想象的脑机接口作为实际生活中极其重要的一个应用，对其分类模型的研究有着非常高的理论价值和实践意义。尽管脑机接口技术较诞生之初已经有了非常显著的进步，也完成了很多令人赞叹的创举，但许多研究还都处于实验阶段，真正能被用于实际生活的只是少数，想要让脑机接口真正实现商业化还需要走很长的路。目前阻碍脑机接口发展的主要原因是脑电信号分类精度较低，而脑电信号分类精度的提升又受到许多问题的制约：

(1)数据集样本量少

虽然相对于侵入式脑电信号而言，非侵入式脑电信号的采集更为便捷,但其仍需要按照一定的规范，利用专业的设备来完成。现阶段大多数研究使用的数据集都是往届BCI竞赛中的数据集，虽然数据集质量较好，但是样本量往往较少。而对于深度学习而言，深层的神经网络需要大量数据训练才能达到更好的效果，目前已有数据集的样本量大都无法满足。因此，当越来越多的研究人员选择利用深度学习来处理脑电信号时，如何解决样本量不足的问题需要进一步的研究。

(2)空间特征信息丢失

脑电信号数据本质上是一种时间序列数据，现阶段大多数研究能够对数据本. 身的时间特征信息进行有效的提取。然而，由于脑电信号采集电极空间分布规整, 各电极通道之间的位置关系明确，脑电信号数据本身还具有大量空间特征信息，越来越多的研究证明这些空间特征信息同样会对信号最终的分类结果产生影响。不同运动想象的脑电信号在时域、频域和空间域上存在显著差异,并且脑电信号在各维度中所携带的信息并非同等重要。在提取特征信息的同时，采用合适的算法提取出合适的时间域、频域和空间域特征信息是需要解决的一个问题。

(3)计算量和时间开销大

运动想象的模型部署在实际中需要实时的进行运算，而且多通道的运动想象分类需要一段连续的时间片段信号，进一步提高了模型的运算量。所以非同等重要。此外,基于深度网络的分类模型在识别脑电信号时需要大量的内存、计算量和时间开销，无法部署到有限计算能力的移动医疗设备中。

发明内容

本发明实施例的目的在于提供一种利用多分支特征提取的运动想象分类方法，以解决现有技术中存在的脑电信号分类精度低的问题。

为解决上述技术问题，本发明所采用的技术方案是，一种利用多分支特征提取的运动想象分类方法，包括以下步骤：

S1：原始EEG信号获取，从公开运动想象数据库中收集原始的EEG信号；

S2：EEG信号预处理：将原始的EEG信号划分为训练集、验证集和测试集；对训练集的EEG信号进行等值分段处理，将分段后的EEG信号拼接滑动扩增使得EEG信号由类别不平衡到类别平衡；

S3：将S2过程中滑动扩增后的EEG信号进行特征提取，得到空间特征；

S4：将S2过程中滑动扩增后的EEG信号进行分段处理后，输入一种三层的频率特征提取分支模型，用于提取EEG信号中包含的频率特征；

S5：对S2过程中滑动扩增后的EEG信号提取时间特征；

S6：加权融合S3、S4和S5过程中提取的特征，利用融合后的特征采用softmax 进行EEG信号分类，根据softmax输出的各参数的大小，选取最大的参数所对应的类别，该类别就是最终的分类结果；

S7：将验证集输入模型中，将验证集的损失作为模型参数更新的标准，当验证集损失减小时，更新模型的参数；最后用测试集的准确率来作为评估。

进一步地，所述S2中滑动扩增具体为：将EEG信号的每一条类别数据的每一个通道平均切成三分，分别标号a，b，c；然后随机按类别打乱，将a，b，c 按顺序拼接在一起，使数据扩增三倍。

进一步地，所述S3具体为：

S31：首先根据EEG信号的采集电极的位置排布，构建出一个适用于EEG 信号的图G：对EEG信号的采集电极的位置进行二维投影，得到每个节点有上、下、左、右、左上、右上、左下、右下共8个自然相邻的节点，将所有采集电极的节点都与其自然相邻节点相连，构成图G；

S32：将原始EEG信号经空间注意力机制，输出的特征信号结合图G做图卷积神经网络中的图嵌入表示，将特征信号中加入采集电极在空间中排布的位置特征，对每一个时间点的空间特征图中的每一个通道节点做二重的嵌入表示，得到具有图嵌入的空间注意力机制的特征。

进一步地，所述S4具体为：

S41：确定EEG信号的采样频率，以及确定评估运动想象的一个周期的时间，以长度为P的数据点决定一个运动想象的结果，EEG信号的每条数据使用Q个通道，即每条数据有P×Q个数据点，将所有数据作为频率特征提取分支模型的输入；

S42：上述被输入到频率特征提取分支模型的第一层中，第一层是一个普通的卷积神经网络CNN；第二层是一个逐通道的卷积层，在二维平面内进行的卷积运算，卷积核的数量与第一层的通道数相同；第三层是一个逐点卷积层，卷积核大小固定1×1，逐点卷积运算将第二层输出的feature map在深度方向上进行加权组合，最终EEG信号依次经过三层处理后得到的结果即为获取到的频率特征。

进一步地，所述S5具体为：

S51：对S2中滑动扩增后的EEG信号的每一个通道进行数据分割，分成X 个段，然后输入时间特征提取分支模型的第一层中；

S52：第一层由普通的卷积神经网络组成，用于对信号进行映射，提取EEG 信号中的频率信息，然后输入到第二层；

S53：第二层由注意力机制和全连接网络组成，自动提取EEG信号中的长距离的时间特征。

本发明的有益效果是：

1、在运动想象分类领域中引入了一种多分支特征提取的思想，提出了一种时频特征提取方法，专门用于脑电信号的长距离时频特征的提取；

2、首次将电极位置的空间信息用于运动想象脑电信号分类，解决了运动想象脑电分类的过程中，空间信息缺失的问题，有效的提升了运动想象分类的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的分类方法流程图；

图2为本发明实施例的频率特征提取分支的模型图；

图3为本发明实施例的时频特征提取分支的模型图；

图4为本发明实施例的多分支特征融合模型图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种多分支特征提取卷积网络用于运动想象脑电分类的方法，首先，根据脑电电极分布的非欧特性，设计出一个适用于脑电信号的图结构来充分考虑脑电电极间的关联性，同时将原始脑电信号在时域上的信息映射到图结构中，形成空间域的特征提取。然后利用一种深度可分离的卷积，在数据的每一通道上进行卷积，提取出多通道的频率特征信息。最后利用改进后的seq-Transformer对时间域特征进行提取，形成时、频、空三域特征提取；然后融合三个分支的特征，自适应地捕获脑电时、频、空维度中最有价值的信息。

其中具体的流程如下：

S1：原始EEG信号获取，从公开运动想象数据库(EEG Motor Movement/ImageryDataset、BCI Competition IV-2b等)中收集原始的EEG信号；

S2：EEG信号预处理：将原始的EEG信号划分为训练集、验证集和测试集。对训练集的EEG信号进行简单的等值分段处理，将分段后的EEG信号拼接滑动扩增使得EEG信号由类别不平衡到类别平衡；

S3：根据脑电信号采集电极位置分布，建立一张图G结构。将S2过程中得到的训练集进行分段处理后利用图G的结构，对各个通道的数据进行嵌入表示，主要是学习他的图结构特征，将空间结构信息引入数据中，进行特征提取，得到空间特征；

S4：将S2过程中得到的训练集进行分段处理后，输入一种三层特殊堆叠的卷积模块，用来提取，EEG信号中包含的频率特征；

S5：将S2过程中得到的数据，利用一种Transformer的变体，seq-Transformer 来提取序列信号中的时间特征信息。一般在时间序列数据中，比较关注序列前后的信号之间的特征，特别是一些长距离的特征，所以本发明利用该结构来提取时间特征。

S6：加权融合S3、S4和S5过程中提取的特征。利用融合后的特征采用softmax 进行脑电EEG信号分类，根据softmax输出的5个参数的大小，选取最大一个参数所对应的类别，该类别就是最终的分类结果。

S7：验证集输入模型中，将验证集的损失作为模型参数更新的标准，只有验证集损失减小时，才更新模型的参数。最后用测试集的准确率来衡量整个模型的性能，作为评估。

进一步，S3的具体过程为：

S31：首先根据采集电极位置排布，构建出一个适用于脑电信号的图G。在自然情况下的电极分布并不是标准的二维网格或三维网格，而是一个非欧空间。为了能更好的观察看到的所有电极的分布，本方法对其进行了二维投影。由于每个电极节点的电压值受到其周围电极电压值得影响最大，因此本发明假设每个节点有上、下、左、右、左上、右上、左下、右下共8个自然相邻的节点，同时假设每个节点与其自身自然相连。本方法将所有电极节点都与其自然相邻节点 (包括自身)相连，就构成了图G，能够充分考虑电极间的关联性。

S32：将原始EEG信号经空间注意力机制，输出的特征信号结合图G做图卷积神经网络中的图嵌入表示，将特征信号中加入电极在空间中排布的位置特征，对每一个时间点的空间特征图中的每一个通道节点做二重的嵌入表示。得到具有图嵌入的空间注意力机制的特征。

进一步，S4中频率特征提取的过程具体包括以下步骤：

S41：在使用EEG信号数据集中，该数据集在采集EEG时使用的采样频率为160Hz，以4s为评估运动想像的一个周期。长度为640的数据点决定一个运动想象的结果，每个数据使用64个通道，即每条数据有640×64个数据点。将这些数据作为频率特征提取分支的输入。

S42：这些被输入到频率提取分支模型的第一层中。该模型的第一层是一个普通的卷积神经网络(CNN)，第二层是一个逐通道的卷积操作，是完全在二维平面内进行的卷积运算。卷积核的数量与上一层的通道数相同。第三层是一个逐点卷积操作，卷积核大小固定1x1，这里的卷积运算会将上一步的feature map 在深度方向上进行加权组合。

进一步，S5中时频特征提取的过程具体包括以下步骤：

S51：对S2中滑动扩增后的EEG信号数据，即640×64的数据，对其每一个通道进行数据分割，分成32个段，然后输入时频特征提取分支的第一层中。

S52：模型的第一层由普通的卷积神经网络组成，主要是对信号进行映射，提取原始信号中的频率信息。然后输入第二层进行长距离的时间特征提取。

S53：第二层由注意力机制和全连接组成。自动提取EEG信号中的长距离的时间特征。

进一步，S6中多分支特征融合的过程具体包括以下步骤：

对多分支提取的特征进行加权，然后进行自注意力机制，自注意对分类最重要的特征。这些信号特征用来训练分类器，输入全连接层，经过softmax输出最终预测结果。

以下主要说明本发明的具体实现方式：

1.EEG信号采集

本发明使用运动想象中常用的基准数据集，EEG Motor Movement/ImageryDataset。这些记录是从109位被适者中获得的。被试者执行不同的运动/图像任务，同时使用BCI2000系统记录64通道脑电图。每个受试者进行14次实验：两次一分钟的基线运动(一次睁眼，一次闭眼)，以及以下四项任务中的每一项执行3次，每次两分钟：

目标出现在屏幕的左侧或右侧。受试者打开和合上相应的拳头，直到目标消失。然后受试者放松。

目标出现在屏幕的左侧或右侧。受试者想象打开和合上相应的拳头，直到目标消失。然后受试者放松。

目标出现在屏幕的顶部或底部。对象打开和合上双拳(如果目标在顶部)或双脚(如果目标在底部)直到目标消失。然后受试者放松。

目标出现在屏幕的顶部或底部。受试者想象打开和合上双拳(如果目标在顶部)或双脚(如果目标在底部)直到目标消失。然后受试者放松。

此处以EDF+格式提供数据(包含64个EEG信号，每个信号以每秒160个样本和一个注释通道进行采样)。

在这些数据集中，这些记录根据分为5个时期，即B、R、RL、L、F。B代表基线运动，R代表想象左侧拳头打开，L代表想象右侧拳头打开，RL代表想象双手拳头同时打开，F代表想象双脚打开。由表1所示，统计了该数据集每个运动想象类别的数据数量，可以看得出来数据是不平衡的。本发明中，使用64 个通道的数据来对本发明的方法进行评估。

表1.运动想象数据集各类别分布表

Dateset	B	R	RL	L	F
						Number	44496	11035	11217	11074	11030

2.数据预处理

对于EEG信号，除B类以外的其他类别，采用滑动扩增数据：将每一条类别数据的每一个通道平均切成三分，分别标号a，b，c。然后随机按类别打乱，将a，b，c按一定顺序拼接在一起。如bca，cba，acb等组合。使数据扩增三倍。

3.运动想象分类方法

如图1所示，表示了本发明方法的流程图。本发明的模型采用三个分支，分别提取不同域内的特征。因为各个分支关注的点不同，所以可以更高效的提取出对分类更加有效的特征。如图2所示，第一个分支是一种行之有效的频率特征提取卷积网络，采用三层堆叠，依次为普通卷积层、通道卷积层和逐点卷积层，普通卷积层具有3×3卷积核的卷积层；通道卷积是完全在二维平面内进行的卷积运算，卷积核的数量与上一层(普通卷积层)的通道数相同，通道和卷积核一一对应，所以输出feature map的通道数目不变；逐点卷积的卷积核大小固定为1 ×1，假设其输出通道为N，那么它的卷积核的shape为1×1×M×N，M为上一层(通道卷积层)的通道数，所以这里的卷积运算会将上一步的feature map 在深度方向上进行加权组合。最终脑电信号经过三层卷积后得到的结果即为获取到的频率特征。如图3所示，第二个分支是一种特殊的注意力机制网络，属于 transformer的一种变体，专门用于脑电信号，将原始的脑电信号进行分段，将每一段输入1D卷积层作为嵌入表示，将输出的结果输入一层Transformer Encoder 计算通道间的相识度，然后将每个通道分别输入3层Transformer Encoder中计算通道内的长距离特征。该结构可以有效的捕获长距离的时间特征。第三个分支如图4所示，显示了一种特征融合的结构网络，将前面分支提取的时间特征、频率特征以及根据图G得到的空间特征，输入Flatten层进行对齐，然后再输入concatenate层进行拼接得到结果，最后输入SelfAttention层进行相似度计算得到最终的聚合特征，该结构专门用于多分支特征融合，可以自主的选择关注对分类贡献最大的特征，并进行加权融合得到最终结果。

4.数据集划分

本发明采用k-fold交叉验证策略对模型进行评价。当划分训练集和测试集时，数据集中的每个对象都是独立的。在本发明的实验中，数据集的k设置为 10。具体来说，本发明使用N-(N/k)个数据记录进行训练，其余N/k个数据记录进行测试，其中N是数据集中的全部数据数量。在训练过程中，随机选取训练集中的(N/k)个数据作为验证集，该验证集被用来选择合适的训练迭代次数和提前停止训练的标准。本发明的模型需要对运动想象数据集进行10次训练和测试，然后将每一次测试数据的运动想象类别预测结果结合起来计算评估指标。

5.结果评估

本发明使用了多个评估指标对本发明方法进行评估，这些评估指标分别是准确率、召回率、精确率、F1值(为了能够评价不同算法的优劣，在准确率和召回率的基础上提出了F1值的概念，来对准确率和召回率进行整体评价。F1的定义如下：F1值＝准确率*召回率*2/(准确率+召回率))。

首先，本发明使用不同特征提取分支对运动想象数据集进行预测，得到的总体准确率ACC和F1值，如下表2所示，是利用不同分支进行分类实验的结果的消融对比数据：

表2.利用不同分支进行分类实验的结果的消融对比数据

从表2可以看出，Base-balance与Base-no_balance方法相比总体准确率ACC 和F1值有一定提升，证明了训练集的数据平衡方法对模型准确率的提升是有用的。Base-balance方法、Seq-transformer方法和SG-net方法，分别代表只使用频率特征提取分支做分类、时频特征提取分支做分类和空间特征提取分支做分类。 Two-branch net方法代表将频率特征提取分支和时频特征提取分支融合在一起做分类模型。从总体准确率ACC来看70％明显高于63％和60％，证明了多分支融合的思路是就有可行性的。本发明的方法，即最终三分支融合做分类的模型方法，总体准确率ACC值达到了97.59％，取得了很好的性能，作为整体评价的指标 F1值也达到了97.39％。所以本发明的方法在运动想象分类任务上表现出了良好的分类性能。比起只用单分支的实验结果来看，利用多分支进行分类，实验结果的准确率会有很大的提升，证明各分支提取的特征之间可以相互互补用于最后实验结果的分类。

进一步，本发明将多分支模型的在EEG Motor Movement/Imagery Dataset数据集上进行预测，得到的混淆矩阵如下表3所示，其中PR表示精确率，RE表示召回率：

表3.多分支特征提取分类模型对MI数据集预测结果的混淆矩阵

为了能够更好的体现本发明的优势，本发明将总体的结果评估结果与其他主流方式进行了对比：

表4.本发明提出方法与当前方法的比较

从上表4可以看出，本发明的多分支特征提取模型在MI数据集上的总体准确率达到了97.59％，这已经达到了目前所现有方法的基准线。通过表2，可以看出多分支特征提取只关注固定域的特征。时频特征提取分支，主要是关注与长距离的时频特征，频率特征提取分支，采用CNN来提取频率特征。而空间域特征提取分支，引入了电极位置的空间信息。主要关注的是空间特征信息的提取。特别是脑电信号属于序列信号，在许多序列转导任务中，学习远程依赖性是一项关键挑战。影响学习这种依赖性的能力的一个关键因素是网络中前向和后向信号必须经过的路径长度。输入和输出序列中位置的任意组合之间的这些路径越短，则越容易学习远程依赖性。在CNN类的模型中，通过卷积计算两个位置之间的关联所需的操作次数是随距离增长的。而Transformer中的Self-attention计算两个位置之间的关联所需的操作次数是与距离无关的。所以可以有效的提取长距离特征。各分支结合，特征的结合提高了模型的分类精度，是分类结果更具有优势。

最后，为了比较本发明提出多分支特征提取脑电运动想象分类模型的时间性能，本发明在内存为128G，CPU为Intel(R)Xeon(R)Silver 4210CPU@2.20GHz，显卡为NVIDIATeslaV100的电脑上进行实验。其训练本发明提出的多分支特征提取模型的时间仅为10分钟左右，测试时间仅为13毫秒。而目前大多数模型的训练时间大约为1小时，这证明了本发明提出的表示学习模型在时间上的优势。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (5)

1.一种利用多分支特征提取的运动想象分类方法，其特征在于，包括以下步骤：

S1：原始EEG信号获取，从公开运动想象数据库中收集原始的EEG信号；

S2：EEG信号预处理：将原始的EEG信号划分为训练集、验证集和测试集；对训练集的EEG信号进行等值分段处理，将分段后的EEG信号拼接滑动扩增使得EEG信号由类别不平衡到类别平衡；

S3：将S2过程中滑动扩增后的EEG信号进行特征提取，得到空间特征；

S4：将S2过程中滑动扩增后的EEG信号进行分段处理后，输入一种三层的频率特征提取分支模型，用于提取EEG信号中包含的频率特征；

S5：对S2过程中滑动扩增后的EEG信号提取时间特征；

S6：加权融合S3、S4和S5过程中提取的特征，利用融合后的特征采用softmax进行EEG信号分类，根据softmax输出的各参数的大小，选取最大的参数所对应的类别，该类别就是最终的分类结果；

S7：将验证集输入模型中，将验证集的损失作为模型参数更新的标准，当验证集损失减小时，更新模型的参数；最后用测试集的准确率来作为评估。

2.根据权利要求1所述的一种利用多分支特征提取的运动想象分类方法，其特征在于，所述S2中滑动扩增具体为：将EEG信号的每一条类别数据的每一个通道平均切成三分，分别标号a，b，c；然后随机按类别打乱，将a，b，c按顺序拼接在一起，使数据扩增三倍。

3.根据权利要求1所述的一种利用多分支特征提取的运动想象分类方法，其特征在于，所述S3具体为：

S31：首先根据EEG信号的采集电极的位置排布，构建出一个适用于EEG信号的图G：对EEG信号的采集电极的位置进行二维投影，得到每个节点有上、下、左、右、左上、右上、左下、右下共8个自然相邻的节点，将所有采集电极的节点都与其自然相邻节点相连，构成图G；

S32：将原始EEG信号经空间注意力机制，输出的特征信号结合图G做图卷积神经网络中的图嵌入表示，将特征信号中加入采集电极在空间中排布的位置特征，对每一个时间点的空间特征图中的每一个通道节点做二重的嵌入表示，得到具有图嵌入的空间注意力机制的特征。

4.根据权利要求1所述的一种利用多分支特征提取的运动想象分类方法，其特征在于，所述S4具体为：

S41：确定EEG信号的采样频率，以及确定评估运动想象的一个周期的时间，以长度为P的数据点决定一个运动想象的结果，EEG信号的每条数据使用Q个通道，即每条数据有P×Q个数据点，将所有数据作为频率特征提取分支模型的输入；

S42：上述被输入到频率特征提取分支模型的第一层中，第一层是一个普通的卷积神经网络CNN；第二层是一个逐通道的卷积层，在二维平面内进行的卷积运算，卷积核的数量与第一层的通道数相同；第三层是一个逐点卷积层，卷积核大小固定1×1，逐点卷积运算将第二层输出的feature map在深度方向上进行加权组合，最终EEG信号依次经过三层处理后得到的结果即为获取到的频率特征。

5.根据权利要求1所述的一种利用多分支特征提取的运动想象分类方法，其特征在于，所述S5具体为：

S51：对S2中滑动扩增后的EEG信号的每一个通道进行数据分割，分成X个段，然后输入时间特征提取分支模型的第一层中；

S52：第一层由普通的卷积神经网络组成，用于对信号进行映射，提取EEG信号中的频率信息，然后输入到第二层；

S53：第二层由注意力机制和全连接网络组成，自动提取EEG信号中的长距离的时间特征。

Images