CN114997229A - 一种基于脑电信号的运动想象分类方法和系统 - Google Patents

Abstract

本发明涉及一种基于脑电信号的运动想象分类方法和系统。其中，基于脑电信号的运动想象分类方法在获取脑电信号，并对脑电信号进行预处理之后，再获取包括特征提取模型和特征分类模型的运动想象分类模型，然后，将预处理后的脑电信号输入至运动想象分类模型中，得到分类结果。可见，本发明通过采用包括有特征提取模型和特征分类模型的运动想象分类模型对脑电信号进行处理，以得到分类结果，能够在提高锚点信号分类泛化性的同时，提高分类精确性。

Description

一种基于脑电信号的运动想象分类方法和系统

技术领域

本发明涉及脑电信号检测技术领域，特别是涉及一种基于脑电信号的运动想象分类方法和系统。

背景技术

脑机接口(BCI)技术建立了一条人脑与计算机之间的直接通路，是人机交互下一阶段的发展方向。脑机接口系统首先采集大脑活动数据、接着进行信号处理解码人脑的意图，最后传递出指令控制外部设备。为了提高使用者产生的脑电信号质量，实践中发展出了多种范式，如P300、视觉稳态诱发和运动想象等。

运动想象是一种脑机接口经典的范式，使用者可自主发出控制指令。其生理学基础是身体运动可在大脑运动感觉区产生mu(8-12Hz)和beta(13-30Hz)节律，出现事件相关同步化和事件相关去同步化现象。相较于其他范式，具有不需要外界刺激诱发的优点。基于运动想象的脑机接口系统可用于脑卒中康复、控制电动轮椅、文本拼写器和假肢等设备，除了能简化正常人与机器交互的流程之外，还能够帮助残障人士提高生活自理能力。运动想象脑电信号的分类准确率因受信号特性和用户认知程度等多种因素影响，难以达到较高值，而且不同用户的分类准确率差异较大。运动想象系统要实时地应用在实际问题中，就必须要求其拥有很高的分类精度以及很快的反应速度。

目前对运动想象脑电信号进行分类的方法有以下三种

共空间模式算法：该方法通过最大化不同运动想象脑电信号的方差，设计最优空间滤波器。利用该滤波器对脑电信号进行滤波，得到具有较高区分度的特征向量，从而对运动想象信号进行分类。

卷积神经网络：该方法利用深度卷积神经网络，将高维原始信号投影为低维分类向量，对运动想象信号进行分类。

时频图表征：该方法首先使用快速傅立叶变化、连续小波变化等方法将脑电信号转化为时频图，之后利用计算机视觉的算法对运动想象信号进行分类。

但是，上述共空间模式算法仅考虑了不同种类的运动想象脑电信号在大脑的空间分布差异，没有关注时间域上的特征，因此存在泛化性差、准确率低等缺点。现有的深度学习算法在设计特征提取的网络结构时，没有结合脑电信号蕴含的生理意义，而是仿照自然图像的分类网络结构设置，可解释性差，提取得到的特征向量泛化性差。在设置损失函数时，使用交叉熵函数以及基于交叉熵的改进方法，只起到类间分离的约束作用，没有做到类内聚合，因此也存在分类准确率低的问题。

发明内容

为解决现有技术存在的上述问题，本发明提供了一种基于脑电信号的运动想象分类方法和系统。

为实现上述目的，本发明提供了如下方案：

一种基于脑电信号的运动想象分类方法，包括：

获取脑电信号，并对所述脑电信号进行预处理；

获取运动想象分类模型；所述运动想象分类模型包括：特征提取模型和特征分类模型；所述特征提取模型为训练好的多尺度-时空卷积特征提取网络；所述特征分类模型为训练好的全连接层网络；

将预处理后的所述脑电信号输入至所述运动想象分类模型中，得到分类结果。

优选地，获取运动想象分类模型，之前还包括：

获取第一训练集和第二训练集；

采用所述第一训练集基于损失函数对多尺度-时空卷积特征提取网络进行训练，得到所述特征提取模型；

采用所述第二训练集基于交叉熵函数对全连接层网络进行训练，得到所述特征分类模型。

优选地，所述多尺度-时空卷积特征提取网络包括：第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块；

所述第一卷积模块的输出、所述第二卷积模块的输出、所述第三卷积模块的输出和所述第四卷积模块的输出经加权处理后输入至所述特征分类模型。

优选地，所述第一卷积模块为时间域卷积核尺寸为第一预设值的时间卷积；所述第二卷积模块为时间域卷积核尺寸为第二预设值的时间卷积；所述第三卷积模块为时间域卷积核尺寸为第三预设值的时间卷积；所述第四卷积模块为空间域卷积核尺寸为通道数的空间卷积。

优选地，所述第一预设值为10；所述第二预设值为45；所述第三预设值为100。

优选地，所述第一卷积模块的Dropout概率为0.2；所述第二卷积模块的Dropout概率为0.1；所述第三卷积模块的Dropout概率为0.2；所述第四卷积模块的Dropout概率为0.2。

优选地，所述第一卷积模块、所述第二卷积模块、所述第三卷积模块和所述第四卷积模块的处理过程均为：

对脑电信号进行2D卷积后，依次进行批次标准化、ReLU激活函数、平均池化、卷积处理、批次标准化、ReLU激活函数和平均池化处理。

优选地，所述全连接层网络包括：依次连接的第一全连接层，激活函数和第二全连接层。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供的基于脑电信号的运动想象分类方法，通过采用包括有特征提取模型和特征分类模型的运动想象分类模型对脑电信号进行处理，以得到分类结果，能够在提高锚点信号分类泛化性的同时，提高分类精确性。

此外，对应于上述提供的基于脑电信号的运动想象分类方法，本发明还提供了一种基于脑电信号的运动想象分类系统，该系统包括：

脑电信号获取模块，用于获取脑电信号，并对所述脑电信号进行预处理；

分类模型获取模块，用于获取运动想象分类模型；所述运动想象分类模型包括：特征提取模型和特征分类模型；所述特征提取模型为训练好的多尺度-时空卷积特征提取网络；所述特征分类模型为训练好的全连接层网络；所述多尺度-时空卷积特征提取网络包括：第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块；所述第一卷积模块的输出、所述第二卷积模块的输出、所述第三卷积模块的输出和所述第四卷积模块的输出经加权处理后输入至所述特征分类模型；所述全连接层网络包括：依次连接的第一全连接层，激活函数和第二全连接层；

分类结果确定模块，用于将预处理后的所述脑电信号输入至所述运动想象分类模型中，得到分类结果。

因本发明提供的基于脑电信号的运动想象分类系统实现的技术效果与上述提供的基于脑电信号的运动想象分类方法实现的技术效果相同，故在此不再进行赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于脑电信号的运动想象分类方法的流程图；

图2为本发明实施例提供的电极位置示意图；

图3为本发明实施例提供的4个卷积模块的实际意义显示图；

图4为本发明实施例提供的运动想象分类模型的结构示意图；

图5为本发明实施例提供的对比损失的优化效果差异图；

图6为本发明实施例提供的交叉熵的优化效果差异图；

图7为本发明实施例提供的全连接分类器的结构示意图；

图8为本发明提供的基于脑电信号的运动想象分类系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于脑电信号的运动想象分类方法和系统，能够在提高锚点信号分类泛化性的同时，提高分类精确性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供的基于脑电信号的运动想象分类方法，包括：

步骤100：获取脑电信号，并对脑电信号进行预处理。

步骤101：获取运动想象分类模型。运动想象分类模型包括：特征提取模型和特征分类模型。特征提取模型为训练好的多尺度-时空卷积特征提取网络。特征分类模型为训练好的全连接层网络。

其中，多尺度-时空卷积特征提取网络包括：第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块。第一卷积模块的输出、第二卷积模块的输出、第三卷积模块的输出和第四卷积模块的输出经加权处理后输入至特征分类模型。全连接层网络包括：依次连接的第一全连接层，激活函数和第二全连接层。

在多尺度-时空卷积特征提取网络中，各卷积模块的设置可以依据实际脑电信号的处理需求进行选择，例如，如图3所示，第一卷积模块为时间域卷积核尺寸为10的时间卷积，即时间卷积10。第二卷积模块为时间域卷积核尺寸为45的时间卷积，即时间卷积45。第三卷积模块为时间域卷积核尺寸为100的时间卷积，即时间卷积100。第四卷积模块为空间域卷积核尺寸为通道数的空间卷积。

进一步，为减少过拟合的影响，对每一个卷积模块均设置了不同的Dropout概率，例如，第一卷积模块的Dropout概率为0.2。第二卷积模块的Dropout概率为0.1。第三卷积模块的Dropout概率为0.2。第四卷积模块的Dropout概率为0.2。

在采用上述多尺度-时空卷积特征提取网络对脑电信号进行处理的过程中，时间卷积10的生理意义为0.1秒内的脑电信号。首先对预处理后的脑电信号进行2D卷积，2D卷积的卷积核尺寸为(1×10)，步长为1，padding＝0，通道数为4。之后依此通过批次标准化(BN2D)、ReLU激活函数、尺寸为(1×3)的平均池化(AvgPool)。再重复上述流程一次，得到时间卷积10提取得到的特征向量F1。

时间卷积45的生理意义为0.45秒内的脑电信号。首先对预处理后的脑电信号进行2D卷积，2D卷积的卷积核尺寸为(1×45)，步长为1，padding＝0，通道数为16。之后依此通过批次标准化、ReLU激活函数、尺寸为(1×3)的平均池化。再重复上述流程一次，得到时间卷积45提取得到的特征向量F2。

时间卷积100的生理意义为1秒内的脑电信号。首先对预处理后的脑电信号进行2D卷积，卷积核尺寸为(1×100)，步长为1，padding＝0，通道数为4。之后依此通过批次标准化、ReLU激活函数、尺寸为(1×3)的平均池化。再重复上述流程一次，得到时间卷积100提取得到的特征向量F3。

空间卷积指空间域卷积核尺寸为通道数的卷积模块，生理意义为对各通道的脑电信号进行加权平均。首先对预处理后的脑电信号进行2D卷积，卷积核尺寸为(C×1)，步长为1，padding＝0，通道数为16。之后依此通过批次标准化、ReLU激活函数、尺寸为(1×3)的平均池化。再重复上述流程一次，得到空间卷积提取得到的特征向量F4。

上述脑电信号的处理过程对应于如图4所示的运动想象分类模型，其中，Conv表示卷积操作，@*表示具体选择的通道数。Dense表示全连接层。

在对上述提供的多尺度-时空卷积特征提取网络进行训练过程中，通过对比损失函数实现，在对全连接层网络进行训练的过程中，主要是基于交叉熵函数实现。

步骤102：将预处理后的脑电信号输入至运动想象分类模型中，得到分类结果。

下面提供一个实施例，对本发明提供的上述基于脑电信号的运动想象分类方法的具体实施过程进行说明。在实际应用过程中，该实施例所给出的具体数值不作为本发明所提供技术方案的具体限定。

本实施例使用10-20标准导联系统进行脑电信号的采集，在采集过程中，所采用的20个电极——FC3、FC1、FCz、FC2、FC4、C5、C3、C1、Cz、C2、C4、C6、CP3、CP1、CPz、CP2、CP4、P1、Pz和P2的具体放置位置如图2所示。在该实施例中，为满足信号预处理流程中将脑电信号降采样至100Hz，使得算法设置具有统一的实际物理意义的要求，采样率应大于等于100Hz。

为消除不同脑电信号采集参数设置的影响，提高分类精准度，同时提高特征提取及分类模型的泛用性，具有高效性与易用性。本实施例中，需要对电极采集得到的脑电信号进行预处理，得到输入尺寸相同、采样频率相同的处理后信号。其中，设置时间窗的宽度为T秒，首先对原始脑电信号使用5阶Butterworth带通滤波器进行滤波，频带为8～32Hz，之后对滤波后的信号进行降采样至100Hz。经过预处理后，脑电信号均可由通道数乘以100T的时空信号矩阵进行表示。

为提高可供训练的样本量，本实施例中采用噪声-数据混合的数据增强方法，对真实脑电数据添加高斯噪声即可得到同种类的增强数据。数据混合方法通过组合两段不同的信号得到新的增强数据，具体做法为：首先随机选择两段数据X₁和X₂，并随机产生一个0-1之间的比例值lam。新生成的数据X_mix＝X₁+(1-lam)X₂。设计算损失的函数为L(x)，则新生成数据的损失L_mix＝L(X₁)+(1-lam)L(X₂)。分别使用噪声与数据混合的方法，可设置数据增强的比例。基于此，将真实数据与增强产生的数据合并作为训练集。

基于上述描述，本实施例中采用的多尺度-时空卷积特征提取网络(Multi scale-temporal spatial convolution networks，MS-TSNet)由串联的卷积模块组成，输入的脑电信号通过卷积模块得到特征向量。卷积模块由四个并行的时间卷积组成，其中，三个为时间卷积，一个为空间卷积。

在多尺度-时空卷积特征提取网络中，将输入的脑电信号分别通过时间卷积10、时间卷积45、时间卷积100以及空间卷积，得到四个特征向量F1，F2，F3与F4，将这四个特征向量连接在一起，即可得到表征输入脑电信号的特征向量F。特征向量F的长度随输入的尺寸变化而变化，如，当输入通道数为20，时间窗为4秒时，特征向量F的长度为2020。全连接层网络将特征向量F投影为128维的向量，如图7所示，全连接层网络由第一全连接层、ReLU激活函数和第二全连接层组成。第一全连接层将F投影为512维向量，第二全连接层将512维向量投影为128维向量P。

本实施例上述提供的多尺度-时空卷积特征提取网络的初始参数为随机生成的。为了提取出区分度高的特征向量，需要对初始参数进行优化。参数优化方向由损失函数的梯度决定，在实施时，进行如下步骤：

1、计算特征提取网络输出特征的损失函数梯度。

2、再回传至特征提取网络优化参数。

3、重复步骤1-2若干次(例如200次)后，即可得到能够提取出具有高区分度的特征向量的特征提取网络。

本实施例使用了一种有监督的对比损失函数，有监督的对比损失函数输入为提取得到的特征和对应的运动想象种类标签。通过对比损失函数的约束优化，可拉近相同种类运动想象信号提取的特征，推远不同种类运动想象信号提取的特征，如图5和图6所示。具体计算方法如下：

①在一个批次内计算所有正对、负对之间的余弦相似度。正对指类别相同的数据，负对指类别不同的数据。为：

式中，A、B分别表示两个不同的特征向量，其维度为n。A_i与B_i表示特征向量A、B中的第i个维度。

②对所有正对、负对的余弦相似度计算平均值S_p、S_n。

③计算对比损失。m_pos指正对余量默认值为1，m_neg指负对余量默认值为0。在默认设置下，对比损失函数约束模型的优化方向为同类运动想象脑电信号提取出的特征向量方向相同，不同类的脑电信号提取出的特征向量方向相互垂直。通过调整两个余量即可控制正对与负对的权重和模型优化方向L_Contrastive。

L_Contrastive＝|m_pos-s_p|+|m_neg-s_n|

对得到的特征向量F，使用全连接层网络(FC-Net)作为分类器，全连接层网络中的第一全连接层将特征向量F投影为512维向量，第二全连接层将512维向量投影为n维向量N(n＝运动想象类别数)。将n维向量N中最大值的维度作为分类器判别的标签。例如，当运动想象类别数为2时，设置想象右手为类别1，想象左手为类别2。对某一段脑电信号分类器输出的结果为(0.3，0.7)，即分类器认为该脑电信号为想象左手时的脑电。对于全连接层分类器的训练使用交叉熵损失函数，通过减小交叉熵即可优化分类模型使得模型输出的分类结果与训练集的真实类别相同。

假设概率分布p为期望输出，概率分布q为实际输出，Lce为交叉熵，则

式中，p(x)为真实样本的概率分布，q(x)为模型预测的概率分布，L_ce为交叉熵，log为常用对数函数。

基于上述描述，本实施例提出的分类方法由两个模型组成，因此可以分阶段训练。对多尺度-时空卷积提取网络的训练采用所有使用者的训练集数据进行训练，模型稳定后得到一个预训练好的特征提取网络。直接使用该模型对处理后的脑电信号进行特征提取，即可取得区分度好的特征向量。再使用特定使用者的少量训练集数据对预训练好的特征提取网络进行精调，得到每个受试个性化的特征提取网络，所得到的特征向量可区分度进一步提高。

对于提取出来的特征向量，全连接层网络仅需使用特定使用者少量的训练数据即可取得最佳的表现。不同使用者脑电信号的绝对数值存在差异，因此使用所有使用者的训练集训练反而会造成模型分类效果变差。

得到训练好的多尺度-时空卷积特征提取网络和全连接层网络之后，将其分别作为特征提取模型和特征分类模型，以形成运动想象分类模型。然后，采集待分类的运动想象原始脑电信号输入至运动想象分类模型中，就可以得到与当前原始脑电信号对应的运动想象分类结果。

基于上述描述，相对于现有技术，本发明具有以下优点：

1、本发明设置了一种脑电信号预处理流程。带通滤波可减小随机噪声产生的影响，降采样至100Hz可统一输入信号的实际含义，两个采样点之间的时间间隔均为0.01。因此在不同的采集条件下，处理后的信号所代表的物理意义相同，提高了模型的泛用性。

2、本发明依据脑电信号的生理特征设置了多尺度-时空卷积特征提取网络。不同的时间卷积核尺寸0.1s、0.45s和1s提供了多种时间域特征提取尺度。因此所提取到的特征可表示处理后信号的不同性质。0.1s卷积核参考了多数使用者运动想象脑电信号的功率谱密度会在10Hz处明显偏大。0.45s卷积核通过梯度实验测试，在使用单一尺寸的卷积核条件下综合表现最佳。1s卷积核尺度大，因此可提供使用者的脑电信号基准信息。空间卷积在每一个采样点处对各个电极采得的电位进行加权平均，能够综合考量不同脑区的活动状态。因为参考脑电信号的生理特征设置网络结构，所以本模型能够有效的从脑电信号中提取出区分度好的特征向量。

3、本发明使用了对比损失函数。目前损失函数普遍采用交叉熵作为损失函数，仅能起到类间分离的优化作用，对于难以区分信号的表现不好。对比损失函数即可起到类间分离也能起到类内聚合的效果，因此使得提取出的特征向量区分度更好，所以能够取得更高的分类精度。

4、本发明提出的分类方法由两个模型组成。一个为特征提取网络，从脑电信号中提取区分度高的特征向量。另一个为依据提取得到的特征向量进行分类。相较于目前常用端到端的深度学习模型具有可解释好的特点，并且能够针对特定问题优化参数。

此外，对应于上述提供的基于脑电信号的运动想象分类方法，本发明还提供了一种基于脑电信号的运动想象分类系统，如图8所示，该系统包括：

脑电信号获取模块800，用于获取脑电信号，并对脑电信号进行预处理。

分类模型获取模块801，用于获取运动想象分类模型。运动想象分类模型包括：特征提取模型和特征分类模型。特征提取模型为训练好的多尺度-时空卷积特征提取网络。特征分类模型为训练好的全连接层网络。多尺度-时空卷积特征提取网络包括：第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块。第一卷积模块的输出、第二卷积模块的输出、第三卷积模块的输出和第四卷积模块的输出经加权处理后输入至特征分类模型。全连接层网络包括：依次连接的第一全连接层，激活函数和第二全连接层。

分类结果确定模块802，用于将预处理后的脑电信号输入至运动想象分类模型中，得到分类结果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种基于脑电信号的运动想象分类方法，其特征在于，包括：

获取脑电信号，并对所述脑电信号进行预处理；

获取运动想象分类模型；所述运动想象分类模型包括：特征提取模型和特征分类模型；所述特征提取模型为训练好的多尺度-时空卷积特征提取网络；所述特征分类模型为训练好的全连接层网络；

将预处理后的所述脑电信号输入至所述运动想象分类模型中，得到分类结果。

2.根据权利要求1所述的基于脑电信号的运动想象分类方法，其特征在于，获取运动想象分类模型，之前还包括：

获取第一训练集和第二训练集；

采用所述第一训练集基于损失函数对多尺度-时空卷积特征提取网络进行训练，得到所述特征提取模型；

采用所述第二训练集基于交叉熵函数对全连接层网络进行训练，得到所述特征分类模型。

3.根据权利要求1所述的基于脑电信号的运动想象分类方法，其特征在于，所述多尺度-时空卷积特征提取网络包括：第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块；

所述第一卷积模块的输出、所述第二卷积模块的输出、所述第三卷积模块的输出和所述第四卷积模块的输出经加权处理后输入至所述特征分类模型。

4.根据权利要求3所述的基于脑电信号的运动想象分类方法，其特征在于，所述第一卷积模块为时间域卷积核尺寸为第一预设值的时间卷积；所述第二卷积模块为时间域卷积核尺寸为第二预设值的时间卷积；所述第三卷积模块为时间域卷积核尺寸为第三预设值的时间卷积；所述第四卷积模块为空间域卷积核尺寸为通道数的空间卷积。

5.根据权利要求4所述的基于脑电信号的运动想象分类方法，其特征在于，所述第一预设值为10；所述第二预设值为45；所述第三预设值为100。

6.根据权利要求3所述的基于脑电信号的运动想象分类方法，其特征在于，所述第一卷积模块的Dropout概率为0.2；所述第二卷积模块的Dropout概率为0.1；所述第三卷积模块的Dropout概率为0.2；所述第四卷积模块的Dropout概率为0.2。

7.根据权利要求3所述的基于脑电信号的运动想象分类方法，其特征在于，所述第一卷积模块、所述第二卷积模块、所述第三卷积模块和所述第四卷积模块的处理过程均为：

对脑电信号进行2D卷积后，依次进行批次标准化、ReLU激活函数、平均池化、卷积处理、批次标准化、ReLU激活函数和平均池化处理。

8.根据权利要求1所述的基于脑电信号的运动想象分类方法，其特征在于，所述全连接层网络包括：依次连接的第一全连接层，激活函数和第二全连接层。

9.一种基于脑电信号的运动想象分类系统，其特征在于，包括：

脑电信号获取模块，用于获取脑电信号，并对所述脑电信号进行预处理；

分类模型获取模块，用于获取运动想象分类模型；所述运动想象分类模型包括：特征提取模型和特征分类模型；所述特征提取模型为训练好的多尺度-时空卷积特征提取网络；所述特征分类模型为训练好的全连接层网络；所述多尺度-时空卷积特征提取网络包括：第一卷积模块、第二卷积模块、第三卷积模块和第四卷积模块；所述第一卷积模块的输出、所述第二卷积模块的输出、所述第三卷积模块的输出和所述第四卷积模块的输出经加权处理后输入至所述特征分类模型；所述全连接层网络包括：依次连接的第一全连接层，激活函数和第二全连接层；

分类结果确定模块，用于将预处理后的所述脑电信号输入至所述运动想象分类模型中，得到分类结果。

Images