CN115221969A - 基于emd数据增强和并行scn的运动想象脑电信号识别方法 - Google Patents

Abstract

本发明请求保护一种基于EMD数据增强和并行时空卷积网络(SCN)的运动想象脑电信号识别方法，该方法包括步骤：先对原始脑电信号进行预处理，将预处理的脑电信号采用EMD分解得到本征模态，本征模态按照时间维度分段，并与另一相同标签样本不重复的本征模态段进行组合，进而生成更多符合原始脑电信号特征的人造数据，以解决脑电信号样本量少的问题。接着设计了一种并行时空卷积网络，第一层在时间上做卷积，第二层在通道上做卷积，可充分提取脑电信号的时空特征，并考虑运动想象的节律主要分布在μ和β节律，所以分别将脑电信号的μ和β频段作为并行时空卷积网络的输入，以提取脑电信号时、空、频域的特征并分类。本发明可以有效克服因脑电信号数据量少导致的识别准确率低的问题。

Description

基于EMD数据增强和并行SCN的运动想象脑电信号识别方法

技术领域

本发明属于运动想象脑电信号识别领域，尤其涉及一种基于EMD数据增强和并行时空卷积网络(SCN)的运动想象脑电信号识别方法。

背景技术

脑-机接口(BCI)是一种直接通过人脑与计算机或外部设备进行交流的人机交互方式，在康复工程和控制领域有着突出的应用价值。通过BCI系统来控制外部设备，如机械臂、轮椅等，可以帮助残疾人恢复一定程度上的运动能力；另外也能通过BCI系统打字，为语言障碍的患者提供了一种与外界交流的方式。但是运动想象脑电信号具有信噪比低，非线性，非平稳性等特点，所有从脑电信号中获取有效的特征是一项具有挑战的工作。

目前针对MI-BCI系统中的特征提取与识别，主要分为传统方法与深度学习方法。传统的方法是将特征提取与识别分开进行，深度学习方法是将特征提取和识别一并进行。传统的特征提取方法有小波变换(Wavelet Transform,WT)、功率谱密度(Power SpectralDensity,PSD)、自回归模型模型(Autoregressive Model)、共空间模式(Common SpatialPatterns,CSP)、主成分分析(Principal Component Analysis,PCA)和经验模式分解(Empirical Mode Decomposition,EMD)等。传统的特征分类方法有K最邻近(K-NearestNeighbor,KNN)、线性判别式(Linear Discriminant Analysis,LDA)、贝叶斯分类器(Bayesian classifier)、支持向量机(Support Vector Machine,SVM)等。传统的方法中特征提取主要依赖人工设计的提取器，需要复杂的调参过程，同时每个方法都针对具体应用，泛化能力及鲁棒性较差，并且传统的特征分类方法在特征比较复杂的情况下表现不佳。

而相比于传统的特征提取与识别方法，深度学习方法具有更大的优势。深度学习模型能够自适应的处理非线性数据，并能够直接从原始数据进行特征提取，同时能够对脑电信号进行多分类。但是基于卷积神经网络的方法仍然面临两个问题。首先，目前大多数网络都比较关注提取运动想象脑电信号的时空特征，而对频域特征有所忽略，这限制网络模型对运动想象脑电信号特征的充分提取，而导致识别的效果不佳。另外，卷积神经网络训练时需要大量的训练数据，这样才能充分学习运动想象脑电信号的特征分布，以实现较高的分类准确率，但是采集运动想象脑电信号过程复杂，并且实验条件要求较高，难以构建高质量且大量的运动想象脑电数据集。

针对上述问题本发明提出一种基于EMD数据增强和并行时空卷积网络的运动想象脑电信号识别方法。在一定程度上缓解了运动想象脑电信号样本量少的问题，并且从多方面提取脑电信号的特征，以增强模型的分类性能。

发明人的在先申请CN111012336A，一种时空特征融合的并行卷积神经网络运动想象脑电图识别方法。以运动想象脑电信号作为研究对象，提出一种新的深度网络模型-并行卷积神经网络提取运动想象脑电信号的时空特征。与传统脑电分类算法往往丢弃脑电空间特征信息不同，通过快速傅里叶变换，提取Theta波(4-8Hz)、alpha波(8-12Hz)以及beta波(12-36Hz)，生成2D脑电特征图。基于多重卷积神经网络对脑电特征图进行训练，提取空间特征。此外，利用时间卷积神经网络进行并行训练，提取时序特征。最后基于Softmax对空间特征以及时序特征进行融合以及分类。实验结果表明，并行卷积神经网络具有良好的识别精度，并且优于其他最新的分类算法。

在对比文件(CN111012336A)中，提出一种新的深度网络模型-并行卷积神经网络提取运动想象脑电信号的时空特征。该方法使用快速傅里叶变换将原始脑电数据转成28*28的图像，经过处理后，脑电信号的时序信息会有一定的丢失；该发明采用具有四层卷积层的多重卷积神经网络和一维时间卷积并行，模型较深，存在过拟合的风险较大；该发明特征融合采用的是全连接层，然后经过Softmax进行分类，可能会导致特征提取的不充分。本发明采用预处理的原始脑电信号作为输入，最大化保留了脑电信号的原始特征；采用两层的并行卷积网络，并行的两路网络结构相同，分别对运动想象活跃的μ频段和β频段进行时空特征的提取，减少了模型的复杂度和过拟合的风险；对于特征提取的不充分问题，在时间维度上进行特征拼接后使用一层卷积对融合的特征进一步提取，使模型能够充分提取脑电信号的特征。另外本发明对脑电数据做了数据增强，提高模型的泛化性和鲁棒性。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于EMD数据增强和并行SCN的运动想象脑电信号识别方法。本发明的技术方案如下：

一种基于EMD数据增强和并行SCN的运动想象脑电信号识别方法，其包括以下步骤：

步骤1：采集运动想象脑电信号，并根据不同的运动想象范式进行标注，采用32通道的脑电帽，其中包含感兴趣的通道(C3,C4,Cz)；标注的意思是给这个样本做一个标签；

步骤2：选取感兴趣通道的脑电信号进行滤波和标准化的预处理操作，然后将其按照4:1划分为训练集和测试集；

步骤3：将训练集的脑电信号进行EMD分解，获得每个样本通道的本征模态，将本征模态分段按照时间维度分段，并与另一相同标签样本不重复的本征模态段进行组合，形成新的脑电数据，并将人工生成的数据和经过预处理的训练集数据合并成新的训练集；

步骤4：构建并行时空卷积网络，对卷积网络的输入进行了改进，使用两层的卷积模块分别提取μ和β频段的时空特征，用于提取不同感兴趣频率段的特征；其中的两层卷积模块，第一层在时间维度上进行特征提取，第二层在通道维度上进行提取；

步骤5：使用数据增强后的脑电信号训练集训练并行时空卷积网络；

步骤6：使用脑电信号测试集数据对并行时空卷积网络进行性能评估，选用性能好的模型用于脑电信号的在线分类。

进一步的，所述步骤1具体包括：采用德国Brain Products公司生产的脑电信号采集设备BP采集左右运动想象脑电信号，采样频率为250Hz，一个运动想象的范式为10s，0-2s为准备时间，2-6s是运动想象时间，6-10s是休息时间。

进一步的，所述步骤2选取感兴趣通道的脑电信号进行滤波和标准化的预处理操作具体包括：

通道选择：脑电信号采集设备BP选用的是32通道的电极帽，保留运动区域的通道C3，C4和Cz，并按照采集范式截取出2-6s之间的运动想象脑电数据，将脑电信号构建成1000×3的向量；

滤波和标准化：采用6阶的巴特沃斯带通滤波器对脑电信号滤波，滤波范围为0.5Hz-40Hz，然后对脑电信号进行标准化。

进一步的，所述步骤3具体包括以下步骤：

先使用EMD对脑电信号进行分解，就单个通道来说，随机选择两个相同标签的数据，对第一个通道经过EMD分解分别得到IMF1和IMF2，将IMF1和IMF2按时间轴等分成四段，选择IMF1的第一段和第三段，IMF2的第二段和第四段组合成新的第一通道的脑电数据，同理，可以按照以上方式生成新的第二通道和第三通道的脑电数据，然后组合三个通道形成一个新的运动想象脑电信号数据。

进一步的，所述对第一个通道经过EMD分解分别得到IMF1和IMF2，具体包括：1.根据原始信号最大和最小的极值点，画出上、下包络线；2.求上、下包络线的均值，并画出均值包络线；3.使用原始信号减均值包络线，得到中间信号；4.判断中间信号是否满足本征模态的两个条件，满足条件，则该信号是一个IMF分量；若不满足条件，以该信号为基础，重做1-4步骤；5.得到第一个IMF后，使用原始信号减IMF作为新的原始信号，再通过1-4步骤得到新的IMF，以此类推，完成EMD分解。

进一步的，所述步骤4构建并行时空卷积网络，对卷积神经网络的输入进行了改进，使用μ频段和β频段脑电信号并行输入时空卷积网络，以便模型能提取脑电信号频域、时域和空域的高级特征，网络模型具体为：

当采用5-13Hz的μ频段，输入层的数据形状为(20，1，1000，3)时，第一维度为输入数据的批次，第二个维度是为满足二维卷积新增的通道维度，第三维度是脑电信号的时间维度，第四维度是脑电信号的电极数；第一层的时间卷积使用卷积核大小为60×1，步长为3×1，第二层通道卷积使用卷积核大小为1×3，步长默认为1×1，然后经过核大小为6×1的最大池化。

进一步的，当采用13-30Hz的β频段作为输入，同样经过以上的第一层卷积和第二层卷积，然后经过最大池化，得到模型提取的特征向量；最后将两个特征向量在时间维度拼接；将拼接的向量输入一个卷积核大小为3×1，步长为1×1的卷积来提取脑电信号深层次的时空特征；后面采用的是两层的全连接层，两层之间加入一个Dropout，最后输出两个特征，然后将这两个特征经过Softmax进行分类。

进一步的，所述步骤5使用数据增强后的数据集训练并行时空卷积网络，具体为将数据设置为每批次20个样本，总共对所有数据训练100次，优化器使用随机梯度下降算法，损失函数采用交叉熵损失函数。

进一步的，所述随机梯度下降算法具体包括：

1.对训练集数据进行采样，通过并行SCN进行预测；2.采用交叉熵损失函数计算预测值和真实值之间的损失；3.调整网络模型的权重，使损失最小化。

损失函数采用交叉熵损失函数，具体包括：

1.对模型的输出做归一化，计算出属于每个类别的概率；2.对标签值对应的概率取对数，再取负值得到一个样本的损失；3.对一个批次样本的损失值求平均，得到一个批次的平均损失，然后使用随机梯度下降算法对损失进行优化。

本发明的优点及有益效果如下：

本发明针对脑电信号数据样本量少的问题，步骤三采用EMD分解的方法对脑电数据进行数据增强，将脑电信号采用EMD分解得到本征模态，在本征模态上分段重组，进而生成更多符合原始脑电信号特征的人造数据，增加了训练集的数据样本，使训练的网络模型更加鲁棒。另外为了充分提取脑电信号的时空频域的高级特征，步骤四设计了一种并行时空卷积网络，第一层在时间上做卷积，第二层在通道上做卷积，特别的是该网络以μ和β节律的脑电信号分别作为模型的输入，并行的提取脑电信μ和β节律的特征，减少了网络的深度和过拟合的风险；在特征拼接后没有直接经过全连接层进行分类，而是在特征拼接后使用一层卷积，进一步提取脑电信号的细粒度特征，然后在经过全连接和Softmax分类。本发明可以解决脑电信号数据量少的问题，并且能有效地提高运动想象识别的准确性。

附图说明

图1是本发明提供优选实施例基于EMD数据增强和并行时空卷积网络的运动想象脑电信号分类方法的流程示意图。

图2为本发明一实施例中基于EMD数据增强实施步骤示意图。

图3为本发明一实施例中并行时空卷积网络的网络结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本实施例提供的一种基于EMD数据增强和并行时空卷积网络的运动想象脑电信号识别方法，包括以下步骤：

步骤1：采用德国Brain Products公司生产的脑电设备采集数据，采样频率为250Hz，一个运动想象的范式为10s，0-2s为准备时间，2-6s是运动想象时间，6-10s是休息时间。一共采集300组数据，左右运动想象分别150组。

步骤2：先选择运动想象区域的电极C3、C4和Cz，并按照采集脑电信号的范式保留2-6s之间的运动想象脑电数据，并将其构建成1000×3的向量。然后采用6阶的巴特沃斯带通滤波器对脑电信号滤波，滤波范围为0.5Hz-40Hz，最后采对脑电信号进行标准化，使脑电信号数据均值为0，方差为1，其标准化的公式如下：

其中，z_i是时间点i经过标准化的数据，x_i是时间点i的原始数据，u是单一通道数据的平均值，δ是单一通道数据的标准差。最后将数据集按照4:1划分为训练集和测试集。

步骤3：使用EMD对训练集的脑电信号进行分解，得到每个通道的本征模态，其分解结果如下：

式中表示将原始信号x(t)分解成N个本征模态和一个残余分量res，去出残余分量和大于6的本征模态，不够6个本征模态，使用0来填充。基于EMD数据增强的具体步骤如图2所示，随机选择两个同类别的样本A和B，先选择第一个通道，用A1和B1表示。分别做EMD分解，筛选后将本征模态分解为四段，取A1的本征模态的第一段(A11)和第三段(A13)，取B1的本征模态的第二段(B12)和第三段(B14)，然后将上述的四段组合成新的本征模态并重构成新的运动想象脑电信号数据。可以根据实际情况生成人造数据的数量。

步骤4：构建并行时空卷积网络，其结构图如图3所示，用μ频段和β频段的脑电信号并行的输入时空卷积网络，接着经过时空卷积块提取特征，然后在时间维度拼接特征，再经过一个卷积层提取深层次的时空特征，最后经过全连接和Softmax进行分类。

以μ(5-13Hz)输入为例，输入层的数据形状为(20，1，1000，3)，第一维度为输入数据的批次，第二个维度是为满足二维卷积新增的通道维度，第三维度是脑电信号的时间维度，第四维度是脑电信号的电极数。第一层的时间卷积设置输入通道为1，输出通道为8，卷积核大小为60×1，步长为3×1。紧接着第一层卷积层后，加入BatchNorm层和Dropout层防止过拟合，使用Relu激活函数来提高模型的表达能力。第二层的通道卷积输入通道根据上一层的输出设置为8，输出通道设置为16，卷积核大小设置为1×3，步长默认为1×1。在第二层卷积后依次是BatchNorm层、Dropout层和Relu激活函数。然后经过核大小为6×1的最大池化，最后获得μ频段的特征向量。

另外β(13-30Hz)频段作为输入同样经过以上的第一层卷积核第二层卷积，然后经过最大池化，得到对β频段提取的特征向量。拼接两个特征提取向量并输入卷积核大小为3×1，步长为1×1的卷积来提取脑电信号深层次的时空特征。接着是两层的全连接层，两层之间加入一个Dropout，其中先将四维特征向量展平得到二维的特征向量，经过第一层全连接层得到100个特征，经过第二层的全连接层得到2个特征，然后2个特征经过Softmax进行分类。

步骤5：使用数据增强后的数据集训练并行时空卷积网络，具体为将数据设置为每批次20个样本，总共对所有数据训练100次，优化器使用随机梯度下降算法，损失函数采用交叉熵损失函数。最后将训练好的模型参数保存下来，便于后续在测试集上评估网络模型的性能。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.一种基于EMD数据增强和SCN的运动想象脑电信号识别方法，其特征在于，包括以下步骤：

步骤1：采集运动想象脑电信号，并根据不同的运动想象范式进行标注，采用32通道的脑电帽，其中包含感兴趣的通道(C3,C4,Cz)；标注的意思是给这个样本做一个标签；

步骤2：选取感兴趣通道的脑电信号进行滤波和标准化的预处理操作，然后将其按照4:1划分为训练集和测试集；

步骤3：将训练集的脑电信号进行EMD分解，获得每个样本通道的本征模态，将本征模态分段按照时间维度分段，并与另一相同标签样本不重复的本征模态段进行组合，形成新的脑电数据，并将人工生成的数据和经过预处理的训练集数据合并成新的训练集；

步骤4：构建并行时空卷积网络，对卷积网络的输入进行了改进，使用两层的卷积模块分别提取μ和β频段的时空特征，用于提取不同感兴趣频率段的特征；其中的两层卷积模块，第一层在时间维度上进行特征提取，第二层在通道维度上进行提取；

步骤5：使用数据增强后的脑电信号训练集训练并行时空卷积网络；

步骤6：使用脑电信号测试集数据对并行时空卷积网络进行性能评估，选用性能好的模型用于脑电信号的在线分类。

2.根据权利要求1所述的一种基于EMD数据增强和并行SCN的运动想象脑电信号识别方法，其特征在于，所述步骤1具体包括：采用德国Brain Products公司生产的脑电信号采集设备BP采集左右运动想象脑电信号，采样频率为250Hz，一个运动想象的范式为10s，0-2s为准备时间，2-6s是运动想象时间，6-10s是休息时间。

3.根据权利要求1所述的一种基于EMD数据增强和并行SCN的运动想象脑电信号识别方法，其特征在于，所述步骤2选取感兴趣通道的脑电信号进行滤波和标准化的预处理操作具体包括：

通道选择：脑电信号采集设备BP选用的是32通道的电极帽，保留运动区域的通道C3，C4和Cz，并按照采集范式截取出2-6s之间的运动想象脑电数据，将脑电信号构建成1000×3的向量；

滤波和标准化：采用6阶的巴特沃斯带通滤波器对脑电信号滤波，滤波范围为0.5Hz-40Hz，然后对脑电信号进行标准化。

4.根据权利要求1所述的一种基于EMD数据增强和并行SCN的运动想象脑电信号识别方法，其特征在于，所述步骤3具体包括以下步骤：

先使用EMD对脑电信号进行分解，就单个通道来说，随机选择两个相同标签的数据，对第一个通道经过EMD分解分别得到IMF1和IMF2，将IMF1和IMF2按时间轴等分成四段，选择IMF1的第一段和第三段，IMF2的第二段和第四段组合成新的第一通道的脑电数据，同理，可以按照以上方式生成新的第二通道和第三通道的脑电数据，然后组合三个通道形成一个新的运动想象脑电信号数据。

5.根据权利要求4所述的一种基于EMD数据增强和并行SCN的运动想象脑电信号识别方法，其特征在于，所述对第一个通道经过EMD分解分别得到IMF1和IMF2，具体包括：1.根据原始信号最大和最小的极值点，画出上、下包络线；2.求上、下包络线的均值，并画出均值包络线；3.使用原始信号减均值包络线，得到中间信号；4.判断中间信号是否满足本征模态的两个条件，满足条件，则该信号是一个IMF分量；若不满足条件，以该信号为基础，重做1-4步骤；5.得到第一个IMF后，使用原始信号减IMF作为新的原始信号，再通过1-4步骤得到新的IMF，以此类推，完成EMD分解。

6.根据权利要求4所述的一种基于EMD数据增强和并行SCN的运动想象脑电信号识别方法，其特征在于，所述步骤4构建并行时空卷积网络，对卷积神经网络的输入进行了改进，使用μ频段和β频段脑电信号并行输入时空卷积网络，以便模型能提取脑电信号频域、时域和空域的高级特征，网络模型具体为：

当采用5-13Hz的μ频段，输入层的数据形状为(20，1，1000，3)时，第一维度为输入数据的批次，第二个维度是为满足二维卷积新增的通道维度，第三维度是脑电信号的时间维度，第四维度是脑电信号的电极数；第一层的时间卷积使用卷积核大小为60×1，步长为3×1，第二层通道卷积使用卷积核大小为1×3，步长默认为1×1，然后经过核大小为6×1的最大池化。

7.根据权利要求6所述的一种基于EMD数据增强和并行SCN的运动想象脑电信号识别方法，其特征在于，当采用13-30Hz的β频段作为输入，同样经过以上的第一层卷积和第二层卷积，然后经过最大池化，得到模型提取的特征向量；最后将两个特征向量在时间维度拼接；将拼接的向量输入一个卷积核大小为3×1，步长为1×1的卷积来提取脑电信号深层次的时空特征；后面采用的是两层的全连接层，两层之间加入一个Dropout，最后输出两个特征，然后将这两个特征经过Softmax进行分类。

8.根据权利要求6所述的一种基于EMD数据增强和并行SCN的运动想象脑电信号识别方法，其特征在于，所述步骤5使用数据增强后的数据集训练并行时空卷积网络，具体为将数据设置为每批次20个样本，总共对所有数据训练100次，优化器使用随机梯度下降算法，损失函数采用交叉熵损失函数。

9.根据权利要求8所述的一种基于EMD数据增强和并行SCN的运动想象脑电信号识别方法，其特征在于，所述随机梯度下降算法具体包括：

1.对训练集数据进行采样，通过并行SCN进行预测；2.采用交叉熵损失函数计算预测值和真实值之间的损失；3.调整网络模型的权重，使损失最小化；

损失函数采用交叉熵损失函数，具体包括：

1.对模型的输出做归一化，计算出属于每个类别的概率；2.对标签值对应的概率取对数，再取负值得到一个样本的损失；3.对一个批次样本的损失值求平均，得到一个批次的平均损失，然后使用随机梯度下降算法对损失进行优化。

Images