CN111950455B - 一种基于lffcnn-gru算法模型的运动想象脑电信号特征识别方法 - Google Patents

Abstract

本发明请求保护一种基于LFFCNN‑GRU算法模型的运动想象脑电信号特征识别方法。包含以下步骤S1:采集脑电信号；S2：对原始脑电信号进行预处理；S3：采用层间融合卷积神经网络提取脑电信号的频域特征；S4：采用门控循环网络进一步的提取脑电信号的时域特征；S5：采用softmax回归方法对脑电信号进行分类；S6：输出最终的脑电信号分类结果。本发明有效提高了多类运动想象脑电信号的识别率。

Description

一种基于LFFCNN-GRU算法模型的运动想象脑电信号特征识别 方法

技术领域

本发明属于脑机接口中脑电信号的识别领域，主要涉及采用卷积神经网络与门控循环网络的结合算法模型对多类运动想象脑电信号的识别方法。

背景技术

脑机接口(BCI)是能够将人脑与外部设备相连的系统。在BCI研究领域中，非植入式BCI已引起广泛关注，与其他脑电采集方式相比，非植入式BCI因为采集设备较为廉价并且易于使用而被广泛研究。利用非植入式BCI可以帮助行动不便的人通过脑电波的方式来控制外部计算机或其他智能设备达到与外界交互的目的，从而恢复一些运动能力。

如何从高度复杂的运动想象EEG中提取出有效识别运动任务的特征是运动想象脑电识别的重要研究内容。目前，深度学习方法发展迅速，拥有着传统方法所不具备的新特性，其能将底层特征组合为更加抽象的高层特征，以发现数据的分布式特征表示，能够对输入高维数据进行特征自动提取和分类，故而比较适合对脑电信号进行分析，其中的自编码器、卷积神经网络、递归神经网络等深度模型较为常见，在多个领域都得到了应用，并取得了不错的效果。Tang等人通过建立5层CNN模型对想象左右手运动进行分类，结果表明，CNN可以进一步提高分类性能：使用CNN的平均准确率可达86.41±0.77％，比使用传统的power+SVM，CSP+SVM和AR+SVM方法的平均准确率分别高9.24％，3.80％和5.16％。此后Uktveris等人采用CNN方法实现了对四类运动想象脑电信号(想象左右手、脚和舌头运动)的尝试识别，由于增加了目标分类种类，识别率效果不佳，此时体现出单一CNN方法的局限性，即分类准确率随着分类种类的增加而下降。J.X.Chen等人采用了一种层次化双向门控循环网络脑电情绪进行分类，此方法相对于另一种序列特征提取模型LSTM性能有明显的提高，但随着数据量的增多性能有所下降，但与传统方法相比准确率及鲁棒性仍然更高，为此后GRU在脑电信号方面的研究提供了思路。S.U.Amin等人采用一种多级特征融合的CNN进行分类，充分利用了每一个卷积层提取的特征信息，有效的提高了CNN的识别率，使得CNN的四类任务识别率达到了74.5％，但因过分的融合导致特征信息冗余，且没有很好的处理序列信息，故而分类识别率欠佳。前人利用单一的CNN网络对运动想象脑电的识别进行了若干探索并取得了一定的成果，但主要关注最后一层卷积层的输出，尚未对中间卷积层的利用有更好的探索，且单一CNN算法无法处理序列信号时刻演变的信息导致模型的识别率不高，故本发明旨在CNN的基础上，利用两个特征融合模块对CNN的相邻卷积层进行融合以增强局部特征细节，后将输出的信号输入到门控循环网络以处理序列信号时刻演变信息，以此丰富脑电信号特征，提升模型特征识别的识别率。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种有效提高了多类脑电信号的识别率的基于LFFCNN-GRU算法模型的运动想象脑电信号特征识别方法。本发明的技术方案如下：

一种基于LFFCNN-GRU算法模型的运动想象脑电信号特征识别方法，其包括以下步骤：

S1:首先利用无线便携式脑电信号采集仪采集原始脑电信号；

S2：对采集的脑电信号进行包括滤波、放大在内的预处理，并采用多线性主成分分析方法对多维脑电信号进行降维处理；

S3：将经过降维处理的脑电信号采用数据切割方法整理成序列帧，然后采用基于层间特征融合的卷积神经网络将脑电信号的频域特征提取出来；基于层间特征融合的卷积神经网络改进点主要在于：卷积神经网络主要包括5个卷积层、4个池化层、1个im2col加速层、1个全连接层以及两个层间特征融合模块组成，卷积核尺寸大小均采用的是20*1；

S4：采用门控循环网络算法提取脑电信号的时域特征；

S5：在提取出脑电信号特征之后，利用softmax回归对多类运动想象脑电信号进行分类；

S6：用训练集对模型进行训练，使用SGD(随机梯度下降)作为优化器；

S7：使用验证集对训练后的模型进行交叉验证，调整模型的超参数，包括迭代批次、批次大小和学习率，在训练过程中对超参数设定不同的值，得到最终网络模型；

S8：根据最终网络模型，我们可以利用无线便携式脑电采集设备在线采集我们的脑电信号，在对数据打上标签后，利用我们在线的脑电信号去训练该网络模型，经过一定次数的训练，待模型稳定后，分别通过大脑对左手、右手、舌头、脚进行一定次数的想象进行特征识别，得出我们模型对四类运动想象脑电的识别率。

进一步的，所述步骤S2：对采集的脑电信号进行包括滤波、放大在内的预处理，并采用多线性主成分分析方法对多维脑电信号进行降维处理；首先从原始脑电信号中顺序地找一组相互正交的坐标轴，第一个坐标轴选择是原始数据中方差最大的方向，第二个坐标轴选取的是与第一个坐标轴正交的平面中方差最大的方向，第三个轴是与第一、二个轴正交的平面中方差最大的方向以此类推，得到n个这样的坐标轴。大部分方差都是包含在前面的k个坐标轴中。通过计算数据矩阵的协方差矩阵，得到协方差矩阵的特征值与特征向量，选择特征值最大(即方差最大)的k个特征对应的特征向量组成的矩阵，从而实现脑电数据降维的目的。

进一步的，所述步骤S3卷积神经网络的结构从左到右依次是2*卷积+池化+卷积+第一融合模块+池化+卷积+池化层+卷积+第二融合模块+池化+im2col。

进一步的，所述的2*卷积+池化的第一个卷积核0尺寸为20*1，个数为16，目的在每个通道的频率样本上进行卷积以提取频域特征，第二个卷积核1为1*22，个数也为16，目的为在所有通道上进行卷积以使EEG信号表示为具有频域和通道信息的2D阵列，池化层1尺寸为6*1且步长为6，池化的目的在于降采样，减少参数量。

进一步的，所述卷积层2、卷积层3、卷积层4的卷积核尺寸均为20*1，卷积核个数分别为32个、64个、128个，池化层2、池化层3、池化层4尺寸为6*1，步长为6，分别将卷积层1与卷积层2，卷积层3与卷积层4利用特征融合模块将提取到的局部特征进行融合，然后将融合后的特征图输入到下一层以增强局部脑电特征细节，其中层间特征融合模块包括了两个池化层、两个卷积层以及一个加法融合模块，将两张特征图分别经过一个池化层和一个卷积层进行尺寸变换和通道数转换以变成尺寸大小和通道数一致的特征图，然后通过加法融合模块将两者元素逐一相加形成新的细节更丰富的特征图输入到卷积神经网络的下一层处理。

进一步的，第二融合模块输出的特征图经过池化层4降采样之后经过一个im2col加速层，im2col是Caffe里的一种加快卷积运算的方法，而im2col将数据送到GPU显存中是按行序连续存储的，通过GPU的矩阵乘法运算，可以有效的加快网络的训练速度。

进一步的，所述步骤S4采用门控循环网络GRU提取脑电信号的时域特征：具体为：

将卷积神经网络输出的信号输入到门控循环网络，利用更新门决定上一时刻状态变量被带入到当前状态中的程度，利用重置门控制上一时刻被写入到候选集的信息量，并存储上一时刻的信息，记录当前时刻的信息，将两者相加作为当前时刻的输出，将输出的信号连接到全连接层FC，全连接层的输出送入softmax来进行分类，给出分类结果。

进一步的，所述步骤S5在提取出脑电信号特征后，通过softmax回归对多类脑电信号进行分类并输出结果，具体包括：

利用训练数据集使用随机梯度下降SGD作为优化器进行训练，梯度由反向传播算法计算得出，调整模型的超参数，迭代批次、批次大小和学习率，在训练过程中对超参数设定不同的值，利用验证集对训练后的模型进行交叉验证，得到最终网络模型。

本发明的优点及有益效果如下：

本发明的创新点具体是步骤S3和S4。

S3：在卷积神经网络的设计中引入了层间特征融合的概念，克服了大多数研究者对卷积神经网络研究只关注最后一层卷积输出的全局特征的缺点，层间特征融合模块将相邻的两个卷积层的输出分别通过一个池化层和一个卷积层进行特征图尺寸以及通道数的变换使其成为能够相融合的两张特征图，再利用加法融合模块将两张特征图的元素进行相加，丰富了特征的局部细节。卷积神经网络经过两个层间特征融合模块的处理，有效提升了最后输出的局部特征细节，提升了模型性能。

S4：考虑到脑电信号具有上下文的时序特性，利用门控循环网络对卷积神经网络模块的输出进行进一步处理，提取时域特征，利用更新门决定上一时刻脑电信号的状态变量被带入到当前状态中的程度，利用重置门控制上一时刻信号被写入到候选集的信息量，并存储上一时刻的信息，记录当前时刻的信息，将两者相加作为当前时刻的输出，将输出的信号连接到全连接层FC，全连接层的输出送入softmax来进行分类，给出分类结果。

附图说明

图1是本发明提供优选实施例层间特征融合卷积神经网络模块图；

图2是本发明提供优选实施例层间特征融合模块图

图3是本发明提供优选实施例门控循环网络模块图。

图4本发明提供优选实施例算法流程图

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

一种基于LFFCNN-GRU算法模型的运动想象脑电信号特征识别方法，其包括如下步骤：

S1：首先利用无线便携式脑电信号采集设备采集原始脑电信号；

S2：对采集的脑电信号进行预处理包括滤波、放大，并采用多线性主成分分析对多维脑电信号进行降维处理，减少计算量；具体为：

(1)利用样本集为m维随机向量组成的样本集D＝{x₁,x₂...,x_m}，其中n个样本构造样本矩阵，D_i＝{x_i1,x_i2...,x_im}^T，i＝1,2,.....n对样本阵进行标准变化：

得到标准化矩阵A。

(2)计算样本的协方差矩阵AA^T

(3)对协方差矩阵AA^T矩阵做特征值分解，得到协方差矩阵的特征值λ₁,λ₂,.....,λ_n(i＝1,2,....,n)。

(4)特征值所对应的特征向量为a₁,a₂,.....,a_n；得到投影矩阵B＝(a₁,a₂,....,a_n)^T。

(5)令Y＝(y₁,y₂,.....y_n)^T,Y＝B^TA,且有B^TAA^TB＝Λ,其中，y₁,y₂,.....,y_n彼此不相关，称y₁,y₂,.....,y_n分别为第1、第2、...、第i个主分量，

的值称为主分量的贡献量。前k个主分量的积累贡献率定义为：

选取前k个主分量代替原始数据做分析，以此达到降低原始数据维数的目的。

S3：将经过降维处理的脑电信号采用数据切割方法整理成序列帧，然后采用基于层间特征融合的卷积神经网络将脑电信号的频域特征提取出来：

本文综合考虑性能和效率，设计了如图1所示的局部特征融合的CNN算法模型，层间特征融合的CNN模块主要由5个卷积层和4个池化层1个im2col加速层以及2个特征融合模块组成，其中卷积核尺寸采用20×1的大小，因脑电信号中存在较多的无用特征，越大的卷积核其感受野越大，易提取到很多无用特征增加计算量并降低我们的模型性能，故采用较小卷积核更能起到正则化的作用。卷积神经网络的各网络层结构如下图1所示：

在附图1中的2*卷积+池化的第一个卷积核0尺寸为20*1，个数为16，目的在每个通道的频率样本上进行卷积以提取频域特征，第二个卷积核1为1*22，个数也为16，目的为在所有通道上进行卷积以使EEG信号表示为具有频域和通道信息的2D阵列，池化层1尺寸为6*1且步长为6，池化的目的在于降采样，减少参数量，提高训练速度。

附图1中卷积层2、卷积层3、卷积层4的卷积核尺寸均为20*1，卷积核个数分别为32个、64个、128个，池化层2、池化层3、池化层4尺寸为6*1，步长为6，分别将卷积层1与卷积层2，卷积层3与卷积层4利用特征融合模块将提取到的局部特征进行融合，将融合后的特征图输入到下一层以增强局部脑电特征细节，层间特征融合如附图2所示，具体为：

将卷积层1与卷积层2(卷积层3与卷积层4同样如此)输出的特征图输入到融合模块，两张特征图分别先经过一个池采样层，池采样可以将两张特征图的尺寸进行匹配，转换成同样的长度和宽度，转换之后，我们拥有两个大小相同但通道数不同的两个特征图，在进行融合之前利用两个卷积核为1×1大小的卷积层进行卷积更改他们的通道数，以使两张特征图具有相同数量的通道，在此过程中每个特征图从不同的层中共享相同形状的权重和偏置矩阵。我们按公式(3)进行计算融合:

式(3)中X代表特征图，

表示元素相加，将融合后的特征放入模型，可以用公式(4)表示:

Y_add＝ReLu(w^TZ_add+b) (4)

加法融合过程的实质是加强局部特征信息，丰富最后输出的全局特征细节，使得分类器可以有更多信息去分辨所需识别的特征类别，达到提高识别率的目的。

附图1中的第二个特征融合模块经过Pool-4降采样后经过一个im2col加速层，im2col是Caffe里的一种加快卷积运算的方法，而im2col将数据送到GPU显存中是按行序连续存储的，通过GPU的矩阵乘法运算，可以有效的加快网络的训练速度。

S4：卷积神经网络模块处理后的信号输出到门控循环网络进一步提取脑电信号的时域特征；

附图3是门控循环网络结构，经过CNN处理后的脑电特征是一种序列的形式。进一步对这样的序列特征进行处理可以有效的提升模型的性能。传统的RNN可以处理这样的序列信息，但当序列太长时，网络可能会出现梯度消失的问题，从而很难从更长的时间序列中学习到上文信息，使用GRU可以有效处理这个问题，它具有更短的收敛时间和更少的迭代次数，更适用于如脑电信号这样样本量较少的数据。具体为：

GRU是通过重置门r_t和更新门z_t对序列信息进行处理的，其参数更新公式如式(1)～(4)所示：

r_t＝σ(W_rx_t+U_rh_t-1) (1)

z_t＝σ(W_zx_t+U_zh_t-1) (2)

式(1)～(4)中的

代表t时刻候选激活单元，h_t代表t时刻的隐藏单元，σ代表激活函数，

代表逐元素相乘，tanh(x)代表双曲线激活函数，而W，W_z，W_h，U_r，U_z，U_h代表网络的权重参数。

更新门决定上一时刻脑电信号的状态变量被带入到当前状态中的程度，重置门控制上一时刻信号被写入到候选集的信息量，并存储上一时刻的信息，记录当前时刻的信息，将两者相加作为当前时刻的输出，将输出的信号连接到全连接层FC，全连接层FC维度为1024。在此模型中卷积神经网络模块主要负责采集脑电信号序列的各个特征，GRU负责捕捉脑电信号序列的时刻演变，并对上文进行分析，最后采用LFFCNN-GRU模型进行测试生成分类结果。

S5：在提取出脑电信号特征之后，利用softmax回归对多类运动想象脑电信号进行分类。

S6：用训练集对模型进行训练，使用SGD(随机梯度下降)作为优化器。

S7：使用验证集对训练后的模型进行交叉验证，调整模型的超参数(迭代批次、批次大小和学习率，在训练过程中对超参数设定不同的值)，得到最终网络模型。具体为：

本文选用ReLU做LFFCNN的激活函数，优化器采用常用的随机梯度下降优化器(SGD)，损失函数选用常见的均方误差(L2)，初始学习率设置为0.01，训练迭代次数为100次，每批次训练数据的大小为40个。

S8：根据最终网络模型，我们可以利用无线便携式脑电采集设备在线采集我们的脑电信号，在对数据打上标签后，利用我们在线的脑电信号去训练该网络模型，经过一定次数的训练，待模型稳定后，分别通过大脑对左手、右手、舌头、脚进行一定次数的想象进行特征识别，得出我们模型对四类运动想象脑电的识别率。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (3)

1.一种基于LFFCNN-GRU算法模型的运动想象脑电信号特征识别方法，其特征在于，包括以下步骤：

S1：首先利用无线便携式脑电采集仪采集原始脑电信号；

S2：对采集的脑电信号进行包括滤波、放大在内的预处理，并采用多线性主成分分析方法对多维脑电信号进行降维处理；

S3：将经过降维处理的脑电信号采用数据切割方法整理成序列帧，然后采用基于层间特征融合的卷积神经网络将脑电信号的频域特征提取出来；基于层间特征融合的卷积神经网络改进点主要在于：卷积神经网络主要包括5个卷积层、4个池化层、1个im2col加速层、1个全连接层以及两个层间特征融合模块组成，卷积核尺寸大小均采用的是20*1；

S4：采用门控循环网络算法提取脑电信号的时域特征；

S5：在提取出脑电信号特征之后，利用softmax回归对多类运动想象脑电信号进行分类；

S6：用训练集对模型进行训练，使用SGD随机梯度下降作为优化器；

S7：使用验证集对训练后的模型进行交叉验证，调整模型的超参数，包括迭代批次、批次大小和学习率，在训练过程中对超参数设定不同的值，得到最终网络模型；

S8：根据最终网络模型，利用无线便携式脑电采集设备在线采集我们的脑电信号，在对数据打上标签后，利用在线的脑电信号去训练该网络模型，经过训练，待模型稳定后，分别通过大脑对左手、右手、舌头、脚进行想象进行特征识别，得出模型对四类运动想象脑电的识别率；

所述步骤S3卷积神经网络的结构从左到右依次是2*卷积+池化+卷积+第一融合模块+池化+卷积+池化层+卷积+第二融合模块+池化+im2col；

所述的2*卷积+池化的第一个卷积核0尺寸为20*1，个数为16，目的在每个通道的频率样本上进行卷积以提取频域特征，第二个卷积核1为1*22，个数也为16，目的为在所有通道上进行卷积以使EEG信号表示为具有频域和通道信息的2D阵列，池化层1尺寸为6*1且步长为6，池化的目的在于降采样，减少参数量；

所述卷积层2、卷积层3、卷积层4的卷积核尺寸均为20*1，卷积核个数分别为32个、64个、128个，池化层2、池化层3、池化层4尺寸为6*1，步长为6，分别将卷积层1与卷积层2，卷积层3与卷积层4利用特征融合模块将提取到的局部特征进行融合，然后将融合后的特征图输入到下一层以增强局部脑电特征细节，其中层间特征融合模块包括两个池化层、两个卷积层以及一个加法融合模块，将两张特征图分别经过一个池化层和一个卷积层进行尺寸变换和通道数转换以变成尺寸大小和通道数一致的特征图，然后通过加法融合模块将两者元素逐一相加形成新的细节更丰富的特征图输入到卷积神经网络的下一层处理；

第二融合模块输出的特征图经过池化层4降采样之后经过一个im2col加速层，im2col是Caffe里的一种加快卷积运算的方法，而im2col将数据送到GPU显存中是按行序连续存储的，通过GPU的矩阵乘法运算；

所述步骤S4采用门控循环网络GRU提取脑电信号的时域特征：具体为：

将卷积神经网络输出的信号输入到门控循环网络，利用更新门决定上一时刻状态变量被带入到当前状态中的程度，利用重置门控制上一时刻被写入到候选集的信息量，并存储上一时刻的信息，记录当前时刻的信息，将两者相加作为当前时刻的输出，将输出的信号连接到全连接层FC，全连接层的输出送入softmax来进行分类，给出分类结果。

2.根据权利要求1所述的基于LFFCNN-GRU算法模型的运动想象脑电信号特征识别方法，其特征在于，所述步骤S2：对采集的脑电信号进行包括滤波、放大在内的预处理，并采用多线性主成分分析方法对多维脑电信号进行降维处理；具体为：

首先从原始脑电信号中顺序地找一组相互正交的坐标轴，第一个坐标轴选择的是原始数据中方差最大的方向，第二个坐标轴选取的是与第一个坐标轴正交的平面中方差最大的方向，第三个轴是与第一、二个轴正交的平面中方差最大的方向，以此类推，得到 n个这样的坐标轴，大部分方差都是包含在前面的k 个坐标轴中，通过计算数据矩阵的协方差矩阵，得到协方差矩阵的特征值与特征向量，选择特征值最大即方差最大的 k 个特征对应的特征向量组成的矩阵，从而实现脑电数据降维的目的。

3.根据权利要求1所述的基于LFFCNN-GRU算法模型的运动想象脑电信号特征识别方法，其特征在于，所述步骤S5在提取出脑电信号特征后，通过softmax回归对多类脑电信号进行分类并输出结果，具体包括：

利用训练数据集使用随机梯度下降SGD作为优化器进行训练，梯度由反向传播算法计算得出，调整模型的超参数，迭代批次、批次大小和学习率，在训练过程中对超参数设定不同的值，利用验证集对训练后的模型进行交叉验证，得到最终网络模型。

Images