CN114564991B - 基于Transformer引导卷积神经网络的脑电信号分类方法 - Google Patents

Abstract

本发明公开了一种基于Transformer引导卷积神经网络的脑电分类方法，其步骤包括：1，对于原始EEG数据进行预处理，包括去除噪声、片段分割以及利用短时傅里叶变换提取时间频率特征；2，建立基于Transformer引导卷积神经网络的深度学习模型，初始化网络参数；3，输入数据对网络进行训练，优化网络参数，获得最优分类模型用于实现脑电信号的分类。本发明能够显著提升脑电信号分类准确率，从而提升脑电信号在医疗等领域中的应用价值。

Description

基于Transformer引导卷积神经网络的脑电信号分类方法

技术领域

本发明属于脑电信号分类领域，具体的说是一种基于Transformer引导卷积神经网络的脑电信号分类方法。

背景技术

脑电信号是一种生物电信号，其中包含大量信息。通过记录脑电信号可以对脑部活动进行监测，其在现代医学中的诊断和康复方面有着巨大的研究价值。由于脑电信号具有幅度小、频率低、易受环境噪声影响等特点，其分析较为困难。脑电信号分类作为脑电信号分析领域重要的组成部分，多年来备受学者关注。目前，深度学习(Deep Learning)成为脑电信号分类的重要方向。主要有基于卷积神经网络、基于长短时记忆网络、基于生成对抗网络和基于Transformer等方法。然而，现有的基于卷积神经网络的深度学习方法大多都只考虑了脑电信号中的局部特征而忽略了全局信息。Transformer虽然能捕获全局依赖，却不能很好的利用脑电信号中的局部特征。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于Transformer引导卷积神经网络的脑电信号分类方法，以期能显著提升脑电信号分类准确率，从而提升脑电信号在医疗等领域中的应用价值。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于Transformer引导卷积神经网络的脑电信号分类方法的特点是按如下步骤进行：

步骤1、获取有标注类别的脑电信号数据集，并对数据集中的原始脑电信号进行预处理，包括去除噪声、片段分割和时间频率特征的提取；

步骤1.1、从脑电信号数据集的原始脑电信号中选择共同的C个通道上的脑电信号，并进行去噪处理后再利用滑动窗方法划分为N段时长为t的脑电信号片段，从而得到分割好的脑电信号样本集Z＝{Z₁,Z₂,…,Z_n,…,Z_N}；Z_n表示第n个脑电信号样本，且Z_n ^c表示第n个脑电信号样本中第c个通道的脑电信号数据，且 表示第n个脑电信号样本中第c个通道的第r个数据点，s表示所述脑电信号数据集中的脑电信号的采样率；n＝1,2,...,N；c＝1,2,...,C；r＝1,2,...,t×s；

步骤1.2、使用短时傅里叶变换从脑电信号样本集Z中提取时间频率特征，从而得到训练样本集X＝{X₁,X₂,…,X_n,…,X_N}；X_n表示从第n个脑电信号样本Z_n中提取的时间频率特征，且X_n＝{X_n ¹,X_n ²,…,X_n ^c,…,X_n ^C}，X_n ^c表示从第n个脑电信号样本Z_n中第c个通道的脑电信号数据Z_n ^c中提取的时间频率特征；n＝1,2,...,N；c＝1,2,...,C；

步骤2、建立基于Transformer引导卷积神经网络的深度学习模型，并包含前置卷积神经网络单元、CNN-Transformer交替结构、全局池化层以及全连接层；

步骤2.1、初始化权重值：对深度学习模型的所有卷积层进行参数初始化；

步骤2.2、将所述训练样本集X输入到所述深度学习模型中，并经过所述前置卷积神经网络单元的初步提取和特征降维，得到空间特征序列C＝{C₁,C₂,...,C_n,...,C_N}；其中，C_n表示第n个时间频率特征对应的空间特征；

步骤2.2、所述空间特征序列C经过所述CNN-Transformer交替结构进行局部特征和全局特征的提取，从而得到局部-全局特征序列F＝{F₁,F₂,...,F_n,...,F_N}；其中，F_n表示第n个局部-全局特征；

步骤2.3、所述全局池化层对所述空间-时间特征序列F进行池化操作，得到编码后的序列P＝{P₁,P₂,...,P_n,...,P_N}；其中，P_n表示第n个池化编码；

步骤2.4、所述编码后的序列P经过全连接层及其内部的SoftMax函数后，得到对应类别的概率值，并按照所设的阈值，对所述概率值进行二值化分类，从而得到最终的分类结果；

步骤3、模型训练：

采用交叉熵作为损失函数，并采用ADAM优化器对所述损失函数进行最小化求解，从而对所述深度学习模型中的所有参数进行优化，并得到最优分类模型，用于实现对脑电状态的分类；

本发明所述的基于Transformer引导卷积神经网络的脑电信号分类方法的特点也在于，所述步骤2.2中的CNN-Transformer交替结构包括M个相同的组合模块：每个组合模块依次包含卷积层和Transformer单元；所述Transformer单元依次由局部信息层、轻型多头自注意力机制层和残差前馈神经网络层组成；

当m＝1时，所述空间特征序列C输入到第m个组合模块的卷积层中提取局部特征，得到第m个局部特征序列L_m＝{L_m1,L_m2,...,L_mn,...,L_mN}其中，L_mn表示第m个组合模块的卷积层输出的第n个局部特征；第m个组合模块的Transformer单元中局部信息层利用式(1)对第m个局部特征序列L_m进行卷积处理，得到第m个平移不变性特征X′_m：

X′_m＝Conv(L_m)+L_m, (1)

式(1)中，Conv(·)代表卷积操作；

轻型多头自注意力机制层利用式(2)对第m个平移不变性特征X′_m进行线性、卷积、注意力机制和softmax函数的处理，从而输出第m个全局特征X″_m：

式(2)中，Linear表示线性操作，softmax表示softmax函数操作，Q代表查询向量，K代表键向量，V代表内容向量，K′和V′分别代表降低空间维度后的键向量和内容向量；

残差前馈神经网络层的残差处理利用式(3)对第m个全局特征X″_m进行处理，得到第m个局部-全局特征X_m：

X_m＝Conv(DWConv(Conv(X_m″)))+X_m″, (3)

式(3)中，DWConv表示表深度可分离卷积操作；

当m＝2,3,…,M时，将第m-1个局部-全局特征X_m-1作为第m个组合模块的输入，并经过第m个组合模块的处理后，输出第m个局部-全局特征X_m，从而由第M个组合模块输出第M个局部-全局特征X_M并作为CNN-Transformer交替结构的输出F。

与现有技术相比，本发明的有益效果在于：

1、本发明提出了一种基于Transformer引导卷积神经网络的脑电状态分类方法，通过结合CNN和Transformer互补的优势，克服了CNN缺少全局特征和Transformer缺少局部特征的缺陷，充分利用脑电信号中的局部信息和全局信息，从而实现了更精确的脑电分类。

2、本发明提出了一种新的Transformer模块，该模块包括一个局部信息层(LIL)，一个轻型多头自注意力机制层(SMHSA)和一个残差前馈神经网络(RFFN)。其中，LIL用来对局部结构信息建模并保持平移不变性，SMHSA用来计算长距离依赖，RFFN被用来提高提高计算效率并减小信息损失，相对于传统的Transformer模块计算速度更快，更有利于提取脑电信号中的全局特征。

附图说明

图1为本发明模型结构示意图；

图2a为本发明提取的去除噪声前的30秒窗频谱图；

图2b为本发明提取的去除噪声后的30秒窗频谱图；

图3为本发明数据预处理中所使用的过采样和随机丢弃方法细节；

图4为本发明所提出的Transformer模块结构示意图；

图5为本发明提出的压缩的多头自注意力机制示意图；

图6为本发明的的训练集和验证集划分示意图。

具体实施方式

本实施例中，一种基于Transformer引导卷积神经网络的脑电信号分类方法，主要是采用CNN和Transformer的交替结构，利用CNN提取脑电信号中的局部特征，利用Transformer模块提取长距离依赖。同时采用阶段性结构设计，提取多尺度特征来实现更高精度的脑电状态分类。本发明模型结构示意图如图1所示，该方法是按如下步骤进行：

步骤1、获取有标注类别的脑电信号数据集，并对数据集中的原始脑电信号进行预处理，包括去除噪声、片段分割和时间频率特征的提取；

步骤1.1、从脑电信号数据集的原始脑电信号中选择共同的C个通道上的脑电信号，并进行去噪处理后再利用滑动窗方法划分为N段时长为t的脑电信号片段，从而得到分割好的脑电信号样本集Z＝{Z₁,Z₂,…,Z_n,…,Z_N}；Z_n表示第n个脑电信号样本，且Z_n ^c表示第n个脑电信号样本中第c个通道的脑电信号数据，且 表示第n个脑电信号样本中第c个通道的第r个数据点，s表示脑电信号数据集中的脑电信号的采样率；n＝1,2,...,N；c＝1,2,...,C；r＝1,2,...,t×s；

步骤1.2、使用短时傅里叶变换从脑电信号样本集Z中提取时间频率特征，从而得到训练样本集X＝{X₁,X₂,…,X_n,…,X_N}；X_n表示从第n个脑电信号样本Z_n中提取的时间频率特征，且X_n＝{X_n ¹,X_n ²,...,X_n ^c,...,X_n ^C}，X_n ^c表示从第n个脑电信号样本Z_n中第c个通道的脑电信号数据Z_n ^c中提取的时间频率特征；n＝1,2,...,N；c＝1,2,...,C；数据集中的大多数脑电数据都包含60Hz工频干扰，本发明通过舍弃57-63HZ和117-123Hz的频率成分来去除该干扰。本发明同样去除了脑电信号中0Hz的直流成分。图2a和图2b展示了去除噪声前后的30秒窗频谱图。数据不平衡问题普遍存在于分类任务中，在脑电状态分类任务中也存在这样的问题。发作间期的脑电数据显著多于发作前期的脑电数据，本发明使用过采样的方法来解决这一问题。本发明使用不同的采样率使得发作前期和发作间期的脑电片段数量相近，再使用随机丢弃的方法来使二者保持一致。操作的细节如图3所示。

步骤2、建立基于Transformer引导卷积神经网络的深度学习模型，并包含前置卷积神经网络单元、CNN-Transformer交替结构、全局池化层以及全连接层；原始Transformer直接将输入分为不重叠的块。然而，线性投影对块间信息的建模能力很弱。为了解决这一问题，本发明采用前置CNN单元来提取局部信息，该单元包含2个步幅为1的3×3卷积和1个用来降低输入尺寸的步幅为2的3×3卷积。每一个卷积层后都有一个GELU激活函数和BN层。和现代大多数CNN模型框架一样，本发明采用阶段性设计，使用两个阶段来提取多尺度特征，如图1所示。每一个阶段包含一组用来提取长距离依赖的Transformer模块，该模块的细节将会在下文进行介绍。在每一个阶段前都有一个CNN层用来提取局部特征并减小中间特征的尺寸，该CNN层由1个2×2卷积和1个归一化层(LN)组成。模型的最后是一个用来分类全局池化层和全连接层。

步骤2.1、初始化权重值：对深度学习模型的所有卷积层进行参数初始化；

步骤2.2、将训练样本集X输入到深度学习模型中，并经过前置卷积神经网络单元的初步提取和特征降维，得到空间特征序列C＝{C₁,C₂,...,C_n,...,C_N}；其中，C_n表示第n个时间频率特征对应的空间特征；

步骤2.2、空间特征序列C经过CNN-Transformer交替结构进行局部特征和全局特征的提取，从而得到局部-全局特征序列F＝{F₁,F₂,...,F_n,...,F_N}；其中，F_n表示第n个局部-全局特征；

具体实施中，CNN-Transformer交替结构包括M＝2个相同的CNN-Transformer交替组合：

CNN由于其具有强大的局部特征提取能力，已经在深度学习领域取得了令人鼓舞的性能。Transformer被提出用来对长距离依赖进行建模，这可以弥补CNN结构中全局信息的不足。当M＝1时，将空间特征序列C输入到第一个交替组合中的卷积层提取局部特征，得到局部特征序列L₁＝{L₁₁,L₁₂,...,L_1n,...,L_1N}，再利用Transformer模块从特征序列L₁中提取全局特征。Transformer模块具体由局部信息层(LIL)、轻型多头自注意力机制层(SMHSA)和残差前馈神经网络层(RFFN)组成，Transformer模块的结构如图4所示，平移不变性是分类任务中一个非常重要的特性。然而，原始Transformer采用的绝对位置编码破坏了这一特性。因为CNN可以很好的保留平移不变性，故本发明采用局部信息层用来保持特征序列L₁的平移不变性，如式(1)所示：

X_n′＝LIL(L_1n)＝Conv(L_1n)+L_1n, (1)

式(1)中，LIL表示局部信息层操作，为序列L₁中任意第n个特征，H和W分别代表输入特征矩阵L_1n的高和宽，d是特征的维度，Conv(·)代表卷积，X_n′指局部信息层的输出。轻型多头自注意力机制层将局部信息层的输出X_n′作为输入，用于提取全局特征，如式(2)所示：

式(2)中，SMHSA表示轻型多头自注意力机制操作，Q代表查询向量，K代表键向量，V代表内容向量，K′和V′分别代表降低空间维度后的K和V，softmax代表softmax函数，d_k代表K的维度，原始自注意力机制由于K和V的维度很高，导致其计算量很大。为了降低计算量和内存消耗，本发明使用步幅为2的3×3深度可分离卷积降低K和V的空间维度。图5展示了压缩的多头自注意力机制层的计算量和内存消耗比原始自注意力模块减轻4倍。B为可学习偏置用来增强模型的位置信息表达能力，X″_n代表轻型多头自注意力机制层的输出。原始Transformer中的前馈神经网络是一个全连接层，包含两个线性变换和一个ReLU激活函数。本发明使用残差前馈神经网络替换原始的前馈神经网络来提升计算效率并进一步提升模型的非线性表达能力。该残差前馈神经网络包含两个1×1卷积和一个3×3深度可分离卷积，引入短链接的位置如图4所示。每一层后都有一个BN层，前两层后还有跟有一个GELU激活函数。残差前馈神经网络层将轻型多头自注意力机制层的输出X″_n作为输入，用于提升计算效率并进一步提升模型的非线性表达能力，如式(3)所示：

X_n＝RFFN＝Conv(DWConv(Conv(X″_n)))+X″_n, (3)

式(3)中，RFFN表示残差前馈神经网络层操作，DWConv(·)代表深度可分离卷积用于提取信息，增强模型的表达能力，引入的短连接改善梯度传播，X_i代表残差前馈神经网络层的输出。Transformer模块的整体公式总结如下：

X′_n＝LIL(X_n-1),

X″_n＝SMHSA(LN(X′_n))+X′_n, (4)

X_n＝RFFN(LN(X″_n))+X″_n,

式(4)中，LN代表归一化层。此外，每个阶段中堆叠多个Transformer模块用于全局特征提取。

第二个交替组合和第一个相同，将第一个交替组合的输出X_n作为输入，进行局部特征和全局特征的提取，从而得到局部-全局特征序列F＝{F₁,F₂,...,F_n,...,F_N}。

本发明设计了一种新的CNN和Transformer交替结构，如图1所示。在交替结构中，CNN层用来提取局部特征并降低中间特征尺寸，CNN层后的Transformer模块用来提取长距离依赖。该交替结构能够结合CNN和Transformer的互补的优势并弥补二者存在的缺陷。此外，基于这种交替结构的阶段性设计有利于模型提取多尺度特征。最后，通过全局池化层和全连接层进行分类以得到最终结果。

步骤2.3、全局池化层对空间-时间特征序列F进行池化操作，得到编码后的序列P＝{P₁,P₂,...,P_n,...,P_N}；其中，P_n表示第n个池化编码；

步骤2.4、编码后的序列P经过全连接层及其内部的SoftMax函数后，得到对应类别的概率值，并按照所设的阈值，对概率值进行二值化分类，从而得到最终的分类结果；

步骤3、模型训练：

本发明在每一个受试者身上分别开展实验。本发明使用留一法来获得和实际情况相近的实验结构。具体来说，如果一段脑电信号包含t小时的脑电数据和n次脑电状态标记，那么整段发作间期数据就会被分成n个片段，每个片段包含t/n个小时的脑电数据。然后，这些片段和n个脑电状态标记数据进行随机组合，得到n对发作前期和发作间期的片段组合。在每一次实验中，一个片段组合用来测试，剩余的n-1个片段用来训练。实验进行n次来确保所有片段组合都用来测试过。此外，为了解决由于数据量不足引发的过拟合问题，本发明进一步将训练数据分为训练集和验证集，其中验证集包含发作前期和发作间期后25％的数据，如图6所示。另外，本发明还使用了早停技术，当验证误差持续10个训练周期高于最低值时，本发明认为模型的性能不再增加并将验证误差最低的模型保存至本地。

采用交叉熵作为损失函数，并采用ADAM优化器对损失函数进行最小化求解，批尺寸(Batch size)设置为32，学习率(learning rate)设置为0.01，从而对深度学习模型中的所有参数进行优化，并得到最优分类模型，用于实现对脑电状态的分类；

本发明在两个公开数据集上开展实验，并将实验结果和传统基线CNN模型以及残差神经网络进行对比。本实施例中，使用四个评价指标来衡量模型性能。敏感度(S_n)是标记脑电状态正确分类数量与全部标记脑电状态数量的比值。误判率(FPR)定义为每小时错误报警的次数。曲线下面积(AUC)在不平衡数据中依然能准确评价模型性能。最后，本发明还和随即分类器进行对比，通过式(5)计算：

式(5)中，F代表FPR，S代表标记脑电状态出现区间，本发明将S设置为30分钟。m是本模型正确分类的次数，M是该脑电数据中标记脑电状态的总数。如果p值(p-value)小于0.05则可以证明在0.05的显著度下，本方法的模型明显优于随即分类器。在A数据集上的具体结果如下表1所示。

CNN得到81.2％的敏感度和83.6％的曲线下面积，残差神经网络取得了90.6％的敏感度和91.3％的曲线下面积。本发明取得了相较于二者更好的性能，敏感度和曲线下面积分别为92.2％和93.7％。本发明进一步对比了三个模型的误判率和p值，其中CNN的平均误判率为0.16，13个受试者中有12个受试者的p值小于0.05。残差神经网络的平均误判率为0.141，12个受试者的p值小于0.05。本发明的平均误判率为0.137并且所有13个受试者的p值均小于0.05。本发明在B数据集上同样取得了优异的性能，如下表2所示。实验结果表明，本发明在脑电状态分类任务中取得了更高的曲线下面积和更低的误判率，证明能够更准确地区分脑电的不同状态来实现对脑电状态的分类。

表1.A数据集上脑电状态分类结果

表2.B数据集上脑电状态分类结果

综上所述，本发明提出了一种基于Transformer引导卷积神经网络的脑电状态分类方法，该方法可以充分利用CNN和Transformer互补的优势并弥补二者存在的不足。本发明使用短时傅里叶变换从原始脑电信号中提取时频特征，使用CNN提取局部信息，利用Transformer对长距离依赖进行建模，CNN和Transformer相互补足使得模型能够充分利用脑电信号中的局部和全局信息。实验结果表明，本发明在两个公开的脑电信号数据集上均取得了良好且稳定的性能，证明了本发明的有效性。

Claims (2)

1.一种基于Transformer引导卷积神经网络的脑电信号分类方法，其特征是按如下步骤进行：

步骤1、获取有标注类别的脑电信号数据集，并对数据集中的原始脑电信号进行预处理，包括去除噪声、片段分割和时间频率特征的提取；

步骤1.1、从脑电信号数据集的原始脑电信号中选择共同的C个通道上的脑电信号，并进行去噪处理后再利用滑动窗方法划分为N段时长为t的脑电信号片段，从而得到分割好的脑电信号样本集Z＝{Z₁,Z₂,…,Z_n,…,Z_N}；Z_n表示第n个脑电信号样本，且Z_n ^c表示第n个脑电信号样本中第c个通道的脑电信号数据，且 表示第n个脑电信号样本中第c个通道的第r个数据点，s表示所述脑电信号数据集中的脑电信号的采样率；n＝1,2,...,N；c＝1,2,...,C；r＝1,2,...,t×s；

步骤1.2、使用短时傅里叶变换从脑电信号样本集Z中提取时间频率特征，从而得到训练样本集X＝{X₁,X₂,…,X_n,…,X_N}；X_n表示从第n个脑电信号样本Z_n中提取的时间频率特征，且X_n＝{X_n ¹,X_n ²,…,X_n ^c,…,X_n ^C}，X_n ^c表示从第n个脑电信号样本Z_n中第c个通道的脑电信号数据Z_n ^c中提取的时间频率特征；n＝1,2,...,N；c＝1,2,...,C；

步骤2、建立基于Transformer引导卷积神经网络的深度学习模型，并包含前置卷积神经网络单元、CNN-Transformer交替结构、全局池化层以及全连接层；

步骤2.1、初始化权重值：对深度学习模型的所有卷积层进行参数初始化；

步骤2.2、将所述训练样本集X输入到所述深度学习模型中，并经过所述前置卷积神经网络单元的初步提取和特征降维，得到空间特征序列C＝{C₁,C₂,...,C_n,...,C_N}；其中，C_n表示第n个时间频率特征对应的空间特征；

步骤2.2、所述空间特征序列C经过所述CNN-Transformer交替结构进行局部特征和全局特征的提取，从而得到局部-全局特征序列F＝{F₁,F₂,...,F_n,...,F_N}；其中，F_n表示第n个局部-全局特征；

步骤2.3、所述全局池化层对所述空间-时间特征序列F进行池化操作，得到编码后的序列P＝{P₁,P₂,...,P_n,...,P_N}；其中，P_n表示第n个池化编码；

步骤2.4、所述编码后的序列P经过全连接层及其内部的SoftMax函数后，得到对应类别的概率值，并按照所设的阈值，对所述概率值进行二值化分类，从而得到最终的分类结果；

步骤3、模型训练：

采用交叉熵作为损失函数，并采用ADAM优化器对所述损失函数进行最小化求解，从而对所述深度学习模型中的所有参数进行优化，并得到最优分类模型，用于实现对脑电状态的分类。

2.根据权利要求1所述的基于Transformer引导卷积神经网络的脑电信号分类方法，其特征是，所述步骤2.2中的CNN-Transformer交替结构包括M个相同的组合模块：每个组合模块依次包含卷积层和Transformer单元；所述Transformer单元依次由局部信息层、轻型多头自注意力机制层和残差前馈神经网络层组成；

当m＝1时，所述空间特征序列C输入到第m个组合模块的卷积层中提取局部特征，得到第m个局部特征序列L_m＝{L_m1,L_m2,...,L_mn,...,L_mN}其中，L_mn表示第m个组合模块的卷积层输出的第n个局部特征；第m个组合模块的Transformer单元中局部信息层利用式(1)对第m个局部特征序列L_m进行卷积处理，得到第m个平移不变性特征X′_m：

X′_m＝Conv(L_m)+L_m, (1)

式(1)中，Conv(·)代表卷积操作；

轻型多头自注意力机制层利用式(2)对第m个平移不变性特征X′_m进行线性、卷积、注意力机制和softmax函数的处理，从而输出第m个全局特征X″_m：

式(2)中，Linear表示线性操作，softmax表示softmax函数操作，Q代表查询向量，K代表键向量，V代表内容向量，K′和V′分别代表降低空间维度后的键向量和内容向量；

残差前馈神经网络层的残差处理利用式(3)对第m个全局特征X″_m进行处理，得到第m个局部-全局特征X_m：

X_m＝Conv(DWConv(Conv(X″_m)))+X″_m, (3)

式(3)中，DWConv表示表深度可分离卷积操作；

当m＝2,3,…,M时，将第m-1个局部-全局特征X_m-1作为第m个组合模块的输入，并经过第m个组合模块的处理后，输出第m个局部-全局特征X_m，从而由第M个组合模块输出第M个局部-全局特征X_M并作为CNN-Transformer交替结构的输出F。