CN116010858A - 基于自监督学习的通道注意MLP-Mixer网络模型及其应用 - Google Patents
基于自监督学习的通道注意MLP-Mixer网络模型及其应用 Download PDFInfo
- Publication number
- CN116010858A CN116010858A CN202310308710.XA CN202310308710A CN116010858A CN 116010858 A CN116010858 A CN 116010858A CN 202310308710 A CN202310308710 A CN 202310308710A CN 116010858 A CN116010858 A CN 116010858A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- module
- mixer
- slices
- mlp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 3
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 230000002123 temporal effect Effects 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 8
- 210000004556 brain Anatomy 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005868 electrolysis reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请实施例公开了一种基于自监督学习的通道注意MLP‑Mixer网络模型及其应用，其中模型包括：相连接的前置任务网络和后置任务网络，前置任务网络用来学习输入的脑电图切片之间的远程时间信息，后置任务网络用来基于远程时间信息，对输入的脑电图切片进行运动想象解码；其中，前置任务网络包括相连接的第一本地编码器模块和基于LSTM的切片预测模块；后置任务网络包括相连接的第二本地编码器模块、CAMLP‑Mixer模块和分类器模块。
Description
技术领域
本申请涉及医学图像处理技术领域，具体涉及一种基于自监督学习的通道注意MLP-Mixer网络模型及其应用。
背景技术
脑机接口（BCI, Brain-computer interface）近年来受到广泛关注，它建立了大脑与外部设备之间的直接连接。运动想象(MI, Motor-imagery)是通过脑电图(EEG,Electroencephalogram)信号解码人类意图的BCI范例之一。至今出现了各种机器学习方法用于MI解码，其中基于深度学习(DL, Deep learning)的方法与传统的机器学习算法相比通常取得了有希望的结果。根据特征学习的方式，基于深度学习的脑电解码方法大致分为两类：
定制深度学习方法；
基于端到端的深度学习方法。
前者使用深度神经网络改进手工制作的特征，例如堆叠自动编码器和深度信念网络。而后者直接使用深度学习模型，例如卷积神经网络（CNNs, Convolutional neuralnetworks），对原始脑电信号进行分类，从而自动学习鲁棒的特征表示，并在近年来获得了很高的声誉。
EEG信号在时域中具有很强的长程关系，因此，直接为完整的EEG试验设计端到端DL模型来预测不同的MI任务是一种自然的方式。为了感知长程时间信息，循环神经网络（RNN, Recurrent neural networks）及其变体，如长短期记忆（LSTM, Long short-termmemory），已经显示出它们在处理脑电数据时间序列方面的有效性。然而，由于收集大量EEG数据来训练CNN或RNN模型既费时又昂贵，这些经过试验训练的DL方法通常在小训练样本上存在过拟合问题。
这个问题的另一种解决方案是使用随后的集成学习执行切片预测。也就是说，一个脑电图试验被分割成几个小切片进行切片分类，最终的试验决策是通过将所有切片结果与集成学习算法相结合来实现的。这种EEG数据增强策略扩大了训练数据的数量，从而缓解了DL模型训练的小样本量问题。然而，分割后的脑电图切片不包含MI试验的长程时间信息，这在一定程度上限制了MI解码的性能。因此，充分利用脑电切片之间的长程时间交互来提升分类性能仍然是一项具有挑战性的任务。
自监督学习（SSL Self-supervised learning）作为一种少样本学习的有效方法引起了相当大的关注。SSL设计基于训练样本的接口监督任务来学习其固有信息，然后通过预训练的主干将其传输到下游网络。近年来，一些开创性的工作采用SSL来提高EEG信号的分类性能。这些算法主要侧重于设计前置任务来探索脑电样本之间的关系或不同通道之间的连接，而很少有研究考虑捕获MI EEG切片之间的远程时间信息，同时，传统的基于CNN的MI解码方法严重依赖卷积核大小和网络深度的选择，在捕获时间特征方面存在局限性。
发明内容
本申请实施例的目的在于提供一种基于自监督学习的通道注意MLP-Mixer网络模型及其应用，用以解决现有技术中的算法主要侧重于设计前置任务来探索脑电样本之间的关系或不同通道之间的连接，而很少有研究考虑捕获MI EEG切片之间的远程时间信息，同时，传统的基于CNN的MI解码方法严重依赖卷积核大小和网络深度的选择，在捕获时间特征方面存在局限性的问题。
为实现上述目的，本申请实施例提供一种基于自监督学习的通道注意MLP-Mixer网络模型，包括：相连接的前置任务网络和后置任务网络，所述前置任务网络用来学习输入的脑电图切片之间的远程时间信息，所述后置任务网络用来基于所述远程时间信息，对输入的所述脑电图切片进行运动想象解码；其中，
所述前置任务网络包括相连接的第一本地编码器模块和基于LSTM的切片预测模块，所述第一本地编码器模块用于学习输入的所述脑电图切片中脑电信号的细粒度时间信息，所述切片预测模块用于基于所述第一本地编码器模块的输出，获取基于LSTM的所述脑电信号的所述远程时间信息；
所述后置任务网络包括相连接的第二本地编码器模块、CAMLP-Mixer模块和分类器模块，所述第二本地编码器模块用于基于所述前置任务网络的输出，获取输入的所述脑电图切片的每个通道的时间信息，所述CAMLP-Mixer模块用于基于所述第二本地编码器模块的输出，获取所述脑电信号的时空信息，所述分类器模块用于基于所述CAMLP-Mixer模块的输出，对所述脑电图切片进行运动想象分类，得到所述运动想象解码结果。
可选地，所述第一本地编码器模块和第二本地编码器模块包括三个卷积层，每个卷积层后面跟着一个批归一化层。
可选地，获取将每个脑电图切成的不重叠的所述脑电图切片，利用任意三个连续的所述脑电图切片作为所述切片预测模块的输入，下一个所述脑电图切片作为预测标签来对所述前置任务网络进行训练；
在前置任务中，采用均方误差作为损失函数。
可选地，所述CAMLP-Mixer模块由若干个CAMLP块堆叠而成，每个块包括归一化层、通道注意单元和时间混合单元，所述通道注意单元用于学习全局空间信息并估计每个脑电图通道的重要性，所述时间混合单元用于学习整体所述脑电图切片的时间关系。
可选地，所述分类器模块包括全局平均池化层、线性层和Softmax函数；
在输入的所述脑电图切片上应用预训练的所述第二本地编码器模块和CAMLP-Mixer模块后，输出的特征已经包含所述脑电信号的有效时空信息，将输出的特征输入所述分类器模块的全局平均池化层以平均时域中的所有特征，所述分类器模块的线性层用于将特征函数应用于输出神经元，所述分类器模块的Softmax函数计算每个MI任务的概率，以对每个所述脑电图切片进行分类。
可选地，所述后置任务网络应用矩阵转置和线性投影来探索所有所述脑电图通道之间的全局潜在相关性。
为实现上述目的，本申请还提供一种运动想象解码方法，包括：
将待进行运动想象解码的脑电图切片输入前面任一项所述的基于自监督学习的通道注意MLP-Mixer网络模型中的通道注意MLP-Mixer网络模型，进行运动想象解码。
为实现上述目的，本申请还提供一种计算机存储介质，其上存储有计算机程序，其中所述计算机程序被机器执行时实现如上所述的方法的步骤。
本申请实施例具有如下优点：
本申请实施例提供一种基于自监督学习的通道注意MLP-Mixer网络模型，包括：相连接的前置任务网络和后置任务网络，所述前置任务网络用来学习输入的脑电图切片之间的远程时间信息，所述后置任务网络用来基于所述远程时间信息，对输入的所述脑电图切片进行运动想象解码；其中，所述前置任务网络包括相连接的第一本地编码器模块和基于LSTM的切片预测模块，所述第一本地编码器模块用于学习输入的所述脑电图切片中脑电信号的细粒度时间信息，所述切片预测模块用于基于所述第一本地编码器模块的输出，获取基于LSTM的所述脑电信号的所述远程时间信息；所述后置任务网络包括相连接的第二本地编码器模块、CAMLP-Mixer模块和分类器模块，所述第二本地编码器模块用于基于所述前置任务网络的输出，获取输入的所述脑电图切片的每个通道的时间信息，所述CAMLP-Mixer模块用于基于所述第二本地编码器模块的输出，获取所述脑电信号的时空信息，所述分类器模块用于基于所述CAMLP-Mixer模块的输出，对所述脑电图切片进行运动想象分类，得到所述运动想象解码结果。
通过上述模型，设计出一种新的切片预测前置任务来学习脑电信号中潜在的远程时间信息，从而促进脑电分类下游任务的性能，并且设计出一种新的后置任务网络，使每个通道中的EEG信号在原始MLP-Mixer中被视为一个单独的补丁以进行特征学习，这有助于捕获EEG切片中的时间内信息和空间关系。
附图说明
为了更清楚地说明本申请的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。
图1为本申请实施例提供的一种基于自监督学习的通道注意MLP-Mixer网络模型的创建过程流程图；
图2为本申请实施例提供的一种基于自监督学习的通道注意MLP-Mixer网络模型的整体架构图；
图3为本申请实施例提供的一种基于自监督学习的通道注意MLP-Mixer网络模型的后置任务网络架构图；
图4为本申请实施例提供的一种基于自监督学习的通道注意MLP-Mixer网络模型的CAMLP-Mixer模块架构图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本申请一实施例提供一种基于自监督学习的通道注意MLP-Mixer网络模型，参考图1和图2，图1为本申请的一实施方式中提供的一种基于自监督学习的通道注意MLP-Mixer网络模型的创建过程流程图，图2为本申请实施例提供的一种基于自监督学习的通道注意MLP-Mixer网络模型的整体架构图，应当理解的是，该方法还可以包括未示出的附加框和/或可以省略所示出的框，本申请的范围在此方面不受限制。
本实施例提供了一种新的基于自监督学习(SSL)的通道注意MLP-Mixer网络(S-CAMLP-Net)，用于使用EEG进行MI解码，S-CAMLP-Net的整体架构参考图2。具体来说：
本申请设计了一个新的EEG切片预测任务作为前置任务，以捕获时域中EEG试验的远程时间信息；
在后置任务中，本申请新提出的MLP-Mixer应用于信号而不是图像的分类任务；
此外，为了有效地学习EEG切片中的判别空间表示，将注意力机制集成到MLP-Mixer中，以在没有任何先验信息的情况下自适应地估计每个EEG通道的重要性。
其中，S-CAMLP-Net用于基于EEG的MI解码的训练管道如下：
前置任务：每个试验样本被分割成不重叠的切片。然后将三个相邻的EEG切片馈入基于LSTM的网络以预测下一个切片。因此，这个脑电图切片预测任务可以探索脑电图切片之间的内在关系，这是在预训练的主干中为后置任务学习的。
后置任务：预训练骨干的参数被传输到CAMLP-Net以进行基于EEG的MI分类。由于预训练的本地编码器包含脑电图试验的潜在远程时间信息，它可以促进CAMLP-Net捕获脑电图的时间信息。经过微调，所提出的CAMLP-Net可以有效地从每个EEG切片中解码MI。
在本实施例中，基于自监督学习的通道注意MLP-Mixer网络模型包括：相连接的前置任务网络和后置任务网络，所述前置任务网络用来学习输入的脑电图切片之间的远程时间信息，所述后置任务网络用来基于所述远程时间信息，对输入的所述脑电图切片进行运动想象解码。其中，
所述前置任务网络包括相连接的第一本地编码器模块和基于LSTM的切片预测模块，所述第一本地编码器模块用于学习输入的所述脑电图切片中脑电信号的细粒度时间信息，所述切片预测模块用于基于所述第一本地编码器模块的输出，获取基于LSTM的所述脑电信号的所述远程时间信息。
具体地，切片方式的分类方法普遍缺乏EEG切片之间的关系，即整个试验的长程依赖关系，从而限制了分类性能。因此，在前置任务中，本申请提出了一个脑电图切片预测任务来学习脑电图试验中的远程时间信息。因此，预训练的主干网络包含脑电图切片之间的潜在关系信息，这在一定程度上弥补了传统基于切片的方法的缺点。设计的接口网络（前置任务网络）包括本地编码器模块和基于LSTM的切片预测模块。
在一些实施例中，第一本地编码器模块：为了学习脑电信号的细粒度时间信息，本申请设计了一个基于1D CNN的第一本地编码器模块。该第一本地编码器用作主干，旨在为下游脑电图分类任务学习更有效的时间特征。
基于1D CNN的第一本地编码器模块包含三个卷积层，每个卷积层后面跟着一个批归一化层。这三层的卷积核数量是[F/4, F/2, F]，它们的核大小都是k。具体来说，给定一个输入表示x，其中C代表EEG通道数，T代表输入样本点。在第二个和最后一个卷积层之间应用内核大小为k的平均池化层，以获得每个通道和映射的细粒度时间特征：，，其中L表示本地编码器之后的大小和时间维度。
值得注意的是，第一本地编码器模块仅旨在学习和丰富脑电信号在时域中的特征表示。因此，在这个过程中，EEG通道的数量保持不变，从而使空间信息不被扰乱。
在一些实施例中，基于LSTM的EEG切片预测模块：LSTM是一种特殊类型的RNN，它可以通过从记忆单元中添加或删除信息来从序列数据中学习时间依赖性。它已广泛应用于时间序列脑电信号处理。本申请设计了一个脑电切片预测任务，以探索基于LSTM的脑电信号的远程时间信息。由于数据集中的脑电图试验数量有限，本申请将三个相邻的脑电图切片作为输入，下一个脑电图切片作为预测标签来训练接口模型。该策略是在训练样本的数量和EEG切片之间要学习的时间关系之间进行权衡。具体来说，给定三个相邻的脑电切片来自相同的试验作为输入，经过本地编码器后编码的脑电切片可以表示为，其中F表示特征图的数量。为了学习脑电图切片之间的潜在远程时间信息，将这些特征图连接成一个特征表示为，然后将连接的特征表示的每个特征图分别由LSTM层处理。下一个EEG切片的预测是由一个CNN层和一个线性投影层生成的。CNN层的作用是将特征图的数量从F减少到1。因此，STM学习的底层时间关系可以指导本地编码器更好地捕捉EEG试验中的远程依赖关系。
在前置任务中，采用常用的均方误差（MSE, Mean square error）作为损失函数，以加强地面真实脑电图切片与预测脑电图切片之间的一致性。因此，它可以指导本申请的接口网络学习脑电图切片之间的远程时间信息。
在本实施例中，所述后置任务网络包括相连接的第二本地编码器模块、CAMLP-Mixer模块和分类器模块，所述第二本地编码器模块用于基于所述前置任务网络的输出，获取输入的所述脑电图切片的每个通道的时间信息，所述CAMLP-Mixer模块用于基于所述第二本地编码器模块的输出，获取所述脑电信号的时空信息，所述分类器模块用于基于所述CAMLP-Mixer模块的输出，对所述脑电图切片进行运动想象分类，得到所述运动想象解码结果。
具体地，本申请提出了的用于后置任务的CAMLP-Net的架构作为后置任务网络，如图3所示，它包含三个模块：基于1D CNN的第二本地编码器模块、CAMLP-Mixer（混合器） 模块和分类器模块。第二本地编码器与前置任务的第一编码器模块具有相同的结构，作为主干用于获取原始脑电图切片每个通道的时间信息。在CAMLP-Mixer模块中，通道注意单元（CAU, Channel attention unit）旨在学习全局空间信息并估计每个脑电图通道的重要性，而无需任何临床先验信息，而时间混合单元（TMU, Time mixing unit）用于学习整体脑电图切片的时间关系。
在一些实施例中，包括全局平均池化层、线性层和Softmax函数的分类器模块：用于预测切片样本的MI解码结果。提出的MI解码后置任务的流程描述如下：
1.在训练阶段，训练集中的所有脑电图试验通过滑动窗口分割成切片。然后将洗牌策略应用于这些切片，然后再将它们输入CAMLP-Net。因此，经过训练的CAMLP-Net模型对多通道EEG的每个切片执行MI解码任务。
2.在测试阶段，每个试验样本被分割成多个脑电图切片，然后将每个切片输入经过训练的CAMLP-Net以获得切片预测。来自同一试验的所有预测结果通过集成策略集成以生成试验样本的最终结果。
在一些实施例中，CAMLP-Mixer模块：通过预训练的第二本地编码器模块在所有通道上提取时间特征后，得到每个通道的本地特征。然而，仍然缺乏脑电切片在所有通道之间的整体时间关系和空间信息。为了捕获EEG切片中的时间内信息以及不同EEG通道之间的关系，CAMLP-Mixer模块应用基于MLP的架构来学习这些表示。此外，为了减少脑电通道的冗余信息，采用通道注意机制在所有通道之间进行空间特征选择。
所提出的CAMLP-Mixer模块的架构如图4所示。它由N个CAMLP块堆叠而成，每个块包括两个归一化层、一个CAU和一个TMU。为方便起见，基本混合单元（MU）可以表示为：
方程1：
其中是LeakyReLU激活函数，表示线性投影的权重，和是偏差。
CAU可以有利于不同EEG通道之间关系的特征学习，也可以估计不同EEG通道对特征提取的重要性。受MLP-Mixer的启发，本申请的CAMLP-Net（后置任务网络）应用矩阵转置和线性投影来探索所有EEG通道之间的全局潜在相关性。因此，本申请应该转置由预训练的本地编码器生成的特征图。特别是给定本地编码器的特征输出，其中在LayerNorm之后转置为，以方便空间维度的混合投影。在CAMLP-Mixer模块中，的每个特征图都是单独处理的。对于通道特征通信，CAU中的混合投影意味着转换每个特征图的通道维度：，其中D表示空间域中的隐藏维度。CAU表示为：
方程2：
方程3：
其中表示一组可学习的注意力权重，是元素的乘积，是方程的输出。方程2应该注意的是，是利用不同EEG通道重要性的关键部分。
由于不同的大脑区域对MI任务的贡献不同，本申请在提议的CAU中进一步专门设计了一种通道注意机制，用于提取空间特征。特别是，一组由可学习张量t实现的自适应通道注意力权重被集成到混合层中，以利用每个EEG通道的重要性。当时，表达式将退化为基本MU，这意味着所有EEG通道对分类的贡献均等。因此，这些自适应通道注意权重通过反向传播有效地学习，以增强MI中关键通道的重要性，并抑制与解码任务不太相关的通道。
TMU只包含基本的MU，它允许在同一信道的不同时间之间进行信息通信。由于整个脑电切片的时间信息高度相关，因此提取时间序列特征很重要。在本申请的网络中，TMU用于通过线性投影充分利用时间序列中任意两个周期之间的关系。TMU可以表示为：
方程4：
方程5：
其中为CAU的输出，表示LayerNorm后的输出，后续处理的输出y与输入具有相同的维度。此外，在时间混合投影中，时间特征维度的变换可以描述为，其中表示隐藏维度。
在一些实施例中，分类器模块：在输入脑电图切片上应用预训练的第二本地编码器模块和CAMLP-Mixer模块后，输出特征已经包含脑电信号的有效时空信息。然后将这些特征输入全局池化层，以平均时域中的所有特征。线性层用于将特征函数应用于输出神经元，这等于MI标签的数量。为了对每个脑电图切片进行分类，使用Softmax函数计算每个MI任务的概率。多类交叉熵损失作为训练下游模型时的损失函数，可以表述为：
方程6：
其中m和n分别表示切片样本数和MI类数，是第i个切片样本的真实标签，表示第i个样本属于j类的预测概率。
本申请还提供一种运动想象解码方法，包括：
将待进行运动想象解码的脑电图切片输入如前面所述的基于自监督学习的通道注意MLP-Mixer网络模型中的通道注意MLP-Mixer网络模型，进行运动想象解码。
具体实现方法参考前述实施例，此处不再赘述。
通过上述模型和方法，本申请创建了一个基于SSL的通道注意MLP-Mixer Network(S-CAMLP-Net)用于MI解码。具体来说，EGG切片预测任务被设计为前置任务来学习EEG切片之间的长期时间依赖性。在后置任务中，本申请提出了一种新的CAMLP-Net用于EEG分类，它可以通过MLP-Mixer的性质和通道注意机制有效地学习时间和空间信息。
本申请主要贡献总结如下：
1.本申请提出了一种新的EEG切片预测任务作为EEG时间序列信号的前置任务，它允许前置网络捕获和学习相邻EEG切片之间的潜在远程时间信息。因此，预训练的主干网络可以有效地促进后置任务模型学习固有的时间信息。
2.针对基于EEG的MI任务，本申请提出了一种新的CAMLP-Net。具体来说，每个通道中的EEG信号在原始MLP-Mixer中被视为一个单独的补丁以进行特征学习，这有助于捕获EEG切片中的时间内信息和空间关系。
3.通过将注意力机制集成到MLP-Mixer中，本申请进一步开发了基于通道注意力的MLP-Mixer。这种自适应通道选择策略可以有效估计不同脑电通道对MI任务的重要性，并抑制冗余信息以促进空间特征学习。
本申请可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
虽然，上文中已经用一般性说明及具体实施例对本申请作了详尽的描述，但在本申请基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本申请精神的基础上所做的这些修改或改进，均属于本申请要求保护的范围。
Claims (8)
1.一种基于自监督学习的通道注意MLP-Mixer网络模型，其特征在于，包括：相连接的前置任务网络和后置任务网络，所述前置任务网络用来学习输入的脑电图切片之间的远程时间信息，所述后置任务网络用来基于所述远程时间信息，对输入的所述脑电图切片进行运动想象解码；其中，
所述前置任务网络包括相连接的第一本地编码器模块和基于LSTM的切片预测模块，所述第一本地编码器模块用于学习输入的所述脑电图切片中脑电信号的细粒度时间信息，所述切片预测模块用于基于所述第一本地编码器模块的输出，获取基于LSTM的所述脑电信号的所述远程时间信息；
所述后置任务网络包括相连接的第二本地编码器模块、CAMLP-Mixer模块和分类器模块，所述第二本地编码器模块用于基于所述前置任务网络的输出，获取输入的所述脑电图切片的每个通道的时间信息，所述CAMLP-Mixer模块用于基于所述第二本地编码器模块的输出，获取所述脑电信号的时空信息，所述分类器模块用于基于所述CAMLP-Mixer模块的输出，对所述脑电图切片进行运动想象分类，得到所述运动想象解码结果。
2.根据权利要求1所述的基于自监督学习的通道注意MLP-Mixer网络模型，其特征在于，
所述第一本地编码器模块和第二本地编码器模块包括三个卷积层，每个卷积层后面跟着一个批归一化层。
3.根据权利要求1所述的基于自监督学习的通道注意MLP-Mixer网络模型，其特征在于，包括：
获取将每个脑电图切成的不重叠的所述脑电图切片，利用任意三个连续的所述脑电图切片作为所述切片预测模块的输入，下一个所述脑电图切片作为预测标签来对所述前置任务网络进行训练；
在前置任务中，采用均方误差作为损失函数。
4.根据权利要求1所述的基于自监督学习的通道注意MLP-Mixer网络模型，其特征在于，
所述CAMLP-Mixer模块由若干个CAMLP块堆叠而成，每个块包括归一化层、通道注意单元和时间混合单元，所述通道注意单元用于学习全局空间信息并估计每个脑电图通道的重要性，所述时间混合单元用于学习整体所述脑电图切片的时间关系。
5.根据权利要求1所述的基于自监督学习的通道注意MLP-Mixer网络模型，其特征在于，
所述分类器模块包括全局平均池化层、线性层和Softmax函数；
在输入的所述脑电图切片上应用预训练的所述第二本地编码器模块和CAMLP-Mixer模块后，输出的特征已经包含所述脑电信号的有效时空信息，将输出的特征输入所述分类器模块的全局平均池化层以平均时域中的所有特征，所述分类器模块的线性层用于将特征函数应用于输出神经元，所述分类器模块的Softmax函数计算每个MI任务的概率，以对每个所述脑电图切片进行分类。
6.根据权利要求1所述的基于自监督学习的通道注意MLP-Mixer网络模型，其特征在于，
所述后置任务网络应用矩阵转置和线性投影来探索所有所述脑电图通道之间的全局潜在相关性。
7.一种运动想象解码方法，其特征在于，包括：
将待进行运动想象解码的脑电图切片输入权利要求1至6任一项所述的基于自监督学习的通道注意MLP-Mixer网络模型中的通道注意MLP-Mixer网络模型，进行运动想象解码。
8.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被机器执行时实现如权利要求7所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310308710.XA CN116010858B (zh) | 2023-03-28 | 2023-03-28 | 基于自监督学习的通道注意MLP-Mixer网络模型装置及其应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310308710.XA CN116010858B (zh) | 2023-03-28 | 2023-03-28 | 基于自监督学习的通道注意MLP-Mixer网络模型装置及其应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116010858A true CN116010858A (zh) | 2023-04-25 |
| CN116010858B CN116010858B (zh) | 2023-06-09 |
Family
ID=86021427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310308710.XA Active CN116010858B (zh) | 2023-03-28 | 2023-03-28 | 基于自监督学习的通道注意MLP-Mixer网络模型装置及其应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116010858B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111407269A (zh) * | 2020-03-30 | 2020-07-14 | 华南理工大学 | 一种基于增强学习的eeg信号情感识别方法 |
| CN111832416A (zh) * | 2020-06-16 | 2020-10-27 | 杭州电子科技大学 | 一种基于增强卷积神经网络的运动想象脑电信号识别方法 |
| CN113887513A (zh) * | 2021-10-28 | 2022-01-04 | 重庆邮电大学 | 一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法 |
| CN114027786A (zh) * | 2021-08-11 | 2022-02-11 | 中国科学院计算技术研究所 | 基于自监督式记忆网络的睡眠呼吸障碍检测方法及系统 |
| CN115486857A (zh) * | 2022-09-02 | 2022-12-20 | 昆明理工大学 | 一种基于Transformer时空特征学习的运动想象脑电解码方法 |
| CN115546231A (zh) * | 2022-10-09 | 2022-12-30 | 中国科学院深圳先进技术研究院 | 一种基于半监督深度学习的自适应脑胶质瘤分割方法 |
| CN115590515A (zh) * | 2022-09-28 | 2023-01-13 | 上海零唯一思科技有限公司（Cn） | 基于生成式自监督学习和脑电信号的情绪识别方法及系统 |
| US20230039900A1 (en) * | 2021-08-07 | 2023-02-09 | Fuzhou University | Method for realizing a multi-channel convolutional recurrent neural network eeg emotion recognition model using transfer learning |
| CN115813408A (zh) * | 2022-11-25 | 2023-03-21 | 华中科技大学 | 一种用于脑电信号分类任务的Transformer编码器自监督学习方法 |
-
2023
- 2023-03-28 CN CN202310308710.XA patent/CN116010858B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111407269A (zh) * | 2020-03-30 | 2020-07-14 | 华南理工大学 | 一种基于增强学习的eeg信号情感识别方法 |
| CN111832416A (zh) * | 2020-06-16 | 2020-10-27 | 杭州电子科技大学 | 一种基于增强卷积神经网络的运动想象脑电信号识别方法 |
| US20230039900A1 (en) * | 2021-08-07 | 2023-02-09 | Fuzhou University | Method for realizing a multi-channel convolutional recurrent neural network eeg emotion recognition model using transfer learning |
| CN114027786A (zh) * | 2021-08-11 | 2022-02-11 | 中国科学院计算技术研究所 | 基于自监督式记忆网络的睡眠呼吸障碍检测方法及系统 |
| CN113887513A (zh) * | 2021-10-28 | 2022-01-04 | 重庆邮电大学 | 一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法 |
| CN115486857A (zh) * | 2022-09-02 | 2022-12-20 | 昆明理工大学 | 一种基于Transformer时空特征学习的运动想象脑电解码方法 |
| CN115590515A (zh) * | 2022-09-28 | 2023-01-13 | 上海零唯一思科技有限公司（Cn） | 基于生成式自监督学习和脑电信号的情绪识别方法及系统 |
| CN115546231A (zh) * | 2022-10-09 | 2022-12-30 | 中国科学院深圳先进技术研究院 | 一种基于半监督深度学习的自适应脑胶质瘤分割方法 |
| CN115813408A (zh) * | 2022-11-25 | 2023-03-21 | 华中科技大学 | 一种用于脑电信号分类任务的Transformer编码器自监督学习方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陶威: "\"基于注意力机制的脑电情绪识别方法研究\"", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116010858B (zh) | 2023-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Campos et al. | Skip rnn: Learning to skip state updates in recurrent neural networks | |
| CN113159051B (zh) | 一种基于边缘解耦的遥感图像轻量化语义分割方法 | |
| CN111357019B (zh) | 通过对权重矩阵实施空间局部性并实现频率压缩来压缩(多个)深度网络的全连接/递归层 | |
| CN107945210B (zh) | 基于深度学习和环境自适应的目标跟踪方法 | |
| Passalis et al. | Efficient adaptive inference for deep convolutional neural networks using hierarchical early exits | |
| Wazir et al. | HistoSeg: Quick attention with multi-loss function for multi-structure segmentation in digital histology images | |
| CN110705600A (zh) | 一种基于互相关熵的多深度学习模型融合方法、终端设备及可读存储介质 | |
| Machidon et al. | Deep learning for compressive sensing: a ubiquitous systems perspective | |
| Růžička et al. | RaVÆn: unsupervised change detection of extreme events using ML on-board satellites | |
| CN115775350A (zh) | 一种图像增强方法和装置、计算设备 | |
| Zhao et al. | Deeply supervised active learning for finger bones segmentation | |
| Nogueira et al. | Sound classification and processing of urban environments: A systematic literature review | |
| Garau et al. | CapsulePose: A variational CapsNet for real-time end-to-end 3D human pose estimation | |
| Girelli Consolaro et al. | Analysis and performance evaluation of transfer learning algorithms for 6G wireless networks | |
| Fakhari et al. | A new restricted boltzmann machine training algorithm for image restoration | |
| CN116010858B (zh) | 基于自监督学习的通道注意MLP-Mixer网络模型装置及其应用 | |
| CN110490876B (zh) | 一种基于轻量级神经网络的图像分割方法 | |
| Zhou et al. | High-resolution hierarchical adversarial learning for OCT speckle noise reduction | |
| CN116091763A (zh) | 苹果叶部病害图像语义分割系统及分割方法、设备和介质 | |
| Kundu et al. | Optimal Machine Learning Based Automated Malaria Parasite Detection and Classification Model Using Blood Smear Images. | |
| CN115374943A (zh) | 一种基于域对抗迁移网络的数据认知计算方法及其系统 | |
| Bongini et al. | GADA: Generative adversarial data augmentation for image quality assessment | |
| Heinrich et al. | Hierarchical Neural Simulation-Based Inference Over Event Ensembles | |
| Bui et al. | Benchmark for Uncertainty & Robustness in Self-Supervised Learning | |
| Wu et al. | Optimized compressed sensing for communication efficient federated learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |