CN113887513A - 一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法 - Google Patents

一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法 Download PDF

Info

Publication number
CN113887513A
CN113887513A CN202111260895.9A CN202111260895A CN113887513A CN 113887513 A CN113887513 A CN 113887513A CN 202111260895 A CN202111260895 A CN 202111260895A CN 113887513 A CN113887513 A CN 113887513A
Authority
CN
China
Prior art keywords
motor imagery
time
frequency
transformer
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111260895.9A
Other languages
English (en)
Inventor
罗元
任科
何小义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202111260895.9A priority Critical patent/CN113887513A/zh
Publication of CN113887513A publication Critical patent/CN113887513A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种基于并行CNN‑Transformer神经网络的运动想象脑电信号分类方法，包括S1，对运动想象脑电信号进行预处理；S2，在预处理后的运动想象脑电信号中添加噪声来扩充数据；S3，对步骤S1和步骤S2处理后的运动想象脑电信号进行时频分析生成包含时间特征、频率特征和位置信息的二维特征图；S4，构建CNN模型，设置网络参数，提取二维特征图中的频率特征和位置信息；S5，构建Transformer模型，设置网络参数，提取二维特征图中的时间特征；S6，将步骤S4和步骤S5提取的特征进行串联，并输入到分类器得到运动想象分类结果。通过在数据集BCI competition IV dataset 2b上进行验证，并与近年来具有良好表现的运动想象分类方法进行比较，实验结果表明，本发明有更好的分类性能。

Description

一种基于并行CNN-Transformer神经网络的运动想象脑电信 号分类方法
技术领域
本发明属于信号处理与模式识别领域，特别是一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法。
背景技术
脑机接口(Brain-computer Interface,BCI)通过人类大脑的意识活动来控制外部设备，实现大脑与设备之间通讯。脑电信号因具有高时间分辨率、低成本和非侵入性的特点被广泛应用于BCI。运动想象脑电信号(Motor Imagery Electroencephalogram,MI EEG)是一种不需要外界刺激，能自发产生的脑电信号。MI EEG非线性、非平稳、低信噪比等特点给解码带来了很大的挑战。脑信息解码的关键问题是特征提取和分类识别。
时域和频域分析方法是常见的特征提取方法。单独使用时域分析或者频域分析很难完整提取丰富的脑电特征。研究者提出用短时傅里叶变换(Short Time FourierTransform,STFT)和连续小波变换(Continue Wavelet Transform,CWT)等时频域分析法从时间和频率两个维度描述MI EEG的特征。对于时变、非平稳的脑电信号，STFT不能同时获得高时间分辨率和频率分辨率。相比于STFT，CWT窗口形状可变，具有更高的时频分辨率。同时CWT可以通过小波基函数的平移和伸缩对信号的不同频段实现多尺度表达。CWT自适应多分辨率的特点使其更适合分析频率随时间变化而变化的脑电信号。
以往分类识别研究中，深度学习方法被广泛用于脑电信号解码。卷积神经网络(Convolutional Neural Networks,CNN)因其强大的局部特征学习能力而被广泛应用。但是由于脑电信号本质上是时间序列信号，具有很强时间依赖性，CNN不能充分利用脑电信号中的时序信息。研究者引入循环神经网络(Recurrent Neural Network,RNN)处理脑电信号的时间相关性。RNN采用的顺序输入方式使模型很难具备高效的并行计算能力，同时RNN难以建立全局依赖关系。最近，具有捕捉长时序输入序列之间的依赖关系、并行计算等特性的Transformer受到了越来越多的关注，这为处理MI EEG的时序信息提供了新的思路。
发明内容
针对现有技术中存在的问题，本发明提出一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法。在本发明方法中，首先利用CWT获得MI EEG结合时间、频率和位置信息的二维特征图。然后CNN提取二维特征图中的频率特征和位置信息；Transformer提取二维特征图中的时间特征。最后以多特征融合的方式提高运动想象脑电信号分类任务的准确性。
鉴于此，本发明采用的技术方案是：一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法，包括以下步骤：
S1，对运动想象脑电信号进行预处理；
S2，在预处理后的运动想象脑电信号中添加噪声来扩充数据；
S3，对步骤S1和步骤S2处理后的运动想象脑电信号进行时频分析生成包含时间特征、频率特征和位置信息的二维特征图；
S4，构建CNN模型，设置网络参数，提取二维特征图中的频率特征和位置信息；
S5，构建Transformer模型，设置网络参数，提取二维特征图中的时间特征；
S6，将步骤S4和步骤S5提取的特征进行串联，并输入到分类器得到运动想象分类结果。
具体地，步骤S1所述预处理为选取8-30Hz带通滤波器对运动想象脑电信号进行滤波。所述带通滤波器选用巴特沃斯滤波器。
具体地，步骤S2所述添加噪声为添加高斯噪声进行数据扩充。
具体地，步骤S3所述时频分析选取母小波为复Morlet小波的连续小波变换进行时频分析，分别对步骤S1和步骤S2处理后的运动想象脑电信号中的C3、Cz、C4三个通道的数据进行连续小波变换生成二维时频图，并将每个步骤中三个通道的二维时频图组合为包含时间、频率和位置信息的二维特征图。具体包括：
S3-1、将步骤S1和步骤S2处理后的运动想象脑电信号中的C3、Cz、C4三个通道时长为4s的数据进行CWT分析，生成包含时间和频率的二维时频图，其中，连续小波变换采用如下公式：
Figure BDA0003325680730000021
其中CWT(s,τ)表示连续小波变换输出，s表示尺度并且s≠0，τ表示平移因子，
Figure BDA0003325680730000022
是
Figure BDA0003325680730000023
的复共轭函数，母小波
Figure BDA0003325680730000024
通过
Figure BDA0003325680730000025
平移和缩放得到，＜·＞表示内积，x(t)表示输入序列，
Figure BDA0003325680730000026
表示母小波的平移和缩放。
S3-2、分别截取3个脑电信号通道中与运动想象脑电信号密切相关的8-30Hz频带的二维时频图，将截取后的图像按照电极顺序上下排列组合成包含时间、频率和位置信息的二维特征图。
具体地，步骤S4所述CNN模型包括3个卷积层和3个最大池化层。卷积层中每个卷积核大小都为3×3，步幅为1像素，卷积层输入用1个像素填充。三层卷积层的滤波器个数依次为16，32，64。每个卷积层后加一个最大池化层，前两个池化层大小2×2，最后一个池化层大小为8×8，每个池化窗口大小和步长相同。
具体地，步骤S5所述Transformer模型，将步骤S3得到的二维特征图沿着时间维度方向按照单位时间裁切为非重叠输入特征序列，然后将经过输入编码和位置编码后的特征序列作为Transformer模型输入；Transformer包含3个相同的编码器层堆叠而成，每一层由4头自注意力层和前馈神经网络层两个子层组成，两个子层的输出都经过残差连接和层归一化。
具体地，所述步骤S6中将步骤4中CNN提取的频率特征、位置信息和步骤5中Transformer提取的时间特征串联作为新的输入，输入到全连接层进行分类。
本发明的优点及有益效果如下：
本发明提供了一种用于运动想象分类的并行CNN-Transformer网络模型。首先，通过添加噪声的方式增加了数据集，避免了过拟合。其次，通过CWT获得MI EEG结合时间、频率和位置信息的二维特征图，这丰富了网络的特征，增强网络的特征提取能力。然后，CNN模型专注于学习CWT提取的频率特征和位置信息；Transformer专注于学习CWT提取的时间特征。将两者学习到的特征串联在一起作为分类器的输入，这有效地融合了特征图像信息，增强了对MI EEG的识别能力。最后，相比于近年来具有良好表现的运动想象分类方法，本发明具有更高平均准确率和平均Kappa值。
附图说明
图1是基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法流程图；
图2是并行CNN-Transformer神经网络框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
参见图1和图2，本发明的实施例中包括以下步骤：
S1，本实施例采用的是2008年第四次国际脑机接口竞赛左右手运动想象的脑电信号数据集BCI competition IV dataset 2b。截取C3、Cz、C4三个通道3-7s时间段包含运动想象任务的脑电信号对其采用巴特沃斯滤波器进行8-30Hz带通滤波。
S2，添加平均值为零，标准偏差为0.1的高斯噪声到原始数据，将数据量扩充为原始数据的3倍。增加数据集以避免过拟合。
S3，将步骤S1和步骤S2得到的脑电数据进行时频分析生成二维特征图；选取母小波为复Morlet小波(cmor4-4)的连续小波变换进行时频分析。复Morlet小波的优势在于具有非正交性和对称性，在时域和频域的局部变换之间有着很好的平衡和集中性。CWT的优势在于可以在时域和频域表达脑电信号特征信息，CWT窗口形状可变，具有更高的时频分辨率。同时CWT可以通过小波基函数的平移和伸缩对信号的不同频段实现多尺度表达。CWT自适应多分辨率的特点使其更适合分析频率随时间变化而变化的脑电信号。具体步骤如下：
S3-1、将步骤S1和S2处理后的运动想象脑电信号中的C3、Cz、C4三个通道时长为4s的数据进行CWT分析，生成包含时间和频率的二维时频图，其中，连续小波变换采用如下公式：
Figure BDA0003325680730000031
其中CWT(s,τ)表示连续小波变换输出，s表示尺度并且s≠0，τ表示平移因子。
Figure BDA0003325680730000032
是
Figure BDA0003325680730000033
的复共轭函数。母小波
Figure BDA0003325680730000034
可以通过
Figure BDA0003325680730000035
平移和缩放得到。＜·＞表示内积。x(t)表示输入序列，
Figure BDA0003325680730000041
表示母小波的平移和缩放。
S3-2、分别截取3个脑电信号通道中与运动想象脑电信号密切相关的8-30Hz频带的时频图，将截取后的图像按照电极顺序上下排列组合成大小为64×64，包含时间、频率和位置信息的二维特征图。优势在于不仅利用了时间特征和频率特征，还利用了脑电信号的位置信息。
S4，构建卷积神经网络模块，利用卷积神经网络对二维特征图进行频率特征和位置信息的提取。卷积神经网络结构主要包括3个卷积层和3个最大池化层。将连续小波变换得到大小为64×64的二维特征图作为网络输入。每个卷积层的卷积核尺寸大小都为3×3，步幅为1像素。对卷积运算采用零填充的方法来防止特征图中边界信息的丢失。三层卷积层的滤波器个数依次为16,32,64。每个卷积层后加一个最大池化层，前两个池化层的核大小为2×2，最后一个池化层的核大小为8×8，每个池化窗口大小和步长相同。在每个卷积层和每个最大池化层之间应用批量归一化(Batch Normalization,BN)和ReLU非线性。在ReLU之前，BN用于处理各层输出数据。为了避免过拟合，加入50％的Dropout。最后，将最大池化层输出的特征图展平为长度为256的一维特征向量。
S5，构建Transformer模块，利用Transformer对二维特征图进行时间特征的提取。Transformer包含3个相同的编码器层堆叠而成，每一层由4头自注意力层和前馈神经网络层两个子层组成，两个子层的输出都经过残差连接和层归一化。图2并行CNN-Transformer神经网络框架图中Multi-Head Attention,Feed Forward,Add&Norm即分别为自注意力层，前馈神经网络层，残差连接和层归一化。
首先将二维特征图沿着时间维度方向按照单位时间裁切为x＝[x1,x2,…,xT]的非重叠输入特征序列，其中xT表示T时刻的特征序列。然后输入序列经过嵌入层被可学习的线性变换投影到维度为64的新序列。接着将编码后的输入序列进行位置编码，位置编码的维度与输入编码是一样的。采用如下公式给定位置编码。最后将输入编码和位置编码相加后的特征序列作为Transformer模型输入。
Figure BDA0003325680730000042
Figure BDA0003325680730000043
其中PE(pos,2i)表示在每个向量的偶数位置添加sin变量，PE(pos,2i+1)表示在每个向量的奇数位置添加cos变量。pos表示每个序列数据的位置索引，dmodel表示特征嵌入维度，i表示特征的某一维度，不同维度上sin/cos的波长从2π到10000*2π。
在自注意力层中，Transformer的自注意力机制通过对不同时间切片的脑电特征进行计算权重，寻找时间步长之间的依赖性。具体而言，首先，在输入序列的每个位置上通过线性变换得到查询向量Q、关键向量K、值向量V。其次，将Q和每个时间步特征的关键向量K进行点乘。然后，利用softmax函数对计算结果进行归一化。最后，用归一后的分数乘以每个值向量V，然后计算加权和，这就是自注意力层的输出。4个自注意力头对应的4个子空间的输出合并在一起。通过如下公式计算多头自注意力机制。
Figure BDA0003325680730000051
MultiHead(Q,K,V)＝Concat(head1,...,headh)WO
其中
Figure BDA0003325680730000052
其中Q、K、V分别是query、key、value的简写，
Figure BDA0003325680730000053
是比例因子，
Figure BDA0003325680730000054
Figure BDA0003325680730000055
WO是可学习的矩阵。
在多头自注意力子层后有一个前馈网络，前馈网络由两个线性转换和中间的ReLU激活函数组成。此外，每个子层后都经过残差连接和层归一化。最后，将模型输出在时间维度上求平均得到长度为64的一维特征向量。
S6，将CNN模型和Transformer模型提取的特征串联为新的一维数组，并输入到softmax分类器得到左右手运动想象任务分类结果。

Claims (9)

1.一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法，其特征在于，包括以下步骤：
S1，对运动想象脑电信号进行预处理；
S2，在预处理后的运动想象脑电信号中添加噪声来扩充数据；
S3，对步骤S1和步骤S2处理后的运动想象脑电信号进行时频分析生成包含时间特征、频率特征和位置信息的二维特征图；
S4，构建CNN模型，设置网络参数，提取二维特征图中的频率特征和位置信息；
S5，构建Transformer模型，设置网络参数，提取二维特征图中的时间特征；
S6，将步骤S4和步骤S5提取的特征进行串联，并输入到分类器得到运动想象分类结果。
2.根据权利要求1所述一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法，其特征在于：步骤S1所述预处理为选取8-30Hz带通滤波器对运动想象脑电信号进行滤波。
3.根据权利要求2所述一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法，其特征在于：所述带通滤波器选用巴特沃斯滤波器。
4.根据权利要求1所述一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法，其特征在于：步骤S2所述添加噪声为添加高斯噪声进行数据扩充。
5.根据权利要求1所述一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法，其特征在于：步骤S3所述时频分析选取母小波为复Morlet小波的连续小波变换进行时频分析，分别对步骤S1和步骤S2处理后的运动想象脑电信号中的C3、Cz、C4三个通道的数据进行连续小波变换生成二维时频图，并将每个步骤中三个通道的二维时频图组合为包含时间、频率和位置信息的二维特征图。
6.根据权利要求5所述一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法，其特征在于，具体包括：
S3-1、对步骤S1和步骤S2处理后的运动想象脑电信号中的C3、Cz、C4三个通道时长为4s的数据进行CWT分析，生成包含时间和频率的二维时频图，其中，连续小波变换采用如下公式：
Figure FDA0003325680720000011
其中CWT(s,τ)表示连续小波变换输出，s表示尺度并且s≠0，τ表示平移因子，
Figure FDA0003325680720000012
是
Figure FDA0003325680720000013
的复共轭函数，母小波
Figure FDA0003325680720000014
通过
Figure FDA0003325680720000015
平移和缩放得到，＜·＞表示内积，x(t)表示输入序列，
Figure FDA0003325680720000016
表示母小波的平移和缩放；
S3-2、分别截取3个脑电信号通道中与运动想象脑电信号密切相关的8-30Hz频带的二维时频图，将截取后的图像按照电极顺序上下排列组合成包含时间、频率和位置信息的二维特征图。
7.根据权利要求1所述一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法，其特征在于：步骤S4所述CNN模型包括3个卷积层和3个最大池化层。卷积层中每个卷积核大小都为3×3，步幅为1像素，卷积层输入用1个像素填充，三层卷积层的滤波器个数依次为16，32，64，每个卷积层后加一个最大池化层，前两个池化层大小2×2，最后一个池化层大小为8×8，每个池化窗口大小和步长相同。
8.根据权利要求1所述一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法，其特征在于：步骤S5所述Transformer模型，将步骤S3得到的二维特征图沿着时间维度方向按照单位时间裁切为非重叠输入特征序列，然后将经过输入编码和位置编码后的特征序列作为Transformer模型输入；Transformer包含3个相同的编码器层堆叠而成，每一层由4头自注意力层和前馈神经网络层两个子层组成，两个子层的输出都经过残差连接和层归一化。
9.根据权利要求1所述一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法，其特征在于：所述步骤S6中将步骤4中CNN提取的频率特征、位置信息和步骤5中Transformer提取的时间特征串联作为新的输入，输入到全连接层进行分类。
CN202111260895.9A 2021-10-28 2021-10-28 一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法 Pending CN113887513A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111260895.9A CN113887513A (zh) 2021-10-28 2021-10-28 一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111260895.9A CN113887513A (zh) 2021-10-28 2021-10-28 一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法

Publications (1)

Publication Number Publication Date
CN113887513A true CN113887513A (zh) 2022-01-04

Family

ID=79013822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111260895.9A Pending CN113887513A (zh) 2021-10-28 2021-10-28 一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法

Country Status (1)

Country Link
CN (1) CN113887513A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114533086A (zh) * 2022-02-21 2022-05-27 昆明理工大学 一种基于空域特征时频变换的运动想象脑电解码方法
CN114550460A (zh) * 2022-04-25 2022-05-27 中国科学院自动化研究所 轨道交通异常检测方法、装置及存储介质
CN114533085A (zh) * 2022-02-18 2022-05-27 北京工业大学 基于注意力机制的EEG-fNIRS多模态时空融合分类方法
CN114564991A (zh) * 2022-02-28 2022-05-31 合肥工业大学 基于Transformer引导卷积神经网络的脑电信号分类方法
CN114580513A (zh) * 2022-02-24 2022-06-03 华南理工大学 一种基于变参递归神经网络对脑电信号分类方法
CN115105094A (zh) * 2022-07-15 2022-09-27 燕山大学 基于注意力和3d密集连接神经网络的运动想象分类方法
CN115471724A (zh) * 2022-11-02 2022-12-13 青岛杰瑞工控技术有限公司 一种基于自适应归一化的细粒度鱼类疫病识别融合算法
CN115813409A (zh) * 2022-12-02 2023-03-21 复旦大学 一种超低延迟的运动图像脑电图解码方法
CN116010858A (zh) * 2023-03-28 2023-04-25 同心智医科技(北京)有限公司 基于自监督学习的通道注意MLP-Mixer网络模型及其应用
CN116127364A (zh) * 2023-04-12 2023-05-16 上海术理智能科技有限公司 基于集成Transformer的运动想象解码方法和解码系统
CN116595421A (zh) * 2023-06-10 2023-08-15 北京航空航天大学 基于时频谱图和变换器算法的飞行器电信号预测方法
CN116595455A (zh) * 2023-05-30 2023-08-15 江南大学 基于时空频特征提取的运动想象脑电信号分类方法及系统
CN116841386A (zh) * 2023-03-06 2023-10-03 湖南工商大学 结合深度学习与运动想象脑机接口的意念观影系统及方法
CN117520903A (zh) * 2023-12-05 2024-02-06 上海韶脑传感技术有限公司 一种基于Transformer的半脑脑电运动想象分类算法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114533085A (zh) * 2022-02-18 2022-05-27 北京工业大学 基于注意力机制的EEG-fNIRS多模态时空融合分类方法
CN114533085B (zh) * 2022-02-18 2024-05-28 北京工业大学 基于注意力机制的EEG-fNIRS多模态时空融合分类方法
CN114533086A (zh) * 2022-02-21 2022-05-27 昆明理工大学 一种基于空域特征时频变换的运动想象脑电解码方法
CN114533086B (zh) * 2022-02-21 2023-10-24 昆明理工大学 一种基于空域特征时频变换的运动想象脑电解码方法
CN114580513A (zh) * 2022-02-24 2022-06-03 华南理工大学 一种基于变参递归神经网络对脑电信号分类方法
CN114564991A (zh) * 2022-02-28 2022-05-31 合肥工业大学 基于Transformer引导卷积神经网络的脑电信号分类方法
CN114564991B (zh) * 2022-02-28 2024-02-20 合肥工业大学 基于Transformer引导卷积神经网络的脑电信号分类方法
CN114550460A (zh) * 2022-04-25 2022-05-27 中国科学院自动化研究所 轨道交通异常检测方法、装置及存储介质
CN114550460B (zh) * 2022-04-25 2022-07-12 中国科学院自动化研究所 轨道交通异常检测方法、装置及存储介质
CN115105094A (zh) * 2022-07-15 2022-09-27 燕山大学 基于注意力和3d密集连接神经网络的运动想象分类方法
CN115471724A (zh) * 2022-11-02 2022-12-13 青岛杰瑞工控技术有限公司 一种基于自适应归一化的细粒度鱼类疫病识别融合算法
CN115813409A (zh) * 2022-12-02 2023-03-21 复旦大学 一种超低延迟的运动图像脑电图解码方法
CN116841386B (zh) * 2023-03-06 2024-05-24 湖南工商大学 结合深度学习与运动想象脑机接口的意念观影系统及方法
CN116841386A (zh) * 2023-03-06 2023-10-03 湖南工商大学 结合深度学习与运动想象脑机接口的意念观影系统及方法
CN116010858A (zh) * 2023-03-28 2023-04-25 同心智医科技(北京)有限公司 基于自监督学习的通道注意MLP-Mixer网络模型及其应用
CN116127364A (zh) * 2023-04-12 2023-05-16 上海术理智能科技有限公司 基于集成Transformer的运动想象解码方法和解码系统
CN116595455B (zh) * 2023-05-30 2023-11-10 江南大学 基于时空频特征提取的运动想象脑电信号分类方法及系统
CN116595455A (zh) * 2023-05-30 2023-08-15 江南大学 基于时空频特征提取的运动想象脑电信号分类方法及系统
CN116595421B (zh) * 2023-06-10 2024-04-09 北京航空航天大学 基于时频谱图和变换器算法的飞行器电信号预测方法
CN116595421A (zh) * 2023-06-10 2023-08-15 北京航空航天大学 基于时频谱图和变换器算法的飞行器电信号预测方法
CN117520903A (zh) * 2023-12-05 2024-02-06 上海韶脑传感技术有限公司 一种基于Transformer的半脑脑电运动想象分类算法

Similar Documents

Publication Publication Date Title
CN113887513A (zh) 一种基于并行CNN-Transformer神经网络的运动想象脑电信号分类方法
CN111012336B (zh) 时空特征融合的并行卷积网络运动想象脑电图分类方法
Gnanasivam et al. Fingerprint gender classification using wavelet transform and singular value decomposition
Zhang et al. Symmetric all convolutional neural-network-based unsupervised feature extraction for hyperspectral images classification
Wang et al. Finger vein recognition based on multi-receptive field bilinear convolutional neural network
Abdulrahman et al. Face recognition using enhancement discrete wavelet transform based on MATLAB
CN115486857A (zh) 一种基于Transformer时空特征学习的运动想象脑电解码方法
CN115381466A (zh) 基于AE和Transformer的运动想象脑电信号分类方法
CN115105094B (zh) 基于注意力和3d密集连接神经网络的运动想象分类方法
Avcı et al. Convolutional neural network designs for finger-vein-based biometric identification
Luo et al. Partial NIR-VIS heterogeneous face recognition with automatic saliency search
CN113128384B (zh) 一种基于深度学习的脑卒中康复系统脑机接口软件关键技术方法
Lu et al. Palmprint recognition using wavelet decomposition and 2D principal component analysis
CN116458896A (zh) 一种基于时序特征图与注意力机制的心电图分类方法和装置
Long A face recognition algorithm based on intermediate layers connected by the CNN
Zhang et al. Combination of dual-tree complex wavelet and SVM for face recognition
CN113642528B (zh) 一种基于卷积神经网络的手部运动意图分类方法
CN115439930A (zh) 一种基于时空维度筛选的多特征融合步态识别方法
Huang et al. Axially-enhanced local attention network for finger vein recognition
CN111104868B (zh) 一种基于卷积神经网络特征的跨质量人脸识别方法
CN113780134A (zh) 一种基于ShuffleNetV2网络的运动想象脑电解码方法
Saha et al. Fitness based layer rank selection algorithm for accelerating cnns by candecomp/parafac (cp) decompositions
Zhou et al. Facial expression recognition using frequency multiplication network with uniform rectangular features
CN112766081A (zh) 一种基于主成分和稀疏表示的掌纹识别方法及系统
Abbad et al. Post-processing of dimensionality reduction methods for face recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination