CN115238796A - 基于并行damscn-lstm的运动想象脑电信号分类方法 - Google Patents
基于并行damscn-lstm的运动想象脑电信号分类方法 Download PDFInfo
- Publication number
- CN115238796A CN115238796A CN202210885386.3A CN202210885386A CN115238796A CN 115238796 A CN115238796 A CN 115238796A CN 202210885386 A CN202210885386 A CN 202210885386A CN 115238796 A CN115238796 A CN 115238796A
- Authority
- CN
- China
- Prior art keywords
- lstm
- damscn
- motor imagery
- time
- electroencephalogram signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/386—Accessories or supplementary instruments therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Psychiatry (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于并行DAMSCN‑LSTM的运动想象脑电信号分类方法,该方法包括步骤:S1,对四类运动想象脑电信号进行预处理,包括去除眼电、肌电,进行带通滤波处理;S2,利用LSTM提取脑电信号的时间特征;S3,利用DAMSCN提取脑电信号不同尺度的时频特征,同时引入空间注意力和通道注意力模块;S4,提取多尺度时频特征的同时引入空间注意力机制和通道注意力机制;S5,将提取到的多尺度时频特征和时间特征的特征进行拼接,然后借助全连接层和SoftMax层实现特征分类。最后,通过在公开数据集进行验证,并与相关文献进行对比,结果表明本文提出的多类运动想象脑电信号分类算法具有更好的分类结果。
Description
技术领域
本发明属于信号处理和模式识别领域,特别是一种基于并行DAMSCN-LSTM的运动想象脑电信号分类方法。
背景技术
脑机接口(Brain-computer interface,BCI)是一种以计算机为基础的可以实现大脑与外部设备直接通信的系统,它收集、检查大脑信号,并将其转换为指令,并与输出设备通信,以执行要求的响应。随着复杂的算法、高性能计算机、边缘和云计算、下一代通信技术的引入,脑机接口广泛应用于神经运动障碍的康复、机器人控制和言语交流等领域。
本文主要研究基于运动想象的脑电信号,即受试者想象移动他的右手或左手,或双脚,或五指中的任意一指、舌头或任何肢体时,就会产生相应的运动想象脑电图信号。MI-BCI系统分为信号采集、信号预处理、特征提取、特征分类和设备控制五个阶段。EEG信号采集、信号数字化和存储都属于信号采集阶段。信号的过滤、清理和转换都是数据预处理阶段的一部分。在特征提取阶段,从包含有用信息的脑电信号数据中提取判别特征。在分类阶段,提取的特征作为输入对机器学习模型进行训练。训练后的模型可以对不同的信号和MI任务进行分类。最后在设备控制阶段,将分类后的信号转换为命令,用于控制外部设备。
随着近年来深度学习(Deep learning,DL)的发展,由于其能够自适应非线性和非平稳信号,并自动从脑电信号中提取重要特征信息,在MI-EEG分类中表现出了比传统方法更优越的性能。然而,由于脑电数据的高维性、噪声、通道相关性和伪影的存在,使用DL建立一个理想的脑电分类模型具有挑战性。
MI-EEG分类作为BCI领域日益增长的兴趣领域,不仅具有巨大的潜力,而且具有重要的应用,如机器人、治疗应用、游戏等。尽管如此,在数据处理和分类方法方面仍有很大的限制,传统的卷积神经网络在对运动想象脑电信号分类时,往往忽略了时间信息,使用单一尺度的卷积核,无法获取丰富的特征,导致分类性能较差。
发明内容
为了解决上述问题,本发明提出了一种基于并行DAMSCN-LSTM的运动想象脑电信号分类方法。在所设计的方法中,利用长短时记忆网络(LSTM)提取脑电信号的时间特征,多尺度卷积神经网络(DAMSCN)提取多尺度时频特征,从而实现更为准确的识别运动想象脑电信号。
本发明采用的技术方案是:基于并行DAMSCN-LSTM的运动想象脑电信号分类方法,包括以下步骤:
S1,对四类运动想象脑电信号进行预处理,包括去除眼电、肌电,进行带通滤波处理;
S2,利用LSTM提取脑电信号的时间特征;
S3,利用DAMSCN提取脑电信号不同尺度的时频特征;
S4,提取多尺度时频特征的同时引入空间注意力机制和通道注意力机制;
S5,将提取到的多尺度时频特征和时间特征的特征进行拼接,然后借助全连接层和SoftMax层实现特征分类。
进一步,所述带通滤波处理包括对原始运动想象脑电信号采用8~30Hz的带通滤波处理,从而保留与运动想象相关的mu节律(8~13Hz)和beta节律(13~30Hz)。
进一步,所述利用LSTM提取脑电信号的时间特征包括将三个通道(C3,C4,Cz)的脑电信号进行维度转置,然后拼接为一维向量,每个LSTM单元通过三种输入来处理信息:xt是当前时间步长的输入,ht-1是前一个LSTM单元的输出,ct-1是前一个单元的细胞状态,LSTM单元包括三个门控制:遗忘门、输入门和输出门,遗忘门ft决定使用sigmoid函数丢弃先前细胞状态的哪些信息,输入门it决定当前状态是否被当前输入更新,输出门ot从当前细胞状态选择有用的信息,并将其显示为输出。
进一步,在所述LSTM单元的最后,添加一个删除层Dropout。
进一步,所述利用DAMSCN提取脑电信号不同尺度的时频特征包括,将三个通道的脑电信号进行连续小波处理,并将得到的特征图进行拼接,之后,输入到DAMSCB中进行多尺度特征提取;
更进一步,所述膨胀卷积根据膨胀系数d在原卷积核w的核元之间插入间隔得到,二维膨胀卷积核的尺寸定义为:
k'=(k-1)d+1
其中,k为原卷积核尺寸,k'为对于膨胀率d的有效核大小。
进一步,将所述空间注意力机制和通道注意力机制加在多尺度特征提取的每条支路上,得到的空间注意图为:
SAMl=σ(C5×5([MaxPool(Fl),AvgPool(Fl)]))
其中C5×5(·)表示核大小为5的卷积层,σ(·)表示Sigmoid函数,MaxPool和AvgPool分别代表通道级最大池化和平均池化操作,多尺度特征提取各支路的输出特征Fl与空间注意图SAMl逐元素相乘,得到空间注意力的输出并输入后续的网络层,计算公式如下:
本发明的优点及有益效果如下:
针对以往深度学习在多类运动想象脑电信号分类时,往往忽略了时间信息,使用单一尺度的卷积核,无法获取丰富的特征,导致分类性能较差的问题,提出了一种基于并行DAMSCN-LSTM的运动想象脑电信号分类算法。通过在公开数据集上测试,实验表明,利用多尺度卷积提取脑电信号时频图的特征,并引入空间注意力和通道注意力模块,然后将LSTM提取的时间特征与多尺度时频特征融合,进而提高多类运动想象脑电信号的识别准确率。与其他算法相比较,本文提出的算法更强的鲁棒性和更高的准确率。
附图说明
图1是本发明的结构图;
图2是DAMSCN支路的关键模块DAMSCB结构体;
图3是具体的空间注意力模块;
图4是LSTM单元结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
如图1所示本发明的技术方案包括以下步骤:
S1,对四类运动想象脑电信号进行预处理,包括去除眼电、肌电,进行带通滤波处理。对原始运动想象脑电信号进行去眼电、肌电操作,同时采用带通8~30Hz的带通滤波处理,从而保留与运动想象相关的mu节律(8~13Hz)和beta节律(13~30Hz)。
S2,利用LSTM提取脑电信号的时间特征。在LSTM支路上,三个通道(C3,C4,Cz)的脑电数据首先经过维度转置层后拼接为一维变量,从而提高LSTM的训练速度,在LSTM支路的最后,添加了一个删除层Dropout,防止小样本训练模型时产生过拟合,增加模型的鲁棒性。LSTM控制序列信息的传递,通过具有存储网络时间状态的自连接的存储单元c学习序列数据中的长期和短期依赖关系。如图4所示,每个LSTM单元通过三种输入来处理信息:xt是当前时间步长的输入,ht-1是前一个LSTM单元的输出,ct-1是前一个单元的细胞状态。LSTM单元由三个门控制:遗忘门、输入门和输出门。遗忘门ft决定使用sigmoid函数丢弃先前细胞状态的哪些信息。输入门it决定当前状态是否被当前输入更新。输出门ot从当前细胞状态选择有用的信息,并将其显示为输出。每个门作为一个简单的神经网络,Wi、Wf、Wc和Wo作为权重,bi、bf、bc和bo分别作为输入门、遗忘门、临时单元门和输出门的偏差,LSTM单元的方程如下所示。
ft=σ(Wf[ht-1,xt]+bf)
it=σ(Wi[ht-1,xt]+bi)
ot=σ(Wo[ht-1,xt]+bo)
ht=ot*tanh(ct)
S3,如图2所示,利用DAMSCN提取脑电信号不同尺度的时频特征,将三个通道的脑电信号进行连续小波处理,并将得到的特征图进行拼接。之后,输入到DAMSCB中进行多尺度特征提取。为了实现不同的接收野,本发明采用了膨胀卷积。膨胀卷积是根据膨胀系数d在原卷积核w的核元之间插入间隔得到的。在数学上,二维膨胀卷积核的尺寸可以定义为:
k'=(k-1)d+1
其中,k为原卷积核尺寸,k'为对于膨胀率d的有效核大小。
S4,提取多尺度时频特征的同时引入空间注意力机制和通道注意力机制,如图2所示。本发明将空间注意力机制加在多尺度特征提取的每条支路上,其具体结构如图3所示,将输入特征图分别经过最大池化和平均池化操作,然后将得到的特征图拼在一起,经过卷积降维处理和Sigmoid函数,最终得到的空间注意图为:
SAMl=σ(C5×5([MaxPool(Fl),AvgPool(Fl)]))
其中C5×5(·)表示核大小为5的卷积层,σ(·)表示Sigmoid函数,MaxPool和AvgPool分别代表通道级最大池化和平均池化操作。多尺度特征提取各支路的输出特征Fl与空间注意图SAMl逐元素相乘,得到空间注意力的输出并输入后续的网络层,计算公式如下:
把各分支的特征图进行融合,采用拼接操作,结果如下:
注意到不同尺寸的特征对最后分类的贡献不同,为了增强多尺度特征的表示能力,利用通道注意机制显式地对特征通道之间的相互依赖性建模来提高特征表示的质量。本发明采用挤压激励(Squeeze-and-excitation block,SE)单元来提高对特征融合过程中产生的信息特征映射的关注。SE块主要包含三步操作:压缩(Squeeze)、激励(Excitation)和scale。
第1步通过使用全局平均池化对全局空间信息进行压缩,得到特征图的重要度,其定义为:
其中,Fsq(·)表示压缩操作,m表示压缩操作产生的压缩向量,L是特征图的大小,为宽和高的乘积。
第2步是激励操作,定义为:
S=Fex(m,W)
其中,Fex(·)表示激励操作,S是该操作的输出,可以刻画不同通道特征的重要程度,W是基于缩放参数(ratio)进行该操作的调整,目的是为了减少通道个数从而降低计算量。
第3步是为特征图Fff分配各个通道的重要程度scale操作,就是将SE模块计算出来的各通道权重值S分别和原特征图对应通道的二维矩阵相乘:
Fout=Fscale(Fff,S)=Fff·S
其中,·表示矩阵相乘操作,Fscale(·)表示分配权重操作。
S5,将提取到的多尺度时频特征和时间特征的特征进行拼接,然后借助全连接层和SoftMax层实现特征分类。首先将DAMSCN支路提取的多尺度时频特征进行展平操作,得到一维向量,然后将其与LSTM支路提取的时间特征拼接在一起,最后经过两层全连接层和SoftMax层实现四类运动想象脑电信号的分类。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (7)
1.基于并行DAMSCN-LSTM的运动想象脑电信号分类方法,其特征在于,包括以下步骤:
S1,对四类运动想象脑电信号进行预处理,包括去除眼电、肌电,进行带通滤波处理;
S2,利用LSTM提取脑电信号的时间特征;
S3,利用DAMSCN提取脑电信号不同尺度的时频特征;
S4,提取多尺度时频特征的同时引入空间注意力机制和通道注意力机制;
S5,将提取到的多尺度时频特征和时间特征的特征进行拼接,然后借助全连接层和SoftMax层实现特征分类。
2.根据权利要求1所述基于并行DAMSCN-LSTM的运动想象脑电信号分类方法,其特征在于:所述带通滤波处理包括对原始运动想象脑电信号采用8~30Hz的带通滤波处理,从而保留与运动想象相关的mu节律和beta节律。
3.根据权利要求1所述基于并行DAMSCN-LSTM的运动想象脑电信号分类方法,其特征在于:所述利用LSTM提取脑电信号的时间特征包括将三个通道(C3,C4,Cz)的脑电信号进行维度转置,然后拼接为一维向量,每个LSTM单元通过三种输入来处理信息:xt是当前时间步长的输入,ht-1是前一个LSTM单元的输出,ct-1是前一个单元的细胞状态,LSTM单元包括三个门控制:遗忘门、输入门和输出门,遗忘门ft决定使用sigmoid函数丢弃先前细胞状态的哪些信息,输入门it决定当前状态是否被当前输入更新,输出门ot从当前细胞状态选择有用的信息,并将其显示为输出。
4.根据权利要求3所述基于并行DAMSCN-LSTM的运动想象脑电信号分类方法,其特征在于:在所述LSTM单元的最后,添加一个删除层Dropout。
6.根据权利要求5所述基于并行DAMSCN-LSTM的运动想象脑电信号分类方法,其特征在于:所述膨胀卷积根据膨胀系数d在原卷积核w的核元之间插入间隔得到,二维膨胀卷积核的尺寸定义为:
k'=(k-1)d+1
其中,k为原卷积核尺寸,k'为对于膨胀率d的有效核大小。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210885386.3A CN115238796A (zh) | 2022-07-26 | 2022-07-26 | 基于并行damscn-lstm的运动想象脑电信号分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210885386.3A CN115238796A (zh) | 2022-07-26 | 2022-07-26 | 基于并行damscn-lstm的运动想象脑电信号分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115238796A true CN115238796A (zh) | 2022-10-25 |
Family
ID=83676299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210885386.3A Pending CN115238796A (zh) | 2022-07-26 | 2022-07-26 | 基于并行damscn-lstm的运动想象脑电信号分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115238796A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116616792A (zh) * | 2023-07-21 | 2023-08-22 | 山东大学 | 基于轻量化设计和特征融合的心房颤动检测系统 |
CN117272153A (zh) * | 2023-11-21 | 2023-12-22 | 中国科学院自动化研究所 | 通道确定方法、装置、电子设备及存储介质 |
-
2022
- 2022-07-26 CN CN202210885386.3A patent/CN115238796A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116616792A (zh) * | 2023-07-21 | 2023-08-22 | 山东大学 | 基于轻量化设计和特征融合的心房颤动检测系统 |
CN116616792B (zh) * | 2023-07-21 | 2023-12-01 | 山东大学 | 基于轻量化设计和特征融合的心房颤动检测系统 |
CN117272153A (zh) * | 2023-11-21 | 2023-12-22 | 中国科学院自动化研究所 | 通道确定方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107844755B (zh) | 一种结合dae和cnn的脑电信号特征提取与分类方法 | |
CN110472649B (zh) | 基于多尺度分析和集成树模型的脑电情感分类方法及系统 | |
CN113128552B (zh) | 一种基于深度可分离因果图卷积网络的脑电情绪识别方法 | |
CN115238796A (zh) | 基于并行damscn-lstm的运动想象脑电信号分类方法 | |
CN114052735B (zh) | 一种基于深度领域自适应的脑电情绪识别方法及系统 | |
CN111407243B (zh) | 一种基于深度学习的脉搏信号压力识别方法 | |
CN113065526B (zh) | 一种基于改进深度残差分组卷积网络的脑电信号分类方法 | |
CN110399846A (zh) | 一种基于多通道肌电信号相关性的手势识别方法 | |
CN107977651B (zh) | 基于量化最小误差熵的共用空间模式空域特征提取方法 | |
CN110717423B (zh) | 一种老人面部表情的情感识别模型的训练方法及装置 | |
CN112818764A (zh) | 一种基于特征重建模型的低分辨率图像人脸表情识别方法 | |
CN112766355A (zh) | 一种标签噪声下的脑电信号情绪识别方法 | |
CN112528804A (zh) | 基于生成对抗网络的肌电信号降噪和分类方法 | |
Meng et al. | A motor imagery EEG signal classification algorithm based on recurrence plot convolution neural network | |
CN114424940A (zh) | 基于多模态时空特征融合的情绪识别方法及系统 | |
Jinliang et al. | EEG emotion recognition based on granger causality and capsnet neural network | |
CN111178288A (zh) | 基于局部误差逐层训练的人体姿态识别方法和装置 | |
CN114781441B (zh) | Eeg运动想象分类方法及多空间卷积神经网络模型 | |
CN115221969A (zh) | 基于emd数据增强和并行scn的运动想象脑电信号识别方法 | |
CN115273236A (zh) | 一种多模态的人体步态情感识别方法 | |
Gaidhane et al. | Emotion recognition using eigenvalues and Levenberg–Marquardt algorithm-based classifier | |
CN107766790B (zh) | 一种基于局部约束低秩编码的人体行为识别方法 | |
CN112259228B (zh) | 一种动态注意力网络非负矩阵分解的抑郁症筛选方法 | |
CN113627391A (zh) | 一种考虑个体差异的跨模式脑电信号识别方法 | |
CN113128384A (zh) | 一种基于深度学习的脑卒中康复系统脑机接口软件关键技术方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |