CN117033985A - 一种基于ResCNN-BiGRU的运动想象脑电分类方法 - Google Patents
一种基于ResCNN-BiGRU的运动想象脑电分类方法 Download PDFInfo
- Publication number
- CN117033985A CN117033985A CN202310884280.6A CN202310884280A CN117033985A CN 117033985 A CN117033985 A CN 117033985A CN 202310884280 A CN202310884280 A CN 202310884280A CN 117033985 A CN117033985 A CN 117033985A
- Authority
- CN
- China
- Prior art keywords
- time
- electroencephalogram
- rescnn
- motor imagery
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000010586 diagram Methods 0.000 claims abstract description 46
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 230000009466 transformation Effects 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 7
- 230000008901 benefit Effects 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 71
- 210000004556 brain Anatomy 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2131—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on a transform domain processing, e.g. wavelet transform
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
- A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Psychiatry (AREA)
- Veterinary Medicine (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Physiology (AREA)
- Probability & Statistics with Applications (AREA)
- Signal Processing (AREA)
- Psychology (AREA)
- Fuzzy Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明请求保护一种基于ResCNN‑BiGRU的运动想象脑电分类方法，该方法通过使用原始运动想象脑电信号的两种不同特征表示对其进行分类，分别为经过小波变换后的时频图像和预处理后的时间序列信号。然后，送入并行特征融合网络ResCNN‑BiGRU中。该网络由残差卷积神经网络分支和双向门控循环单元并行组成，分别用于提取脑电信号时频图中的混合特征和丰富的时间序列信息，并引入CBAM模块防止在中间特征与初始特征融合的过程中引入过多的噪声。在并行特征融合网络的最后一层，将两个分支提取到的特征向量拼接后送入全连接层和Softmax层进行分类。本方法对运动想象脑电信号分类任务的准确率的提升有显著提升。
Description
技术领域
本发明属于脑机接口中脑电信号处理领域，具体为一种基于ResCNN-BiGRU的运动想象脑电分类方法。
背景技术
此部分的陈述仅仅提供与本公开有关的背景技术信息，并且这些陈述可能构成现有技术。在实现本发明过程中，发明人发现现有技术中至少存在如下问题。
脑机接口是大脑与外部设备(计算机或其他电子设备)间通过大脑活动时产生的信号建立起的一种通讯控制系统。该系统不依赖除大脑以外的肌肉和神经，在大脑与机器间建立直接的交流。近年来，随着人工智能技术的迅速发展，越来越多的研究人员进入了BCI(脑机接口技术)相关研究领域，特别是基于运动想象的BCI技术，该技术目前在康复医疗、通信安全、环境保护等领域都得到了广泛应用。
近年来，深度学习网络模型在运动想象脑电信号特征提取及分类领域受到广泛关注，各种不同架构的神经网络已经被用于BCI范例。卷积神经网络(CNN)是深度学习模型之一。典型的CNN网络结构由卷积层、降采样层、全连接层组成。其中卷积层与降采样层配合,组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。卷积操作是基于局部感受野，使用滤波器(卷积核)完成对原始图像的卷积变换；降采样层主要是为了降低数据维度。脑电信号本质上是按时间顺序排列的非线性信号，在其分类过程中对于脑电信号的时序特征的关注也是必不可少的。为提取脑电信号的时序特征，研究人员引入了一种递归神经网络(RNN)来解决脑电图信号的时间相关性。随着近年的深入研究，RNN也发展出了许多变体并被应用在运动想象脑电信号的研究工作中如LSTM和GRU。
然而，大部分研究在处理运动想象脑电信号分类任务时往往采用序列结构的分类网络提取空间特征，忽略了脑电信号作为时间序列信号含有丰富的时序信息和神经网络层间的特征，导致分类性能较差。
针对脑电信号利用不充分而导致分类性能差的问题，如申请号202310309411.8专利名称为“一种基于多头注意力的多维运动想象脑电信号分类方法”，对时频特征、空间特征、原始信息进行特征维度的拼接得到多维运动想象脑电信号，并利用多头注意力机制从不同的角度对特征进行分析，解决了在运动想象脑电信号分析中忽略了空间信息和原始信号中的信息的问题；同时解决了在特征提取过程中造成特征的丢失从而导致分类性能较差的问题，进而提高了分类的准确性。但根据发明人对该专利实验发现，该专利的分类准确度在实验中并不十分理想。
发明内容
针对上述问题，本发明的目的在于解决现有技术中的一部分问题，或至少缓解这些问题。
一种基于ResCNN-BiGRU的运动想象脑电分类方法，包括：
对原始运动想象脑电信号进行预处理，得到预处理后的脑电信号；
对预处理后的脑电信号进行小波变换处理，得到运动想象脑电信号的时频特征图；
将所述时频特征图和预处理后的脑电信号送入ResCNN-BiGRU特征融合网络中，提取脑电信号时频图中的空间与频率混合特征和时间序列特征；所述ResCNN-BiGRU特征融合网络，由基于ResNet的残差卷积神经网络(ResCNN)和双向门控循环单元(BiGRU)并行连接构成；
将提取到的脑电信号时频图中的空间与频率混合特征和时间序列特征拼接后送入全连接层和归一化指数函数(Softmax)层进行分类。
将提取到的脑电信号时频图中的空间与频率混合特征和时间序列特征拼接后送入全连接层和归一化指数函数(Softmax)层进行分类后，还包括基于交叉熵函数优化和反向传播的随机梯度下降算法进行网络训练。
进一步的，基于交叉熵函数优化和反向传播的随机梯度下降算法进行网络训练，具体如下：
使用交叉熵损失函数，欧几里得范数(L2)正则化提高泛化能力，使用Adam优化器(一种基于梯度下降的优化算法)对梯度的一阶矩估计和二阶矩估计进行综合考虑，计算出更新步长；学习率为0.0001，随机舍弃神经元(dropout)概率设置为0.3；训练的每批样本(Batch)的大小设置为36，采用10倍交叉验证方法，将数据集分成10个相等的子集，随机选取其中90％作为训练数据，其余10％作为验证数据；所述验证数据仅用于最终的性能评估，不参与网络训练。
优选，对原始运动想象脑电信号进行预处理，包括使用所有22个脑电图通道并对原始22通道脑电信号在8～30Hz波段进行滤波。
进一步的，对处理后的脑电信号进行小波变换处理，得到运动想象脑电信号的时频特征图，包括以下步骤：
选择复莫莱小波(复morlet小波)作为小波变换的母小波；
对预处理后的时间序列信号进行连续小波变换(continuous wavelettransform，CWT)；对于预处理后的脑电信号x(t)，CWT的表达式定义为：
其中t是时间，x(t)是预处理后的脑电信号，是母小波，/>是/>的复共轭函数，s是尺度参数，s≠0，τ是转换参数；
将每个通道经过CWT后得到的时频图按电极顺序排列后组合成新的时频特征图。
所述残差卷积神经网络(ResCNN)的输入为小波变换后得到的时频特征图，用于提取脑电信号时频图中的混合特征；双向门控循环单元(BiGRU)的输入为预处理后的脑电信号的时间序列表示，用于提取时间序列特征。
进一步的，在所述残差卷积神经网络(ResCNN)的第一个残差块与第二个残差块后增加了卷积注意力机制模块(CBAM)；所述CBAM注意力机制包括通道注意力模块和空间注意力模块，包括如下步骤：
所述通道注意力模块将输入的所述时频特征图的每个通道分别经过平均池化层和最大池化层，然后分别经过多层感知机(MLP)，得到MLP输出的特征；再将MLP输出的特征进行加和操作，并经过S型生长曲线函数(sigmoid)运算进行激活操作，生成最终的通道注意力特征图；将最终的通道注意力特征图和输入的时频特征图做乘法操作，生成通道注意力模块输出的特征图；
将通道注意力模块输出的特征图输入所述空间注意力模块，首先通过串联的平均池化层和最大池化层，然后将两个池化层输出的结果基于通道进行拼接操作，并经过一个7×7的卷积层，降维为一个通道的特征图；再经过sigmoid生成空间注意力特征图；最后将空间注意力特征图和通道注意力模块输出的特征图做乘法，得到最终生成的更有判别性的特征图。
进一步的，所述残差卷积神经网络(ResCNN)的残差块结构选择深度残差网络(ResNet)的瓶颈层(bottleneck)结构，由两个1×1卷积层与一个3×3卷积层组成；中间3×3的卷积层首先在一个降维1×1卷积层下减少了计算量，然后在另一个1×1的卷积层下做了还原；最后，通过快捷连接将输入特征映射添加到卷积后的特征映射中，计算公式为：
h(x)＝xout+xin
其中，h(x)为最终输出特征，xin为输入特征映射，xout为输出特征映射。
进一步的，所述双向门控循环单元共512个GRU(循环神经网络的一种)单元，输出尺寸为1*512的时间序列特征向量。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于ResCNN-BiGRU的运动想象脑电分类方法的步骤。
本发明具有如下有益效果：
1、本发明通过使用原始运动想象脑电信号的两种不同特征表示对其进行分类，分别为经过小波变换后的时频特征图和预处理后的时间序列信号，并配合特殊设计的CNN(即ResCNN-BiGRU特征融合网络)，使得分类准确度显著提升；
2、由于采用上述结构，在中间特征与初始特征融合的过程中容易引入过多的噪声。为解决该问题，在ResNet的残差卷积神经网络(ResCNN)的第一个残差块与第二个残差块后增加了CBAM注意力机制。CBAM的加入有效地提高了特征融合的实用性，使输入分类层的特征向量更具判别性；
3、本发明对运动想象脑电信号进行了小波变换处理，得到运动想象脑电信号的时频特征图，使得时频特征更为明显，将时频特征图输入到残差CNN分支中，有助于后续分类准确率的提高。其采用的复morlet小波(cmor4-4)是非正交对称的，在时域和频域之间有很好的平衡，适用于非平稳EEG信号的分析。同时，为了利用位置信息，将每个通道经过CWT后得到的时频图按电极顺序排列后组合成新的时频特征图；
4、残差卷积神经网络(ResCNN)的残差块结构选择ResNet的BottleNeck结构，由两个1×1卷积层与一个3×3卷积层组成。通过1×1卷积层来巧妙地缩减或扩张输入特征的维度，从而使得3×3卷积层的卷积核数目不受上一层输入的影响，它的输出也不会影响到下一层。中间3×3的卷积层首先在一个降维1×1卷积层下减少了计算量，然后在另一个1×1的卷积层下做了还原，既保持了模型精度又减少了网络参数和计算量。这种形式的残差设计将低级语义特征与高级语义特征相结合，增强输入分类器的特征向量的辨别能力，能够提升分类任务的准确率。
附图说明
图1为ResCNN-BiGRU的特征融合网络结构图；
图2为ResCNN中残差块结构图；
图3为本申请与现有研究的准确率的对比折线图。
具体实施方式
以下结合附图，对本发明作进一步说明，本发明的实施例只用于说明本发明而非限制本发明，在不脱离本发明技术思想的情况下，根据本领域普通技术知识和惯用手段，作出各种替换和变更，均应包括在本发明的范围内。
经发明人深入研究发现，申请号202310309411.8专利名称为“一种基于多头注意力的多维运动想象脑电信号分类方法”专利，之所以存在分类准确度较差的问题，主要是由于其未将原始运动想象脑电信号进行处理而直接输入卷积神经网络(CNN)的原因，且卷积神经网络也未针对脑电信号进行任何特殊设计，而只是将原始数据经过普通卷积操作处理到理想尺寸，以方便后续工作的进行。且该模型中网络参数和计算量较大，也在一定程度上影响了分类任务的准确度。
鉴于此，发明人设计了以下方案。
一种基于ResCNN-BiGRU的运动想象脑电分类方法，其特征在于，包括：
对原始运动想象脑电信号进行预处理，得到预处理后的脑电信号；
对预处理后的脑电信号进行小波变换处理，得到运动想象脑电信号的时频特征图；
将所述时频特征图和预处理后的脑电信号送入ResCNN-BiGRU特征融合网络中，提取脑电信号时频图中的空间与频率混合特征和时间序列特征；所述ResCNN-BiGRU特征融合网络，由基于ResNet的残差卷积神经网络(ResCNN)和双向门控循环单元(BiGRU)并行连接构成；
将提取到的脑电信号时频图中的空间与频率混合特征和时间序列特征拼接后送入全连接层和归一化指数函数(Softmax)层进行分类。
BiGRU分支用于提取EEG信号中包含的丰富的时间序列信息。在并行特征融合网络的最后一层，将两个分支提取到的特征向量拼接后送入全连接层和Softmax进行分类。
本发明通过使用原始运动想象脑电信号的两种不同特征表示对其进行分类，分别为经过小波变换后的时频特征图和预处理后的脑电信号。并配合特殊设计的CNN(即ResCNN-BiGRU特征融合网络)，使得分类准确度显著提升。
将提取到的脑电信号时频图中的空间与频率混合特征和时间序列特征拼接后送入全连接层和归一化指数函数(Softmax)层进行分类后，还包括基于交叉熵函数优化和反向传播的随机梯度下降算法进行网络训练。
基于交叉熵函数优化和反向传播的随机梯度下降算法进行网络训练，具体如下：
使用交叉熵损失函数，欧几里得范数(L2)正则化提高泛化能力，使用Adam优化器(一种基于梯度下降的优化算法)对梯度的一阶矩估计和二阶矩估计进行综合考虑，计算出更新步长；学习率为0.0001，随机舍弃神经元(dropout)概率设置为0.3，减少过拟合现象的发生；训练的每批样本(Batch)的大小设置为36，采用10倍交叉验证方法，将数据集分成10个相等的子集，随机选取其中90％作为训练数据，其余10％作为验证数据；所述验证数据仅用于最终的性能评估，不参与网络训练。
对原始运动想象脑电信号进行预处理，包括使用脑电图通道对原始通道脑电信息在一定波段进行滤波。优选为：使用所有22个脑电图通道并对原始22通道脑电信号在8～30Hz波段进行滤波。
对处理后的脑电信号进行小波变换处理，得到运动想象脑电信号的时频特征图，包括以下步骤：
选择复莫莱小波(复morlet小波)作为小波变换的母小波；
对预处理后的时间序列信号进行连续小波变换(continuous wavelettransform，CWT)；对于预处理后的脑电信号x(t)，CWT的表达式定义为：
其中t是时间，x(t)是预处理后的脑电信号，是母小波，/>是/>的复共轭函数，s是尺度参数，s≠0，τ是转换参数；
将每个通道经过CWT后得到的时频图按电极顺序排列后组合成新的时频特征图。
连续小波变换(continuous wavelet transform，CWT)可以得到连续时间信号的时频表示。在对信号进行CWT时，选择合适的母小波是非常重要的。在本方法中，选择复morlet小波作为CWT的母小波，其中4-4代表带宽和中心频率。复morlet小波(cmor4-4)是非正交对称的，在时域和频域之间有很好的平衡，适用于非平稳EEG信号的分析。同时，为了利用位置信息，将每个通道经过CWT后得到的时频图按电极顺序排列后组合成新的时频特征图。
所述残差卷积神经网络(ResCNN)的输入为小波变换后得到的时频特征图，用于提取脑电信号时频图中的混合特征；双向门控循环单元(BiGRU)的输入为预处理后的脑电信号的时间序列表示，用于提取时间序列特征。
残差卷积神经网络将低级语义特征与高级语义特征相结合，增强输入分类器的特征向量的辨别能力。
为了防止在中间特征与初始特征融合的过程中引入过多的噪声，在所述残差卷积神经网络(ResCNN)的第一个残差块与第二个残差块后增加了卷积注意力机制模块(CBAM)，如图1所示；所述CBAM注意力机制包括通道注意力模块和空间注意力模块，包括如下步骤：
所述通道注意力模块将输入的所述时频特征图的每个通道分别经过平均池化层和最大池化层，然后分别经过多层感知机(MLP)，得到MLP输出的特征；再将MLP输出的特征进行加和操作，并经过S型生长曲线函数(sigmoid)运算进行激活操作，生成最终的通道注意力特征图；将最终的通道注意力特征图和输入的时频特征图做乘法操作，生成通道注意力模块输出的特征图；
将通道注意力模块输出的特征图输入所述空间注意力模块，首先通过串联的平均池化层和最大池化层，然后将两个池化层输出的结果基于通道进行拼接操作，并经过一个7×7的卷积层，降维为一个通道的特征图；再经过sigmoid生成空间注意力特征图；最后将空间注意力特征图和通道注意力模块输出的特征图做乘法，得到最终生成的更有判别性的特征图。
CBAM是一种结合了通道注意机制和空间注意机制的注意机制模块，一般用于前馈卷积神经网络。其工作原理为给定一个中间特征图，CBAM模块会沿着两个独立的维度(通道和空间)依次推断注意力图，然后将注意力图与输入特征图相乘以进行自适应特征优化。通道注意力模块的作用是使网络模型将更多的注意力倾注到那些对最终分类更有意义的像素区域。CBAM的加入有效地提高了特征融合的实用性，使输入分类层的特征向量更具判别性。
CNN是一种具有卷积计算和深度结构的前馈神经网络。它可以学习输入数据的特征表示，非常适合处理图像数据。CNN利用局部感受野和共享权重策略提取特征图中的局部空间信息，如频率特征和位置信息。卷积运算对输入数据和卷积核进行内积运算，输出的特征向量可以表示为:
其中x为输入数据，wk为权重矩阵，bk为偏置向量，*表示卷积运算，f(·)表示激活函数，本方法中选择“RELU”激活函数。
残差神经网络的主要贡献是发现了“退化现象(Degradation)”，并针对退化现象发明了“快捷连接(Shortcut connection)”。退化现象往往是由于优化器难以通过多个非线性层逼近身份映射而导致的。ResNet使优化器中多个非线性层的权值趋于0，在模型达到最优时通过残差模块框架逼近身份映射。残差CNN分支的基本构建块就是基于ResNet的残差块。
由此，所述残差卷积神经网络(ResCNN)的残差块结构选择深度残差网络(ResNet)的瓶颈层(bottleneck)结构，由两个1×1卷积层与一个3×3卷积层组成，其结构图如图2所示。它通过1×1卷积层来巧妙地缩减或扩张输入特征的维度，从而使得3×3卷积层的卷积核数目不受上一层输入的影响，它的输出也不会影响到下一层。中间3×3的卷积层首先在一个降维1×1卷积层下减少了计算量，然后在另一个1×1的卷积层下做了还原，既保持了模型精度又减少了网络参数和计算量。最后，通过快捷连接将输入特征映射添加到卷积后的特征映射中，计算公式为：
h(x)＝xout+xin
其中，h(x)为最终输出特征，xin为输入特征映射，xout为输出特征映射。
整体参数如下表所示。
残差CNN分支的网络参数
GRU(Gate Recurrent Unit)是循环神经网络(Recurrent Neural Network,RNN)的一种，是为了解决长期记忆和反向传播中的梯度等问题而提出的，具有一定的记忆能力，在学习时间序列数据的非线性特征方面具有一定的优势。GRU简化了LSTM(long-short-term memory)网络结构，参数更少。GRU不使用单独的储存器单元，而是使用门控机制来跟踪序列的状态。
rt为重置门(reset gate)，用于控制前一时刻状态有多少信息被写入到当前候选集ht上，如果rt的值为0，则表示忘记之前所有的状态。zt为更新门(update gate)，用于控制保留过去的信息量，以及被添加的新信息量。GRU模型在计算当前状态值ht时，同时考虑了输入新信息xt和上一时间状态的记忆信息ht-1，如下式所示：
rt＝σ(Wr·[ht-1,xt])
ht＝tanh(Wh·[rt×ht-1,xt])
ht＝(1-zt)×ht-1+zt×ht
其中Wr，Wz和表示GRU的权重参数；σ为sigmoid激活函数。
与上述单向GRU不同，双向GRU，简称BiGRU，前向的GRU单元从左到右输入信号xt，同时输入信号xt被反转并输入到反向GRU单元中。因此有两个输出向量和/>然后将它们连接起来作为最终输出，它们储存的信息比单个GRU单元更加全面。
在本方法中，设置单向GRU单元的个数为256，所述双向门控循环单元共512个GRU(循环神经网络的一种)单元，输出尺寸为1*512的时间序列特征向量，经过拉直层后与残差CNN分支输出的特征向量拼接后送入全连接层进行分类。
实验结果：
为了验证所提出的网络模型在四类运动想象脑电信号分类领域的优越性，发明人将本文提出的网络模型与使用相同数据集的其他分类算法的分类结果进行对比，主要包括与不使用深度学习算法的分类方法、不使用循环神经网络(RNN)或其变体的网络模型、使用CNN与RNN变体串联的网络结构与CNN与RNN变体并行的网络模型的对比，结果如表1与图3所示。艾青松等人通过将功能脑网络的特征与另外两种特征提取算法共空间模式(CSP)和局部特征尺度分解(LCD)相结合来提取判别特征的新方法，平均分类准确率达到79.7％。赵欣乔等人通过引入运动想象脑电信号的三维表示，并将其输入多分支CNN进行分类。该方法的分类准确率为75.02％。马卫锋等人提出了一种浅层双分支卷积神经网络(DSCNN)，左分支只包含两个单一的时空卷积层来提取EEG特征，右分支通过一维卷积提取时间特征，将两分支的特征融合后进行分类。他们的网络由于卷积层数很少，减少了计算时间，获得了84.64％的准确率。张瑞龙等人提出了滤波器组共空间模式-卷积神经网络-长短时记忆网络(FBCSP-CNN-LSTM)算法采用滤波器组共空间模式(FBCSP)对四类运动想象信号特征进行预处理，然后采用串联结构将CNN与LSTM相结合来解码四类运动想象EEG信号，获得了85％的分类准确率。李红丽等人提出了一种CNN与LSTM并行的网络模型，并将卷积层的提取后的中间层特征与拉直后的特征进行融合，通过增强输入到全连接层的特征向量的判别性来提高分类的准确率。他们的方法在四类运动想象脑电信号分类任务中得到了87.68％的准确率。高思衡等人将CNN和GRU相结合，构建了一个并行结构的特征融合网络，对四类运动想象任务进行解码，获得了80.7％的分类准确率。由表1可以看出，本研究提出的网络结构对四类运动想象脑电信号的分类任务的准确率对比其他结构的网络都有一定程度的提高，这证明了本研究提出的并行结构和融合特征方法的优越性。
表1与现有研究的准确率的对比
本申请提出一种名为ResCNN-BiGRU的特征融合网络，该网络由基于ResNet的残差卷积神经网络(ResCNN)和双向门控循环单元(BiGRU)并行连接构成。两分支使用不同形式的脑电信号特征表示作为输入，ResCNN分支的输入为小波变换后得到的时频图，BiGRU分支的输入为二维矩阵格式的EEG数据。ResCNN提取空间特征并通过残差连接实现层间特征的利用，还引入了卷积注意力模块(CBAM)避免在层间特征融合时引入过多无用的低级特征信息，影响BiGRU提取时序特征。然后将两分支提取到的特征拼接后送入全连接层中，以提高分类的准确率。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于ResCNN-BiGRU的运动想象脑电分类方法的步骤。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。
参考文献
Qingsong；Ai；Anqi；Chen；Kun；Quan；Liu；Tichao；Zhou；Sijin,Featureextraction of four-class motor imagery EEG signals based on functional brainnetwork.Journal of Neural Engineering 2019.
Zhao,X.；Zhang,H.；Zhu,G.；You,F.；Kuang,S.；Sun,L.,AMulti-Branch 3DConvolutionalNeural Network for EEG-Based Motor Imagery Classification.IEEEtransactions on neuralsystems and rehabilitation engineering 2019,27(10),2164-2177.
Ma,W.；Gong,Y.；Xue,H.；Liu,Y.；Lin,X.；Zhou,G.；Li,Y.,A lightweight andaccuratedouble-branch neural network for four-class motor imageryclassification.Biomedical signalprocessing and control 2022,(May),75.
Zhang,R.；Zong,Q.；Dou,L.；Zhao,X.,A novel hybrid deep learning schemefor four-classmotor imagery classification.Journal of neural engineering2019,16(6),066004.1-066004.11.
Li,H.；Ding,M.；Zhang,R.；Xiu,C.,Motor imagery EEG classificationalgorithm based onCNN-LSTM feature fusion network.Biomedical SignalProcessing and Control 2022,72,103342.
Gao,S.；Yang,J.；Shen,T.；Jiang,W.,A Parallel Feature Fusion NetworkCombining GRU andCNN for Motor Imagery EEG Decoding.Brain Sciences 2022,12(9),1233。
Claims (10)
1.一种基于ResCNN-BiGRU的运动想象脑电分类方法，其特征在于，包括：
对原始运动想象脑电信号进行预处理，得到预处理后的脑电信号；
对预处理后的脑电信号进行小波变换处理，得到运动想象脑电信号的时频特征图；
将所述时频特征图和预处理后的脑电信号送入ResCNN-BiGRU特征融合网络中，提取脑电信号时频图中的空间与频率混合特征和时间序列特征；所述ResCNN-BiGRU特征融合网络，由基于ResNet的残差卷积神经网络(ResCNN)和双向门控循环单元(BiGRU)并行连接构成；
将提取到的脑电信号时频图中的空间与频率混合特征和时间序列特征拼接后送入全连接层和归一化指数函数(Softmax)层进行分类。
2.根据权利要求1所述的基于ResCNN-BiGRU的运动想象脑电分类方法，其特征在于，将提取到的脑电信号时频图中的空间与频率混合特征和时间序列特征拼接后送入全连接层和归一化指数函数(Softmax)层进行分类后，还包括基于交叉熵函数优化和反向传播的随机梯度下降算法进行网络训练。
3.根据权利要求2所述的基于ResCNN-BiGRU的运动想象脑电分类方法，其特征在于，基于交叉熵函数优化和反向传播的随机梯度下降算法进行网络训练，具体如下：
使用交叉熵损失函数，欧几里得范数(L2)正则化提高泛化能力，使用Adam优化器(一种基于梯度下降的优化算法)对梯度的一阶矩估计和二阶矩估计进行综合考虑，计算出更新步长；学习率为0.0001，随机舍弃神经元(dropout)概率设置为0.3；训练的每批样本(Batch)的大小设置为36，采用10倍交叉验证方法，将数据集分成10个相等的子集，随机选取其中90％作为训练数据，其余10％作为验证数据；所述验证数据仅用于最终的性能评估，不参与网络训练。
4.根据权利要求1所述的基于ResCNN-BiGRU的运动想象脑电分类方法，其特征在于，对原始运动想象脑电信号进行预处理，包括使用所有22个脑电图通道并对原始22通道脑电信号在8～30Hz波段进行滤波。
5.根据权利要求1所述的基于ResCNN-BiGRU的运动想象脑电分类方法，其特征在于，对处理后的脑电信号进行小波变换处理，得到运动想象脑电信号的时频特征图，包括以下步骤：
选择复莫莱小波(复morlet小波)作为小波变换的母小波；
对预处理后的时间序列信号进行连续小波变换(continuous wavelet transform，CWT)；对于预处理后的脑电信号x(t)，CWT的表达式定义为：
其中t是时间，x(t)是预处理后的脑电信号，是母小波，/>是/>的复共轭函数，s是尺度参数，s≠0，τ是转换参数；
将每个通道经过CWT后得到的时频图按电极顺序排列后组合成新的时频特征图。
6.根据权利要求1所述的基于ResCNN-BiGRU的运动想象脑电分类方法，其特征在于，所述残差卷积神经网络(ResCNN)的输入为小波变换后得到的时频特征图，用于提取脑电信号时频图中的混合特征；双向门控循环单元(BiGRU)的输入为预处理后的脑电信号的时间序列表示，用于提取时间序列特征。
7.根据权利要求6所述的基于ResCNN-BiGRU的运动想象脑电分类方法，其特征在于，在所述残差卷积神经网络(ResCNN)的第一个残差块与第二个残差块后增加了卷积注意力机制模块(CBAM)；所述CBAM注意力机制包括通道注意力模块和空间注意力模块，包括如下步骤：
所述通道注意力模块将输入的所述时频特征图的每个通道分别经过平均池化层和最大池化层，然后分别经过多层感知机(MLP)，得到MLP输出的特征；再将MLP输出的特征进行加和操作，并经过S型生长曲线函数(sigmoid)运算进行激活操作，生成最终的通道注意力特征图；将最终的通道注意力特征图和输入的时频特征图做乘法操作，生成通道注意力模块输出的特征图；
将通道注意力模块输出的特征图输入所述空间注意力模块，首先通过串联的平均池化层和最大池化层，然后将两个池化层输出的结果基于通道进行拼接操作，并经过一个7×7的卷积层，降维为一个通道的特征图；再经过sigmoid生成空间注意力特征图；最后将空间注意力特征图和通道注意力模块输出的特征图做乘法，得到最终生成的更有判别性的特征图。
8.根据权利要求7所述的基于ResCNN-BiGRU的运动想象脑电分类方法，其特征在于，所述残差卷积神经网络(ResCNN)的残差块结构选择深度残差网络(ResNet)的瓶颈层(bottleneck)结构，由两个1×1卷积层与一个3×3卷积层组成；中间3×3的卷积层首先在一个降维1×1卷积层下减少了计算量，然后在另一个1×1的卷积层下做了还原；最后，通过快捷连接将输入特征映射添加到卷积后的特征映射中，计算公式为：
h(x)＝xout+xin
其中，h(x)为最终输出特征，xin为输入特征映射，xout为输出特征映射。
9.根据权利要求6所述的基于ResCNN-BiGRU的运动想象脑电分类方法，其特征在于，所述双向门控循环单元共512个GRU(循环神经网络的一种)单元，输出尺寸为1*512的时间序列特征向量。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的基于ResCNN-BiGRU的运动想象脑电分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310884280.6A CN117033985A (zh) | 2023-07-18 | 2023-07-18 | 一种基于ResCNN-BiGRU的运动想象脑电分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310884280.6A CN117033985A (zh) | 2023-07-18 | 2023-07-18 | 一种基于ResCNN-BiGRU的运动想象脑电分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117033985A true CN117033985A (zh) | 2023-11-10 |
Family
ID=88627126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310884280.6A Pending CN117033985A (zh) | 2023-07-18 | 2023-07-18 | 一种基于ResCNN-BiGRU的运动想象脑电分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117033985A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117653147A (zh) * | 2024-01-31 | 2024-03-08 | 长春理工大学 | 一种基于脑电信号特征的分类方法 |
-
2023
- 2023-07-18 CN CN202310884280.6A patent/CN117033985A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117653147A (zh) * | 2024-01-31 | 2024-03-08 | 长春理工大学 | 一种基于脑电信号特征的分类方法 |
| CN117653147B (zh) * | 2024-01-31 | 2024-04-26 | 长春理工大学 | 一种基于脑电信号特征的分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109472194B (zh) | 一种基于cblstm算法模型的运动想象脑电信号特征识别方法 | |
| He et al. | Asymptotic soft filter pruning for deep convolutional neural networks | |
| Gao et al. | Global second-order pooling convolutional networks | |
| Hu et al. | 3D separable convolutional neural network for dynamic hand gesture recognition | |
| WO2021190296A1 (zh) | 一种动态手势识别方法及设备 | |
| CN112446476A (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
| CN113326930B (zh) | 数据处理方法、神经网络的训练方法及相关装置、设备 | |
| CN115769228A (zh) | 利用贝叶斯图探索自动构造神经网络架构 | |
| CN110020639B (zh) | 视频特征提取方法及相关设备 | |
| Ayinde et al. | On correlation of features extracted by deep neural networks | |
| CN117033985A (zh) | 一种基于ResCNN-BiGRU的运动想象脑电分类方法 | |
| Gao et al. | Natural scene recognition based on convolutional neural networks and deep Boltzmannn machines | |
| Farhadi et al. | Combining regularization and dropout techniques for deep convolutional neural network | |
| CN113298235A (zh) | 一种多分支深度自注意力变换网络的神经网络架构及实现方法 | |
| Shah et al. | Real-time facial emotion recognition | |
| CN116758331A (zh) | 物体检测方法、装置及存储介质 | |
| CN112926502B (zh) | 基于核化双群稀疏学习的微表情识别方法及系统 | |
| CN115601257A (zh) | 一种基于局部特征和非局部特征的图像去模糊方法 | |
| Tareen et al. | Convolutional neural networks for beginners | |
| CN110569928B (zh) | 一种卷积神经网的微多普勒雷达人体动作分类方法 | |
| CN112132253B (zh) | 3d动作识别方法、装置、计算机可读存储介质及设备 | |
| Khan et al. | Suspicious Activities Recognition in Video Sequences Using DarkNet-NasNet Optimal Deep Features. | |
| CN115409150A (zh) | 一种数据压缩方法、数据解压方法及相关设备 | |
| Sundaram et al. | Human Face and Facial Expression Recognition Using Deep Learning and SNet Architecture Integrated with BottleNeck Attention Module. | |
| Xia et al. | An Adaptive Channel Selection and Graph ResNet Based Algorithm for Motor Imagery Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |