CN116035593B - 一种基于生成对抗式并行神经网络的脑电降噪方法 - Google Patents
一种基于生成对抗式并行神经网络的脑电降噪方法 Download PDFInfo
- Publication number
- CN116035593B CN116035593B CN202310052550.7A CN202310052550A CN116035593B CN 116035593 B CN116035593 B CN 116035593B CN 202310052550 A CN202310052550 A CN 202310052550A CN 116035593 B CN116035593 B CN 116035593B
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- cnn
- noise reduction
- noise
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000009467 reduction Effects 0.000 title claims abstract description 43
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000005457 optimization Methods 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000003042 antagnostic effect Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 claims description 2
- 230000036541 health Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 238000002565 electrocardiography Methods 0.000 description 5
- 238000002570 electrooculography Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 230000006793 arrhythmia Effects 0.000 description 2
- 206010003119 arrhythmia Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
- A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychology (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于生成对抗式并行神经网络的脑电降噪方法，包括：1对数据集中的脑电信号和伪影信号进行预处理，获得含噪脑电及其标签；2建立基于生成对抗式并行神经网络的脑电降噪网络，该网络包括生成器和判别器，生成器由并行的CNN块和Transformer块组成，用于捕获局部和全局的时间依赖性；判别器用于约束干净脑电信号和生成的降噪脑电信号之间的全局不一致性；3设计生成损失和判别损失，建立判别器和生成器的模型优化目标；4对判别器和生成器进行交替训练，获得最优降噪模型。本发明深度脑电降噪网络可应用于多种脑电伪影移除任务，如眼电、肌电、心电和混合伪影等，对脑机接口和医疗健康等领域具有重要意义。
Description
技术领域
本发明涉及医学信号处理领域，尤其涉及一种基于生成对抗式并行神经网络的脑电降噪方法。
背景技术
脑电图(Electroencephalograph,EEG)是一种常用的测量大脑皮层电活动的技术，具有时间分辨率高、便携、无创等优点，被广泛应用于情绪识别、睡眠检测、脑部疾病治疗等任务中。然而，采集到的EEG信号通常受到多种生理活动的干扰，如心脏、眼球和肌肉活动，这严重影响了后续任务的分析。因此，有效的伪影去除对EEG信号分析至关重要。近年来，随着技术的发展，基于深度神经网络的EEG降噪方法能够自动学习伪影特征，无需人工参与，受到广大研究人员的青睐。然而，目前基于深度学习的EEG降噪网络还存在以下问题：1)现有的结构设计没有充分考虑伪影的时间特性；2)现有的训练策略通常忽略了去噪脑电信号与真实干净信号之间的全局一致性；上述问题的出现使降噪模型容易获得次优的降噪效果。
发明内容
有鉴于此，本发明提出了一种基于生成对抗式并行神经网络的脑电降噪方法，以期能结合CNN和Transformer网络的优点来捕获伪影信号的局部和全局的时间依赖性，同时添加判别器来检测和纠正干净脑电和降噪脑电之间的整体不一致性，从而能进一步提升对含噪脑电的伪影移除效果，以应用于多种脑电伪影移除任务，如眼电、肌电、心电和混合伪影等，并为脑机接口和医疗健康等领域奠定基础。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于生成对抗式并行神经网络的脑电降噪方法的特点在于，包括以下步骤：
步骤1、从数据集中获取干净的脑电数据和伪影数据并进行预处理，再对预处理后的脑电数据和伪影数据进行混合，得到含噪脑电信号及其标签，其中，任意一对含噪脑电信号及其标签记为{(X,Y)|X∈1×Ts,Y∈1×Ts}，X表示任意一个含噪脑电信号，Y表示X的标签，Ts表示信号长度；
步骤2、构建基于CNN-Transformer的降噪模型作为生成器，并包括：一个预处理模块，L个CNN-Transformer模块和一个特征解码模块；
所述预处理模块包含：一个预处理卷积单元，一个CNN单元和一个特征融合层；
每个CNN-Transformer模块，包含一个CNN单元，一个Transformer单元和一个特征融合层；
所述特征解码模块包含：m1个卷积核为k1×1的卷积层；
步骤2.1、将所述预处理好的含噪脑电信号X输入生成器中，并经过预处理模块的预处理卷积单元的处理后，获得特征图
将所述预处理好的含噪脑电信号X再经过预处理模块中的CNN单元的处理后，获得特征图
将与/>送入特征融合层中进行处理，获得预处理模块输出的融合特征图Z0；
步骤2.2、将预处理模块输出的融合特征图Z0依次经过L个CNN-Transformer模块的处理后，获得CNN-Transformer模块输出的特征图ZL；其中，第l个CNN-Transformer模块输出的特征图记为Zl，l∈[1，L]；
步骤2.3、将第L个CNN-Transformer模块输出的特征图ZL输入特征解码模块中进行处理，获得降噪脑电信号Y′；
步骤3、构建基于CNN的判别器′用于区分生成器生成的降噪脑电信号Y′和干净脑电信号Y；
所述判别器由m2个卷积核为k2×1的卷积层和一个全连接层组成；
将降噪脑电信号Y′和干净脑电信号Y分别作为假样本和真样本输入所述判别器中进行处理，获得判别结果；
步骤4、构建判别损失和生成损失，用于对判别器和生成器交替训练得到最优降噪模型：
步骤4.1、利用式(1)构建判别损失LD：
式(1)中，D(·)表示判别器的映射函数，G(·)表示生成器的映射函数；表示期望；P(X，Y)表示X和Y的联合概率分布；
步骤4.2、利用式(2)构建生成损失LG：
LG＝Lmse+λ1Lfeat+λ2Ladv (2)
式(2)中，Lmse表示生成器的MSE损失，并由式(3)得到，Lfeat表示特征损失，并由式(4)得到，Ladv表示对抗损失，并由式(5)得到，λ1和λ2分别为特征损失Lfeat和对抗损失Ladv的权重；
式(4)中，表示判别器在第j层输出的特征图；
步骤4.3、利用Adam优化器对所述生成器和判别器进行交替训练，计算判别损失LD和生成损失LG并反向传播至网络中进行优化，当损失函数收敛或达到最大迭代次数时停止训练，从而获得最优降噪模型。
本发明所述的一种基于生成对抗式并行神经网络的脑电降噪方法的特点也在于，所述预处理卷积单元包含m3个卷积核为k3×1的卷积层，对含噪脑电信号X进行卷积操作得到特征图
所述CNN单元由m4个卷积核为k4×1的卷积层和1层池化层组成，用于对输入数据进行特征提取和降采样，获得与预处理卷积单元维度一致的特征图。
第l个CNN-Transformer模块中的Transformer单元是利用式(6)和式(7)对第l-1个CNN-Transformer模块输出的特征图Zl-1进行处理，并得到第l个CNN-Transformer模块中Transformer单元输出的特征图
式(6)和式(7)中，LN表示层归一化，MHSA表示多头自注意力网络，+表示残差连接，F′l表示第l个CNN-Transformer模块获得的中间特征；FF表示前馈网络，Conv表示卷积层；T表示转置；l∈[1，L]。
第l个CNN-Transformer模块中的特征融合层包括：一个concate操作和一个卷积层，并按照式(8)对第l个CNN-Transformer模块中CNN单元的输入和Transformer单元的输出/>进行处理，得到第l个CNN-Transformer模块输出的特征图Zl：
式(8)中，Conv表示卷积层；Concate表示concate操作。
所述前馈网络FF包括：两个全连接层和一个Swish激活层，并利用式(9)得到前馈网络的输出FF(XFF)：
FF(XFF)＝Swish(W1XFF+b1)W2+b2 (9)
式(9)中，XFF表示前馈网络FF的输入，W1表示第一权重矩阵，W2表示第一权重矩阵，b1表示第一偏置向量，b2表示第二偏置向量。
本发明一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行任一所述脑电降噪方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行任一所述脑电降噪所述方法的步骤。
与现有技术相比，本发明的有益效果在于：
1、本发明考虑了脑电信号和伪影信号形态特征的多样性，通过结合CNN和Transformer结构，同时提取脑电信号和伪影信号的判别性特征，进一步提升了特征提取能力。在公开数据集中的实验结果显示，结合CNN和Transformer之后有效地提升了对不同伪影的降噪性能。
2、本发明引入了一个判别器，为降噪模型增加了全局一致性约束，从而解决了常规的均方误差损失中点对点的计算方式忽略全局相似性的问题。在公开数据集的实验结果展示，判别器所引入的特征损失和对抗损失均有利于降噪效果的提升。
附图说明
图1是本发明提出的生成器的示意图；
图2是本发明提出的Transformer单元的示意图；
图3是本发明提出的判别器的示意图；
图4是生成器和判别器的交替训练示意图。
具体实施方式
本实施例中，一种基于生成对抗式并行神经网络的脑电降噪方法在应用时可对输入的含噪EEG信号自动学习恢复干净的EEG信号，该方法的实现步骤如下：
步骤1：从数据集中获取干净的脑电数据和伪影(肌电、眼电和心电等)数据并进行预处理，之后对对脑电数据和伪影数据进行混合，获得含噪脑电信号及其对应的干净脑电信号，其中训练集中任意一对含噪脑电信号及其标签记为{(X，Y)|X∈1×T，Y∈1×T}，X表示任意一个含噪脑电信号，且xt表示单通道含噪脑电信号样本的第t个数据点，Y表示X的标签，且/>yt表示干净脑电信号样本的第t个数据点，Ts表示信号长度；
本实施例中，混合具体过程包括：
xt＝yt+λnt (1)
式(1)中，nt表示伪影信号样本的第t个数据点，λ是根据不同的信噪比(signal-to-noise ratio，SNR)值获得的，其中SNR取值范围为-5dB到5dB；
具体实施过程中，脑电、眼电(electrooculography，EOG)和肌电(electromyogra＝hy，EMG)数据来自EEGDenoisenet数据集，心电(electrocardiography，ECG)数据来自MIT-BIH arrhythmia数据集。EEGDenoisenet数据集共包含4514个EEG片段、3400个EOG片段和5598个256Hz的EMG片段，所有片段的持续时间均为2秒。MIT-BIH arrhythmia数据集中每个记录持续30分钟，采样率为360Hz。首先对该数据集中数据使用截止频率为45Hz低通滤波器进行滤波，并下采样至256Hz，之后所有数据都被分成2秒的片段，共获得3600个ECG片段。含噪EEG信号生成过程如式(1)所示，根据不同的信噪比对应不同的λ值从而获得含噪脑电信号及其干净的脑电信号；
训练及测试过程使用十折交叉验证的方式进行，将所有片段划分为90％训练集，10％测试集，并从训练集中随机划分10％数据作为验证集。
步骤2、构建基于CNN-Transformer的降噪模型作为生成器，包括：一个预处理模块，L个CNN-Transformer模块和一个特征解码模块，整体架构如图1所示。
步骤2.1、建立预处理模块，包含：一个预处理卷积单元，一个CNN单元和一个特征融合层；
将预处理好的含噪脑电X输入预处理卷积单元，获得特征图将X输入CNN单元，获得特征图/>将/>与/>送入特征融合层，获得预处理模块的输出Z0。
预处理卷积单元包括m3个卷积核为k3×1的卷积层；具体实施过程中，m3取2，k3取3，两个卷积层的填充均为1，步长分别为1和2；CNN单元由m4个卷积核为k4×1的卷积层和1层池化层组成：具体实施过程中，m4取2，k3取3，两个卷积层的填充和步长均为1，池化层使用步长为2的平均池化。特征融合层包括一个concate操作和一个卷积层，按照式(3)进行处理：
式(3)中，Zl表示第l个模块的输出，和/>表示来自不同单元的输出，Conv表示卷积层，Concate表示Concate操作。具体实施过程中，卷积层的卷积核为3，填充和步长均为1，输出通道与/>或/>通道数保持一致。
步骤2.2、将预处理模块的输出Z0输入之后的L个CNN-Transformer模块，每个CNN-Transformer模块，包含一个CNN单元，一个Transformer单元和一个特征融合层。每个模块的输出为Zl，其中l∈[1，L]。具体实施过程中，L取5，具体架构如图2所示，Transformer单元利用式(4)和式(5)进行处理：
式(4)-式(5)中，表示第l-1个CNN-Transformer模块输出的转置后结果，LN表示层归一化，MHSA表示多头自注意力网络，“+”表示使用了残差结构，F′l表示获得的中间结果，FF表示前馈网络，Conv表示卷积层；具体实施过程中，MHSA网络中Head值为8；
具体实施中，前馈网络FF包括：两个全连接层和一个Swish激活层，并利用式(6)得到前馈网络的输出FF(XFF)：
FF(XFF)＝Swish(W1XFF+b1)W2+b2 (6)
式(6)中，XFF表示前馈网络FF的输入，W1表示第一权重矩阵，W2表示第一权重矩阵，b1表示第一偏置向量，b2表示第二偏置向量。
步骤2.3、将CNN-Transformer模块的输出ZL，输入特征解码模块，获得降噪脑电信号样本Y′。特征解码模块包含mi个卷积核为k1×1的卷积层。具体实施过程中，mi取2，k1取3；
步骤3、构建基于CNN的判别器，用于区分生成器生成的降噪脑电和干净脑电，判别器架构如图3所示；
将生成器生成的降噪信号样本Y′和干净的脑电信号样本Y分别作为假样本和真样本输入判别器，获得判别结果。其中，判别器由m2个卷积核为k2×1的卷积层和一个全连接层组成；具体实施过程中，m2值为8，k2值为3，步长为2，填充为1，每个卷积的输出通道分别为64、64、128、128、256、256、512和512。
步骤4、构建判别损失和生成损失，对判别器和生成器交替训练得到最优降噪模型，整个训练过程如图4所示：
步骤4.1、利用式(7)构建判别损失：
式(7)中，D(·)表示判别器的映射函数，G(·)表示生成器的映射函数，X表示含噪脑电，Y表示干净脑电；表示期望；P(X，Y)表示X和Y的联合概率分布。
步骤4.2、利用式(8)构建生成损失LG：
LG＝Lmse+λ1Lfeat+λ2Ladv (8)
式(8)中，Lmse表示降噪网络的MSE损失，并由式(9)得到，Lfeat为特征损失，并由式(10)得到，Ladv为对抗损失，并由式(11)得到，λ1和λ2分别为特征损失和对抗损失的权重。具体实施过程中，λ1值为0.05，λ2值为0.005。
式(9)-式(11)中，表示判别器第j层的输出特征图。具体实施过程中，l值为4，即使用第四个卷积层的特征图用于计算特征损失；
步骤4.3、利用Adam优化器对生成器和判别器进行交替训练，计算判别损失和生成损失反向传播至网络中进行优化，当损失函数收敛或满足结束条件时停止训练，从而获得最优降噪模型。具体实施过程中，batchsize设置为128，EMG伪影训练代数设置为200，EOG和ECG伪影训练代数设置为50，生成器和判别器的学习率均设置为0.0001。
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述脑电降噪方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述脑电降噪方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。具体实施过程中，为了验证本发明提出的方法的性能，对比了一些经典的方法和最新的深度学习方法，评价指标使用三种常见的评估指标：相对均方根误差(relative root mean squared error，RRMSE)、相关性因子(correlation coefficient，CC)和SNR。RRMSE值越小、CC越接近1、SNR越大表明降噪效果越好。对比过程中主要列出了十折交叉验证的平均值，最终实验结果如表中所示。
表1.不同生理伪影的实验结果
表1中列出了移除不同生理伪影的实验结果，实验结果表明本发明提出的脑电降噪方法对不同伪影的移除结果均显著优于其他的降噪方法。本发明可以辅助各种EEG应用，通过自动移除脑电伪影，提升各种EEG应用的精度。实施上，可以以软件的方式安装于前段，提供可视化的伪影移除服务；也可用于服务器端的批量处理。
Claims (8)
1.一种基于生成对抗式并行神经网络的脑电降噪方法，其特征在于，包括以下步骤：
步骤1、从数据集中获取干净的脑电数据和伪影数据并进行预处理，再对预处理后的脑电数据和伪影数据进行混合，得到含噪脑电信号及其标签，其中，任意一对含噪脑电信号及其标签记为{(X,Y)|X∈1×Ts,Y∈1×Ts}，X表示任意一个含噪脑电信号，Y表示X的标签，Ts表示信号长度；
步骤2、构建基于CNN-Transformer的降噪模型作为生成器，并包括：一个预处理模块，L个CNN-Transformer模块和一个特征解码模块；
所述预处理模块包含：一个预处理卷积单元，一个CNN单元和一个特征融合层；
每个CNN-Transformer模块，包含一个CNN单元，一个Transformer单元和一个特征融合层；
所述特征解码模块包含：m1个卷积核为k1×1的卷积层；
步骤2.1、将所述预处理好的含噪脑电信号X输入生成器中，并经过预处理模块的预处理卷积单元的处理后，获得特征图
将所述预处理好的含噪脑电信号X再经过预处理模块中的CNN单元的处理后，获得特征图
将与/>送入特征融合层中进行处理，获得预处理模块输出的融合特征图Z0；
步骤2.2、将预处理模块输出的融合特征图Z0依次经过L个CNN-Transformer模块的处理后，获得CNN-Transformer模块输出的特征图ZL；其中，第l个CNN-Transformer模块输出的特征图记为Zl，l∈[1,L]；
步骤2.3、将第L个CNN-Transformer模块输出的特征图ZL输入特征解码模块中进行处理，获得降噪脑电信号Y'；
步骤3、构建基于CNN的判别器，用于区分生成器生成的降噪脑电信号Y'和干净脑电信号Y；
所述判别器由m2个卷积核为k2×1的卷积层和一个全连接层组成；
将降噪脑电信号Y'和干净脑电信号Y分别作为假样本和真样本输入所述判别器中进行处理，获得判别结果；
步骤4、构建判别损失和生成损失，用于对判别器和生成器交替训练得到最优降噪模型：
步骤4.1、利用式(1)构建判别损失LD：
式(1)中，D(·)表示判别器的映射函数，G(·)表示生成器的映射函数；表示期望；P(X,Y)表示X和Y的联合概率分布；
步骤4.2、利用式(2)构建生成损失LG：
LG＝Lmse+λ1Lfeat+λ2Ladv (2)
式(2)中，Lmse表示生成器的MSE损失，并由式(3)得到，Lfeat表示特征损失，并由式(4)得到，Ladv表示对抗损失，并由式(5)得到，λ1和λ2分别为特征损失Lfeat和对抗损失Ladv的权重；
式(4)中，表示判别器在第j层输出的特征图；
步骤4.3、利用Adam优化器对所述生成器和判别器进行交替训练，计算判别损失LD和生成损失LG并反向传播至网络中进行优化，当损失函数收敛或达到最大迭代次数时停止训练，从而获得最优降噪模型。
2.根据权利要求1所述的一种基于生成对抗式并行神经网络的脑电降噪方法，其特征在于，所述预处理卷积单元包含m3个卷积核为k3×1的卷积层，对含噪脑电信号X进行卷积操作得到特征图
3.根据权利要求1所述的一种基于生成对抗式并行神经网络的脑电降噪方法，其特征在于，所述CNN单元由m4个卷积核为k4×1的卷积层和1层池化层组成，用于对输入数据进行特征提取和降采样，获得与预处理卷积单元维度一致的特征图。
4.根据权利要求1所述的一种基于生成对抗式并行神经网络的脑电降噪方法，其特征在于，第l个CNN-Transformer模块中的Transformer单元是利用式(6)和式(7)对第l-1个CNN-Transformer模块输出的特征图Zl-1进行处理，并得到第l个CNN-Transformer模块中Transformer单元输出的特征图
式(6)和式(7)中，LN表示层归一化，MHSA表示多头自注意力网络，+表示残差连接，F'l表示第l个CNN-Transformer模块获得的中间特征；FF表示前馈网络，Conv表示卷积层；T表示转置；l∈[1,l]。
5.根据权利要求4所述的一种基于生成对抗式并行神经网络的脑电降噪方法，其特征在于，第l个CNN-Transformer模块中的特征融合层包括：一个concate操作和一个卷积层，并按照式(8)对第l个CNN-Transformer模块中CNN单元的输入和Transformer单元的输出进行处理，得到第l个CNN-Transformer模块输出的特征图Zl：
式(8)中，Conv表示卷积层；Concate表示concate操作。
6.根据权利要求4所述的一种基于生成对抗式并行神经网络的脑电降噪方法，其特征在于，所述前馈网络FF包括：两个全连接层和一个Swish激活层，并利用式(9)得到前馈网络的输出FF(XFF)：
FF(XFF)＝Swish(W1XFF+b1)W2+b2 (9)
式(9)中，XFF表示前馈网络FF的输入，W1表示第一权重矩阵，W2表示第一权重矩阵，b1表示第一偏置向量，b2表示第二偏置向量。
7.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1-6中任一所述脑电降噪方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
8.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-6中任一所述脑电降噪所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310052550.7A CN116035593B (zh) | 2023-02-02 | 2023-02-02 | 一种基于生成对抗式并行神经网络的脑电降噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310052550.7A CN116035593B (zh) | 2023-02-02 | 2023-02-02 | 一种基于生成对抗式并行神经网络的脑电降噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116035593A CN116035593A (zh) | 2023-05-02 |
| CN116035593B true CN116035593B (zh) | 2024-05-07 |
Family
ID=86132842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310052550.7A Active CN116035593B (zh) | 2023-02-02 | 2023-02-02 | 一种基于生成对抗式并行神经网络的脑电降噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116035593B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117322890B (zh) * | 2023-09-28 | 2024-06-25 | 西北工业大学深圳研究院 | 一种基于神经元群模型的生成式多通道脑电建模方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020029998A1 (zh) * | 2018-08-08 | 2020-02-13 | 斯达克实验室公司 | 脑电图辅助的波束形成器和波束形成方法以及耳戴式听力系统 |
| CN113723171A (zh) * | 2021-06-16 | 2021-11-30 | 陕西师范大学 | 基于残差生成对抗网络的脑电信号去噪方法 |
| CN114947883A (zh) * | 2022-06-15 | 2022-08-30 | 中国科学技术大学 | 一种时频域信息融合的深度学习脑电降噪方法 |
-
2023
- 2023-02-02 CN CN202310052550.7A patent/CN116035593B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020029998A1 (zh) * | 2018-08-08 | 2020-02-13 | 斯达克实验室公司 | 脑电图辅助的波束形成器和波束形成方法以及耳戴式听力系统 |
| CN113723171A (zh) * | 2021-06-16 | 2021-11-30 | 陕西师范大学 | 基于残差生成对抗网络的脑电信号去噪方法 |
| CN114947883A (zh) * | 2022-06-15 | 2022-08-30 | 中国科学技术大学 | 一种时频域信息融合的深度学习脑电降噪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于降噪自编码神经网络的事件相关电位脑电信号分析方法;王洪涛;黄辉;贺跃帮;刘旭程;李霆;;控制理论与应用;20190415(第04期);88-94 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116035593A (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110840402B (zh) | 一种基于机器学习的房颤信号识别方法及系统 | |
| Sun et al. | A novel end-to-end 1D-ResCNN model to remove artifact from EEG signals | |
| CN111990989A (zh) | 一种基于生成对抗及卷积循环网络的心电信号识别方法 | |
| CN114533086B (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
| CN111265210A (zh) | 一种基于深度学习的房颤预测装置和设备 | |
| CN114947883B (zh) | 一种时频域信息融合的深度学习脑电降噪方法 | |
| CN116035593B (zh) | 一种基于生成对抗式并行神经网络的脑电降噪方法 | |
| CN111202512A (zh) | 一种基于小波变换与dcnn的心电图分类方法和装置 | |
| Tseng et al. | Sliding large kernel of deep learning algorithm for mobile electrocardiogram diagnosis | |
| CN116712083A (zh) | 一种基于U-Net网络的QRS复合波检测方法 | |
| Huang et al. | Joint ensemble empirical mode decomposition and tunable Q factor wavelet transform based sleep stage classifications | |
| Mingai et al. | Removing ocular artifacts from mixed EEG signals with FastKICA and DWT | |
| CN114692698A (zh) | 一种基于残差网络的一维心电数据分类方法 | |
| CN111956209B (zh) | 一种基于ewt和结构特征提取的心电信号r波识别方法 | |
| Dogan et al. | A comprehensive review of computer-based Techniques for R-peaks/QRS complex detection in ECG signal | |
| CN113069124A (zh) | 一种基于cnn-et模型的心电监测方法 | |
| CN110537907A (zh) | 一种基于奇异值分解的心电信号压缩及识别方法 | |
| CN112274144A (zh) | 近红外脑功能成像数据的处理方法、装置和存储介质 | |
| CN111493864B (zh) | Eeg信号混合噪声处理方法、设备和存储介质 | |
| Nguyen et al. | A deep sparse autoencoder method for automatic EOG artifact removal | |
| Prashar et al. | Morphology analysis and time interval measurements using mallat tree decomposition for CVD Detection | |
| Manimegalai et al. | Comparison on denoising of electro cardiogram signal using deep learning techniques | |
| Yu et al. | Design and implementation of automatic sleep staging based on ECG signals | |
| Sun et al. | MEEG-Transformer: transformer Network based on Multi-domain EEG for emotion recognition | |
| Hsieh et al. | 12-lead ECG signal processing and atrial fibrillation prediction in clinical practice |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |