CN114947883A - 一种时频域信息融合的深度学习脑电降噪方法 - Google Patents
一种时频域信息融合的深度学习脑电降噪方法 Download PDFInfo
- Publication number
- CN114947883A CN114947883A CN202210678510.9A CN202210678510A CN114947883A CN 114947883 A CN114947883 A CN 114947883A CN 202210678510 A CN202210678510 A CN 202210678510A CN 114947883 A CN114947883 A CN 114947883A
- Authority
- CN
- China
- Prior art keywords
- frequency domain
- full
- layer
- time
- electroencephalogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 51
- 230000009467 reduction Effects 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013135 deep learning Methods 0.000 title description 8
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 238000010586 diagram Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 23
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 abstract description 2
- 238000000537 electroencephalography Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002566 electrocorticography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002695 general anesthesia Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种时频域特征融合的深度脑电降噪方法，包括：1、将采集到的多通道含噪脑电信号通过通道分割和随机窗切片的方式构建训练集和测试集；2、建立时频域特征融合网络，该网络利用时域特征提取单元和频域特征提取单元提取脑电信号和伪影信号的判别性特征，之后将不同域的判别性特征通过自适应多域特征融合模块进行特征融合，将融合后的特征通过特征解码模块获得降噪后的脑电信号；3、利用训练好的模型实现脑电伪影降噪任务。本发明同时考虑了脑电信号和伪影信号在不同域的信号差异，通过融合时域和频域的判别性特征，提高了深度神经网络的降噪能力，对脑机接口和医疗健康等领域具有重要意义。
Description
技术领域
本发明涉及人工智能领域和医学信号处理领域，尤其涉及基于深度神经网络脑电伪影自动移除网络。
背景技术
脑信号提供了丰富的生理、心理和病理信息，脑信号的获取可通过多种方式，如功能磁共振成像(functional magnetic resonance imaging,fMRI)、脑电图(electroencephalograph,EEG)和脑皮层电图(electrocorticograph,ECoG)。与其他方式相比，EEG具有时间分辨率高、安全性高和易携带等优点，是最广泛使用的测量大脑活动的技术，具有较为广泛的应用，如脑部疾病检测、危重病检测和全身麻醉深度检测等。然而，EEG信号容易被眼球、肌肉和心脏活动等污染，准确去除伪影至关重要，因为伪影可能会导致错误的脑信号解释。
但是目前在脑电伪影移除的相关技术中存在如下问题：
传统的EEG降噪方法包括：回归、盲源分离(blind source separation,BSS)、经验模式分解(empirical mode decomposition,EMD)和混合方法等。大多数的传统方法需要手动检查伪影组件，如BSS方法。相比之下，基于深度学习的降噪方法可以自动从原始数据中提取特征，而不需要先验知识，获得了研究人员的青睐。近年来一些基于深度神经网络的方法被提出，获得了较好的效果，然而现有的基于深度学习的EEG降噪网络，只关注时域上信号特征，而忽略了其他域的特征，这可能会影响最终的降噪性能。事实上，EEG及其伪影信号在频域具有特定的特征，如图1所示为EEG及其眼电(Electrooculogram，EOG)伪影在时域和频域上的幅度图，从图中可以看出EOG的在频带较窄，而EEG覆盖的频带较宽，仅关注时域特征，可能会获得次优的效果。
发明内容：
本发明是为了解决上述现有技术存在的不足之处，提出一种时频域信息融合的深度学习脑电降噪方法，以期能在深度学习模型中同时结合时域和频域信息，从而获得更好的降噪效果。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种时频域特征融合的深度脑电降噪方法的特点在于，包括以下步骤：
步骤1、获取一批含噪脑电信号及其对应的干净脑电信号并利用通道分割的方式分别进行分割处理，对应得到单通道含噪脑电信号及其对应的干净脑电信号；
采用随机窗方法对单通道含噪脑电信号及其对应的干净脑电信号进行划分，得到M段时长为T的含噪脑电信号样本及其对应的干净脑电信号样本，并构成M个样本对的训练集；
所述训练集中任意一个样本对记为{(X,Y)|X∈1×T,Y∈1×T}，其中，X表示单通道含噪脑电信号样本，Y表示对应的干净脑电信号样本，且X＝[x0,x1,…,xt,…,xT-1]，Y＝[y0,y1,…,yt,…,yT-1]，xt和yt分别表示单通道含噪脑电信号样本和干净脑电信号样本的第t个数据点；其中，单通道含噪脑电信号样本为网络输入，干净脑电信号样本为对应的标签；
步骤2、建立时频域特征融合网络，包括：两路并行的特征提取模块、自适应多域特征融合模块和特征解码模块；
步骤2.1、所述特征提取模块包含：频域特征提取单元和时域特征提取单元；其中，所述频域特征提取单元包含：一个频域头层和N个堆叠的频域残差全连接块；
所述频域残差全连接块由两个全连接层、一个GELU层和一个LayerNorm层组成；每个频域残差全连接块的输入跳跃连接至自身的输出；在所述GELU层和第二个全连接层后添加一个Droupout层；
步骤2.1.1、所述单通道含噪脑电信号样本X经过DCT变换后得到输入信号F，且，F＝[f0,f1,…,fk,…,fK-1]，fk表示单通道含噪脑电信号样本在频域上的第k个数据点，K表示频谱长度；
所述输入信号F输入所述频域特征提取单元中，并经过频域头层的处理后得到频域头层输出特征图
将所述频域头层输出特征图
输入第一个频域残差全连接块，并经过N个频域残差全连接块的处理后，获得频域特征提取单元输出特征图
步骤2.1.2、所述时域特征提取单元由一个时域头层和N个堆叠的时域残差全连接块组成，且时域残差全连接块与所述频域残差全连接块的结构相同；
所述单通道含噪脑电信号样本X输入所述时域特征提取单元中，并经过时域头层的处理后，得到时域头层输出特征图
将所述时域头层输出特征图
输入第一个时域残差全连接块，并经过N个时域残差全连接块的处理后，获得时域特征提取单元输出特征图
步骤2.2、所述自适应多域特征融合模块是由六个融合全连接层组成；
所述频域特征提取单元输出特征图
经过DCT逆变换后得到频域逆变换特征图
再将
和
一起输入所述自适应多域特征融合单元中进行处理，并得到自适应多域融合特征图OFuse；
步骤2.3、所述特征解码模块是由一个全连接层和一个LayerNorm层构成；
所述自适应多域融合特征图OFuse经过特征解码模块的处理后，输出降噪脑电信号样本Y'，且Y'＝[y0',y1',…,yt',…,yT-1']，yt'表示xt经过时频域特征融合网络后生成的降噪脑电信号样本Y'的第t个数据点；
步骤3、构建损失函数并训练得到最优降噪模型：
步骤3.1、利用式(1)构建MSE损失函数Lmse：
步骤3.2、利用Adam优化器对所述时频域特征融合网络进行训练，计算MSE损失函数Lmse并反向传播至网络中进行优化，当MSE损失函数Lmse收敛时停止训练，从而获得最优降噪模型，并用于对待处理的含噪脑电信号样本进行降噪处理。
本发明所述的一种时频域特征融合的深度脑电降噪方法的特点也在于，
所述频域特征提取单元的频域头层为一个卷积核尺寸为1×kernelf，步长为stridef的卷积层，且卷积层的左右填充长度为paddingf；
所述频域特征提取单元中的第一个频域残差全连接块利用式(2)和式(3)对频域头层输出特征图
进行处理，并得到第一个频域残差全连接块的输出特征图
式(2)和式(3)中，
表示第一个频域残差全连接块中的GELU层输出的中间特征，W11和W12分别为第一个频域残差全连接块中两个全连接层的权重矩阵，b11和b12为第一个频域残差全连接块中两个全连接层的偏置参数，GELU(·)表示激活参数，LayerNorm(·)表示归一化操作；
所述频域特征提取单元第i个频域残差全连接块利用式(4)和式(5)对第i-1个频域残差全连接块的输出特征图
进行处理，得到第i个频域残差全连接块的输出特征图
式(4)和式(5)中，
表示第i个频域残差全连接块中的GELU层输出的中间特征，Wi1和Wi2为第i个频域残差全连接块中两个全连接层的权重矩阵，bi1和bi2为第i个频域残差全连接块中两个全连接层的偏置参数。
所述时域特征提取单元的头层输入卷积核尺寸为1×kernalx，步长为stridex，左右填充长度为paddingx。
所述自适应特征融合模块是利用式(6)、式(7)和式(8)对
和
进行处理，并得到自适应多域融合特征图OFuse：
式(6)、式(7)和式(8)中，δx(·)和δf(·)表示由第一融合全连接层和第二融合全连接层学习到的函数，⊙表示点乘，θx(·)和θf(·)表示由第三融合全连接层和第四融合全连接层学习到的函数，νx(·)和νf(·)表示由第五融合全连接层和第六融合全连接层学习到的函数，sigmoid(·)表示归一化激活函数，concat表示特征维度的连接操作。
与现有技术相比，本发明的有益效果在于：
1、本发明同时考虑了脑电信号和伪影信号在不同域上的信号差异，通过融合多域的判别性特征，大大提高了深度神经网络的降噪能力，并在公开数据集中的实验结果展示，本发明提出的方法降噪能力高于多个现有的降噪网络。
2、本发明提出的方法考虑了不同域特征之间的差异性，为了减轻域差异性的影响获得更好的降噪性能，在时频域特征融合时使用自适应多域融合网络，该网络既保留了原始的特征，又学习了不同域之间的差异性特征，融合时可以自适应的选择对结果更有益的特征，从而获得更好的降噪效果。
附图说明
图1是干净脑电信号和脑电中眼电伪影信号的时域及频域幅值对比图；
图2是本发明实施的一种时频域信息融合的深度学习脑电降噪方法的框架图；
图3是本发明提出的残差全连接块的示意图；
图4是本发明提出的自适应多域特征融合模块示意图。
具体实施方式
本实施例中，一种时频域特征融合的深度脑电降噪方法，是同时提取时域和频域信息，并在应用时计算机可根据输入的含噪EEG信号自动学习降噪后的EEG信号，如图2所示，改方法的实现步骤如下：
步骤1：获取一批含噪脑电信号及其对应的干净脑电信号并利用通道分割的方式分别进行分割处理，对应得到单通道含噪脑电信号及其对应的干净脑电信号；
采用随机窗方法对单通道含噪脑电信号及其对应的干净脑电信号进行划分，得到M段时长为T的含噪脑电信号样本及其对应的干净脑电信号样本，并构成M个样本对的训练集；
训练集中任意一个样本对记为{(X,Y)|X∈1×T,Y∈1×T}，其中，X表示单通道含噪脑电信号样本，Y表示对应的干净脑电信号样本，且X＝[x0,x1,…,xt,…,xT-1]，Y＝[y0,y1,…,yt,…,yT-1]，xt和yt分别表示单通道含噪脑电信号样本和干净脑电信号样本的第t个数据点；其中，单通道含噪脑电信号样本为网络输入，干净脑电信号样本为对应的标签；
具体实施中，从公开数据集Semi-simulated数据集获取实验所需数据，该数据集中的数据包括从27名健康受试者记录的EEG数据、垂直眼电伪影数据和水平眼电伪影数据，每个受试者使用19个通道进行信号采集。该数据集提供了含噪脑电信号以及干净的脑电信号，含噪EEG信号生成过程如式(1)所示：
X＝Y+ΛN (1)
式(1)中，Λ代表混合矩阵，N代表噪声。
整个数据集根据受试者的数量分为80％训练集、10％验证集和10％测试集。具体实施过程中直接使用该数据集提供的数据，输入信号长度设置为540，使用随机窗法从上述数据中获取成对的训练数据。为了降低随机性的影响，实验重复五次，每次使用不同的数据划分。
步骤2、建立时频域特征融合网络，包括：两路并行的特征提取模块、自适应多域特征融合模块和特征解码模块；如图2所示；
步骤2.1、特征提取模块包含：频域特征提取单元和时域特征提取单元；其中，频域特征提取单元包含：一个频域头层和N个堆叠的频域残差全连接块；
步骤2.1.1、建立频域特征提取单元，单通道含噪脑电信号样本X经过DCT变换后得到输入信号F，且，F＝[f0,f1,…,fk,…,fK-1]，fk表示单通道含噪脑电信号样本在频域上的第k个数据点，K表示频谱长度。具体实施过程中，N取12，频域头层卷积核kernelf为1×1，填充paddingf为0，步长stridef为1。频域特征提取单元的输入F由时域信号X经过DCT变换获得，1D-DCT变换公式如式(2)所示：
式(2)和式(3)中，μ(k)是常数归一化因子,得到的频率信号F为时间序列信号对应的频谱帧。F＝[f0,f1,…,fk,…,fK-1]，fk表示频域上脑电样本的第k个数据点。
频域残差全连接块由两个全连接层、一个GELU层和一个LayerNorm层组成，每个残差全连接块的输入跳跃连接至自身的输出，为了防止过拟合，在GELU层和第二个全连接层后添加一个Droupout层，其示意图如图3所示。
频域特征提取单元中的第一个频域残差全连接块利用式(4)和式(5)对频域头层输出特征图
进行处理，并得到第一个频域残差全连接块的输出特征图
式(4)和式(5)中，
表示第一个频域残差全连接块中的GELU层输出的中间特征，W11和W12分别为第一个频域残差全连接块中两个全连接层的权重矩阵，b11和b12为第一个频域残差全连接块中两个全连接层的偏置参数，GELU(·)表示激活参数，LayerNorm(·)表示归一化操作；
频域特征提取单元第i个频域残差全连接块利用式(6)和式(7)对第i-1个频域残差全连接块的输出特征图
进行处理，得到第i个频域残差全连接块的输出特征图
式(6)和式(7)中，
表示第i个频域残差全连接块中的GELU层输出的中间特征，Wi1和Wi2为第i个频域残差全连接块中两个全连接层的权重矩阵，bi1和bi2为第i个频域残差全连接块中两个全连接层的偏置参数。
步骤2.1.2、建立时域特征提取单元，时域特征提取单元由一个头层和N个堆叠的残差全连接块组成，时域特征提取网络输入为X。具体实施过程中，频域头层卷积核kernalx为1×7，左右填充长度paddingx为3，步长stridex为1，N为12，即时域和频域特征提取网络各使用12个残差全连接块提取特征。
步骤2.2、自适应多域特征融合模块是由六个融合全连接层组成，图4展示了具体的网络结构；频域特征提取单元输出特征图
经过DCT逆变换后得到频域逆变换特征图
相应的逆离散余弦变换过程可以写为：
式(8)和式(9)中，μ(t)是常数归一化因子。之后将
和
一起输入自适应多域特征融合模块，自适应特征融合模块是利用式(10)、式(11)和式(12)对
和
进行处理，并得到自适应多域融合特征图OFuse：
式(10)、式(11)和式(12)中，δx(·)和δf(·)表示由第一融合全连接层和第二融合全连接层学习到的函数，⊙表示点乘，θx(·)和θf(·)表示由第三融合全连接层和第四融合全连接层学习到的函数，νx(·)和νf(·)表示由第五融合全连接层和第六融合全连接层学习到的函数，sigmoid(·)表示归一化激活函数，concat表示特征维度的连接操作。
具体实施过程中，第一全连接层和第二全连接层输入尺寸为128×540，
和
输出尺寸也为128×540，第三全连接层和第四全连接层输入尺寸为128×540，
和
的输出尺寸为128×128，第五全连接层和第六全连接层输入尺寸为128×540，
和
的输出尺寸为128×540，
和
获得的特征图尺寸为128×540，经过sigmoid归一化获得与
和
尺寸一致的权重图，与
和
点乘之后并与原特征图相加获得加权的时域特征图
和频域特征图
将上述
和
通过特征图直接并行连接的方式获得增强的特征图，作为解码网络的输入。
步骤2.3、构建特征解码模块，特征解码模块是由一个全连接层和一个LayerNorm层构成。
自适应多域融合特征图OFuse经过特征解码模块的处理后，输出降噪脑电信号样本Y'，且Y'＝[y0',y1',…,yt',…,yT-1']，yt'表示xt经过时频域特征融合网络后生成的降噪脑电信号样本Y'的第t个数据点；
步骤3、构建损失函数并训练得到最优降噪模型：
步骤3.1、利用式(13)构建MSE损失函数Lmse：
步骤3.2、利用Adam优化器对时频域特征融合网络进行训练，计算MSE损失函数Lmse并反向传播至网络中进行参考优化，当MSE损失函数Lmse收敛时停止训练，从而获得最优降噪模型，并用于对待处理的含噪脑电信号样本进行降噪处理。具体实施过程中，训练代数选择200，batchsize设置为128。
具体实施过程中，为了验证本发明提出的方法的性能，对比了一些经典的传统方法和深度学习方法，评价指标使用三种常见的评估指标：RRMSE、CC和SNR。RRMSE值越小越好，CC取值范围在0-1之间，越接近1表明降噪效果越好；SNR越大表明降噪效果越好。对比过程中记录五次不同数据划分下获得的平均结果，最终实验结果如表中所示。
表1.Semi-simulated数据集下实验结果
| Model | RRMSE | CC | SNR |
| WT | 0.749 | 0.842 | 7.638 |
| EMD-CCA | 0.608 | 0.894 | 8.694 |
| FCNN | 0.590 | 0.800 | 4.870 |
| SimpleCNN | 0.423 | 0.901 | 8.908 |
| ComplexCNN | 0.402 | 0.915 | 9.078 |
| Ours | 0.299 | 0.944 | 12.222 |
表1中列举了在Semi-simulated数据集下的实验结果，实验结果表明我们提出的时频域特征融合的降噪方法CDNet(CrossDomainNetwork)在三个指标上均显著高于其他的降噪方法。这表示，本发明提出的时频域信息融合的深度学习脑电降噪方法具有较好的降噪效果。
本发明可以应用于自动的脑电伪影去除任务，并辅助各种EEG应用任务。在实施上，可以以软件的方式安装于前段设备，提供实时的伪影移除任务；也可以安装于大型服务器对大批量数据进行批量处理。
Claims (4)
1.一种时频域特征融合的深度脑电降噪方法，其特征在于，包括以下步骤：
步骤1、获取一批含噪脑电信号及其对应的干净脑电信号并利用通道分割的方式分别进行分割处理，对应得到单通道含噪脑电信号及其对应的干净脑电信号；
采用随机窗方法对单通道含噪脑电信号及其对应的干净脑电信号进行划分，得到M段时长为T的含噪脑电信号样本及其对应的干净脑电信号样本，并构成M个样本对的训练集；
所述训练集中任意一个样本对记为{(X,Y)|X∈1×T,Y∈1×T}，其中，X表示单通道含噪脑电信号样本，Y表示对应的干净脑电信号样本，且X＝[x0,x1,…,xt,…,xT-1]，Y＝[y0,y1,…,yt,…,yT-1]，xt和yt分别表示单通道含噪脑电信号样本和干净脑电信号样本的第t个数据点；其中，单通道含噪脑电信号样本为网络输入，干净脑电信号样本为对应的标签；
步骤2、建立时频域特征融合网络，包括：两路并行的特征提取模块、自适应多域特征融合模块和特征解码模块；
步骤2.1、所述特征提取模块包含：频域特征提取单元和时域特征提取单元；其中，所述频域特征提取单元包含：一个频域头层和N个堆叠的频域残差全连接块；
所述频域残差全连接块由两个全连接层、一个GELU层和一个LayerNorm层组成；每个频域残差全连接块的输入跳跃连接至自身的输出；在所述GELU层和第二个全连接层后添加一个Droupout层；
步骤2.1.1、所述单通道含噪脑电信号样本X经过DCT变换后得到输入信号F，且，F＝[f0,f1,…,fk,…,fK-1]，fk表示单通道含噪脑电信号样本在频域上的第k个数据点，K表示频谱长度；
所述输入信号F输入所述频域特征提取单元中，并经过频域头层的处理后得到频域头层输出特征图
将所述频域头层输出特征图
输入第一个频域残差全连接块，并经过N个频域残差全连接块的处理后，获得频域特征提取单元输出特征图
步骤2.1.2、所述时域特征提取单元由一个时域头层和N个堆叠的时域残差全连接块组成，且时域残差全连接块与所述频域残差全连接块的结构相同；
所述单通道含噪脑电信号样本X输入所述时域特征提取单元中，并经过时域头层的处理后，得到时域头层输出特征图
将所述时域头层输出特征图
输入第一个时域残差全连接块，并经过N个时域残差全连接块的处理后，获得时域特征提取单元输出特征图
步骤2.2、所述自适应多域特征融合模块是由六个融合全连接层组成；
所述频域特征提取单元输出特征图
经过DCT逆变换后得到频域逆变换特征图
再将
和
一起输入所述自适应多域特征融合单元中进行处理，并得到自适应多域融合特征图OFuse；
步骤2.3、所述特征解码模块是由一个全连接层和一个LayerNorm层构成；
所述自适应多域融合特征图OFuse经过特征解码模块的处理后，输出降噪脑电信号样本Y'，且Y'＝[y0',y1',…,yt',…,yT-1']，yt'表示xt经过时频域特征融合网络后生成的降噪脑电信号样本Y'的第t个数据点；
步骤3、构建损失函数并训练得到最优降噪模型：
步骤3.1、利用式(1)构建MSE损失函数Lmse：
步骤3.2、利用Adam优化器对所述时频域特征融合网络进行训练，计算MSE损失函数Lmse并反向传播至网络中进行优化，当MSE损失函数Lmse收敛时停止训练，从而获得最优降噪模型，并用于对待处理的含噪脑电信号样本进行降噪处理。
2.根据权利要求1所述的一种时频域特征融合的深度脑电降噪方法，其特征在于，
所述频域特征提取单元的频域头层为一个卷积核尺寸为1×kernelf，步长为stridef的卷积层，且卷积层的左右填充长度为paddingf；
所述频域特征提取单元中的第一个频域残差全连接块利用式(2)和式(3)对频域头层输出特征图
进行处理，并得到第一个频域残差全连接块的输出特征图
式(2)和式(3)中，
表示第一个频域残差全连接块中的GELU层输出的中间特征，W11和W12分别为第一个频域残差全连接块中两个全连接层的权重矩阵，b11和b12为第一个频域残差全连接块中两个全连接层的偏置参数，GELU(·)表示激活参数，LayerNorm(·)表示归一化操作；
所述频域特征提取单元第i个频域残差全连接块利用式(4)和式(5)对第i-1个频域残差全连接块的输出特征图
进行处理，得到第i个频域残差全连接块的输出特征图
式(4)和式(5)中，
表示第i个频域残差全连接块中的GELU层输出的中间特征，Wi1和Wi2为第i个频域残差全连接块中两个全连接层的权重矩阵，bi1和bi2为第i个频域残差全连接块中两个全连接层的偏置参数。
3.根据权利要求1所述的一种时频域特征融合的深度脑电降噪方法，其特征在于，
所述时域特征提取单元的头层输入卷积核尺寸为1×kernalx，步长为stridex，左右填充长度为paddingx。
4.根据权利要求1所述的一种时频域特征融合的深度脑电降噪方法，其特征在于：
所述自适应特征融合模块是利用式(6)、式(7)和式(8)对
和
进行处理，并得到自适应多域融合特征图OFuse：
式(6)、式(7)和式(8)中，δx(·)和δf(·)表示由第一融合全连接层和第二融合全连接层学习到的函数，⊙表示点乘，θx(·)和θf(·)表示由第三融合全连接层和第四融合全连接层学习到的函数，νx(·)和νf(·)表示由第五融合全连接层和第六融合全连接层学习到的函数，sigmoid(·)表示归一化激活函数，concat表示特征维度的连接操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210678510.9A CN114947883B (zh) | 2022-06-15 | 2022-06-15 | 一种时频域信息融合的深度学习脑电降噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210678510.9A CN114947883B (zh) | 2022-06-15 | 2022-06-15 | 一种时频域信息融合的深度学习脑电降噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114947883A true CN114947883A (zh) | 2022-08-30 |
| CN114947883B CN114947883B (zh) | 2024-05-14 |
Family
ID=82963560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210678510.9A Active CN114947883B (zh) | 2022-06-15 | 2022-06-15 | 一种时频域信息融合的深度学习脑电降噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114947883B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115836867A (zh) * | 2023-02-14 | 2023-03-24 | 中国科学技术大学 | 一种双分支融合的深度学习脑电降噪方法、设备及介质 |
| CN116035593A (zh) * | 2023-02-02 | 2023-05-02 | 中国科学技术大学 | 一种基于生成对抗式并行神经网络的脑电降噪方法 |
| CN116035594A (zh) * | 2023-02-22 | 2023-05-02 | 中国科学技术大学 | 一种基于分割-降噪网络的脑电伪迹去除方法 |
| CN118021323A (zh) * | 2024-02-27 | 2024-05-14 | 华南理工大学 | 一种多域特征融合的脑电信号识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784242A (zh) * | 2018-12-31 | 2019-05-21 | 陕西师范大学 | 基于一维残差卷积神经网络的脑电信号去噪方法 |
| AU2020103949A4 (en) * | 2020-12-08 | 2021-02-11 | Fudan University | EEG Signal Mixed Noise Processing Method, Equipment and Storage Medium |
| CN113723171A (zh) * | 2021-06-16 | 2021-11-30 | 陕西师范大学 | 基于残差生成对抗网络的脑电信号去噪方法 |
| WO2021237918A1 (zh) * | 2020-05-25 | 2021-12-02 | 五邑大学 | 基于gpdc图卷积神经网络的疲劳检测方法、装置及存储介质 |
-
2022
- 2022-06-15 CN CN202210678510.9A patent/CN114947883B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784242A (zh) * | 2018-12-31 | 2019-05-21 | 陕西师范大学 | 基于一维残差卷积神经网络的脑电信号去噪方法 |
| WO2021237918A1 (zh) * | 2020-05-25 | 2021-12-02 | 五邑大学 | 基于gpdc图卷积神经网络的疲劳检测方法、装置及存储介质 |
| AU2020103949A4 (en) * | 2020-12-08 | 2021-02-11 | Fudan University | EEG Signal Mixed Noise Processing Method, Equipment and Storage Medium |
| CN113723171A (zh) * | 2021-06-16 | 2021-11-30 | 陕西师范大学 | 基于残差生成对抗网络的脑电信号去噪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李明爱;崔燕;杨金福;郝冬梅;: "基于HHT和CSSD的多域融合自适应脑电特征提取方法", 电子学报, no. 12, 15 December 2013 (2013-12-15) * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116035593A (zh) * | 2023-02-02 | 2023-05-02 | 中国科学技术大学 | 一种基于生成对抗式并行神经网络的脑电降噪方法 |
| CN116035593B (zh) * | 2023-02-02 | 2024-05-07 | 中国科学技术大学 | 一种基于生成对抗式并行神经网络的脑电降噪方法 |
| CN115836867A (zh) * | 2023-02-14 | 2023-03-24 | 中国科学技术大学 | 一种双分支融合的深度学习脑电降噪方法、设备及介质 |
| CN115836867B (zh) * | 2023-02-14 | 2023-06-16 | 中国科学技术大学 | 一种双分支融合的深度学习脑电降噪方法、设备及介质 |
| CN116035594A (zh) * | 2023-02-22 | 2023-05-02 | 中国科学技术大学 | 一种基于分割-降噪网络的脑电伪迹去除方法 |
| CN116035594B (zh) * | 2023-02-22 | 2024-05-07 | 中国科学技术大学 | 一种基于分割-降噪网络的脑电伪迹去除方法 |
| CN118021323A (zh) * | 2024-02-27 | 2024-05-14 | 华南理工大学 | 一种多域特征融合的脑电信号识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114947883B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114947883B (zh) | 一种时频域信息融合的深度学习脑电降噪方法 | |
| Roy et al. | Gaussian Elimination‐Based Novel Canonical Correlation Analysis Method for EEG Motion Artifact Removal | |
| CN109784242A (zh) | 基于一维残差卷积神经网络的脑电信号去噪方法 | |
| Chen et al. | Removal of Muscle Artifacts from Single‐Channel EEG Based on Ensemble Empirical Mode Decomposition and Multiset Canonical Correlation Analysis | |
| CN112381008B (zh) | 一种基于并行序列通道映射网络的脑电情感识别方法 | |
| Roy et al. | Image denoising by data adaptive and non-data adaptive transform domain denoising method using EEG signal | |
| CN114266276B (zh) | 一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法 | |
| Ashokkumar et al. | RETRACTED: Implementation of deep neural networks for classifying electroencephalogram signal using fractional S‐transform for epileptic seizure detection | |
| Liu et al. | Removal of EMG artifacts from multichannel EEG signals using combined singular spectrum analysis and canonical correlation analysis | |
| CN114533086B (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
| CN109871831B (zh) | 一种情感识别方法及系统 | |
| CN111543984B (zh) | 一种基于ssda的脑电信号的眼电伪迹去除方法 | |
| Sharma et al. | EMG classification using wavelet functions to determine muscle contraction | |
| Cleatus et al. | Epileptic seizure detection using spectral transformation and convolutional neural networks | |
| Prasad et al. | Mitigation of ocular artifacts for EEG signal using improved earth worm optimization-based neural network and lifting wavelet transform | |
| Gabardi et al. | A multi-artifact EEG denoising by frequency-based deep learning | |
| CN115017960B (zh) | 一种基于时空联合mlp网络的脑电信号分类方法及应用 | |
| CN116035593A (zh) | 一种基于生成对抗式并行神经网络的脑电降噪方法 | |
| CN115462803A (zh) | 一种基于BG-Attention的脑电信号去噪方法、装置及存储介质 | |
| Nguyen et al. | A deep sparse autoencoder method for automatic EOG artifact removal | |
| CN113558637A (zh) | 一种基于相位传递熵的音乐感知下脑网络构建方法 | |
| Zhao et al. | GTSception: a deep learning eeg emotion recognition model based on fusion of global, time domain and frequency domain feature extraction | |
| Mourad | Automatic correction of short‐duration artefacts in single‐channel EEG recording: a group‐sparse signal denoising algorithm | |
| CN116035594B (zh) | 一种基于分割-降噪网络的脑电伪迹去除方法 | |
| Jayashekar et al. | Hybrid Feature Extraction for EEG Motor Imagery Classification Using Multi-Class SVM. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |