CN115836867B

CN115836867B - 一种双分支融合的深度学习脑电降噪方法、设备及介质

Info

Publication number: CN115836867B
Application number: CN202310112583.6A
Authority: CN
Inventors: 陈勋; 崔恒; 刘爱萍
Original assignee: University of Science and Technology of China USTC
Current assignee: University of Science and Technology of China USTC
Priority date: 2023-02-14
Filing date: 2023-02-14
Publication date: 2023-06-16
Anticipated expiration: 2043-02-14
Also published as: CN115836867A

Abstract

本发明公开了一种双分支融合的深度学习脑电降噪方法、设备及介质，该方法的步骤包括：1、将采集到的单通道干净脑电信号以及伪迹信号线性混叠，从而构建训练数据集；2、建立双分支融合网络模型，利用两个分支分别建模干净脑电信号和伪迹信号，并在建模过程中引入交互机制实现两者特征增强，进一步设计融合模块自适应地融合两个分支的结果来进一步恢复干净脑电信号；3、构建损失函数并训练得到最优降噪模型；4、利用训练好的模型实现脑电降噪任务。本发明同时考虑恢复干净脑电和伪迹信号，从而能提高重构脑电信号的质量，对人机交互和医疗健康等领域具有重要意义。

Description

一种双分支融合的深度学习脑电降噪方法、设备及介质

技术领域

本发明涉及脑电信号处理及人工智能领域，具体涉及一种基于深度学习的脑电降噪方法、设备及介质。

背景技术

脑电信号（Electroencephalogram, EEG）是记录大脑活动的有力工具，能够更客观、可靠地捕捉人类的脑部状态。由于时间分辨率高、安全性高和获取成本低等优势，EEG在认知科学研究、脑机接口、睡眠监测、情感计算、疾病诊断等领域具有广泛的应用。然而，EEG十分微弱，容易受到眼电、肌电、心电、工频干扰、运动伪迹等多种伪迹污染。这些伪迹的存在严重阻碍后续的脑电分析，限制EEG的实际应用。因此，脑电降噪至关重要，在科研和应用中均受到广泛关注。

传统上，独立成分分析、典型相关分析等盲原分离（Blind Source Separation,BSS）算法是脑电降噪最常用的方法。然而，BSS算法需要对伪迹组件进行手动检查和剔除，或针对特定的伪迹设置合适的阈值，不利于实际应用。相比之下，基于深度学习的降噪方法可以自动从原始信号中提取EEG特征，而不需要先验知识，获得了研究人员的青睐。近年来，卷积神经网络、长短时记忆网络等深度神经网络被用于脑电降噪领域，并被证明比传统方法更有前景。

然而，存在的深度学习方法仅考虑估计干净的EEG，而忽略了对污染信号中存在伪迹的建模，这会导致重建EEG不可避免地存在伪迹残留或信息丢失，从而影响最终的降噪性能。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种双分支融合的深度学习脑电降噪方法、设备及介质，以期能利用两个分支分别重建EEG和伪迹，并融合两个分支的结果来进一步恢复干净EEG，从而能提升重建EEG信号的质量，并获得更好的降噪效果。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种双分支融合的深度学习脑电降噪方法的特点在于，包括以下步骤：

步骤1、获取一批单通道的干净脑电信号和伪迹信号，并通过线性混叠的方式对干净脑电信号与伪迹信号进行处理，获得半仿真的含噪脑电信号，用于构建样本对并得到训练数据集，所述训练数据集中任意一个样本对记为{(x,a,y)|x,a,y∈R^1×T}，其中，y表示含噪脑电信号，x和a表示对应的干净脑电信号和伪迹信号，T表示信号长度；

步骤2、建立双分支融合网络模型，包括：两路并行的脑电重建分支和伪迹重建分支，以及特征增强模块和双分支融合模块，并将所述含噪脑电信号y输入到双分支融合网络模型，得到最终预测的干净脑电信号x^p；

步骤2.1、所述含噪脑电信号y分别输入所述脑电重建分支、伪迹重建分支中进行处理，并通过所述特征增强模块将两个分支的中间结果进行交互后，再由所述脑电重建分支、伪迹重建分支分别输出重建脑电信号x’和重建伪迹信号a’；

步骤2.2、将所述含噪脑电信号y与重建伪迹信号a’作差后，得到另一个重建脑电信号x’’，将两个重建脑电信号x’和x’’合并输入到所述双分支融合模块中进行处理，得到最终预测的干净脑电信号x^p；

步骤3、构建损失函数并训练得到最优降噪模型；

步骤3.1、利用式(1)构建损失函数L：

L(θ_E,θ_A,θ_I,θ_F) = MSE(x’,x; θ_E,θ_A,θ_I) + MSE(a’,a; θ_E,θ_A,θ_I) + MSE(x^p,x;θ_F) (1)

式(1)中，θ_E,θ_A,θ_I,θ_F分别表示脑电重建分支、伪迹重建分支、特征增强模块和双分支融合模块的待优化参数，MSE(•)表示均方误差损失函数；

步骤3.2、基于训练数据集，利用Adam优化器对所述双分支融合网络模型进行训练，并计算所述损失函数L并反向传播至网络模型中进行优化，当损失函数L收敛时停止训练，从而获得最优降噪模型；

步骤4、以所述最优降噪模型对一批含噪脑电信号进行降噪处理，得到干净脑电信号。

本发明所述的双分支融合的深度学习脑电降噪方法的特点也在于，所述步骤2中的脑电重建分支和伪迹重建分支均由若干个一维卷积层和全连接层构成，其中，一维卷积层用于提取深度特征，全连接层用于重建干净脑电信号和伪迹信号。

所述步骤2.1包括：

步骤2.1.1、所述含噪脑电信号y分别输入到脑电重建分支、伪迹重建分支中，并相应经过若干个一维卷积层中的处理后，对应输出脑电特征F_E和伪迹特征F_A；

步骤2.1.2、所述脑电特征F_E和伪迹特征F_A合并输入到所述特征增强模块中进行处理，相应输出增强脑电特征F’_E和增强伪迹特征F’_A；

步骤2.1.3、所述增强脑电特征F’_E和增强伪迹特征F’_A分别输入到脑电重建分支和伪迹重建分支的全连接层中进行处理，相应输出重建脑电信号x’和重建伪迹信号a’。

所述特征增强模块是由一维卷积层和Sigmoid激活函数构成，用于从对脑电重建分支、伪迹重建分支中提取增强特征。

所述步骤2.2中的双分支融合模块包括：一维卷积层和Sigmoid激活函数，并用于对两个重建脑电信号x’和x’’进行处理后，输出掩码向量M；从而利用式(2)计算出最终预测的干净脑电信号x^p：

(2)

式(2)中，

表示点乘。

本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行任一所述深度学习脑电降噪方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行一所述深度学习脑电降噪方法的步骤。

与现有技术相比，本发明的有益效果在于：

1、本发明设计两个分支能同时重建污染信号中存在的干净EEG和伪迹信号，并利用融合模块自适应地融合两个分支的结果来进一步恢复干净EEG，从而提升了重建EEG信号的质量，并大幅提升了深度神经网络的降噪能力。在公开数据集中的实验结果显示，本发明提出的方法降噪性能高于多个现有的降噪网络。

本发明设计特征增强模块来实现两个分支之间的特征交互。由于两个分支共享输入，EEG分支提取的特征不可避免地存在残留的伪迹成分，反之亦然。在两个分支之间引入特征增强模块以抵消残留成分及恢复丢失成分，若使两者相互受益，从而能自适应地从对方分支中捕捉自己分支遗漏的特征，进而实现了特征增强，进一步提升了EEG降噪能力。

附图说明

图1为本发明提出的双分支融合网络模型框架图；

图2是本发明提出的特征增强模块结构图；

图3是本发明提出的双分支融合模块结构图。

具体实施方式

本实施例中，一种双分支融合的深度学习脑电降噪方法，包括以下步骤：

步骤1、获取一批单通道的干净脑电信号和伪迹信号，并通过线性混叠的方式对干净脑电信号与伪迹信号进行处理，获得半仿真的含噪脑电信号，用于构建样本对并得到训练数据集。

具体实施中，从公开数据集DenoiseNet获取2s的干净脑电、肌电伪迹和眼电伪影片段，从公开数据集PhysiobankMotion Artifacts Dataset获取9分钟的运动伪迹数据并将其切片到若干2s的运动伪迹片段，所有数据重采样至256Hz。在完成数据收集后，含噪脑电信号按照如下公式生成：

a = λn (3)

y = x + a (4)

式(3)和式(4)中，n表示原始伪迹信号，λ表示伪迹的幅值控制参数，y表示含噪脑电信号，x和a表示对应的干净脑电信号和伪迹信号。

训练数据集中任意一个样本对记为{(x,a,y)|x,a,y∈R^1×T}，其中，T表示信号长度，在本实施例中，T = 512。含噪脑电信号y作为模型输入数据，干净脑电信号x作为对应的标签。

步骤2、建立双分支融合网络模型，如图1所示，模型包括：两路并行的脑电重建分支和伪迹重建分支，以及特征增强模块和双分支融合模块，并将含噪脑电信号y输入到双分支融合网络模型，得到最终预测的干净脑电信号x^p。

步骤2.1、含噪脑电信号y分别输入脑电重建分支、伪迹重建分支中进行处理，并通过特征增强模块将两个分支的中间结果进行交互后，再由脑电重建分支、伪迹重建分支分别输出重建脑电信号x’和重建伪迹信号a’。

脑电重建分支和伪迹重建分支均由若干个一维卷积层和全连接层构成，其中，一维卷积层用于提取深度特征，全连接层用于重建干净脑电信号和伪迹信号。特征增强模块是由一维卷积层和Sigmoid激活函数构成，用于从对脑电重建分支、伪迹重建分支中提取增强特征。本实施例中，脑电重建分支和伪迹重建分支分别包含三层一维卷积层和一层全连接层，一维卷积层通道数为32，卷积核尺寸为9，全连接层神经元数为512。特征增强模块如图2所示，主要包含两层一维卷积层和Sigmoid激活函数，两层一维卷积层通道数分别为32和4，卷积核尺寸均为9。

步骤2.1.1、含噪脑电信号y分别输入到脑电重建分支、伪迹重建分支中，并相应经过若干个一维卷积层中的处理后，对应输出脑电特征F_E和伪迹特征F_A。

步骤2.1.2、脑电特征F_E和伪迹特征F_A合并输入到特征增强模块中进行处理，相应输出增强脑电特征F’_E和增强伪迹特征F’_A。

以增强脑电特征F’_E和为例，本实施例中，将脑电特征F_E和伪迹特征F_A合并输入到特征增强模块中的第一个一维卷积层和Sigmoid激活函数，得到掩码矩阵M_A，将掩码矩阵M_A和伪迹特征F_A逐元素相乘，并输入到第二个一维卷积层，得到残留脑电特征F_A2E，合并残留脑电特征F_A2E和脑电特征F_E得到增强脑电特征F’_E，过程如下：

M_A= Sigmoid(Conv(F_E||F_A)) (5)

F_A2E= Conv(M_A

F_A) (6)

F’_E= F_A2E|| F_E (7)

式(5)-式(7)中，||表示连接操作，

表示点乘。同理可获得增强伪迹特征F’_A。

步骤2.1.3、增强脑电特征F’_E和增强伪迹特征F’_A分别输入到脑电重建分支和伪迹重建分支的全连接层中进行处理，相应输出重建脑电信号x’和重建伪迹信号a’。

步骤2.2、将含噪脑电信号y与重建伪迹信号a’作差后，得到另一个重建脑电信号x’’，将两个重建脑电信号x’和x’’合并输入到双分支融合模块中进行处理，得到最终预测的干净脑电信号x^p。

双分支融合模块包括：一维卷积层和Sigmoid激活函数，并用于对两个重建脑电信号x’和x’’进行处理后，输出掩码向量M，从而利用式(2)计算出最终预测的干净脑电信号x^p：

(2)

本实施例中，双分支融合模块如图3所示，包含三层一维卷积层和Sigmoid激活函数，三层一维卷积层通道数分别为32，32和1，卷积核尺寸均为9。

步骤3、构建损失函数并训练得到最优降噪模型。

步骤3.1、利用式(1)构建损失函数L：

式(1)中，θ_E,θ_A,θ_I,θ_F分别表示脑电重建分支、伪迹重建分支、特征增强模块和双分支融合模块的待优化参数，MSE(•)表示均方误差损失函数。

步骤3.2、基于训练数据集，利用Adam优化器对双分支融合网络模型进行训练，并计算损失函数L并反向传播至网络模型中进行优化，当损失函数L收敛时停止训练，从而获得最优降噪模型。本实施例中，训练次数设置为100，batchsize设置为128。

步骤4、以最优降噪模型对一批含噪脑电信号进行降噪处理，得到干净脑电信号。

模型的最终的性能由相对均方根误差（Relative Root Mean Squared Error,RRMSE），相关系数（CorrelationCoefficient, CC），信噪比（Signal-to-Noise Ratio,SNR）三个常见的指标来评估，其中RRMSE值越小越好；CC取值范围在0-1之间，越接近1表明降噪效果越好；SNR越大表明降噪效果越好。具体实施过程中，双分支融合网络模型与深度学习降噪模型中FCNN、SCNN、RNN以及ResCNN进行对比。所有方法的降噪结果如表1：

表1. 不同方法的降噪性能

结果表明，本发明的降噪效果优于存在的深度学习的脑电降噪模型。在三种不同的评估指标上，本发明提出的双分支融合网络模型都得到了所有降噪方法中最好的效果，这表明从污染信号中同时恢复干净脑电和伪迹信号，可以提高重构脑电信号的质量。本发明为脑电降噪技术的开发提供一个新的思路，并且有益于后续各类基于EEG的分析与应用。

Claims

1.一种双分支融合的深度学习脑电降噪方法，其特征在于，包括以下步骤：

步骤3、构建损失函数并训练得到最优降噪模型；

步骤3.1、利用式(1)构建损失函数L：

L(θ_E,θ_A,θ_I,θ_F) = MSE(x’,x; θ_E,θ_A,θ_I) + MSE(a’,a; θ_E,θ_A,θ_I) + MSE(x^p,x; θ_F) (1)

2.根据权利要求1所述的双分支融合的深度学习脑电降噪方法，其特征在于，所述步骤2中的脑电重建分支和伪迹重建分支均由若干个一维卷积层和全连接层构成，其中，一维卷积层用于提取深度特征，全连接层用于重建干净脑电信号和伪迹信号。

3.根据权利要求2所述的双分支融合的深度学习脑电降噪方法，其特征在于，所述步骤2.1包括：

4.根据权利要求3所述的双分支融合的深度学习脑电降噪方法，其特征在于，所述特征增强模块是由一维卷积层和Sigmoid激活函数构成，用于从对脑电重建分支、伪迹重建分支中提取增强特征。

5.根据权利要求1所述的双分支融合的深度学习脑电降噪方法，其特征在于，所述步骤2.2中的双分支融合模块包括：一维卷积层和Sigmoid激活函数，并用于对两个重建脑电信号x’和x’’进行处理后，输出掩码向量M；从而利用式(2)计算出最终预测的干净脑电信号x^p：

(2)

式(2)中，

表示点乘。

6.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1-5中任一所述深度学习脑电降噪方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

7.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1-5中任一所述深度学习脑电降噪方法的步骤。