CN111067507B - 基于生成对抗网络和策略梯度的心电信号去噪方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络和策略梯度的心电信号去噪方法，包括对测试集中每条心电信号段中的所有样本点进行最大最小归一化；构建生成器和判别器构成的生成对抗网络，生成器建模为一个随机策略，同时也是一个行动者；将判别器建模为评论家，其角色是对生成器输出的样本进行打分；采用梯度下降训练生成器和判别器；设定训练信噪比提升阈值，当信噪比提升值大于训练信噪比提升阈值时停止训练；输出去噪信号。本发明采用强化学习中的策略梯度方法对生成对抗网络进行了优化，分别训练生成器和判别器达到纳什均衡点，此时得到了最好的去噪效果。

Description

基于生成对抗网络和策略梯度的心电信号去噪方法

技术领域

本发明涉及一种心电信号去噪方法，特别是涉及一种基于生成对抗网络和策略梯度的心电信号去噪方法。

背景技术

心电信号是一种具有非线性，周期性，不稳定性等特征的时间序列数据。在采集过程中，由于医疗器械和肌体活动的干扰，实际采集到的心电信号往往掺杂着随机性的噪声，这阻碍了临床试验中相关信息的读取和进一步的疾病诊断。常见的噪声主要为：工频干扰(Electrode Motion Artifact，简称EM)，肌电干扰(Muscle Artifact，简称MA)以及基线漂移(Baseline Wander,简称BW)这三种。

迄今为止，已经涌现出不少关于心电信号的去噪方法。例如小波变换，频谱分解，傅里叶分解，经验模态分解等。这些传统的去噪方法取得了良好的效果，但是在某些方面仍然差强人意，例如：对各类噪声的适应性不够；可能会使得去噪后的心电信号严重失真；不能充分考虑局部性和全局性等。

随着人工智能技术和深度学习方法的不断发展，以去噪自动编码器和生成对抗网络为代表的深度生成式模型也渐渐被应用到了心电信号的去噪任务中。前者会随机地部分采用受损的输入来解决恒等函数风险，使得自动编码器必须进行恢复或去噪。后者是一种在图像处理尤其是图像生成和去噪方面取得良好效果的神经网络，它由生成器(Generator，简称G)和判别器(Discriminator，简称D)组成，生成器负责生成与真实数据分布尽可能接近的模拟数据，判别器则对生成样本进行打分并将梯度反馈给生成器，两者的训练过程遵循一个零和博弈的过程。

基于生成对抗网络的去噪方法普遍优于去噪自编码器和传统的小波去噪方法。然而，在处理长时间心电信号去噪的任务中，基于普通的生成对抗网络的方法则表现不佳。因为心电信号常被当作离散的序列数据来采样，这导致在训练过程中判别器无法有效地将梯度传递给生成器，从而出现训练的不稳定性和去噪效果不佳的情况。

发明内容

本发明的目的是提供一种基于生成对抗网络和策略梯度的心电信号去噪方法，克服了普通的生成对抗网络方法在处理离散数据和长时间依赖方面的不足。

本发明的技术方案是这样的：一种基于生成对抗网络和策略梯度的心电信号去噪方法，包括以下步骤：

S1、对测试集中每条心电信号段中的所有样本点进行最大最小归一化；

S2、构建生成器和判别器构成的生成对抗网络，所述生成器的结构由输入层、隐藏层、全连接层和输出层组成，所述隐藏层基于双向循环神经网络结构BiGRUs，在t时刻，所述生成器的各个参数值满足以下公式：

其中，

和

分别表示t时刻前向

和后向

的隐藏元值，h_t表示t时刻的隐藏元值，f_σ和f_o分别代表隐藏层和输出层的激活函数；

所述判别器由输入层、卷积层、六个组合层、全连接层、软最大化层和输出层构成，所述判别器的软最大化层输出去噪后的样本序列是真和是伪的概率值，所述判别器的输出层则输出去噪序列为真的概率；

S3、所述判别器对所述生成器在t时刻输出的样本点

提供的立即奖赏r_t为：

t时刻的未来累积奖赏为：

其中，s指未来时刻(包含t时刻)，t≤s≤T；γ是折扣因子，设置为0.5。

对于一个T长的完整序列X_denoise，定义该序列的奖赏R为：

所述生成器的目标就是找出一个最优的参数集θ，使得心电信号在所有时刻的未来累积奖赏之和R的期望值

最大；

S4、采用梯度更新法则来寻找生成器最优参数集，计算累积奖赏的期望值

关于参数集θ的梯度

S5、不断训练生成器，每一次训练都执行梯度下降：

其中，θ_old是前一步的生成器参数集，θ_new是执行梯度更新后的生成器参数集，η_g是生成器的学习率；

S6、求判别器D关于参数集φ的梯度，采用梯度更新法则来寻找判别器最优参数集；

S7、不断训练判别器，每一次训练都执行梯度下降：

其中，φ_old是前一步的判别器参数集，φ_new是执行梯度更新后的判别器参数集，η_d是判别器的学习率；

S8、设定训练信噪比提升阈值，不断同步训练生成器和判别器，每一步训练完成后都输出信噪比提升值SNR_improve，当信噪比提升值SNR_improve的值都大于训练信噪比提升阈值时，停止训练，输出参数集θ和φ，由训练完成的生成对抗网络对输入信号进行去噪，所述信噪比提升值SNR_improve是生成器去噪后序列信噪比与原始心电记录信噪比的差值。

进一步地，所述测试集是与待去噪信号类型相同的测试集，所述去噪信号类型包括工频干扰、肌电干扰和基线漂移。

进一步地，所述工频干扰、肌电干扰和基线漂移测试集是分别将工频干扰、肌电干扰和基线漂移以初始信噪比SNR_in添加到原始心电记录集得到，所述

是测试集中某条记录的第t个噪音样本点，x_[t]是该条测试记录对应的原始心电记录集中的第t个样本点。

进一步地，所述生成器的隐藏层激活函数使用Sigmoid激活函数，生成器的输出层激活函数使用Tanh激活函数。

进一步地，所述判别器的卷积层为卷积核大小为1*3，步长为1*1的卷积层，激活函数采用LeakReLU函数，所述判别器的每个组合层由两个卷积层，一个下采样层组成，所述下采样层的池化窗口大小为1*2，步长为1*2，采用平均池化。

进一步地，所述训练信噪比提升阈值由普通对抗网去噪法、堆叠式降噪自动编码器去噪法、深度信念网络去噪法对原始心电记录去噪后计算得到。

本发明与现有技术相比，有益效果是：采用强化学习中的策略梯度方法对生成对抗网络进行了优化，将生成器建模为一个随机策略(行动者)，将判别器建模为评论家，评论家对生成器去噪后的样本打分(相当于给生成器立即奖赏)，生成器的目标是寻找一个最优的参数值(最优策略)，使得其在输出一个完整的去噪序列时，累积奖赏最大，并以现有技术的去噪信噪比提升值为训练终点判断，分别训练生成器和判别器达到纳什均衡点，此时得到了最好的去噪效果。

附图说明

图1为本发明基于生成对抗网络和策略梯度的心电信号去噪方法的流程图；

图2为生成器网络模型图。

具体实施方式

本实例涉及的基于生成对抗网络和策略梯度的心电信号去噪方法的训练数据采用的是MIT-BIH心律失常数据集，总共包含46个心电记录，每个记录的采样率为360HZ，持续时间大约为30分钟，每个记录包含65万个样本点。选择了这46个记录中年龄介于20至40岁的青年女性作为研究对象，经筛选，符合条件的心电记录有五个，分别是：R106、R113、R115、R208和R212号记录，因此训练数据集总共包含325万个样本点，将整个训练数据集划分为3250个长度为1000的心电信号段。

请结合图1所示，具体方法包含以下步骤：

实施细节：

1：对每条心电信号段中的所有样本点进行最大最小归一化：

其中，T＝1000，x_[t]是某条信号段中第t个样本点的导联值；x_max和x_min分别是该条信号段中导联最大和最小的样本点所对应的值。

2：使用physionet官网提供的nst工具将噪音记录工频干扰EM以初始信噪比SNR_in添加到心电记录集{R106,…,R212}中，得到测试集{R_em106,…,R_em212}。对于噪音记录肌电干扰BW和基线漂移MA，采用同样的方法，得到{R_bw106,…,R_bw212}和{R_ma106,…,R_ma212}。

3：采用第一步的归一化方法对第二步得到的三个测试集中的心电记录进行归一化。初始信噪比SNR_in被定义为：

是某测试集中某条记录的第t个噪音样本点，x_[t]是该条测试记录对应的原始记录中的第t个样本点。

4：选择与待去噪信号的类型相同类型的归一化处理后的测试记录，生成器G的输入是测试记录中的T长序列

请结合图2所示，生成器的结构由输入层，隐藏层，全连接层和输出层组成，其中隐藏层基于双向循环神经网络结构BiGRUs，在t时刻，生成器的各个参数值满足以下公式：

其中，

和

分别表示t时刻前向

和后向

的隐藏元值，将它们拼接得到t时刻的隐藏元值h_t。f_σ和f_o分别代表隐藏层和输出层的激活函数，前者使用Sigmoid激活函数，后者使用Tanh激活函数。

生成器G的输出去噪序列为：

在t时刻，生成器G输出的样本点

的条件概率是：

5：去噪后的信噪比SNR_out被定义为：

信噪比的提升值被定义为：SNR_improve＝SNR_out-SNR_in。SNR_improve值越大，主模型的去噪效果越明显。

6：判别器D的网络结构见表格，

它由输入层，Conv1d层(卷积核大小为1*3，步长为1*1的卷积层，激活函数采用LeakReLU函数)，6个组合层，每个组合层由两个Conv1d层，一个下采样层(池化窗口大小为1*2，步长为1*2，采用平均池化)组成。接下来是全连接层，该层包含150个神经元，起到一个承接前后网络层的映射作用。然后是Softmax层，其作用是输出一个向量[P_real,P_false]，两个元素值分别代表去噪后的样本序列是真和是伪的概率值。输出层则输出去噪序列为真的概率，即

φ是判别器D的参数集。定义：模型对生成器在t时刻输出的样本点

提供的立即奖赏r_t为：

t时刻的未来累积奖赏为：

其中，s指未来时刻(包含t时刻)，t≤s≤T；γ是折扣因子，设置为0.5。

对于一个T长的完整序列X_denoise，定义该序列的奖赏R为：

生成器G的目标就是找出一个最优的参数集θ，使得心电信号在所有时刻的未来累积奖赏之和R的期望值

最大。

7：采用梯度更新法则来寻找最优参数集。计算累积奖赏的期望值

关于参数集θ的梯度

其中，b_t是评估生成器G_θ在状态s_t时刻的表现的状态值函数

数据项R_t-b_t类似于行动者-评论家算法中的优势函数A(a_t，s_t)，即：

A(a_t，s_t)＝Q(a_t，s_t)-V(s_t)

其中，

在t时刻，状态s_t视为生成器迄今为止输出的部分序列，动作a_t视为生成器要选择输出的块

Q(a_t，s_t)是状态-动作值函数，V(s_t)是状态值函数。

由于心电信号是采样成离散序列来处理的，采用普通的梯度计算方法会面临生成器不可微的情况，另外判别器也只能对一个完整的去噪序列进行评判。采用类行动者-评论家的梯度计算方法则可避免上述情况。

8：不断训练生成器，每一次训练都执行梯度下降：

其中，θ_old是前一步的生成器参数集，θ_new是执行梯度更新后的生成器参数集，η_g是学习率，设为0.01。

9：求判别器D关于参数集φ的梯度：

其中，x_[k]为原始样本点，

即前面提到的噪音样本点。

10：类似于第8步，采用同样的梯度更新方法不断训练判别器：

其中，φ_old是前一步的判别器参数集，φ_new是执行梯度更新后的判别器参数集，η_d是判别器的学习率，设为0.01。

11：采用已有的普通对抗网(GAN)去噪法、堆叠式降噪自动编码器(DAE)去噪法、深度信念网络(DBN)去噪法，基于初始信噪比相同的心电信号(0dB、1.25dB、5dB)分别去噪，并分别计算去噪完后的信噪比，得到各个方法的信噪比提升值：{SNR_imp1，SNR_imp2，SNR_imp3}。

12：不断同步训练生成器和判别器，每一步训练完成后都输出SNR_improve，当SNR_improve的值都大于SNR_imp1，SNR_imp2，SNR_imp3时，停止训练，输出参数集θ和φ，此时去噪效果达到了最优。

Claims (6)

1.一种基于生成对抗网络和策略梯度的心电信号去噪方法，其特征在于，S1、对测试集中每条心电信号段中的所有样本点进行最大最小归一化；

S2、构建生成器和判别器构成的生成对抗网络，所述生成器的结构由输入层、隐藏层、全连接层和输出层组成，所述隐藏层基于双向循环神经网络结构BiGRUs，在t时刻，所述生成器的各个参数值满足以下公式：

其中，

和

分别表示t时刻前向

和后向

的隐藏元值，h_t表示t时刻的隐藏元值，f_σ和f_o分别代表隐藏层和输出层的激活函数；

所述判别器由输入层、卷积层、六个组合层、全连接层、软最大化层和输出层构成，所述判别器的软最大化层输出去噪后的样本序列是真和是伪的概率值，所述判别器的输出层则输出去噪序列为真的概率；

S3、所述判别器对所述生成器在t时刻输出的样本点

提供的立即奖赏r_t为：

t时刻的未来累积奖赏为：

其中，s指未来时刻(包含t时刻)，t≤s≤T；γ是折扣因子，设置为0.5，

对于一个T长的完整序列X_denoise，定义该序列的奖赏R为：

所述生成器的目标就是找出一个最优的参数集θ，使得心电信号在所有时刻的未来累积奖赏之和R的期望值

最大；

S4、采用梯度更新法则来寻找生成器最优参数集，计算累积奖赏的期望值

关于参数集θ的梯度

其中，b_t是评估生成器G_θ在状态s_t时刻的表现的状态值函数

数据项R_t-b_t为行动者-评论家算法中的优势函数A(a_t,s_t)：

A(a_t,s_t)＝Q(a_t,s_t)-V(s_t)

其中，

在t时刻，状态s_t视为生成器迄今为止输出的部分序列，动作a_t视为生成器要选择输出的块

Q(a_t,s_t)是状态-动作值函数，V(s_t)是状态值函数；

S5、不断训练生成器，每一次训练都执行梯度下降：

其中，θ_old是前一步的生成器参数集，θ_new是执行梯度更新后的生成器参数集，η_g是生成器的学习率；

S6、求判别器D关于参数集φ的梯度，采用梯度更新法则来寻找判别器最优参数集；

S7、不断训练判别器，每一次训练都执行梯度下降：

其中，φ_old是前一步的判别器参数集，φ_new是执行梯度更新后的判别器参数集，η_d是判别器的学习率；

S8、设定训练信噪比提升阈值，不断同步训练生成器和判别器，每一步训练完成后都输出信噪比提升值SNR_improve，当信噪比提升值SNR_improve的值都大于训练信噪比提升阈值时，停止训练，输出参数集θ和φ，由训练完成的生成对抗网络对输入信号进行去噪，所述信噪比提升值SNR_improve是生成器去噪后序列信噪比与原始心电记录信噪比的差值。

2.根据权利要求1所述的基于生成对抗网络和策略梯度的心电信号去噪方法，其特征在于，所述测试集是与待去噪信号类型相同的测试集，所述去噪信号类型包括工频干扰、肌电干扰和基线漂移。

3.根据权利要求2所述的基于生成对抗网络和策略梯度的心电信号去噪方法，其特征在于，所述工频干扰、肌电干扰和基线漂移测试集是分别将工频干扰、肌电干扰和基线漂移以初始信噪比SNR_in添加到原始心电记录集得到，所述

是测试集中某条记录的第t个噪音样本点，x_[t]是该条测试记录对应的原始心电记录集中的第t个样本点。

4.根据权利要求1所述的基于生成对抗网络和策略梯度的心电信号去噪方法，其特征在于，所述生成器的隐藏层激活函数使用Sigmoid激活函数，生成器的输出层激活函数使用Tanh激活函数。

5.根据权利要求1所述的基于生成对抗网络和策略梯度的心电信号去噪方法，其特征在于，所述判别器的卷积层为卷积核大小为1*3，步长为1*1的卷积层，激活函数采用LeakReLU函数，所述判别器的每个组合层由两个卷积层，一个下采样层组成，所述下采样层的池化窗口大小为1*2，步长为1*2，采用平均池化。

6.根据权利要求1所述的基于生成对抗网络和策略梯度的心电信号去噪方法，其特征在于，所述训练信噪比提升阈值由普通对抗网去噪法、堆叠式降噪自动编码器去噪法、深度信念网络去噪法对原始心电记录去噪后计算得到。

Images