CN115878966A

CN115878966A - 基于对抗生成网络的心音数据增强方法及系统

Info

Publication number: CN115878966A
Application number: CN202211535400.3A
Authority: CN
Inventors: 杨立才; 李嘉恺; 徐振; 朱仲军; 王子嘉
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2022-12-02
Filing date: 2022-12-02
Publication date: 2023-03-31

Abstract

本发明公开了基于对抗生成网络的心音数据增强方法及系统，其中所述方法包括：获取心音信号；对获取的心音信号进行滤波降噪处理，然后对降噪处理后的心音信号进行归一化处理，然后对归一化处理后的信号，根据心音信号中第一心音的起始位置，将心音信号分割成若干个长度相等的心音片段；将心音片段输入到生成对抗网络模型中，对模型进行训练，得到训练后的生成网络和训练后的鉴别网络；获取通过正态分布随机生成的高斯白噪声，将所述高斯白噪声输入到训练后的生成网络中，得到增强的心音数据。

Description

基于对抗生成网络的心音数据增强方法及系统

技术领域

本发明涉及心音信号数据处理技术领域，特别是涉及基于对抗生成网络的心音数据增强方法及系统。

背景技术

本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。

心血管病是目前世界上常见的一类疾病。当前全世界每年有1790万人死于心血管疾病，占全球所有死亡人数的32％。预计到2030年每年因心血管疾病死亡的人数将增加至2300万人。尽早发现心血管疾病时是十分重要的，这样可以得到更有效的治疗，因此快速准确地对心血管疾病做出诊断有着重大的意义。

心音指由心肌收缩、心脏瓣膜关闭和血液撞击心室壁、大动脉壁等引起的机械波现象所产生的声音。它可在胸壁一定部位用听诊器听取，也可用仪器记录心音的机械波，其机械波随时间变化的图称为心音图。心音信号包含大量心脏生理信息，心音检测结果可以比其他检测结果更早表现器质性心脏病体征，因此对心音信号进行分析，其结果可以有助于心血管疾病的辅助诊断。

近年来，基于生物信号处理和人工智能技术的心音自动分析正成为一个热门的研究点，从而减少昂贵和耗时的人工检查。基于人工智能技术的计算机辅助心音分析中，构建心音数据集是一个关键问题。目前存在的心音数据集数量相对较少，并且大部分数据集中的心音质量和数量都不足以满足训练分类模型的要求。PhysioNet/CinC 2016心音识别挑战赛上，公布了一个拥有3240条心音信号的大规模心音数据集，其中正常心音665条，异常心音2575条，每条心音信号的长度在5～120s之间。但是这个数据集也不足以满足深度学习模型的要求，一方面是数据量不足，另一方面是数据不平衡。

当训练数据不足时，模型从原始数据中获取的信息比较少，会出现过拟合问题，即模型只能识别在训练集中的数据，但在测试集上的识别效果不佳，模型的泛化能力弱。当遇到数据不平衡时，以总体识别准确率为学习目标的分类算法会过多地关注数量较多的类，使得少数类样本的识别性能下降，从而降低了整体的识别性能。

发明内容

为了解决现有技术的不足，本发明提供了基于对抗生成网络的心音数据增强方法及系统；该方法利用对抗生成网络，生成足够多的心音数据，以满足训练深度学习模型的需要。

第一方面，本发明提供了基于对抗生成网络的心音数据增强方法；

基于对抗生成网络的心音数据增强方法，包括：

获取心音信号；

对获取的心音信号进行滤波降噪处理，然后对降噪处理后的心音信号进行归一化处理，然后对归一化处理后的信号，根据心音信号中第一心音的起始位置，将心音信号分割成若干个长度相等的心音片段；

将心音片段输入到生成对抗网络模型中，对模型进行训练，得到训练后的生成网络和训练后的鉴别网络；

获取通过正态分布随机生成的高斯白噪声，将所述高斯白噪声输入到训练后的生成网络中，得到增强的心音数据。

第二方面，本发明提供了基于对抗生成网络的心音数据增强系统；

基于对抗生成网络的心音数据增强系统，包括：

获取模块，其被配置为：获取心音信号；

预处理模块，其被配置为：对获取的心音信号进行滤波降噪处理，然后对降噪处理后的心音信号进行归一化处理，然后对归一化处理后的信号，根据心音信号中第一心音的起始位置，将心音信号分割成若干个长度相等的心音片段；

训练模块，其被配置为：将心音片段输入到生成对抗网络模型中，对模型进行训练，得到训练后的生成网络和训练后的鉴别网络；

输出模块，其被配置为：获取通过正态分布随机生成的高斯白噪声，将所述高斯白噪声输入到训练后的生成网络中，得到增强的心音数据。

第三方面，本发明还提供了一种电子设备，包括：

存储器，用于非暂时性存储计算机可读指令；以及

处理器，用于运行所述计算机可读指令，

其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。

第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。

第五方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。

与现有技术相比，本发明的有益效果是：

(1)本发明通过使用生成对抗网络生成大量数据，可以有效地解决心音信号训练数据不足的问题。

(2)本发明可以通过训练不同种类的心音数据，得到多种心音类型的增强数据，这样可以解决心音数据集数据不平衡问题，即不同类型的心音数据量不一致的问题。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1所示为本发明基于对抗生成网络的心音数据增强方法的流程图；

图2所示为对抗生成网络的基本结构图；

图3所示为生成网络的基本结构图；

图4所示为鉴别网络的基本结构图；

图5所示为实验结果的混淆矩阵。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。

术语解释：

第一心音：在心脏生理学中，第一心音(英语:first heart sound，S1)是一种心音，并且是心动周期中第一个发出的心音，通常由二尖瓣(M)和三尖瓣(T)处发出，略与颈动脉搏同步，通常与心尖搏动同时出现，在心尖处有最大的振幅。第一心音是一个复合波，由房室瓣关闭与半月瓣开启的机械波组成，始于房室瓣关闭终于半月瓣开启，通常振幅最高、历时较长、波长最长的心音。第一心音发生在心缩期，且是其开始的标志。

实施例一

本实施例提供了基于对抗生成网络的心音数据增强方法；

如图1所示，基于对抗生成网络的心音数据增强方法，包括：

S101：获取心音信号；

S102：对获取的心音信号进行滤波降噪处理，然后对降噪处理后的心音信号进行归一化处理，然后对归一化处理后的信号，根据心音信号中第一心音的起始位置，将心音信号分割成若干个长度相等的心音片段；

S103：将心音片段输入到生成对抗网络模型中，对模型进行训练，得到训练后的生成网络和训练后的鉴别网络；

S104：获取通过正态分布随机生成的高斯白噪声，将所述高斯白噪声输入到训练后的生成网络中，得到增强的心音数据。

本发明通过利用训练后的生成网络生成更多的数据，以满足训练分类模型的需要。

进一步地，所述获取心音信号，是采集被测试者在静息状态下的心音信号，作为生成对抗网络模型的训练数据。

示例性地，让被试者在实验床上平躺，信号采集人员为被试者佩戴心音换能器，放置于二尖瓣听诊区(左锁骨中线第五肋间内侧)，用弹性带固定。然后工作人员设置RM-6280C多功能生理实验系统的工作参数，采样频率为1000Hz。并作采集信号检测，以确保采集信号正常。叮嘱被测者在采集过程中尽量保持平静状态，且不要有任何肢体动作。一切准备工作完成后，单击记录按钮，采集时长为五分钟的心音信号，同时观察并记录采集过程中信号是否有异常情况。然后单击结束按钮，并将信号导出存储。

进一步地，所述滤波降噪处理，采用频率范围为10-400Hz的切比雪夫带通滤波器。

示例性地，由于心音信号的频率范围为20-200Hz，而采集设备的采样频率为1000Hz，根据奈奎斯特采样定理，采用频率范围为10-400Hz的切比雪夫带通滤波器去除心音信号中的低频和高频噪声信号。

进一步地，所述归一化处理，采用最大-最小值归一化算法，具体公式如下：

其中，x(n)为原始信号，y(n)为归一化处理后的信号。

进一步地，所述对归一化处理后的信号，根据心音信号中第一心音的起始位置，将心音信号分割成若干个长度相等的心音片段，具体包括：

将归一化处理后的原始信号，通过希尔伯特变换，得到原始信号的解析信号；解析信号的幅值就是原始信号的希尔伯特包络；

将归一化处理后的原始信号，通过平均香农能量处理，得到平均香农能量包络；

将希尔伯特包络与平均香农能量包络均进行最大-最小值归一化处理，得到归一化处理后的第一中间信号和第二中间信号；

将第一中间信号与第二中间信号进行相乘，得到心音信号的包络信号；

将心音信号的包络信号的幅值最大值与设定阈值参数a相乘，得到设定阈值Th；

对信号幅值大于设定阈值Th的点，采用局部最大值算法选取分割点，所选取的分割点视为心音信号中第一心音的起始位置。

应理解地，局部最大值算法，是指已知样本点x(n)，如果x(n-1)的值小于x(n)，并且x(n+1)的值小于x(n),则x(n)为局部最大值点。

应理解地，希尔伯特包络由希尔伯特变换得到，希尔伯特变换的公式为：

其中x(t)为原始信号，h(t)为希尔伯特变换后的信号。

通过希尔伯特变换，得到原始信号的解析信号：

s(t)＝x(t)+jh(t)

s(t)的幅值

就是信号的希尔伯特包络。

平均香农能量包络由信号的香农能量包络得到，具体公式为：

其中，x(t)为原始信号，y(t)为平均香农能量包络，N为均值滤波的数据点数，本发明设定为10。

将两种包络同时进行最大-最小值归一化，然后将两种信号相乘得到包络信号。然后设定阈值Th，Th的公式如下：

Th＝a*M

其中M为包络信号的最大值，a为阈值参数，本发明设定为0.5。最后对大于阈值的样本点使用局部最大值算法选取分割点。

进一步地，如图2所示，所述生成对抗网络模型，其网络结构包括：

相互连接的生成网络和鉴别网络；

所述生成网络，包括：依次连接的六个线性函数层，其中，前五个线性函数层使用Relu函数作为激活函数，最后一个线性函数层使用tanh函数作为激活函数；

所述鉴别网络，包括：依次连接的五个线性函数层，其中，前四个线性函数层使用LeakyRelu函数作为激活函数，最后一个线性函数层不使用激活函数。

生成网络通过一些噪声数据生成和真实样本比较相近的生成样本，而鉴别网络就需要真实样本和生成样本进行对比，通过是否能够判断出样本的真假从而判断生成网络的好坏。生成网络的基本结构如图3所示，生成网络由6个线性函数层组成，其中前五层使用Relu函数作为激活函数，最后一层使用tanh函数作为激活函数。鉴别网络的基本结构如图4所示，鉴别网络由5个线性函数层组成，其中前四层使用参数为0.2的LeakyRelu函数作为激活函数，最后一层不使用激活函数。

进一步地，所述S103：将心音片段输入到生成对抗网络模型中，对模型进行训练，得到训练后的生成网络和训练后的鉴别网络，具体训练过程包括：

S103-1：通过正态分布随机生成若干个高斯白噪声样本，将高斯白噪声样本经过生成网络的计算，得到若干个生成样本；

S103-2：将心音片段作为真实样本，将真实样本与生成样本同时输入到鉴别网络中，根据鉴别网络的损失函数计算损失值，优化鉴别网络的参数，重复训练N次，N为正整数；

S103-3：鉴别网络重复训练N次后，根据生成网络的损失函数计算损失值，优化生成网络的参数；

S103-4：重复S103-1～S103-3，直到使用其他分类算法识别真实样本和生成样本的正确率等于50％，完成训练；

其中，其他分类算法，具体包括：K最近邻算法、支持向量机(SVM)算法或随机森林算法。

进一步地，所述鉴别网络的损失函数，为：

其中，P_r表示真实样本的分布；P_g表示生成样本的分布；D(x)表示鉴别网络的输出，

表示鉴别网络的梯度；||·||₂表示二范数；/>

表示/>

的分布；

表示真实样本经过鉴别网络后的输出值的期望，N表示真实样本的数量；

表示生成样本经过鉴别网络后的输出值的期望，N表示生成样本的数量；/>

表示梯度惩罚项，N表示/>

样本的数量；

表示鉴别网络的梯度其中x₁…x_n表示样本x的各个维度的分量；

其中，

ε表示一个服从[0,1]均匀分布的随机数，x_r表示随机选取的一个真实样本，x_g表示随机选取的一个生成样本。优化函数选取Adam优化方法。

鉴别网络的损失函数公式的前两项表示真实样本分布和生成样本分布之间的Wasserstein距离，前两项的值越小，表示越接近拟合真实分布与生成分布之间的Wasserstein距离。

Wasserstein距离是一种度量两个分布间距离的值，它的优越性在于，即便两个分布没有重叠，Wasserstein距离仍然能够反映它们的远近。

鉴别网络的损失函数最后一项被称为梯度惩罚项，会把鉴别网络的梯度限制在一定范围内，这样梯度可控性非常强，容易调整到合适的尺度大小。

进一步地，生成网络的损失函数为：

生成网络的损失函数就是鉴别网络的损失函数第二项的相反数，生成网络的损失函数越小，表示真实样本分布和生成样本分布之间的差异越大。优化函数同样选取Adam优化方法。

使用不同标签的训练样本可以分别训练出与之相对应的生成网络，对某一类数量较少的样本可以使用生成网络生成足够数量的样本，从而使各类的数量一致，解决数据不平衡问题。

为了验证本发明所生成的心音数据的有效性，进行了如下实验：

采用卷积神经网络分类方法，将生成数据作为训练数据，对真实样本进行分类，通过对真实样本的分类准确率验证心音数据的有效性。

实验中训练集使用了14000条生成样本，其中正常心音和异常心音各7000条。测试集中的真实心音样本4819条，其中正常样本2460条，异常样本2359条。每条样本时长为2s，采样频率为1000Hz。真实心音样本通过实验室采集得到。

总体的实验步骤包括：

对样本进行滤波和去噪；提取样本的Mel频率倒谱系数(MFCC)；将MFCC特征作为输入数据输入神经网络模型中进行训练；测试神经网络模型的识别准确率。

分类网络使用了一个5层的卷积神经网络，其中包括依次连接的第一卷积层、第二卷积层、第三卷积层、第一线性层和第二线性层；每一层的激活函数选取Relu函数。使用Adam优化方法优化神经网络参数，使用交叉熵函数作为神经网络的损失函数。

实验结果如图5的混淆矩阵所示，分类模型准确识别了2177条正常样本和1936条异常样本。模型的精确率为87.2％，召回率为82.1％，总体的准确率为85.3％。实验结果可以说明本发明所生成的心音数据是有效的，生成对抗网络所生成的心音具有和真实的心音相似的特征。该方法利用对抗生成网络，生成足够多的心音数据，可以满足训练深度学习模型的需要。

实施例二

本实施例提供了基于对抗生成网络的心音数据增强系统；

基于对抗生成网络的心音数据增强系统，包括：

获取模块，其被配置为：获取心音信号；

此处需要说明的是，上述获取模块、预处理模块、训练模块和输出模块对应于实施例一中的步骤S101至S104，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。

所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。

实施例三

本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

实施例四

本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。