CN113855063B - 一种基于深度学习的心音自动诊断系统 - Google Patents

一种基于深度学习的心音自动诊断系统 Download PDF

Info

Publication number
CN113855063B
CN113855063B CN202111226647.2A CN202111226647A CN113855063B CN 113855063 B CN113855063 B CN 113855063B CN 202111226647 A CN202111226647 A CN 202111226647A CN 113855063 B CN113855063 B CN 113855063B
Authority
CN
China
Prior art keywords
heart sound
sound signal
classification
heart
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111226647.2A
Other languages
English (en)
Other versions
CN113855063A (zh
Inventor
李强
张浩波
张鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Wuhan Zhongke Medical Technology Industrial Technology Research Institute Co Ltd
Original Assignee
Huazhong University of Science and Technology
Wuhan Zhongke Medical Technology Industrial Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, Wuhan Zhongke Medical Technology Industrial Technology Research Institute Co Ltd filed Critical Huazhong University of Science and Technology
Priority to CN202111226647.2A priority Critical patent/CN113855063B/zh
Publication of CN113855063A publication Critical patent/CN113855063A/zh
Application granted granted Critical
Publication of CN113855063B publication Critical patent/CN113855063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/02—Stethoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Acoustics & Sound (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明公开了一种基于深度学习的心音自动诊断系统，属于医学信号处理领域，包括心音信号处理模块，用于对心音信号进行预处理，并将预处理后的心音信号分割成多个等长的心音信号片段；心音检测模块用于将所得心音信号片段分别输入到预训练好的心音检测模型中，得到每个心音信号片段的心音类别；综合各心音信号片段的心音类别，得到待测心音信号的心音类别；本发明提供了一种心音检测模型端到端对心音信号进行自动检测，通过将LSTM提取的多层次时序特征与CNN提取的局部特征相结合，充分利用CNN局部特征提取能力与LSTM长期依赖性捕获能力的优势，大大提高了分类精度。

Description

一种基于深度学习的心音自动诊断系统
技术领域
本发明属于医学信号处理领域，更具体地，涉及一种基于深度学习的心音自动诊断系统。
背景技术
心脏病已成为威胁人类健康的头号杀手，每年大约有1700万人死于心脏病，心脏病的早期诊断对于降低其死亡率至关重要。心音(PCG)是心脏及心血管系统机械运动产生的声音，其中包含心血管疾病早期病理信息，已被证明能有效发现潜在的早期心血管疾病。目前，临床医生主要通过传统听诊器辨识心音，诊断结果的准确性极大依赖医生个人经验。同时，许多国家医生资源严重不足，心音作为小型诊所或者家庭使用的心脏病初步筛选手段，研究一种自动分析与诊断的心音诊断系统存在重要意义。
现有的心音自动诊断技术大多包含心动周期分割、特征提取、人工智能算法分类三部分。首先通过基于逻辑回归的隐马尔可夫模型将心音信号分割成一个个完整的心动周期以对齐心动周期起点；然后，对心动周期特征进行手动提取后送至传统的机器学习模型或者深度学习模型进行分类；其分类性能很大程度上取决于特征提取的效果，而手工提取的心动周期特征主要基于学者对心动周期的认知，往往仅能表征心动周期的在某一方面的特点，并不能基于要解决的技术问题学习到心动周期特征的底层特性，精确度不高。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供一种基于深度学习的心音自动诊断系统，用以解决现有技术无法精确的对心音信号进行分类的技术问题。
为了实现上述目的，本发明提供了一种基于深度学习的心音自动诊断系统，包括：
心音信号处理模块，用于对心音信号进行预处理，并将预处理后的心音信号分割成多个等长的心音信号片段；
心音检测模块，用于将所得心音信号片段分别输入到预训练好的心音检测模型中，得到每个心音信号片段的心音类别；综合各心音信号片段的心音类别，得到待测心音信号的心音类别；
其中，上述心音检测模型包括：
m个级联的CNN块，用于对心音信号片段进行不同深度的卷积运算和下采样，得到心音信号片段多个不同深度和层次的局部特征；m≥3；
n个LSTM，分别与前m-1级CNN块中的任意n个CNN块的输出端一一对应相连，用于分别提取所连接的n个CNN块输出的局部特征的时序信息，得到心音信号片段的n个不同层次的时序特征；1<n<m；
拼接层，与第m级CNN块的输出端以及n个LSTM的输出端相连，用于将第m级CNN块输出的局部特征以及n个LSTM输出的时序特征进行拼接；
分类层，与拼接层的输出端相连，用于将上一级输入的特征映射成对应的心音分类概率，从而得到心音信号片段的心音类别。
进一步优选地，上述心音自动诊断系统还包括训练模块，用于将预采集到携带有心音分类标签的多个心音信号分别输入到心音信号处理模块中，得到各心音信号的各心音信号片段；采用各心音信号的各心音信号片段与对应的心音分类标签所构成的训练集训练心音检测模型，得到预训练好的心音检测模型。
进一步优选地，上述心音检测模型还包括：决策层和输入端分别与第m级CNN块的输出端以及n个LSTM的输出端一一对应相连的n+1个分类层；决策层的输入端和所有分类层的输出端均相连；
决策层用于将上述所有分类层输出的心音分类概率进行加和，从而得到心音信号片段的心音类别。
进一步优选地，上述心音检测模型的损失函数：
Figure BDA0003314346520000031
其中，N为训练集中心音信号片段的个数；k为心音类别数量；yij为第i个心音信号片段的类别为第j个心音类别的真实概率；Pijq为第q个分类层输出的第i个心音信号片段的类别为第j个心音类别的预测概率。
进一步优选地，CNN块包括：级联的卷积单元和下采样层；卷积单元为一个或多个；当卷积单元为多个时，各卷积单元相互级联；
其中，第l级CNN块中的下采样层用于对输入的特征进行下采样；1≤l＜m；
第m级CNN块中的下采样层用于对输入的特征进行全局池化，将其特征维度尺寸降为1。
进一步优选地，分类层包括：级联的全连接层和激活层；
全连接层用于对输入的特征进行降维；
激活层用于将降维后的特征映射成对应的心音分类概率，从而得到心音信号片段的心音类别。
进一步优选地，心音信号处理模块通过以下方式获取心音信号片段：从多个不同的起点开始将预处理后的心音信号分割成多个等长的心音信号片段；其中，同一起点下的相邻两个心音信号片段之间存在固定比例的重叠。
进一步优选地，心音信号处理模块通过以下方式对心音信号进行预处理：将心音信号依次进行归一化和滤波处理，以滤除低频伪像、基线漂移以及高频噪声的干扰。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
1、本发明提供了一种基于深度学习的心音自动诊断系统，提供了一种多层次的深度学习网络端到端对心音信号进行自动检测，通过将LSTM提取的多层次时序特征与CNN提取的局部特征相结合，充分利用CNN局部特征提取能力与LSTM长期依赖性捕获能力的优势，大大提高了分类精度。
2、本发明所提供的心音自动诊断系统，通过对第m级CNN块的输出端、n个LSTM的输出端以及拼接层的输出端均添加分类层以构成深监督模块，采用n+2个分类层输出概率的计算损失之和作为模型的总损失，加强模型对局部特征以及多层次时序特征的学习和表示，并加速网络收敛；同时，通过决策层综合n+2个分类层输出概率进行集合决策，起到了集成分类器的效果，可以有效提升分类精度。
3、本发明所提供的心音自动诊断系统，通过将原始心音信号按照多个不同起点将其分割成等长的心音信号片段，极大地减小了心音信号片段的心动周期起点差异而带来的影响，从而在无需分割心动周期以对齐心动周期起点的情况下实现了更高的精度。
4、本发明所提供的心音自动诊断系统，通过上述心音检测模型端到端进行心音信号自动诊断，无需手动的从原始心音信号中提取频域、统计域等特征，预处理过程简单快速，直接利用预处理好的原始心音信号即可进行分类诊断，解决了现有方法数据预处理过程复杂、特征提取涵盖原始心音信号的特性不够全面、精度不够高等技术问题。
5、本发明所提供的心音自动诊断系统，既可以用于二分类的心音异常检测，也可以用于多分类的心音具体疾病类型的诊断，均可以取得十分优异的性能，通用性强。
附图说明
图1为本发明所提供的多起点心音信号分割方法示意图；
图2为本发明可选实施方式1所提供的心音检测模型结构示意图；
图3为本发明可选实施方式2所提供的心音检测模型结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为了实现上述目的，本发明提供了一种基于深度学习的心音自动诊断系统，包括：
心音信号处理模块，用于对心音信号进行预处理，并将预处理后的心音信号分割成多个等长的心音信号片段；
具体地，对心音信号进行预处理的方法包括：将心音信号依次进行归一化和滤波处理，以滤除低频伪像、基线漂移以及高频噪声的干扰。
需要说明的是，对心音信号进行分割的方式有多种，可以直接对预处理后的心音信号进行平均分割，也可以将心音信号分割成一个个完整的心动周期。将心音信号分割成一个个完整的心动周期的方法通常通过基于逻辑回归的隐马尔可夫模型来实现，但是心动周期分割需要同步的心电信号对分割算法进行训练，过程繁琐且会引入分割误差。本实施例中优选的分割方式为：从多个不同的起点开始将预处理后的心音信号分割成多个等长的心音信号片段；其中，同一起点下的相邻两个心音信号片段之间存在固定比例的重叠。将心音信号按照多个不同起点将其分割成等长的心音信号片段Patch，极大地减小了Patch的心动周期起点差异而带来的影响，从而在无需分割心动周期以对齐心动周期起点的情况下实现了更高的精度。具体地，本实施例中，将心音信号的幅值除以心音信号中最大幅值的绝对值以进行归一化处理，使用25～400Hz的五阶巴特沃斯带通滤波器对归一化后的心音信号进行滤波；由于一个完整的心动周期大约为0.8s，1s可以涵盖大部分人的一个完整心动周期，因此本实施例在整段心音的前1s内从0开始并以0.1s为时间间隔均匀选择了10个起点，即将滤波后的心音信号按照0s、0.1s、0.2s、......、0.9s等10个不同起点将其分割成数据长度为10000的Patch，并且同一起点下的相邻两个心音信号片段Patch之间存在固定比例的重叠，如图1所示的0s、0.1s起点的心音信号Patch分割(图中心音信号采样频率为2000Hz，因此Patch时长为5s)。
心音检测模块，用于将所得心音信号片段分别输入到预训练好的心音检测模型中，得到每个心音信号片段的心音类别；综合各心音信号片段的心音类别，得到待测心音信号的心音类别；
需要说明的是，心音类别根据具体的任务确定，如果是二分类任务，则心音类别仅包含正常心音和异常心音；而对于多分类任务，心音类别则包含正常心音以及主动脉瓣狭窄、二尖瓣狭窄、二尖瓣反流、二尖瓣脱垂等不同的异常心音类别。
具体地，综合各心音信号片段的心音类别，得到待测心音信号的心音类别的方法有多种；
可以通过对各心音信号片段的心音类别进行统计，将数量最多的心音类别作为待测心音信号的心音类别；
也可以将心音检测模型输出的各心音信号片段的心音分类概率进行加和后，得到待测心音信号的心音类别；其中，当分类任务是二分类任务或多分类任务(即需要判断心音信号的具体类别)时，心音检测模型的分类层中激活层还可以采用softmax函数，即softmax层；此时，心音信号片段的心音分类概率包括该心音信号为对应心音类别的概率；将各心音信号片段的心音分类概率按照心音类别对应相加，所得最大概率值所对应的心音类别即为待检测的心音信号的心音类别。当分类任务仅为二分类任务(即仅判断心音信号为正常还是异常)时，心音检测模型的分类层中激活层还可以采用sigmoid函数，即sigmoid层，此时，心音信号片段的心音分类概率用于表征该心音信号为指定类型(正常或异常)的心音信号的概率；若心音分类概率大于预设阈值(通常设置为0.5C，其中，C为心音信号片段的数量)时，则判定该心音信号为该指定类型的心音信号。
其中，心音检测模型包括：
m个级联的CNN块，用于对心音信号片段进行不同深度的卷积运算和下采样，得到心音信号片段多个不同深度和层次的局部特征；m≥3；具体地，CNN块包括：级联的卷积单元和下采样层；其中，卷积单元为一个或多个；当卷积单元为多个时，各卷积单元相互级联；第l级CNN块中的下采样层用于对输入的特征进行下采样，优选采用最大池化层；1≤l＜m；第m级CNN块中的下采样层用于对输入的特征进行全局池化，将其特征维度尺寸降为1；优选采用全局最大池化层。
n个LSTM，分别与前m-1级CNN块中的任意n个CNN块的输出端一一对应相连，用于分别提取所连接的n个CNN块输出的局部特征的时序信息，得到心音信号片段的n个不同层次的时序特征；1<n<m；
拼接层，与第m级CNN块的输出端以及n个LSTM的输出端相连，用于将第m级CNN块输出的局部特征以及n个LSTM输出的时序特征进行拼接；
分类层，与拼接层的输出端相连，用于将上一级输入的特征映射成对应的心音分类概率，从而得到心音信号片段的心音类别。具体地，分类层包括：级联的全连接层和激活层；全连接层用于对输入的特征进行降维；激活层用于将降维后的特征映射成对应的心音分类概率，从而得到心音信号片段的心音类别。
本发明首先使用多个卷积块(包含卷积层、归一化层、激活层等)提取心音信号片段Patch的局部特征并通过下采样缩减特征尺寸，通过多个LSTM分别提取多个不同层次局部特征的时序信息，最后LSTM提取的多层次时序特征与CNN块提取的局部特征相结合，进而获得最终的分类结果。
具体地，如图2所示，在一种可选实施方式1中，共使用了Conv1～Conv6六个卷积块提取心音信号片段Patch的局部特征并通过下采样逐步缩减特征尺寸，分别获得局部特征CNN-Feature1～CNN-Feature6；其中，每个卷积块包含两组卷积层、BN归一化层、ReLu激活层以及一个最大池化层，每个卷积块内部特征尺寸均保持一致；然后将卷积块提取的局部特征CNN-Feature3～5分别送至三个LSTM网络获得不同层次局部特征的时序信息，记为LSTM-Feature1～3，此时CNN-Feature3～5局部特征长度为心音信号片段Patch数据长度的1/8、1/16、1/32，将经过多次下采样后的局部特征输入到LSTM网络是为了避免过长的数据导致LSTM网络不稳定，最后将LSTM网络捕获的不同层次局部特征的时序信息LSTM-Feature1～3与CNN网络提取的局部特征CNN-Feature6拼接，送至全连接层，并经过softmax函数激活，输出该心音信号片段Patch对应类别的概率，进而充分结合CNN局部特征提取能力与LSTM长期依赖性捕获能力的优势。
本发明通过多个LSTM分别提取多个不同层次局部特征的时序信息后，将LSTM提取的多层次时序特征与CNN提取的局部特征相结合，充分利用CNN局部特征提取能力与LSTM长期依赖性捕获能力的优势，大大提高了分类精度。
进一步地，上述心音自动诊断系统还包括训练模块，用于将预采集到的训练集中的各心音信号分别输入到所述心音信号处理模块中，得到各心音信号的各心音信号片段；将各心音信号的各心音信号片段作为输入，对应的心音分类标签作为输出，训练所述心音检测模型，得到所述预训练好的心音检测模型；其中，所述训练集包括多个携带有心音分类标签的心音信号。
具体地，对于各心音信号片段，分别根据对应的心音分类标签确定其分别为各心音类别的真实概率，得到其真实分类概率；将各心音信号的各心音信号片段作为输入，对应的真实分类概率作为输出，通过最小化心音检测模型所得的分类概率和对应真实分类概率之间的相似性，来训练心音检测模型，得到预训练好的心音检测模型；
本实施例中，使用交叉熵损失函数衡量心音检测模型所得的分类概率和对应真实分类概率之间的相似性，使用Adam优化器优化网络参数；其中，心音检测模型的损失函数为：
Figure BDA0003314346520000091
其中，N为训练集中心音信号片段的个数；k为心音类别数量；yij为第i个心音信号的类别为第j个心音类别的真实概率；Pij为心音检测模型输出的第i个心音信号的类别为第j个心音类别的预测概率。需要说明的是，在实际操作过程中，由于训练集中心音信号片段的数量较多，为了提供计算效率，可以将训练集中心音信号片段划分为多个批次batch，分别进行训练，此时，N为一个批次中的心音信号片段的个数。
优选地，如图3所示，在一种可选实施方式2中，上述心音检测模型还包括：决策层和输入端分别与第m级CNN块的输出端以及n个LSTM的输出端一一对应相连的n+1个分类层；决策层的输入端和所有分类层的输出端均相连；决策层用于将所有分类层输出的心音分类概率进行加和，从而得到心音信号片段的心音类别。
此时，上述心音检测模型的损失函数为：
Figure BDA0003314346520000101
其中，N为训练集中心音信号片段的个数；k为心音类别数量；yij为第i个心音信号片段的类别为第j个心音类别的真实概率；Pijq为第q个分类层输出的第i个心音信号片段的类别为第j个心音类别的预测概率。
综上，本实施例通过将原始心音信号按照多个不同起点将其分割成等长Patch，极大地减小了Patch心动周期起点差异而带来的影响，从而在无需分割心动周期以对齐心动周期起点的情况下实现了更高的精度，同时无需从原始信号提取频域、统计域等特征，是一种端到端的心音信号自动诊断网络；同时，将LSTM提取的多层次局部特征的时序特征与CNN提取的局部特征相结合，充分发挥了CNN局部特征提取能力与LSTM长期依赖性捕获能力的优势，大大提高了分类精度；此外，本发明所提供的心音检测模型中加入了深监督模块，加强模型对局部特征以及多层次时序特征的学习和表示，并加速网络收敛；同时，通过决策层综合各分类层输出概率进行集合决策，起到了集成分类器的效果，可以有效提升分类精度。
为了进一步说明本发明所提供的心音自动诊断系统所起到的效果，下面结合具体应用进行详述。
以下结合第一个具体的应用场景，对本发明所能取得的有益效果做进一步地解释说明。
为了衡量本发明提出的心音自动诊断系统的检测效果，首先在PhysioNet/CinCChallenge 2016心音公共数据集上与现有方法进行了比较。PhysioNet/CinC Challenge2016心音公共数据集是一个心音公共数据集，共含有3240条心音记录，包含2575条正常心音记录和665条异常心音记录，存在类别失衡现象，采样频率为2000Hz。因此，本应用场景的任务为心音诊断的二分类，需要诊断正常和异常情况。
首先将整个数据集3240条数据按照心音记录水平划分训练集和测试集以进行十折交叉验证，保证同一心音记录的心音信号片段Patch不会同时出现在训练集和测试集中，每折保持与总数据集相同的正负样本比例。参考上述实施例中数据预处理方式处理数据，将训练集和测试集中心音记录分割成多个不同起点(0s，0.1s，......，0.9s等十个起点)的时长5s的Patch(数据长度为10000)，并训练深度学习网络，其中，由于存在类别失衡现象，正常与异常心音记录比例大约为3.87:1，本应用场景中为了减小样本不平衡带来的影响、平衡正常和异常样本比例，在分割训练集Patch过程中，正常样本窗口移动时长为2.5s，异常样本窗口移动时长为0.65s，使得训练集心音记录分割后正常Patch和异常Patch数量大致相等。参考上述实施例中模型预测方法测试，并得出整段心音信号的分类结果。
表1为本发明与其他现有方法在PhysioNet/CinC Challenge 2016公共数据集上的十折交叉检验对比结果(第二三列表格空白代表不需要进行相应操作)。其中，现有方法包括方法1(来自Homsi M N,Medina N,Hernandez M,et al.Automatic Heart SoundRecording Classification using a Nested Set of EnsembleAlgorithms[C]//Computing in Cardiology 2016.IEEE,2016)、方法2(来自Tschannen M,Kramer T,MartiG,et al.Heart Sound Classification Using Deep Structured Features[C]//Computing in Cardiology(CinC).IEEE,2016)、方法3(来自Wu M T,Tsai M H,Huang Y Z,et al.Applying an ensemble convolutional neural network with Savitzky Golayfilter to construct a phonocardiogram prediction model[J].Applied SoftComputing,2019)、方法4(来自Li F,Tang H,Shang S,et al.Classification of HeartSounds Using Convolutional Neural Network[J].Applied Sciences,2020,10(11):3956)、方法5(来自Xiao B,Xu Y,Bi X,et al.Heart Sounds Classification Using aNovel 1-D Convolutional Neural Network with Extremely Low ParameterConsumption[J].Neurocomputing,2019)以及方法6(来自肖斌,徐韵秋,李伟生,等.一种基于深度学习的心音智能诊断系统及方法:,CN107529645B[P].2019)。本应用场景中使用总准确率(Accuracy)、灵敏度(Sensitivity)、特异性(Specificity)以及平均准确率(Macc)四个指标与现有方法比较了在相同公共数据集上的效果，上述四个指标的公式分别为：
Figure BDA0003314346520000121
Figure BDA0003314346520000122
Figure BDA0003314346520000123
Figure BDA0003314346520000124
其中，TP为真阳性心音条数，TN为真阴性心音条数，FP为假阳性心音条数，FN为假阴性心音条数。
从表1可以看出，本发明在无需心动周期分割和特征提取的情况下，与现有方法相比，在平均准确率、总体准确率等评价指标方面表现优异，其中平均准确率和总体准确率分别高出第二名1.71％和1.26％，体现了优异的综合性能。
表1
Figure BDA0003314346520000125
以下结合第二个具体的应用场景，对本发明所能取得的有益效果做进一步地解释说明。
为了衡量本发明提出的心音自动诊断方法的效果，本发明在Yaseen心音公共数据集上与现有方法进行了比较。Yaseen心音公共数据集来自于Yaseen,Son G Y,KwonS.Classification of Heart Sound Signal Using Multiple Features[J].AppliedSciences,2018,8(12)，共含有1000条心音记录，包含正常(Normal)、主动脉瓣狭窄(AS)、二尖瓣狭窄(MS)、二尖瓣反流(MR)、二尖瓣脱垂(MVP)五类各二百条心音记录，采样频率为8000Hz。因此，本应用场景的任务为心音诊断的五分类，需要诊断正常以及四类异常情况。
首先将整个数据集1000条数据按照心音记录水平划分训练集和测试集以进行十折交叉验证，保证同一心音记录的心音信号片段Patch不会同时出现在训练集和测试集中，每折保持与总数据集相同的样本类别比例。参考上述实施例中数据预处理方式处理数据，将训练集和测试集中心音记录分割成多个不同起点(0s，0.1s，···，0.9s等十个起点)的时长1.25s的Patch(数据长度为10000)，并训练深度学习网络，其中，在分割训练集Patch过程中，样本窗口移动时长为0.5s，。参考上述实施例中模型预测方法测试，并得出整段心音信号的分类结果。
表2为本发明与其他现有方法在Yaseen公共数据集上的十折交叉检验对比结果(其中，第二三列表格空白代表不需要进行相应操作)。其中，现有方法包括方法7(来自Yaseen,Son G Y,Kwon S.Classification of Heart Sound Signal Using MultipleFeatures[J].Applied Sciences,2018,8(12))和方法8(来自Ping C,Ooi,Yamakawa T,etal.Classification of heart sound signals using a novel deep WavNet model[J].Computer Methods and Programs in Biomedicine,2020)。本应用场景中使用五个类别各自的准确率和总体准确率与现有方法比较了在相同公共数据集上的效果，正常类准确率(Normalacc)、主动脉瓣狭窄类准确率(ASacc)、二尖瓣狭窄类准确率(MSacc)、二尖瓣反流类准确率(MRacc)、二尖瓣脱垂类准确率(MVPacc)以及总体准确率(Totalacc)的公式分别为：
Figure BDA0003314346520000141
Figure BDA0003314346520000142
Figure BDA0003314346520000143
Figure BDA0003314346520000144
Figure BDA0003314346520000145
Figure BDA0003314346520000146
其中，Normalpre_Normal、ASpre_AS、MSpre_MS、MRpre_MR、MVPpre_MVP分别为Normal、AS、MS、MR、MVP类心音中被正确预测的心音条数，Normaltrue、AStrue、MStrue、MRpre_MR、MVPtrue分别是标签为Normal、AS、MS、MR、MVP类的心音条数，在此数据集中均为200。
从表2可以看出，本发明在无需心动周期分割和特征提取的情况下，与现有方法相比，在总体准确率方面表现出色，比第二名高出了1.8％，从五种具体类别的准确率来看，本发明提出的方法在Normal、AS、MS、MR四类上预测准确率最高，体现了优异的综合性能。
表2
Figure BDA0003314346520000147
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的心音自动诊断系统，其特征在于，包括：
心音信号处理模块，用于对心音信号进行预处理，并将预处理后的心音信号分割成多个等长的心音信号片段，具体包括：从多个不同的起点开始将所述预处理后的心音信号分割成多个等长的心音信号片段；其中，同一起点下的相邻两个心音信号片段之间存在固定比例的重叠；
心音检测模块，用于将所得心音信号片段分别输入到预训练好的心音检测模型中，得到每个心音信号片段的心音类别；综合各心音信号片段的心音类别，得到待测心音信号的心音类别；
其中，所述心音检测模型包括：
m个级联的CNN块，用于对心音信号片段进行不同深度的卷积运算及下采样处理，得到心音信号片段多个不同深度和层次的局部特征；m≥3；所述CNN块包括：级联的卷积单元和下采样层；
n个LSTM，分别与前m-1级CNN块中的任意n个CNN块的输出端一一对应相连，用于分别提取所连接的n个CNN块输出的局部特征的时序信息，得到心音信号片段的n个不同层次的时序特征；1<n<m；
拼接层，与第m级CNN块的输出端以及n个LSTM的输出端相连，用于将第m级CNN块输出的局部特征以及n个LSTM输出的时序特征进行拼接；
分类层，与所述拼接层的输出端相连，用于将上一级输入的特征映射成对应的心音分类概率，从而得到心音信号片段的心音类别。
2.根据权利要求1所述的心音自动诊断系统，其特征在于，还包括训练模块，用于将预采集到的训练集中的各心音信号分别输入到所述心音信号处理模块中，得到各心音信号的各心音信号片段；将各心音信号的各心音信号片段作为输入，对应的心音分类标签作为输出，训练所述心音检测模型，得到所述预训练好的心音检测模型；其中，所述训练集包括多个携带有心音分类标签的心音信号。
3.根据权利要求2所述的心音自动诊断系统，其特征在于，所述心音检测模型还包括：决策层和输入端分别与第m级CNN块的输出端以及n个LSTM的输出端一一对应相连的n+1个分类层；所述决策层的输入端和所有分类层的输出端均相连；
所述决策层用于将所有分类层输出的心音分类概率进行加和，从而得到心音信号片段的心音类别。
4.根据权利要求3所述的心音自动诊断系统，其特征在于，所述心音检测模型的损失函数：
Figure FDA0003849477790000021
其中，N为训练集中心音信号片段的个数；k为心音类别数量；yij为第i个心音信号片段的类别为第j个心音类别的真实概率；Pijq为第q个分类层输出的第i个心音信号片段的类别为第j个心音类别的预测概率。
5.根据权利要求1-4任意一项所述的心音自动诊断系统，其特征在于，所述卷积单元为一个或多个；当所述卷积单元为多个时，各所述卷积单元相互级联；
其中，第l级CNN块中的下采样层用于对输入的特征进行下采样；1≤l＜m；
第m级CNN块中的下采样层用于对输入的特征进行全局池化，将其特征维度尺寸降为1。
6.根据权利要求1-4任意一项所述的心音自动诊断系统，其特征在于，所述分类层包括：级联的全连接层和激活层；
所述全连接层用于对输入的特征进行降维；
所述激活层用于将降维后的特征映射成对应的心音分类概率，从而得到心音信号片段的心音类别。
7.根据权利要求1-4任意一项所述的心音自动诊断系统，其特征在于，所述心音信号处理模块通过以下方式对心音信号进行预处理：将心音信号依次进行归一化和滤波处理。
CN202111226647.2A 2021-10-21 2021-10-21 一种基于深度学习的心音自动诊断系统 Active CN113855063B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111226647.2A CN113855063B (zh) 2021-10-21 2021-10-21 一种基于深度学习的心音自动诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111226647.2A CN113855063B (zh) 2021-10-21 2021-10-21 一种基于深度学习的心音自动诊断系统

Publications (2)

Publication Number Publication Date
CN113855063A CN113855063A (zh) 2021-12-31
CN113855063B true CN113855063B (zh) 2022-11-11

Family

ID=78997061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111226647.2A Active CN113855063B (zh) 2021-10-21 2021-10-21 一种基于深度学习的心音自动诊断系统

Country Status (1)

Country Link
CN (1) CN113855063B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023134253A1 (zh) * 2022-01-11 2023-07-20 吴先洪 一种对心音信号的预测方法及智能心音和心电测量仪
CN114764575B (zh) * 2022-04-11 2023-02-28 山东省人工智能研究院 基于深度学习和时序注意力机制的多模态数据分类方法
CN115177262B (zh) * 2022-06-13 2024-08-06 华中科技大学 一种基于深度学习的心音心电联合诊断装置和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106901723A (zh) * 2017-04-20 2017-06-30 济南浪潮高新科技投资发展有限公司 一种心电图异常自动诊断方法
CN111755022A (zh) * 2020-07-15 2020-10-09 广东工业大学 基于时序卷积网络的混合听诊信号分离方法及相关装置
CN113413163A (zh) * 2021-08-24 2021-09-21 山东大学 一种混合深度学习和低差异度森林的心音诊断系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107529645B (zh) * 2017-06-29 2019-09-10 重庆邮电大学 一种基于深度学习的心音智能诊断系统及方法
EP3608918B1 (en) * 2018-08-08 2024-05-22 Tata Consultancy Services Limited Parallel implementation of deep neural networks for classifying heart sound signals
EP3885974B1 (en) * 2020-03-28 2024-01-03 Tata Consultancy Services Limited Methods and systems for identifying presence of abnormal heart sounds of a subject
CN112971802B (zh) * 2021-02-08 2023-05-12 中北大学 基于深度学习模型的心音信号检测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106901723A (zh) * 2017-04-20 2017-06-30 济南浪潮高新科技投资发展有限公司 一种心电图异常自动诊断方法
CN111755022A (zh) * 2020-07-15 2020-10-09 广东工业大学 基于时序卷积网络的混合听诊信号分离方法及相关装置
CN113413163A (zh) * 2021-08-24 2021-09-21 山东大学 一种混合深度学习和低差异度森林的心音诊断系统

Also Published As

Publication number Publication date
CN113855063A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN113855063B (zh) 一种基于深度学习的心音自动诊断系统
Umadevi et al. A survey on data mining classification algorithms
CN108511055B (zh) 基于分类器融合及诊断规则的室性早搏识别系统及方法
CN113274031B (zh) 一种基于深度卷积残差网络的心律失常分类方法
CN115177262B (zh) 一种基于深度学习的心音心电联合诊断装置和系统
CN116153495A (zh) 一种食管癌患者免疫治疗预后生存预测方法
CN113392894A (zh) 一种多组学数据的聚类分析方法和系统
JP7538373B1 (ja) 医師意思決定パターン認識に基づくマルチラベル疾患診断支援システム
CN116030829A (zh) 一种基于深度残差神经网络的心音分类方法
Ge et al. Coarse-to-fine foraminifera image segmentation through 3D and deep features
CN116842460A (zh) 基于注意力机制与残差神经网络的咳嗽关联疾病识别方法和系统
Whitehill et al. Whosecough: In-the-wild cougher verification using multitask learning
Manikandan et al. Segmentation and Detection of Pneumothorax using Deep Learning
CN113033667B (zh) 一种超声图像两阶段深度学习的乳腺肿瘤分类方法和装置
CN118016055A (zh) 基于双向长短期记忆网络和多头注意力机制的心音分类方法
CN111938691B (zh) 一种基础心音识别方法及设备
US6941288B2 (en) Online learning method in a decision system
Xia et al. Retinal vessel segmentation via a coarse-to-fine convolutional neural network
Li et al. Cnn-based heart sound classification with an imbalance-compensating weighted loss function
CN110443276A (zh) 基于深度卷积网络与灰度递归图分析的时间序列分类方法
CN115661185A (zh) 一种眼底图像血管分割方法及系统
Ghourabi et al. Advancing Cough Classification: Swin Transformer vs. 2D CNN with STFT and Augmentation Techniques
Jabbar et al. Liver fibrosis processing, multiclassification, and diagnosis based on hybrid machine learning approaches
Roland et al. An automated system for arrhythmia detection using ECG records from MITDB
CN112686091A (zh) 基于深度神经网络的两步骤心律失常分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant