CN114305484A - 基于深度学习的心脏病心音智能分类方法、装置和介质 - Google Patents
基于深度学习的心脏病心音智能分类方法、装置和介质 Download PDFInfo
- Publication number
- CN114305484A CN114305484A CN202111530516.3A CN202111530516A CN114305484A CN 114305484 A CN114305484 A CN 114305484A CN 202111530516 A CN202111530516 A CN 202111530516A CN 114305484 A CN114305484 A CN 114305484A
- Authority
- CN
- China
- Prior art keywords
- heart sound
- heart
- audio signal
- convolution operation
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 208000019622 heart disease Diseases 0.000 title claims abstract description 20
- 230000005236 sound signal Effects 0.000 claims abstract description 59
- 238000003062 neural network model Methods 0.000 claims abstract description 41
- 238000010586 diagram Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 24
- 208000002330 Congenital Heart Defects Diseases 0.000 claims description 15
- 230000017105 transposition Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 208000028831 congenital heart disease Diseases 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000747 cardiac effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 2
- 239000012634 fragment Substances 0.000 claims description 2
- 238000002555 auscultation Methods 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 description 5
- 208000035211 Heart Murmurs Diseases 0.000 description 4
- 238000012216 screening Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013215 result calculation Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明提供了基于深度学习的心脏病心音智能分类方法、装置和介质，属于医疗技术领域，它解决了现有基于传统听诊器的人工听诊、判断不客观等问题，一种基于深度学习的心脏病心音智能分类方法，包括如下步骤：步骤S01：获取心音音频信号，对心音音频信号进行预处理，根据预处理后的心音音频信号获取心音周期信息；步骤S02：根据预处理后的心音音频信号和心音周期信息进行特征图提取，获取梅尔频谱图；步骤S03：对深度神经网络模型进行训练；步骤S04：执行步骤S01和步骤S02获取目标心音的多个梅尔频谱图，分别输入训练完毕的深度神经网络模型，获得目标心音的最终分类结果。
Description
技术领域
本发明属于医疗技术领域，特别涉及一种基于深度学习的心脏病心音智能分类方法、装置和介质。
背景技术
先天性心脏病在我国总体患病率达8.98‰，其中30％左右为危急重症先天性心脏病，即在婴幼儿期可导致死亡或要求侵入性手术治疗。2015年全面二胎政策实施以来，高龄孕产妇的比例显著增高，先天性心脏病发病率也明显升高。
心脏杂音指在心音与额外心音之外，在心脏收缩或舒张时血液在心脏或血管内产生湍流所致的室壁、瓣膜或血管振动所产生的异常声音，是具有不同频率、不同强度、持续时间较长的噪杂声。心脏杂音可见于健康人，更多发生于心血管疾病患者，同时某些杂音也是诊断心脏病的主要依据。
先天性心脏病早期筛查最重要的手段是心脏听诊和经皮血氧饱和度双指标检测法，其中目前广泛采用听诊方式是基于传统听诊器的人工听诊，缺点是心音数据不能数字化保存，判断依据不客观等。
发明内容
本发明的第一个目的是针对现有技术中存在的上述问题，提供了一种基于深度学习的心脏病心音智能分类方法；本发明的第二个目的是提供一种先天性心脏病心音智能分类装置；本发明的第三个目的是提供一种计算机可读存储介质。
本发明的第一个目的可通过下列技术方案来实现：一种基于深度学习的心脏病心音智能分类方法，其特征在于，包括如下步骤：
步骤S01：获取心音音频信号，对心音音频信号进行预处理，根据预处理后的心音音频信号获取心音周期信息；
步骤S02：根据预处理后的心音音频信号和心音周期信息进行特征图提取，获取梅尔频谱图；
步骤S03：对深度神经网络模型进行训练；
步骤S04：执行步骤S01和步骤S02获取目标心音的多个梅尔频谱图，分别输入训练完毕的深度神经网络模型，获得目标心音的最终分类结果。
本发明的工作原理：基于电子听诊器采集获取心音音频信号，通过预处理、心音周期信息获取，进而获取梅尔频谱图，对深度神经网络模型进行训练后，训练后的深度神经网络模型可以用于先天性心脏病心脏杂音的分类，在智能诊断和筛查应用中具有较大的应用潜力。
在上述基于深度学习的心脏病心音智能分类方法中，所述步骤S01中，预处理包括如下步骤：
截断：去除心音音频信号起始端和终止端的数据；
下采样：对截断后的音频进行下采样处理，得到下采样音频信号，下采样频率设置为1KHz；
带通滤波：对下采样音频信号进行带通滤波处理，得到滤波音频信号，带通滤波的范围设置为20—400Hz；
归一化：采用式(I)对滤波音频信号进行归一化处理，最后得到预处理后的心音音频信号；
其中，Signal表示滤波音频信号，Signorm表示预处理后的心音音频信号。
在上述基于深度学习的心脏病心音智能分类方法中，所述步骤S01中，针对预处理后的心音音频信号，采用式(II)和式(III)计算包络信号；
其中，ES(t)为窗宽为N时的包络能量，Envelope(t)为最终求得的包络信号；在预处理后的心音音频信号中将极值包络能量点作为候选点，之后采用式(IV)计算阈值临界点，并将阈值临界点作为候选点的起始终止边界，以此获取心音周期信息，心音周期信息包括候选点的位置和阈值临界点的位置；
Th＝Mean(Envelope(t)) (IV)。
在上述基于深度学习的心脏病心音智能分类方法中，所述步骤S02中，设置滑动窗口和步长，依次进行预处理后的心音音频信号的梅尔频谱图计算。
在上述基于深度学习的心脏病心音智能分类方法中，每次计算梅尔频谱图的起始点为滑动窗口移动步长后，距离滑动窗口最近的候选点的阈值临界点。
在上述基于深度学习的心脏病心音智能分类方法中，所述步骤S03中，所述深度神经网络模型包括U型深度神经网络模型，将梅尔频谱图先送入U型深度神经网络模型进行特征下采样，特征下采样包括依次交替进行双卷积操作和最大池化操作，将第n次双卷积操作得到的特征图进行特征上采样；
特征上采样包括：
第一次：将第n次双卷积操作得到的特征图进行转置卷积操作实现特征上采样，转置卷积操作后得到的特征图和第n-1次双卷积操作得到的特征图拼接在一起，并进行双卷积操作得到第一次特征图；
第二次：将第一次特征图进行转置卷积操作实现特征上采样，转置卷积操作后得到的特征图和第n-2次双卷积操作得到的特征图拼接在一起，并进行双卷积操作得到第二次特征图；
重复上述步骤，第m次时，将第m-1次特征图进行转置卷积操作实现特征上采样，转置卷积操作后得到的特征图和第1次双卷积操作得到的特征图拼接在一起，并进行双卷积操作得到第m次特征图；将第m次特征图拼接原始输入的梅尔频谱图，得到高维特征图，n和m均为大于2的整数。
在上述基于深度学习的心脏病心音智能分类方法中，所述深度神经网络模型还包括transformer深度神经网络模型，将高维特征图送入transformer深度神经网络模型，在transformer深度神经网络模型进行图像分块操作、线性映射操作得到第四特征图，再将第四特征图送入transformer深度神经网络模型中的多个串联transformer模块，最后输出结果。
在上述基于深度学习的心脏病心音智能分类方法中，所述步骤S04中，执行步骤S01和步骤S02获取目标心音的多个梅尔频谱图，分别输入训练完毕的深度神经网络模型，得到心音片段分类概率，最后采用加权求和获得目标心音的各类别的相似性概率，取最大概率类别作为最终分类结果。
本发明的第二个目的可通过下列技术方案来实现：一种先天性心脏病心音智能分类装置，其特征在于，包括
显示器；
电子听诊器；
控制器；
一个或多个处理器；
存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述的程序包括用于执行如上述一种基于深度学习的心脏病心音智能分类方法。
本发明的第三个目的可通过下列技术方案来实现：一种计算机可读存储介质，其特征在于，存储有与具有显示器的先天性心脏病心音智能分类装置结合使用的计算机程序，所述计算机程序可被处理器执行上述一种基于深度学习的心脏病心音智能分类方法。
与现有技术相比，本发明训练后的深度神经网络模型可以用于先天性心脏病心脏杂音的分类，在智能诊断和筛查应用中具有较大的应用潜力。
附图说明
图1是本发明的流程示意图；
图2是本发明连续的预处理后的心音音频信号片段；
图3是本发明深度神经网络模型示意图；
图4是本发明在U型深度神经网络模型中进行双卷积和最大池化操作的示意图；
图5是本发明在transformer深度神经网络模型中进行操作的示意图。
具体实施方式
以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
如图1所示，本发明第一个实施例提供一种基于深度学习的心脏病心音智能分类方法，包括如下步骤：
步骤S01：获取心音音频信号，对心音音频信号进行预处理，根据预处理后的心音音频信号获取心音周期信息；
预处理包括依次执行截断、下采样、带通滤波、归一化四个步骤。如下：
截断：去除心音音频信号起始端0.5秒和终止端0.5秒的数据；
下采样：对截断后的音频进行下采样处理，得到下采样音频信号，下采样频率设置为1KHz；
带通滤波：对下采样音频信号进行带通滤波处理，得到滤波音频信号，带通滤波的范围设置为20—400Hz；
归一化：采用式(I)对滤波音频信号进行归一化处理，最后得到预处理后的心音音频信号；
其中，Signal表示滤波音频信号，Signorm表示预处理后的心音音频信号。
本实施例中的心音音频信号是一段连续的心音音频信号片段，该片段从电子听诊器开始录制音频起到结束录制音频停止，同时心音音频信号也可来自于电子听诊器录制音频的任意片段区间(只要满足心音音频内涵盖一个及以上心周期)。
步骤S01中，针对预处理后的心音音频信号，采用式(II)和式(III)计算包络信号；
其中，ES(t)为窗宽为N时的包络能量，Envelope(t)为最终求得的包络信号；将步骤S01中得到的Signorm代入上述式(II)中，再将式(II)的结果ES(t)代入式(III)中，最后得到Envelope(t)。
在连续的预处理后的心音音频信号片段中将极值包络能量点作为候选点，候选点包括第一心音候选点和第二心音候选点，将候选点记为点P，如图2所示，图2为连续的预处理后的心音音频信号片段，图2中的竖直实线表示候选点P的位置。
然后采用式(IV)计算阈值临界点，实现连续的预处理后的心音音频信号片段的分隔，将阈值临界点作为候选点的起始终止边界，以此获取心音周期信息，心音周期信息包括候选点P的位置和阈值临界点的位置，图2中的虚线表示阈值临界点；
Th＝Mean(Envelope(t)) (IV)。
步骤S02：根据预处理后的心音音频信号和心音周期信息进行特征图提取，获取梅尔频谱图；
针对步骤S01获得的预处理后的心音音频信号和心音周期信息(即候选点P的位置和阈值临界点的位置)计算获取梅尔频谱图。
在具体计算过程中，设置滑动窗口为2.5秒，且步长为1.25秒，依次进行预处理后的心音音频信号片段的梅尔频谱图计算；生成的梅尔带(Melbands)设置为256，短时傅里叶变换的窗口设置为40，帧间重叠设置为20，最终针对输入的预处理后的心音音频信号片段计算，输出长宽分别为256和251的梅尔频谱图。
其中，每次计算梅尔频谱图的起始点为滑动窗口移动步长后，距离滑动窗口最近的候选点的阈值临界点。区别于正常全心音段的频谱图计算方式，该方法有效扩充了心音数据量；同时引入心音周期信息，可以将每次计算梅尔频谱图的起始点定为滑动窗口移动步长后，距离滑动窗口最近的候选点的阈值临界点，实现了梅尔频谱图的对齐。两者的结合，从数据量及数据质量上实现了提升。
步骤S03：对深度神经网络模型进行训练；
如图3所示，深度神经网络模型包括U型深度神经网络模型和transformer深度神经网络模型，
如图4所示，将梅尔频谱图先送入U型深度神经网络模型依次交替进行双卷积操作和最大池化操作实现特征下采样；
U型深度神经网络模型能够实现图像特征提取，transformer深度神经网络模型能够避免卷积操作的局部性，而进一步实现有效特征提取(具有获取长距离关系的能力capture long-range relationship)，并最终提升深度神经网络模型的分类准确率。
步骤S02得到的梅尔频谱图(256*251)，首先采用缩放操作将图片变换为244*244，再送入U型深度神经网络模型。
双卷积操作由3*3二维卷积结合批归一化、ReLU激活、3*3二维卷积、批归一化、ReLU激活组成。最大池化为2*2最大池化。
将244*244梅尔频谱图先进行第一次双卷积操作，得到的B×64×224×224的特征图，再经过第一次2*2最大池化得到的B×64×112×112的特征图；
进行第二次双卷积操作得到B×128×112×112的特征图；
进行第二次2*2最大池化得到B×128×56×56的特征图；
进行第三次双卷积操作得到B×256×56×56的特征图；
进行第三次2*2最大池化得到B×256×28×28的特征图；
进行第四次双卷积操作得到B×512×28×28的特征图；
进行第四次2*2最大池化得到B×512×14×14的特征图；
进行第五次双卷积操作得到B×1024×14×14的特征图；
(1)将第五次双卷积操作得到B×1024×14×14的特征图进行转置卷积操作实现特征上采样，得到特征图B×512×28×28，然后将此特征图和上述第四次双卷积操作得到的B×512×28×28特征图拼接在一起，得到B×1024×28×28特征图，再次进行双卷积操作得到B×512×28×28特征图。
(2)将(1)中最后得到的B×512×28×28的特征图进行转置卷积操作实现特征上采样，得到特征图B×256×56×56，然后将此特征图和上述第三次双卷积操作得到的B×256×56×56的特征图拼接在一起，得到B×512×56×56特征图，再次进行双卷积操作得到B×256×56×56特征图。
(3)将(2)中最后得到B×256×56×56的特征图进行转置卷积操作实现特征上采样，得到特征图B×128×112×112，然后将将此特征图和上述第二次双卷积操作得到的B×128×112×112的特征图拼接在一起，得到B×256×112×112特征图，再次进行双卷积操作得到B×128×112×112特征图。
(4)将(3)中最后得到B×128×112×112的特征图进行转置卷积操作实现特征上采样，得到特征图B×64×224×224，然后将此特征图与上述第一次双卷积操作得到的B×64×224×224的特征图拼接在一起，得到B×128×224×224特征图，再次进行双卷积操作得到B×64×224×224特征图。
最后将(4)中的B×64×224×224特征图采用1*1卷积拼接原始输入频谱特征图(244*244梅尔频谱图)得到最终B×N×224×224大小的高维特征图，送入transformer深度神经网络模型。
如图5所示，在transformer深度神经网络中，首先将B×N×224×224高维特征图以4*4为单位进行图像分块(采用卷积核大小为4、步长为4的二维卷积实现)，得到的特征图，再采用输出为96通道的1*1卷积实现线性映射，并将结果转换为一维特征向量，大小为B×3136×96。随后送入transformer模块中进行特征学习，并通过多次送入由分块合并与transformer模块组成的处理单元中实现特征学习和特征降维。最终将输出的特征向量送入全连接层实现分类结果计算。
在步骤S03中，采用U型深度神经网络旨在学习二维图像中的局部特征，以此弥补transformer所欠缺的局部感知能力，采用transformer深度神经网络旨在学习图像的长距特征，以此弥补普通卷积神经网络所欠缺的全局感知能力，两者的配合有效学习提取了图像有用特征。
本发明不限于输入频谱图像大小、U型网络的上下采样通路层数以及transformer模块的使用数量，和其中所采用的具体参数值。本发明利用U型深度神经网络输出特征图结合原始频谱特征图用于后续transformer模块实现分类。
步骤S04：执行步骤S01和步骤S02获取目标心音的多个梅尔频谱图，分别输入训练完毕的深度神经网络模型，获得目标心音的最终分类结果。
在步骤S04中，采用加权求和的方式实现目标心音数据的分类。具体为基于目标心音提取的多个梅尔频谱图，分别输入已训练完成的深度神经网络中得到分类概率，通过加权求和获取各类别的类别相似性概率，取最大概率类别作为最终分类结果。特别的，本方法不限于二分类问题，也可实现先天性心脏病多分类。
本发明第二个实施例提供一种先天性心脏病心音智能分类装置，包括
显示器；
电子听诊器；
控制器；
一个或多个处理器；
存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述的程序包括用于执行如上述一种基于深度学习的心脏病心音智能分类方法。
电子听诊器用于采集心音，并将心音音频发送给处理器处理，控制器用于控制电子听诊器开始采集心音或停止采集心音。
本发明第三个实施例提供一种计算机可读存储介质，存储有与具有显示器的先天性心脏病心音智能分类装置结合使用的计算机程序，所述计算机程序可被处理器执行上述一种基于深度学习的心脏病心音智能分类方法。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管本文较多地使用了大量术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。
Claims (10)
1.一种基于深度学习的心脏病心音智能分类方法，其特征在于，包括如下步骤：
步骤S01：获取心音音频信号，对心音音频信号进行预处理，根据预处理后的心音音频信号获取心音周期信息；
步骤S02：根据预处理后的心音音频信号和心音周期信息进行特征图提取，获取梅尔频谱图；
步骤S03：对深度神经网络模型进行训练；
步骤S04：执行步骤S01和步骤S02获取目标心音的多个梅尔频谱图，分别输入训练完毕的深度神经网络模型，获得目标心音的最终分类结果。
2.根据权利要求1所述的一种基于深度学习的心脏病心音智能分类方法，其特征在于，所述步骤S01中，预处理包括如下步骤：
截断：去除心音音频信号起始端和终止端的数据；
下采样：对截断后的音频进行下采样处理，得到下采样音频信号，下采样频率设置为1KHz；
带通滤波：对下采样音频信号进行带通滤波处理，得到滤波音频信号，带通滤波的范围设置为20—400Hz；
归一化：采用式(I)对滤波音频信号进行归一化处理，最后得到预处理后的心音音频信号；
其中，Signal表示滤波音频信号，Signorm表示预处理后的心音音频信号。
3.根据权利要求2所述的一种基于深度学习的心脏病心音智能分类方法，其特征在于，所述步骤S01中，针对预处理后的心音音频信号，采用式(II)和式(III)计算包络信号；
其中，ES(t)为窗宽为N时的包络能量，Envelope(t)为最终求得的包络信号；在预处理后的心音音频信号中将极值包络能量点作为候选点，之后采用式(IV)计算阈值临界点，并将阈值临界点作为候选点的起始终止边界，以此获取心音周期信息，心音周期信息包括候选点的位置和阈值临界点的位置；
Th＝Mean(Envelope(t)) (IV)。
4.根据权利要求1所述的一种基于深度学习的心脏病心音智能分类方法，其特征在于，所述步骤S02中，设置滑动窗口和步长，依次进行预处理后的心音音频信号的梅尔频谱图计算。
5.根据权利要求4所述的一种基于深度学习的心脏病心音智能分类方法，其特征在于，每次计算梅尔频谱图的起始点为滑动窗口移动步长后，距离滑动窗口最近的候选点的阈值临界点。
6.根据权利要求1所述的一种基于深度学习的心脏病心音智能分类方法，其特征在于，所述步骤S03中，所述深度神经网络模型包括U型深度神经网络模型，将梅尔频谱图先送入U型深度神经网络模型进行特征下采样，
特征下采样包括依次交替进行双卷积操作和最大池化操作，将第n次双卷积操作得到的特征图进行特征上采样；
特征上采样包括：
第一次：将第n次双卷积操作得到的特征图进行转置卷积操作实现特征上采样，转置卷积操作后得到的特征图和第n-1次双卷积操作得到的特征图拼接在一起，并进行双卷积操作得到第一次特征图；
第二次：将第一次特征图进行转置卷积操作实现特征上采样，转置卷积操作后得到的特征图和第n-2次双卷积操作得到的特征图拼接在一起，并进行双卷积操作得到第二次特征图；
重复上述步骤，第m次时，将第m-1次特征图进行转置卷积操作实现特征上采样，转置卷积操作后得到的特征图和第1次双卷积操作得到的特征图拼接在一起，并进行双卷积操作得到第m次特征图；将第m次特征图拼接原始输入的梅尔频谱图，得到高维特征图，n和m均为大于2的整数。
7.根据权利要求6所述的一种基于深度学习的心脏病心音智能分类方法，其特征在于，所述深度神经网络模型还包括transformer深度神经网络模型，将高维特征图送入transformer深度神经网络模型，在transformer深度神经网络模型进行图像分块操作、线性映射操作得到第四特征图，再将第四特征图送入多个串联transformer深度神经网络模型中的transformer模块，最后输出结果。
8.根据权利要求1所述的一种基于深度学习的心脏病心音智能分类方法，其特征在于，所述步骤S04中，执行步骤S01和步骤S02获取目标心音的多个梅尔频谱图，分别输入训练完毕的深度神经网络模型，得到心音片段分类概率，最后采用加权求和获得目标心音的各类别的相似性概率，取最大概率类别作为最终分类结果。
9.一种先天性心脏病心音智能分类装置，其特征在于，包括
显示器；
电子听诊器；
控制器；
一个或多个处理器；
存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述的程序包括用于执行如权利要求1-8任意一项所述的一种基于深度学习的心脏病心音智能分类方法。
10.一种计算机可读存储介质，其特征在于，存储有与具有显示器的先天性心脏病心音智能分类装置结合使用的计算机程序，所述计算机程序可被处理器执行如权利要求1-8任意一项所述的一种基于深度学习的心脏病心音智能分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111530516.3A CN114305484B (zh) | 2021-12-15 | 2021-12-15 | 基于深度学习的心脏病心音智能分类方法、装置和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111530516.3A CN114305484B (zh) | 2021-12-15 | 2021-12-15 | 基于深度学习的心脏病心音智能分类方法、装置和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114305484A true CN114305484A (zh) | 2022-04-12 |
| CN114305484B CN114305484B (zh) | 2024-06-25 |
Family
ID=81049949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111530516.3A Active CN114305484B (zh) | 2021-12-15 | 2021-12-15 | 基于深度学习的心脏病心音智能分类方法、装置和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114305484B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115089206A (zh) * | 2022-05-09 | 2022-09-23 | 吴先洪 | 一种对心音信号的预测方法及使用其的心脏听诊装置 |
| CN116052725A (zh) * | 2023-03-31 | 2023-05-02 | 四川大学华西医院 | 一种基于深度神经网络的细粒度肠鸣音识别方法及装置 |
| CN117952869A (zh) * | 2024-03-27 | 2024-04-30 | 西南石油大学 | 一种基于弱光图像增强的钻井液岩屑计数方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100128083A (ko) * | 2009-05-27 | 2010-12-07 | 충북대학교 산학협력단 | 심장질환 진단장치 및 방법 |
| CN107811649A (zh) * | 2017-12-13 | 2018-03-20 | 四川大学 | 一种基于深度卷积神经网络的心音多分类方法 |
| CN108962279A (zh) * | 2018-07-05 | 2018-12-07 | 平安科技（深圳）有限公司 | 音频数据的乐器识别方法及装置、电子设备、存储介质 |
| CN109961017A (zh) * | 2019-02-26 | 2019-07-02 | 杭州电子科技大学 | 一种基于卷积循环神经网络的心音信号分类方法 |
| CN110755108A (zh) * | 2019-11-04 | 2020-02-07 | 合肥望闻健康科技有限公司 | 一种基于智能听诊器的心脏声音分类方法、系统、装置及可读存储介质 |
| US20200046244A1 (en) * | 2018-08-08 | 2020-02-13 | Tata Consultancy Services Limited | Parallel implementation of deep neural networks for classifying heart sound signals |
| CN111640439A (zh) * | 2020-05-15 | 2020-09-08 | 南开大学 | 一种基于深度学习的呼吸音分类方法 |
| CN111863035A (zh) * | 2020-07-21 | 2020-10-30 | 上海宜硕网络科技有限公司 | 一种用于心音数据识别的方法、系统与设备 |
| CN112949639A (zh) * | 2021-01-26 | 2021-06-11 | 浙江大学医学院附属儿童医院 | 一种先天性心脏病心音智能分割分类算法、装置及存储介质 |
| CN112971839A (zh) * | 2021-02-05 | 2021-06-18 | 云南大学 | 一种基于前馈卷积神经网络的心音分类方法 |
| CN113076846A (zh) * | 2021-03-26 | 2021-07-06 | 山东大学 | 心音分类识别方法及系统 |
-
2021
- 2021-12-15 CN CN202111530516.3A patent/CN114305484B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100128083A (ko) * | 2009-05-27 | 2010-12-07 | 충북대학교 산학협력단 | 심장질환 진단장치 및 방법 |
| CN107811649A (zh) * | 2017-12-13 | 2018-03-20 | 四川大学 | 一种基于深度卷积神经网络的心音多分类方法 |
| CN108962279A (zh) * | 2018-07-05 | 2018-12-07 | 平安科技（深圳）有限公司 | 音频数据的乐器识别方法及装置、电子设备、存储介质 |
| US20200046244A1 (en) * | 2018-08-08 | 2020-02-13 | Tata Consultancy Services Limited | Parallel implementation of deep neural networks for classifying heart sound signals |
| CN109961017A (zh) * | 2019-02-26 | 2019-07-02 | 杭州电子科技大学 | 一种基于卷积循环神经网络的心音信号分类方法 |
| CN110755108A (zh) * | 2019-11-04 | 2020-02-07 | 合肥望闻健康科技有限公司 | 一种基于智能听诊器的心脏声音分类方法、系统、装置及可读存储介质 |
| CN111640439A (zh) * | 2020-05-15 | 2020-09-08 | 南开大学 | 一种基于深度学习的呼吸音分类方法 |
| CN111863035A (zh) * | 2020-07-21 | 2020-10-30 | 上海宜硕网络科技有限公司 | 一种用于心音数据识别的方法、系统与设备 |
| CN112949639A (zh) * | 2021-01-26 | 2021-06-11 | 浙江大学医学院附属儿童医院 | 一种先天性心脏病心音智能分割分类算法、装置及存储介质 |
| CN112971839A (zh) * | 2021-02-05 | 2021-06-18 | 云南大学 | 一种基于前馈卷积神经网络的心音分类方法 |
| CN113076846A (zh) * | 2021-03-26 | 2021-07-06 | 山东大学 | 心音分类识别方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115089206A (zh) * | 2022-05-09 | 2022-09-23 | 吴先洪 | 一种对心音信号的预测方法及使用其的心脏听诊装置 |
| CN116052725A (zh) * | 2023-03-31 | 2023-05-02 | 四川大学华西医院 | 一种基于深度神经网络的细粒度肠鸣音识别方法及装置 |
| CN117952869A (zh) * | 2024-03-27 | 2024-04-30 | 西南石油大学 | 一种基于弱光图像增强的钻井液岩屑计数方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114305484B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chowdhury et al. | Time-frequency analysis, denoising, compression, segmentation, and classification of PCG signals | |
| Khan et al. | Automatic heart sound classification from segmented/unsegmented phonocardiogram signals using time and frequency features | |
| CN114305484A (zh) | 基于深度学习的心脏病心音智能分类方法、装置和介质 | |
| Allwood et al. | Advances in acoustic signal processing techniques for enhanced bowel sound analysis | |
| CN109044396B (zh) | 一种基于双向长短时记忆神经网络的智能心音识别方法 | |
| CN111134662B (zh) | 一种基于迁移学习和置信度选择的心电异常信号识别方法及装置 | |
| Deperlioglu | Classification of phonocardiograms with convolutional neural networks | |
| CN110123367B (zh) | 计算机设备、心音识别装置、方法、模型训练装置及存储介质 | |
| ŞEN et al. | ECG arrhythmia classification by using convolutional neural network and spectrogram | |
| Zakaria et al. | Three resnet deep learning architectures applied in pulmonary pathologies classification | |
| Banerjee et al. | Multi-class heart sounds classification using 2D-convolutional neural network | |
| Maity et al. | Transfer learning based heart valve disease classification from Phonocardiogram signal | |
| Rujoie et al. | Classification and evaluation of the severity of tricuspid regurgitation using phonocardiogram | |
| Zeng et al. | Automatic detection of heart valve disorders using Teager–Kaiser energy operator, rational-dilation wavelet transform and convolutional neural networks with PCG signals | |
| CN110415824B (zh) | 脑卒中风的患病风险评估装置和设备 | |
| CN113796889A (zh) | 一种基于深度学习的辅助电子听诊器信号判别方法 | |
| CN115486865A (zh) | 一种基于卷积循环神经网络的心音分类方法 | |
| Touahria et al. | Discrete Wavelet based Features for PCG Signal Classification using Hidden Markov Models. | |
| Skopin et al. | Heartbeat feature extraction from vowel speech signal using 2D spectrum representation | |
| Jain et al. | A lightweight 1-d convolution neural network model for multi-class classification of heart sounds | |
| CN113449636B (zh) | 一种基于人工智能的主动脉瓣狭窄严重程度自动分类方法 | |
| Khanmohammadi et al. | Fetal gender identification using machine and deep learning algorithms on phonocardiogram signals | |
| Sengupta et al. | Optimization of cepstral features for robust lung sound classification | |
| Boussaa et al. | Comparison of MFCC and DWT features extractors applied to PCG classification | |
| Fakhry et al. | Variational Mode Decomposition and a Light CNN-LSTM Model for Classification of Heart Sound Signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |