CN115251978B - 基于小波谱图的异常心音识别方法、装置和服务架构 - Google Patents
基于小波谱图的异常心音识别方法、装置和服务架构 Download PDFInfo
- Publication number
- CN115251978B CN115251978B CN202211188116.3A CN202211188116A CN115251978B CN 115251978 B CN115251978 B CN 115251978B CN 202211188116 A CN202211188116 A CN 202211188116A CN 115251978 B CN115251978 B CN 115251978B
- Authority
- CN
- China
- Prior art keywords
- heart sound
- sound data
- wavelet
- module
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 127
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000005236 sound signal Effects 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000012952 Resampling Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 230000009466 transformation Effects 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 66
- 238000012360 testing method Methods 0.000 claims description 53
- 238000012795 verification Methods 0.000 claims description 44
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000013145 classification model Methods 0.000 claims description 12
- 230000006872 improvement Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 5
- 230000003993 interaction Effects 0.000 claims description 4
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims 1
- 238000012216 screening Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 5
- 208000019622 heart disease Diseases 0.000 abstract description 5
- 238000013136 deep learning model Methods 0.000 abstract description 3
- 238000002555 auscultation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 208000002330 Congenital Heart Defects Diseases 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 208000028831 congenital heart disease Diseases 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 210000001562 sternum Anatomy 0.000 description 4
- 210000001765 aortic valve Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000003109 clavicle Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- QTCANKDTWWSCMR-UHFFFAOYSA-N costic aldehyde Natural products C1CCC(=C)C2CC(C(=C)C=O)CCC21C QTCANKDTWWSCMR-UHFFFAOYSA-N 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 230000003601 intercostal effect Effects 0.000 description 1
- ISTFUJWTQAMRGA-UHFFFAOYSA-N iso-beta-costal Natural products C1C(C(=C)C=O)CCC2(C)CCCC(C)=C21 ISTFUJWTQAMRGA-UHFFFAOYSA-N 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 210000004115 mitral valve Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000003102 pulmonary valve Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 210000000591 tricuspid valve Anatomy 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/02—Stethoscopes
- A61B7/04—Electric stethoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Acoustics & Sound (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Pathology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Fuzzy Systems (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本申请涉及模式识别技术领域的一种基于小波谱图的异常心音识别方法、装置和服务架构。该方法包括：对获取的心音数据的音频文件进行滤波、重采样、数据帧提取、标准化处理后，采用基于Hilbert变换的心音包络检查方法，并根据预设阈值和得到的心音信号的包络，确定有效心音数据和无效心音数据；对有效心音数据进行复Morlet小波变换，并对每帧心音数据的复Morlet小波进行处理，得到心音数据对应的小波谱图，以心音小波谱图作为深度学习模型的输入数据，充分展现了心音的深层时频信息，同时异常心音识别模型，可以取得最佳的组合效果，利用云端的强大算力，快速准确地完成异常心音识别任务，助力儿童先心病的早期筛查。
Description
技术领域
本申请涉及模式识别技术领域，特别是涉及一种基于小波谱图的异常心音识别方法、装置和服务架构。
背景技术
儿童先心病的早期筛查十分重要，但是对于医疗资源相对匮乏的偏远地区来说实施起来却比较困难。心音自动分析技术的发展为解决该问题提供了希望，目前国外的3M、Eko和国内的奥图无线等科技公司已经在心音的数字化听诊、无线数据传输和自动分析等方面进行了有效尝试，展现出良好的应用前景和发展潜力。
心音的采集和预处理技术已经较为成熟，当前研究更多地集中于心音分割与心音特征提取上面，而后者正是深度学习技术的优势所在。心音分割旨在确定基础心音（第1心音和第2心音）的位置，对心音特征提取方案的选择具有重要影响。传统的心音分类方案为保证特征提取质量，对心音分割具有较高要求，近年来基于深度学习的心音分类由于特征提取能力的显著提升，逐渐趋向于不进行心音分割，以简化操作步骤，同时避免心音定位错误产生的不良影响。基于传统机器学习的心音分类模型，如逻辑回归、随机森林和支持向量机等，通常需进行心音分割，采用经过筛选的一维特征向量，有效信息损失较多；基于深度学习的心音分类模型，集深度特征提取与分类功能于一体，可以直接输入原始心音数据或高分辨率的频谱图像，从而保留了绝大多数有效信息，但是其主要使用心音的短时特征，心音识别结果的准确度受到隐藏在心音信息中的不同时长的背景声的影响。
发明内容
基于此，有必要针对上述技术问题，提供一种基于小波谱图的异常心音识别方法、装置和服务架构。
一种基于小波谱图的异常心音识别方法，所述方法包括：
获取心音数据集，将所述心音数据集划分为训练集、验证集以及测试集。
对所述训练集、所述验证集以及所述测试集中的每个心音信号的音频文件进行滤波、重采样、数据帧提取、标准化处理后，得到标准化心音数据帧。
根据所述标准化心音数据帧采用基于Hilbert变换的心音包络检查方法，并根据预设阈值和得到的心音信号的包络，确定有效心音数据和无效心音数据。
将所述有效心音数据进行复Morlet小波变换，并对每帧心音数据的复Morlet小波进行处理，得到训练集、验证集以及测试集中心音数据对应的小波谱图。
构建异常心音识别网络模型，所述异常心音识别网络模型是在ResNet50网络结构的基础上进行改进得到的，改进点为：将ResNet50网络结构中的后四个残差模块中的残差块的第二个卷积层替换为Transformer架构中的自注意力模块。
根据训练集和验证集中心音数据对应的小波谱图对所述异常心音识别网络模型进行训练，并采用测试集中心音数据对应的小波谱图对训练后的异常心音识别网络模型进行测试，得到训练好的异常心音识别网络模型。
将待识别的心音数据输入到训练好的异常心音识别网络模型中，得到待识别的心音数据的识别结果。
一种基于小波谱图的异常心音识别装置，所述装置包括：
心音数据获取模块，用于获取心音数据集，将所述心音数据集划分为训练集、验证集以及测试集。
心音数据预处理模块，用于对所述训练集、所述验证集以及所述测试集中的每个心音信号的音频文件进行滤波、重采样、数据帧提取、标准化处理后，得到标准化心音数据帧；根据所述标准化心音数据帧采用基于Hilbert变换的心音包络检查方法，并根据预设阈值和得到的心音信号的包络，确定有效心音数据和无效心音数据；将所述有效心音数据进行复Morlet小波变换，并对每帧心音数据的复Morlet小波进行处理，得到训练集、验证集以及测试集中心音数据对应的小波谱图。
异常心音识别网络模型构建模块，用于构建异常心音识别网络模型，所述异常心音识别网络模型是在ResNet50网络结构的基础上进行改进得到的，改进点为：将ResNet50网络结构中的后四个残差模块中的残差块的第二个卷积层替换为Transformer架构中的自注意力模块。
异常心音识别网络模型训练模块，用于根据训练集和验证集中心音数据对应的小波谱图对所述异常心音识别网络模型进行训练，并采用测试集中心音数据对应的小波谱图对训练后的异常心音识别网络模型进行测试，得到训练好的异常心音识别网络模型。
异常心音识别模块，用于将待识别的心音数据输入到训练好的异常心音识别网络模型中，得到待识别的心音数据的识别结果。
一种并发心音识别服务架构，所述并发心音识别服务架构包括客户端和服务端；所述客户端和服务端之间通过XMLRPC协议进行数据通信与服务调用。
将上述基于小波谱图的异常心音识别装置的心音数据预处理模块进行独立封装，以多进程的形式并发执行，并基于Redis队列与分类模型推理模块进行高速交互；所述分类模型推理模块实现上述基于小波谱图的异常心音识别装置的异常心音识别网络模型构建模块、异常心音识别网络模型训练模块以及异常心音识别模块的功能。
上述基于小波谱图的异常心音识别方法、装置和服务架构，该方法用于对儿童先天性心脏病的自动化智能化筛查，对获取的心音数据的音频文件进行滤波、重采样、数据帧提取、标准化处理后，采用基于Hilbert变换的心音包络检查方法，并根据预设阈值和得到的心音信号的包络，确定有效心音数据和无效心音数据；对有效心音数据进行复Morlet小波变换，并对每帧心音数据的复Morlet小波进行处理，得到心音数据对应的小波谱图，以心音小波谱图作为深度学习模型的输入数据，充分展现了心音的深层时频信息，同时异常心音识别模型，可以取得最佳的组合效果，利用云端的强大算力，快速准确地完成异常心音识别任务，助力儿童先心病的早期筛查。
附图说明
图1为一个实施例中基于小波谱图的异常心音识别方法的应用场景图；
图2为一个实施例中基于小波谱图的异常心音识别方法的流程示意图；
图3为另一个实施例中自注意力模块结构图；
图4为另一个实施例中心音小波谱图，其中（a）为第一种正常心音小波谱图，（b）为第二种正常心音小波谱图，（c）为第一种异常心音小波谱图，（d）为第二种异常心音小波谱图；
图5为一个实施例中基于小波谱图的异常心音识别装置的结构框图；
图6为一个实施例中并发心音识别服务架构。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于小波谱图的异常心音识别方法，针对儿童先天性心脏病（先心病）的自动化智能化筛查，可以应用于如图1所示的应用环境中。其中，电子听诊器102通过网络与服务器104通过网络进行通信，电子听诊器102采集儿童心音，并通过网络将心音数据通过网络传输到云端服务器104，服务器104对接收到的心音数据自动进行小波处理得到小波谱图，将小波谱图作为异常心音识别模型的输入进行智能分类，得到异常心音识别结果。其中，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种基于小波谱图的异常心音识别方法，该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤200：获取心音数据集，将心音数据集划分为训练集、验证集以及测试集。
具体的，临床惯用心音听诊部位有五个，包括：二尖瓣区，心尖搏动最强点，位于左锁骨中线内侧第五肋间处；肺动脉瓣区，位于胸骨左缘第二肋间；主动脉瓣区，位于胸骨右缘第二肋间；主动脉瓣第二听诊区，位于胸骨左缘第三肋间；三尖瓣区，位于胸骨左缘第四、五肋间。不同听诊区适于不同心脏疾病的诊断，因此本发明在进行心音采集时，由专业医生判定对应的心音属于正常还是异常心音，选定一个听诊部位，利用电子听诊器采集15～20秒左右心音信号并保存为MP3文件，形成心音数据集，按照5:2:3的大致比例分为训练集、验证集与测试集。
步骤202：对训练集、验证集以及测试集中的每个心音信号的音频文件进行滤波、重采样、数据帧提取、标准化处理后，得到标准化心音数据帧。
具体的，在对心音信号的音频文件进行处理之前，还可以先削平万分之五的异常尖峰值。
步骤204：根据标准化心音数据帧采用基于Hilbert变换的心音包络检查方法，并根据预设阈值和得到的心音信号的包络，确定有效心音数据和无效心音数据。
步骤206：将有效心音数据进行复Morlet小波变换，并对每帧心音数据的复Morlet小波进行处理，得到训练集、验证集以及测试集中心音数据对应的小波谱图。
具体的，由每帧数据生成一个小波谱图，得到256×256的RGB图像并保存为PNG文件，形成图像格式的训练集和验证集。
步骤208：构建异常心音识别网络模型，异常心音识别网络模型是在ResNet50网络结构的基础上进行改进得到的，改进点为：将ResNet50网络结构中的后四个残差模块中的残差块的第二个卷积层替换为Transformer架构中的自注意力模块。
具体的，异常心音识别网络模型（PCT-Net模型）是一个基于最新深度学习技术的分类模型，本发明关注心音数据的上下文时序信息的深度挖掘，特别是对于心音数据这种非平稳时序信号，故而在经典的卷积神经网络ResNet网络特征提取骨干网络上加入了Transformer架构中的自注意力机制（Self-Attention Block, SAB），充分利用小波谱图当中的上下文信息，避免了有效信息的损失，提高了整体特征提取能力。
PCT-Net模型的整体网络结构如表1所示，通过在经典的残差卷积网络组件中引入自注意力模块SAB，可以有效提升模型的特征提取与分类识别能力。
表1 异常心音识别模型总体结构
步骤210：根据训练集和验证集中心音数据对应的小波谱图对异常心音识别网络模型进行训练，并采用测试集中心音数据对应的小波谱图对训练后的异常心音识别网络模型进行测试，得到训练好的异常心音识别网络模型。
步骤212：将待识别的心音数据输入到训练好的异常心音识别网络模型中，得到待识别的心音数据的识别结果。
上述基于小波谱图的异常心音识别方法中，该方法用于对儿童先天性心脏病的自动化智能化筛查，对获取的心音数据的音频文件进行滤波、重采样、数据帧提取、标准化处理后，采用基于Hilbert变换的心音包络检查方法，并根据预设阈值和得到的心音信号的包络，确定有效心音数据和无效心音数据；对有效心音数据进行复Morlet小波变换，并对每帧心音数据的复Morlet小波进行处理，得到心音数据对应的小波谱图，以心音小波谱图作为深度学习模型的输入数据，充分展现了心音的深层时频信息，同时异常心音识别模型，可以取得最佳的组合效果，利用云端的强大算力，快速准确地完成异常心音识别任务，助力儿童先心病的早期筛查。
在其中一个实施例中，步骤202包括：读取训练集、验证集以及测试集中的心音信号的音频文件；对每个心音信号的音频文件中的音频信号采用巴特沃斯滤波器进行滤波；对滤波后的信号采用Sinc插值方法进行数据重采样，得到重采样数据；以预设帧长和预设步长，从每个重采样数据居中位置得到预设数量的心音数据帧；将所有的心音数据帧进行标准化处理，将数据值限制在区间[-1, 1]，得到标准化心音数据帧。
具体的，使用3阶巴特沃斯滤波器进行带通滤波，截止频率分别为20Hz和500Hz。巴特沃斯滤波器又被称为最大平坦滤波器，其特点是通频带内的频率响应曲线最大限度平坦，没有纹波，而在阻频带则逐渐下降为零。1阶巴特沃斯滤波器的衰减率为每倍频6分贝，2阶巴特沃斯滤波器的衰减率为每倍频12分贝，3阶巴特沃斯滤波器的衰减率为每倍频18分贝，依此类推。由于该滤波器设计和实现简单，性能方面又没有明显缺限，因而在工程领域得到了广泛应用。
进行重采样，将心音信号数据的采样率降低为2000。
以8000为预设帧长（对应4秒时长的心音片段），4000为预设步长，从心音数据居中位置得到5个数据帧。
使用Sinc插值方法进行数据重采样。Sinc插值算法是一种从离散实信号构造时间连续带限函数的方法，是信号处理领域一种常用的插值补间算法，广泛用于振动信号及图形信号的拟合。Sinc插值在频域表现为一个只保留奈奎斯特频率以下的理想低通滤波器，因此重建的信号更加符合大部分的自然信号规律。
在其中一个实施例中，对滤波后的信号采用Sinc插值方法进行数据重采样，得到重采样数据，步骤后还包括：采用基于离散小波变换的阈值去噪法对重采样数据进行小波去噪，得到去噪后的重采样数据。
具体的，基于离散小波变换的去噪方法可在降低噪声的同时较好地保持信号细节，最常见的方法是阈值去噪法，而阈值估计是其中的关键步骤。目前常用的小波阈值包括VisuShrink阈值、SUREShrink阈值、GCV阈值和BayesShrink阈值等。BayesShrink阈值考虑了原始信号小波系数的广义高斯分布的先验信息，因此估计的阈值误差更小。作为优选，使用BayesShrink阈值估计方法进行小波去噪，采用db6小波，不仅去噪效果良好，同时信号有效成分也可以得到最大保留。
在其中一个实施例中，预设阈值包括：最小阈值和最大阈值；步骤204包括：将每帧标准化心音数据帧采用Hilbert变换提取心音信号的包络；心音信号的包络表达式为：
其中，
为心音信号的包络，
为标准化心音数据帧，
为标准化心音数据帧的Hilbert变换。
设置心跳阈值；以预设长度的窗口在心音信号的包络上进行移动，若窗口内的最大值大于心跳阈值，则记一次心跳，遍历每帧心音数据的心音信号的包络，得到每帧数据对应的心跳数；根据每帧心音数据对应的心跳数计算每分钟的心率，将5帧心音数据帧对应的每分钟的心率的平均值作为参考心率；当参考心率小于最小阈值或大于最大阈值时，则对应帧心音数据为有效数据，否则为无效数据。
具体的，基于Hilbert变换的心音包络检查。Hilbert变换是提取信号包络的常用方法，它将原始信号转变为复解析信号，再将复解析信号的模作为信号包络。对于实信号f(t)，以实信号作为实部，其Hilbert变换作为虚部，所构成的复信号的模A(t)就是该实信号的包络。
对于每帧心音数据，由上式可以得到对应的Hilbert包络。取每秒内包络峰值（共4个）平均值的40%作为心跳阈值，以1000为窗口长度进行移动，若窗口内的最大值超过阈值则记为一次心跳，从而可以求得每帧数据对应的心跳数，进而可以推算出每分钟的心率，而5个数据帧对应的结果平均后即可作为参考心率。若得到的参考心率小于30或大于240，则认为该数据有效，否则为无效数据，以避免劣质音频数据的影响。
在其中一个实施例中，异常心音识别网络模型包括特征提取网络和分类网络；特征提取网络包括第一残差模块、第二残差模块、第三残差模块、第四残差模块以及第五残差模块，第二残差模块、第三残差模块、第四残差模块以及第五残差模块包括改进的残差块的数量分别为3,4,6,3；分类网络包括全局平均池化层、全连接层以及Softmax函数；步骤210包括：将训练集、验证集以及测试集中的心音数据对应的小波谱图分别作为训练样本、验证样本和测试样本；将训练样本输入到第一残差模块中，得到第一层深度特征；将第一层深度特征输入到第二残差模块中，得到第二层深度特征；将第二层深度特征输入到第三残差模块中，得到第三层深度特征；将第三层深度特征输入到第四残差模块中，得到第四层深度特征；将第四层深度特征输入到第五残差模块中，得到心音信号的深度特征；将心音信号的深度特征输入到分类网络中，得到异常心音预测分类结果；根据预测分类结果和训练样本，采用自适应动量估计法和交叉熵损失函数对异常心音识别网络模型进行反向训练，并采用验证样本进行验证，得到训练后的异常心音识别网络模型；采用测试样本对训练后的异常心音识别网络模型进行测试，得到训练好的异常心音识别网络模型。
具体的，采用训练集、验证集以及测试集中的心音数据对应的小波谱图对PCT-Net模型进行训练。训练PCT-Net模型时，硬件环境为NVidia GTX 1070显卡，软件环境为Tensorflow GPU 2.3版，模型训练时选取批处理尺寸为16，训练策略为自适应动量估计法，损失函数为交叉熵，最大训练轮数为1000，输入图像无需数据增强（非自然图像），选择验证准确率最高（100轮内未出现提升）的模型为最优分类模型。
将测试集中的心音数据对应的小波谱图成批输入PCT-Net模型进行推理，并取多数为分类结果（如5个分类输出，3个为异常，则判定该心音为异常，反之亦然）。经测试针对现场实采的包含多种环境干扰的测试心音数据，本发明的异常心音识别准确率可达85%以上，初步满足应用需求，后期还将不断迭代提升模型性能，同时持续改进整体识别策略。在实际使用当中，可对受诊者的五个听诊部位依次采集15秒左右心音数据进行识别，超过两个异常则认为存在心音异常情况，可用于儿童先心病的早期筛查。
在其中一个实施例中，改进的残差块包括：第一点卷积层、自注意力模块、第二点卷积层；将第一层深度特征输入到第二残差模块中，得到第二层深度特征，包括：将第一层深度特征进行全局最大值池化处理，得到池化结果；将池化结果输入到第二残差模块的第一个改进的残差块的第一点卷积层，得到第一点卷积特征；将第一点卷积特征输入到第二残差模块的第一个改进的残差块的自注意力模块，得到自注意力特征图；将自注意力特征图输入到第二残差模块的第一个改进的残差块的第二点卷积层，得到第二点卷积特征，并将第二点卷积特征与池化结果进行融合，得到第一残差特征；将第一残差特征输入到第二个改进的残差块中，得到第二残差特征；将第二残差特征输入到第三个改进的残差块中，得到第二层深度特征。
在其中一个实施例中，自注意力模块的结构如图3所示。将第一点卷积特征输入到第一个改进的残差块的自注意力模块，得到自注意力特征图，包括：根据第一点卷积特征采用内嵌矩阵W K , W Q , W V ，通过点卷积计算，得到键K=XW K 、查询Q=XW Q 和值V=XW V ；根据键K=XW K 、查询Q=XW Q 和值V=XW V ，得到自注意力特征图，自注意力特征图的表达式为：
Y=(Softmax(QKT)V)W（2）
其中，Y为自注意力特征图，Q为查询，K为键，V为值，W为参数矩阵。三个内嵌矩阵W K , W Q , W V 分别对应键、查询和值的计算，三个内嵌矩阵是针对整个输入特征图的，每个特征图具备高、宽、通道三个维度。
在其中一个实施例中，步骤206包括：将有效心音数据进行复Morlet小波变换，得到复Morlet小波，复Morlet小波的时域表达式为：
其中，
为复Morlet小波；
为带宽参数；决定了波形振荡的快慢程度；
为中心频率，决定了波形振荡频率；
为圆周率，
为时间。
根据预设模态分量对复Morlet小波的时间和频率分辨率进行修正，得到修正后的小波的时间和频率分辨率，修正后的小波的时间和频率分辨率分别为：
其中，
为采样频率，
为预设模态分量，
为修正后的小波的时间分辨率，
为修正后的小波的频率分辨率。
根据复Morlet小波的小波系数模值、修正后的小波的时间和频率分辨率，绘制每帧心音数据对应的等高线图，得到每帧心音数据对应的小波谱图。
具体的，由每帧数据生成一个Morlet小波谱图。连续小波变换（ContinuousWavelet Transform, CWT）是一种刻画心音等非平稳信号时频特征的有力工具。经典的时频分析工具通常基于短时傅里叶变换（Short-Time Fourier Transform, STFT），其时频分析窗口大小固定，在时间分辨率与频率分辨率上难以取得理想的平衡。小波分析将信号分解成一系列小波函数的叠加，这些小波函数是由一个母小波函数通过平移与尺度伸缩得来。利用小波函数既可以去逼近那些非稳态信号中尖锐变化的部分，也可以去逼近离散不连续具有局部特性的信号，从而更为真实地反映原信号在某一时间尺度上的变化。实际当中通常希望得到平滑连续的小波振幅，非正交小波函数较为合适，而要同时得到振幅和相位信息，还需选择复数小波，因为复数小波具有虚部，可以对相位进行描述。复Morlet小波兼具以上两种特性，故本发明选用复Morlet小波。
针对某一个模态分量
修正后的小波的时间和频率分辨率如式（4）、式（5）所示，可以通过调整
与
来改变Morlet小波变换的时频分辨率。
本实施例的参数选取
，尺度规模为128，利用Python小波库PyWavelets所提供的CWT函数进行复Morlet小波变换，然后基于时间、频率和小波系数模值来绘制每帧心音数据对应的等高线图，可以得到彩色的小波谱图，如图4所示，其中（a）为第一种正常心音小波谱图，（b）为第二种正常心音小波谱图，（c）为第一种异常心音小波谱图，（d）为第二种异常心音小波谱图。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种基于小波谱图的异常心音识别装置，包括：心音数据获取模块、心音数据预处理模块、异常心音识别网络模型构建模块、异常心音识别网络模型训练模块和异常心音识别模块，其中：
心音数据获取模块，用于获取心音数据集，将心音数据集划分为训练集、验证集以及测试集。
心音数据预处理模块，用于对训练集、验证集以及测试集中的每个心音信号的音频文件进行滤波、重采样、数据帧提取、标准化处理后，得到标准化心音数据帧；根据标准化心音数据帧采用基于Hilbert变换的心音包络检查方法，并根据预设阈值和得到的心音信号的包络，确定有效心音数据和无效心音数据；将有效心音数据进行复Morlet小波变换，并对每帧心音数据的复Morlet小波进行处理，得到训练集、验证集以及测试集中心音数据对应的小波谱图。
异常心音识别网络模型构建模块，用于构建异常心音识别网络模型，异常心音识别网络模型是在ResNet50网络结构的基础上进行改进得到的，改进点为：将ResNet50网络结构中的后四个残差模块中的残差块的第二个卷积层替换为Transformer架构中的自注意力模块。
异常心音识别网络模型训练模块，用于根据训练集和验证集中心音数据对应的小波谱图对异常心音识别网络模型进行训练，并采用测试集中心音数据对应的小波谱图对训练后的异常心音识别网络模型进行测试，得到训练好的异常心音识别网络模型。
异常心音识别模块，用于将待识别的心音数据输入到训练好的异常心音识别网络模型中，得到待识别的心音数据的识别结果。
在其中一个实施例中，心音数据预处理模块，还用于读取训练集、验证集以及测试集中的心音信号的音频文件；对每个心音信号的音频文件中的音频信号采用巴特沃斯滤波器进行滤波；对滤波后的信号采用Sinc插值方法进行数据重采样，得到重采样数据；以预设帧长和预设步长，从每个重采样数据居中位置得到预设数量的心音数据帧；将所有的心音数据帧进行标准化处理，将数据值限制在区间[-1, 1]，得到标准化心音数据帧。
在其中一个实施例中，心音数据预处理模块，还用于采用基于离散小波变换的阈值去噪法对重采样数据进行小波去噪，得到去噪后的重采样数据。
在其中一个实施例中，预设阈值包括：最小阈值和最大阈值；心音数据预处理模块，还用于将每帧标准化心音数据帧采用Hilbert变换提取心音信号的包络；心音信号的包络表达式如式（1）所示。
设置心跳阈值；以预设长度的窗口在心音信号的包络上进行移动，若窗口内的最大值大于心跳阈值，则记一次心跳，遍历每帧心音数据的心音信号的包络，得到每帧数据对应的心跳数；根据每帧心音数据对应的心跳数计算每分钟的心率，将5帧心音数据帧对应的每分钟的心率的平均值作为参考心率；当参考心率小于最小阈值或大于最大阈值时，则对应帧心音数据为有效数据，否则为无效数据。
在其中一个实施例中，异常心音识别网络模型包括特征提取网络和分类网络；特征提取网络包括第一残差模块、第二残差模块、第三残差模块、第四残差模块以及第五残差模块，第二残差模块、第三残差模块、第四残差模块以及第五残差模块包括改进的残差块的数量分别为3,4,6,3；分类网络包括全局平均池化层、全连接层以及Softmax函数；异常心音识别网络模型训练模块，还用于将训练集、验证集以及测试集中的心音数据对应的小波谱图分别作为训练样本、验证样本和测试样本；将训练样本输入到第一残差模块中，得到第一层深度特征；将第一层深度特征输入到第二残差模块中，得到第二层深度特征；将第二层深度特征输入到第三残差模块中，得到第三层深度特征；将第三层深度特征输入到第四残差模块中，得到第四层深度特征；将第四层深度特征输入到第五残差模块中，得到心音信号的深度特征；将心音信号的深度特征输入到分类网络中，得到异常心音预测分类结果；根据预测分类结果和训练样本，采用自适应动量估计法和交叉熵损失函数对异常心音识别网络模型进行反向训练，并采用验证样本进行验证，得到训练后的异常心音识别网络模型；采用测试样本对训练后的异常心音识别网络模型进行测试，得到训练好的异常心音识别网络模型。
在其中一个实施例中，改进的残差块包括：第一点卷积层、自注意力模块、第二点卷积层；异常心音识别网络模型训练模块，还用于将第一层深度特征进行全局最大值池化处理，得到池化结果；将池化结果输入到第二残差模块的第一个改进的残差块的第一点卷积层，得到第一点卷积特征；将第一点卷积特征输入到第二残差模块的第一个改进的残差块的自注意力模块，得到自注意力特征图；将自注意力特征图输入到第二残差模块的第一个改进的残差块的第二点卷积层，得到第二点卷积特征，并将第二点卷积特征与池化结果进行融合，得到第一残差特征；将第一残差特征输入到第二残差模块的第二个改进的残差块中，得到第二残差特征；将第二残差特征输入到第二残差模块的第三个改进的残差块中，得到第二层深度特征。
在其中一个实施例中，将第一点卷积特征输入到第一个改进的残差块的自注意力模块，得到自注意力特征图，包括：根据第一点卷积特征采用内嵌矩阵W K , W Q , W V ，通过点卷积计算，得到键K=XW K 、查询Q=XW Q 和值V=XW V ；根据键K=XW K 、查询Q=XW Q 和值V=XW V ，得到自注意力特征图，自注意力特征图的表达式如式（2）所示。
在其中一个实施例中，心音数据预处理模块，还用于将有效心音数据进行复Morlet小波变换，得到复Morlet小波，复Morlet小波的时域表达式如式（3）所示。
根据预设模态分量对复Morlet小波的时间和频率分辨率进行修正，得到修正后的小波的时间和频率分辨率，修正后的小波的时间和频率分辨率分别如式（4）、（5）所示。
根据复Morlet小波的小波系数模值、修正后的小波的时间和频率分辨率，绘制每帧心音数据对应的等高线图，得到每帧心音数据对应的小波谱图。
关于基于小波谱图的异常心音识别装置的具体限定可以参见上文中对于基于小波谱图的异常心音识别方法的限定，在此不再赘述。上述基于小波谱图的异常心音识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，如图6所示，提供了一种并发心音识别服务架构，并发心音识别服务架构包括客户端和服务端；客户端和服务端之间通过XMLRPC协议进行数据通信与服务调用。
将上述基于小波谱图的异常心音识别装置的心音数据预处理模块进行独立封装，以多进程的形式并发执行，并基于Redis队列与分类模型推理模块进行高速交互；分类模型推理模块实现上述基于小波谱图的异常心音识别装置的异常心音识别网络模型构建模块、异常心音识别网络模型训练模块以及异常心音识别模块的功能。
具体的，实现基于XMLRPC协议和Redis队列的并发心音识别服务。心音识别的客户端与服务端之间通过XMLRPC协议进行数据通信与服务调用。XMLRPC是一个远程过程调用的分布式计算协议，通过XML格式封装函数调用，并使用HTTP协议作为传送机制。心音识别服务中最耗时的部分在于心音数据的预处理，超过1秒，而分类模型PCT-Net的推理速度在GPU环境下不足100毫秒。因此本发明中将预处理模块独立封装，以多进程的形式并发执行，并基于Redis队列与分类模型推理模块进行高速交互，可以显著提高后台服务的整体响应速度。此外，预处理模块的进程数量可以直接扩展，无需任何额外配置操作，部署十分方便。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于小波谱图的异常心音识别方法，其特征在于，所述方法包括：
获取心音数据集，将所述心音数据集划分为训练集、验证集以及测试集；
对所述训练集、所述验证集以及所述测试集中的每个心音信号的音频文件进行滤波、重采样、数据帧提取、标准化处理后，得到标准化心音数据帧；
根据所述标准化心音数据帧采用基于Hilbert变换的心音包络检查方法，并根据预设阈值和得到的心音信号的包络，确定有效心音数据和无效心音数据；
将所述有效心音数据进行复Morlet小波变换，并对每帧心音数据的复Morlet小波进行处理，得到训练集、验证集以及测试集中心音数据对应的小波谱图；
构建异常心音识别网络模型，所述异常心音识别网络模型是在ResNet50网络结构的基础上进行改进得到的，改进点为：将ResNet50网络结构中的后四个残差模块中的残差块的第二个卷积层替换为Transformer架构中的自注意力模块；异常心音识别网络模型包括特征提取网络和分类网络；所述特征提取网络包括第一残差模块、第二残差模块、第三残差模块、第四残差模块以及第五残差模块，第二残差模块、第三残差模块、第四残差模块以及第五残差模块包括改进的残差块的数量分别为3、4、6、3；所述分类网络包括全局平均池化层、全连接层以及Softmax函数；改进的残差块包括：第一点卷积层、自注意力模块、第二点卷积层；
根据训练集和验证集中心音数据对应的小波谱图对所述异常心音识别网络模型进行训练，并采用测试集中心音数据对应的小波谱图对训练后的异常心音识别网络模型进行测试，得到训练好的异常心音识别网络模型；
将待识别的心音数据输入到训练好的异常心音识别网络模型中，得到待识别的心音数据的识别结果。
2.根据权利要求1所述的方法，其特征在于，对所述训练集、所述验证集以及所述测试集中的每个心音信号的音频文件进行滤波、重采样、数据帧提取、标准化处理后，得到标准化心音数据帧，包括：
读取所述训练集、所述验证集以及所述测试集中的心音信号的音频文件；
对每个心音信号的音频文件中的音频信号采用巴特沃斯滤波器进行滤波；
对滤波后的信号采用Sinc插值方法进行数据重采样，得到重采样数据；
以预设帧长和预设步长，从每个重采样数据居中位置得到预设数量的心音数据帧；
将所有的心音数据帧进行标准化处理，将数据值限制在区间[-1, 1]，得到标准化心音数据帧。
3.根据权利要求2所述的方法，其特征在于，对滤波后的信号采用Sinc插值方法进行数据重采样，得到重采样数据，步骤后还包括：
采用基于离散小波变换的阈值去噪法对所述重采样数据进行小波去噪，得到去噪后的重采样数据。
4.根据权利要求1所述的方法，其特征在于，预设阈值包括：最小阈值和最大阈值；
根据所述标准化心音数据帧采用基于Hilbert变换的心音包络检查方法，并根据预设阈值和得到的心音信号的包络，确定有效心音数据和无效心音数据，包括：
将每帧所述标准化心音数据帧采用Hilbert变换提取心音信号的包络；所述心音信号的包络表达式为：
其中，
为心音信号的包络，
为标准化心音数据帧，
为标准化心音数据帧的Hilbert变换；
设置心跳阈值；
以预设长度的窗口在心音信号的包络上进行移动，若窗口内的最大值大于所述心跳阈值，则记一次心跳，遍历每帧心音数据的心音信号的包络，得到每帧数据对应的心跳数；
根据每帧心音数据对应的心跳数计算每分钟的心率，将5帧心音数据帧对应的每分钟的心率的平均值作为参考心率；
当参考心率小于最小阈值或大于最大阈值时，则对应帧心音数据为有效数据，否则为无效数据。
5.根据权利要求1所述的方法，其特征在于，根据训练集和验证集中心音数据对应的小波谱图对所述异常心音识别网络模型进行训练，并采用测试集中心音数据对应的小波谱图对训练后的异常心音识别网络模型进行测试，得到训练好的异常心音识别网络模型，包括：
将训练集、验证集以及测试集中的心音数据对应的小波谱图分别作为训练样本、验证样本和测试样本；
将所述训练样本输入到所述第一残差模块中，得到第一层深度特征；
将所述第一层深度特征输入到第二残差模块中，得到第二层深度特征；
将所述第二层深度特征输入到第三残差模块中，得到第三层深度特征；
将所述第三层深度特征输入到第四残差模块中，得到第四层深度特征；
将所述第四层深度特征输入到第五残差模块中，得到心音信号的深度特征；
将心音信号的深度特征输入到分类网络中，得到异常心音预测分类结果；
根据所述预测分类结果和训练样本，采用自适应动量估计法和交叉熵损失函数对所述异常心音识别网络模型进行反向训练，并采用验证样本进行验证，得到训练后的异常心音识别网络模型；
采用测试样本对训练后的异常心音识别网络模型进行测试，得到训练好的异常心音识别网络模型。
6.根据权利要求5所述的方法，其特征在于，将所述第一层深度特征输入到第二残差模块中，得到第二层深度特征，包括：
将所述第一层深度特征进行全局最大值池化处理，得到池化结果；
将所述池化结果输入到第二残差模块的第一个改进的残差块的第一点卷积层，得到第一点卷积特征；
将所述第一点卷积特征输入到第二残差模块的第一个改进的残差块的自注意力模块，得到自注意力特征图；
将所述自注意力特征图输入到第二残差模块的第一个改进的残差块的第二点卷积层，得到第二点卷积特征，并将所述第二点卷积特征与所述池化结果进行融合，得到第一残差特征；
将所述第一残差特征输入到第二残差模块的第二个改进的残差块中，得到第二残差特征；
将所述第二残差特征输入到第二残差模块的第三个改进的残差块中，得到第二层深度特征。
7.根据权利要求6所述的方法，其特征在于，将所述第一点卷积特征输入到第一个改进的残差块中的自注意力模块，得到自注意力特征图，包括：
根据所述第一点卷积特征采用内嵌矩阵W K , W Q , W V ，通过点卷积计算，得到键K=XW K 、查询Q=XW Q 和值V=XW V ；
根据键K=XW K 、查询Q=XW Q 和值V=XW V ，得到自注意力特征图，自注意力特征图的表达式为：
其中，Y为自注意力特征图，Q为查询，K为键，V为值，W为参数矩阵。
8.根据权利要求1所述的方法，其特征在于，将所述有效心音数据进行复Morlet小波变换，并对每帧心音数据的复Morlet小波进行处理，得到训练集、验证集以及测试集中心音数据对应的小波谱图，包括：
将所述有效心音数据进行复Morlet小波变换，得到复Morlet小波，复Morlet小波的时域表达式为：
其中，
为复Morlet小波，
为带宽参数，
为中心频率，
为圆周率，
为时间；
根据预设模态分量对复Morlet小波的时间和频率分辨率进行修正，得到修正后的小波的时间和频率分辨率，所述修正后的小波的时间和频率分辨率分别为：
其中，
为采样频率，
为预设模态分量，
为修正后的小波的时间分辨率，
为修正后的小波的频率分辨率；
根据复Morlet小波的小波系数模值、修正后的小波的时间和频率分辨率，绘制每帧心音数据对应的等高线图，得到每帧心音数据对应的小波谱图。
9.一种基于小波谱图的异常心音识别装置，其特征在于，所述装置包括：
心音数据获取模块，用于获取心音数据集，将所述心音数据集划分为训练集、验证集以及测试集；
心音数据预处理模块，用于对所述训练集、所述验证集以及所述测试集中的每个心音信号的音频文件进行滤波、重采样、数据帧提取、标准化处理后，得到标准化心音数据帧；根据所述标准化心音数据帧采用基于Hilbert变换的心音包络检查方法，并根据预设阈值和得到的心音信号的包络，确定有效心音数据和无效心音数据；将所述有效心音数据进行复Morlet小波变换，并对每帧心音数据的复Morlet小波进行处理，得到训练集、验证集以及测试集中心音数据对应的小波谱图；
异常心音识别网络模型构建模块，用于构建异常心音识别网络模型，所述异常心音识别网络模型是在ResNet50网络结构的基础上进行改进得到的，改进点为：将ResNet50网络结构中的后四个残差模块中的残差块的第二个卷积层替换为Transformer架构中的自注意力模块；异常心音识别网络模型包括特征提取网络和分类网络；所述特征提取网络包括第一残差模块、第二残差模块、第三残差模块、第四残差模块以及第五残差模块，第二残差模块、第三残差模块、第四残差模块以及第五残差模块包括改进的残差块的数量分别为3、4、6、3；所述分类网络包括全局平均池化层、全连接层以及Softmax函数；改进的残差块包括：第一点卷积层、自注意力模块、第二点卷积层；
异常心音识别网络模型训练模块，用于根据训练集和验证集中心音数据对应的小波谱图对所述异常心音识别网络模型进行训练，并采用测试集中心音数据对应的小波谱图对训练后的异常心音识别网络模型进行测试，得到训练好的异常心音识别网络模型；
异常心音识别模块，用于将待识别的心音数据输入到训练好的异常心音识别网络模型中，得到待识别的心音数据的识别结果。
10.一种并发心音识别服务系统，其特征在于，所述并发心音识别服务系统包括客户端和服务端；所述客户端和服务端之间通过XMLRPC协议进行数据通信与服务调用；
将权利要求9中所述的基于小波谱图的异常心音识别装置的心音数据预处理模块进行独立封装，以多进程的形式并发执行，并基于Redis队列与分类模型推理模块进行高速交互；所述分类模型推理模块实现权利要求9中所述的基于小波谱图的异常心音识别装置的异常心音识别网络模型构建模块、异常心音识别网络模型训练模块以及异常心音识别模块的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211188116.3A CN115251978B (zh) | 2022-09-28 | 2022-09-28 | 基于小波谱图的异常心音识别方法、装置和服务架构 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211188116.3A CN115251978B (zh) | 2022-09-28 | 2022-09-28 | 基于小波谱图的异常心音识别方法、装置和服务架构 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115251978A CN115251978A (zh) | 2022-11-01 |
| CN115251978B true CN115251978B (zh) | 2023-01-31 |
Family
ID=83756417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211188116.3A Active CN115251978B (zh) | 2022-09-28 | 2022-09-28 | 基于小波谱图的异常心音识别方法、装置和服务架构 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115251978B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101357076A (zh) * | 2008-08-08 | 2009-02-04 | 重庆大学 | 远程心脏储备指标分析系统及其方法 |
| JP2014113183A (ja) * | 2012-12-06 | 2014-06-26 | Jvc Kenwood Corp | 心音情報処理装置、心音情報処理方法およびプログラム |
| CN215349053U (zh) * | 2020-12-08 | 2021-12-31 | 阳广贤 | 一种先天性心脏病智能筛查机器人 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109498054B (zh) * | 2019-01-02 | 2020-12-25 | 京东方科技集团股份有限公司 | 心音监测装置、获取心音信号的方法及配置方法 |
-
2022
- 2022-09-28 CN CN202211188116.3A patent/CN115251978B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101357076A (zh) * | 2008-08-08 | 2009-02-04 | 重庆大学 | 远程心脏储备指标分析系统及其方法 |
| JP2014113183A (ja) * | 2012-12-06 | 2014-06-26 | Jvc Kenwood Corp | 心音情報処理装置、心音情報処理方法およびプログラム |
| CN215349053U (zh) * | 2020-12-08 | 2021-12-31 | 阳广贤 | 一种先天性心脏病智能筛查机器人 |
Non-Patent Citations (1)
| Title |
|---|
| 基于小波分析和概率神经网络的心音诊断研究;全雪峰 等;《工业控制计算机》;20101231;第23卷(第8期);第79-80页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115251978A (zh) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111358455B (zh) | 一种多数据源的血压预测方法和装置 | |
| Aydin et al. | Embolic Doppler ultrasound signal detection using discrete wavelet transform | |
| CN109890043B (zh) | 一种基于生成式对抗网络的无线信号降噪方法 | |
| CN110123367B (zh) | 计算机设备、心音识别装置、方法、模型训练装置及存储介质 | |
| CN110755108A (zh) | 一种基于智能听诊器的心脏声音分类方法、系统、装置及可读存储介质 | |
| CN114469124B (zh) | 一种运动过程中异常心电信号的识别方法 | |
| CN110543832A (zh) | 基于随机森林和卷积神经网络的脑电数据分类方法 | |
| CN111248938A (zh) | 实时心音信号诊断系统及其诊断方法 | |
| CN117116290A (zh) | 基于多维特征的数控机床部件缺陷定位方法和相关设备 | |
| CN111370120A (zh) | 一种基于心音信号的心脏舒张功能障碍的检测方法 | |
| CN115251978B (zh) | 基于小波谱图的异常心音识别方法、装置和服务架构 | |
| CN112336369B (zh) | 一种多通道心音信号的冠心病风险指数评估系统 | |
| Morshed et al. | Automated heart valve disorder detection based on PDF modeling of formant variation pattern in PCG signal | |
| CN111968669A (zh) | 一种多元混合声信号分离方法及装置 | |
| CN108596879B (zh) | 一种基于希尔伯特黄变换的fMRI时频域动态网络构建方法 | |
| CN116304559A (zh) | 一种基于卷积自编码网络的微震信号降噪方法及系统 | |
| CN115017960A (zh) | 一种基于时空联合mlp网络的脑电信号分类方法及应用 | |
| CN113035176B (zh) | 语音数据处理方法、装置、计算机设备及存储介质 | |
| CN114488841A (zh) | 一种智能穿戴设备的数据搜集处理方法 | |
| CN113229842A (zh) | 一种基于复数深度神经网络的心肺音自动分离方法 | |
| CN112329626A (zh) | 调制与深度学习融合的设备故障诊断方法、系统及介质 | |
| CN116230230A (zh) | 一种人体健康监控的方法和系统 | |
| CN117542370B (zh) | 一种用于智能客服机器人的语音信号智能处理方法及系统 | |
| CN117122281A (zh) | 基于时空多尺度注意力机制的癫痫发作预测系统及方法 | |
| CN115919353A (zh) | 一种基于声谱热图的心音诊断系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |