CN112036467B - 基于多尺度注意力神经网络的异常心音识别方法及装置 - Google Patents
基于多尺度注意力神经网络的异常心音识别方法及装置 Download PDFInfo
- Publication number
- CN112036467B CN112036467B CN202010876170.1A CN202010876170A CN112036467B CN 112036467 B CN112036467 B CN 112036467B CN 202010876170 A CN202010876170 A CN 202010876170A CN 112036467 B CN112036467 B CN 112036467B
- Authority
- CN
- China
- Prior art keywords
- heart sound
- features
- abnormal
- scale
- training sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 113
- 230000005236 sound signal Effects 0.000 claims abstract description 72
- 238000002372 labelling Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 230000007246 mechanism Effects 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 28
- 238000011176 pooling Methods 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 238000009432 framing Methods 0.000 claims description 18
- 239000012634 fragment Substances 0.000 claims description 13
- 230000005284 excitation Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 230000000747 cardiac effect Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 2
- 238000002555 auscultation Methods 0.000 abstract description 25
- 238000003745 diagnosis Methods 0.000 abstract description 9
- 230000005856 abnormality Effects 0.000 description 16
- 230000004913 activation Effects 0.000 description 16
- 238000012360 testing method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012216 screening Methods 0.000 description 6
- 238000013434 data augmentation Methods 0.000 description 5
- 208000024172 Cardiovascular disease Diseases 0.000 description 4
- 208000002330 Congenital Heart Defects Diseases 0.000 description 4
- 208000028831 congenital heart disease Diseases 0.000 description 4
- 208000032170 Congenital Abnormalities Diseases 0.000 description 3
- 206010010356 Congenital anomaly Diseases 0.000 description 3
- 230000007698 birth defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000001765 aortic valve Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000004115 mitral valve Anatomy 0.000 description 2
- 210000003102 pulmonary valve Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 210000000591 tricuspid valve Anatomy 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B7/00—Instruments for auscultation
- A61B7/02—Stethoscopes
- A61B7/04—Electric stethoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Acoustics & Sound (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本发明提供了基于多尺度注意力神经网络的异常心音识别方法及装置，其方法包括：对采集到的原始心音信号进行预处理，将预处理后的心音信号作为训练样本；对所述训练样本进行心音质量标注；根据所述训练样本及其标注内容对异常心音识别模型进行训练；将待检测心音数据输入训练好的异常心音识别模型，得到心音质量预测结果，根据所述心音质量预测结果识别异常心音。本发明对心音信号进行客观地量化分析，使得心音听诊结果更加精准，能更有效地辅助医生进行心音识别诊断。
Description
技术领域
本发明涉及疾病筛查技术领域，尤指基于多尺度注意力神经网络的异常心音识别方法及装置。
背景技术
先天性心脏病占所有出生缺陷的26.7％，是我国出生缺陷的首位，也是我国新生儿死亡原因的首位。全国先天性心脏病的发病率也呈现逐年递增的趋势，《中国出生缺陷防治报告2012》显示2011年全国先天性心脏病的发病率是2010年的3.56倍。显然，及时高效对新生儿进行有效的先天性心脏病筛查变得刻不容缓。通过有效的筛查手段以达到早期发现、早期诊断、及时治疗的效果。
目前，心音听诊依然是心血管疾病(CVD)早期筛查的主要有效手段。通过心音听诊确定就诊者心脏健康状况或疾病类型需要医生具备专业的医学知识储备以及丰富的临床经验，而要培养一位高级的心血管疾病诊断专家需要漫长的时间，这使得心血管疾病专家严重不足，尤其是在下级医院和偏远地区。除此之外，听诊的准确性还会受到医生主观经验影响。因此，对于能够客观，自动的基于心音信号(PCGs)的辅助诊断工具的需求变得尤为迫切。
发明内容
本发明的目的是提供基于多尺度注意力神经网络的异常心音识别方法及装置，用于解决传统心音分析依赖医生经验、准确性不高的问题。
本发明提供的技术方案如下：
一种基于多尺度注意力神经网络的异常心音识别方法，包括：
对采集到的原始心音信号进行预处理，将预处理后的心音信号作为训练样本；对所述训练样本进行心音质量标注；根据所述训练样本及其标注内容对异常心音识别模型进行训练；将待检测心音数据输入训练好的异常心音识别模型，得到心音质量预测结果，根据所述心音质量预测结果识别异常心音；所述的根据所述训练样本及其标注内容对异常心音识别模型进行训练，包括：对每个训练样本提取多种不同尺度的心音特征；将所述多种不同尺度的心音特征经多尺度注意力机制处理，获得加权后的心音特征；根据所述加权后的心音特征对所述训练样本进行心音质量预测。
进一步地，所述的将所述多种不同尺度的心音特征经多尺度注意力机制处理，获得加权后的心音特征，包括：通过卷积和/或反卷积运算将所述多种不同尺度的心音特征统一到相同尺度，得到不同通道的相同尺度的心音特征；通过逐元素相加方式对所述不同通道的相同尺度的心音特征进行特征融合，得到包含所有通道的超特征；将所述超特征依次经过全局平均池化层、第一全连接层、第二全连接层和归一化指数函数的处理，对每个通道的重要性进行预测，得到不同通道的相同尺度的心音特征对应的权重；根据所述不同通道的相同尺度的心音特征及其对应的权重，得到加权后的心音特征。
进一步地，所述的通过卷积和/或反卷积运算将所述多种不同尺度的心音特征统一到相同尺度，得到不同通道的相同尺度的心音特征，包括：通过3*3的卷积/反卷积层将所述多种不同尺度的心音特征统一到120*125大小，得到不同通道的相同尺度的心音特征；
所述的将所述超特征依次经过全局平均池化层、第一全连接层、第二全连接层和归一化指数函数的处理，对每个通道的重要性进行预测，得到不同通道的相同尺度的心音特征对应的权重，包括：所述超特征依次经过全局平均池化层，得到每种通道的初始权重；将由所有通道的初始权重构成的初始权重向量依次经过将通道数减半的第一全连接层、将通道数复原的第二全连接层和softmax层的处理，得到不同通道的相同尺度的心音特征对应的权重。
进一步地，所述的对每个训练样本提取多种不同尺度的心音特征，包括：通过一卷积神经网络提取所述训练样本的基础心音特征；将所述基础心音特征输入一密集循环网络，得到多种不同尺度的心音特征；所述密集循环网络包含多个密集循环连接块，每个密集循环连接块包括多个卷积层，其中每一卷积层既是其他卷积层的输入又是其他卷积层的输出；每个密集循环连接块的第一阶段的输出作为一种尺度的心音特征。
进一步地，所述密集循环网络包括四个密集循环连接块和三个压缩激励块；所述四个密集循环连接块和所述三个压缩激励块交替连接，分别提取四种不同尺度的心音特征。
进一步地，所述的通过一卷积神经网络提取所述训练样本的基础心音特征，包括：通过7*7的卷积层提取所述训练样本的心音局部特征；将所述心音局部特征依次经过批量归一化层、修正线性单元层、最大池化层的处理，得到所述训练样本的基础心音特征。
进一步地，所述的将预处理后的心音信号作为训练样本，包括：采用滑动窗口对预处理后的心音信号进行有重叠的加窗分帧切割，得到多个心音片段，每个心音片段包含2个或3个完整的心动周期；将每个心音片段作为训练样本。。
进一步地，所述的将待检测心音数据输入训练好的异常心音识别模型，包括：将待检测心音数据进行无重叠的加窗分帧，得到多个待检测心音片段；将每个待检测心音片段输入训练好的异常心音识别模型。
本发明还提供一种基于多尺度注意力神经网络的异常心音识别装置，包括：预处理模块，用于对采集到的原始心音信号进行预处理，将预处理后的心音信号作为训练样本；标注模块，用于对所述训练样本进行心音质量标注；模型训练模块，用于根据所述训练样本及其标注内容对异常心音识别模型进行训练；检测模块，用于将待检测心音数据输入训练好的异常心音识别模型，得到心音质量预测结果，根据所述心音质量预测结果识别异常心音；所述模型训练模块，进一步用于对每个训练样本提取多种不同尺度的心音特征；将所述多种不同尺度的心音特征经多尺度注意力机制处理，获得加权后的心音特征；根据所述加权后的心音特征对所述训练样本进行心音质量预测。
进一步地，所述注意力机制处理单元，通过卷积和/或反卷积运算将所述多种不同尺度的心音特征统一到相同尺度，得到不同通道的相同尺度的心音特征；通过逐元素相加方式对所述不同通道的相同尺度的心音特征进行特征融合，得到包含所有通道的超特征；将所述超特征依次经过全局平均池化层、第一全连接层、第二全连接层和归一化指数函数的处理，对每个通道的重要性进行预测，得到不同通道的相同尺度的心音特征对应的权重；根据所述不同通道的相同尺度的心音特征及其对应的权重，得到加权后的心音特征。
通过本发明提供的基于多尺度注意力神经网络的异常心音识别方法及装置，至少能够带来以下有益效果：
1、本发明通过大量标注的心音信号训练构建了一心音异常识别模型，利用该模型可对待检测心音信号进行客观地量化分析，使得心音听诊结果更精准，能更有效地辅助医生进行心音识别诊断，提高了心音诊断效率，解决了传统心音分析依赖医生经验、准确性不高的问题。
2、本发明通过引入多尺度注意力机制，可以更加关注信息量大的尺度特征，而抑制那些不重要的尺度特征，从而提高了心音异常识别模型的预测准确性。
3、本发明通过引入密集循环网络，充分利用了基于同一训练样本获得的前后关系特征，从而获得更加精准的不同尺度的心音特征，有利于心音异常识别模型的预测准确性的提高。
4、本发明通过有重叠的加窗分帧，丰富了心音信号样本，提升了训练集的多样性，使模型在更多的场景具有良好的表现力。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对基于多尺度注意力神经网络的异常心音识别方法及装置的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种基于多尺度注意力神经网络的异常心音识别方法的一个实施例流程图；
图2是本发明一种基于多尺度注意力神经网络的异常心音识别方法的另一个实施例的流程图；
图3是本发明一种基于多尺度注意力神经网络的异常心音识别装置的一个实施例的流程图；
图4是图2中密集循环连接块(CliqueBlock)的一种拓扑结构示意图；
图5是图2中Dense-FSNet网络的拓扑结构示意图；
图6是图2中Dense-FSNet网络模型的训练与测试流程示意图；
图7是一种基于多尺度注意力神经网络的异常心音识别方法的应用示意图。
附图标号说明：
100.预处理模块，200.标注模块，300.模型训练模块，400.检测模块，310.多尺度特征提取单元，320.注意力机制处理单元，330.预测单元。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
本发明的一个实施例，如图1所示，一种基于多尺度注意力神经网络的异常心音识别方法，包括：
步骤S100对采集到的原始心音信号进行预处理，将预处理后的心音信号作为训练样本。
具体地，采集健康人以及心脏疾病患者的心音信号，作为原始心音信号。
可选地，采集不同听诊区对应的原始心音信号。心音信号采集的听诊区有五个，分别是：二尖瓣听诊区、肺动脉瓣听诊区、主动脉瓣听诊区、主动脉瓣第二听诊区、三尖瓣听诊区，采用电子听诊器对五个听诊区的心音信号进行采集。
对采集到的原始心音信号进行预处理。可选地，所述预处理包括：对采集到的心音信号进行带通滤波；将滤波后的心音信号通过杂峰检测，去除异常值。
若心音信号的采集频率高，比如大于1000Hz，可在带通滤波前，先对采集到的原始心音信号进行降采样，即对采集到的原始心音信号作抽取，比如降采样到1000Hz，这样可以减少数据样点，减少运算时间。
可采用巴特沃斯带通滤波器对心音信号进行进行滤波处理，去除25Hz以下，400Hz以上的波段，以达到去除低频和高频噪声，提高信号信噪比的目的。
可通过中值滤波器对滤波后的心音信号进行杂峰检测，去除异常值，进一步提高心音信号的质量，降低了建模的复杂度。
可选地，将预处理后的心音信号进行加窗分帧切割，得到多个心音片段，每个心音片段包含至少一个完整的心动周期；将每个心音片段作为训练样本。优选地，每个心音片段包含2个或3个完整的心动周期。
进一步地，采用滑动窗口对预处理后的心音信号进行有重叠的加窗分帧切割，这样可以得到更多的心音片段。比如，采用窗口大小为1200，滑动步长为200的滑动窗口对数据进行重叠机制的加窗分帧，相对无重叠的加窗分帧可以获得更多的心音片段。通过这种方式不仅避开了分割建模环节，实现了端到端的训练测试流程而且极大的丰富了样本，起到了数据增广，提升训练集多样性的效果。
步骤S200对所述训练样本进行心音质量标注。
具体地，医生根据训练样本进行心音质量标注，所述心音质量标注包括正异常标签、心音质量分级、听诊区显著性排序，标注的数据内容越丰富，可以使异常心音识别模型提取到更多的心音信号信息。
步骤S300根据所述训练样本及其标注内容对异常心音识别模型进行训练。
具体地，待训练的异常心音识别模型的参数初始值为随机值。将训练样本输入待训练的异常心音识别模型，得到预测结果，该预测结果与其标注内容存在偏差，根据所述偏差通过负向反馈调整异常心音识别模型的参数，如此迭代，使训练样本的预测值向其标注内容逼近，最终使异常心音识别模型的参数逐步稳定，模型逐步收敛。收敛后的模型即为训练好的异常心音识别模型。
步骤S300包括：
步骤S310对每个训练样本提取多种不同尺度的心音特征。
步骤S320将所述多种不同尺度的心音特征经多尺度注意力机制处理，获得加权后的心音特征。
步骤S330根据所述加权后的心音特征对所述训练样本进行心音质量预测。
具体地，可利用卷积神经网络提取多种不同尺度的心音特征。卷积神经网络可包含多个卷积层，每个卷积层输出一种尺度的心音特征。
可选地，通过一卷积神经网络提取所述训练样本的基础心音特征；将所述基础心音特征输入一密集循环网络，得到多种不同尺度的心音特征。
将不同尺度的心音特征作为不同通道的心音特征，采用注意力机制获取不同通道的心音特征的权重，用该权重对对应通道的心音特征进行加权处理，得到加权后的心音特征。根据加权后的心音特征对训练样本进行心音质量预测。
通过引入多尺度注意力机制，可以更加关注权重大的尺度特征，而抑制那些不重要的尺度特征，提高了心音异常识别模型的预测准确性。
步骤S400将待检测心音数据输入训练好的异常心音识别模型，得到心音质量预测结果，根据所述心音质量预测结果识别异常心音。
具体地，可以将采集到的心音数据大部分作为训练数据，小部分作为测试数据；也可以采集新的心音数据作为测试数据。对测试数据进行上述预处理后，得到高质量的测试数据，将其作为待检测心音数据。将待检测心音数据输入训练好的异常心音识别模型，得到心音质量预测结果；根据心音质量预测结果判断待检测心音是否异常。
可选地，将待检测心音数据进行无重叠的加窗分帧，得到多个待检测心音片段；将每个待检测心音片段输入异常心音识别模型进行预测，根据所有待检测心音片段的心音质量预测结果综合判断待检测心音是否异常。这样可以分析更仔细，提高心音异常的识别准确率。
本实施例，通过大量标注的心音信号训练构建了一心音异常识别模型，利用该模型可对待检测心音信号进行客观地量化分析，使得心音听诊结果更精准，能更有效地辅助医生进行心音识别诊断，提高了心音诊断效率，解决了传统心音分析依赖医生经验、准确性不高的问题。
本发明的另一个实施例，如图2所示，一种基于多尺度注意力神经网络的异常心音识别方法，包括:
步骤S110对采集到的原始心音信号进行预处理；
步骤S120采用滑动窗口对预处理后的心音信号进行有重叠的加窗分帧切割，得到多个心音片段；将所述心音片段作为训练样本。
步骤S200对所述训练样本进行心音质量标注。
具体地，比如，采用窗口大小为1200(该窗口包含2个完整的心动周期)，步长为200的滑动窗口对数据进行重叠机制的加窗分帧切割，得到若干长度为1200的心音片段。对每个心音片段进行心音质量标注。
步骤S300根据所述训练样本及其标注内容对异常心音识别模型进行训练。
步骤S300包括：
步骤S311通过一卷积神经网络提取所述训练样本的基础心音特征。
具体地，将心音片段输入一卷积神经网络进行基础心音特征提取。
可选地，所述卷积神经网络包括一卷积层、批量归一化层(BN)、非线性激活层和池化层。非线性激活层可采用修正线性单元层(ReLU)，池化层可采用最大池化(maxpool)。所述卷积层的输出与所述BN层的输入相连接，所述BN层的输出与所述非线性激活层相连接，所述非线性激活层与所述池化层相连接。
所述卷积层用于提取局部特征，所述BN层用于使输入数据的分布相对稳定(处于正态分布)，从而加速网络的学习速度；所述非线性激活层通过引入非线性激活，加速网络的学习速度。
步骤S312将所述基础心音特征输入一密集循环网络，得到多种不同尺度的心音特征。
为了解决经典卷积神经网络在处理心音这种非平稳连续信号时较难捕获数据的前后关系，以及提取更有效特征的不足，将基础心音特征送入一密集循环网络中。
可选地，密集循环网络包含多个密集循环连接块(CliqueBlock)。每个密集循环连接块包括多个卷积层，每一卷积层既是其他卷积层的输入又是其他卷积层的输出，使得异常心音识别模型能够更好地捕获各个卷积层所提取特征的前后关联性进而挖掘关键信息，提升模型的性能。
每个密集循环连接块分为2个阶段，其第一阶段的输出作为一种尺度的心音特征，其第二阶段的输出连接下一个密集循环连接块。
图4是一种CliqueBlock的结构示例，其包含四层，每层由卷积层、批量归一化层和ReLU激活层组成。每个密集循环连接块分为2个阶段，在第一阶段，四个卷积层迭代更新一次获得stage1_feature,然后内部再循环一次，获得stage2_feature，如此实现局部密集循环连接结构；其中每个Clique Block提取的stage1_feature保存作为后续多尺度注意力机制(Multi-scale Attention)层的输入，stage2_feature作为下一个CliqueBlock的输入。
进一步可选地，密集循环网络还包括多个压缩激励块(Squeeze-and-ExcitationBlock，SE-Block)，所述多个密集循环连接块和所述多个压缩激励块交替连接。
比如,图5中的密集循环网络由四个CliqueBlock和三个SE-Block交替连接构成，每个CliqueBlock第一阶段的输出作为一种尺度的心音特征，第二阶段的输出连接一个SE-Block，SE-Block的输出连接下一个CliqueBlock，如此分别提取出四种不同尺度的特征(X1-X4)。
SE-Block分为Squeeze(压缩)和Excitation(激励)两部分。假设SE-Block的输入特征图的维度为H*W*C(高度*宽度*通道数)，则Squeeze做的是把H*W*C压缩为1*1*C。得到Squeeze的1*1*C的表示后，加入一个全连接层(Fully Connected)，对C个通道中每个通道的重要性进行预测，得到不同通道的重要性，然后再激励(Excitation)到之前的输入特征图对应的通道上。由于SE-Block可以自动学习到C个通道中不同通道特征的重要程度，所以SE-Block的输出特征图相对输入特征图已经在每个通道上做了相应的权重处理，抑制了不重要的通道特征，增强了重要的通道特征。
经过Cliqueblock和SE-Block的处理，可以得到比Cliqueblock更加精准的特征(X1-X4)。
步骤S320将所述多种不同尺度的心音特征经多尺度注意力机制处理，获得加权后的心音特征。
可选地，将多种不同尺度的心音特征统一到相同尺度，得到不同通道的相同尺度的心音特征；获取所述不同通道的相同尺度的心音特征对应的权重；根据所述不同通道的相同尺度的心音特征及其对应的权重，得到加权后的心音特征。
可通过卷积和/或反卷积运算将多种不同尺度的心音特征统一到相同尺度。卷积运算通常用于将大尺度特征转换为小尺度特征，反卷积运算用于将小尺度特征转换为大尺度特征，比如，一个4*4的特征图经过3*3的卷积核的卷积运算，可得到一个2*2特征图；反之，一个2*2特征图经过该3*3的卷积核的反卷积运算，可还原回4*4的特征图。根据实际应用中输入特征的尺度与输出特征的尺度之间的关系，选择卷积或反卷积运算。
可选地，获取不同通道的相同尺度的心音特征对应的权重，包括：通过逐元素相加方式对所述不同通道的相同尺度的心音特征进行特征融合，得到包含所有通道的超特征；将所述超特征依次经过全局平均池化层、第一全连接层、第二全连接层和归一化指数函数的处理，对每个通道的重要性进行预测，得到不同通道的相同尺度的心音特征对应的权重。
步骤S330根据所述加权后的心音特征对所述训练样本进行心音质量预测。
步骤S400将待检测心音数据输入训练好的异常心音识别模型，得到心音质量预测结果，根据所述心音质量预测结果识别异常心音。
本实施例，通过引入密集循环网络，充分利用了基于同一训练样本获得的前后关系特征，从而获得更加精炼的心音特征，有利于心音异常识别模型的预测准确性的提高；通过引入多尺度注意力机制，可以更加关注信息量大的尺度特征，而抑制那些不重要的尺度特征，从而提高了心音异常识别模型的预测准确性。
本发明的一个实施例，如图3所示，一种基于多尺度注意力神经网络的异常心音识别装置，包括：
预处理模块100，用于对采集到的原始心音信号进行预处理，将预处理后的心音信号作为训练样本。
具体地，采集健康人以及心脏疾病患者的心音信号，作为原始心音信号。
可选地，采集不同听诊区对应的原始心音信号。心音信号采集的听诊区有五个，分别是：二尖瓣听诊区、肺动脉瓣听诊区、主动脉瓣听诊区、主动脉瓣第二听诊区、三尖瓣听诊区，采用电子听诊器对五个听诊区的心音信号进行采集。
对采集到的原始心音信号进行预处理。可选地，所述预处理包括：对采集到的心音信号进行带通滤波；将滤波后的心音信号通过杂峰检测，去除异常值。
若心音信号的采集频率高，比如大于1000Hz，可在带通滤波前，先对采集到的原始心音信号进行降采样，即对采集到的原始心音信号作抽取，比如降采样到1000Hz，这样可以减少数据样点，减少运算时间。
可采用巴特沃斯带通滤波器对心音信号进行进行滤波处理，去除25Hz以下，400Hz以上的波段，以达到去除低频和高频噪声，提高信号信噪比的目的。
可通过中值滤波器对滤波后的心音信号进行杂峰检测，去除异常值，进一步提高心音信号的质量，降低了建模的复杂度。
可选地，将预处理后的心音信号进行加窗分帧切割，得到多个心音片段，每个心音片段包含至少一个完整的心动周期；将每个心音片段作为训练样本。优选地，每个心音片段包含2个或3个完整的心动周期。
进一步地，采用滑动窗口对预处理后的心音信号进行有重叠的加窗分帧切割，这样可以得到更多的心音片段。通过这种方式不仅避开了分割建模环节，实现了端到端的训练测试流程而且极大的丰富了样本，起到了数据增广，提升训练集多样性的效果。
标注模块200，用于对所述训练样本进行心音质量标注。
具体地，医生根据训练样本进行心音质量标注，所述心音质量标注包括正异常标签、心音质量分级、听诊区显著性排序，标注的数据内容越丰富，可以使异常心音识别模型提取到更多的心音信号信息。
模型训练模块300，用于根据所述训练样本及其标注内容对异常心音识别模型进行训练。
具体地，待训练的异常心音识别模型的参数初始值为随机值。将训练样本输入待训练的异常心音识别模型，得到预测结果，该预测结果与其标注内容存在偏差，根据所述偏差通过负向反馈调整异常心音识别模型的参数，如此迭代，使训练样本的预测值向其标注内容逼近，最终使异常心音识别模型的参数逐步稳定，模型逐步收敛。收敛后的模型即为训练好的异常心音识别模型。
所述模型训练模块300包括：
多尺度特征提取单元310，用于对每个训练样本提取多种不同尺度的心音特征。
注意力机制处理单元320，用于将所述多种不同尺度的心音特征经多尺度注意力机制处理，获得加权后的心音特征。
预测单元330，用于根据所述加权后的心音特征对所述训练样本进行心音质量预测。
具体地，可利用卷积神经网络提取多种不同尺度的心音特征。卷积神经网络可包含多个卷积层，每个卷积层输出一种尺度的心音特征。
可选地，通过一卷积神经网络提取所述训练样本的基础心音特征；将所述基础心音特征输入一密集循环网络，得到多种不同尺度的心音特征。
将不同尺度的心音特征作为不同通道的心音特征，采用注意力机制获取不同通道的心音特征的权重，用该权重对对应通道的心音特征进行加权处理，得到加权后的心音特征。根据加权后的心音特征对训练样本进行心音质量预测。
通过引入多尺度注意力机制，可以更加关注权重大的尺度特征，而抑制那些不重要的尺度特征，提高了心音异常识别模型的预测准确性。
检测模块400，用于将待检测心音数据输入训练好的异常心音识别模型，得到心音质量预测结果，根据所述心音质量预测结果识别异常心音。
具体地，可以将采集到的心音数据大部分作为训练数据，小部分作为测试数据；也可以采集新的心音数据作为测试数据。对测试数据进行上述预处理后，得到高质量的测试数据，将其作为待检测心音数据。将待检测心音数据输入异常心音识别模型进行测试，得到心音质量预测结果；根据心音质量预测结果判断待检测心音是否异常。
可选地，将待检测心音数据进行无重叠的加窗分帧，得到多个待检测心音片段；将每个待检测心音片段输入异常心音识别模型进行预测，根据所有待检测心音片段的心音质量预测结果综合判断待检测心音是否异常。这样可以分析更仔细，提高心音异常的识别准确率。
本实施例，通过大量标注的心音信号训练构建了一心音异常识别模型，利用该模型可对待检测心音信号进行客观地量化分析，使得心音听诊结果更精准，能更有效地辅助医生进行心音识别诊断，提高了心音诊断效率，解决了传统心音分析依赖医生经验、准确性不高的问题。
基于同一发明构思，本发明实施例中还提供了一种基于多尺度注意力神经网络的异常心音识别装置，如下面的实施例所述。由于异常心音识别装置解决问题的原理与异常心音识别方法相似，因此异常心音识别装置的实施可以参见异常心音识别方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本发明的另一个实施例，如图3所示，一种基于多尺度注意力神经网络的异常心音识别装置，包括：
预处理模块100，用于对采集到的原始心音信号进行预处理；采用滑动窗口对预处理后的心音信号进行有重叠的加窗分帧切割，得到多个心音片段；将所述心音片段作为训练样本。
标注模块200，用于对所述训练样本进行心音质量标注。
模型训练模块300，用于根据所述训练样本及其标注内容对异常心音识别模型进行训练。
所述模型训练模块300包括：
多尺度特征提取单元310，用于通过一卷积神经网络提取所述训练样本的基础心音特征。
具体地，将心音片段输入一卷积神经网络进行基础心音特征提取。
可选地，所述卷积神经网络包括一卷积层、批量归一化层(BN)、非线性激活层和池化层。非线性激活层可采用修正线性单元层(ReLU)，池化层可采用最大池化(maxpool)。所述卷积层的输出与所述BN层的输入相连接，所述BN层的输出与所述非线性激活层相连接，所述非线性激活层与所述池化层相连接。
所述卷积层用于提取局部特征，所述BN层用于使输入数据的分布相对稳定(处于正态分布)，从而加速网络的学习速度；所述非线性激活层通过引入非线性激活，加速网络的学习速度。
所述多尺度特征提取单元310，进一步用于将所述基础心音特征输入一密集循环网络，得到多种不同尺度特征。
为了解决经典卷积神经网络在处理心音这种非平稳连续信号时较难捕获数据的前后关系，以及提取更有效特征的不足，将基础心音特征送入一密集循环网络中。
可选地，密集循环网络包含多个密集循环连接块(CliqueBlock)。每个密集循环连接块包括多个卷积层，每一卷积层既是其他卷积层的输入又是其他卷积层的输出，使得异常心音识别模型能够更好地捕获各个卷积层所提取特征的前后关联性进而挖掘关键信息，提升模型的性能。
每个密集循环连接块分为2个阶段，其第一阶段的输出作为一种尺度的心音特征，其第二阶段的输出连接下一个密集循环连接块。
图4是一种CliqueBlock的结构示例，其包含四层，每层由卷积层、批量归一化层和ReLU激活层组成。每个密集循环连接块分为2个阶段，在第一阶段，四个卷积层迭代更新一次获得stage1_feature,然后内部再循环一次，获得stage2_feature,如此实现局部密集循环连接结构；其中每个Clique Block提取的stage1_feature保存作为后续多尺度注意力机制(Multi-scale Attention)层的输入，stage2_feature作为下一个CliqueBlock的输入。
进一步可选地，密集循环网络还包括多个压缩激励块，所述多个密集循环连接块和所述多个压缩激励块交替连接。
比如,图5中的密集循环网络由四个CliqueBlock和三个SE-Block交替连接构成，每个CliqueBlock第一阶段的输出作为一种尺度的心音特征，第二阶段的输出连接一个SE-Block，SE-Block的输出连接下一个CliqueBlock，如此分别提取出四种不同尺度的特征(X1-X4)。
假设SE-Block的输入特征图的维度为H*W*C(高度*宽度*通道数)，SE-Block可以自动学习到C个通道中不同通道特征的重要程度，所以SE-Block的输出特征图相对输入特征图已经在每个通道上做了相应的权重处理，抑制了不重要的通道特征，增强了重要的通道特征。
经过Cliqueblock和SE-Block的处理，可以得到比Cliqueblock更加精准的特征(X1-X4)。
注意力机制处理单元320，用于将所述多种不同尺度的心音特征经多尺度注意力机制处理，获得加权后的心音特征。
预测单元330，用于根据所述加权后的心音特征对所述训练样本进行心音质量预测。
可选地，注意力机制处理单元320，将多种不同尺度的心音特征统一到相同尺度，得到不同通道的相同尺度的心音特征；获取所述不同通道的相同尺度的心音特征对应的权重；根据所述不同通道的相同尺度的心音特征及其对应的权重，得到加权后的心音特征。
可通过卷积和/或反卷积运算将多种不同尺度的心音特征统一到相同尺度。卷积运算通常用于将大尺度特征转换为小尺度特征，反卷积运算用于将小尺度特征转换为大尺度特征。根据实际应用中输入特征的尺度与输出特征的尺度之间的关系，选择卷积或反卷积运算。
可选地，注意力机制处理单元320，进一步用于通过逐元素相加方式对所述不同通道的相同尺度的心音特征进行特征融合，得到包含所有通道的超特征；将所述超特征依次经过全局平均池化层、第一全连接层、第二全连接层和归一化指数函数的处理，对每个通道的重要性进行预测，得到不同通道的相同尺度的心音特征对应的权重。
检测模块400，用于将待检测心音数据输入训练好的异常心音识别模型，得到心音质量预测结果，根据所述心音质量预测结果识别异常心音。
本实施例，通过引入密集循环网络，充分利用了基于同一训练样本获得的前后关系特征，从而获得更加精炼的心音特征，有利于心音异常识别模型的预测准确性的提高；通过引入多尺度注意力机制，可以更加关注信息量大的尺度特征，而抑制那些不重要的尺度特征，从而提高了心音异常识别模型的预测准确性。
本发明还提供了一个具体实施场景示例，如图7所示，将本申请提供的基于多尺度注意力神经网络的异常心音识别方法和装置应用于儿童异常心音识别，构建了用于儿童异常心音识别的Dense-FSNet网络模型。具体实施时过程如下：
从临床或门诊获取心音数据，作为原始心音信号。由心血管疾病专家对原始心音信号进行心音质量标注，标注内容包括：正异常标签、心音质量分级和听诊区显著性排序，如此得到标准化心音数据。对标准化心音数据进行预处理，包括降采样、去除环境噪声、去杂峰和加窗数据增广。此处的去除环境噪声是指通过带通滤波器滤除噪声，加窗数据增广是指对经过其之前预处理操作的数据采用滑动窗口进行有重叠的加窗分帧，这样可以丰富样本，起到数据增广的作用。
将经过预处理的数据作为训练样本及其对应的标注内容输入Dense-FSNet网络模型，对该模型进行训练。模型训练好后，得到异常心音识别模型。从下级医院获取的心音数据作为待检测数据，调用云端的异常心音识别模型对待检测数据进行异常心音识别筛查，医生审核模型预测的结果作出听诊分析判断。同时获得的这些数据又可以用于训练样本的更新，基于新的训练样本迭代更新模型。
图6为Dense-FSNet网络模型的训练与测试流程示意图。该模型的网络拓扑结构图如图5所示，其中“Datacleaning+Overlappingwindows”(即预处理+重叠加窗分帧)不包括在该模型中，作为该模型的输入呈现。该模型包括一卷积神经网络、一密集循环网络和多尺度注意力机制。该卷积神经网络由卷积层+BN层+ReLU层+maxpool层构成，用于提取基础心音特征。
该密集循环网络(Base-Net)由四个CliqueBlock和三个SE-Block交替连接构成，分别提取四种不同尺度的特征X4-X1，分别对应1/4，1/8，1/16和1/32尺度。1/32尺度是指X1特征的维度为第1个CliqueBlock的输入特征维度的1/32，其他类似。如果将基础心音特征作为低语义特征，则X3-X4为中语义特征，X1-X2为高语义特征。
每个CliqueBlock的结构图如图4所示，分为2个阶段，在第一阶段，四个卷积层迭代更新一次获得stage1_feature,然后内部再循环一次，获得stage2_feature，如此实现局部密集循环连接结构，其中每个cliqueblock提取的stage1_feature作为后续多尺度注意力机制(multi-scaleAttention Mechanism)层的输入，stage2_feature作为SE-Block的输入。
通过CliqueBlock，提升了网络内部前后信息流，赋予网络模型Dense-FSNet提取数据前后关系特征的能力。
网络模型Dense-FSNet经过四个循环密集连接模块，分别输出相对输入的1/4，1/8，1/16和1/32的特征，输入多尺度注意力机制。
多尺度注意力机制不仅构建超特征，还能根据神经元接受的不同刺激自适应调整各种尺度特征在超特征中的占比权重，起到从全局层面对多尺度特征进行自适应筛选的效果。
为了统一特征的维度，进行后续的不同尺度特征融合，在多尺度注意力机制中，分别对X1-2等高语义特征进行反卷积运算，对X3-4等中语义特征进行卷积运算，比如将四种不同的特征(X1-4)分别经过kernelsize为3的反卷积/卷积统一到120*125维度，分别对应M1d-1、M1d-2、M1d-3、M1d-4等4个不同通道的相同尺度的心音特征。
再通过逐元素相加方式对M1d-1、M1d-2、M1d-3、M1d-4进行特征融合，得到超特征(hyper-feature)M，即M＝M1d-1+M1d-2+M1d-3+M1d-4。超特征M经过全局平均池化层、第一全连接层、第二全连接层和归一化指数函数的处理(即GAP+FC1+FC2+Softmax)自适应构建四种尺度特征的权重向量，四个尺度特征经过权重向量自适应加权获取最终特征Ffinal。
具体地，将M1d-1、M1d-2、M1d-3、M1d-4作为不同的通道，超特征经过全局平均池化层(GAP)，得到每个通道的初始权重Vc：
其中，Mc(i)表示超特征M第c(小写)个通道的第i个元素的值，L表示每个通道特征包含的元素个数。
所有通道的初始权重构成初始权重向量，将该初始权重向量再通过由2个全连接(FC)层构建的瓶颈结构，第一个FC将通道数减半为C/2(大写C表示超特征M包含C个通道，此处为4，4只是一个示例，也可以根据实际情况取其他值)，第二个FC再将通道数提升为C，最后通过softmaxlayer生成各个尺度特征的自适应激活向量[α，β，γ，δ]，该激活向量与[M1d-1,M1d-2,M1d-3,M1d-4]T相乘得到自适应校正的新的超特征Ffinal，Ffinal用于最终的心音信号分类识别：
Ffinal＝αM1d-1+βM1d-2+γM1d-3+δM1d-4，α+β+γ+δ＝1。
Ffinal通过一个全连接层(FC层)和Softmax层，输出心音质量预测结果。根据心音质量预测结果判断心音信号是否异常。
通过上述场景示例，验证了本申请实施方式提供的异常心音识别方法及装置；通过Cliqueblock和SE-Block交替连接构成的密集循环网络，更好地捕获心音信号局部特征的前后关联性和每个局部特征中各通道的重要性，进而获得更加精准的不同尺度的心音特征；将多种不同尺度的心音特征输入多尺度注意力机制，提高了重要尺度特征的权重，进一步提高了心音异常识别模型的预测准确性，能更有效地辅助医生进行心音识别诊断，提高了心音诊断效率，解决了传统心音分析依赖医生经验、准确性不高的问题。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (9)
1.一种基于多尺度注意力神经网络的异常心音识别方法，其特征在于，包括：
对采集到的原始心音信号进行预处理，将预处理后的心音信号作为训练样本；
对所述训练样本进行心音质量标注；
根据所述训练样本及其标注内容对异常心音识别模型进行训练；
将待检测心音数据输入训练好的异常心音识别模型，得到心音质量预测结果，根据所述心音质量预测结果识别异常心音；
所述的根据所述训练样本及其标注内容对异常心音识别模型进行训练，包括：
对每个训练样本提取多种不同尺度的心音特征；
将所述多种不同尺度的心音特征经多尺度注意力机制处理，获得加权后的心音特征；
根据所述加权后的心音特征对所述训练样本进行心音质量预测；
其中，将所述多种不同尺度的心音特征经多尺度注意力机制处理，获得加权后的心音特征，包括：
通过卷积和/或反卷积运算将所述多种不同尺度的心音特征统一到相同尺度，得到不同通道的相同尺度的心音特征；
通过逐元素相加方式对所述不同通道的相同尺度的心音特征进行特征融合，得到包含所有通道的超特征；
将所述超特征依次经过全局平均池化层、第一全连接层、第二全连接层和归一化指数函数的处理，对每个通道的重要性进行预测，得到不同通道的相同尺度的心音特征对应的权重；
根据所述不同通道的相同尺度的心音特征及其对应的权重，得到加权后的心音特征。
2.根据权利要求1所述的异常心音识别方法，其特征在于：
所述的通过卷积和/或反卷积运算将所述多种不同尺度的心音特征统一到相同尺度，得到不同通道的相同尺度的心音特征，包括：
通过3*3的卷积/反卷积层将所述多种不同尺度的心音特征统一到120*125大小，得到不同通道的相同尺度的心音特征；
所述的将所述超特征依次经过全局平均池化层、第一全连接层、第二全连接层和归一化指数函数的处理，对每个通道的重要性进行预测，得到不同通道的相同尺度的心音特征对应的权重，包括：
所述超特征依次经过全局平均池化层，得到每种通道的初始权重；
将由所有通道的初始权重构成的初始权重向量依次经过将通道数减半的第一全连接层、将通道数复原的第二全连接层和softmax层的处理，得到不同通道的相同尺度的心音特征对应的权重。
3.根据权利要求1所述的异常心音识别方法，其特征在于，所述的对每个训练样本提取多种不同尺度的心音特征，包括：
通过一卷积神经网络提取所述训练样本的基础心音特征；
将所述基础心音特征输入一密集循环网络，得到多种不同尺度的心音特征；所述密集循环网络包含多个密集循环连接块，每个密集循环连接块包括多个卷积层，其中每一卷积层既是其他卷积层的输入又是其他卷积层的输出；每个密集循环连接块的第一阶段的输出作为一种尺度的心音特征。
4.根据权利要求3所述的异常心音识别方法，其特征在于：
所述密集循环网络包括四个密集循环连接块和三个压缩激励块；所述四个密集循环连接块和所述三个压缩激励块交替连接，分别提取四种不同尺度的心音特征。
5.根据权利要求3所述的异常心音识别方法，其特征在于，所述的通过一卷积神经网络提取所述训练样本的基础心音特征，包括：
通过7*7的卷积层提取所述训练样本的心音局部特征；
将所述心音局部特征依次经过批量归一化层、修正线性单元层、最大池化层的处理，得到所述训练样本的基础心音特征。
6.根据权利要求1所述的异常心音识别方法，其特征在于，所述的将预处理后的心音信号作为训练样本，包括：
采用滑动窗口对预处理后的心音信号进行有重叠的加窗分帧切割，得到多个心音片段，每个心音片段包含2个或3个完整的心动周期；将每个心音片段作为训练样本。
7.根据权利要求1所述的异常心音识别方法，其特征在于，所述的将待检测心音数据输入训练好的异常心音识别模型，包括：
将待检测心音数据进行无重叠的加窗分帧，得到多个待检测心音片段；
将每个待检测心音片段输入训练好的异常心音识别模型。
8.一种基于多尺度注意力神经网络的异常心音识别装置，其特征在于，包括：
预处理模块，用于对采集到的原始心音信号进行预处理，将预处理后的心音信号作为训练样本；
标注模块，用于对所述训练样本进行心音质量标注；
模型训练模块，用于根据所述训练样本及其标注内容对异常心音识别模型进行训练；
检测模块，用于将待检测心音数据输入训练好的异常心音识别模型，得到心音质量预测结果，根据所述心音质量预测结果识别异常心音；
所述模型训练模块包括：
多尺度特征提取单元，用于对每个训练样本提取多种不同尺度的心音特征；
注意力机制处理单元，用于将所述多种不同尺度的心音特征经多尺度注意力机制处理，获得加权后的心音特征；
预测单元，用于根据所述加权后的心音特征对所述训练样本进行心音质量预测；
其中,所述注意力机制处理单元，通过卷积和/或反卷积运算将所述多种不同尺度的心音特征统一到相同尺度，得到不同通道的相同尺度的心音特征；通过逐元素相加方式对所述不同通道的相同尺度的心音特征进行特征融合，得到包含所有通道的超特征；将所述超特征依次经过全局平均池化层、第一全连接层、第二全连接层和归一化指数函数的处理，对每个通道的重要性进行预测，得到不同通道的相同尺度的心音特征对应的权重；根据所述不同通道的相同尺度的心音特征及其对应的权重，得到加权后的心音特征。
9.根据权利要求8所述的异常心音识别装置，其特征在于：
所述多尺度特征提取单元，还用于通过一卷积神经网络提取所述训练样本的基础心音特征；将所述基础心音特征输入一密集循环网络，得到多种不同尺度的心音特征；所述密集循环网络包含多个密集循环连接块，每个密集循环连接块包括多个卷积层，其中每一卷积层既是其他卷积层的输入又是其他卷积层的输出；每个密集循环连接块的第一阶段的输出作为一种尺度的心音特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010876170.1A CN112036467B (zh) | 2020-08-27 | 2020-08-27 | 基于多尺度注意力神经网络的异常心音识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010876170.1A CN112036467B (zh) | 2020-08-27 | 2020-08-27 | 基于多尺度注意力神经网络的异常心音识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112036467A CN112036467A (zh) | 2020-12-04 |
| CN112036467B true CN112036467B (zh) | 2024-01-12 |
Family
ID=73580884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010876170.1A Active CN112036467B (zh) | 2020-08-27 | 2020-08-27 | 基于多尺度注意力神经网络的异常心音识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112036467B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112287912B (zh) * | 2020-12-25 | 2021-03-30 | 浙江大华技术股份有限公司 | 基于深度学习的车道线检测方法以及装置 |
| CN113115247B (zh) * | 2021-03-17 | 2022-07-12 | 苏州康迈德医疗科技有限公司 | 一种信号处理方法、装置和设备 |
| CN113413163B (zh) * | 2021-08-24 | 2021-11-19 | 山东大学 | 一种混合深度学习和低差异度森林的心音诊断系统 |
| CN114062812B (zh) * | 2021-11-15 | 2024-05-07 | 国网四川省电力公司营销服务中心 | 一种计量柜故障诊断方法及系统 |
| CN115089206B (zh) * | 2022-05-09 | 2023-02-10 | 吴先洪 | 一种对心音信号的预测方法及使用其的心脏听诊装置 |
| CN114970772B (zh) * | 2022-07-26 | 2022-11-04 | 北京纳通医用机器人科技有限公司 | 用于肺部疾病检测的模型训练方法、设备、装置和介质 |
| CN117935813B (zh) * | 2024-03-21 | 2024-06-14 | 武汉理工大学 | 一种声纹识别方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107450730A (zh) * | 2017-08-15 | 2017-12-08 | 安徽大学 | 一种基于卷积混合模型的慢速眼动识别方法及系统 |
| CN108647585A (zh) * | 2018-04-20 | 2018-10-12 | 浙江工商大学 | 一种基于多尺度循环注意力网络的交通标识符检测方法 |
| CN109284670A (zh) * | 2018-08-01 | 2019-01-29 | 清华大学 | 一种基于多尺度注意力机制的行人检测方法及装置 |
| CN109846472A (zh) * | 2019-01-30 | 2019-06-07 | 郑州大学 | 基于BiLSTM-Attention深度神经网络的心搏分类方法 |
| CN109961017A (zh) * | 2019-02-26 | 2019-07-02 | 杭州电子科技大学 | 一种基于卷积循环神经网络的心音信号分类方法 |
| CN110097894A (zh) * | 2019-05-21 | 2019-08-06 | 焦点科技股份有限公司 | 一种端到端的语音情感识别的方法和系统 |
| CN110110751A (zh) * | 2019-03-31 | 2019-08-09 | 华南理工大学 | 一种基于注意力机制的金字塔网络的中草药识别方法 |
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
| DE102019208031A1 (de) * | 2018-06-04 | 2019-12-05 | Robert Bosch Gmbh | Verfahren und system zur detektion anormaler herztöne |
| CN110782878A (zh) * | 2019-10-10 | 2020-02-11 | 天津大学 | 一种基于注意力机制的多尺度音频场景识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111582029B (zh) * | 2020-04-02 | 2022-08-12 | 天津大学 | 一种基于密集连接与注意力机制的交通标志识别方法 |
-
2020
- 2020-08-27 CN CN202010876170.1A patent/CN112036467B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107450730A (zh) * | 2017-08-15 | 2017-12-08 | 安徽大学 | 一种基于卷积混合模型的慢速眼动识别方法及系统 |
| CN108647585A (zh) * | 2018-04-20 | 2018-10-12 | 浙江工商大学 | 一种基于多尺度循环注意力网络的交通标识符检测方法 |
| DE102019208031A1 (de) * | 2018-06-04 | 2019-12-05 | Robert Bosch Gmbh | Verfahren und system zur detektion anormaler herztöne |
| CN109284670A (zh) * | 2018-08-01 | 2019-01-29 | 清华大学 | 一种基于多尺度注意力机制的行人检测方法及装置 |
| CN109846472A (zh) * | 2019-01-30 | 2019-06-07 | 郑州大学 | 基于BiLSTM-Attention深度神经网络的心搏分类方法 |
| CN109961017A (zh) * | 2019-02-26 | 2019-07-02 | 杭州电子科技大学 | 一种基于卷积循环神经网络的心音信号分类方法 |
| CN110110751A (zh) * | 2019-03-31 | 2019-08-09 | 华南理工大学 | 一种基于注意力机制的金字塔网络的中草药识别方法 |
| CN110097894A (zh) * | 2019-05-21 | 2019-08-06 | 焦点科技股份有限公司 | 一种端到端的语音情感识别的方法和系统 |
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
| CN110782878A (zh) * | 2019-10-10 | 2020-02-11 | 天津大学 | 一种基于注意力机制的多尺度音频场景识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| A novel 1-D densely connected feature selection convolutional neural network for heart sounds classification;Xin Zhou等;《Annals of Translational Medicine》;第9卷(第24期);1-12 * |
| Arrhythmia Classification with Attention-Based Res-BiLSTM-Net;Chengbin Huang等;《Machine Learning and Medical Engineering for Cardiovascular Health and Intravascular Imaging and Computer Assisted Stenting》;第11794卷;3-10 * |
| Pay more attention with fewer parameters: A novel 1-D convolutional neural network for heart sounds classification;Yunqiu Xu等;《2018 Computing in Cardiology Conference (CinC)》;1-4 * |
| 基于深度学习的心电图类型识别和个体识别;陈滨;《中国优秀硕士学位论文全文数据库：医药卫生科技辑》(第2020年第01期);E060-21 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112036467A (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112036467B (zh) | 基于多尺度注意力神经网络的异常心音识别方法及装置 | |
| CN108647565B (zh) | 一种基于深度学习模型对心电信号分类的数据预处理方法 | |
| CN109620152B (zh) | 一种基于MutiFacolLoss-Densenet的心电信号分类方法 | |
| CN104970789B (zh) | 心电图分类方法及系统 | |
| Singh et al. | Classification of unsegmented heart sound recording using KNN classifier | |
| CN109544518B (zh) | 一种应用于骨骼成熟度评估的方法及其系统 | |
| Priscila et al. | Heart Disease Prediction Using Integer-Coded Genetic Algorithm (ICGA) Based Particle Clonal Neural Network (ICGA-PCNN) | |
| Khan et al. | Automated classification of lung sound signals based on empirical mode decomposition | |
| CN111914883A (zh) | 一种基于深度融合网络的主轴轴承状态评估方法及装置 | |
| JPWO2016125256A1 (ja) | 異常音診断装置、異常音診断システム、異常音診断方法および異常音診断プログラム | |
| CN113288162A (zh) | 基于自适应注意力机制的短时心电信号房颤自动检测系统 | |
| CN109512423A (zh) | 一种基于确定学习与深度学习的心肌缺血危险分层方法 | |
| CN113076878B (zh) | 基于注意力机制卷积网络结构的体质辨识方法 | |
| CN113436726B (zh) | 一种基于多任务分类的肺部病理音自动化分析方法 | |
| CN112587153A (zh) | 一种基于vPPG信号的端到端的非接触房颤自动检测系统和方法 | |
| CN116030829A (zh) | 一种基于深度残差神经网络的心音分类方法 | |
| CN113855063A (zh) | 一种基于深度学习的心音自动诊断系统 | |
| CN116842460A (zh) | 基于注意力机制与残差神经网络的咳嗽关联疾病识别方法和系统 | |
| CN113598784B (zh) | 心律失常检测方法及系统 | |
| CN113255789B (zh) | 基于对抗网络和多被试脑电信号的视频质量评价方法 | |
| CN112336369B (zh) | 一种多通道心音信号的冠心病风险指数评估系统 | |
| Xia et al. | Retinal vessel segmentation via a coarse-to-fine convolutional neural network | |
| CN116975693A (zh) | 一种基于深度学习和异质集成策略的心音检测方法及系统 | |
| Aarthy et al. | Modified parametric-based AlexNet structure to classify ECG signals for cardiovascular diseases | |
| CN115211870A (zh) | 一种基于多尺度特征融合网络的新生儿脑电信号惊厥放电检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210611 Address after: 200050 room E-11, 17th floor, 8 Xingyi Road, Changning District, Shanghai Applicant after: Sound smart technology (Shanghai) Co.,Ltd. Applicant after: XIN HUA HOSPITAL AFFILIATED TO SHANGHAI JIAO TONG University SCHOOL OF MEDICINE Address before: 200050 room E-11, 17th floor, 8 Xingyi Road, Changning District, Shanghai Applicant before: Sound smart technology (Shanghai) Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220804 Address after: 100080 room 21, floor 4, building 2, yard a 2, West Third Ring North Road, Haidian District, Beijing Applicant after: Beijing Yingtong Technology Development Co.,Ltd. Address before: 200050 room E-11, 17th floor, 8 Xingyi Road, Changning District, Shanghai Applicant before: Sound smart technology (Shanghai) Co.,Ltd. Applicant before: XIN HUA HOSPITAL AFFILIATED TO SHANGHAI JIAO TONG University SCHOOL OF MEDICINE |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |