具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。
为使图面简洁,各图中只示意性地表示出了与本发明相关的部分,它们并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示“仅此一个”,也可以表示“多于一个”的情形。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
另外,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对照附图说明本发明的具体实施方式。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,并获得其他的实施方式。
本发明的一个实施例,如图1所示,一种基于多尺度注意力神经网络的异常心音识别方法,包括:
步骤S100对采集到的原始心音信号进行预处理,将预处理后的心音信号作为训练样本。
具体地,采集健康人以及心脏疾病患者的心音信号,作为原始心音信号。
可选地,采集不同听诊区对应的原始心音信号。心音信号采集的听诊区有五个,分别是:二尖瓣听诊区、肺动脉瓣听诊区、主动脉瓣听诊区、主动脉瓣第二听诊区、三尖瓣听诊区,采用电子听诊器对五个听诊区的心音信号进行采集。
对采集到的原始心音信号进行预处理。可选地,所述预处理包括:对采集到的心音信号进行带通滤波;将滤波后的心音信号通过杂峰检测,去除异常值。
若心音信号的采集频率高,比如大于1000Hz,可在带通滤波前,先对采集到的原始心音信号进行降采样,即对采集到的原始心音信号作抽取,比如降采样到1000Hz,这样可以减少数据样点,减少运算时间。
可采用巴特沃斯带通滤波器对心音信号进行进行滤波处理,去除25Hz以下,400Hz以上的波段,以达到去除低频和高频噪声,提高信号信噪比的目的。
可通过中值滤波器对滤波后的心音信号进行杂峰检测,去除异常值,进一步提高心音信号的质量,降低了建模的复杂度。
可选地,将预处理后的心音信号进行加窗分帧切割,得到多个心音片段,每个心音片段包含至少一个完整的心动周期;将每个心音片段作为训练样本。优选地,每个心音片段包含2个或3个完整的心动周期。
进一步地,采用滑动窗口对预处理后的心音信号进行有重叠的加窗分帧切割,这样可以得到更多的心音片段。比如,采用窗口大小为1200,滑动步长为200的滑动窗口对数据进行重叠机制的加窗分帧,相对无重叠的加窗分帧可以获得更多的心音片段。通过这种方式不仅避开了分割建模环节,实现了端到端的训练测试流程而且极大的丰富了样本,起到了数据增广,提升训练集多样性的效果。
步骤S200对所述训练样本进行心音质量标注。
具体地,医生根据训练样本进行心音质量标注,所述心音质量标注包括正异常标签、心音质量分级、听诊区显著性排序,标注的数据内容越丰富,可以使异常心音识别模型提取到更多的心音信号信息。
步骤S300根据所述训练样本及其标注内容对异常心音识别模型进行训练。
具体地,待训练的异常心音识别模型的参数初始值为随机值。将训练样本输入待训练的异常心音识别模型,得到预测结果,该预测结果与其标注内容存在偏差,根据所述偏差通过负向反馈调整异常心音识别模型的参数,如此迭代,使训练样本的预测值向其标注内容逼近,最终使异常心音识别模型的参数逐步稳定,模型逐步收敛。收敛后的模型即为训练好的异常心音识别模型。
步骤S300包括:
步骤S310对每个训练样本提取多种不同尺度的心音特征。
步骤S320将所述多种不同尺度的心音特征经多尺度注意力机制处理,获得加权后的心音特征。
步骤S330根据所述加权后的心音特征对所述训练样本进行心音质量预测。
具体地,可利用卷积神经网络提取多种不同尺度的心音特征。卷积神经网络可包含多个卷积层,每个卷积层输出一种尺度的心音特征。
可选地,通过一卷积神经网络提取所述训练样本的基础心音特征;将所述基础心音特征输入一密集循环网络,得到多种不同尺度的心音特征。
将不同尺度的心音特征作为不同通道的心音特征,采用注意力机制获取不同通道的心音特征的权重,用该权重对对应通道的心音特征进行加权处理,得到加权后的心音特征。根据加权后的心音特征对训练样本进行心音质量预测。
通过引入多尺度注意力机制,可以更加关注权重大的尺度特征,而抑制那些不重要的尺度特征,提高了心音异常识别模型的预测准确性。
步骤S400将待检测心音数据输入训练好的异常心音识别模型,得到心音质量预测结果,根据所述心音质量预测结果识别异常心音。
具体地,可以将采集到的心音数据大部分作为训练数据,小部分作为测试数据;也可以采集新的心音数据作为测试数据。对测试数据进行上述预处理后,得到高质量的测试数据,将其作为待检测心音数据。将待检测心音数据输入训练好的异常心音识别模型,得到心音质量预测结果;根据心音质量预测结果判断待检测心音是否异常。
可选地,将待检测心音数据进行无重叠的加窗分帧,得到多个待检测心音片段;将每个待检测心音片段输入异常心音识别模型进行预测,根据所有待检测心音片段的心音质量预测结果综合判断待检测心音是否异常。这样可以分析更仔细,提高心音异常的识别准确率。
本实施例,通过大量标注的心音信号训练构建了一心音异常识别模型,利用该模型可对待检测心音信号进行客观地量化分析,使得心音听诊结果更精准,能更有效地辅助医生进行心音识别诊断,提高了心音诊断效率,解决了传统心音分析依赖医生经验、准确性不高的问题。
本发明的另一个实施例,如图2所示,一种基于多尺度注意力神经网络的异常心音识别方法,包括:
步骤S110对采集到的原始心音信号进行预处理;
步骤S120采用滑动窗口对预处理后的心音信号进行有重叠的加窗分帧切割,得到多个心音片段;将所述心音片段作为训练样本。
步骤S200对所述训练样本进行心音质量标注。
具体地,比如,采用窗口大小为1200(该窗口包含2个完整的心动周期),步长为200的滑动窗口对数据进行重叠机制的加窗分帧切割,得到若干长度为1200的心音片段。对每个心音片段进行心音质量标注。
步骤S300根据所述训练样本及其标注内容对异常心音识别模型进行训练。
步骤S300包括:
步骤S311通过一卷积神经网络提取所述训练样本的基础心音特征。
具体地,将心音片段输入一卷积神经网络进行基础心音特征提取。
可选地,所述卷积神经网络包括一卷积层、批量归一化层(BN)、非线性激活层和池化层。非线性激活层可采用修正线性单元层(ReLU),池化层可采用最大池化(maxpool)。所述卷积层的输出与所述BN层的输入相连接,所述BN层的输出与所述非线性激活层相连接,所述非线性激活层与所述池化层相连接。
所述卷积层用于提取局部特征,所述BN层用于使输入数据的分布相对稳定(处于正态分布),从而加速网络的学习速度;所述非线性激活层通过引入非线性激活,加速网络的学习速度。
步骤S312将所述基础心音特征输入一密集循环网络,得到多种不同尺度的心音特征。
为了解决经典卷积神经网络在处理心音这种非平稳连续信号时较难捕获数据的前后关系,以及提取更有效特征的不足,将基础心音特征送入一密集循环网络中。
可选地,密集循环网络包含多个密集循环连接块(CliqueBlock)。每个密集循环连接块包括多个卷积层,每一卷积层既是其他卷积层的输入又是其他卷积层的输出,使得异常心音识别模型能够更好地捕获各个卷积层所提取特征的前后关联性进而挖掘关键信息,提升模型的性能。
每个密集循环连接块分为2个阶段,其第一阶段的输出作为一种尺度的心音特征,其第二阶段的输出连接下一个密集循环连接块。
图4是一种CliqueBlock的结构示例,其包含四层,每层由卷积层、批量归一化层和ReLU激活层组成。每个密集循环连接块分为2个阶段,在第一阶段,四个卷积层迭代更新一次获得stage1_feature,然后内部再循环一次,获得stage2_feature,如此实现局部密集循环连接结构;其中每个Clique Block提取的stage1_feature保存作为后续多尺度注意力机制(Multi-scale Attention)层的输入,stage2_feature作为下一个CliqueBlock的输入。
进一步可选地,密集循环网络还包括多个压缩激励块(Squeeze-and-ExcitationBlock,SE-Block),所述多个密集循环连接块和所述多个压缩激励块交替连接。
比如,图5中的密集循环网络由四个CliqueBlock和三个SE-Block交替连接构成,每个CliqueBlock第一阶段的输出作为一种尺度的心音特征,第二阶段的输出连接一个SE-Block,SE-Block的输出连接下一个CliqueBlock,如此分别提取出四种不同尺度的特征(X1-X4)。
SE-Block分为Squeeze(压缩)和Excitation(激励)两部分。假设SE-Block的输入特征图的维度为H*W*C(高度*宽度*通道数),则Squeeze做的是把H*W*C压缩为1*1*C。得到Squeeze的1*1*C的表示后,加入一个全连接层(Fully Connected),对C个通道中每个通道的重要性进行预测,得到不同通道的重要性,然后再激励(Excitation)到之前的输入特征图对应的通道上。由于SE-Block可以自动学习到C个通道中不同通道特征的重要程度,所以SE-Block的输出特征图相对输入特征图已经在每个通道上做了相应的权重处理,抑制了不重要的通道特征,增强了重要的通道特征。
经过Cliqueblock和SE-Block的处理,可以得到比Cliqueblock更加精准的特征(X1-X4)。
步骤S320将所述多种不同尺度的心音特征经多尺度注意力机制处理,获得加权后的心音特征。
可选地,将多种不同尺度的心音特征统一到相同尺度,得到不同通道的相同尺度的心音特征;获取所述不同通道的相同尺度的心音特征对应的权重;根据所述不同通道的相同尺度的心音特征及其对应的权重,得到加权后的心音特征。
可通过卷积和/或反卷积运算将多种不同尺度的心音特征统一到相同尺度。卷积运算通常用于将大尺度特征转换为小尺度特征,反卷积运算用于将小尺度特征转换为大尺度特征,比如,一个4*4的特征图经过3*3的卷积核的卷积运算,可得到一个2*2特征图;反之,一个2*2特征图经过该3*3的卷积核的反卷积运算,可还原回4*4的特征图。根据实际应用中输入特征的尺度与输出特征的尺度之间的关系,选择卷积或反卷积运算。
可选地,获取不同通道的相同尺度的心音特征对应的权重,包括:通过逐元素相加方式对所述不同通道的相同尺度的心音特征进行特征融合,得到包含所有通道的超特征;将所述超特征依次经过全局平均池化层、第一全连接层、第二全连接层和归一化指数函数的处理,对每个通道的重要性进行预测,得到不同通道的相同尺度的心音特征对应的权重。
步骤S330根据所述加权后的心音特征对所述训练样本进行心音质量预测。
步骤S400将待检测心音数据输入训练好的异常心音识别模型,得到心音质量预测结果,根据所述心音质量预测结果识别异常心音。
本实施例,通过引入密集循环网络,充分利用了基于同一训练样本获得的前后关系特征,从而获得更加精炼的心音特征,有利于心音异常识别模型的预测准确性的提高;通过引入多尺度注意力机制,可以更加关注信息量大的尺度特征,而抑制那些不重要的尺度特征,从而提高了心音异常识别模型的预测准确性。
本发明的一个实施例,如图3所示,一种基于多尺度注意力神经网络的异常心音识别装置,包括:
预处理模块100,用于对采集到的原始心音信号进行预处理,将预处理后的心音信号作为训练样本。
具体地,采集健康人以及心脏疾病患者的心音信号,作为原始心音信号。
可选地,采集不同听诊区对应的原始心音信号。心音信号采集的听诊区有五个,分别是:二尖瓣听诊区、肺动脉瓣听诊区、主动脉瓣听诊区、主动脉瓣第二听诊区、三尖瓣听诊区,采用电子听诊器对五个听诊区的心音信号进行采集。
对采集到的原始心音信号进行预处理。可选地,所述预处理包括:对采集到的心音信号进行带通滤波;将滤波后的心音信号通过杂峰检测,去除异常值。
若心音信号的采集频率高,比如大于1000Hz,可在带通滤波前,先对采集到的原始心音信号进行降采样,即对采集到的原始心音信号作抽取,比如降采样到1000Hz,这样可以减少数据样点,减少运算时间。
可采用巴特沃斯带通滤波器对心音信号进行进行滤波处理,去除25Hz以下,400Hz以上的波段,以达到去除低频和高频噪声,提高信号信噪比的目的。
可通过中值滤波器对滤波后的心音信号进行杂峰检测,去除异常值,进一步提高心音信号的质量,降低了建模的复杂度。
可选地,将预处理后的心音信号进行加窗分帧切割,得到多个心音片段,每个心音片段包含至少一个完整的心动周期;将每个心音片段作为训练样本。优选地,每个心音片段包含2个或3个完整的心动周期。
进一步地,采用滑动窗口对预处理后的心音信号进行有重叠的加窗分帧切割,这样可以得到更多的心音片段。通过这种方式不仅避开了分割建模环节,实现了端到端的训练测试流程而且极大的丰富了样本,起到了数据增广,提升训练集多样性的效果。
标注模块200,用于对所述训练样本进行心音质量标注。
具体地,医生根据训练样本进行心音质量标注,所述心音质量标注包括正异常标签、心音质量分级、听诊区显著性排序,标注的数据内容越丰富,可以使异常心音识别模型提取到更多的心音信号信息。
模型训练模块300,用于根据所述训练样本及其标注内容对异常心音识别模型进行训练。
具体地,待训练的异常心音识别模型的参数初始值为随机值。将训练样本输入待训练的异常心音识别模型,得到预测结果,该预测结果与其标注内容存在偏差,根据所述偏差通过负向反馈调整异常心音识别模型的参数,如此迭代,使训练样本的预测值向其标注内容逼近,最终使异常心音识别模型的参数逐步稳定,模型逐步收敛。收敛后的模型即为训练好的异常心音识别模型。
所述模型训练模块300包括:
多尺度特征提取单元310,用于对每个训练样本提取多种不同尺度的心音特征。
注意力机制处理单元320,用于将所述多种不同尺度的心音特征经多尺度注意力机制处理,获得加权后的心音特征。
预测单元330,用于根据所述加权后的心音特征对所述训练样本进行心音质量预测。
具体地,可利用卷积神经网络提取多种不同尺度的心音特征。卷积神经网络可包含多个卷积层,每个卷积层输出一种尺度的心音特征。
可选地,通过一卷积神经网络提取所述训练样本的基础心音特征;将所述基础心音特征输入一密集循环网络,得到多种不同尺度的心音特征。
将不同尺度的心音特征作为不同通道的心音特征,采用注意力机制获取不同通道的心音特征的权重,用该权重对对应通道的心音特征进行加权处理,得到加权后的心音特征。根据加权后的心音特征对训练样本进行心音质量预测。
通过引入多尺度注意力机制,可以更加关注权重大的尺度特征,而抑制那些不重要的尺度特征,提高了心音异常识别模型的预测准确性。
检测模块400,用于将待检测心音数据输入训练好的异常心音识别模型,得到心音质量预测结果,根据所述心音质量预测结果识别异常心音。
具体地,可以将采集到的心音数据大部分作为训练数据,小部分作为测试数据;也可以采集新的心音数据作为测试数据。对测试数据进行上述预处理后,得到高质量的测试数据,将其作为待检测心音数据。将待检测心音数据输入异常心音识别模型进行测试,得到心音质量预测结果;根据心音质量预测结果判断待检测心音是否异常。
可选地,将待检测心音数据进行无重叠的加窗分帧,得到多个待检测心音片段;将每个待检测心音片段输入异常心音识别模型进行预测,根据所有待检测心音片段的心音质量预测结果综合判断待检测心音是否异常。这样可以分析更仔细,提高心音异常的识别准确率。
本实施例,通过大量标注的心音信号训练构建了一心音异常识别模型,利用该模型可对待检测心音信号进行客观地量化分析,使得心音听诊结果更精准,能更有效地辅助医生进行心音识别诊断,提高了心音诊断效率,解决了传统心音分析依赖医生经验、准确性不高的问题。
基于同一发明构思,本发明实施例中还提供了一种基于多尺度注意力神经网络的异常心音识别装置,如下面的实施例所述。由于异常心音识别装置解决问题的原理与异常心音识别方法相似,因此异常心音识别装置的实施可以参见异常心音识别方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
本发明的另一个实施例,如图3所示,一种基于多尺度注意力神经网络的异常心音识别装置,包括:
预处理模块100,用于对采集到的原始心音信号进行预处理;采用滑动窗口对预处理后的心音信号进行有重叠的加窗分帧切割,得到多个心音片段;将所述心音片段作为训练样本。
标注模块200,用于对所述训练样本进行心音质量标注。
模型训练模块300,用于根据所述训练样本及其标注内容对异常心音识别模型进行训练。
所述模型训练模块300包括:
多尺度特征提取单元310,用于通过一卷积神经网络提取所述训练样本的基础心音特征。
具体地,将心音片段输入一卷积神经网络进行基础心音特征提取。
可选地,所述卷积神经网络包括一卷积层、批量归一化层(BN)、非线性激活层和池化层。非线性激活层可采用修正线性单元层(ReLU),池化层可采用最大池化(maxpool)。所述卷积层的输出与所述BN层的输入相连接,所述BN层的输出与所述非线性激活层相连接,所述非线性激活层与所述池化层相连接。
所述卷积层用于提取局部特征,所述BN层用于使输入数据的分布相对稳定(处于正态分布),从而加速网络的学习速度;所述非线性激活层通过引入非线性激活,加速网络的学习速度。
所述多尺度特征提取单元310,进一步用于将所述基础心音特征输入一密集循环网络,得到多种不同尺度特征。
为了解决经典卷积神经网络在处理心音这种非平稳连续信号时较难捕获数据的前后关系,以及提取更有效特征的不足,将基础心音特征送入一密集循环网络中。
可选地,密集循环网络包含多个密集循环连接块(CliqueBlock)。每个密集循环连接块包括多个卷积层,每一卷积层既是其他卷积层的输入又是其他卷积层的输出,使得异常心音识别模型能够更好地捕获各个卷积层所提取特征的前后关联性进而挖掘关键信息,提升模型的性能。
每个密集循环连接块分为2个阶段,其第一阶段的输出作为一种尺度的心音特征,其第二阶段的输出连接下一个密集循环连接块。
图4是一种CliqueBlock的结构示例,其包含四层,每层由卷积层、批量归一化层和ReLU激活层组成。每个密集循环连接块分为2个阶段,在第一阶段,四个卷积层迭代更新一次获得stage1_feature,然后内部再循环一次,获得stage2_feature,如此实现局部密集循环连接结构;其中每个Clique Block提取的stage1_feature保存作为后续多尺度注意力机制(Multi-scale Attention)层的输入,stage2_feature作为下一个CliqueBlock的输入。
进一步可选地,密集循环网络还包括多个压缩激励块,所述多个密集循环连接块和所述多个压缩激励块交替连接。
比如,图5中的密集循环网络由四个CliqueBlock和三个SE-Block交替连接构成,每个CliqueBlock第一阶段的输出作为一种尺度的心音特征,第二阶段的输出连接一个SE-Block,SE-Block的输出连接下一个CliqueBlock,如此分别提取出四种不同尺度的特征(X1-X4)。
假设SE-Block的输入特征图的维度为H*W*C(高度*宽度*通道数),SE-Block可以自动学习到C个通道中不同通道特征的重要程度,所以SE-Block的输出特征图相对输入特征图已经在每个通道上做了相应的权重处理,抑制了不重要的通道特征,增强了重要的通道特征。
经过Cliqueblock和SE-Block的处理,可以得到比Cliqueblock更加精准的特征(X1-X4)。
注意力机制处理单元320,用于将所述多种不同尺度的心音特征经多尺度注意力机制处理,获得加权后的心音特征。
预测单元330,用于根据所述加权后的心音特征对所述训练样本进行心音质量预测。
可选地,注意力机制处理单元320,将多种不同尺度的心音特征统一到相同尺度,得到不同通道的相同尺度的心音特征;获取所述不同通道的相同尺度的心音特征对应的权重;根据所述不同通道的相同尺度的心音特征及其对应的权重,得到加权后的心音特征。
可通过卷积和/或反卷积运算将多种不同尺度的心音特征统一到相同尺度。卷积运算通常用于将大尺度特征转换为小尺度特征,反卷积运算用于将小尺度特征转换为大尺度特征。根据实际应用中输入特征的尺度与输出特征的尺度之间的关系,选择卷积或反卷积运算。
可选地,注意力机制处理单元320,进一步用于通过逐元素相加方式对所述不同通道的相同尺度的心音特征进行特征融合,得到包含所有通道的超特征;将所述超特征依次经过全局平均池化层、第一全连接层、第二全连接层和归一化指数函数的处理,对每个通道的重要性进行预测,得到不同通道的相同尺度的心音特征对应的权重。
检测模块400,用于将待检测心音数据输入训练好的异常心音识别模型,得到心音质量预测结果,根据所述心音质量预测结果识别异常心音。
本实施例,通过引入密集循环网络,充分利用了基于同一训练样本获得的前后关系特征,从而获得更加精炼的心音特征,有利于心音异常识别模型的预测准确性的提高;通过引入多尺度注意力机制,可以更加关注信息量大的尺度特征,而抑制那些不重要的尺度特征,从而提高了心音异常识别模型的预测准确性。
本发明还提供了一个具体实施场景示例,如图7所示,将本申请提供的基于多尺度注意力神经网络的异常心音识别方法和装置应用于儿童异常心音识别,构建了用于儿童异常心音识别的Dense-FSNet网络模型。具体实施时过程如下:
从临床或门诊获取心音数据,作为原始心音信号。由心血管疾病专家对原始心音信号进行心音质量标注,标注内容包括:正异常标签、心音质量分级和听诊区显著性排序,如此得到标准化心音数据。对标准化心音数据进行预处理,包括降采样、去除环境噪声、去杂峰和加窗数据增广。此处的去除环境噪声是指通过带通滤波器滤除噪声,加窗数据增广是指对经过其之前预处理操作的数据采用滑动窗口进行有重叠的加窗分帧,这样可以丰富样本,起到数据增广的作用。
将经过预处理的数据作为训练样本及其对应的标注内容输入Dense-FSNet网络模型,对该模型进行训练。模型训练好后,得到异常心音识别模型。从下级医院获取的心音数据作为待检测数据,调用云端的异常心音识别模型对待检测数据进行异常心音识别筛查,医生审核模型预测的结果作出听诊分析判断。同时获得的这些数据又可以用于训练样本的更新,基于新的训练样本迭代更新模型。
图6为Dense-FSNet网络模型的训练与测试流程示意图。该模型的网络拓扑结构图如图5所示,其中“Datacleaning+Overlappingwindows”(即预处理+重叠加窗分帧)不包括在该模型中,作为该模型的输入呈现。该模型包括一卷积神经网络、一密集循环网络和多尺度注意力机制。该卷积神经网络由卷积层+BN层+ReLU层+maxpool层构成,用于提取基础心音特征。
该密集循环网络(Base-Net)由四个CliqueBlock和三个SE-Block交替连接构成,分别提取四种不同尺度的特征X4-X1,分别对应1/4,1/8,1/16和1/32尺度。1/32尺度是指X1特征的维度为第1个CliqueBlock的输入特征维度的1/32,其他类似。如果将基础心音特征作为低语义特征,则X3-X4为中语义特征,X1-X2为高语义特征。
每个CliqueBlock的结构图如图4所示,分为2个阶段,在第一阶段,四个卷积层迭代更新一次获得stage1_feature,然后内部再循环一次,获得stage2_feature,如此实现局部密集循环连接结构,其中每个cliqueblock提取的stage1_feature作为后续多尺度注意力机制(multi-scaleAttention Mechanism)层的输入,stage2_feature作为SE-Block的输入。
通过CliqueBlock,提升了网络内部前后信息流,赋予网络模型Dense-FSNet提取数据前后关系特征的能力。
网络模型Dense-FSNet经过四个循环密集连接模块,分别输出相对输入的1/4,1/8,1/16和1/32的特征,输入多尺度注意力机制。
多尺度注意力机制不仅构建超特征,还能根据神经元接受的不同刺激自适应调整各种尺度特征在超特征中的占比权重,起到从全局层面对多尺度特征进行自适应筛选的效果。
为了统一特征的维度,进行后续的不同尺度特征融合,在多尺度注意力机制中,分别对X1-2等高语义特征进行反卷积运算,对X3-4等中语义特征进行卷积运算,比如将四种不同的特征(X1-4)分别经过kernelsize为3的反卷积/卷积统一到120*125维度,分别对应M1d-1、M1d-2、M1d-3、M1d-4等4个不同通道的相同尺度的心音特征。
再通过逐元素相加方式对M1d-1、M1d-2、M1d-3、M1d-4进行特征融合,得到超特征(hyper-feature)M,即M=M1d-1+M1d-2+M1d-3+M1d-4。超特征M经过全局平均池化层、第一全连接层、第二全连接层和归一化指数函数的处理(即GAP+FC1+FC2+Softmax)自适应构建四种尺度特征的权重向量,四个尺度特征经过权重向量自适应加权获取最终特征Ffinal。
具体地,将M1d-1、M1d-2、M1d-3、M1d-4作为不同的通道,超特征经过全局平均池化层(GAP),得到每个通道的初始权重Vc:
其中,Mc(i)表示超特征M第c(小写)个通道的第i个元素的值,L表示每个通道特征包含的元素个数。
所有通道的初始权重构成初始权重向量,将该初始权重向量再通过由2个全连接(FC)层构建的瓶颈结构,第一个FC将通道数减半为C/2(大写C表示超特征M包含C个通道,此处为4,4只是一个示例,也可以根据实际情况取其他值),第二个FC再将通道数提升为C,最后通过softmaxlayer生成各个尺度特征的自适应激活向量[α,β,γ,δ],该激活向量与[M1d-1,M1d-2,M1d-3,M1d-4]T相乘得到自适应校正的新的超特征Ffinal,Ffinal用于最终的心音信号分类识别:
Ffinal=αM1d-1+βM1d-2+γM1d-3+δM1d-4,α+β+γ+δ=1。
Ffinal通过一个全连接层(FC层)和Softmax层,输出心音质量预测结果。根据心音质量预测结果判断心音信号是否异常。
通过上述场景示例,验证了本申请实施方式提供的异常心音识别方法及装置;通过Cliqueblock和SE-Block交替连接构成的密集循环网络,更好地捕获心音信号局部特征的前后关联性和每个局部特征中各通道的重要性,进而获得更加精准的不同尺度的心音特征;将多种不同尺度的心音特征输入多尺度注意力机制,提高了重要尺度特征的权重,进一步提高了心音异常识别模型的预测准确性,能更有效地辅助医生进行心音识别诊断,提高了心音诊断效率,解决了传统心音分析依赖医生经验、准确性不高的问题。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
应当说明的是,上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。