CN113855065B - 基于浅层学习和深度学习融合的心音识别方法及相关装置 - Google Patents

Abstract

本申请涉及人工智能技术领域，提出一种基于浅层学习和深度学习融合的心音识别方法及相关装置，其中方法包括：对原始心音信号进行预处理，得到待识别心音信号；基于浅层学习的第一心音识别模型对所述待识别心音信号进行特征提取，得到目标浅层心音特征；基于深层学习的第二心音识别模型对所述待识别心音信号进行特征提取，得到目标深层心音特征；对所述目标浅层心音特征和所述目标深层心音特征进行决策融合，得到目标心音分类结果。采用本申请，可提高心音识别的准确率。

Description

基于浅层学习和深度学习融合的心音识别方法及相关装置

技术领域

本申请涉及人工智能技术领域，主要涉及了一种基于浅层学习和深度学习融合的心音识别方法及相关装置。

背景技术

心音信号是由心脏跳动过程中心脏各瓣膜的开闭及血液流动所产生的震动形成的。它包含着心脏各个部位，包含心室，心房心血管以及各瓣膜功能状态的大量信息，不同的心脏疾病所发出的心音有所不同。因此心音检测是临床上评估心功能及诊断各种心脏疾病的重要方法之一。

目前，心音分类与识别方案可以采用基于浅层学习的心音识别模型或深层学习的心音识别模型。然而，基于浅层学习的心音识别模型提取的特征具有针对性，且依赖于人工设计的心音有效特征，一旦特征选择不理想将导致算法性能不佳。基于深度学习的心音识别模型的网络结构复杂，参数复杂，需要大量的数据进行训练。

发明内容

本申请实施例提供了一种基于浅层学习和深度学习融合的心音识别方法及相关装置，可提高心音识别的准确率。

第一方面，本申请实施例提供一种基于浅层学习和深度学习融合的心音识别方法，其中：

对原始心音信号进行预处理，得到待识别心音信号；

基于浅层学习的第一心音识别模型对所述待识别心音信号进行特征提取，得到目标浅层心音特征；

基于深层学习的第二心音识别模型对所述待识别心音信号进行特征提取，得到目标深层心音特征；

对所述目标浅层心音特征和所述目标深层心音特征进行决策融合，得到目标心音分类结果。

第二方面，本申请实施例提供一种基于浅层学习和深度学习融合的心音识别装置，其中：

预处理单元，用于对原始心音信号进行预处理，得到待识别心音信号；

特征提取单元，用于基于浅层学习的第一心音识别模型对所述待识别心音信号进行特征提取，得到目标浅层心音特征；基于深层学习的第二心音识别模型对所述待识别心音信号进行特征提取，得到目标深层心音特征；

决策融合单元，用于对所述目标浅层心音特征和所述目标深层心音特征进行决策融合，得到目标心音分类结果。

第三方面，本申请实施例提供一种计算机设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行以实现如第一方面中所描述的部分或全部步骤。

实施本申请实施例，将具有如下有益效果：

采用了上述的基于浅层学习和深度学习融合的心音识别方法及相关装置之后，对原始心音信号进行预处理，得到待识别心音信号。再分别基于浅层学习的第一心音识别模型和深层学习的第二心音识别模型对待识别心音信号进行特征提取，得到目标浅层心音特征和目标深层心音特征。再对目标浅层心音特征和目标深层心音特征进行决策融合，得到目标心音分类结果。如此，利用浅层学习和深度学习的优势进行决策融合的方式获取心音分类结果，可提高心音识别的准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为本申请实施例提供的一种基于浅层学习和深度学习融合的心音识别方法的流程示意图；

图2为本申请实施例提供的一种心音信号的频率树状图；

图3为本申请实施例提供的一种基于浅层学习和深度学习融合的心音识别装置的结构示意图；

图4为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例应用的网络架构包括服务器和电子设备。本申请实施例不限定电子设备和服务器的数量，服务器可同时为多个电子设备提供服务。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器或者可以通过多个服务器组成的服务器集群来实现。

电子设备可以是个人计算机(personal computer，PC)、笔记本电脑或智能手机，还可以是一体机、掌上电脑、平板电脑(pad)、智能电视播放终端、车载终端或便捷式设备等。PC端的电子设备，例如一体机等，其操作系统可以包括但不限于Linux系统、Unix系统、Windows系列系统(例如Windows xp、Windows 7等)、Mac OS X系统(苹果电脑的操作系统)等操作系统。移动端的电子设备，例如智能手机等，其操作系统可以包括但不限于安卓系统、IOS(苹果手机的操作系统)、Window系统等操作系统。

电子设备可以安装并运行应用程序，服务器可以是电子设备所安装的应用程序对应的服务器，为应用程序提供应用服务。其中，应用程序可以是单独集成的应用软件，或其它应用中嵌入的小程序，或者网页上的系统等，在此不做限定。在本申请实施例中，应用程序用于识别心音信号的心音分类结果，可以应用于智慧医疗或智慧问诊等医学应用场景中。

在医学应用场景中，用户可以通过电子设备采集心音信号，并上传至应用程序中。通过应用程序或该应用程序对应的服务器获取心音信号的心音分类结果，并通过电子设备显示该心音分类结果。若心音分类结果显示患有心脏病，且情节严重，还可向用户的紧急联系人或医院发送提示信息。

在本申请实施例中，可预先存储基于浅层学习的第一心音识别模型和基于深层学习的第二心音识别模型。第一心音识别模型用于识别心音信号中的浅层特征，例如，能量、基音频率及共振峰系数等，在此不做限定。浅层特征可以采用人工统计特征方法进行确定。人工统计特征方法是根据统计学人工设计的特征进行特征提取的算法。第一心音识别模型可以基于混合高斯模型(Gaussian mixed mode，GMM)、隐马尔可夫模型(hidden Markovmodel，HMM)，或者可以基于随机森林(random forest，RF)、支持向量机(support vectormachines，SVM)等算法的模型。

第二心音识别模型用于基于心音信号的浅层特征进行学习，得到目标深层特征。第二心音识别模型进行学习的浅层特征可以包括上述的能量、基音频率及共振峰系数等特征，还可以包括梅尔频率倒谱系数(Mel-frequency cepstral coefficients，MFCC)等。

MFCC系数主要用于语音数据特征提取和降低运算维度。例如：对于一帧有512维(采样点)数据，经过MFCC后可以提取出最重要的40维(一般而言)数据同时也达到了将维的目的。MFCC系数的提取步骤依次可以包括：预加重，分帧，加窗，快速傅里叶变换(fastFourier transform，FFT)，梅尔滤波器组，对数运算，离散余弦变换(DCT)。

其中，预加重的目的是提升高频部分，用于滤去低频，使高频更突出。分帧是指将心音信号划分为一个一个的短时段，即一帧的信号。为了避免相邻两帧的变化过大，因此会让相邻帧之间有一段重叠区域。加窗可用于消除各个帧两端可能会造成的信号不连续性，常用的窗函数有方窗、汉明窗和汉宁窗等。对加窗之后的帧进行FFT变换，求频谱，取模平方后得到功率谱。将功率谱输入至梅尔滤波器组后，可得到不同线性关系的频率组。再做频率组对数运算，再进行离散余弦变换可得MFCC系数。MFCC系数的提取步骤中最重要的是FFT变换和梅尔滤波器组，这两个进行了主要的将维操作。

MFCC系数是信号的静态特征，为了获取信号动态特征，可计算MFCC系数的一阶差分系数Δ₁MFCC和和MFCC系数的二阶差分系数Δ₂MFCC。Δ₁MFCC可用下面所示的公式(1)计算得到。

其中，C(n+i)是MFCC系数的一帧。k值可以为2，将一阶差分系数Δ₁MFCC的结果代入，Δ₂MFCC可用公式(2)计算得到。

第二心音识别模型可以基于卷积神经网络(convolutional neural networks，CNN)、递归神经网络(recursive neural network，RNN)、长短期记忆网络(long shortterm memory，LSTM)等组成。

下面以CNN模型作为第二心音识别模型进行举例说明，若梅尔滤波器的数量为34(该值可以调)，则将MFCC与Δ₁MFCC和Δ₂MFCC组成的34x34x3大小的心音信号的特征向量输入至CNN模型中进行深层特征提取。其中，3指MFCC与Δ₁MFCC和Δ₂MFCC组成的三层。该CNN模型主要包括3层卷积层、2层全连接层和1层分类层。

其中，第1层卷积层可以包括128个滤波器，卷积核大小为3x3，步长1x1。第1层卷积层之后的池化层可以为最大池化(max pool)，大小为2x2，步长1x1，并采用ReLU激活函数，dropout为0.5。第2层和第3层的卷积层分别使用了128、256个滤波器，卷积核大小均为3x3，步长1x1；池化操作、激活函数和dropout概率与第1层相同。2个全连接层，输出维度分别为512、256，采用ReLU激活函数，中间使用dropout进行连接，dropout为0.5。分类层为输出层，可以为softmax分类层。

上述的第一心音识别模型和第二心音识别模型还可存储于区块链网络上创建一个区块中。区块链(Blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。可见，通过区块链分布式存储数据，在保证数据安全性的同时，可实现信息在不同平台之间的数据共享。

本申请实施例提出的一种基于浅层学习和深度学习融合的心音识别方法，该方法可以由基于浅层学习和深度学习融合的心音识别装置执行。该装置可由软件和/或硬件实现，一般可集成在电子设备或服务器中，可提高心音识别的准确率。

请参照图1，图1是本申请提供的一种基于浅层学习和深度学习融合的心音识别方法的流程示意图。以该方法应用在电子设备为例进行举例说明，包括如下步骤S101～S104，其中：

S101：对原始心音信号进行预处理，得到待识别心音信号。

在本申请实施例中，预处理可包括信号增强处理和降噪等。可以理解，信号增强处理可提高信号的质量。设备采集的原始心音信号存在较大的噪声，这些噪声有些是环境噪声，有些是工频噪声。为了得到较为纯净的心音信号，可以先对原始心音数据中的噪声进行降噪，即滤波处理，可以提高心音识别的准确率。例如，正常心音信号的频率在5～600Hz范围内，心音信号中的某些病理性杂音频率可以到1500Hz，通常认为2000Hz以上基本不包含有效信息，如此，可以将频率为2000Hz以上的心音信号去除，或者将该部分的心音信号的数值置为0。

本申请对于原始心音信号的降噪方法不做限定，可以采用db6小波基进行降噪。小波由一族小波基函数构成，它可以描述信号时间(空间)和频率(尺度)域的局部特性。在一种可能的示例中，步骤S101可以包括以下步骤：按照频率将原始心音信号进行分层，得到子心音信号；获取所述子心音信号的重构信号；对所述重构信号进行软阈值降噪，得到待识别心音信号。

本申请对于获取的子心音信号的方法不做限定，如图2所示，可以按照频率将心音信号分为4层，第一层包括频段A1和频段D1，频段A1的频率(单位为Hz)为(0，2500)，频段D1的频率为(2500，5000)。第二层包括频段A2和频段D2，频段A2的频率为(0，1250)，频段D2的频率为(1250，2500)。第三层包括频段A3和频段D3，频段A3的频率为(0，625)，频率D3的频率为(625，1250)。第四层包括频段A4和频段D4，频段A4的频率为(0，312)，频段D4的频率为(312，625)。

软阈值可以用公式(3)进行表示。

其中，y为待识别的心音信号，x为小波系数，T为阈值。阈值可以等于每一层细节分量最大值的10％。sign(x)为符号函数，其功能是取某个数的符号(正或负)，即当x>0，sign(x)＝1；当x＝0，sign(x)＝0；当x<0，sign(x)＝-1。该公式用于表示当小波系数的绝对值小于阈值时，y等于0。当小波系数的绝对值大于或等于阈值时，y等于小波系数的绝对值和阈值之间的差值。

可以理解，在该示例中，在按照频率将原始心音信号进行分层之后，可得到多个子心音信号。然后可以获取子心音信号的重构信号。例如，重构信号可以等于图2中A4、D4、D3和D2的和值。如此，可以同时保证子心音信号的符号不变，使输入输出曲线时连续的，且在外观形态上同原始心音信号相似。再对重构信号进行软阈值降噪，在降低噪声干扰的情况下，保留了有效信息，有利于提高心音识别的准确率。

S102：基于浅层学习的第一心音识别模型对所述待识别心音信号进行特征提取，得到目标浅层心音特征。

在本申请实施例中，目标浅层心音特征是第一心音识别模型提取的心音特征。第一心音识别模型可参照前述，在此不再赘述。本申请对于提取目标浅层心音特征的方法不做限定，在一种可能的示例中，步骤S102可以包括以下步骤：基于浅层学习的第一心音识别模型获取所述待识别心音信号的浅层特征；基于序列浮动前向选择模型从所述浅层特征中选取部分浅层特征；基于支持向量机模型对所述部分浅层特征进行分类，得到目标浅层心音特征。

其中，序列浮动前向选择模型基于序列浮动前向选择(sequential floatingforward selection，SFFS)，用于从浅层特征中选取部分浅层特征。SFFS包括前向操作和返向操作两个步骤。其中，前向操作，建立一个特征集合(起始时为空集)，每次搜索时基于特定规则从特征全集中选择一个特征添加到该集合中，使已选择特征集合的分类正确率最大。返向操作，从已选特征集合中择取一个特征，若该特征同时满足去除该特征后，基于已选择特征集合的分类正确率达到最大，且大于去除前，从已选特征集合中删除该特征。

支持向量机(support vector machines，SVM)模型基于SVM，SVM是将训练数据通过一定的函数变化到高维空间，在高维空间寻找最优的分类面。

可以理解，在该示例中，先基于第一心音识别模型获取待识别心音信号的浅层特征。再基于序列浮动前向选择模型从浅层特征中选取部分浅层特征，然后基于支持向量机模型对部分浅层特征进行分类，得到目标浅层心音特征。如此，可提高目标浅层心音特征的识别率。

S103：基于深层学习的第二心音识别模型对所述待识别心音信号进行特征提取，得到目标深层心音特征。

在本申请实施例中，目标深层心音特征是第二心音识别模型提取的心音特征。第二心音识别模型可参照前述，在此不再赘述。本申请对于提取目标深层心音特征的方法不做限定，在一种可能的示例中，步骤S103可以包括以下步骤：提取所述待识别心音信号对应的梅尔频率倒谱系数；计算所述梅尔频率倒谱系数的一阶差分系数和二阶差分系数；将所述梅尔频率倒谱系数、所述一阶差分系数和所述二阶差分系数输入至基于深层学习的第二心音识别模型，得到目标深层心音特征。

其中，梅尔频率倒谱系数、梅尔频率倒谱系数的一阶差分系数和二阶差分系数可参照前述，在此不再赘述。可以理解，通过表示心音信号的静态特征(梅尔频率倒谱系数)和表示心音信号的动态特征(一阶差分系数和二阶差分系数)输入至基于深层学习的第二心音识别模型，可提高获取目标深层心音特征的识别率。

本申请对于步骤S102和步骤S103的执行顺序不做限定，可以先执行步骤S102，再执行步骤S103。或者可以先执行步骤S103，再执行步骤S102。或者可以如图1所示，同时执行步骤S102和步骤S103。

S104：对所述目标浅层心音特征和所述目标深层心音特征进行决策融合，得到目标心音分类结果。

在本申请实施例中，目标心音分类结果是基于目标浅层心音特征和目标深层心音特征进行决策融合得到的分类结果。目标心音分类结果可以包括心音数据的信息，或者可以包括目标心脏状态的目标心脏参数等。其中，目标心脏状态可以包括患病状态、缺氧状态、恢复状态等，在此不做限定。

本申请对于决策融合的方法不做限定，在一种可能的示例中，所述目标心音分类结果包括目标心脏状态，步骤S104可以包括以下步骤B1～B3，其中：

B1：获取所述目标浅层心音特征对应的第一心脏参数。

B2：获取所述目标深层心音特征对应的第二心脏参数。

在本申请实施例中，心脏状态用于描述原始心音信号对应的用户的心脏状态，可以包括用户为目标心脏状态的概率、心率、收缩压、供血能力等状态参数。第一心脏参数是基于目标浅层心音特征得到的用户为目标心脏状态的心脏参数，第二心脏参数是基于目标深层心音特征得到的用户为目标心脏状态的心脏参数。

本申请对于步骤B1和步骤B2的执行顺序不做限定，可以先执行步骤B1，再执行步骤B2。或者可以先执行步骤B2，再执行步骤B1。或者同时执行步骤B1和步骤B2。

第一心脏参数可以为各个预设维度和目标浅层心音特征对应的数值和每一目标浅层心音特征的权值进行加权得到的数值，第二心脏参数可以为各个预设维度和目标深层心音特征对应的数值和每一目标深层心音特征的权值进行加权得到的数值。本申请对于预设维度不做限定，可以包括用户为目标心脏状态的概率、心率、收缩压、供血能力等。且本申请对于目标浅层心音特征和目标深层心音特征的权值不做限定，可以为指定的数值。或者该权值可以与特征对应的预设维度和其他关联的特征之间的关联关系，以及是否为明显的心脏状态数据(例如，心率等)等进行确定。

B3：基于所述第一心脏参数和所述第二心脏参数获取所述目标心脏参数。

在本申请实施例中，目标心脏参数用于描述原始心音信号对应的用户为目标心脏状态的心脏参数，即最后输出给的用户的心脏状态信息。目标心脏参数可以包括用户是否为目标心脏状态的概率、心率、收缩压、供血能力等信息。本申请对于获取目标心脏参数的方法不做限定，在一种可能的示例中，步骤B3可以包括以下步骤B31～B36，其中：

B31：获取所述第一心音识别模型的第一识别率。

B32：获取所述第二心音识别模型的第二识别率。

在本申请实施例中，第一识别率是第一心音识别模型的识别率，第二识别率是第二心音识别模型的识别率，均用于描述识别心音识别的准确率。本申请对于步骤B31和步骤B32的执行顺序不做限定，可以先执行步骤B31，再执行步骤B32。或者可以先执行步骤B32，再执行步骤B31。或者同时执行步骤B31和步骤B32。

本申请对于获取第一识别率和第二识别率的方法不做限定。第一识别率可以基于无监督学习的神经网络(该神经网络也可存储于区块链网络上创建一个区块中)进行获取。常用的无监督学习的算法有矩阵分解算法、孤独森林算法(isolation forest)、主成分分析方法(principal components analysis，PCA)、等距映射方法、局部线性嵌入方法、拉普拉斯特征映射方法、黑塞局部线性嵌入方法和局部切空间排列方法等。无监督学习里典型例子是聚类，聚类的目的在于把相似的东西聚在一起，而不关心这一类是什么。

在一种可能的示例中，步骤B32可以包括以下步骤B321～B325，其中：

B321：根据心音识别样本集中每一未标记样本和已标记样本对所述第二心音识别模型进行训练，得到所述未标记样本的识别结果和所述已标记样本的识别结果。

在本申请实施例中，心音识别样本集中包括未标记的样本和已标记的样本。可以将未标记的样本称为未标记样本，可以将已标记的样本称为已标记样本。已标记样本可以通过人工进行标记，或者通过神经网络进行标记。可以理解，分别将未标记样本和已标记样本输入至第二心音识别模型，可以得到该未标记样本的识别结果和已标记样本的识别结果。该识别结果可以为心脏病概率或心音分类结果。

B322：基于所述已标记样本的识别结果和所述已标记样本的预设结果获取所述已标记样本的第一子识别率。

在本申请实施例中，已标记样本的预设结果可以为指经过人工确认的心脏病概率或心音识别结果，或者为多次训练得到的心音分类结果。第一子识别率用于描述第二心音识别模型识别已标记样本的准确率，可以基于已标记样本的识别结果和预设结果之间的匹配值进行确定，例如，匹配值越大，识别率越大。

B323：基于无监督学习的第三心音识别模型获取所述未标记样本的异常概率。

在本申请实施例中，异常概率是指未标记样本为患有心脏病的概率。无监督学习可参照前述，在此不再赘述。第三心音识别模型也可存储于区块链网络上创建一个区块中。

B324：基于所述未标记样本的识别结果和所述异常概率获取所述未标记样本的第二子识别率。

在本申请实施例中，第二子识别率用于描述第二心音识别模型识别未标记样本的准确率。第二子识别率可以基于未标记样本的识别结果对应的心脏病概率和异常概率之间的乘积进行确定，或者基于心脏病概率和异常概率之间的最小值进行确定等。

B325：基于所述第一子识别率和所述第二子识别率获取所述第二心音识别模型的第二识别率。

在本申请实施例中，第二识别率可以为第一子识别率和第二子识别率的加权平均值。第一子识别率和第二子识别率的预设权值可以基于已标记样本的数量和未标记样本的数量进行确定，或者可以基于异常概率进行确定等，在此不做限定。

可以理解，在步骤B321～B325中，基于第二心音识别模型获取心音识别样本集中未标记样本和已标记样本的识别结果，以及未标记样本的异常概率获取第二心音识别模型的第二识别率。如此，可以在较少已标记样本的情况下，获取第二心音识别模型的第二识别率。且基于无监督学习的第三心音识别模型获取的异常概率获取第二识别率，可提高获取第二识别率的准确率。

B33：基于所述第一识别率和所述第二识别率获取所述目标心脏状态的正权值和负权值。

在本申请实施例中，正权值是目标心脏状态对应的权值，负权值是与目标心脏状态相反的状态类别的权重。例如，目标心脏状态为患有心脏病，则正权值可以为患有心脏病的概率对应的权值，负权值可以为未患病的概率对应的权值。可以基于预设识别率和正权值或负权值之间的计算公式进行获取。例如，正权值q₁的计算如下公式(4)所示，负权值q₂的计算如下公式(5)所示：

其中，r₁为第一识别率，r₂为第二识别率。

B34：基于所述正权值、所述第一心脏参数和所述第二心脏参数计算所述目标心脏状态的正心音参数。

B35：基于所述负权值、所述第一心脏参数和所述第二心脏参数计算所述目标心脏状态的负心音参数。

在本申请实施例中，正心音参数是综合目标浅层心音特征和目标深层心音特征对目标心脏状态进行分析得到的数值，负心音参数是综合目标浅层心音特征和目标深层心音特征对目标心脏状态相反的状态类别进行分析得到的数值。例如，目标心脏状态为患有心脏病，则正心音参数可以为患有心脏病的概率，负心音参数可以为未患有心脏病的概率。

本申请对于步骤B34和步骤B35的执行顺序不做限定，可以先执行步骤B34，再执行步骤B35。或者可以先执行步骤B35，再执行步骤B34。或者同时执行步骤B34和步骤B35。

正心音参数D₁的计算方法可以如下公式(6)所示，负心音参数D₂的计算方法可以如下公式(7)所示：

D₁＝q₁*p₁+q₂*p₂ (6)

D₂＝q₁*(1-p₁)+q₂*(1-p₂) (7)

其中，q₁为正权值，q₂为未负权值。p₁为第一心脏参数，p₂为第二心脏参数。

B36：将所述正心音参数和所述负心音参数之间的最大值，作为所述目标心脏参数。

可以理解，在步骤B31～B36中，基于第一心音识别模型的第一识别率和第二心音识别模型的第二识别率获取目标心脏状态的正权值和负权值。再基于正权值、第一心脏参数和第二心脏参数获取目标心脏状态的正心音参数，以及基于未负权值、第一心脏参数和第二心脏参数获取目标心脏状态的负心音参数。然后，将正心音参数和负心音参数之间的最大值作为目标心脏状态的目标心脏参数。也就是说，若正心音参数大于负心音参数，则表示心音信号对应的用户为目标心脏状态的概率较大，因此，以正心音参数作为目标心脏参数。否则，以负心音参数作为目标心脏参数。如此，从目标心脏状态的正向和负向两个不同的角度获取目标心脏状态的目标心脏参数，可提高获取目标心脏参数的准确率。

在另一种可能的示例中，在步骤B32之后，还可以包括以下步骤：基于所述第一识别率和所述第二识别率获取所述目标浅层心音特征的第一权值和所述目标深层心音特征的第二权值；对所述第一心脏参数和所述第一权值、所述第二心脏参数和所述第二权值进行加权得到所述目标心脏参数。

在本申请实施例中，可预先设置不同识别率对应的权值。如此，可分别获取第一识别率对应的第一权值，以及第二识别率对应的第二权值。或者可以预设识别率和权值之间的计算公式。例如，第一权值可参照上述的公式(4)中q₁的计算，第二权值可参照上述的公式(5)q₂的计算。目标心脏参考p的计算如下公式(8)所示：

p＝p₁*q₃+p₂*q₄ (8)

其中，p₁为第一心脏参数，p₂为第二心脏参数。q₃为第一权值，q₄为第二权值。

可以理解，在该示例中，先基于第一心音识别模型的第一识别率获取第一权值，以及基于第二心音识别模型的第二识别率获取的第二权值。再对第一权值和第一心脏参数、第二权值和第二心脏参数进行加权，得到目标心脏参数。也就是说，从浅层特征和深层特征的角度获取目标心脏参数，可提高获取目标心脏参数的准确率。

在步骤B1～B3中，基于目标浅层心音特征对应的第一心脏参数，以及目标深层心音特征对应的第二心脏参数获取目标心脏状态的目标心脏参数。如此，可利用浅层学习和深度学习的优势进行决策融合的方式获取心音分类结果，可提高心音识别的准确率。

在图1所示的方法中，对原始心音信号进行预处理，得到待识别心音信号。再分别基于浅层学习的第一心音识别模型和深层学习的第二心音识别模型对待识别心音信号进行特征提取，得到目标浅层心音特征和目标深层心音特征。再对目标浅层心音特征和目标深层心音特征进行决策融合，得到目标心音分类结果。如此，利用浅层学习和深度学习的优势进行决策融合的方式获取心音分类结果，可提高心音识别的准确率。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

与图1所示的实施例一致，请参照图3，图3是本申请提出的一种基于浅层学习和深度学习融合的心音识别装置的结构示意图，如图3所示，上述心音识别装置300包括：

预处理单元301，用于对原始心音信号进行预处理，得到待识别心音信号；

特征提取单元302，用于基于浅层学习的第一心音识别模型对所述待识别心音信号进行特征提取，得到目标浅层心音特征；基于深层学习的第二心音识别模型对所述待识别心音信号进行特征提取，得到目标深层心音特征；

决策融合单元303，用于对所述目标浅层心音特征和所述目标深层心音特征进行决策融合，得到目标心音分类结果。

在一个可能的示例中，所述目标心音分类结果包括目标心脏状态的目标心脏参数，所述决策融合单元303具体用于获取所述目标浅层心音特征对应的第一心脏参数；获取所述目标深层心音特征对应的第二心脏参数；基于所述第一心脏参数和所述第二心脏参数获取所述目标心脏参数。

在一个可能的示例中，所述决策融合单元303具体用于获取所述第一心音识别模型的第一识别率；获取所述第二心音识别模型的第二识别率；基于所述第一识别率和所述第二识别率获取所述目标心脏状态的正权值和负权值；基于所述正权值、所述第一心脏参数和所述第二心脏参数计算所述目标心脏状态的正心音参数；基于所述负权值、所述第一心脏参数和所述第二心脏参数计算所述目标心脏状态的负心音参数；将所述正心音参数和所述负心音参数之间的最大值，作为所述目标心脏状态。

在一个可能的示例中，所述决策融合单元303具体用于根据心音识别样本集中每一未标记样本和已标记样本对所述第二心音识别模型进行训练，得到所述未标记样本的识别结果和所述已标记样本的识别结果；基于所述已标记样本的识别结果和所述已标记样本的预设结果获取所述已标记样本的第一子识别率；基于无监督学习的第三心音识别模型获取所述未标记样本的异常概率；基于所述未标记样本的识别结果和所述异常概率获取所述未标记样本的第二子识别率；基于所述第一子识别率和所述第二子识别率获取所述第二心音识别模型的第二识别率。

在一个可能的示例中，所述预处理单元301具体用于按照频率将原始心音信号进行分层，得到子心音信号；获取所述子心音信号的重构信号；对所述重构信号进行软阈值降噪，得到待识别心音信号。

在一个可能的示例中，所述特征提取单元302具体用于基于浅层学习的第一心音识别模型获取所述待识别心音信号的浅层特征；基于序列浮动前向选择模型从所述浅层特征中选取部分浅层特征；基于支持向量机模型对所述部分浅层特征进行分类，得到目标浅层心音特征。

在一个可能的示例中，所述特征提取单元302具体用于提取所述待识别心音信号对应的梅尔频率倒谱系数；计算所述梅尔频率倒谱系数的一阶差分系数和二阶差分系数；将所述梅尔频率倒谱系数、所述一阶差分系数和所述二阶差分系数输入至基于深层学习的第二心音识别模型，得到目标深层心音特征。

该心音识别装置300中各个单元执行详细过程可以参见前述方法实施例中的执行步骤，此处不在赘述。

与图1的实施例一致，请参照图4，图4是本申请实施例提供的一种计算机设备的结构示意图。如图4所示，该计算机设备400包括处理器410、存储器420、通信接口430以及一个或多个程序440。处理器410、存储器420和通信接口430之间通过总线450互相连接。图3所示的预处理单元301、特征提取单元302和决策融合单元303所实现的相关功能可通过处理器410来实现。

上述一个或多个程序440被存储在上述存储器420中，并且被配置由上述处理器410执行，上述程序440包括用于执行以下步骤的指令：

对原始心音信号进行预处理，得到待识别心音信号；

基于浅层学习的第一心音识别模型对所述待识别心音信号进行特征提取，得到目标浅层心音特征；

基于深层学习的第二心音识别模型对所述待识别心音信号进行特征提取，得到目标深层心音特征；

对所述目标浅层心音特征和所述目标深层心音特征进行决策融合，得到目标心音分类结果。

在一个可能的示例中，所述目标心音分类结果包括目标心脏状态的目标心脏参数，在所述对所述目标浅层心音特征和所述目标深层心音特征进行决策融合，得到目标心音分类结果方面，所述程序440具体用于执行以下步骤的指令：

获取所述目标浅层心音特征对应的第一心脏参数；

获取所述目标深层心音特征对应的第二心脏参数；

基于所述第一心脏参数和所述第二心脏参数获取所述目标心脏参数。

在一个可能的示例中，在所述基于所述第一心脏参数和所述第二心脏参数获取所述目标心脏参数方面，所述程序440具体用于执行以下步骤的指令：

获取所述第一心音识别模型的第一识别率；

获取所述第二心音识别模型的第二识别率；

基于所述第一识别率和所述第二识别率获取所述目标心脏状态的正权值和负权值；

基于所述正权值、所述第一心脏参数和所述第二心脏参数计算所述目标心脏状态的正心音参数；

基于所述负权值、所述第一心脏参数和所述第二心脏参数计算所述目标心脏状态的负心音参数；

将所述正心音参数和所述负心音参数之间的最大值，作为所述目标心脏参数。

在一个可能的示例中，在所述获取所述第二心音识别模型的第二识别率方面，所述程序440具体用于执行以下步骤的指令：

根据心音识别样本集中每一未标记样本和已标记样本对所述第二心音识别模型进行训练，得到所述未标记样本的识别结果和所述已标记样本的识别结果；

基于所述已标记样本的识别结果和所述已标记样本的预设结果获取所述已标记样本的第一子识别率；

基于无监督学习的第三心音识别模型获取所述未标记样本的异常概率；

基于所述未标记样本的识别结果和所述异常概率获取所述未标记样本的第二子识别率；

基于所述第一子识别率和所述第二子识别率获取所述第二心音识别模型的第二识别率。

在一个可能的示例中，在所述对原始心音信号进行预处理，得到待识别心音信号方面，所述程序440具体用于执行以下步骤的指令：

按照频率将原始心音信号进行分层，得到子心音信号；

获取所述子心音信号的重构信号；

对所述重构信号进行软阈值降噪，得到待识别心音信号。

在一个可能的示例中，在所述基于浅层学习的第一心音识别模型对所述待识别心音信号进行特征提取，得到目标浅层心音特征方面，所述程序440具体用于执行以下步骤的指令：

基于浅层学习的第一心音识别模型获取所述待识别心音信号的浅层特征；

基于序列浮动前向选择模型从所述浅层特征中选取部分浅层特征；

基于支持向量机模型对所述部分浅层特征进行分类，得到目标浅层心音特征。

在一个可能的示例中，在所述基于深层学习的第二心音识别模型对所述待识别心音信号进行特征提取，得到目标深层心音特征方面，所述程序440具体用于执行以下步骤的指令：

提取所述待识别心音信号对应的梅尔频率倒谱系数；

计算所述梅尔频率倒谱系数的一阶差分系数和二阶差分系数；

将所述梅尔频率倒谱系数、所述一阶差分系数和所述二阶差分系数输入至基于深层学习的第二心音识别模型，得到目标深层心音特征。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于存储计算机程序，该计算机程序使得计算机执行以实现方法实施例中记载的任一方法的部分或全部步骤，计算机包括电子设备和服务器。

本申请实施例还提供一种计算机程序产品，计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，计算机程序可操作来使计算机执行以实现方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，计算机包括电子设备和服务器。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模式并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如至少一个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到至少一个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模式的形式实现。

集成的单元如果以软件程序模式的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。根据这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种基于浅层学习和深度学习融合的心音识别方法，其特征在于，包括：

对原始心音信号进行预处理，得到待识别心音信号；

基于浅层学习的第一心音识别模型对所述待识别心音信号进行特征提取，得到目标浅层心音特征；

基于深层学习的第二心音识别模型对所述待识别心音信号进行特征提取，得到目标深层心音特征；

对所述目标浅层心音特征和所述目标深层心音特征进行决策融合，得到目标心音分类结果；

其中，所述目标心音分类结果包括目标心脏状态的目标心脏参数，所述对所述目标浅层心音特征和所述目标深层心音特征进行决策融合，得到目标心音分类结果，包括：

获取所述目标浅层心音特征对应的第一心脏参数；

获取所述目标深层心音特征对应的第二心脏参数；

获取所述第一心音识别模型的第一识别率；

获取所述第二心音识别模型的第二识别率；

基于所述第一识别率和所述第二识别率获取所述目标心脏状态的正权值和负权值，所述正权值是所述目标心脏状态对应的权值，所述负权值是与所述目标心脏状态相反的状态对应的权值；

基于所述正权值、所述第一心脏参数和所述第二心脏参数计算所述目标心脏状态的正心音参数；

基于所述负权值、所述第一心脏参数和所述第二心脏参数计算所述目标心脏状态的负心音参数；

将所述正心音参数和所述负心音参数之间的最大值，作为所述目标心脏参数。

2.根据权利要求1所述的方法，其特征在于，所述获取所述第二心音识别模型的第二识别率，包括：

根据心音识别样本集中每一未标记样本和已标记样本对所述第二心音识别模型进行训练，得到所述未标记样本的识别结果和所述已标记样本的识别结果；

基于所述已标记样本的识别结果和所述已标记样本的预设结果获取所述已标记样本的第一子识别率；

基于无监督学习的第三心音识别模型获取所述未标记样本的异常概率；

基于所述未标记样本的识别结果和所述异常概率获取所述未标记样本的第二子识别率；

基于所述第一子识别率和所述第二子识别率获取所述第二心音识别模型的第二识别率。

3.根据权利要求1或2所述的方法，其特征在于，所述对原始心音信号进行预处理，得到待识别心音信号，包括：

按照频率将原始心音信号进行分层，得到子心音信号；

获取所述子心音信号的重构信号；

对所述重构信号进行软阈值降噪，得到待识别心音信号。

4.根据权利要求1或2所述的方法，其特征在于，所述基于浅层学习的第一心音识别模型对所述待识别心音信号进行特征提取，得到目标浅层心音特征，包括：

基于浅层学习的第一心音识别模型获取所述待识别心音信号的浅层特征；

基于序列浮动前向选择模型从所述浅层特征中选取部分浅层特征；

基于支持向量机模型对所述部分浅层特征进行分类，得到目标浅层心音特征。

5.根据权利要求1或2所述的方法，其特征在于，所述基于深层学习的第二心音识别模型对所述待识别心音信号进行特征提取，得到目标深层心音特征，包括：

提取所述待识别心音信号对应的梅尔频率倒谱系数；

计算所述梅尔频率倒谱系数的一阶差分系数和二阶差分系数；

将所述梅尔频率倒谱系数、所述一阶差分系数和所述二阶差分系数输入至基于深层学习的第二心音识别模型，得到目标深层心音特征。

6.一种基于浅层学习和深度学习融合的心音识别装置，其特征在于，包括：

预处理单元，用于对原始心音信号进行预处理，得到待识别心音信号；

特征提取单元，用于基于浅层学习的第一心音识别模型对所述待识别心音信号进行特征提取，得到目标浅层心音特征；基于深层学习的第二心音识别模型对所述待识别心音信号进行特征提取，得到目标深层心音特征；

决策融合单元，用于对所述目标浅层心音特征和所述目标深层心音特征进行决策融合，得到目标心音分类结果；

所述目标心音分类结果包括目标心脏状态的目标心脏参数，所述决策融合单元具体用于获取所述目标浅层心音特征对应的第一心脏参数；获取所述目标深层心音特征对应的第二心脏参数；获取所述第一心音识别模型的第一识别率；获取所述第二心音识别模型的第二识别率；基于所述第一识别率和所述第二识别率获取所述目标心脏状态的正权值和负权值，所述正权值是所述目标心脏状态对应的权值，所述负权值是与所述目标心脏状态相反的状态对应的权值；基于所述正权值、所述第一心脏参数和所述第二心脏参数计算所述目标心脏状态的正心音参数；基于所述负权值、所述第一心脏参数和所述第二心脏参数计算所述目标心脏状态的负心音参数；将所述正心音参数和所述负心音参数之间的最大值，作为所述目标心脏参数。

7.一种计算机设备，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求1-5中任一项所述方法的步骤的指令。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得计算机执行以实现权利要求1-5中任一项所述的方法。