CN109044396A

CN109044396A - 一种基于双向长短时记忆神经网络的智能心音识别方法

Info

Publication number: CN109044396A
Application number: CN201810664940.9A
Authority: CN
Inventors: 舒宁; 徐悦
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2018-06-25
Filing date: 2018-06-25
Publication date: 2018-12-21
Anticipated expiration: 2038-06-25
Also published as: CN109044396B

Abstract

本发明涉及生理信号识别的技术领域，更具体地，涉及一种基于双向长短时记忆神经网络的智能心音识别方法，首先采用小波尺度变换对原始数据进行滤波处理，然后把一段长的心音数据切分成每段30s长度的信号，接着计算每一段信号的MFCC系数，MFCC一阶差分系数以及MFCC二阶差分系数，最后利用大量的心音数据，采用最新的双向LSTM神经网络来实现对心音数据的智能分类。本发明采用双向LSTM神经网络来对心音数据进行分类，由于双向LSTM网络具有‘记忆’功能，能够充分的考虑序列数据的前后关系，挖掘内部的关键特征，同时还能联系前后时刻的隐含信息，训练时模型的收敛速度更快，具有较高的准确度。

Description

一种基于双向长短时记忆神经网络的智能心音识别方法

技术领域

本发明涉及生理信号识别的技术领域，更具体地，涉及一种基于双向长短时记忆神经网络的智能心音识别方法。

背景技术

心音信号是由心脏跳动过程中心脏各瓣膜的开闭及血液流动所产生的震动形成的。它包含着心脏各个部位，包含心室，心房心血管以及各瓣膜功能状态的大量信息，不同的心脏疾病所发出的心音有所不同。因此心音检测是临床上评估心功能及诊断各种心脏疾病的重要方法之一。由于大数据与硬件设备的发展，深度神经网络在大数据集上得以训练，能够自动地提取数据中潜在的特征，并且实现自动识别与分类。

目前，很多的心音分类与识别方案都是先提取心音的频谱特征或者时域特征，然后利用传统的算法模型，比如混合高斯模型(GMM)，隐马尔可夫模型(HMM)，支持向量机(SVM)来实现对每个病人的心音进行分类，也有利用深度学习来对心音进行分类的方案。然而，传统算法对于大量的高维数据不能充分挖掘其中特征与特征之间的内在关联，导致准确率下降；利用卷积神经网络处理心音数据，对于单纯的时间序列的数据，卷积神经网络并不能胜任。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于双向长短时记忆神经网络的智能心音识别方法，采用双向长短时记忆神经网络对心音数据进行识别和分类，能够获得较高的分类准确率。

为解决上述技术问题，本发明采用的技术方案是：

提供一种基于双向长短时记忆神经网络的智能心音识别方法，包括以下步骤：

S1.采用多尺度小波变换对原始心音信号进行滤波处理得到滤除高频噪声的心音信号；

S2.将步骤S1中所述滤除高频噪声的心音信号按每段25s～40s的时间长度进行切分；

S3.提取步骤S2中每一段心音信号的MFCC特征；

S4.建立双向长短时记忆神经网络分类模型，并对神经网络分类模型进行训练，保存训练好的分类模型；

S5.将待检测的心音信号输入步骤S4中训练好的分类模型中，预测未知类别的心音信号。

本发明的基于双向长短时记忆神经网络的智能心音识别方法，只需要简单地提取MFCC特征就可以作为神经网络的输入，然后神经网络的输出就是分类结果；双向长短时记忆神经网络能够充分地考虑序列数据的前后关系，挖掘内部的关键特征，实现对心音数据的分类，使得分类的准确度比传统的方法更高。

优选地，步骤S1中，所述原始心音信号的频率为10Hz～100Hz，所述多尺度小波变换采用的小波基为db5；所述原始心音信号经两个尺度的变换，去掉高频系数，再重构近似系数得到滤除高频噪声的心音信号。对于设备采集到的原始心音信号存在较大的噪声，这些噪声有些是环境噪声，有些是工频噪声，为了得到较为纯净的心音信号，首先要对心音数据进行去噪即滤波处理；由于心音在时域上是连续的非平稳信号，同时考虑到计算量的大小，因此采用多尺度小波变换来对原始心音信号进行滤波处理得到滤除高频噪声的心音信号。

优选地，步骤S2中，心音信号切分的时间长度为30s。从临床上来看，30s的时间长度可以达到诊断的效果，这样也可以为神经网络减少计算量。

优选地，步骤S3中，所述MFCC特征的提取方法包括以下步骤：

S31.对每一段心音信号的高频段进行预加重处理后进行分帧处理；由于声音信号具有短时平稳性，10ms～30ms内可以认为语音信号近似不变，将心音信号分为一些短段来进行处理，即分帧，分帧是利用滑动的窗口进行加权来实现的；

S32.将步骤S31分帧处理得到的每一帧信号做离散傅里叶变换或快速傅里叶变换后送入Mel频率滤波器组处理得到输出信号；

S33.将步骤S32中所述的输出信号进行取对数变换；

S34.将经步骤S33对数变换的输出信号进行离散余弦变换得到MFCC系数。MFCC系数是信号的静态特征，设置维度为19维；为了获取信号动态特征，再计算19维的一阶差分系数和19维的二阶差分系数。

优选地，步骤S31中，当分帧处理得到的段信号的帧数小于预设帧数时采用补零的方式处理。每缺少一帧，补39个零；考虑到时间太短无法准确诊断各类疾病，所以对于长度小于15s的心音，直接扔掉。这样处理，所有的心音片段提取出来的特征长度便能够保持一致。

优选地，步骤S32中所述Mel频率滤波器组包括若干临界带滤波器，每个临界带滤波器的输出为该临界带滤波器内所有信号频谱幅值的加权和。

优选地，步骤S4中，所述双向长短时记忆神经网络包括输入层、第一双向LSTM层、第一随机置零层、第二双向LSTM层、第二随机置零层以及输出层。

优选地，所述输入层、第一双向LSTM层、第一随机置零层、第二双向LSTM层、第二随机置零层以及输出层每一层神经元个数及参数设置为：

(1)输入层：步骤S2中每一段心音信号经过提取MFCC特征之后变成矩阵，输入层接受所述矩阵；

(2)第一双向LSTM层：隐层神经元设置为64，用于自动提取数据内在的时序特征，并设置每一帧输出一位信息，以矩阵形式输出；

(3)第一随机置零层：设置随机置神经元个数为零的概率为0.3，随机使得某一些神经元置零，有效防止过拟合，以矩阵形式输出；

(4)第二双向LSTM层：隐层神经元设置为64，用于挖掘数据潜在的特征，每段时间长度输出一位信息，将第一随机置零层输出的矩阵压缩为抽象化特征；

(5)第二随机置零层：设置随机置神经元个数为零的概率为0.3，随机使得某一些神经元置零；

(6)输出层：输出层的神经元个数与心音的类别数一致，输出N个概率值，每个概率值代表一种类别，并取N个概率值中最大一个所在位置作为最终的分类标签。

优选地，在训练开始前，每种心音类别的标签进行独热编码；将样本数据和对应的标签放入构建好的神经网络模型中训练。训练过程就相当于学习的过程，将音频数据放入到网络，让其预测一个标签，模型预测的标签可能和真实的标签相差很大。如果发现不准确，则网络会自动修改连接参数，使其预测和真实标签更接近，如此重复，不断地把数据送进网络，不断地与把数据送进网络，不断地与真实标签对比，然后不断地修改网络的连接权重，使其越来越接近真实的标签值，知道误差不再变化或者误差很小为止，则停止网络模型的训练，网络的连接参数也随之固定下来。

优选地，所述标签包括正常、不正常、二联律以及奔马律。

与现有技术相比，本发明的有益效果是：

(1)本发明采用的双向LSTM网络能够充分的考虑序列数据的前后关系，挖掘内部的关键特征，从而实现对心音数据的分类，使得比传统的方法具有更高的分类的准确度。

(2)本发明可作为医生给病人看病的辅助方法，辅助医生诊断，从而减轻医生的工作负担，提高工作效率。

附图说明

图1为基于双向长短时记忆神经网络的智能心音识别方法的流程图。

图2为实施例一中一段2.5s时间的原始心音信号。

图3为图2的心音信号经小波第一尺度和第二尺度变换后的信号。

图4为MFCC系数的提取过程流程图。

图5为双向LSTM神经网络示意图。

图6为图5所示双向LSTM神经网络分类示意图。

图7为实施例应用于系统的工作流程图。

具体实施方式

下面结合具体实施方式对本发明作进一步的说明。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

实施例

如图1至图7所示为本发明的基于双向长短时记忆神经网络的智能心音识别方法的第一实施例，包括以下步骤：

S1.采用多尺度小波变换对原始心音信号进行滤波处理得到滤除高频噪声的心音信号；本实施例可先收集心音信号建立心音数据库以改善神经网络训练的质量；

S2.将步骤S1中滤除高频噪声的心音信号按每段25s～40s的时间长度进行切分；

S3.提取步骤S2中每一段心音信号的MFCC特征；

本实施例只需简单地提取MFCC特征就可以作为神经网络的输入，然后神经网络的输出就是分类结果；双向长短时记忆神经网络能够充分地考虑序列数据的前后关系，挖掘内部的关键特征，实现对心音数据的分类，使得分类的准确度比传统的方法更高。

步骤S1，对于设备采集到的原始心音信号存在较大的噪声，这些噪声有些是环境噪声，有些是工频噪声，为了得到较为纯净的心音信号，首先对心音数据进行去噪，即滤波处理。由于心音在时域上是连续的非平稳信号，同时考虑到计算量大小，因此采用多尺度小波变换对原始心音信号进行滤波处理。由于心音信号的频率主要在10Hz～100Hz之间，所以小波基采用‘db5’，做两个尺度的变换，去掉高频系数，再重构近似系数，即可得到滤除高频噪声的心音信号。如图2所示为一段2.5s时间原始心音信号，如图3(a)、3(c)所示为第一尺度和第二尺度滤除高频噪声后的心音信号，图3(b)、3(d)为第一尺度和第二尺度的高频噪声。

步骤S2中，将一段很长的心音信号切分为每段30s的时间长度。从临床上看，30s的时间长度可以达到诊断的效果，这样也可以为神经网络减少计算量。

如图4所示，步骤S3中：心音信号的频谱，一般是随着频率升高频谱值减小，为了能够在整个频带内用相同的信噪比求频谱，需要对其高频段进行预加重处理。声音信号具有短时平稳性(10ms～30ms内可以认为语音信号近似不变)，这样就可以把语音信号分为一些短段来来进行处理，这就是分帧。分帧是用滑动的窗口进行加权来实现的。然后把每一帧信号做离散傅里叶变换(DFT)或者快速傅里叶变换(FFT)，再把信号送入到Mel滤波器组，每个临界带滤波器的输出为该临界带内所有信号频谱幅度的加权和。接着把输出信号进行取对数和离散余弦变换(DCT)，最终得到MFCC系数。本实施例中，MFCC系数是信号的静态特征，设置维度为19维；为了获取信号动态特征，再计算19维的一阶差分系数和19维的二阶差分系数。最终一段30s长度的心音分成了118帧，每一帧39个系数，即39维特征，转化为矩阵形式即118*39。在心音切分过程中，会有长度不满30s且大于15s的信号，对于这些段信号，帧数会小于118，本实施例采用补零的方式处理，每缺少一帧，补39个零。考虑到时间太短无法准确诊断各类疾病，所以对于长度小于15s的心音，直接扔掉。这样一来，所有的心音片段提取出来的特征长度便能够保持一致。

步骤S4中，主要采用双向长短时记忆神经网络来对心音信号进行分类，使得分类的准确度更好，实验表明，在提高分类准确度的同时，还能加快模型的收敛速度，使得模型训练时间更短，双向长短时记忆神经网络如图5所示。图5中，x_i代表某一时刻的输入信号，y_i代表这一时刻的输出信号，假设当前时刻的输入为x₂，输出为y₂，则y₂＝g(VA₂+V′A₂′)，其中A₂＝f(WA₁+Ux₂)，A₂′＝f(W′A′₃+U′x₂)，g(.)，f(.)分别是两种激活函数(sigmoid函数和tanh函数)，S_i代表信号正向传播时的状态矩阵，S′_i代表信号反向传播时的状态矩阵，V、V′、W、W′、U、U′都是相应状态矩阵的连接权重。

如图6所示，开始建立双向长短时记忆神经网络分类模型，本实施例的分类模型共有6层，每一层的神经元个数及参数设置如下：

(1)输入层：每一段30s心音数据经过提取MFCC特征之后，其变成一个118*39大小的矩阵，因此输入层接受一个形状为118*39大小矩阵；

(2)第一双向LSTM层：这一层连接一个双向LSTM，隐层神经元设置为64，这一层主要作用就是自动提取数据内在的时序特征，设置每一个时间步(即每一帧)输出一位信息，则经过这一层后，数据输出形状为118*128大小的矩阵；

(3)第一随机置零层：这一层设置随机置神经元个数为零的概率为0.3，这样在训练过程中可以随机使得某一些神经元置零(即‘死亡’)，可以有效防止过拟合。输出输出形式还是118*128大小的矩阵；

(4)第二双向LSTM层：之后再接一个双向LSTM层，隐层神经元设置为64，目的为更深一层挖掘数据潜在的特征，到了这一层，不需要设置每一个时间步(每一帧)输出一位信息，而是每118帧(即每30s时间)输出一位信息。从开始一个形如118*40大小的矩阵，经过这一层后，被压缩成了128维的高度抽象化的特征；

(5)第二随机置零层：这一层也是为了防止训练过程中过拟合，设置神经元‘死亡’概率为0.3；

(6)输出层：输出层即分类层，这一层的神经元个数与心音的类别数一致，假若有10种不同类型的心音，则设置10个神经元。这一层会输出N个概率值，每个概率值代表一种类别，我们可以取N个概率值中最大的一个所在位置作为最终的分类标签；比如10个概率值中最大概率值是第3个，则这个样本的判断标签为第三类。

双向长短时记忆神经网络分类模型建立好后，便是训练模型。在训练开始，对每一个类别的标签进行独热编码，比如有10个类别，则第一个类别的标签的独热编码为1000000000，第二个类别的独热编码为0100000000；之后把样本数据和其对应的标签放入到构建好的分类模型中训练，训练过程中就相当于“学习”的过程。本实施例把一个30s的音频数据放入到分类模型，让其预测一个标签：若发现分类模型预测的标签和真实的标签相差很大，则网络会自动修改连接参数，使得其预测和真实标签更接近，如此重复，不断地把数据送进网络，不断地与真实标签对比，然后不断地修改网络的连接权重，使其越来越接近真实的标签值，直到误差不再变化或者误差很小为止，则停止分类模型的训练，网络的连接参数也随之固定下来。

训练好之后，保存分类模型，便可用于预测未知类别的心音数据。具体地，输入一段音频，送入到神经网络，模型的输出层就会输出N个概率值，每一个概率值代表对这个类别的预测置信度，概率值最大的那个预测类别就是这段音频的标签(比如正常，不正常，二联律，奔马律等等)。

如图7所示，本实施例可将训练好的分类模型参数和模型结构放入到APP中，通过心音采集装置将采集的心音信号通过蓝牙发送到手机APP上，APP就立刻能对送过来的心音信号就行分析；若输出结果异常，则发出警告信号，辅助医生诊断。同时，APP还会通过神经网络将数据传送到心音数据库，以扩充数据库。本实施例可以作为医生给病人看病的辅助工具，可以替代传统的听诊器，传统的听诊器需要依靠医生来听诊，然后给出诊断结果，本发明在一定程度上能辅助医生诊断，从而减轻医生的工作负担，提高工作效率。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims

1.一种基于双向长短时记忆神经网络的智能心音识别方法，其特征在于，包括以下步骤：

S3.提取步骤S2中每一段心音信号的MFCC特征；

2.根据权利要求1所述的基于双向长短时记忆神经网络的智能心音识别方法，其特征在于，步骤S1中，所述原始心音信号的频率为10Hz～100Hz，所述多尺度小波变换采用的小波基为db5；所述原始心音信号经两个尺度的变换，去掉高频系数，重构近似系数得到滤除高频噪声的心音信号。

3.根据权利要求1所述的基于双向长短时记忆神经网络的智能心音识别方法，其特征在于，步骤S2中，心音信号切分的时间长度为30s。

4.根据权利要求1所述的基于双向长短时记忆神经网络的智能心音识别方法，其特征在于，步骤S3中，所述MFCC特征的提取方法包括以下步骤：

S31.对每一段心音信号的高频段进行预加重处理后进行分帧处理；

S33.将步骤S32中所述的输出信号进行取对数变换；

S34.将经步骤S33对数变换的输出信号进行离散余弦变换得到MFCC系数。

5.根据权利要求4所述的基于双向长短时记忆神经网络的智能心音识别方法，其特征在于，步骤S31中，当分帧处理得到的段信号的帧数小于预设帧数时采用补零的方式处理。

6.根据权利要求4所述的基于双向长短时记忆神经网络的智能心音识别方法，其特征在于，步骤S32中所述Mel频率滤波器组包括若干临界带滤波器，每个临界带滤波器的输出为该临界带滤波器内所有信号频谱幅值的加权和。

7.根据权利要求1所述的基于双向长短时记忆神经网络的智能心音识别方法，其特征在于，步骤S4中，所述双向长短时记忆神经网络包括输入层、第一双向LSTM层、第一随机置零层、第二双向LSTM层、第二随机置零层以及输出层。

8.根据权利要求7所述的基于双向长短时记忆神经网络的智能心音识别方法，其特征在于，所述输入层、第一双向LSTM层、第一随机置零层、第二双向LSTM层、第二随机置零层以及输出层每一层神经元个数及参数设置为：

9.根据权利要求8所述的基于双向长短时记忆神经网络的智能心音识别方法，其特征在于，在训练开始前，对每种心音类别的标签进行独热编码；将样本数据和对应的标签放入构建好的神经网络模型中训练。

10.根据权利要求9所述的基于双向长短时记忆神经网络的智能心音识别方法，其特征在于，所述标签包括正常、不正常、二联律以及奔马律。