CN111938691A - 一种基础心音识别方法及设备 - Google Patents

一种基础心音识别方法及设备 Download PDF

Info

Publication number
CN111938691A
CN111938691A CN202010829479.5A CN202010829479A CN111938691A CN 111938691 A CN111938691 A CN 111938691A CN 202010829479 A CN202010829479 A CN 202010829479A CN 111938691 A CN111938691 A CN 111938691A
Authority
CN
China
Prior art keywords
heart sound
sound data
training
segment
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010829479.5A
Other languages
English (en)
Other versions
CN111938691B (zh
Inventor
颜永红
王寻
张鹏远
黎塔
周军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Acoustics CAS
Beijing Kexin Technology Co Ltd
Original Assignee
Institute of Acoustics CAS
Beijing Kexin Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Acoustics CAS, Beijing Kexin Technology Co Ltd filed Critical Institute of Acoustics CAS
Priority to CN202010829479.5A priority Critical patent/CN111938691B/zh
Publication of CN111938691A publication Critical patent/CN111938691A/zh
Application granted granted Critical
Publication of CN111938691B publication Critical patent/CN111938691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/02—Stethoscopes
    • A61B7/04—Electric stethoscopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Power Engineering (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本发明涉及一种心音识别方法，包括：采集多个原始心音数据；对多个原始心音数据进行低通滤波，并计算多个原始心音数据所对应的同态包络；采用双门限法对多个同态包络进行筛选，得到至少一个备选心音数据段；将至少一个备选心音数据段进行短时傅里叶变换，得到至少一个备选心音数据段所对应的备选心音段时频谱；将至少一个备选心音段时频谱输入心音识别分支卷积神经网络进行分类，得到至少一个备选心音段时频谱的分类结果。

Description

一种基础心音识别方法及设备
技术领域
本发明涉及神经网络领域，尤其是涉及一种基于分支卷积神经网络的基础心音识别方法及设备。
背景技术
心脏瓣膜疾病是目前较为常见的一种心血管疾病，而主流的心脏检查方式主要有心脏CT、心脏磁共振和心脏超声等。但上述方式的检查过程均需要专业人士参与，并不适合在家庭环境中推广。
心音作为一种人体生理信号，可以反映心脏瓣膜的健康状况。而利用心音进行心脏瓣膜疾病的诊断成本低廉，便于普及。
与传统机械听诊器相比较，电子听诊器能够以数字化的形式保存心音数据，同时可以进行自动诊断，因此可以极大地扩展听诊器的应用范围。在心动周期中的不同时期出现的杂音，可以表征不同的心脏瓣膜疾病，因此在基于心音进行心脏瓣膜疾病的判断时，通常需要将心音进行分割。目前常见的是将每个心动周期分割为4个阶段，即第一心音(S1)、收缩间期、第二心音(S2)和舒张间期。
一些方案讨论了基于马尔可夫模型的心音分割，但是这一方法在训练前需要统计训练样本中每个心动周期的4段心音的时长。对于心律不齐的心音，其4段心音的时长分布并不符合常见心音的时长统计规律，因此难以得到准确的分割结果，也就是说基于马尔可夫模型的方式仅适用于窦性心律的情况。
由于心动周期可以分为4段，因此只需确定S1和S2的位置即可完成心音分割，无需统计训练样本中4段心音的时长分布。然而，传统S1和S2识别是基于聚类的，准确率相对较低。同时目前的一些关于S1和S2的识别方法处理流程较为复杂，并且均是对S1和S2的二分类。对于二分类的方式，若心音样本中还包括偶然出现的环境杂音，则杂音将被错误的识别为S1或S2，导致后续心音分割时出现错误。显然，当前技术并不利于实时识别，同时心音中的杂音也会被错误识别。
发明内容
本发明通过计算同态包络找出实际使用时采集到的心音中可能为S1、S2或干扰杂音的数据段，并将上述数据段送入已训练的卷积神经网络中进行识别，从而得到S1、S2或干扰杂音的判别结果。使得找出S1、S2或干扰杂音时可以不依赖于时序信息，同样适用于心律不齐的心音。
为实现上述目的，本发明第一方面提供了一种基础心音识别方法，包括：采集多个原始心音数据；对多个原始心音数据进行低通滤波，并计算多个原始心音数据所对应的同态包络；采用双门限法对多个同态包络进行筛选，得到至少一个备选心音数据段；将至少一个备选心音数据段进行短时傅里叶变换，得到至少一个备选心音数据段所对应的备选心音段时频谱；将至少一个备选心音段时频谱输入心音识别分支卷积神经网络进行分类，得到至少一个备选心音段时频谱的分类结果；其中，心音识别分支卷积神经网络包括两层卷积层、两层全连接层和一层softmax层；其中，第一层卷积层为二分支卷积层，两个分支的卷积核结构分别为64×3×3和64×5×5，第二层卷积层的卷积核结构为128×3×3，第一层全连接层的神经元个数为256个，第二层全连接层的神经元个数为512个；softmax层采用softmax函数
Figure BDA0002637416650000021
k、n、N为正整数，xk表示第k个类别对应神经元的输出值，xn表示第n个类别对应神经元的输出值，N为类别数，k,n∈[1，N]。
优选地，采集原始心音数据之前，方法还包括：获取训练心音数据集，其中，训练心音数据集中包括多个训练心音数据段，每个训练心音数据段包括标注信息；将多个训练心音数据段进行短时傅里叶变换，得到训练心音数据段所对应的训练心音段时频谱；将多个训练心音段时频谱输入待训练分支卷积神经网络进行训练，得到训练完成的心音识别分支卷积神经网络，其中，待训练分支卷积神经网络和训练完成的心音识别分支卷积神经网络的结构相同。
优选地，将多个训练心音段时频谱输入待训练分支卷积神经网络进行训练，包括：在对待训练分支卷积神经网络进行训练时，采用交叉熵损失函数
Figure BDA0002637416650000031
更新待训练分支卷积神经网络中卷积核的参数；其中，p(xn)表示xn的真实概率分布，q(xn)表示xn的预测概率分布。
优选地，备选心音段时频谱和训练心音段时频谱的大小为17×12。
优选地，标注信息包括训练心音数据段的开始数据点、截止数据点以及类别标签。
优选地，类别标签包括第一心音S1、第二心音S2和干扰杂音。
优选地，在将多个训练心音段时频谱输入待训练分支卷积神经网络进行训练之前，方法还包括：向多个训练心音数据段中的每个训练心音数据段混入白噪声，构建多个不同信噪比的训练心音数据段；将多个训练心音段时频谱输入待训练分支卷积神经网络进行训练，包括：将多个不同信噪比的训练心音数据段进行短时傅里叶变换，得到多个不同信噪比的训练心音数据段所对应的训练心音段时频谱；将多个不同信噪比的训练心音段时频谱输入待训练分支卷积神经网络进行训练。
优选地，原始心音数据的数据精度为16bit；在对多个原始心音数据进行低通滤波之前，方法还包括：将原始心音数据进行归一化到[-1,1]区间。
优选地，对原始心音数据进行低通滤波，包括：采用1阶低通滤波器对原始心音数据进行低通滤波，其中，1阶低通滤波器的截止频率为10Hz。
本发明第二方面提供了一种基础心音识别设备，设备包括处理器、存储器和传感器；传感器，用于采集多个原始心音数据；存储器用于存储指令，当处理器调用存储在存储器中的指令时，使得处理器，用于对多个原始心音数据进行低通滤波，并计算多个原始心音数据所对应的同态包络；采用双门限法对多个同态包络进行筛选，得到至少一个备选心音数据段；将至少一个备选心音数据段进行短时傅里叶变换，得到至少一个备选心音数据段所对应的备选心音段时频谱；将至少一个备选心音段时频谱输入心音识别分支卷积神经网络进行分类，得到至少一个备选心音段时频谱的分类结果；其中，心音识别分支卷积神经网络包括两层卷积层、两层全连接层和一层softmax层；其中，第一层卷积层为二分支卷积层，两个分支的卷积核结构分别为64×3×3和64×5×5，第二层卷积层的卷积核结构为128×3×3，第一层全连接层的神经元个数为256个，第二层全连接层的神经元个数为512个；softmax层采用softmax函数
Figure BDA0002637416650000041
k、n、N为正整数，xk表示第k个类别对应神经元的输出值，xn表示第n个类别对应神经元的输出值，k,n∈[1，N]，N为类别数。
优选地，处理器还用于，获取训练心音数据集，其中，训练心音数据集中包括多个训练心音数据段，每个训练心音数据段包括标注信息；将多个训练心音数据段进行短时傅里叶变换，得到训练心音数据段所对应的训练心音段时频谱；将多个训练心音段时频谱输入待训练分支卷积神经网络进行训练，得到训练完成的心音识别分支卷积神经网络。其中，待训练分支卷积神经网络和训练完成的心音识别分支卷积神经网络的结构相同。
优选地，处理器还用于：在对待训练分支卷积神经网络进行训练时，采用交叉熵损失函数
Figure BDA0002637416650000042
更新待训练分支卷积神经网络中卷积核的参数；其中，p(xn)表示xn的真实概率分布，q(xn)表示xn的预测概率分布。
优选地，备选心音段时频谱和训练心音段时频谱的大小为17×12。
优选地，标注信息包括训练心音数据段的开始数据点、截止数据点以及类别标签。
优选地，类别标签包括第一心音S1、第二心音S2和干扰杂音。
优选地，处理器还用于：向多个训练心音数据段中的每个训练心音数据段混入白噪声，构建多个不同信噪比的训练心音数据段；将多个训练心音段时频谱输入待训练分支卷积神经网络进行训练，包括：将多个不同信噪比的训练心音数据段进行短时傅里叶变换，得到多个不同信噪比的训练心音数据段所对应的训练心音段时频谱；将多个不同信噪比的训练心音段时频谱输入待训练分支卷积神经网络进行训练。
优选地，原始心音数据的数据精度为16bit；处理器还用于：将原始心音数据进行归一化到[-1,1]区间。
优选地，处理器还用于：采用1阶低通滤波器对原始心音数据进行低通滤波，其中，1阶低通滤波器的截止频率为10Hz。
本发明实现了通过计算心音的同态包络，对心音中疑似为不同听诊区采集到的心音进行双门限判别，从而找出可能为S1、S2或干扰杂音的备选心音数据段。然后将可能为S1、S2或干扰杂音的备选数据段送入心音识别分支卷积神经网络，得到备选数据段为S1、S2或干扰杂音的判别结果。这一方法在找出S1、S2或干扰杂音时可以不依赖于时序信息。当心音为心律不齐时同样适用，即适用范围比隐马尔可夫模型更广。同时，由于将干扰杂音单独归为一类，被分类为干扰杂音的数据段不参与心音分割，这弥补了此前研究方法中仅进行S1和S2二分类的缺陷。此外，本发明方法无需复杂计算，能够用于实时找出S1和S2，具有一定的应用前景。
附图说明
图1为本发明实施例提供的一种心音识别方法流程图；
图2为本发明实施例提供的一种卷积神经网络训练流程图；
图3为本发明实施例提供的一种卷积神经网络结构示意图；
图4为本发明实施例提供的一种心音识别设备示意图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
本发明可以使用电子听诊器采集不同受试者的不同听诊区的心音，可以理解的是，采集到的心音可能包含短时的干扰杂音。然后采集到的心音经过专业人士进行标注后，采用短时傅里叶变换(Short-time Fourier Transform，STFT)将心音转换到时频域。然后使用时频域的心音数据训练分支卷积神经网络，从而得到心音识别分支卷积神经网络。本发明涉及的心音识别分支卷积神经网络在实际应用中，可以利用同态包络找到实际使用时采集到的心音中可能是S1、S2或干扰杂音的数据段，并将该数据段送入心音识别分支卷积神经网络中进行识别分类，从而得到识别结果。
通过上述方式，可以仅仅根据S1、S2和干扰杂音的自身特点进行识别，而无需关注各自时长的统计规律。这一方法在实际应用时适用范围较广，适用于窦性心律和心律失常人员的心音分割。
为更加清晰的阐述本发明的方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细描述。
图1为本发明实施例提供的一种心音识别方法流程图。
如图1所示，本发明提供了一种心音识别方法，该方法主要用于实现上述S1、S2和干扰杂音的识别，从而为嵌入式平台中的心音分割打下基础。其中，该方法可以包括以下步骤：
S101，采集多个心音数据。
首先需要采集多个心音数据，即原始心音数据。在一个例子中，所采集的心音数据可以是16bit数字存储的心音数据。同时，在另一个例子中，可以将采集到的多个心音数据的幅值进行归一化处理，例如归一化到[-1，1]的区间。
S102，对采集到的多个心音数据进行低通滤波，并计算心音数据对应的同态包络。
在一个例子中，可以对采集到的多个心音数据进行希尔伯特变换。然后利用希尔伯特变换后的结果，计算每个心音数据的同态包络。
较为具体的，例如可以是针对多个心音数据中的每个心音数据，计算该心音数据进行希尔伯特变换后的波形的模，然后取该模的对数。构建1阶低通滤波器，其中该1阶低通滤波器的截止频率可以为0-10Hz，在一个例子中，较为优选的可以是10Hz。使用该1阶低通滤波器对上述心音数据进行希尔伯特变换后的波形的模的对数进行滤波，然后取滤波后数据的指数，从而得到心音数据对应的同态包络。可以理解的是，希尔伯特变换的具体方式可以参考现有方式，本发明在此不再赘述。
S103，采用双门限法对多个同态包络进行筛选，得到至少一个备选心音数据段。
在一个例子中，使用双门限法对S102中得到的多个心音数据的同态包络进行筛选。从而得到同态包络中包络幅度较高的区域。其中，双门限法的具体方式可以是，通过预先设置第一门限值和第二门限值，当筛选的同态包络幅度位于第一门限值与第二门限值之间时，可以认为该同态包络所对应的心音数据段可以作为S1、S2或干扰杂音的备选心音数据段。在一个例子中，若同态包络幅度等于第一门限值或第二门限值时，也可以认为该同态包络所对应的心音数据段可以作为S1、S2或干扰杂音的备选心音数据段。其中，第一门限值和第二门限值的具体数据可以根据实际情况任意设定为大于0的数值，且第二门限值大于第一门限值。
可以理解的是由于采用双门限法对多个同态包络进行筛选时，部分同态包络并不能满足双门限的要求，因此该步骤可以得到至少一个备选心音数据段。当然，在一些极端的情况下，也有可能无法得到任何备选心音数据段，若该步骤无法得到任何备选心音数据段，则重复S101，直到获得至少一个备选心音数据段。
S104，将至少一个备选心音数据段进行短时傅里叶变换，并输入心音识别分支卷积神经网络进行分类，得到备选心音数据段的分类结果。
在一个例子中，对至少一个备选心音数据段进行短时傅里叶变换，将备选心音数据段转换至时频域，并得到每个备选心音数据段所对应的备选心音段时频谱。其中，进行短时傅里叶变换时的变换时帧长可以是32,帧移可以为16。可以理解的是，变换时帧长也可以称为窗长。在一个例子中，最终变换后得到的时频谱的大小可以是17×12。
在另一个例子中，若经过短时傅里叶变换后，时频谱的总帧长若不满12帧，则可以采用0将其补全。
当经过短时傅里叶变换得到备选心音段时频谱后，可以将该备选心音段时频谱输入至心音识别分支卷积神经网络进行分类，并得到分类结果。其中分类结果可以包括S1、S2以及干扰杂音。当然，在一些例子中，还可以根据实际情况得到更多的分类结果，显然该分类结果与心音识别分支卷积神经网络中所包含的类别相关，而心音识别分支卷积神经网络中所包含的类别可以根据实际情况进行任意设置，本发明在此不做限定。
在一个例子中，心音识别分支卷积神经网络可以是在S101之前经过训练得到的。例如图2所示的一种卷积神经网络训练流程图，描述了心音识别分支卷积神经网络的训练过程。该训练过程可以包括以下步骤：
S201，获取训练心音数据集。其中，训练心音数据集中包括多个训练心音数据段。
在一个例子中，可以使用电子听诊器采集受试者的心音数据。例如可以包括：主动脉瓣听诊区、肺动脉瓣听诊区、主动脉瓣第二听诊区、三尖瓣听诊区和二尖瓣听诊区的心音数据。当然，在另一些例子中，还可以包括其他任意可能听诊区的心音数据。其中，采样频率可以为1kHz。当然在另一些例子中，还可以是任意可能的频率，本发明在此不作限定。
在采集到多个心音数据后，可以通过专业人员对采集到的心音数据进行标注处理，作为训练心音数据段。采集到的训练心音数据段具有标注信息。在一个例子中，标注信息可以包括每个训练心音数据段可能的开始数据点、截止数据点以及类别标签。较为具体的，专业人员对采集到的心音数据进行标注处理可以是，专业人员根据S1、S2和干扰杂音数据段的开始和截止数据点对每个心音数据进行标注，确定出训练心音数据段。同时标注出的训练心音数据段所对应的类别标签。可以理解的是，类别标签所包括的种类可以为S1、S2和干扰杂音。当然，在另一些例子中，类别标签还可以包括其他可能的类别，同时，专业人士在进行标注处理时，则需要每个类别的开始和截止数据点对心音数据进行标注。
当采集到的多个训练心音数据段并且进行标注后，多个训练心音数据段可以构成训练心音数据集。
当然，在另一些例子中，还可以对采集到的训练心音数据段混入白噪声，并构建不同信噪比的S1、S2和干扰杂音。例如信噪比分别为5dB,10dB,15dB,20dB,25dB,30dB,35dB的S1、S2和干扰杂音。并将上述不同信噪比的心音数据段与原始的训练心音数据段组合，构成训练心音数据集。
S202，将多个训练心音数据段进行短时傅里叶变换，得到训练心音数据段所对应的训练心音段时频谱。
在一个例子中，对多个训练心音数据段进行短时傅里叶变换，并得到训练心音数据段所对应的训练心音段时频谱。可以理解的是，对多个训练心音数据段进行短时傅里叶变换的方式可以参考S104中对备选心音数据进行短时傅里叶变换的过程，为方便描述，在此不再赘述。
S203，将多个训练心音段时频谱输入待训练分支卷积神经网络进行训练，得到训练完成的心音识别分支卷积神经网络。
在一个例子中，在将多个训练心音段时频谱输入待训练分支卷积神经网络进行训练之前，需要构建待训练分支卷积神经网络。
其中，待训练分支卷积神经网络可以包括2层卷积层、2层全连接层和1层softmax层。例如图3所示出的一种卷积神经网络结构示意图。第一层卷积层可以是个二分支卷积层。该二分支卷积层的卷积核结构可以为64×(3×3)和64×(5×5)。第二层卷积层的卷积核结构可以为128×(3×3)。在一个例子中，该待训练分支卷积神经网络的输入为训练心音时频谱，尺寸为17×12，随机失活的系数可以设置为0.4。当然，随机失活的系数还可以是[0,1)之间的任意数值，可以根据实际情况任意选取，本发明在此不作限定。对于第一层全连接层神经元数量可以为256个，而第二层全连接层神经元数量可以为512个。
在一个例子中，最后一层softmax层可以采用softmax函数计算第二层全连接层输出的数据属于某一类别的概率。softmax函数可以是
Figure BDA0002637416650000101
Figure BDA0002637416650000102
其中，k、n、N为正整数，xk表示第k个类别对应神经元的输出值，xn表示第n个类别对应神经元的输出值，N表示类别数，k,n∈[1，N]。可以理解的是，
Figure BDA0002637416650000103
表示为任意一个xk可能的概率，f(xk)的值在[0，1]之间。在一个例子中，由于分类类别为S1、S2和干扰杂音，因此N取值可以为3。
在另一个例子中，可以采用交叉熵损失函数更新并优化2层卷积层内卷积核所对应的参数。其中，交叉熵损失函数可以是
Figure BDA0002637416650000104
其中，p(xn)表示xn的真实概率分布，q(xn)表示xn的预测概率分布。
通过图3可以看出，在训练待训练分支卷积神经网络时，首先向双分支卷积层301输入多个训练心音段时频谱，然后经过双分支卷积层301的卷积后，输出第一卷积结果。然后将第一卷积结果输入卷积层302进行卷积。在经过卷积层302的卷积后，输出第二卷积结果，并将第二卷积结果输入第一全连接层303进行全连接。经过第一全连接层303的处理后输出第一全连接结果，并将第一全连接结果输入第二全连接层304进行全连接处理。最后第二全连接层304将处理得到的第二全连接结果输入softmax层，进行分类学习。
经过上述方式训练后，可以对待训练分支卷积神经网络进行训练，在训练完成后可以得到三分类的心音识别分支卷积神经网络。可以理解的是训练完成的心音识别分支卷积神经网络与待训练分支卷积神经网络的网络结构相同，可以参考图3相应的描述。同时，在S104使用心音识别分支卷积神经网络的过程也与图3相同，具体可以参考图3相应描述。
图4为本发明实施例提供的一种心音识别设备示意图。
如图4所示，本发明还提供了一种心音识别设备400，设备400包括处理器401、存储器402和传感器403；传感器403，用于采集多个原始心音数据；存储器402用于存储指令，当处理器401调用存储在存储器402中的指令时，使得处理器401，用于对多个原始心音数据进行低通滤波，并计算多个原始心音数据所对应的同态包络；采用双门限法对多个同态包络进行筛选，得到至少一个备选心音数据段。在一个例子中，可以对每个同态包络进行筛选。处理器401还用于，将至少一个备选心音数据段进行短时傅里叶变换，得到至少一个备选心音数据段所对应的备选心音段时频谱；将至少一个备选心音段时频谱输入心音识别分支卷积神经网络进行分类，得到至少一个备选心音段时频谱的分类结果。例如分类结果可以为S1、S2或干扰杂音。其中，心音识别分支卷积神经网络包括两层卷积层、两层全连接层和一层softmax层；其中，第一层卷积层为二分支卷积层，两个分支的卷积核结构分别为64×3×3和64×5×5，第二层卷积层的卷积核结构为128×3×3，第一层全连接层的神经元个数为256个，第二层全连接层的神经元个数为512个；softmax层采用softmax函数
Figure BDA0002637416650000111
k、n、N为正整数，xk表示第k个类别对应神经元的输出值，xn表示第n个类别对应神经元的输出值，k,n∈[1，N]，N为类别数。
优选地，处理器401还用于，获取训练心音数据集，其中，训练心音数据集中包括多个训练心音数据段，每个训练心音数据段包括标注信息；将多个训练心音数据段进行短时傅里叶变换，得到训练心音数据段所对应的训练心音段时频谱；将多个训练心音段时频谱输入待训练分支卷积神经网络进行训练，得到训练完成的心音识别分支卷积神经网络，其中，待训练分支卷积神经网络和训练完成的心音识别分支卷积神经网络的结构相同。
优选地，处理器401还用于：在对待训练分支卷积神经网络进行训练时，采用交叉熵损失函数
Figure BDA0002637416650000121
更新待训练分支卷积神经网络中卷积核的参数；其中，p(xn)表示xn的真实概率分布，q(xn)表示xn的预测概率分布。
优选地，备选心音段时频谱和训练心音段时频谱的大小为17×12。
优选地，标注信息包括训练心音数据段的开始数据点、截止数据点以及类别标签。
优选地，类别标签可以包括S1、S2和干扰杂音。
优选地，处理器401还用于：向多个训练心音数据段中的每个训练音信数据段混入白噪声，构建多个不同信噪比的训练心音数据段；将多个训练心音段时频谱输入待训练分支卷积神经网络进行训练，包括：将多个不同信噪比的训练心音数据段进行短时傅里叶变换，得到多个不同信噪比的训练心音数据段所对应的训练心音段时频谱；将多个不同信噪比的训练心音段时频谱输入待训练分支卷积神经网络进行训练。
优选地，原始心音数据的数据精度为16bit；处理器401还用于：将原始心音数据进行归一化到[-1,1]区间。
优选地，处理器401还用于：采用1阶低通滤波器对原始心音数据进行低通滤波，其中，1阶低通滤波器的截止频率为10Hz。
本发明通过计算心音的同态包络，对不同听诊区采集到的心音的同态包络进行双门限判别，从而找出其中可能为S1、S2或干扰杂音的备选心音数据段。然后将可能为S1、S2或干扰杂音的备选心音数据段送入心音识别分支卷积神经网络，得到备选心音数据段为S1、S2或干扰杂音的判别结果。这一方法在找出S1、S2或干扰杂音时可以不依赖于时序信息。当心音为心律不齐时同样适用，即适用范围比隐马尔可夫模型更广。同时，由于将干扰杂音单独归为一类，被分类为干扰杂音的数据段不参与心音分割，这弥补了此前研究方法中仅进行S1和S2二分类的缺陷。此外，本发明所述方法无需复杂计算，能够用于实时找出S1和S2，具有一定的应用前景。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基础心音识别方法，其特征在于，包括：
采集多个原始心音数据；
对多个所述原始心音数据进行低通滤波，并计算多个所述原始心音数据所对应的同态包络；
采用双门限法对多个所述同态包络进行筛选，得到至少一个备选心音数据段；
将至少一个所述备选心音数据段进行短时傅里叶变换，得到至少一个所述备选心音数据段所对应的备选心音段时频谱；
将至少一个所述备选心音段时频谱输入心音识别分支卷积神经网络进行分类，得到至少一个所述备选心音段时频谱的分类结果；
其中，所述心音识别分支卷积神经网络包括两层卷积层、两层全连接层和一层softmax层；第一层卷积层为二分支卷积层，两个分支的卷积核结构分别为64×3×3和64×5×5，第二层卷积层的卷积核结构为128×3×3，第一层全连接层的神经元个数为256个，第二层全连接层的神经元个数为512个；所述softmax层采用softmax函数
Figure FDA0002637416640000011
k、n、N为正整数，xk表示第k个类别对应神经元的输出值，xn表示第n个类别对应神经元的输出值，k,n∈[1，N]，N为类别数。
2.根据权利要求1所述的方法，其特征在于，采集所述原始心音数据之前，所述方法还包括：
获取训练心音数据集，其中，所述训练心音数据集中包括多个训练心音数据段，每个所述训练心音数据段包括标注信息；
将多个所述训练心音数据段进行短时傅里叶变换，得到所述训练心音数据段所对应的训练心音段时频谱；
将多个所述训练心音段时频谱输入待训练分支卷积神经网络进行训练，得到训练完成的所述心音识别分支卷积神经网络，其中所述待训练分支卷积神经网络与训练完成的所述心音识别分支卷积神经网络的结构相同。
3.根据权利要求2所述的方法，其特征在于，所述将多个所述训练心音段时频谱输入待训练分支卷积神经网络进行训练，包括：
在对所述待训练分支卷积神经网络进行训练时，采用交叉熵损失函数
Figure FDA0002637416640000021
更新所述待训练分支卷积神经网络中卷积核的参数；
其中，p(xn)表示xn的真实概率分布，q(xn)表示xn的预测概率分布。
4.根据权利要求1-3任一所述的方法，其特征在于，所述备选心音段时频谱和所述训练心音段时频谱的大小为17×12。
5.根据权利要求2所述的方法，其特征在于，所述标注信息包括所述训练心音数据段的开始数据点、截止数据点以及类别标签。
6.根据权利要求5所述的方法，其特征在于，所述类别标签包括第一心音S1、第二心音S2和干扰杂音。
7.根据权利要求2所述的方法，其特征在于，在将多个所述训练心音段时频谱输入待训练分支卷积神经网络进行训练之前，所述方法还包括：
向多个所述训练心音数据段中的每个所述训练心音数据段混入白噪声，构建多个不同信噪比的所述训练心音数据段；
所述将多个所述训练心音段时频谱输入待训练分支卷积神经网络进行训练，包括：
将多个不同信噪比的所述训练心音数据段进行短时傅里叶变换，得到多个不同信噪比的所述训练心音数据段所对应的训练心音段时频谱；
将多个不同信噪比的所述训练心音段时频谱输入待训练分支卷积神经网络进行训练。
8.根据权利要求1所述的方法，其特征在于，所述原始心音数据的数据精度为16bit；
在对多个所述原始心音数据进行低通滤波之前，所述方法还包括：
将所述原始心音数据进行归一化到[-1,1]区间。
9.根据权利要求1所述的方法，其特征在于，所述对所述原始心音数据进行低通滤波，包括：
采用1阶低通滤波器对所述原始心音数据进行低通滤波，其中，所述1阶低通滤波器的截止频率为10Hz。
10.一种基础心音识别设备，其特征在于，所述设备包括处理器、存储器和传感器；
所述传感器，用于采集多个原始心音数据；
所述存储器用于存储指令，当所述处理器调用存储在所述存储器中的指令时，使得所述处理器，用于对多个所述原始心音数据进行低通滤波，并计算多个所述原始心音数据所对应的同态包络；采用双门限法对多个所述同态包络进行筛选，得到至少一个备选心音数据段；将至少一个所述备选心音数据段进行短时傅里叶变换，得到至少一个所述备选心音数据段所对应的备选心音段时频谱；将至少一个所述备选心音段时频谱输入心音识别分支卷积神经网络进行分类，得到至少一个所述备选心音段时频谱的分类结果；
其中，所述心音识别分支卷积神经网络包括两层卷积层、两层全连接层和一层softmax层；第一层卷积层为二分支卷积层，两个分支的卷积核结构分别为64×3×3和64×5×5，第二层卷积层的卷积核结构为128×3×3，第一层全连接层的神经元个数为256个，第二层全连接层的神经元个数为512个；所述softmax层采用softmax函数
Figure FDA0002637416640000031
k、n、N为正整数，xk表示第k个类别对应神经元的输出值，xn表示第n个类别对应神经元的输出值，k,n∈[1，N]，N为类别数。
CN202010829479.5A 2020-08-18 2020-08-18 一种基础心音识别方法及设备 Active CN111938691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010829479.5A CN111938691B (zh) 2020-08-18 2020-08-18 一种基础心音识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010829479.5A CN111938691B (zh) 2020-08-18 2020-08-18 一种基础心音识别方法及设备

Publications (2)

Publication Number Publication Date
CN111938691A true CN111938691A (zh) 2020-11-17
CN111938691B CN111938691B (zh) 2022-03-18

Family

ID=73342701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010829479.5A Active CN111938691B (zh) 2020-08-18 2020-08-18 一种基础心音识别方法及设备

Country Status (1)

Country Link
CN (1) CN111938691B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112401924A (zh) * 2020-11-19 2021-02-26 循音智能科技(上海)有限公司 一种心音分割方法及装置
CN112690823A (zh) * 2020-12-22 2021-04-23 海南力维科贸有限公司 一种识别肺部生理声音的方法以及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909784A (zh) * 2017-02-24 2017-06-30 天津大学 基于二维时频图像深度卷积神经网络的癫痫脑电识别方法
CN107203692A (zh) * 2017-05-09 2017-09-26 哈尔滨工业大学（威海） 基于深度卷积神经网络的房颤检测的实现方法
CN108113646A (zh) * 2016-11-28 2018-06-05 中国科学院声学研究所 一种心音信号周期的检测与心音的状态分割方法
CN109711383A (zh) * 2019-01-07 2019-05-03 重庆邮电大学 基于时频域的卷积神经网络运动想象脑电信号识别方法
CN109745033A (zh) * 2018-12-25 2019-05-14 东南大学 基于时频二维图像和机器学习的动态心电质量评估方法
CN110731778A (zh) * 2019-07-22 2020-01-31 华南师范大学 一种基于可视化的呼吸音信号识别方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108113646A (zh) * 2016-11-28 2018-06-05 中国科学院声学研究所 一种心音信号周期的检测与心音的状态分割方法
CN106909784A (zh) * 2017-02-24 2017-06-30 天津大学 基于二维时频图像深度卷积神经网络的癫痫脑电识别方法
CN107203692A (zh) * 2017-05-09 2017-09-26 哈尔滨工业大学（威海） 基于深度卷积神经网络的房颤检测的实现方法
CN109745033A (zh) * 2018-12-25 2019-05-14 东南大学 基于时频二维图像和机器学习的动态心电质量评估方法
CN109711383A (zh) * 2019-01-07 2019-05-03 重庆邮电大学 基于时频域的卷积神经网络运动想象脑电信号识别方法
CN110731778A (zh) * 2019-07-22 2020-01-31 华南师范大学 一种基于可视化的呼吸音信号识别方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
THARINDU FERNANDO，等: "Heart Sound Segmentation Using Bidirectional LSTMs With Attention", 《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》 *
YU TSAO，等: "Robust S1 and S2 heart sound recognition based on spectral restoration and multi-style training", 《BIOMEDICAL SIGNAL PROCESSING AND CONTROL》 *
于倩，等: "基于简单度的包络提取算法在心音分段中的应用", 《生物医学工程研究》 *
侯聪聪，等: "基于二分支卷积单元的深度卷积神经网络", 《激光与光电子学进展》 *
宋少帅: "心音信号分段定位与识别的研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 *
梅俊杰: "基于卷积神经网络的语音识别研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112401924A (zh) * 2020-11-19 2021-02-26 循音智能科技(上海)有限公司 一种心音分割方法及装置
CN112401924B (zh) * 2020-11-19 2022-02-11 循音智能科技(上海)有限公司 一种心音分割方法及装置
CN112690823A (zh) * 2020-12-22 2021-04-23 海南力维科贸有限公司 一种识别肺部生理声音的方法以及系统

Also Published As

Publication number Publication date
CN111938691B (zh) 2022-03-18

Similar Documents

Publication Publication Date Title
CN108714026B (zh) 基于深度卷积神经网络和在线决策融合的细粒度心电信号分类方法
Windmon et al. Tussiswatch: A smart-phone system to identify cough episodes as early symptoms of chronic obstructive pulmonary disease and congestive heart failure
CN110970042B (zh) 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质
CN108090509B (zh) 一种数据长度自适应的心电图分类方法
CN111759345B (zh) 基于卷积神经网络的心脏瓣膜异常分析方法、系统和装置
CN111938691B (zh) 一种基础心音识别方法及设备
CN112971839B (zh) 一种基于前馈卷积神经网络的心音分类方法
Singh et al. Short unsegmented PCG classification based on ensemble classifier
CN113436726A (zh) 一种基于多任务分类的肺部病理音自动化分析方法
Hadi et al. Classification of heart sound based on s-transform and neural network
Rujoie et al. Classification and evaluation of the severity of tricuspid regurgitation using phonocardiogram
Patel et al. Lung Respiratory Audio Prediction using Transfer Learning Models
Maity et al. Transfer learning based heart valve disease classification from Phonocardiogram signal
Zhang et al. Diagnosing Parkinson's disease with speech signal based on convolutional neural network
CN116842460A (zh) 基于注意力机制与残差神经网络的咳嗽关联疾病识别方法和系统
CN113855063B (zh) 一种基于深度学习的心音自动诊断系统
Elgendi et al. Detection of Heart Sounds in Children with and without Pulmonary Arterial Hypertension―Daubechies Wavelets Approach
Morshed et al. Automated heart valve disorder detection based on PDF modeling of formant variation pattern in PCG signal
CN112185545B (zh) 一种心音段完整性判断模型及心音自适应分段方法
Touahria et al. Discrete Wavelet based Features for PCG Signal Classification using Hidden Markov Models.
CN115878966A (zh) 基于对抗生成网络的心音数据增强方法及系统
CN113449636B (zh) 一种基于人工智能的主动脉瓣狭窄严重程度自动分类方法
CN115177260A (zh) 基于人工神经网络的智能心电心音诊断方法及装置
Sh-Hussain et al. Application of multipoint auscultation for heart sound diagnostic system (MAHDS)
Kao et al. Automatic heart sound analysis with short-time fourier transform and support vector machines

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant