CN110705624A - 一种基于多信噪比模型的心肺音分离方法及系统 - Google Patents

一种基于多信噪比模型的心肺音分离方法及系统 Download PDF

Info

Publication number
CN110705624A
CN110705624A CN201910916679.1A CN201910916679A CN110705624A CN 110705624 A CN110705624 A CN 110705624A CN 201910916679 A CN201910916679 A CN 201910916679A CN 110705624 A CN110705624 A CN 110705624A
Authority
CN
China
Prior art keywords
sound
time
signal
heart
lung
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910916679.1A
Other languages
English (en)
Other versions
CN110705624B (zh
Inventor
吕俊
陈骏霖
何昭水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910916679.1A priority Critical patent/CN110705624B/zh
Publication of CN110705624A publication Critical patent/CN110705624A/zh
Application granted granted Critical
Publication of CN110705624B publication Critical patent/CN110705624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Instructional Devices (AREA)

Abstract

本申请一种基于多信噪比模型的心肺音分离方法及系统，通过建立基函数学习网络，可以依据训练数据自适应调整基函数，从而改善变换域的表示，由此建立的单信噪比分离模型以最大化心音和肺音信噪比之和为目标函数，可自适应学习时频变换的基函数，在已知心肺音的能量比的情况下，实现了时域混合信号至时域心音和肺音信号的端到端的学习，以达到加强心肺音分离的效果的目的；基于单信噪比分离模型构建多信噪比集成的网络，利用LSTM网络学习未知能量比的心肺音混合信号到各个单信噪比分离模型的映射权重，该映射权重可以根据不同能量比的混合信号进行自适应调整，在心肺音能量比未知情况下，实现了时域混合信号至时域心音和肺音信号的端到端的学习。

Description

一种基于多信噪比模型的心肺音分离方法及系统
技术领域
本发明属于心肺音信号分离领域，具体涉及一种基于多信噪比模型的心肺音分离方法及系统。
背景技术
在临床上心肺疾病诊断初步筛查中常用听诊医疗器械例如听诊器等对患者的心肺音进行听诊，但是心音和肺音在时域和频域的串扰会降低临床听诊的有效性，为此研究人员提出了各种关于如何分离心肺音的方法。其中基于非负矩阵分解(Non-NegativeMatrix Factorization,NMF)模型和基于长短时记忆(Long Short Time Memory,LSTM)网络的心肺音分离方法取得了较好的效果。它们都是先通过短时傅里叶变换(Short-TimeFourier Transform,STFT)获得心肺音混合信号的时频谱，然后进行心肺音时频谱分离和时域信号重构。但是， NMF属于线性矩阵分解模型，无法挖掘心肺音时频谱的非线性时序信息，而 LSTM网络的方法是以分离心肺音的时频谱为目标，没有实现由时域混合信号到时域分离信号包括时域心音信号和时域肺音信号的端到端的优化。最重要的是，STFT固定的三角基函数集不一定最适于心肺音分离，而且现有的方法均假定输入的混合心肺音信号的能量比是已知的，并据此选择分离模型，但是临床听诊信号中的心肺音的能量比是无法预先获知的，这将造成分离模型选择困难，制约了心肺音分离的性能。
因此，有必要针对这些弊端提出一种具有更优心肺音分离性能的分离方法。
发明内容
基于此，本发明旨在提出一种基于多信噪比模型的心肺音分离方法及系统，采用基函数学习网络和时域重构网络，根据训练数据可以自适应调整基函数以此改善变换域的表示，把基函数学习网络和LSTM分离网络联合优化，实现时域混合信号到时域分离信号的端到端的网络学习，获得单信噪比分离模型，并以该模型为基础构建多信噪比集成模型，实现在未知心肺音能量比的情况下自适应选择分离模型的目的，解决现有方法中无法对未知能量比的心肺音进行分离的技术问题。
本发明一种基于多信噪比模型的心肺音分离方法，包括：
在基函数学习网络中对给定能量比的心肺音混合信号进行卷积运算，得到混合信号的时频模和相位谱；利用LSTM分离网络对时频模进行计算得到心音和肺音的时频掩码，利用时频掩码得到对应的心音时频谱和肺音时频谱；在时域重构网络中利用相位谱和时频谱计算重构矩阵，对重构矩阵进行对称扩展得到扩展矩阵，对扩展矩阵进行反卷积得到心音时域信号和肺音时域信号；
对不同能量比的心肺音混合信号重复上述操作，得到单信噪比分离模型；
把未知能量比的心肺音混合信号输入至多个单信噪比分离模型，估计出心音和肺音的时域待选信号，基于混合信号的STFT时频谱利用LSTM网络计算混合信号映射到不同单信噪比分离模型的最佳权重，根据最佳权重线性集成不同单信噪比分离模型对应的待选信号的输出得到心音时域信号和肺音时域信号。
优选地，单信噪比分离模型的目标函数为
Figure BDA0002216296650000021
ω为该模型所有可训练的参数，c和r分别表示心音和肺音，yπ∈R1×L为干净的心音或肺音的时域信号，π∈{c,r}，
Figure BDA0002216296650000022
为yπ的估计值，
Figure BDA0002216296650000023
f(·) 表示单信噪比分离模型，x为给定能量比的心肺音混合信号，L表示时间采样点个数。
优选地，对给定能量比的心肺音混合信号进行卷积运算，得到混合信号的时频模和相位谱包括：
把给定能量比的心肺音混合信号x∈R1×L分别输入到一维实部卷积网络和一维虚部卷积网络，得到实部向量rt＝[r1,r2,...,rM]T和虚部向量it＝[i1,i2,...,iM]T，其中t＝1,2,..,K为时间帧序号，M为基函数的个数，L为时间采样点个数；
分别合并实部向量和虚部向量得到M×K的实部矩阵R和虚部矩阵I，利用实部矩阵R和虚部矩阵I计算混合信号的时频模X∈RM×K和相位谱θ∈RM×K，其中θ＝arctan(I/R)。
优选地，利用LSTM分离网络对时频模进行计算得到心音和肺音的时频掩码，利用时频掩码得到对应的心音时频谱和肺音时频谱包括：
把时频模输入LSTM分离网络的第一全连接层得到非线性谱，利用LSTM 网络对非线性谱进行运算得到特征矩阵，把特征矩阵输入第二全连接层得到心音和肺音的时频掩码，利用式
Figure BDA0002216296650000032
π∈{c,r}对时频掩码进行计算得到对应的心音时频谱和肺音时频谱，其中X表示时频模，Mπ表示时频掩码， c表示心音，r表示肺音。
优选地，重构矩阵包括实部重构矩阵和虚部重构矩阵，实部重构矩阵采用式Rπ＝real(Xπejθ)计算，虚部重构矩阵采用式Iπ＝imag(Xπejθ)计算，其中Xπ表示时频谱，θ表示相位谱。
优选地，对重构矩阵进行对称扩展得到扩展矩阵包括：
分别对实部重构矩阵和虚部重构矩阵进行对称扩展得到实部扩展矩阵和虚部扩展矩阵。
优选地，对不同能量比的心肺音混合信号重复上述操作，得到单信噪比分离模型还包括：
对单信噪比分离模型进行参数初始化，把STFT三角基函数集作为初始卷积核和初始反卷积核；
所述初始卷积核包括实部卷积核
Figure BDA0002216296650000033
和虚部卷积核
Figure BDA0002216296650000034
Figure BDA0002216296650000035
其中p＝0,1,...,N/2表示卷积核序号， s表示是卷积核参数序号，N表示卷积核宽度；
所述初始反卷积核包括实部反卷积核
Figure BDA0002216296650000036
和虚部反卷积核
Figure BDA0002216296650000038
q＝0,1,...,H-1为反卷积核序号，j为反卷积核参数序号，H为反卷积核宽度。
优选地，LSTM网络的目标函数为其中Ω为LSTM网络参数，yπ∈R1×L为干净的心音或肺音时域信号，L表示时间采样点个数，
Figure BDA0002216296650000041
表示最终输出的心音或肺音的时域信号，π∈{c,r}。
本发明的LSTM网络选用的单向LSTM网络。
优选地，LSTM网络还可以是深度双向LSTM网络。
优选地，LSTM网络还可以是卷积残差记忆网络。
一种基于多信噪比模型的心肺音分离系统，包括：
基函数学习单元，包括卷积网络模块、时频模计算模块和相位谱计算模块；
LSTM分离单元，包括时频掩码计算模块和时频谱计算模块；
时域重构单元，其包括重构矩阵计算模块、对称扩展模块和反卷积模块；
单信噪比分离模型存储单元，用于存储训练完毕的模型；
映射权重计算单元，用于计算混合信号映射到不同单信噪比分离模型的最佳权重；
线性集成单元，用于对不同单信噪比分离模型对应的待选信号的输出线性集成得到心音时域信号和肺音时域信号。
优选地，单信噪比分离模型存储单元还包括参数设置模块，用于对模型的参数进行初始化。
从以上技术方案可以看出，本发明具有以下优点：
本发明一种基于多信噪比模型的心肺音分离方法及系统，通过建立基函数学习网络，可以依据训练数据自适应调整基函数，从而改善变换域的表示，由此建立的单信噪比分离模型以最大化心音和肺音信噪比之和为目标函数，自适应学习时频变换的基函数，在已知心肺音的能量比的情况下，实现了时域混合信号至时域心音和肺音信号的端到端的学习，以达到加强心肺音分离的效果的目的；基于单信噪比分离模型构建多信噪比集成的网络，利用LSTM网络学习未知能量比的心肺音混合信号到各个单信噪比分离模型的映射权重，该映射权重可以根据不同能量比的混合信号进行自适应调整，在心肺音能量比未知情况下，实现了时域混合信号至时域心音和肺音信号的端到端的学习。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1a本发明一种实施例提供的基于多信噪比模型的心肺音分离方法中建立单信噪比分离模型的流程图
图1b本发明一种实施例提供的利用多信噪比模型进行心肺音分离的实施流程图
图2本发明另一种实施例提供的基于多信噪比模型的心肺音分离系统结构示意图
图3a本发明另一种实施例中基函数学习网络的正变换实部基函数优化对比示意图
图3b本发明另一种实施例中基函数学习网络的正变换虚部基函数优化对比示意图
图4a本发明另一种实施例中时域重构网络的逆变换实部基函数优化对比示意图
图4b本发明另一种实施例中时域重构网络的逆变换虚部基函数优化对比示意图
图5本发明另一种实施例中采集的临床心肺音混合信号时域波形示意图
图6a本发明另一种实施例中直接模型对临床心肺音混合信号中的心音信号解混结果示意图
图6b本发明另一种实施例中直接模型对临床心肺音混合信号中的肺音信号解混结果示意图
图7a本发明另一种实施例中SND模型对临床心肺音混合信号中的心音信号解混结果示意图
图7b本发明另一种实施例中SND模型对临床心肺音混合信号中的肺音信号解混结果示意图
图8a本发明另一种实施例中本发明提出的多信噪比模型对临床心肺音混合信号中的心音信号解混结果示意图
图8b本发明另一种实施例中本发明提出的多信噪比模型对临床心肺音混合信号中的肺音信号解混结果示意图
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1a和图1b，本实施例提供一种基于多信噪比模型的心肺音分离方法，包括如下步骤：
在基函数学习网络中将给定能量比的心肺音时域混合信号x∈R1×L分别输入到一维实部卷积网络和一维虚部卷积网络，得到实部向量rt＝[r1,r2,...,rM]T和虚部向量it＝[i1,i2,...,iM]T，其中t＝1,2,..,K为时间帧序号，M为基函数的个数，L 为时间采样点个数。
将所有实部向量r和虚部向量i分别合并成M×K的实部矩阵R和虚部矩阵I，利用实部矩阵R和虚部矩阵I计算混合信号的时频模X∈RM×K和相位谱θ∈RM×K，计算如式(1)和(2)。
Figure BDA0002216296650000061
θ＝arctan(I/R) (2)
将基函数学习网络输出的混合信号时频模X输入到含有64个神经元的第一全连接层，输出非线性谱
Figure BDA0002216296650000062
第一全连接层采用tanh激活函数。
将
Figure BDA0002216296650000063
输入到一个3层Resnet结构的LSTM网络，得到特征矩阵
Figure BDA0002216296650000064
虚线方框内，每一层的输入均含有前面所有层的输出，每一层的输出都参与构建后面所有层的输入，每一层神经元个数为64。
将特征矩阵
Figure BDA0002216296650000071
分别输入到两个含有神经元个数为M的第二全连接层，得到心音掩码Mc∈RM×K和肺音掩码Mr∈RM×K。这两个全连接层参数独立训练，采用tanh激活函数，本实施例中M为33。
将心音掩码Mc和肺音掩码Mr分别代入公式(3)可得到对应的心音时频谱 Xc∈RM×K和肺音时频谱Xr∈RM×K。
Figure BDA0002216296650000072
根据LSTM分离网络输出的心音或肺音时频谱Xπ和混合信号相位谱θ计算尺寸为M×K的心音或肺音实部重构矩阵Rπ和虚部重构矩阵Iπ，计算如式 (4)和(5)。
Rπ＝real(Xπejθ) (4)
Iπ＝imag(Xπejθ) (5)
对和
Figure BDA0002216296650000074
分别对称扩展，得到尺寸为N×K的心音或肺音实部扩展矩阵
Figure BDA0002216296650000075
和虚部扩展矩阵
Figure BDA0002216296650000076
计算如式(6)和 (7)。
Figure BDA0002216296650000077
Figure BDA0002216296650000078
对于心音信号和肺音信号，均进行对
Figure BDA0002216296650000079
和
Figure BDA00022162966500000710
分别反卷积的操作，重构出心音时域信号xc∈R1×L和肺音时域信号xr∈R1×L。
本实施例中的反卷积网络采用线性全连接结构，无非线性激活单元。
单信噪比分离模型的目标函数为
Figure BDA00022162966500000711
其中，ω为该模型所有可训练的参数，c和r分别表示心音和肺音，yπ∈R1×L为干净的心音或肺音的时域信号，π∈{c,r}，
Figure BDA00022162966500000712
为yπ的估计值， f(·)表示单信噪比分离模型，x为给定心肺音能量比的混合时域信号，L表示时间采样点个数。
本实施例采用心肺音能量比为-5dB、0dB、5dB和10dB的时域混合信号及相应干净的心音信号和肺音信号训练四个单信噪比分离模型，在模型参数初始化中，以STFT三角基函数集作为基函数学习子网络的初始实部卷积核
Figure BDA0002216296650000081
和虚部卷积核
Figure BDA0002216296650000082
Figure BDA0002216296650000083
其中 p＝0,1,...,N/2表示卷积核序号，s表示是卷积核参数序号，N表示卷积核宽度；其中，p＝0,1,...,N/2为卷积核序号，s为卷积核参数序号，N为卷积核宽度，N＝64，时间帧滑动步长为32。
另外，还将STFT三角基函数集作为初始实部反卷积核
Figure BDA0002216296650000084
和虚部反卷积核
Figure BDA0002216296650000085
Figure BDA0002216296650000086
q＝0,1,...,H-1为反卷积核序号，j为反卷积核参数序号，H为反卷积核宽度，H＝64。
如图1b所示，将未知能量比的心肺音时域混合信号
Figure BDA0002216296650000087
分别输入到已训练好的四个单信噪比分离模型(-5dB、0dB、5dB和10dB)中，估计出四对待选的心音和肺音时域信号Yπ∈R4×L,π∈{c,r}。
将
Figure BDA0002216296650000088
的STFT时频谱Z∈RM×K输入到LSTM网络(M为频点数，K为时间帧数)，得到不同单信噪比分离模型的权重w∈R4×1，LSTM网络的隐含层个数＝1，神经元个数＝64。
本实施例中的LSTM网络为深度双向LSTM网络。
依据这些权重线性集成四个不同信噪比分离模型的输出Yπ，得到最终的心音时域信号
Figure BDA0002216296650000089
和肺音时域信号
Figure BDA00022162966500000810
其中用于估计w的LSTM网络的目标函数为
Figure BDA00022162966500000811
Ω为LSTM网络参数， yπ∈R1×L为干净的心音或肺音时域信号。
请参阅图2，本实施例提供一种基于多信噪比模型的心肺音分离系统100，包括：
基函数学习单元110，其包括卷积网络模块111、时频模计算模块112和相位谱计算模块113；
LSTM分离单元120，其包括时频掩码计算模块121和时频谱计算模块122；
时域重构单元130，其包括重构矩阵计算模块131、对称扩展模块132和反卷积模块133；
单信噪比分离模型存储单元140，用于存储训练完毕的模型；该模块还包括参数设置模块141，用于对模型的参数进行初始化。
映射权重计算单元150，用于计算混合信号映射到不同单信噪比分离模型的最佳权重；
线性集成单元160，用于对不同单信噪比分离模型对应的待选信号的输出线性集成得到心音时域信号和肺音时域信号。
该系统工作时有如下步骤：
在基函数学习单元110中对给定能量比的心肺音混合信号进行卷积运算，卷积网络模块把卷积运算结果发送至时频模计算模块112和相位谱计算模块 113以计算得到混合信号的时频模和相位谱；
利用时频掩码计算模块121对时频模进行计算得到心音和肺音的时频掩码，时频谱计算模块122利用时频掩码得到对应的心音时频谱和肺音时频谱；在重构矩阵计算模块131中利用相位谱和时频谱计算重构矩阵并把重构矩阵发送至对称扩展模块132进行对称扩展，反卷积模块133对扩展矩阵进行反卷积得到心音时域信号和肺音时域信号；
对不同能量比的心肺音混合信号重复上述操作，得到单信噪比分离模型并存储于单信噪比分离模型存储单元140。
在对未知能量比的心肺音混合信号进行分离之前对分离模型的参数进行初始化，在参数设置模块141中预设卷积核和反卷积核的相关参数，包括实虚部卷积核和实虚部反卷积核。
把未知能量比的心肺音混合信号输入至多个单信噪比分离模型，估计出心音和肺音的时域待选信号，基于混合信号的STFT时频谱和卷积残差记忆网络，利用映射权重计算单元150计算混合信号映射到不同单信噪比分离模型的最佳权重，线性集成单元160根据最佳权重线性集成不同单信噪比分离模型对应的待选信号的输出得到心音时域信号和肺音时域信号。
请参阅图3a至图8b，本实施例对本发明提出的一种基于多信噪比模型的心肺音分离方法进行验证，
从下列的公开数据集[1]—[8]中选出干净的心音和肺音信号构建仿真数据集，其中，心音信号共102条采自47个被试者，肺音信号共57条采自36个被试者，时长2秒—70秒，采样率为4kHz或44.1kHz。为了便于分析，先将采样率统一降至2kHz；然后，将心音和肺音信号都切割成长度为10秒的片段(不足10 秒的信号补零)，共获得心音信号121段，肺音信号62段；最后，将它们按照不同的能量比例混合以模拟临床听诊的心肺音混合信号。
具体地，针对单信噪比分离模型的训练和验证：按照-5dB、0dB、5dB和 10dB四个不同的心肺音能量比合成听诊信号；针对多信噪比集成模型的训练和验证：按照随机心肺音能量比合成听诊信号(该能量比在-5dB—10dB之间服从均匀分布)。
[1]Bentley P,Nordehn G,Coimbra M,et al.The PASCAL Classifying HeartSounds Challenge [DB/OL].(2011-11-01)[2019-01-26].http://www.peterjbentley.com/heartchallenge.
[2]PhysioNet.Classification of normal/abnormal heart soundrecordings:the physionet computing in cardiology challenge 2016[DB/OL].(2018-08-13)[2019-01-26]. https://physionet.org/challenge/2016/.
[3]Welch Allyn.Student clinical learning[DB/OL].(2019-01-26)[2019-01-26].https://www. welchallyn.com/content/welchallyn/americas/en/students.html.
[4]Easy Auscultation.Heart and lung sounds reference guide[DB/OL].(2019-01-26)[2019-01- 26].https://www.easyauscultation.com/heart-sounds.
[5]Open Michigan.Heart Sound and Murmur Library[DB/OL].(2015-04-14)[2019-01-26]. https://open.umich.edu/find/open-educational-resources/medical/heart-sound-murmur-library.
[6]East Tennessee State University.Pulmonary Breath Sounds[DB/OL].(2002-11-25)[2019- 01-26].http://faculty.etsu.edu/arnall/www/public_html/heartlung/breathsounds/contents.html.
[7]Medical Training and Simulation LLC.Breath sounds reference guide[DB/OL].(2019-01- 26)[2019-01-26].https://www.practicalclinicalskills.com/breath-sounds-reference-guide.
[8]PixSoft.The R.A.L.E.Repository[DB/OL].(2019-01-26)[2019-01-26].http://www.rale.ca.
本实施例中以信噪比(Signal-to-Noise Ratio,SNR)作为心肺音分离的评价指标，SNR的计算方法为
Figure BDA0002216296650000111
其中，和y分别表示分离出的心音/肺音时域信号和实际的心音/肺音时域信号。
需要明确的是，本实施例在验证本发明方法过程中本发明方法用到的 LSTM网络为单向LSTM网络。
由于数据集规模较小，以三重交叉验证的平均SNR来度量不同方法的心肺音分离性能。三重交叉验证的数据构成如下：先将干净的心音信号和肺音信号分别划分为三组，用{H1,H2,H3}和{L1,L2,L3}表示，不同组的心/肺音数据采自不同的被试者；第一重交叉验证将H1和L1合成听诊信号作为验证集，将 {H2∪H3}和{L2∪L3}合成听诊信号作为训练集；同样，第二重和第三重交叉验证将对应下标的心音信号和肺音信号合成听诊信号作为验证集，将其余的心音信号和肺音信号合成听诊信号作为训练集。各重交叉验证的训练集和验证集规模如表1所示。
表1交叉验证的训练集和验证集规模
Figure BDA0002216296650000113
单信噪比模型中，基函数学习网络的实部和虚部卷积核个数为33，每个卷积核宽度为64，时间帧滑动步长为32，将STFT三角基函数集作为初始实部卷积核和虚部卷积核；LSTM分离网络层数为3，每一层神经个数为64， LSTM网络输入之前和输出之后的全连接层的神经个数分别设置为64和33；实虚两个反卷积核个数均为64，每个卷积核宽度为64，将STFT三角基函数集作为初始实部反卷积核和虚部反卷积核。多信噪比集成模型在已训练好的四个不同单信噪比分离模型的基础上进行训练，其中LSTM分离网络层数为 1，每一层神经个数为64。在单信噪比心肺音分离模型训练和多信噪比模型集成网络训练时，均设置batch_size＝64，epoch_num＝100，前50个epoch的学习率为5e-4，后50个epoch的学习率为5e-5，采用Adam算法优化。
在给定心肺音能量比情况下，比较STFT+NMF、STFT+LSTM和本发明方法的的心肺音分离SNR。如表2所示，a)STFT+LSTM优于STFT+NMF，表明：相对于NMF，LSTM发掘时频谱非线性时序信能够增强心肺音分离性能；b)本发明方法优于STFT+LSTM，表明：相对于STFT时频谱分离方法，本发明的时域分离方法利用基函数学习和重构网络实现端到端的优化，能够提升心肺音分离效果。
表2各种单信噪比模型的心肺音分离性能比较(dB)
Figure BDA0002216296650000121
请参阅图3a至图4b，可以看出在本方法优化前，STFT正变换基函数和逆变换基函数为三角函数族，实部对应余弦函数，虚部对应正弦函数；而在本方法优化后，正变换基函数和逆变换基函数不受三角族函数的约束，幅值以及平滑程度变化明显。
对于能量比未知的心肺音混合信号，本实施例进行两种类型的比较，一是单信噪比模型和多信噪比模型的心肺音分离SNR比较，二是直接模型、SND模型与本发明方法提出的多信噪比模型的心肺音分离SNR比较。
如表3所示，多信噪比模型优于四个单信噪比分离模型，说明相对于给定心肺音能量比的单信噪比模型，多信噪比集成模型更适于未知心肺音能量比混合信号的解混。
表3单信噪比模型和多信噪比模型的心肺音分离性能比较(dB)
Figure BDA0002216296650000131
如表4所示，比较直接模型、SND模型与本发明方法提出的多信噪比模型的心肺音分离SNR，a)SND模型优于直接模型，表明：额外对信噪比的预判和分离模型的选择能够提高心肺音分离性能。b)多信噪比集成模型优于SND模型。其原因在于：SND实质是基于信噪比估计对单信噪比模型进行离散选择；而本发明方法的多信噪比模型以最大化心肺音分离的SNR为目标，学习单信噪比模型的权重，能够更细致地匹配实际心肺音能量比，例如当混合信号中心肺音能量比为7dB，介乎于5dB和10dB之间，对5dB和10dB单信噪比模型的输出进行加权会比单独选择5dB模型或10dB模型更为合理。
表4直接模型、SND模型及本发明方法的心肺音分离性能比较(dB)
另外，比较直接模型、SND模型与本发明方法提出的多信噪比模型在临床上的实验结果，临床采集的能量比未知的心肺音混合信号的时域波形图如图5 所示，直接模型的心肺音解混结果如图6a和图6b所示，SND模型的心肺音解混结果如图7a和图7b所示，本发明方法的心肺音解混结果如图8a和图8b所示，可以看出本发明方法能够分离出更为干净的心音和肺音波形，相比于其他两种方法，分离出来的肺音波形掺杂的心音成分较少。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (12)

1.一种基于多信噪比模型的心肺音分离方法，其特征在于，包括：
在基函数学习网络中对给定能量比的心肺音混合信号进行卷积运算，得到所述给定能量比的心肺音混合信号的时频模和相位谱；利用LSTM分离网络对所述时频模进行计算得到心音和肺音的时频掩码，利用所述时频掩码得到对应的心音时频谱和肺音时频谱；在时域重构网络中利用所述相位谱和所述心音或肺音时频谱计算重构矩阵，对所述重构矩阵进行对称扩展得到扩展矩阵，对所述扩展矩阵进行反卷积得到心音时域信号和肺音时域信号；
对不同能量比的心肺音混合信号重复上述操作，得到单信噪比分离模型；
把未知能量比的心肺音混合信号输入至多个所述单信噪比分离模型，估计出心音和肺音的时域待选信号，基于所述未知能量比的心肺音混合信号的STFT时频谱利用LSTM网络计算所述未知能量比的心肺音混合信号映射到不同所述单信噪比分离模型的最佳权重，根据所述最佳权重线性集成不同所述单信噪比分离模型对应的待选信号的输出得到心音时域信号和肺音时域信号。
2.根据权利要求1所述的基于多信噪比模型的心肺音分离方法，其特征在于，所述单信噪比分离模型的目标函数为
Figure FDA0002216296640000011
ω为该模型所有可训练的参数，c和r分别表示心音和肺音，yπ∈R1×L为干净的心音或肺音的时域信号，π∈{c,r}，
Figure FDA0002216296640000012
为yπ的估计值，
Figure FDA0002216296640000013
f(·)表示单信噪比分离模型，X为给定能量比的心肺音混合信号，L表示时间采样点个数。
3.根据权利要求1所述的基于多信噪比模型的心肺音分离方法，其特征在于，所述对给定能量比的心肺音混合信号进行卷积运算，得到所述给定能量比的心肺音混合信号的时频模和相位谱包括：
把所述给定能量比的心肺音混合信号x∈R1×L分别输入到一维实部卷积网络和一维虚部卷积网络，得到实部向量rt＝[r1,r2,...,rM]T和虚部向量it＝[i1,i2,...,iM]T，其中t＝1,2,..,K为时间帧序号，M为基函数的个数，L为时间采样点个数；
分别合并实部向量和虚部向量得到M×K的实部矩阵R和虚部矩阵I，利用所述实部矩阵R和所述虚部矩阵I计算混合信号的时频模X∈RM×K和相位谱θ∈RM×K，其中θ＝arctan(I/R)。
4.根据权利要求1所述的基于多信噪比模型的心肺音分离方法，其特征在于，所述利用LSTM分离网络对所述时频模进行计算得到心音和肺音的时频掩码，利用所述时频掩码得到对应的心音时频谱和肺音时频谱包括：
把所述时频模输入LSTM分离网络的第一全连接层得到非线性谱，利用LSTM网络对所述非线性谱进行运算得到特征矩阵，把所述特征矩阵输入第二全连接层得到心音和肺音的时频掩码，利用式
Figure FDA0002216296640000022
π∈{c,r}对时频掩码进行计算得到对应的心音时频谱和肺音时频谱，其中X表示时频模，Mπ表示时频掩码，c表示心音，r表示肺音。
5.根据权利要求1所述的基于多信噪比模型的心肺音分离方法，其特征在于，所述重构矩阵包括实部重构矩阵和虚部重构矩阵，所述实部重构矩阵采用式Rπ＝real(Xπejθ)计算，所述虚部重构矩阵采用式Iπ＝imag(Xπejθ)计算，其中Xπ表示时频谱，θ表示相位谱。
6.根据权利要求1或5所述的基于多信噪比模型的心肺音分离方法，其特征在于，对所述重构矩阵进行对称扩展得到扩展矩阵包括：
分别对所述实部重构矩阵和所述虚部重构矩阵进行对称扩展得到实部扩展矩阵和虚部扩展矩阵。
7.根据权利要求1所述的基于多信噪比模型的心肺音分离方法，其特征在于，所述方法还包括：
对所述单信噪比分离模型进行参数初始化，把STFT三角基函数集作为初始卷积核和初始反卷积核；
所述初始卷积核包括实部卷积核和虚部卷积核
Figure FDA0002216296640000024
Figure FDA0002216296640000025
其中p＝0,1,...,N/2表示卷积核序号，s表示是卷积核参数序号，N表示卷积核宽度；
所述初始反卷积核包括实部反卷积核
Figure FDA0002216296640000026
和虚部反卷积核
Figure FDA0002216296640000027
Figure FDA0002216296640000028
q＝0,1,...,H-1为反卷积核序号，j为反卷积核参数序号，H为反卷积核宽度。
8.根据权利要求1所述的基于多信噪比模型的心肺音分离方法，其特征在于，所述LSTM网络的目标函数为
Figure FDA0002216296640000031
其中Ω为LSTM网络参数，yπ∈R1×L为干净的心音或肺音时域信号，L表示时间采样点个数，
Figure FDA0002216296640000032
表示最终输出的心音或肺音的时域信号，π∈{c,r}。
9.根据权利要求1所述的基于多信噪比模型的心肺音分离方法，其特征在于，LSTM网络包括单向LSTM网络。
10.根据权利要求1所述的基于多信噪比模型的心肺音分离方法，其特征在于，LSTM网络包括深度双向LSTM网络。
11.根据权利要求1所述的基于多信噪比模型的心肺音分离方法，其特征在于，LSTM网络还包括卷积残差记忆网络。
12.一种基于多信噪比模型的心肺音分离系统，包括：
基函数学习单元，包括卷积网络模块、时频模计算模块和相位谱计算模块；
LSTM分离单元，包括时频掩码计算模块和时频谱计算模块；
时域重构单元，包括重构矩阵计算模块、对称扩展模块和反卷积模块；
单信噪比分离模型存储单元，用于存储训练完毕的模型；
映射权重计算单元，用于计算混合信号映射到不同单信噪比分离模型的最佳权重；
线性集成单元，用于对不同单信噪比分离模型对应的待选信号的输出线性集成得到心音时域信号和肺音时域信号。
CN201910916679.1A 2019-09-26 2019-09-26 一种基于多信噪比模型的心肺音分离方法及系统 Active CN110705624B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910916679.1A CN110705624B (zh) 2019-09-26 2019-09-26 一种基于多信噪比模型的心肺音分离方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910916679.1A CN110705624B (zh) 2019-09-26 2019-09-26 一种基于多信噪比模型的心肺音分离方法及系统

Publications (2)

Publication Number Publication Date
CN110705624A true CN110705624A (zh) 2020-01-17
CN110705624B CN110705624B (zh) 2021-03-16

Family

ID=69196530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910916679.1A Active CN110705624B (zh) 2019-09-26 2019-09-26 一种基于多信噪比模型的心肺音分离方法及系统

Country Status (1)

Country Link
CN (1) CN110705624B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111933185A (zh) * 2020-10-09 2020-11-13 深圳大学 基于知识蒸馏的肺音分类方法、系统、终端及存储介质
CN112022135A (zh) * 2020-08-04 2020-12-04 成都猎维科技有限公司 一种基于掩码神经网络独立成分分解原理的心率检测方法
CN112086103A (zh) * 2020-08-17 2020-12-15 广东工业大学 一种心音分类方法
CN113066549A (zh) * 2021-04-06 2021-07-02 青岛瑞斯凯尔生物科技有限公司 基于人工智能的医疗器械的临床有效性评估方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090132245A1 (en) * 2007-11-19 2009-05-21 Wilson Kevin W Denoising Acoustic Signals using Constrained Non-Negative Matrix Factorization
CN104382614A (zh) * 2014-12-09 2015-03-04 重庆邮电大学 一种基于快速独立分量分析的心音肺音信号分离方法及装置
CN108133200A (zh) * 2018-01-16 2018-06-08 广东工业大学 一种基于自回归正则化nmf的心肺音分离方法及系统
CN109394258A (zh) * 2018-09-18 2019-03-01 平安科技（深圳）有限公司 一种肺部呼吸音的分类方法、装置及终端设备
CN110236589A (zh) * 2019-06-03 2019-09-17 苏州美糯爱医疗科技有限公司 一种电子听诊器的实时心肺音自动分离方法
CN110251152A (zh) * 2018-03-12 2019-09-20 北京大学 一种自动分离心肺音的骨传导式数字听诊系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090132245A1 (en) * 2007-11-19 2009-05-21 Wilson Kevin W Denoising Acoustic Signals using Constrained Non-Negative Matrix Factorization
CN104382614A (zh) * 2014-12-09 2015-03-04 重庆邮电大学 一种基于快速独立分量分析的心音肺音信号分离方法及装置
CN108133200A (zh) * 2018-01-16 2018-06-08 广东工业大学 一种基于自回归正则化nmf的心肺音分离方法及系统
CN110251152A (zh) * 2018-03-12 2019-09-20 北京大学 一种自动分离心肺音的骨传导式数字听诊系统
CN109394258A (zh) * 2018-09-18 2019-03-01 平安科技（深圳）有限公司 一种肺部呼吸音的分类方法、装置及终端设备
CN110236589A (zh) * 2019-06-03 2019-09-17 苏州美糯爱医疗科技有限公司 一种电子听诊器的实时心肺音自动分离方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
雷志彬 等: "基于全连接LSTM的心肺音分离方法", 《自动化与信息工程》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112022135A (zh) * 2020-08-04 2020-12-04 成都猎维科技有限公司 一种基于掩码神经网络独立成分分解原理的心率检测方法
CN112086103A (zh) * 2020-08-17 2020-12-15 广东工业大学 一种心音分类方法
CN111933185A (zh) * 2020-10-09 2020-11-13 深圳大学 基于知识蒸馏的肺音分类方法、系统、终端及存储介质
WO2022073285A1 (zh) * 2020-10-09 2022-04-14 深圳大学 基于知识蒸馏的肺音分类方法、系统、终端及存储介质
CN113066549A (zh) * 2021-04-06 2021-07-02 青岛瑞斯凯尔生物科技有限公司 基于人工智能的医疗器械的临床有效性评估方法及系统

Also Published As

Publication number Publication date
CN110705624B (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN110705624B (zh) 一种基于多信噪比模型的心肺音分离方法及系统
Venkataramani et al. End-to-end source separation with adaptive front-ends
US11900940B2 (en) Processing speech signals of a user to generate a visual representation of the user
Marafioti et al. Adversarial generation of time-frequency features with application in audio synthesis
Wulan et al. Generating electrocardiogram signals by deep learning
CN107680611B (zh) 基于卷积神经网络的单通道声音分离方法
Houtgast et al. Predicting speech intelligibility in rooms from the modulation transfer function. I. General room acoustics
Ari et al. Detection of cardiac abnormality from PCG signal using LMS based least square SVM classifier
Venkataramani et al. Adaptive front-ends for end-to-end source separation
Zhao et al. A deep learning based segregation algorithm to increase speech intelligibility for hearing-impaired listeners in reverberant-noisy conditions
Wang et al. An ECG signal denoising method using conditional generative adversarial net
Lee et al. Differentiable artificial reverberation
CN112259120B (zh) 基于卷积循环神经网络的单通道人声与背景声分离方法
CN101385645A (zh) 基于量子简单递归神经网络心电图智能检测法
CN107463956B (zh) 一种基于非负矩阵分解的心肺音分离的方法及装置
CN112957054B (zh) 一种基于通道注意力分组残差网络的12导联心电信号分类方法
Isasi et al. Automatic cardiac rhythm classification with concurrent manual chest compressions
Khan et al. Separating Heart Sound from Lung Sound UsingLabVIEW
CN107837091A (zh) 一种单通道心肺音分离方法及系统
Yu et al. Federated learning in ASR: Not as easy as you think
CN112528582A (zh) 原型滤波器生成方法、装置、信道化方法和星载通信装置
CN113229842B (zh) 一种基于复数深度神经网络的心肺音自动分离方法
Hoffman et al. Finding latent sources in recorded music with a shift-invariant HDP
CN107392149A (zh) 一种人体心肺音实时盲分离方法及系统
Rajankar et al. An optimum ECG denoising with wavelet neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant