CN113229842B - 一种基于复数深度神经网络的心肺音自动分离方法 - Google Patents

一种基于复数深度神经网络的心肺音自动分离方法 Download PDF

Info

Publication number
CN113229842B
CN113229842B CN202110543927.XA CN202110543927A CN113229842B CN 113229842 B CN113229842 B CN 113229842B CN 202110543927 A CN202110543927 A CN 202110543927A CN 113229842 B CN113229842 B CN 113229842B
Authority
CN
China
Prior art keywords
complex
heart
time
frequency spectrum
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110543927.XA
Other languages
English (en)
Other versions
CN113229842A (zh
Inventor
蔡盛盛
石珍
胡南
徐兴国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Meinuoai Medical Technology Co ltd
Original Assignee
Suzhou Meinuoai Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Meinuoai Medical Technology Co ltd filed Critical Suzhou Meinuoai Medical Technology Co ltd
Priority to CN202110543927.XA priority Critical patent/CN113229842B/zh
Publication of CN113229842A publication Critical patent/CN113229842A/zh
Application granted granted Critical
Publication of CN113229842B publication Critical patent/CN113229842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/02—Stethoscopes
    • A61B7/04—Electric stethoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/003—Detecting lung or respiration noise

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pulmonology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于复数深度神经网络的心肺音自动分离方法，该方法包括：电子听诊器采集混合心肺音信号，每当数据累积到设定时长时启动心肺音自动分离程序；通过带通滤波再归一化得到预处理后的混合心肺音信号xmix；对xmix作短时傅里叶变换得到复时频谱矩阵
Figure DDA0003072821630000011
并进行补零进而获得增广复时频谱矩阵Ymix；将Ymix输入到训练好的复数深度神经网络中，输出分离后的心音信号复时频谱矩阵
Figure DDA0003072821630000012
和肺音信号复时频谱矩阵
Figure DDA0003072821630000013
对
Figure DDA0003072821630000014
和
Figure DDA0003072821630000015
进行短时傅里叶反变换后分别得到分离后的心音时域信号
Figure DDA0003072821630000016
和肺音时域信号
Figure DDA0003072821630000017
用户选择心音模式时输出
Figure DDA0003072821630000018
选择肺音模式时输出
Figure DDA0003072821630000019
本发明提供的一种基于复数深度神经网络的心肺音自动分离方法能够对心肺音信号有效分离，为心音诊断和肺音诊断提供了有效手段。

Description

一种基于复数深度神经网络的心肺音自动分离方法
技术领域
本发明涉及心肺音自动分离技术领域，特别是涉及一种基于复数深度神经网络的心肺音自动分离方法。
背景技术
《中国心血管报告2019》显示，心血管病的死亡率在城乡居民总死亡率中排名第一，其中农村占比达45.91％，城市占比43.56％。同时，新冠疫情肆虐以及大气污染问题严重，这样的现状导致肺部疾病的发病率越来越高。心肺系统疾病的现状令人担忧，而且未来发展态势也不容乐观。
相比于心电图以及CT等等诊断方式，听诊是最直接也最便捷的诊断方式。但是听诊常常依赖于医务人员的专业水平，并且当病人具有传染性疾病时，会对医务人员的健康造成危险。所以采用可无线传输数据的电子听诊器采集心音与肺音，同时采用现代信号分析方法对声音信号进行分析是一种安全可靠的方法。
由于心脏、肺两者的位置相近，在信号采集过程中，心肺音常常是呈现混合的状态。正常心音的频率范围为20-150Hz，部分高频杂音可达100-1000Hz。正常肺音的频率范围是100-1000Hz，部分肺异常杂音可达400-1600Hz。心肺音的频率范围高度重叠，给心肺音分离与接下来的心肺音信号分析带来了挑战。心肺音分离是是实现远程心音听诊、肺音听诊的基础。图1展示了心肺音信号分离的实例，其中(a)是混合心肺音、(b)是分离后心音、(c)是分离后肺音。
K.-H.Tsai等人(Blind Monaural Source Separation on Heart and LungSounds Base d on Periodic-Coded Deep Autoencode，in IEEE Journal of Biomedicaland Health Informa tics,vol.24,no.11,pp.3203-3214)于2020年提出利用调制频率分析实现对时间信息的周期性分类，再利用自编码生成干净的心肺音。但是该论文存在以下缺点：
(1)用短时傅里叶变换后的幅度谱对网络进行训练，然后结合原始有噪声的相位谱进行短时傅里叶反变换，从而得到心肺音信号。但是原始相位谱是未分离的混合谱，直接使用会给分离后的心肺音信号带来干扰；
(2)基于小样本，导致数据信息利用不全。
发明专利申请“一种基于自回归正则化NMF的心肺音分离方法及系统”(公开号CN108133200A)对纯净心音信号和纯净肺音信号经过时频变换后做自回归正则化非负矩阵分解，得到基矩阵；处理待分离心肺音混合信号得到混合非负幅度矩阵；利用基矩阵对混合非负幅度矩阵进行非负矩阵分解得到系数矩阵；根据系数矩阵、心音非负幅度矩阵和肺音非负幅度矩阵进行重构及逆处理操作，得到心音信号及肺音信号。但是NMF存在以下缺点：
(1)NMF收敛速度较慢；
(2)NMF分解结果不唯一，导致全局最小点很难找到；
(3)仍然存在直接使用原始相位谱的问题。
发明专利申请“一种基于快速独立分量分析的心音肺音信号分离方法及装置”(公开号CN104382614A)该方法和装置实现对心音肺音信号分离是在利用小波阈值去噪对信号进行处理的基础之上，通过运用快速独立分量分析算法从而达到分离出心肺音信号的目的。但是该方法至少需要两个传感器，并且心肺源之间独立的假设与实际情况不符。
发明内容
针对现有技术存在的问题，本发明提出的一种基于复数深度神经网络的心肺音自动分离方法通过搭建的复数深度神经网络，实现对心肺音的自动分离。
本发明保护一种基于复数深度神经网络的心肺音自动分离方法，该方法包括如下步骤：
S1，电子听诊器采集混合心肺音信号，其采样频率为fs，输入到原始混合心肺音信号缓存空间，每当数据累积到设定时长T时，启动心肺音自动分离程序；
S2，开始心肺音自动分离程序，对缓存内的混合心肺音信号通过带通滤波器进行滤波，再归一化得到预处理后的混合心肺音信号，该信号表示为向量形式xmix；电子听诊器原始混合心肺音信号缓存清空，同步开展S1；
S3，对预处理后的混合心肺音信号xmix进行短时傅里叶变换得到复时频谱矩阵
Figure GDA0003783053190000021
进一步地，所述对预处理后的混合心肺音信号xmix进行短时傅里叶变换得到复时频谱矩阵
Figure GDA0003783053190000027
包括，将预处理后的混合心肺音信号xmix分帧，每帧包含NSTFT个采样点，帧间交迭Loverlap个采样点，最终得到M帧，其中第m帧数据表示为xmix,m(k),k＝1,2,...,NSTFT；由M帧数据计算构造M×(NSTFT/2+1)维的复时频谱矩阵
Figure GDA0003783053190000023
其中
Figure GDA0003783053190000024
的第(m,n)个元素
Figure GDA0003783053190000025
的计算公式为
Figure GDA0003783053190000026
n＝1,2,...,NSTFT/2+1,m＝1,2,...,M，其中，h(n)为汉明窗。
S4，对上述复时频谱矩阵
Figure GDA0003783053190000031
进行补零，使得其大小符合所用复数神经网络的输入大小要求，从而获得增广复时频谱矩阵Ymix；
S5，将增广复时频谱矩阵Ymix输入到训练好的复数深度神经网络中，由该网络的输出得到分离后的心音信号复时频谱矩阵
Figure GDA0003783053190000032
和分离后的肺音信号复时频谱矩阵
Figure GDA0003783053190000033
进一步地，所述复数深度神经网络，该网络由1个或若干个堆叠的复数U-Net构成，其网络参数由一个大样本有标注的数据集训练得到。
进一步地，所述复数U-Net的结构由KC层编码器组成的下行通路、中间层、KC层解码器组成的上行通路、掩膜生成层以及心肺音分离结果输出层依次构成；每层编码器由复数卷积与激活以及复数批归一化组成，第一层编码器的输入为增广复时频谱矩阵Ymix，后续编码器的输入为上一层编码器的输出；中间层由PC个连续的复数卷积与激活构成；每层解码器由复数反卷积与激活以及复数批归一化组成，其输入由上一层输出以及同层编码器的输出在通道维度上拼接而成；掩膜生成层由两个并行的复数卷积层构成，分别输出心音复数掩膜矩阵Sheart和肺音复数掩膜矩阵Slung；心肺音分离结果输出层分别输出将心音复数掩膜Sheart和肺音复数掩膜Slung分别与增广复时频谱矩阵Ymix对应元素相乘，分别得到分离后的心音信号复时频谱矩阵
Figure GDA0003783053190000034
和分离后的肺音信号复时频谱矩阵
Figure GDA0003783053190000035
其中，复数卷积的定义为，对某复数张量X通过某复数卷积核W进行复数卷积的操作包括
Figure GDA0003783053190000036
Figure GDA0003783053190000037
其中
Figure GDA0003783053190000038
为复数卷积，*为实数卷积，j为虚数符号，real(·)为取实部，imag(·)为取虚部；
其中，每层解码器的复数反卷积定义为，对某复数张量X通过某复数卷积核W进行复数反卷积的操作包括CDeConv(X,W)＝[DeConv(real(X),real(W))-DeConv(imag(X),imag(W))]+j·[DeConv(real(X),imag(W))+DeConv(imag(X),real(W))]。其中，CDeConv(·,·)为复数反卷积，DeConv(·,·)为实数反卷积；
其中，复数激活的激活函数表示为fc(·)＝f[real(·)]+j·f[imag(·)]，其中f(·)为该复数激活函数所对应的实数激活函数；
其中，复数批归一化的定义为，对某维度为B×H×W×D的复数张量X的复数批归一化结果
Figure GDA0003783053190000041
仍为一个维度为B×H×W×D的复数张量，其批索引b、高索引h、宽索引w所对应的向量
Figure GDA0003783053190000042
其中
Figure GDA0003783053190000043
(·)T表示矩阵转置，xr,b,h,w＝real(X[b,h,w,:])，Xi,b,h,w＝imag(X[b,h,w,:])，X[b,h,w,:]为复数张量X批索引b、高索引h、宽索引w所对应的向量，
Figure GDA0003783053190000044
在这里为了满足方法的实时性，设定批索引个数B＝1；
其中，分离后的心音信号复时频谱矩阵
Figure GDA0003783053190000045
分离后的肺音信号复时频谱矩阵
Figure GDA0003783053190000046
⊙为Hadamard积。
进一步地，所述复数深度神经网络的训练过程为，使用大量纯净心音以及纯净肺音两两混合生成训练数据，其中利用混合心肺音求得其增广复时频谱矩阵Ymix作为网络的输入，将其对应的纯净心音以及纯净肺音的增广复时频谱矩阵作为标签，基于神经网络后向传播方法进行网络训练，从而得到该网络的参数；
训练网络过程中所使用的代价函数
Figure GDA0003783053190000047
其中
Figure GDA0003783053190000048
是短时傅里叶谱代价函数，
Figure GDA0003783053190000049
是循环平稳谱代价函数，λ为控制两项代价函数间平衡性的预设参数，其取值范围为10-6～1；
短时傅里叶谱代价函数
Figure GDA00037830531900000410
其中
Figure GDA00037830531900000411
为产生批索引b的训练数据所用的纯净心音的复时频谱矩阵，
Figure GDA00037830531900000412
为产生批索引b的训练数据所用的纯净肺音的复时频谱矩阵，||·||F为矩阵的Frobenius范数。
循环平稳谱代价函数
Figure GDA0003783053190000051
其中
Figure GDA0003783053190000052
为由分离后的批索引b心音信号复时频谱矩阵
Figure GDA0003783053190000053
计算得到的循环频率谱密度，
Figure GDA0003783053190000054
为由产生批索引b的训练数据所用的纯净心音的复时频谱矩阵
Figure GDA0003783053190000055
计算得到的循环频率谱密度，k与l为整数，Δα为循环频率的频率分辨率；
对本发明中的任意一个维度为P×N的复时频谱矩阵X，计算其循环频率谱密度γX(α)的操作包括，首先，对其实施降采样到fds并合成降采样后的全频率复时频谱矩阵Xd，该P′×N′维矩阵Xd＝[X(1:P′,1:N′/2+1),fliplr(X*(1:P′,2:N′/2))]，其中
Figure GDA0003783053190000056
Figure GDA0003783053190000057
fds的取值范围为100Hz～fs，fliplr(·)是将矩阵各行元素左右颠倒的函数，(·)*为矩阵求共轭，
Figure GDA0003783053190000058
表示下取整；计算频域通道的抽取因子
Figure GDA0003783053190000059
并由此计算循环频率的频率分辨率Δα＝fds/(L′P′)；由Xd计算移项降采样全频率复时频谱矩阵
Figure GDA00037830531900000510
其第(p′,n′)个元素的计算公式为
Figure GDA00037830531900000511
然后，利用
Figure GDA00037830531900000512
估计Xd的循环谱密度
Figure GDA00037830531900000513
其中α＝αI+qΔα为离散循环频率，qΔa为频移因子，q是取值范围为-M/2～M/2-1的整数，
Figure GDA00037830531900000514
αI为离散循环频率坐标点，f为离散频率，它们的表达式分别为αI＝(k-l)(fds/N′)和f＝(k+l)(fds/N′)/2，其中k与l均为-N′/2～N′/2-1内的整数，g(r)为长度为P′的汉宁窗；最后，利用循环谱密度SX(α,f)计算循环频率谱密度γX(α)，其计算公式为
Figure GDA00037830531900000515
c＝-L′P′,-L′P′+1,...,L′P′-1。
S6，对分离后的心音信号复时频谱矩阵
Figure GDA00037830531900000516
和分离后的肺音信号复时频谱矩阵
Figure GDA00037830531900000517
进行短时傅里叶反变换后分别得到分离后的心音时域信号
Figure GDA00037830531900000518
和分离后的肺音时域信号
Figure GDA00037830531900000519
若当前电子听诊器用户选择的是心音输出模式时输出分离后的心音时域信号
Figure GDA00037830531900000520
当前电子听诊器用户选择的是肺音输出模式时输出分离后的肺音时域信号
Figure GDA0003783053190000061
当电子听诊器原始混合心肺音信号缓存数据累积到下一个设定时长T时，回到S2执行操作。
进一步地，具体对分离后的心音信号复时频谱矩阵
Figure GDA0003783053190000062
和分离后的肺音信号复时频谱矩阵
Figure GDA0003783053190000063
进行短时傅里叶反变换后分别得到分离后的心音时域信号
Figure GDA0003783053190000064
和分离后的肺音时域信号
Figure GDA0003783053190000065
包括，利用分离后的心音信号复时频谱矩阵
Figure GDA0003783053190000066
合成心音信号全频率复时频谱矩阵
Figure GDA0003783053190000067
其中fliplr(·)是将矩阵各行元素左右颠倒的函数，对心音信号全频率复时频谱矩阵
Figure GDA0003783053190000068
的各行进行短时傅里叶反变换，并通过汉明窗加权合成分离后的心音时域信号
Figure GDA0003783053190000069
对分离后的肺音信号复时频谱矩阵
Figure GDA00037830531900000610
进行同样的操作得到分离后的肺音时域信号
Figure GDA00037830531900000611
本发明还保护相应的两类计算机程序产品、设备：
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
本发明的有益效果：1、本发明使用复数短时傅里叶变换谱的全部信息，包括完整的幅度和相位，作为特征进行分离，保证分离的可靠性；2、本发明能够对心肺音信号进行端到端有效分离，为心音诊断和肺音诊断提供了有效的手段；3、本发明只需使用一个传感器就能实现分离；4、本发明对心、肺两个信号源之间的关系无需做任何假设。
附图说明
图1(a)为心肺音分离系统所输入的混合心肺音示例图；
图1(b)为心肺音分离系统输出的分离后心音示例图；
图1(c)为心肺音分离系统输出的分离后肺音示例图；
图2为一种基于复数深度神经网络的心肺音自动分离方法的流程图；
图3为本发明复数深度神经网络的结构示意图。
图4(a)为实验生成的仿真混合心肺音数据的时域波形实例图。
图4(b)为原始心音波形实例图。
图4(c)为原始肺音波形实例图。
图4(d)为本发明分离出的心音波形实例图。
图4(e)为本发明分离出的肺音波形实例图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
实施例1
本实施例所用数据来自公共数据集，其中心音数据选自Physionet(https://physionet.org/content/challenge-2016)，肺音数据选自ICBHI(https://bhichallenge.med.auth.gr)。选出Physionet中划分为正常且干净的一段心音段，Pysionet中数据的采样率为2000Hz，此时先将信号上采样为8000Hz，然后按照每段为6s的时长不交叠地截取心音，并取出其中一段6s长的干净心音段；选出ICBHI中划分为正常且干净的一段肺音段，ICBHI中数据的采样率为44100Hz，此时先将信号下采样为8000Hz,然后按照每段为6s的时长不交叠地截取，并取出其中一段6s长的干净肺音段。将选出的心音段与肺音段按照心音肺音功率比为0dB混合，得到一段仿真混合心肺音数据。
如图2所示，执行本发明所提出的一种基于复数深度神经网络的心肺音自动分离方法，该方法包括如下步骤：
S1，在计算机程序中模拟电子听诊器采集混合心肺音信号输入到原始混合心肺音信号缓存空间的过程，加载上述仿真混合心肺音数据，在数据的时间维度上移动，每当数据到达设定时长T＝6秒时，启动心肺音自动分离程序；
S2，开始心肺音自动分离程序，对缓存内的混合心肺音信号通过带通滤波器进行滤波，再归一化得到预处理后的混合心肺音信号，该信号表示为向量形式xmix；电子听诊器原始混合心肺音信号缓存清空，同步开展S1；
S3，对预处理后的混合心肺音信号xmix进行短时傅里叶变换得到复时频谱矩阵
Figure GDA0003783053190000071
具体地，所述对预处理后的混合心肺音信号xmix进行短时傅里叶变换得到复时频谱矩阵
Figure GDA0003783053190000081
包括，将预处理后的混合心肺音信号xmix分帧，每帧包含NSTFT＝256个采样点，帧间交迭Loverlap＝64个采样点，最终得到M＝747帧，其中第m帧数据表示为xmix,m(k),k＝1,...,NSTFT；由M＝747帧数据计算构造M×(NSTFT/2+1)维的复时频谱矩阵
Figure GDA0003783053190000082
其中
Figure GDA0003783053190000083
的第(m，n)个元素
Figure GDA0003783053190000084
的计算公式为
Figure GDA0003783053190000085
n＝1,2,...,NSTFT/2+1,m＝1,2,...,M，其中h(n)为汉明窗。
S4，对上述复时频谱矩阵
Figure GDA0003783053190000086
进行补零，使得其大小符合所用复数神经网络的输入大小要求，从而获得增广复时频谱矩阵Ymix；
S5，将增广复时频谱矩阵Ymix输入到训练好的复数深度神经网络中，由该网络的输出得到分离后的心音信号复时频谱矩阵
Figure GDA0003783053190000087
和分离后的肺音信号复时频谱矩阵
Figure GDA0003783053190000088
具体地，所述复数深度神经网络，如图3所示，由1个或若干个堆叠的复数U-Net构成，其网络参数由一个大样本有标注的数据集训练得到。
更具体地，所述复数U-Net的结构由KC＝3层编码器组成的下行通路、中间层、KC＝3层解码器组成的上行通路、掩膜生成层以及心肺音分离结果输出层依次构成；每层编码器由复数卷积与激活以及复数批归一化组成，第一层编码器的输入为增广复时频谱矩阵Ymix，后续编码器的输入为上一层编码器的输出；中间层由PC＝2个连续的复数卷积与激活构成；每层解码器由复数反卷积与激活以及复数批归一化组成，其输入由上一层输出以及同层编码器的输出在通道维度上拼接而成；掩膜生成层由两个并行的复数卷积层构成，分别输出心音复数掩膜矩阵Sheart和肺音复数掩膜矩阵Slung；心肺音分离结果输出层分别输出将心音复数掩膜Sheart和肺音复数掩膜Slung分别与增广复时频谱矩阵Ymix对应元素相乘，分别得到分离后的心音信号复时频谱矩阵
Figure GDA0003783053190000089
和分离后的肺音信号复时频谱矩阵
Figure GDA00037830531900000810
其中，复数卷积的定义为，对某复数张量X通过某复数卷积核W进行复数卷积的操作包括
Figure GDA00037830531900000811
Figure GDA00037830531900000812
其中
Figure GDA00037830531900000813
为复数卷积，*为实数卷积，j为虚数符号，real(·)为取实部，imag(·)为取虚部。
其中，每层解码器的复数反卷积定义为，对某复数张量X通过某复数卷积核W进行复数反卷积的操作包括CDeConv(X,W)＝[DeConv(real(X),real(W))-DeConv(imag(X),imag(W))]+j·[DeConv(real(X),imag(W))+DeConv(imag(X),real(W))]，其中CDeConv(·,·)为复数反卷积，DeConv(·,·)为实数反卷积。
其中，复数激活的激活函数表示为fc(·)＝f[real(·)]+j·f[imag(·)]，其中f(·)为该复数激活函数所对应的实数激活函数。
其中，复数批归一化的定义为，对某维度为B×H×W×D的复数张量X的复数批归一化结果
Figure GDA0003783053190000091
仍为一个维度为B×H×W×D的复数张量，其批索引b、高索引h、宽索引w所对应的向量
Figure GDA0003783053190000092
其中
Figure GDA0003783053190000093
(·)T表示矩阵转置，xr,b,h,w＝real(X[b,h,w,:])，Xi,b,h,w＝imag(X[b,h,w,:])，X[b,h,w,:]为复数张量X批索引b、高索引h、宽索引w所对应的向量，
Figure GDA0003783053190000094
在这里为了满足方法的实时性，设定批索引个数B＝1。
其中，分离后的心音信号复时频谱矩阵
Figure GDA0003783053190000095
分离后的肺音信号复时频谱矩阵
Figure GDA0003783053190000096
⊙为Hadamard积。
具体地，所述复数深度神经网络的训练过程为，使用大量纯净心音以及纯净肺音两两混合生成训练数据，其中利用混合心肺音求得其增广复时频谱矩阵Ymix作为网络的输入，将其对应的纯净心音以及纯净肺音的增广复时频谱矩阵作为标签，基于神经网络后向传播方法进行网络训练，从而得到该网络的参数；
训练网络过程中所使用的代价函数
Figure GDA0003783053190000097
其中
Figure GDA0003783053190000098
是短时傅里叶谱代价函数，
Figure GDA0003783053190000099
是循环平稳谱代价函数，λ为控制两项代价函数间平衡性的预设参数，在此实施例中其取值为1；
短时傅里叶谱代价函数
Figure GDA0003783053190000101
其中
Figure GDA0003783053190000102
为产生批索引b的训练数据所用的纯净心音的复时频谱矩阵，
Figure GDA0003783053190000103
为产生批索引b的训练数据所用的纯净肺音的复时频谱矩阵，||·||F为矩阵的Frobenius范数；
循环平稳谱代价函数
Figure GDA0003783053190000104
其中
Figure GDA0003783053190000105
为由分离后的批索引b心音信号复时频谱矩阵
Figure GDA0003783053190000106
计算得到的循环频率谱密度，
Figure GDA0003783053190000107
为由产生批索引b的训练数据所用的纯净心音的复时频谱矩阵
Figure GDA0003783053190000108
计算得到的循环频率谱密度，k与l为整数，Δα为循环频率的频率分辨率；
对任意一个维度为P×N的复时频谱矩阵X，计算其循环频率谱密度γX(α)的操作包括，首先，对其实施降采样到fds＝250Hz并合成降采样后的全频率复时频谱矩阵Xd，该P′×N′维矩阵Xd＝[X(1:P′,1:N′/2+1),fliplr(X*(1:P′,2:N′/2))]，其中
Figure GDA0003783053190000109
Figure GDA00037830531900001010
fliplr(·)是将矩阵各行元素左右颠倒的函数，(·)*为矩阵求共轭，
Figure GDA00037830531900001011
表示下取整；计算频域通道的抽取因子
Figure GDA00037830531900001012
并由此计算循环频率的频率分辨率Δα＝fds/(L′P′)；由Xd计算移项降采样全频率复时频谱矩阵
Figure GDA00037830531900001013
其第(p′,n′)个元素的计算公式为
Figure GDA00037830531900001014
然后，利用
Figure GDA00037830531900001015
估计Xd的循环谱密度
Figure GDA00037830531900001016
其中α＝αI+qΔα为离散循环频率，qΔa为频移因子，q是取值范围为-M/2～M/2-1的整数，
Figure GDA00037830531900001017
αI为离散循环频率坐标点，f为离散频率，它们的表达式分别为αI＝(k-l)(fds/N′)和f＝(k+l)(fds/N′)/2，其中k与l均为-N′/2～N′/2-1内的整数，g(r)为长度为P′的汉宁窗；最后，利用循环谱密度SX(α,f)计算循环频率谱密度γX(α)，其计算公式为
Figure GDA00037830531900001018
c＝-L′P′,-L′P′+1,...,L′P′-1。
S6，对分离后的心音信号复时频谱矩阵
Figure GDA0003783053190000111
和分离后的肺音信号复时频谱矩阵
Figure GDA0003783053190000112
进行短时傅里叶反变换后分别得到分离后的心音时域信号
Figure GDA0003783053190000113
和分离后的肺音时域信号
Figure GDA0003783053190000114
若当前电子听诊器用户选择的是心音输出模式时输出分离后的心音时域信号
Figure GDA0003783053190000115
当前电子听诊器用户选择的是肺音输出模式时输出分离后的肺音时域信号
Figure GDA0003783053190000116
当电子听诊器原始混合心肺音信号缓存数据累积到下一个设定时长T时，回到S2执行操作。
具体地，所述对分离后的心音信号复时频谱矩阵
Figure GDA0003783053190000117
和分离后的肺音信号复时频谱矩阵
Figure GDA0003783053190000118
进行短时傅里叶反变换后分别得到分离后的心音时域信号
Figure GDA0003783053190000119
和分离后的肺音时域信号
Figure GDA00037830531900001110
包括，利用分离后的心音信号复时频谱矩阵
Figure GDA00037830531900001111
合成心音信号全频率复时频谱矩阵
Figure GDA00037830531900001112
其中fliplr(·)是将矩阵各行元素左右颠倒的函数，对心音信号全频率复时频谱矩阵
Figure GDA00037830531900001113
的各行进行短时傅里叶反变换，并通过汉明窗加权合成分离后的心音时域信号
Figure GDA00037830531900001114
对分离后的肺音信号复时频谱矩阵
Figure GDA00037830531900001115
进行同样的操作得到分离后的肺音时域信号
Figure GDA00037830531900001116
最终画出得到的分离后信号的时域图，如图4所示，其中(a)是实验生成的仿真混合心肺音数据的时域波形图，(b)原始心音时域波形图(c)原始肺音时域波形图(d)生成心音时域波形图(e)生成肺音时域波形图。
实施例2
本实施例的训练和测试数据集为公共数据集，其中心音数据选自Physionet(https://physionet.org/content/challenge-2016)，肺音数据选自ICBHI(https://bhichallenge.med.auth.gr)。选用Physionet中划分为正常且干净的心音段，共计54段，每段数据时长不等。Pysionet中数据的采样率为2000Hz，此时先将信号上采样为8000Hz，然后按照每段为6s的时长不交叠地截取54段数据，最终得到218段6s长的干净心音数据段；选用ICBHI中划分为正常且干净的肺音段，共计41段，每段数据时长不等。ICBHI中数据的采样率为44100Hz，先将信号下采样为8000Hz，然后按照每段为6s的时长不交叠地截取41段数据，最终得到135段6s长的干净肺音数据段。将一段心音或肺音与不同的肺音或心音混合时会得到不同的混合数据，按照此方法配成400对干净心音与肺音段。将这400对干净心音与肺音段按照不同的心音肺音功率比(-10,-5,0,5,10,15)dB混合，最终得到2400段混合心肺音。按照6:1:1比例划分这2400段混合心肺音，其中训练集个数为1800，验证集的个数为300，测试集的个数为300。
利用上述训练集与验证集中的仿真混合心肺音数据，对本发明提出的用于心肺音分离的复数深度神经网络进行训练，从而得到该复数深度神经网络的参数值。
将上述测试集中的每一段仿真混合心肺音数据通过本发明提出的一种基于复数深度神经网络的心肺音自动分离方法，利用实施例1的过程，实现心音与肺音的分离，综合利用每一段分离出来的结果，计算SAR(信噪伪影比)、SDR(信噪失真比)、SIR(信噪干扰比)，最终结果为：SAR＝10.585、SDR＝15.6882、SIR＝12.554，可见本发明所提出的方法可实现优异的心肺音分离效果。
实施例3
在硬件上本发明通常基于计算机设备实现，该计算机设备通常包括处理器、存储器、网络接口和数据库。其中，处理器用于提供计算和控制能力，存储器包括非易失性存储介质、内存储器。所述非易失性存储介质可以存储有操作系统、计算机程序和数据库；所述内存储器可以为非易失性存储介质中的操作系统和计算机程序的运行提供环境，通过运行计算机程序实现实施例1中基于复数深度神经网络的心肺音自动分离方案。
实施例4
相应的，本发明在硬件上还可直接体现于计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实施例1中基于复数深度神经网络的心肺音自动分离方案。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域及相关领域的普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

Claims (5)

1.一种基于复数深度神经网络的心肺音自动分离方法，其特征在于，该方法包括如下步骤：
S1，电子听诊器采集混合心肺音信号，其采样频率为fs，输入到原始混合心肺音信号缓存空间，每当数据累积到设定时长T时，启动心肺音自动分离程序；
S2，开始心肺音自动分离程序，对缓存内的混合心肺音信号通过带通滤波器进行滤波，再归一化得到预处理后的混合心肺音信号，该信号表示为向量形式xmix；电子听诊器原始混合心肺音信号缓存清空，同步开展S1；
S3，对预处理后的混合心肺音信号xmix进行短时傅里叶变换得到复时频谱矩阵
Figure FDA0003783053180000011
S4，对上述复时频谱矩阵
Figure FDA0003783053180000012
进行补零，使得其大小符合所用复数神经网络的输入大小要求，从而获得增广复时频谱矩阵Ymix；
S5，将增广复时频谱矩阵Ymix输入到训练好的复数深度神经网络中，由该网络的输出得到分离后的心音信号复时频谱矩阵
Figure FDA0003783053180000013
和分离后的肺音信号复时频谱矩阵
Figure FDA0003783053180000014
S6，对分离后的心音信号复时频谱矩阵
Figure FDA0003783053180000015
和分离后的肺音信号复时频谱矩阵
Figure FDA0003783053180000016
进行短时傅里叶反变换后分别得到分离后的心音时域信号
Figure FDA0003783053180000017
和分离后的肺音时域信号
Figure FDA0003783053180000018
若当前电子听诊器用户选择的是心音输出模式时输出分离后的心音时域信号
Figure FDA0003783053180000019
当前电子听诊器用户选择的是肺音输出模式时输出分离后的肺音时域信号
Figure FDA00037830531800000110
当电子听诊器原始混合心肺音信号缓存数据累积到下一个设定时长T时，回到S2执行操作；
所述步骤S3中，所述对预处理后的混合心肺音信号xmix进行短时傅里叶变换得到复时频谱矩阵
Figure FDA00037830531800000111
包括，将预处理后的混合心肺音信号xmix分帧，每帧包含NSTFT个采样点，帧间交迭Loverlap个采样点，最终得到M帧，其中第m帧数据表示为xmix,m(k),k＝1,2,...,NSTFT；由M帧数据计算构造M×(NSTFT/2+1)维的复时频谱矩阵
Figure FDA00037830531800000112
其中
Figure FDA00037830531800000113
的第(m,n)个元素
Figure FDA00037830531800000114
的计算公式为
Figure FDA00037830531800000115
n＝1,2,...,NSTFT/2+1,m＝1,2,...,M，其中h(n)为汉明窗；
所述步骤S5中，所述复数深度神经网络，该网络由1个或若干个堆叠的复数U-Net构成，其网络参数由一个大样本有标注的数据集训练得到；
所述复数深度神经网络的训练过程为，使用大量纯净心音以及纯净肺音两两混合生成训练数据，其中利用混合心肺音求得其增广复时频谱矩阵Ymix作为网络的输入，将其对应的纯净心音以及纯净肺音的增广复时频谱矩阵作为标签，基于神经网络后向传播方法进行网络训练，从而得到该网络的参数；
训练网络过程中所使用的代价函数
Figure FDA0003783053180000021
其中
Figure FDA0003783053180000022
是短时傅里叶谱代价函数，
Figure FDA0003783053180000023
是循环平稳谱代价函数，λ为控制两项代价函数间平衡性的预设参数，其取值范围为10-6～1；
短时傅里叶谱代价函数
Figure FDA0003783053180000024
其中
Figure FDA0003783053180000025
为产生批索引b的训练数据所用的纯净心音的复时频谱矩阵，
Figure FDA0003783053180000026
为产生批索引b的训练数据所用的纯净肺音的复时频谱矩阵，||·||F为矩阵的Frobenius范数；
循环平稳谱代价函数
Figure FDA0003783053180000027
其中
Figure FDA0003783053180000028
为由分离后的批索引b心音信号复时频谱矩阵
Figure FDA0003783053180000029
计算得到的循环频率谱密度，
Figure FDA00037830531800000210
为由产生批索引b的训练数据所用的纯净心音的复时频谱矩阵
Figure FDA00037830531800000211
计算得到的循环频率谱密度，k与l为整数，Δα为循环频率的频率分辨率；
对任意一个维度为P×N的复时频谱矩阵X，计算其循环频率谱密度γX(α)的操作包括，首先，对其实施降采样到fds并合成降采样后的全频率复时频谱矩阵Xd，该P′×N′维矩阵Xd＝[X(1:P′,1:N′/2+1),fliplr(X*(1:P′,2:N′/2))]，其中
Figure FDA00037830531800000212
Figure FDA00037830531800000213
fds的取值范围为100Hz～fs，fliplr(·)是将矩阵各行元素左右颠倒的函数，(·)*为矩阵求共轭，
Figure FDA00037830531800000214
表示下取整；计算频域通道的抽取因子
Figure FDA00037830531800000215
并由此计算循环频率的频率分辨率Δα＝fds/(L′P′)；由Xd计算移项降采样全频率复时频谱矩阵
Figure FDA00037830531800000216
其第(p′,n′)个元素的计算公式为
Figure FDA0003783053180000031
然后，利用
Figure FDA0003783053180000032
估计Xd的循环谱密度
Figure FDA0003783053180000033
其中α＝αI+qΔα为离散循环频率，qΔa为频移因子，q是取值范围为-M/2～M/2-1的整数，
Figure FDA0003783053180000034
αI为离散循环频率坐标点，f为离散频率，它们的表达式分别为αI＝(k-l)(fds/N′)和f＝(k+l)(fds/N′)/2，其中k与l均为-N′/2～N′/2-1内的整数，g(r)为长度为P′的汉宁窗；最后，利用循环谱密度SX(α,f)计算循环频率谱密度γX(α)，其计算公式为
Figure FDA0003783053180000035
2.根据权利要求1所述的一种基于复数深度神经网络的心肺音自动分离方法，其特征在于，所述复数U-Net的结构由KC层编码器组成的下行通路、中间层、KC层解码器组成的上行通路、掩膜生成层以及心肺音分离结果输出层依次构成；每层编码器由复数卷积与激活以及复数批归一化组成，第一层编码器的输入为增广复时频谱矩阵Ymix，后续编码器的输入为上一层编码器的输出；中间层由PC个连续的复数卷积与激活构成；每层解码器由复数反卷积与激活以及复数批归一化组成，其输入由上一层输出以及同层编码器的输出在通道维度上拼接而成；掩膜生成层由两个并行的复数卷积层构成，分别输出心音复数掩膜矩阵Sheart和肺音复数掩膜矩阵Slung；心肺音分离结果输出层将心音复数掩膜Sheart和肺音复数掩膜Slung分别与增广复时频谱矩阵Ymix对应元素相乘，分别得到分离后的心音信号复时频谱矩阵
Figure FDA0003783053180000036
和分离后的肺音信号复时频谱矩阵
Figure FDA0003783053180000037
其中，复数卷积的定义为，对某复数张量X通过某复数卷积核W进行复数卷积的操作包括
Figure FDA0003783053180000038
Figure FDA0003783053180000039
其中
Figure FDA00037830531800000310
为复数卷积，*为实数卷积，j为虚数符号，real(·)为取实部，imag(·)为取虚部；
其中，每层解码器的复数反卷积定义为，对某复数张量X通过某复数卷积核W进行复数反卷积的操作包括CDeConv(X,W)＝[DeConv(real(X),real(W))-DeConv(imag(X),imag(W))]+j·[DeConv(real(X),imag(W))+DeConv(imag(X),real(W))]，其中CDeConv(·,·)为复数反卷积，DeConv(·,·)为实数反卷积；
其中，复数激活的激活函数表示为fc(·)＝f[real(·)]+j·f[imag(·)]，其中f[real(·)]为该复数激活函数所对应的实数激活函数；
其中，复数批归一化的定义为，对某维度为B×H×W×D的复数张量X的复数批归一化结果
Figure FDA0003783053180000041
仍为一个维度为B×H×W×D的复数张量，其批索引b、高索引h、宽索引w所对应的向量
Figure FDA0003783053180000042
其中
Figure FDA0003783053180000043
(·)T表示矩阵转置，xr,b,h,w＝real(X[b,h,w,:])，Xi,b,h,w＝imag(X[b,h,w,:])，X[b,h,w,:]为复数张量X批索引b、高索引h、宽索引w所对应的向量，
Figure FDA0003783053180000044
在这里为了满足方法的实时性，设定批索引个数B＝1；
其中，分离后的心音信号复时频谱矩阵
Figure FDA0003783053180000045
分离后的肺音信号复时频谱矩阵
Figure FDA0003783053180000046
⊙为Hadamard积。
3.根据权利要求1所述的一种基于复数深度神经网络的心肺音自动分离方法，其特征在于，所述步骤S6中，具体对分离后的心音信号复时频谱矩阵
Figure FDA0003783053180000047
和分离后的肺音信号复时频谱矩阵
Figure FDA0003783053180000048
进行短时傅里叶反变换后分别得到分离后的心音时域信号
Figure FDA0003783053180000049
和分离后的肺音时域信号
Figure FDA00037830531800000410
包括，利用分离后的心音信号复时频谱矩阵
Figure FDA00037830531800000411
合成心音信号全频率复时频谱矩阵
Figure FDA00037830531800000412
其中fliplr(·)是将矩阵各行元素左右颠倒的函数，对心音信号全频率复时频谱矩阵
Figure FDA00037830531800000413
的各行进行短时傅里叶反变换，并通过汉明窗加权合成分离后的心音时域信号
Figure FDA00037830531800000414
对分离后的肺音信号复时频谱矩阵
Figure FDA00037830531800000415
进行同样的操作得到分离后的肺音时域信号
Figure FDA00037830531800000416
4.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的一种基于复数深度神经网络的心肺音自动分离方法。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的一种基于复数深度神经网络的心肺音自动分离方法。
CN202110543927.XA 2021-05-19 2021-05-19 一种基于复数深度神经网络的心肺音自动分离方法 Active CN113229842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110543927.XA CN113229842B (zh) 2021-05-19 2021-05-19 一种基于复数深度神经网络的心肺音自动分离方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110543927.XA CN113229842B (zh) 2021-05-19 2021-05-19 一种基于复数深度神经网络的心肺音自动分离方法

Publications (2)

Publication Number Publication Date
CN113229842A CN113229842A (zh) 2021-08-10
CN113229842B true CN113229842B (zh) 2022-10-14

Family

ID=77137485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110543927.XA Active CN113229842B (zh) 2021-05-19 2021-05-19 一种基于复数深度神经网络的心肺音自动分离方法

Country Status (1)

Country Link
CN (1) CN113229842B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114190968A (zh) * 2021-12-27 2022-03-18 江苏大学 一种基于BiGRU和DHMM的心肺音分离方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110251152A (zh) * 2018-03-12 2019-09-20 北京大学 一种自动分离心肺音的骨传导式数字听诊系统
CN110809784A (zh) * 2017-09-27 2020-02-18 谷歌有限责任公司 高分辨率图像分割的端到端网络模型

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6903611B2 (ja) * 2018-08-27 2021-07-14 株式会社東芝 信号生成装置、信号生成システム、信号生成方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110809784A (zh) * 2017-09-27 2020-02-18 谷歌有限责任公司 高分辨率图像分割的端到端网络模型
CN110251152A (zh) * 2018-03-12 2019-09-20 北京大学 一种自动分离心肺音的骨传导式数字听诊系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DCCRN: Deep Complex Convolution Recurrent Network for Phase-Aware Speech Enhancement;Yanxin Hu 等;《arXiv:2008.00264v4》;20200923;全文 *
EXPLORING DEEP COMPLEX NETWORKS FOR COMPLEX SPECTROGRAM;Ashutosh Pandey 等;《ICASSP 2019》;20190417;全文 *
Sing-voice separation from monaural recording using deep recurrent neural networks;Po-Sen Huang 等;《15th International Society for Music Information Retrieval Conference》;20141231;全文 *

Also Published As

Publication number Publication date
CN113229842A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
Emmanouilidou et al. Adaptive noise suppression of pediatric lung auscultations with real applications to noisy clinical settings in developing countries
CN110246510B (zh) 一种基于RefineNet的端到端语音增强方法
CN112259120B (zh) 基于卷积循环神经网络的单通道人声与背景声分离方法
Mondal et al. Reduction of heart sound interference from lung sound signals using empirical mode decomposition technique
CN110755108A (zh) 一种基于智能听诊器的心脏声音分类方法、系统、装置及可读存储介质
CN113066502B (zh) 基于vmd和多小波的心音分割定位方法
CN112863667B (zh) 一种基于深度学习的肺部声音诊断装置
CN110705624B (zh) 一种基于多信噪比模型的心肺音分离方法及系统
CN112971839B (zh) 一种基于前馈卷积神经网络的心音分类方法
Gupta et al. Gammatonegram based triple classification of lung sounds using deep convolutional neural network with transfer learning
Khan et al. Separating Heart Sound from Lung Sound UsingLabVIEW
US20230329646A1 (en) Classifying biomedical acoustics based on image representation
Lin et al. Blind source separation of heart and lung sounds based on nonnegative matrix factorization
CN113229842B (zh) 一种基于复数深度神经网络的心肺音自动分离方法
CN113436726A (zh) 一种基于多任务分类的肺部病理音自动化分析方法
CN114469124A (zh) 一种运动过程中异常心电信号的识别方法
CN111370120B (zh) 一种基于心音信号的心脏舒张功能障碍的检测方法
Lee et al. Restoration of lung sound signals using a hybrid wavelet-based approach
González-Rodríguez et al. Robust denoising of phonocardiogram signals using time-frequency analysis and U-Nets
CN115251978B (zh) 基于小波谱图的异常心音识别方法、装置和服务架构
Hadjileontiadis et al. Current techniques for breath sound analysis
Liutkus et al. Source separation for target enhancement of food intake acoustics from noisy recordings
CN114587357A (zh) 基于脑电频谱特征的太极桩精神状态检测方法
CN114171044A (zh) 基于时域全卷积深度神经网络电子听诊器自适应消噪方法
Sharan et al. Automated Cough Sound Analysis for Detecting Childhood Pneumonia

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant