CN110970042B - 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质 - Google Patents

一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质 Download PDF

Info

Publication number
CN110970042B
CN110970042B CN201911280663.2A CN201911280663A CN110970042B CN 110970042 B CN110970042 B CN 110970042B CN 201911280663 A CN201911280663 A CN 201911280663A CN 110970042 B CN110970042 B CN 110970042B
Authority
CN
China
Prior art keywords
data
lung
probability
sound
rale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911280663.2A
Other languages
English (en)
Other versions
CN110970042A (zh
Inventor
蔡盛盛
胡南
刘仁雨
徐兴国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Meinuoai Medical Technology Co ltd
Original Assignee
Suzhou Meinuoai Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Meinuoai Medical Technology Co ltd filed Critical Suzhou Meinuoai Medical Technology Co ltd
Priority to CN201911280663.2A priority Critical patent/CN110970042B/zh
Publication of CN110970042A publication Critical patent/CN110970042A/zh
Priority to PCT/CN2020/113511 priority patent/WO2021114761A1/zh
Application granted granted Critical
Publication of CN110970042B publication Critical patent/CN110970042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26Pre-filtering or post-filtering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/003Detecting lung or respiration noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/02Stethoscopes
    • A61B7/04Electric stethoscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Epidemiology (AREA)
  • Pulmonology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及计算机听觉、人工智能技术领域,尤其为一种电子听诊器的肺部啰音人工智能实时分类方法,包括:通过电子听诊器实时采集肺音信号,并对肺部啰音自动分类,采集的数据滑动提取每2秒为一个数据块通过带通滤波器与归一化,利用对数梅尔滤波器组变换,计算出三个通道的数据矩阵,并输入一个预先搭建并训练好的卷积神经网络,该卷积神经网络的输出为四种肺音状况的概率值,系统联合多个数据块的结果给出最终的四种肺音状况的概率值。本发明,可以有效的提高啰音检测与分类结果的鲁棒性。本发明还公开了一种电子听诊器的肺部啰音人工智能实时分类系统、装置及计算机可读存储介质,与上述方法具有相同的有益效果。

Description

一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质
技术领域
本发明涉及计算机听觉、人工智能技术领域,具体为一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质。
背景技术
由于环境污染,空气质量恶化的影响,哮喘、肺炎、支气管炎等各种呼吸疾病的发病率正在逐年提高,每年有近100万5岁以下儿童死于急性下呼吸道感染,死亡人数超过艾滋病毒、疟疾和结核病溃疡的总和。由于呼吸系统的病变已成为严重威胁人类健康的疾病之一,对呼吸疾病准确的诊断和有效的治疗是保障患者尽早康复的有效方式。
目前医院用来检查和鉴定呼吸疾病的方法有:(1)胸部X线:这种方法可以记录肺部的大体病变,如肺部炎症、肿块、结核等。(2)肺CT:这种方法有助于对胸部X线发现的问题作出定性诊断,如肿块的类别、位置等。(3)支气管镜检查:这种方法用来确诊大多数肺部及气道疾病。但这些方法不仅价格昂贵而且相对会对人体造成影响,并且由于地域的限制,有些人可能无法接触到这些诊断的方法。
听诊是对呼吸疾病最早期也是最直接的检查手段之一。医护人员主要通过听诊器听取患者的呼吸音是否含有啰音——主要包括湿啰音和喘鸣音,图1展示了含有不同附加啰音的呼吸音,其中(a)包含湿啰音,(b)包含喘鸣音,(c)同时包含湿啰音和喘鸣音,(d)是正常的呼吸音。然而这种方法一直受制于听诊环境、医技水平等因素。
现有技术中,如公开号CN106022258A公开的数字听诊器与滤除心音提取肺音的方法,采用离散熵值先筛选出部分有效帧,然后对筛选的有效帧提取其平均幅值作为阈值,通过此阈值得到包含心音的肺音帧,再进行小波变换并使用阈值滤除相关的小波系数从而得到相对纯净的肺音帧。对肺音帧进行MFCC特征参数矩阵提取,并将此特征参数矩阵送入传统的后向传播(BP)网络进行类别判断。此方法需要通过两次阈值判断,相关的有用信息会在阈值判断中丢失,从而降低了MFCC特征参数矩阵的有效性。
如CN107704885A公开的在智能平台上实现心音与肺音分类的方法,首先对收到的数据进行5点重采样,采样频率为2205Hz,得到重采样信号之后进行滤波处理,设置带通最大衰减为3db,阻带最小衰减为18db。接着利用dmey小波进行小波去噪,得到去噪信号之后利用自相关系数进行分段。然后对每个分段提取MFCC特征参数矩阵并将特征参数矩阵输入支持向量机(SVM)分类器进行分类处理。但SVM分类器在处理如MFCC特征参数矩阵等高维的数据时并不是非常的高效,并且此方法也没有给出一种可以实时分类的方法。
如B.Mohammed发表的论文“Pattern recognition methods applied torespiratory sounds classification into normal and wheeze classes”结合MFCC特征与高斯混合模型(GMM)对正常肺音与含喘鸣音的肺音进行分类;P.Mayorga发表的论文“Acoustics based assessment of respiratory diseases using GMM classification”也同样使用GMM来对肺音的啰音进行分类;S.Alsmadi等人发表的论文“Design of a DSP-based instrument for real-time classification of pulmonary sounds”使用K-最近邻(K-NN)和最小距离准则来对肺音整体是否异常做出判断。
以上论文提出的方法可以针对某一种啰音或者数据的整体情况进行分类,但是不能对湿啰音、喘鸣音、两者都含有和两者都没有的多种情况进行全面的判断。
再如公开号CN107818366A公开的一种基于卷积神经网络的肺音分类方法、系统及用途,首先对肺音信号进行带通滤波,接着通过短时傅里叶变换将肺音时序信号转为二维的频谱图,最后将此频谱图作为输入的特征来对此肺音信号进行分类。此专利只是对卷积神经网络的简单应用,需要输入固定长度大小的信号后得到简单的正常/不正常肺音的二值结论。该方法无法满足实时性,容易受到短时间内干扰的影响引起误判,且分类结果过于简单。
目前针对肺部啰音信号进行分类的现有技术主要集中于传统的机器学习与模式识别,也有少数涉及深度学习里面比较简单的技术应用,总的来说这些现有技术存在以下几个缺点:
(1)上述方法的输入都需要是固定长度才可以提取得到固定长度的特征参数,然而在实际的应用场景中得到的是不定长的肺音信号,且实时的信号采集与诊断非常重要;
(2)啰音里面也有很多种类,不同的啰音种类对应着有不同的病症,因此,能够识别不同种类的啰音至关重要,但上述方法没有给出对于不同啰音种类的多分类方案;
(3)每个病人肺部病变的情况不同,导致即便是同一种啰音也可能在不同时刻呈现不一样的肺音,现有技术对啰音检测与分类结果的鲁棒性还很差。
随着近年来物联网(IoT)技术与人工智能(AI)技术的蓬勃发展,基于人工智能的方法来对肺部啰音进行实时分类成为可能。因此,实现一种电子听诊器的肺部啰音实时分类方法就成为迫切需要。
发明内容
本发明的目的在于提供一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:
一种电子听诊器的肺部啰音人工智能实时分类方法,包括:
步骤1.从电子听诊器启动肺音采集开始,实时读取采集通道中的数据到某缓存空间,当数据累积到2秒时长时,启动肺部啰音自动分类程序;
步骤2.对该2秒时长的数据块降采样到fs=8kHz,通过1个带通滤波器,并作归一化;对数据块预处理,若该数据块为第i个数据块,记该预处理后的数据块为向量xi
步骤3.计算数据向量xi的对数梅尔滤波器组变换,表示为矩阵Fi
步骤4.利用对数梅尔滤波器组变换结果矩阵Fi,计算出三个通道的数据矩阵△i,0、△i,1和△i,2
步骤5.将这三个通道的数据矩阵△i,0、△i,1和△i,2各自归一化,输入一个预先搭建并训练好的卷积神经网络,该卷积神经网络的输出为四个概率值:该数据块中只存在湿啰音的概率pi,c、该数据块中只存在喘鸣音的概率pi,w、该数据块同时存在湿啰音与喘鸣音的概率pi,cw、该数据块既不存在湿啰音与喘鸣音的概率pi,Null,保存这四个概率值pi=[pi,c,pi,w,pi,cw,pi,Null]T
步骤6.当缓存空间中保存的数据时长达到3.9秒时,剔除前1.9秒数据,将剩下的2秒数据作为第i+1个数据块,回到步骤2;当缓存空间中保存的数据时长未达到3.9秒肺音采集就结束时,进入步骤7;
步骤7.若最终未保存任何数据块的概率值,输出为“无法判断是否存在啰音”;若最终共保存了N个数据块上的概率值p1,p2,...,pN,利用这些概率值,输出“肺音中只存在湿啰音”、“肺音中只存在喘鸣音”、“肺音中同时存在湿啰音与喘鸣音”与“肺音中无啰音”四种状态中的一种,并给出该状态的概率值。
优选的,步骤2中所用的滤波器为Butterworth带通滤波器,通带为100Hz~1000Hz。
优选的,步骤3中计算数据向量xi的对数梅尔滤波器组变换矩阵Fi包括:
首先,计算xi的短时傅里叶变换谱:将xi分为M=31段,每段包含NFFT=1024个采样点,段间交迭50%;令第m段数据表示为xi,m(n),n=0,1,...,NFFT-1,则该段的快速傅里叶变换计算为
Figure GDA0003585709460000051
其中h(n)为汉明窗;
然后,|Yi,m(k)|2经由一个梅尔滤波器组滤波;该梅尔滤波器组包含Q=29个梅尔频率域范围fMel(f)=2959×log10(1+f/700),f~[0,fs/2]上均匀间距且50%交迭的三角形滤波器Ψq,q=1,2,...,Q;梅尔滤波器组滤波后的结果为
Figure GDA0003585709460000052
最后,计算xi的对数梅尔滤波器组变换矩阵Fi,其第q行m列的元素由下式给出:Fi[q,m]=log[yi,m(q)]。
优选的,步骤4中计算出三个通道的数据矩阵包括:
首先,第一个通道上的29×29维数据矩阵△i,0=F[:,1:M-2];
然后,第二个通道上的29×29维数据矩阵△i,1=F[:,2:M-1]-F[:,1:M-2];
最后,第三个通道上的29×29维数据矩阵△i,2=(F[:,3:M]-F[:,2:M-1])-△i,1
优选的,步骤5中的卷积神经网络由一个大样本有标注的数据集训练得到,该网络的具体结构如图3所示;该卷积神经网络共有4个卷积层,其卷积核大小分别为5×5、3×3、3×3和3×3;卷积层使用ReLU作为激活函数;池化层使用最大池化;输出层通过softmax输出4个概率pi,c、pi,w、pi,cw和pi,Null;在训练该卷积神经网络过程中,标准差为0.1的截断正态分布用于参数初始权重,同时使用了Adam优化、Dropout学习以及L2正则化。
优选的,步骤7中最终可能输出的四种状态所对应的概率值分别为:
“肺音中只存在湿啰音”的概率
Figure GDA0003585709460000061
“肺音中只存在喘鸣音”的概率
Figure GDA0003585709460000062
“肺音中无啰音”的概率
Figure GDA0003585709460000063
“肺音中同时存在湿啰音与喘鸣音”的概率pcw=1-pc-pw-pNull
最终输出的是这四种状态中概率最大的那一种状态以及其对应的概率。
为解决上述技术问题,本发明还提供一种电子听诊器的肺部啰音人工智能实时分类系统,包括:
电子听诊器,对肺音采集,为采集得到的数据分配一个缓存空间并持续进入缓存,当数据累积到2秒时长时,启动肺部啰音自动分类程序;
带通滤波器,对采集的数据进行滤波,并作归一化;
对数梅尔滤波器组,对数据向量变换结果矩阵,计算出三个通道的数据矩阵;
卷积神经网络,用于三个通道的数据矩阵输入,输出并保存四个概率值;
其中:电子听诊器、带通滤波器、对数梅尔滤波器组以及卷积神经网络顺次连接。
优选的,所述带通滤波器采用Butterworth带通滤波器,通带为100Hz~1000Hz,卷积神经网络共有4个卷积层,其卷积核大小分别为5×5、3×3、3×3和3×3;卷积层使用ReLU作为激活函数;池化层使用最大池化;输出层通过softmax输出。
为解决上述技术问题,本发明还提供一种电子听诊器的肺部啰音人工智能实时分类装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述任一项所述的电子听诊器的肺部啰音人工智能实时分类方法的步骤。
为解决上述技术问题,本发明还提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的电子听诊器的肺部啰音人工智能实时分类方法的步骤。
与现有技术相比,本发明的有益效果是:
(1)本发明随时间滑动选取数据块输入特定的卷积神经网络进行分类,并最终联合所有的数据块的分类结果得到最终总的啰音分类结果,不需要预设输入数据的长度,可实现啰音实时自动分类,且利用多时间段联合啰音分类可提高分类结果的鲁棒性;
(2)本发明提取三通道的对数梅尔滤波器组变换特征作为卷积神经网络的输入;
(3)本发明明确给出了一种具体且有效的卷积神经网络结构用于肺部啰音分类,其中利用卷积层来发现输入数据更深层的特征,并在卷积层之后加入池化层来提高网络的容错能力;
(4)本发明在训练卷积神经网络过程中加入了标准差为0.1的截断正态分布用于参数权重初始化,同时使用Adam优化、Dropout学习以及L2正则化来防止过拟合,提高了本方法的鲁棒性;
(5)本发明可实现湿啰音、喘鸣音、两者都包含和两者都不包含这四种情况的多分类。
附图说明
图1为现有技术中含有不同附加啰音的呼吸音示意图;
图2为本发明所提出电子听诊器的肺部啰音人工智能实时分类方法的流程图;
图3为本发明单个数据块做四分类所用的卷积神经网络结构图;
图4为本发明预处理与提取的特征图:其中(a)为原始采集的信号波形示例图;(b)为对其中某段2秒数据块预处理之后的信号波形示例图;
图5为本发明电子听诊器的肺部啰音人工智能实时分类系统结构示意图;
图6为本发明电子听诊器的肺部啰音人工智能实时分类装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1~6,本发明提供一种技术方案:
通过电子听诊器实时采集肺音信号,为采集得到的数据分配一个缓存空间并持续进入缓存。当数据累积到2秒时长时,启动肺部啰音自动分类程序(数据波形示例如图4(a)所示)。
对该2秒时长的数据块降采样到fs=8kHz,通过1个通带为100Hz~1000Hz的Butterworth带通滤波器进行滤波,并作归一化。图4(b)所展示的是其中一段预处理之后的2秒数据块,若该数据块为第i个数据块,记该预处理后的数据块为向量xi,并计算此数据向量xi的对数梅尔滤波器组变换,表示为矩阵Fi,具体过程为:(1)首先,计算xi的短时傅里叶变换谱:将xi分为M=31段,每段包含NFFT=1024个采样点,段间交迭50%;令第m段数据表示为xi,m(n),n=0,1,...,NFFT-1,则该段的快速傅里叶变换计算为
Figure GDA0003585709460000091
其中h(n)为汉明窗;(2)然后,|Yi,m(k)|2经由一个梅尔滤波器组滤波,该梅尔滤波器组包含Q=29个梅尔频率域范围fMel(f)=2959×log10(1+f/700),f~[0,fs/2]上均匀间距且50%交迭的三角形滤波器Ψq,q=1,2,...,Q,梅尔滤波器组滤波后的结果为
Figure GDA0003585709460000092
(3)最后,计算xi的对数梅尔滤波器组变换矩阵Fi,其第q行m列的元素由下式给出:Fi[q,m]=log[yi,m(q)]。在得到对数梅尔滤波器组变换结果矩阵Fi之后,通过
Figure GDA0003585709460000093
计算出三个通道的数据矩阵△i,0、△i,1和△i,2。将这三个通道的数据矩阵△i,0、△i,1和△i,2各自归一化,输入一个预先搭建并训练好的卷积神经网络(如图3所展示),该卷积神经网络的输出为四个概率值:该数据块中只存在湿啰音的概率pi,c、该数据块中只存在喘鸣音的概率pi,w、该数据块同时存在湿啰音与喘鸣音的概率pi,cw、该数据块既不存在湿啰音与喘鸣音的概率pi,Null,保存这四个概率值pi=[pi,c,pi,w,pi,cw,pi,Null]T
当缓存空间中保存的数据时长达到3.9秒时,剔除前1.9秒数据,将剩下的2秒数据作为第i+1个数据块,并重复上述的过程。当缓存空间中保存的数据时长未达到3.9秒肺音采集就结束时,则进行判断:若最终未保存任何数据块的概率值,输出为“无法判断是否存在啰音”;若最终共保存了N个数据块上的概率值p1,p2,...,pN,计算“肺音中只存在湿啰音”的概率
Figure GDA0003585709460000101
“肺音中只存在喘鸣音”的概率
Figure GDA0003585709460000102
“肺音中同时存在湿啰音与喘鸣音”的概率pcw=1-pc-pw-pNull和“肺音中无啰音”的概率
Figure GDA0003585709460000103
比较这四个概率的大小,概率最大的状态即为识别出的状态,输出“肺音中只存在湿啰音”、“肺音中只存在喘鸣音”、“肺音中同时存在湿啰音与喘鸣音”与“肺音中无啰音”四种状态中的一种,并给出该状态的概率值。
利用生物医学与健康信息国际会议提供的920段肺音数据(涵盖了本发明涉及的四种肺音情况,每段数据长度非定长,持续时间在10秒~90秒)与申请人团队在国内几家医院儿科采集的508段肺音数据(同样涵盖了本发明涉及的四种肺音情况,每段数据长度在30秒以上),共1428段数据作为肺音数据库,进行神经网络的训练和分类效果的验证。将其中1071段数据作为训练集,将其按本发明的数据块滑动选取方式切分出共14524个数据块,按前述方法提取其各自的三通道对数梅尔滤波器组变换特征并打上标记,进行卷积神经网络的训练。该网络的具体结构如图3所示;该卷积神经网络共有4个卷积层,其卷积核大小分别为5×5、3×3、3×3和3×3;卷积层使用ReLU作为激活函数;池化层使用最大池化;输出层通过softmax输出4个概率pi,c、pi,w、pi,cw和pi,Null;在训练该卷积神经网络过程中,标准差为0.1的截断正态分布用于参数初始权重,同时使用了Adam优化、Dropout学习以及L2正则化。最后,利用余下的357段肺音数据作为测试集,得到最终测试集肺音数据段的啰音分类准确率为95.80%。
本发明提出的一种电子听诊器的肺部啰音人工智能实时分类方法,主要解决的技术问题包括:
(1)如何在实际肺音采集总时长不确定的条件下给出一种统一的啰音实时分类方法;(2)由于不同的啰音与不同的病症有关,因此如何实现啰音的多分类;(3)如何提高啰音检测与分类结果的鲁棒性。
本发明,通过上述方法,(1)可以在实际肺音采集总时长不确定的条件下给出一种统一的啰音实时分类方法;(2)本发明可以实现湿啰音、喘鸣音、两者都包含和两者都不包含这四种情况的多分类;(3)本发明可以有效的提高啰音检测与分类结果的鲁棒性。
具体来说:
(1)本发明随时间滑动选取数据块输入特定的卷积神经网络进行分类,并最终联合所有的数据块的分类结果得到最终总的啰音分类结果,不需要预设输入数据的长度,可实现啰音实时自动分类,且利用多时间段联合啰音分类可提高分类结果的鲁棒性;
(2)本发明提取三通道的对数梅尔滤波器组变换特征作为卷积神经网络的输入;
(3)本发明明确给出了一种具体且有效的卷积神经网络结构用于肺部啰音分类,其中利用卷积层来发现输入数据更深层的特征,并在卷积层之后加入池化层来提高网络的容错能力;
(4)本发明在训练卷积神经网络过程中加入了标准差为0.1的截断正态分布用于参数权重初始化,同时使用Adam优化、Dropout学习以及L2正则化来防止过拟合,提高了本方法的鲁棒性;
(5)本发明可实现湿啰音、喘鸣音、两者都包含和两者都不包含这四种情况的多分类。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种电子听诊器的肺部啰音人工智能实时分类方法,其特征在于,包括:
步骤1.从电子听诊器启动肺音采集开始,实时读取采集通道中的数据到某缓存空间,当数据累积到2秒时长时,启动肺部啰音自动分类程序;
步骤2.对该2秒时长的数据块降采样到fs=8kHz,通过1个带通滤波器,并作归一化;对数据块预处理,若该数据块为第i个数据块,记该预处理后的数据块为向量xi
步骤3.计算数据向量xi的对数梅尔滤波器组变换,表示为矩阵Fi
步骤4.利用对数梅尔滤波器组变换结果矩阵Fi,计算出三个通道的数据矩阵△i,0、△i,1和△i,2
步骤5.将这三个通道的数据矩阵△i,0、△i,1和△i,2各自归一化,输入一个预先搭建并训练好的卷积神经网络,该卷积神经网络的输出为四个概率值:该数据块中只存在湿啰音的概率pi,c、该数据块中只存在喘鸣音的概率pi,w、该数据块同时存在湿啰音与喘鸣音的概率pi,cw、该数据块既不存在湿啰音与喘鸣音的概率pi,Null,保存这四个概率值pi=[pi,c,pi,w,pi,cw,pi,Null]T
步骤6.当缓存空间中保存的数据时长达到3.9秒时,剔除前1.9秒数据,将剩下的2秒数据作为第i+1个数据块,回到步骤2;当缓存空间中保存的数据时长未达到3.9秒肺音采集就结束时,进入步骤7;
步骤7.若最终未保存任何数据块的概率值,输出为“无法判断是否存在啰音”;若最终共保存了N个数据块上的概率值p1,p2,...,pN,利用这些概率值,输出“肺音中只存在湿啰音”、“肺音中只存在喘鸣音”、“肺音中同时存在湿啰音与喘鸣音”与“肺音中无啰音”四种状态中的一种,并给出该状态的概率值。
2.根据权利要求1所述的一种电子听诊器的肺部啰音人工智能实时分类方法,其特征在于,步骤2中所用的滤波器为Butterworth带通滤波器,通带为100Hz~1000Hz。
3.根据权利要求1所述的一种电子听诊器的肺部啰音人工智能实时分类方法,其特征在于,
步骤3中计算数据向量xi的对数梅尔滤波器组变换矩阵Fi包括:
首先,计算xi的短时傅里叶变换谱:将xi分为M=31段,每段包含NFFT=1024个采样点,段间交迭50%;令第m段数据表示为xi,m(n),n=0,1,...,NFFT-1,则该段的快速傅里叶变换计算为
Figure FDA0003688547000000021
其中h(n)为汉明窗;
然后,|Yi,m(k)|2经由一个梅尔滤波器组滤波;该梅尔滤波器组包含Q=29个梅尔频率域范围fMel(f)=2959×log10(1+f/700),f~[0,fs/2]上均匀间距且50%交迭的三角形滤波器Ψq,q=1,2,...,Q;梅尔滤波器组滤波后的结果为
Figure FDA0003688547000000022
最后,计算xi的对数梅尔滤波器组变换矩阵Fi,其第q行m列的元素由下式给出:Fi[q,m]=log[yi,m(q)]。
4.根据权利要求1所述的一种电子听诊器的肺部啰音人工智能实时分类方法,其特征在于,
步骤4中计算出三个通道的数据矩阵包括:
首先,第一个通道上的29×29维数据矩阵△i,0=F[:,1:M-2];
然后,第二个通道上的29×29维数据矩阵△i,1=F[:,2:M-1]-F[:,1:M-2];
最后,第三个通道上的29×29维数据矩阵△i,2=(F[:,3:M]-F[:,2:M-1])-△i,1,M为xi分为的段数。
5.根据权利要求1所述的一种电子听诊器的肺部啰音人工智能实时分类方法,其特征在于,
步骤5中的卷积神经网络由一个大样本有标注的数据集训练得到,该卷积神经网络共有4个卷积层,其卷积核大小分别为5×5、3×3、3×3和3×3;卷积层使用ReLU作为激活函数;池化层使用最大池化;输出层通过softmax输出4个概率pi,c、pi,w、pi,cw和pi,Null;在训练该卷积神经网络过程中,标准差为0.1的截断正态分布用于参数初始权重,同时使用了Adam优化、Dropout学习以及L2正则化。
6.根据权利要求1所述的一种电子听诊器的肺部啰音人工智能实时分类方法,其特征在于,
步骤7中最终可能输出的四种状态所对应的概率值分别为:
“肺音中只存在湿啰音”的概率
Figure FDA0003688547000000031
“肺音中只存在喘鸣音”的概率
Figure FDA0003688547000000032
“肺音中无啰音”的概率
Figure FDA0003688547000000033
“肺音中同时存在湿啰音与喘鸣音”的概率pcw=1-pc-pw-pNull
7.一种电子听诊器的肺部啰音人工智能实时分类系统,其特征在于,包括:
电子听诊器,对肺音采集,为采集得到的数据分配一个缓存空间并持续进入缓存,当数据累积到2秒时长时,启动肺部啰音自动分类程序;
带通滤波器,对采集的数据进行滤波,并作归一化;
对数梅尔滤波器组,对数据向量变换结果矩阵,计算出三个通道的数据矩阵;
卷积神经网络,用于三个通道的数据矩阵输入,输出并保存四个概率值;
将这三个通道的数据矩阵各自归一化,输入一个预先搭建并训练好的卷积神经网络,该卷积神经网络的输出为四个概率值:该数据块中只存在湿啰音的概率pi,c、该数据块中只存在喘鸣音的概率pi,w、该数据块同时存在湿啰音与喘鸣音的概率pi,cw、该数据块既不存在湿啰音与喘鸣音的概率pi,Null,保存这四个概率值pi=[pi,c,pi,w,pi,cw,pi,Null]T
当缓存空间中保存的数据时长达到3.9秒时,剔除前1.9秒数据,将剩下的2秒数据作为第i+1个数据块,回到步骤2;当缓存空间中保存的数据时长未达到3.9秒肺音采集就结束时,进入下一步骤;
若最终未保存任何数据块的概率值,输出为“无法判断是否存在啰音”;若最终共保存了N个数据块上的概率值p1,p2,...,pN,利用这些概率值,输出“肺音中只存在湿啰音”、“肺音中只存在喘鸣音”、“肺音中同时存在湿啰音与喘鸣音”与“肺音中无啰音”四种状态中的一种,并给出该状态的概率值;
其中:电子听诊器、带通滤波器、对数梅尔滤波器组以及卷积神经网络顺次连接。
8.根据权利要求7所述的一种电子听诊器的肺部啰音人工智能实时分类系统,其特征在于,所述带通滤波器采用Butterworth带通滤波器,通带为100Hz~1000Hz,卷积神经网络共有4个卷积层,其卷积核大小分别为5×5、3×3、3×3和3×3;卷积层使用ReLU作为激活函数;池化层使用最大池化;输出层通过softmax输出。
9.一种电子听诊器的肺部啰音人工智能实时分类装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1~6任一项所述的电子听诊器的肺部啰音人工智能实时分类方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1~6任一项所述的电子听诊器的肺部啰音人工智能实时分类方法的步骤。
CN201911280663.2A 2019-12-13 2019-12-13 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质 Active CN110970042B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911280663.2A CN110970042B (zh) 2019-12-13 2019-12-13 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质
PCT/CN2020/113511 WO2021114761A1 (zh) 2019-12-13 2020-09-04 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911280663.2A CN110970042B (zh) 2019-12-13 2019-12-13 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN110970042A CN110970042A (zh) 2020-04-07
CN110970042B true CN110970042B (zh) 2023-04-18

Family

ID=70034137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911280663.2A Active CN110970042B (zh) 2019-12-13 2019-12-13 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质

Country Status (2)

Country Link
CN (1) CN110970042B (zh)
WO (1) WO2021114761A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110970042B (zh) * 2019-12-13 2023-04-18 苏州美糯爱医疗科技有限公司 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质
CN111466947A (zh) * 2020-04-15 2020-07-31 哈尔滨工业大学 电子听诊的肺音信号处理方法
TWI769449B (zh) * 2020-04-21 2022-07-01 廣達電腦股份有限公司 濾波系統及濾波方法
CN111933185A (zh) * 2020-10-09 2020-11-13 深圳大学 基于知识蒸馏的肺音分类方法、系统、终端及存储介质
CN112932525B (zh) * 2021-01-27 2023-04-07 山东大学 一种肺音异常智能诊断系统、介质及设备
CN114663307B (zh) * 2022-03-22 2023-07-04 哈尔滨工业大学 基于不确定性网络的集成图像去噪系统
CN114869224A (zh) * 2022-03-28 2022-08-09 浙江大学 基于协同深度学习和肺部听诊音的肺部疾病分类检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106073709A (zh) * 2016-06-03 2016-11-09 中国科学院声学研究所 一种罗音检测的方法和装置
EP3100675A1 (en) * 2015-06-03 2016-12-07 IMEDI PLUS Inc. Method and system for recognizing physiological sound
CN107545906A (zh) * 2017-08-23 2018-01-05 京东方科技集团股份有限公司 肺音信号处理方法、处理设备以及可读存储介质
CN107818366A (zh) * 2017-10-25 2018-03-20 成都力创昆仑网络科技有限公司 一种基于卷积神经网络的肺音分类方法、系统及用途
CN109273085A (zh) * 2018-11-23 2019-01-25 南京清科信息科技有限公司 病理呼吸音库的建立方法、呼吸疾病的检测系统及处理呼吸音的方法
CN109805954A (zh) * 2019-01-23 2019-05-28 苏州美糯爱医疗科技有限公司 一种电子听诊器的摩擦音干扰自动消除方法
CN110532424A (zh) * 2019-09-26 2019-12-03 西南科技大学 一种基于深度学习和云平台的肺音特征分类系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9113780B2 (en) * 2012-03-29 2015-08-25 I Shou University Device and method for detecting occurrence of wheeze
US11315687B2 (en) * 2012-06-18 2022-04-26 AireHealth Inc. Method and apparatus for training and evaluating artificial neural networks used to determine lung pathology
TWI646942B (zh) * 2018-02-06 2019-01-11 財團法人工業技術研究院 肺音監測裝置及肺音監測方法
CN110970042B (zh) * 2019-12-13 2023-04-18 苏州美糯爱医疗科技有限公司 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3100675A1 (en) * 2015-06-03 2016-12-07 IMEDI PLUS Inc. Method and system for recognizing physiological sound
CN106073709A (zh) * 2016-06-03 2016-11-09 中国科学院声学研究所 一种罗音检测的方法和装置
CN107545906A (zh) * 2017-08-23 2018-01-05 京东方科技集团股份有限公司 肺音信号处理方法、处理设备以及可读存储介质
CN107818366A (zh) * 2017-10-25 2018-03-20 成都力创昆仑网络科技有限公司 一种基于卷积神经网络的肺音分类方法、系统及用途
CN109273085A (zh) * 2018-11-23 2019-01-25 南京清科信息科技有限公司 病理呼吸音库的建立方法、呼吸疾病的检测系统及处理呼吸音的方法
CN109805954A (zh) * 2019-01-23 2019-05-28 苏州美糯爱医疗科技有限公司 一种电子听诊器的摩擦音干扰自动消除方法
CN110532424A (zh) * 2019-09-26 2019-12-03 西南科技大学 一种基于深度学习和云平台的肺音特征分类系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Pre-trained Convolutional Neural Networks for the Lung Sounds Classification;Valentyn Vaityshyn,et al.;《2019 IEEE 39th International Conference on Electronics and Nanotechnology》;IEEE;20190801;全文 *
郑明杰等.基于机器学习的肺音分类技术的研究进展.《计算机科学 》.中国知网,2015,第42卷(第12期),全文. *

Also Published As

Publication number Publication date
WO2021114761A1 (zh) 2021-06-17
CN110970042A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN110970042B (zh) 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质
CN108670200B (zh) 一种基于深度学习的睡眠鼾声分类检测方法及系统
Mouawad et al. Robust detection of COVID-19 in cough sounds: using recurrence dynamics and variable Markov model
Naseri et al. Detection and boundary identification of phonocardiogram sounds using an expert frequency-energy based metric
CN110570880B (zh) 一种鼾声信号识别方法
Lin et al. Automatic wheezing detection using speech recognition technique
WO2018011801A1 (en) Estimation of sleep quality parameters from whole night audio analysis
JP7197922B2 (ja) 機械学習装置、解析装置、機械学習方法および解析方法
CN110755108A (zh) 一种基于智能听诊器的心脏声音分类方法、系统、装置及可读存储介质
CN111368627A (zh) Cnn结合改进频率小波切片变换的心音分类方法及系统
CN112820275A (zh) 一种基于声音信号分析哺乳仔猪异常的自动监测方法
CN113796889A (zh) 一种基于深度学习的辅助电子听诊器信号判别方法
Abdollahpur et al. Cycle selection and neuro-voting system for classifying heart sound recordings
Rujoie et al. Classification and evaluation of the severity of tricuspid regurgitation using phonocardiogram
CN111938650A (zh) 监测睡眠时呼吸暂停的方法及装置
CN111613210A (zh) 一种各类呼吸暂停综合征的分类检测系统
CN115486865A (zh) 一种基于卷积循环神经网络的心音分类方法
CN111938691B (zh) 一种基础心音识别方法及设备
Akbari et al. Systolic murmurs diagnosis improvement by feature fusion and decision fusion
Kala et al. An objective measure of signal quality for pediatric lung auscultations
CN113449636B (zh) 一种基于人工智能的主动脉瓣狭窄严重程度自动分类方法
Sengupta et al. Optimization of cepstral features for robust lung sound classification
Fahad et al. Phonocardiogram heartbeat segmentation and autoregressive modeling for person identification
Balasubramanian et al. Machine Learning-Based Classification of Pulmonary Diseases through Real-Time Lung Sounds.
Patel et al. Different Transfer Learning Approaches for Recognition of Lung Sounds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant