CN111956259A - 基于深度神经网络架构的肺音识别方法、装置和设备 - Google Patents

基于深度神经网络架构的肺音识别方法、装置和设备 Download PDF

Info

Publication number
CN111956259A
CN111956259A CN202010815366.XA CN202010815366A CN111956259A CN 111956259 A CN111956259 A CN 111956259A CN 202010815366 A CN202010815366 A CN 202010815366A CN 111956259 A CN111956259 A CN 111956259A
Authority
CN
China
Prior art keywords
lung
pressure level
sound
sound pressure
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010815366.XA
Other languages
English (en)
Other versions
CN111956259B (zh
Inventor
李琳
柳玲玲
洪青阳
郭东辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202010815366.XA priority Critical patent/CN111956259B/zh
Publication of CN111956259A publication Critical patent/CN111956259A/zh
Application granted granted Critical
Publication of CN111956259B publication Critical patent/CN111956259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/003—Detecting lung or respiration noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pulmonology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Instructional Devices (AREA)

Abstract

本申请公开了一种基于深度神经网络架构的肺音识别方法，包括：建立支气管仿真模型，设置仿真条件仿真得到肺音的声压级频谱，再计算出声压级频谱包络曲线，其中，声压级频谱包括声压级和频率之间的关系；基于声压级频谱及其包络曲线，确定肺部声学滤波器组；将肺音数据进行傅里叶变换后，通过肺部声学滤波器组得到滤波后的频谱，再进行倒谱分析和离散余弦变换，得到肺音数据的声学特征；利用深度神经网络架构建立端到端肺音识别系统，输入为肺音数据声学特征，输出为肺音类别；将待识别肺音数据的声学特征输入到训练好的端到端系统中，以识别待识别肺音数据的肺音类别。本申请还提供了一种肺音识别装置、一种计算设备以及一种计算机可读存储介质。

Description

基于深度神经网络架构的肺音识别方法、装置和设备
技术领域
本申请涉及一种基于深度神经网络架构的肺音识别方法、一种肺音识别装置、一种计算设备以及一种计算机可读存储介质。
背景技术
肺音是表征肺部信息一项指标。通常可以将肺音分为两大类：正常音和异常音。正常音包括肺泡音、气管音和支气管肺泡音等。异常音可分为干啰音、大水泡音、中水泡音、小水泡音和捻发音等。传统肺音识别方法是采用人工听诊方法，但这存在主观判断、专家经验及人耳敏感度等问题。随着数字信号分析技术的发展和硬件设备性能的提高，高质量的肺音数据可以被保留并用于分析及研究，计算机辅助识别肺音的研究趋势越发明显。大多数研究人员采用机器学习策略对肺音进行分类，如采用表征人耳听觉特性的梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient，MFCC)作为声学特征，使用基于最大似然估计的高斯混合模型(Gaussian Mixture Model，GMM)；也可引入隐马尔科夫模型(HiddenMarkov Model，HMM)对肺音信号进行时序状态建模；以及基于深度神经网络(Deep NeuralNetworks，DNN)实现肺音非线性特征提取及分类研究。但是这些肺音识别系统的特征提取和分类模型都是各自独立的，且抗噪能力有限。
另外，从目前将深度学习技术应用于肺音分类的相关研究来看，大多数是在基于语音信号处理技术的基础上直接对肺音数据分析，并没有对与肺音相关的气流流动规律、肺音声压情况与支气管结构之间的关系进行深入研究，导致肺音自动分类技术的分类准确性较低。
发明内容
本申请提供了一种基于深度神经网络架构的肺音识别方法，包括：建立支气管仿真模型，设置仿真条件对所述支气管仿真模型进行仿真得到肺音的声压级频谱，再计算出声压级频谱包络曲线，其中，所述声压级频谱包括声压级和频率之间的关系，所述声压级频谱包络曲线是将声压级频谱中不同频率的振幅最高点连结起来得到的曲线。基于声压级频谱和所述声压级频谱包络曲线，确定肺部声学滤波器组。将待识别肺音数据进行傅里叶变换后，通过所述肺部声学滤波器组对傅里叶变换后的待识别肺音频谱进行滤波处理得到滤波后的频谱，再对滤波后的频谱进行倒谱分析和离散余弦变换，得到待识别肺音数据的声学特征。将所述待识别肺音数据的声学特征输入到经训练肺音识别系统中，以识别所述待识别肺音数据的肺音类别，其中，所述经训练肺音识别系统是利用深度神经网络架构建立的。
本申请的另一个方面提供了一种肺音识别装置，包括：建立模块、确定模块、提取模块和识别模块。其中，建立模块，建立支气管仿真模型，设置仿真条件对所述支气管仿真模型进行仿真得到肺音声压级频谱，再计算出声压级频谱包络曲线，其中，所述声压级频谱包括声压级和频率之间的关系，所述声压级频谱包络曲线是将声压级频谱中不同频率的振幅最高点连结起来得到的曲线。确定模块，基于声压级频谱和和所述声压级频谱包络曲线，确定肺部声学滤波器组。提取模块，将待识别肺音时域数据进行傅里叶变换后，通过所述肺部声学滤波器组对傅里叶变换后的待识别肺音频谱进行滤波处理得到滤波后的频谱，再对滤波后的频谱进行倒谱分析和离散余弦变换，得到待识别肺音数据的声学特征。识别模块，将所述待识别肺音数据的声学特征输入到经训练肺音识别系统中，以识别所述待识别肺音数据的肺音类别，其中，所述经训练肺音识别系统是利用深度神经网络架构建立的。
本申请的另一个方面提供了一种计算设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器用于实现如上的方法。
本申请的另一方面提供了一种非易失性可读存储介质，存储有计算机可执行指令，指令在被执行时用于实现如上的方法。
本申请的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上的方法。
附图说明
为了更完整地理解本申请及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了根据本申请实施例的各类支气管模型的16个仿真位置点分布图；
图2示意性示出了根据本申请实施例的一种基于深度神经网络架构的肺音识别方法的流程图；
图3示意性示出了根据本申请实施例的整体框架图；
图4示意性示出了根据本申请实施例的支气管几何模型的示意图；
图5示意性示出了根据本申请实施例的支气管双向流固耦合迭代流程图；
图6示意性示出了根据本申请实施例的端到端肺音识别系统结构示意图；
图7示意性示出了根据本申请实施例的肺音识别装置的框图；以及
图8示意性示出了根据本申请实施例的用于实现肺音识别的计算机系统的方框图。
具体实施方式
以下，将参照附图来描述本申请的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本申请的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本申请实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本申请。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在后文的公式中，加粗的字母代表矩阵，如管壁应力张量Yb；字母上方带有箭头代表矢量；字母上标带有横线代表均值，如
Figure BDA0002631599420000041
表示滤波后的气流在i方向上的平均速度分量；下标n，i，j，k分别表示沿支气管壁外方向和i，j，k方向，例如
Figure BDA0002631599420000042
表示气流在i方向上的速度分量；i，j，k均可取I，J，K，I，J，K分别表示为选定的笛卡尔直角坐标系I(横轴)、J(纵轴)，K(竖轴)方向；上标带有b的表示支气管管壁的参数，例如，ρ是气流密度，而ρb是支气管壁密度。
本申请提供了一种基于深度神经网络架构的肺音识别方法，包括：建立支气管仿真模型，设置仿真条件仿真得到肺音的声压级频谱，再计算出声压级频谱包络曲线，其中，声压级频谱包括声压级和频率之间的关系，声压级频谱包络曲线是将声压级频谱中不同频率的振幅最高点连结起来的曲线；基于声压级频谱和声压级频谱包络曲线，确定肺部声学滤波器组；将待识别肺音时域数据进行傅里叶变换后，通过肺部声学滤波器组对傅里叶变换后的待识别肺音频谱进行滤波处理得到滤波后的频谱，再对滤波后的频谱进行倒谱分析和离散余弦变换，得到待识别肺音数据的声学特征；利用深度神经网络架构建立端到端肺音识别系统，输入为肺音数据声学特征，输出为肺音类别；将待识别肺音数据的声学特征输入到训练好的端到端系统中，以识别待识别肺音数据的肺音类别。
其中，本申请中所指的肺音数据均可以是肺音时域数据。
图2示意性示出了根据本申请实施例的由计算设备执行的肺音识别方法的流程图。
如图2所示，该由计算设备执行的肺音识别方法例如包括操作S210～操作S240。
在操作S210，建立支气管仿真模型，设置仿真条件对支气管仿真模型进行仿真得到肺音的声压级频谱，再计算出声压级频谱包络曲线，其中，声压级频谱包括声压级和频率之间的关系，声压级频谱包络曲线是将声压级频谱中不同频率的振幅最高点连结起来的曲线。
根据本申请实施例，支气管仿真模型例如可以是预先建立的模型。仿真条件例如可以包括设置支气管的管壁厚度为1.6mm，弹性模量D为9MPa，泊松比为0.4。设置支气管流体域仿真条件例如包括设定仿真气温为37℃，气流密度ρ例如取1.1kg/m3，气流的运动粘性系数v例如取14.8×10-6m2/s，以及设置入口初始速度。通过对支气管仿真模型进行仿真处理，可以得到支气管仿真模型内部的声压级和频率之间的关系，之后计算得到声压级频谱的包络曲线。
在一种实施例中，支气管仿真模型例如包括基础支气管模型和基于基础支气管模型构建的多类支气管模型。
其中，基于基础支气管模型构建的多类支气管模型可以包括：修改基础支气管模型的几何参数从而构建得到多类支气管模型。其中，修改基础支气管模型的几何参数可以包括减小基础支气管模型中的部分支气管的直径，使得基础支气管模型中部分支气管变窄，以得到多类支气管模型。或者，修改基础支气管模型的几何参数还可以包括设置基础支气管模型的相关参数，使得基础支气管模型中部分支气管堵塞，以得到多类支气管模型。可见，通过修改基础支气管模型的几何参数可以得到变窄或堵塞的多类支气管模型。
根据本申请实施例，声压级频谱例如可以包括利用基础支气管模型进行仿真得到的第一类声压级频谱。另外，声压级频谱还可以包括利用所述多类支气管模型进行仿真得到的与所述多类支气管模型一一对应的多类声压级频谱，之后得到与第一类声压级频谱和多类声压级频谱一一对应的声压级频谱包络曲线。其中，所述多类声压级频谱包括N-1类声压级频谱，所述第一类声压级频谱和所述多类声压级频谱组成N类声压级频谱，N为大于等于2的整数。
针对所述第一类声压级频谱和所述多类声压级频谱，该任一类声压级频谱包括16个声压级频谱。因为在仿真过程中可以对所述基础支气管模型和所述多类支气管模型分别进行16个仿真位置点仿真得到16个声压级频谱。各类支气管模型的16个仿真位置点分布如图1的序号1-16。
在操作S220，基于声压级频谱和声压级频谱包络曲线，确定肺部声学滤波器组。
传统的方法一般是基于Mel刻度上若干三角滤波器对肺音数据进行滤波。尽管在求取肺音的声学特征参数时考虑了肺音频谱能量主要集中于2000Hz以下这一特点，但肺音频谱在这一频带范围上并非符合Mel三角滤波器组的分布形式。因此，本申请实施例对声学滤波器组进行改进。改进后的滤波器组不再按照人耳听觉机制，而是针对肺音声压级频谱的截止频率及其包络曲线中包络峰值所对应的一定频率范围内信号的分辨率进行设计。因此，肺部声学滤波器组中各个声学滤波器的中心频率可以根据得到的声压级频谱及其包络曲线而确定。
以下所阐述的肺部声学滤波器组确定方式根据肺音声压级频谱及其包络曲线确定，使用此方式所确定的肺部声学滤波器组中心频率与实际采集的肺音数据频谱中的截止频率、频谱包络曲线的包络峰值频率基本吻合。
例如，计算机对得到的16个第一类声压级频谱和16×(N-1)个多类声压级频谱分别进行截止频率检测，所述截止频率是指声压级频谱中声压级降低到最大声压级的
Figure BDA0002631599420000061
时所对应的最小频率值。删除这些截止频率中重复的频率值，将保留下的截止频率由小到大排列得到{fO，1，fO，2，......，fO，P}，一般情况下fO，P≤300Hz。首先令fC，1＝fO，1，将fC，1与{fO，2，......，fO，P}中的频率依次比较差值，找到{fO，2，......，fO，P}中与fC，1的差值大于或等于25Hz的最小频率值fO，p，令fC，2＝fO，p。将fC，2与{fO，p，......，fO，P}中的频率依次比较差值，取与fC，2的差值大于或等于25Hz的最小频率值作为fC，3，以此类推，得到一系列频率值{fC，1，fC，2，...，fC，W}。
然后，将{fC，1，fC，2，...，fC，W}分别作为声学滤波器组中第一数量个滤波器的中心频率，第一数量例如为W。一般情况下fC，W≤300Hz。
接下来，从肺部声学滤波器组中第一数量个滤波器的中心频率{fC，1，fC，2，...，fC，W}中确定最大的中心频率fC，W。然后，选取频率在所确定的中心频率fC，W到2000Hz范围内的第一类声压级频谱包络曲线和多类声压级频谱包络曲线中所有包络峰值所对应的频率，简称包络峰值频率。即，实现了从每一类声压级频谱包络曲线中选取一个或多个包络峰值频率。
然后，需要对这些包络峰值频率进行筛选，删除这些包络峰值频率中重复的频率值，将保留下的包络峰值频率由小到大排列得到{fQ，1，fQ，2，......，fQ，Z}。首先令fC，(W+1)＝fQ，1，将fC，(W+1)与{fQ，2，......，fQ，Z}中的频率依次比较差值，找到{fQ，2，......，fQ，Z}中与fC，(W+1)的差值大于或等于50Hz的最小频率值fQ，z，令fC，(W+2)＝fQ，z。将fC，(W+2)与{fQ，z，.....，fQ，Z}中的频率依次比较差值，取与fC，(W+2)的差值大于或等于25Hz的最小频率值作为fC(W+3)，以此类推，得到第二数量个包络峰值频率值{fC，(W+1)，fC，(W+2)，...，fC，(W+M)}，第二数量例如为M。
如果fC，(W+M)≤1900Hz，则可以按照频率步长在fC，(W+M)到2000Hz的频率范围内增加滤波器组的中心频率。频率步长例如可以是100Hz。例如包括{fC，(W+M+1)，fC，(W+M+2)，...，fC，(W+M+G)}作为声学滤波器组中第三数量个滤波器的中心频率，第三数量例如为G。其中，{fC，(W+M+1)，fC，(W+M+2)，...，fC，(W+M+G)}依次增大，例如fC，(W+M+1)比fC，(W+M)大100Hz，fC，(W+M+2)比fC，(W+M+1)大100Hz等等。
如果1900Hz＜fC，(W+M)≤2000Hz，则声学滤波器组中第三数量个滤波器的中心频率的数量G为0。
所确定的声学滤波器组的频率响应Hr(k)为：
Figure BDA0002631599420000081
其中，
Figure BDA0002631599420000082
N′是快速傅里叶变换时的长度，即样本点数，fs是肺音信号的采样频率，r表示{fC，1，...，fC，W，...，fC，(W+M)，...，fC，(W+M+G)}中第r个中心频率。
在操作S230，将待识别肺音数据进行傅里叶变换后，通过肺部声学滤波器组对傅里叶变换后的待识别肺音频谱进行滤波处理得到滤波后的频谱，再对滤波后的频谱进行倒谱分析和离散余弦变换，得到待识别肺音数据的声学特征。
根据本申请实施例，待识别肺音数据例如可以是肺音类别尚未明确的肺音数据进行傅里叶变换后，通过所确定的声学滤波器组对其进行滤波，以便于之后进行倒谱分析和离散余弦变换，得到肺音数据的声学特征，以此特征识别该待识别肺音数据的肺音类别。其中，肺音类别例如可以表征待识别肺音数据属于正常情况下的数据或者处于异常情况下的数据。在本申请实施例中，待识别肺音数据例如可以存储在计算设备、云端等。
例如，可以将待识别肺音数据进行傅里叶变换后，通过肺部声学滤波器组得到滤波后的频谱，再进行倒谱分析和离散余弦变换，得到肺音数据的声学特征。
接下来，在操作S240，将待识别肺音数据的声学特征输入到经训练肺音识别系统中，以识别待识别肺音数据的肺音类别。其中，经训练肺音识别系统例如是利用深度神经网络架构建立的端到端肺音识别系统。
根据本申请实施例，在利用经训练肺音识别系统识别待识别肺音数据的肺音类别之前，首先需要利用深度神经网络架构建立端到端肺音识别系统，接下来将描述利用深度神经网络架构建立端到端肺音识别系统的过程。
首先，利用深度神经网络架构建立初始的端到端肺音识别系统，该初始的端到端肺音识别系统例如为未经训练的肺音识别系统。然后，获取肺音训练数据，肺音训练数据包含肺音时域数据和对应的肺音类别标签，肺音类别标签表征肺音训练数据的肺音类别。将肺音时域数据进行傅里叶变换后，通过肺部声学滤波器组对傅里叶变换后的肺音频谱进行滤波处理得到滤波后的频谱，再进行倒谱分析和离散余弦变换，得到肺音训练数据的声学特征。接下来，将所提取的肺音训练数据的声学特征和肺音训练数据的肺音类别标签输入至初始的端到端肺音识别系统中进行训练，从而得到经训练的端到端肺音识别系统，便于利用经训练的端到端肺音识别系统对上文中的待识别肺音数据进行肺音类别的识别。
其中，端到端肺音识别系统的具体结构将在下文中描述。
图3示意性示出了根据本申请实施例的整体框架图。以下将基于图3来描述本申请实施例的具体实现方式。
如图3所示，本申请实施例的支气管仿真模拟的方法及肺音识别例如包括如下步骤(1)～(5)。
(1)建立支气管几何模型。
(2)构建流体(呼吸气流)控制方程、固体(支气管壁)控制方程、基于流体域(呼吸气流)与固体域(支气管壁)相互耦合。
(3)在流体域气流入口处设定气流入口速度，入口速度例如取1.2m/s，选用大涡模拟LES(Large Eddy Simulation)模型进行流场仿真，计算支气管内流场速度
Figure BDA0002631599420000091
流场单位面积上产生的压力
Figure BDA0002631599420000092
和流场位移xi、xj；根据流固耦合边界条件求得流体域对支气管壁面施加的压力
Figure BDA0002631599420000101
利用固体(支气管壁)控制方程求得支气管壁靠近气流边界面的位移
Figure BDA0002631599420000102
和速度
Figure BDA0002631599420000103
根据流固耦合边界条件求得气流靠近支气管管壁边界面的位移
Figure BDA0002631599420000104
和速度
Figure BDA0002631599420000105
利用大涡模拟LES可求得新的流场速度
Figure BDA0002631599420000106
流场单位面积上产生的压力
Figure BDA0002631599420000107
和流场位移xi、xj。不断循环迭代，确定最终的流场速度
Figure BDA0002631599420000108
流场单位面积上产生的压力
Figure BDA0002631599420000109
和流场位移xi、xj。
(4)基于前面流场仿真得到的流场速度
Figure BDA00026315994200001010
流场单位面积上产生的压力
Figure BDA00026315994200001011
和流场位移xi、xj，选用FW-H(Ffowcs Williams-Haw Kings，非齐次波动方程)声比拟方法计算支气管的声压分布情况。从而得到肺音声压级频谱，并根据声压级频谱得到声压级频谱包络曲线。
(5)结合前面得到的肺音声压级频谱及其包络曲线及采集的肺音训练数据频谱特点，指导设计肺部声学滤波器组，基于深度神经网络架构实现的端到端肺音识别系统，对肺音信号进行分类。
以下将详细介绍以上步骤(1)～(5)的具体实现过程。
根据本申请实施例，在操作S210中关于建立支气管仿真模型例如可以包括：建立支气管几何模型，以及基于支气管几何模型建立支气管力学模型。
根据本申请实施例，肺部例如包括24级支气管。其中，建立支气管几何模型包括：基于24级支气管中的第1级至第4级支气管建立支气管几何模型，支气管几何模型中支气管的固体壁面材料被配置为弹性材料。其中，24级例如包括0-23级别，第1级至第4级例如为0-3级别。
根据本申请实施例，支气管力学模型例如包括支气管流体域模型、固体壁面模型、流固界面及流固耦合边界条件。
对于流体域模型，例如设定仿真气温为37℃，则流体域模型中的气流密度ρ例如取1.1kg/m3，气流的运动粘性系数v例如取14.8×10-6m2/s，流场入口速度例如取1.2m/s。流体域气流运动的控制方程例如可以使用N-S(Navier-Stokes，纳维-斯托克斯)方程，在计算时采用大涡模拟对气流流场速度
Figure BDA0002631599420000111
流场单位面积上产生的压力
Figure BDA0002631599420000112
和流场位移xi、xj进行求解。
对于支气管固体壁面模型，例如可以将支气管壁面设定为薄壁弹性模型，管壁厚度为1.6mm，其弹性模量为9MPa，建立支气管壁面的控制方程。
对于建立流固界面及设置流固耦合边界条件，在流固耦合边界，满足运动学条件(又称位移协调)，动力学条件(又称力平衡)以及流体速度条件；在流固耦合中，针对气流区域计算出压力数据后向支气管管壁区域传递压力数据，针对支气管管壁区域计算出节点位移数据后向气流区域传递节点位移数据，不断迭代。
以下将针对建立支气管几何模型的方法进行描述。在本申请实施例中，整个下呼吸道例如从气管(0级别)开始，逐步分支为主支气管、支气管、细支气管，直到肺泡，共分为24级(0-23级别)，从1级别到10级别的支气管被称为软骨性气道，从11级别到16级别的支气管被称为膜性气道，17级别到19级别的气道因为具有与外界进行氧气与二氧化碳交换的作用，被称作呼吸性支气管，20级别到22级别气道为肺泡管，最末一级(23级别)气道由肺泡囊组成。本申请实施例基于Weibel提出的气道树模型，对支气管进行几何建模。利用分形几何法对气道结构进行逐级二分分叉，同时将每级气道夹角设定为固定值，例如为70°。模型定义气管以下的左右支气管为第一级，按向下顺序逐级二分增加级数至23级别。鉴于正常肺音的主要声源来自大支管中的涡流现象，同时大多数支气管对于肺音产生的影响较小，几乎可忽略不计。因此本申请实施例在建模时可以选取0级别到3级别支气管进行建模。
图4示意性示出了根据本申请实施例的支气管几何模型的示意图。
该支气管几何模型可以使用建模工具建立，例如可以包括SolidWorks软件。其中，支气管几何模型的具体参数例如如表1所示。
表1
级别 直径(mm) 长度(mm)
0 18.0 20.0
1 12.2 47.6
2 8.3 19.0
3 5.6 7.6
根据本申请实施例，由于支气管壁是有弹性组织的，因此，在建立支气管几何模型的过程中，可以将支气管壁材料假设为弹性材料，而非传统的刚性壁面假设，由此可以使得支气管几何模型中的气流与实际气流情况更为接近。在本申请实施例中，将支气管几何模型的材料设定为均匀各项同性的材料，即服从胡克定律的薄壁弹性模型，其弹性模量为9MPa，泊松比为0.4，管壁厚度为1.6mm。如图4所示，各级支气管例如简化为由一系列的圆管连接而成，在同一水平上的分叉角度为70°。
根据本申请实施例，支气管几何模型例如可以包括基础支气管几何模型和基于基础支气管几何模型构建的多类支气管几何模型。
其中，基于基础支气管几何模型构建的多类支气管几何模型可以包括：修改基础支气管几何模型的几何参数从而构建得到多类支气管几何模型。其中，修改基础支气管几何模型的几何参数可以包括减小基础支气管几何模型中的部分支气管的直径，使得基础支气管几何模型中部分支气管变窄，以得到多类支气管几何模型。或者，修改基础支气管几何模型的几何参数还可以包括设置基础支气管几何模型的相关参数，使得基础支气管几何模型中部分支气管堵塞，以得到多类支气管几何模型。可见，通过修改基础支气管几何模型的几何参数可以得到变窄或堵塞的多类支气管几何模型。
根据本申请实施例，基于支气管几何模型，建立支气管力学模型包括：基于支气管几何模型，建立支气管固体壁面包围形成的气流空间的流体域模型，建立支气管的固体壁面模型，建立流固界面及设置流固耦合边界条件，其中，流固界面为支气管的固体壁面和流体域的交界处，支气管固体壁面和支气管流体域内气流存在耦合状态。根据本申请实施例，基于支气管几何模型，建立支气管力学模型的具体过程例如如下描述。
根据本申请实施例，支气管内的气流近似处于等温、不可压缩定常粘性流动状态，可以建立支气管固体壁面包围形成的气流空间的流体域模型，呼吸气流运动的连续性方程和控制方程N-S可以用Euler描述为：
Figure BDA0002631599420000131
Figure BDA0002631599420000132
其中，i＝I，J，K，j＝I，J，K；本申请实施例设定仿真气温为37℃，因此本申请实施例的气流的密度ρ取1.1kg/m3。v是气流的运动粘性系数，本申请实施例中v取14.8×10-6m2/s。p表示支气管内气流单位面积上产生的压力值，t表示时间。h表示体积力，h＝ρg，g＝9.8N/kg。
根据本申请实施例，求解N-S方程采用的是大涡模拟LES，大涡模拟流程首先是要将支气管内气流的流动变量分解为大尺度涡和小尺度涡，即要先完成滤波过程。经过滤波后的管内气流的连续性方程和不可压缩N-S方程可以写成式(4)和式(5)。
Figure BDA0002631599420000133
Figure BDA0002631599420000134
其中，
Figure BDA0002631599420000135
可以写成
Figure BDA0002631599420000136
所以由式(4)和式(5)可得：
Figure BDA0002631599420000137
由于滤波后的方程里除了有大尺度涡的未知量
Figure BDA0002631599420000138
和
Figure BDA0002631599420000139
还出现了新的未知量
Figure BDA00026315994200001310
这样方程组就不能封闭，需要构造模型使过滤后的N-S方程封闭。令
Figure BDA0002631599420000141
Figure BDA0002631599420000142
被称为亚格子尺度雷诺应力(SGS Reynolds stress)。
Figure BDA0002631599420000143
表示的是大尺度涡和小尺度涡之间的能量、动量交换作用及对大涡的反馈等。可以采用涡粘形式的亚格子雷诺应力模式：
Figure BDA0002631599420000144
式(7)中，Δ是网格平均尺度，τkk表示亚网格尺度各向同性的一部分，仅当i＝j时存在；δij是克罗内克符号，当i＝j时，δij＝1，否则为0；
Figure BDA0002631599420000145
代表雷诺尺度应变张量，
Figure BDA0002631599420000146
可以表示为如下式(8)所示：
Figure BDA0002631599420000147
CS可以看做是无量纲常数，随着流体流动情况的不同，CS的值在0.07到0.24的范围内变化，本申请实施例中取CS＝0.1(Fluent软件中的默认值)。
由此，可得到一个封闭的N-S方程，即可通过大涡模拟的方法得到完整的流场速度
Figure BDA0002631599420000148
和流场在单位面积上产生的压力
Figure BDA0002631599420000149
等信息。在本申请实施例中，通常采用ANSYS等有限元分析软件对支气管进行大涡模拟，使用LES大涡模拟计算，设置气流的密度ρ为1.1kg/m3，气流的运动粘性系数v为14.8×10-6m2/s，CS值设为0.1，即可进行仿真计算流场速度
Figure BDA00026315994200001410
流场单位面积上产生的压力
Figure BDA00026315994200001411
和流场位移xi、xj，进而求出气流靠近支气管管壁边界面的应力
Figure BDA00026315994200001412
Figure BDA00026315994200001413
与
Figure BDA00026315994200001414
的关系如下面公式所示：
Figure BDA00026315994200001415
其中，S表示面积。
另外，所述本申请实施例的流固耦合边界条件涉及三类：运动学条件(又称位移协调)，动力学条件(又称力平衡)以及流体速度条件。因此，在支气管流固耦合交界面上，应当满足以下条件(1)～(3)：
(1)支气管气流和支气管壁面在边界上对应质点间满足位移协调，即：
Figure BDA0002631599420000151
Figure BDA0002631599420000152
表示支气管管壁靠近气流边界面的位移，
Figure BDA0002631599420000153
表示支气管气流靠近支气管管壁边界面的位移。
(2)满足作用力的平衡条件，即：
Figure BDA0002631599420000154
Figure BDA0002631599420000155
种
Figure BDA0002631599420000156
分别表示支气管管壁靠近气流边界面的应力和支气管气流靠近支气管管壁边界面的应力。
(3)支气管气流速度条件由运动学条件得到，由于采用无滑移壁面边界条件，速度条件为：
Figure BDA0002631599420000157
Figure BDA0002631599420000158
表示支气管管壁靠近气流边界面的速度，
Figure BDA0002631599420000159
表示支气管气流靠近支气管管壁边界面的速度。
因此，根据流固耦合边界条件可以求得支气管气流对支气管管壁施加的压力
Figure BDA00026315994200001510
根据本申请实施例，按照非线性连续介质力学理论，遵从线动量守恒定律，可以建立支气管的固体壁面模型，支气管固体壁面的控制方程为公式(10)所示：
Figure BDA00026315994200001511
其中，
Figure BDA00026315994200001512
表示管壁运动速度，Yb代表应力张量，F是管壁的变形梯度。在本申请实施例中，ρb设为1060kg/m3。对于变形梯度F，可以表示为公式(11)：
Figure BDA00026315994200001513
Figure BDA00026315994200001514
表示t＝0时支气管壁某一点与模型坐标原点形成的向量，
Figure BDA00026315994200001515
表示t时刻的支气管壁某一点与模型坐标原点形成的向量。
对于非线性连续介质力学中的应力和应变，有多种方式定义，其中PK2应力被广泛应用于与路径无关材料，如橡胶、血管、支气管等。本申请实施例的支气管壁中例如可以采用PK2应力张量Yb，支气管壁应力张量Yb与Green-Lagrange应变张量E的关系为公式(12)。
Figure BDA00026315994200001516
其中，D为弹性模量，设定支气管为均匀各向同性的材料，即服从胡克定律的薄壁弹性模型，弹性模量D为9MPa。
Figure BDA0002631599420000161
表示结构模型的预应力，由于支气管壁不设预应力，即
Figure BDA0002631599420000162
因此式(12)可以简化为式(13)。
Yb＝D·E (13)
其中，Green-Lagrange应变张量E的计算公式为式(14)。
Figure BDA0002631599420000163
其中，I为支气管壁的单位张量。
因此，根据流固耦合边界条件求得流体域对支气管壁面施加的压力
Figure BDA0002631599420000164
利用固体(支气管壁)控制方程求得支气管壁靠近气流边界面的位移
Figure BDA0002631599420000165
和速度
Figure BDA0002631599420000166
根据流固耦合边界条件求得气流边界面的位移
Figure BDA0002631599420000167
和速度
Figure BDA0002631599420000168
利用大涡模拟LES可求得新的流场速度
Figure BDA0002631599420000169
流场单位面积上产生的压力
Figure BDA00026315994200001610
和流场位移xi、xj。不断循环迭代，确定最终的流场速度
Figure BDA00026315994200001611
流场单位面积上产生的压力
Figure BDA00026315994200001612
和流场位移xi、xj。
图5示意性示出了根据本申请实施例的支气管双向流固耦合迭代流程图。
图5示出了支气管壁和管内气流的流固耦合计算过程。其过程例如包括操作S510～操作S560。
在操作S510，t时刻时，根据LES模型求解支气管气流区域的相关参量，得到支气管内流场速度
Figure BDA00026315994200001613
流场单位面积上产生的压力
Figure BDA00026315994200001614
和流场位移xi、xj。
在操作S520，将支气管气流区域施加给支气管管壁的压力
Figure BDA00026315994200001615
代入支气管壁控制方程，计算出支气管壁在t时刻靠近气流边界面的位移
Figure BDA00026315994200001616
和速度
Figure BDA00026315994200001617
在操作S530，在求解出的管壁靠近气流边界面的位移
Figure BDA00026315994200001618
和速度值
Figure BDA00026315994200001619
等基础上，根据流固耦合边条件求得气流靠近支气管管壁边界面的位移
Figure BDA00026315994200001620
和速度
Figure BDA00026315994200001621
之后利用LES模型求解t+Δt时刻时的气流流场速度
Figure BDA00026315994200001622
流场单位面积上产生的压力
Figure BDA00026315994200001623
和流场位移xi、xj。
在操作S540，根据支气管壁控制方程求解t+Δt时刻时支气管气流区域施加给支气管管壁的压力
Figure BDA0002631599420000171
在操作S550，判断支气管壁面位移和管内气流速度、压力求解是否收敛。如果不收敛，返回操作S510。如果收敛，则执行操作S560。
接下来，在操作S560，求解t+2Δt时刻的支气管气流区域的气流流场速度
Figure BDA0002631599420000172
流场单位面积上产生的压力
Figure BDA0002631599420000173
和流场位移xi、xj。
根据本申请实施例，由于涉及到支气管管壁和管内气流的双向流固耦合，因此支气管管壁和管内气流区域在每一时刻都会同时向对方传递相应的物理量(气流区域计算后向支气管管壁区域传递压力数据，支气管管壁区域计算后向气流区域传递位移数据)。这个数据同步工作需要通过收集并且转发压力和速度等物理量，通过协调支气管壁(固体域)和管内气流(流体域)的计算时间来实现。每次迭代计算时，在支气管气流区域的边界条件下线求解管内气流的相关性能参数；然后将从支气管气流区域计算出的参量，比如应力等数值传递到支气管管壁的网格中，进而求解管壁的位移；接着进行循环迭代，不断更新，进一步求解支气管气流参量，直到整个计算收敛结束。
根据本申请实施例，可以利用得到气流流场速度
Figure BDA0002631599420000174
流场单位面积上产生的压力
Figure BDA0002631599420000175
和流场位移xi、xj，进行肺音声压级频谱的仿真。
本申请实施例采用相对比较成熟的FW-H方程对支气管内声场进行分析，以描述在气流流场脉动压力作用下产生的、在介质中以速度a0传播的声波。FW-H方程如下式(15)：
Figure BDA0002631599420000176
下标0代表未扰动时的值，上标撇号表示扰动量，没有下标或者撇号表示扰动后的值；a0是支气管中远场声速；p′是在支气管中某观测点的声压，这个观测点可以任意指定支气管的某一点坐标，进而观察该坐标点所在区域的声压值。
式(15)的右边是支气管气动噪声产生的源项，其中单极子源项：
Q＝ρ0vn+ρ(un-vn) (16)
ρ0表示未扰动时的气流密度值，由于支气管内的气流近似处于不可压缩定常粘性流动状态，因此ρ＝ρ0。
偶极子源项：
Fi＝Yijnj+ρui(un-vn) (17)
nj代表指向气流曲面外部区域的单元法向量，un和vn分别为垂直于积分面的气流速度分量和积分面移动的速度分量；δ(f)是狄利克雷函数；H(f)是阶跃函数；Yij代表的是流体域的应力张量，Yij表达式可以表达为式(18)。
Figure BDA0002631599420000181
其中，μ是气流的动力粘性系数，它与运动粘性系数v的关系是
Figure BDA0002631599420000182
四极子源项：
Figure BDA0002631599420000183
在求解FW-H方程时，需要将流场速度
Figure BDA0002631599420000184
流场单位面积上产生的压力
Figure BDA0002631599420000185
和流场位移xi、xj代入公式(18)，即可求出Yij，将Yij代入公式(16)、(17)、(19)，即可确定Fi、Yij、Tij。之后将Fi、Yij、Tij代入公式(15)可以求出p′。
基于上述公式(15)，计算得到支气管中某观测点的声压p′，根据p′计算观测点的有效声压p(e)，为观测点的瞬时声压p′对时间取均方根后的值，即：
Figure BDA0002631599420000186
之后，根据声压级的计算公式求得观测点的声压级SPL，计算公式为：
Figure BDA0002631599420000187
其中，p(ref)是参考声压，一般是2×10-5Pa。
求得观测点在0-t时刻内各个时间点的声压级后，可以利用ANSYS软件的后处理噪声模型计算结果，进行快速傅里叶变换(FFT)，绘制出声压级频谱。
声压级频谱反应了在观测点处不同频率对应声压级的大小。因此可以通过该支气管模型观察支气管在不同情况下的肺音声压级频谱情况，将肺音声压级频谱及其包络曲线作为肺部声学滤波器组的设定依据。
根据本申请实施例，在肺音识别之前，例如需要根据实际环境噪声判断是否对肺音进行降噪处理，可以采用自适应滤波器、谱减法、维纳滤波法等对肺音进行降噪。也可以不进行降噪处理，直接采用带噪肺音进行训练及分类，即将带噪肺音和干净肺音混合成一个训练数据集，训练深度神经网络的参数，在测试时，直接将带噪肺音输入肺音识别系统进行类别判断。之后结合前面所构建的支气管仿真模型与肺音声压级频谱及其包络曲线之间的关系以及所采集的肺音训练数据频谱特点，确定肺部声学滤波器组，采取倒谱分析和离散余弦变换等以提取肺音声学特征，将这些声学特征参数输入到端到端识别系统中。
端到端肺音识别系统可利用深度神经网络的常见架构，如CNN(ConvolutionalNeural Networks，卷积神经网络)，RNN(Recurrent Neural Networks，循环神经网络)，TDNN(Time-Delay Neural Networks，时延神经网络)和LSTM(Long Short-Term Memory，长短期记忆网络)等，通过反向传播算法进行模型参数更新。输入肺音信号的声学特征能够直接输出类别结果，实现自动识别肺音类别。
图6示意性示出了根据本申请实施例的端到端肺音识别系统结构示意图。
具体的，以TDNN时延神经网络框架为例介绍本申请实施例提出的端到端肺音识别系统。识别系统结构如图6所示：包括TDNN时延神经网络，统计池化层与两层全连接层。其中统计池化层在帧级别上计算TDNN输出向量的均值和标准差，以输出段级别的深度向量。段级别的深度向量经过全连接层，输入到输出层，用Softmax函数获得对应类别标签的相对预测概率，取概率最大者为最终类别，实现分类。交叉熵函数被用做训练网络的损失函数，线性整流函数(ReLU)被用作网络除倒数第二层(隐藏层7)外所有隐藏层的非线性激活函数。为了减少输出数据的稀疏性，隐藏层7使用Sigmoid函数作为非线性激活函数。同时，批量归一化(Batch Normalization)应用于除了统计池化层外所有层的训练。上述系统结构可以处理不同时长的肺音数据。
其中，基于TDNN的端到端肺音识别系统网络具体配置如表2：
表2
Layer Layer context Input×output
输入层 [-2，+2] 提取的特征维数×512
隐藏层1 [-2，+2] 512×512
隐藏层2 [-3，+3] 512×512
隐藏层3 {l} 512×512
隐藏层4 {l} 512×1500
统计池化层 {L} 1500×3000
隐藏层6 {l} 3000×512
隐藏层7 {l} 512×512
输出层 {l} 512×2
其中前5层帧级网络基于TDNN结构，l表示当前帧，正负2与正负3分别代表该层网络每次计算读取的当前帧的相邻帧数，输入节点数与肺音数据输入的特征维数对应，L是输入数据的总帧数，统计池化层在时间维度上聚合了第5层网络输出的L帧数据。输出层的输出是肺音类别标签。
对肺部支气管结构建模，构建基础支气管模型和修改基础支气管模型的几何参数从而构建多类支气管模型(如设置基础支气管模型中第2级部分支气管变窄或堵塞、第3级部分支气管变窄或堵塞等得到多类支气管模型)，模拟基础支气管模型和多类支气管模型在仿真条件下的仿真气流流动模式及模型表征，根据不同支气管模型下的气流流动模式建立其与肺音声压之间的关系，为后期的肺音自动分类工作中滤波器组的设计提供参考，进而优化系统。
设计基于深度神经网络的端到端肺音识别系统。训练时使用带噪声肺音和干净肺音信号的混合数据作为训练数据，系统输入为从肺音数据中提取的声学特征，输出为肺音的类别标签，实现肺音的自动分类，并具有较高的噪声鲁棒性。
通过仿真出的肺音声压级频谱及其包络曲线与实际肺音数据频谱分析进行对比，本申请实施例所构建的支气管模型可以较好地反应支气管内气体的流动特性及声压情况等。因此，可以通过此模型初步仿真气道形态变化对肺音的产生与传导的影响情况，分析肺音声压级频谱特点与气流流动模式及肺部支气管结构之间的联系。
在模拟仿真过程中，通过系统参数模拟不同支气管模型在仿真条件下产生肺音的特征，例如模拟基础支气管模型中部分支气管变窄或堵塞等条件下所产生的肺音的特征。
本申请实施例的端到端肺音识别系统例如结合深度特征提取和分类模型对深度神经网络进行联合优化。该系统结构相对简单，而且具有直接分析含噪声数据的潜力，更适合实际应用场景。
本申请的另一个方面提供了一种计算设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器用于执行图2中描述的方法。
图7示意性示出了根据本申请实施例的肺音识别装置的框图。
如图7所示，肺音识别装置700包括建立模块710、确定模块720、提取模块730以及识别模块740。
建立模块710可以用于建立支气管仿真模型，设置仿真条件对支气管仿真模型进行仿真得到肺音声压级频谱，再计算出声压级频谱包络曲线，其中，声压级频谱包括声压级和频率之间的关系，声压级频谱包络曲线是将声压级频谱中不同频率的振幅最高点连结起来得到的曲线。根据本申请实施例，建立模块710例如可以执行上文参考图2描述的操作S210，在此不再赘述。
确定模块720可以用于基于声压级频谱和声压级频谱包络曲线，确定肺部声学滤波器组。根据本申请实施例，确定模块720例如可以执行上文参考图2描述的操作S220，在此不再赘述。
提取模块730可以用于将待识别肺音数据进行傅里叶变换后，通过肺部声学滤波器组对傅里叶变换后的待识别肺音频谱进行滤波处理得到滤波后的频谱，再对滤波后的频谱进行倒谱分析和离散余弦变换，得到待识别肺音数据的声学特征。根据本申请实施例，提取模块730例如可以执行上文参考图2描述的操作S230，在此不再赘述。
识别模块740可以用于将待识别肺音数据的声学特征输入到经训练肺音识别系统中，以识别待识别肺音数据的肺音类别，其中，经训练肺音识别系统是利用深度神经网络架构建立的。根据本申请实施例，识别模块740例如可以执行上文参考图2描述的操作S240，在此不再赘述。
根据本申请的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本申请实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本申请实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本申请实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图8示意性示出了根据本申请实施例的用于实现肺音识别的计算机系统的方框图。图8示出的计算机系统仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，实现肺音识别的计算机系统800包括处理器801、计算机可读存储介质802。该系统800可以执行根据本申请实施例的方法。
具体地，处理器801例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以是用于执行根据本申请实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质802，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
计算机可读存储介质802可以包括计算机程序803，该计算机程序803可以包括代码/计算机可执行指令，其在由处理器801执行时使得处理器801执行根据本申请实施例的方法或其任何变形。
计算机程序803可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序803中的代码可以包括一个或多个程序模块，例如包括803A、模块803B、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器801执行时，使得处理器801可以执行根据本申请实施例的方法或其任何变形。
根据本申请的实施例，建立模块710、确定模块720、提取模块730以及识别模块740中的至少一个可以实现为参考图8描述的计算机程序模块，其在被处理器801执行时，可以实现上面描述的相应操作。
本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现以上方法。
根据本申请的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本领域技术人员可以理解，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。尽管已经参照本申请的特定示例性实施例示出并描述了本申请，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本申请的精神和范围的情况下，可以对本申请进行形式和细节上的多种改变。因此，本申请的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (12)

1.一种基于深度神经网络架构的肺音识别方法，包括：
建立支气管仿真模型，设置仿真条件对所述支气管仿真模型进行仿真得到肺音声压级频谱，再计算出声压级频谱包络曲线，其中，所述声压级频谱包括声压级和频率之间的关系，所述声压级频谱包络曲线是将声压级频谱中不同频率的振幅最高点连结起来得到的曲线；
基于所述声压级频谱和所述声压级频谱包络曲线，确定肺部声学滤波器组；
将待识别肺音数据进行傅里叶变换后，通过所述肺部声学滤波器组对傅里叶变换后的待识别肺音频谱进行滤波处理得到滤波后的频谱，再对滤波后的频谱进行倒谱分析和离散余弦变换，得到待识别肺音数据的声学特征；以及
将所述待识别肺音数据的声学特征输入到经训练肺音识别系统中，以识别所述待识别肺音数据的肺音类别，其中，所述经训练肺音识别系统是利用深度神经网络架构建立的。
2.根据权利要求1所述的方法，其中：
所述建立支气管仿真模型包括：
建立基础支气管模型；以及
基于所述基础支气管模型构建多类支气管模型；
所述基于所述基础支气管模型构建多类支气管模型包括：修改所述基础支气管模型的几何参数从而构建得到所述多类支气管模型；
所述声压级频谱包括：
利用所述基础支气管模型进行仿真得到的第一类声压级频谱；以及
利用所述多类支气管模型进行仿真得到的与所述多类支气管模型一一对应的多类声压级频谱，
其中，所述多类声压级频谱包括N-1类声压级频谱，所述第一类声压级频谱和所述多类声压级频谱组成N类声压级频谱，N为大于等于2的整数，
其中，所述N类声压级频谱中的任一类声压级频谱均包括多个声压级频谱，所述多个声压级频谱包括对肺部模型多个仿真位置点进行仿真得到的声压级频谱。
3.根据权利要求2所述的方法，其中，所述确定肺部声学滤波器组包括：
确定所述肺部声学滤波器组中第一数量个滤波器的中心频率；
确定所述肺部声学滤波器组中第二数量个滤波器的中心频率；以及
确定所述肺部声学滤波器组中第三数量个滤波器的中心频率。
4.根据权利要求3所述的方法，其中，所述确定所述肺部声学滤波器组中第一数量个滤波器的中心频率包括：
针对所述任一类声压级频谱，处理所述任一类声压级频谱，得到与多个声压级频谱一一对应的多个截止频率；
将与所述N类声压级频谱一一对应的多个截止频率进行排序处理，其中截止频率小于或等于300Hz；
对排序后的多个截止频率进行筛选处理，得到肺部声学滤波器组中第一数量个滤波器的中心频率，其中，第一数量为W。
5.根据权利要求4所述的方法，其中，所述对排序后的多个截止频率进行筛选处理包括以下至少一项：
确定所述排序后的多个截止频率中是否存在重复，若存在，则删除多个截止频率中重复的频率值；
取删除重复频率值后剩余的截止频率中最小截止频率作为第一数量个滤波器的第一个中心频率，找到比第一个中心频率大的截止频率中与第一个中心频率的差值大于或等于25Hz的最小频率值，作为第一数量个滤波器的第二个中心频率，以此类推，得到第一数量个滤波器的所有中心频率。
6.根据权利要求3所述的方法，其中，所述确定所述肺部声学滤波器组中第二数量个滤波器的中心频率包括：
针对与所述第一数量个滤波器对应的第一数量个中心频率，确定所述第一数量个中心频率中最大的中心频率；
在第一数量个中心频率中最大的中心频率至2000Hz范围内，确定与所述N类声压级频谱一一对应的N类声压级频谱包络曲线，所述N类声压级频谱包络曲线中的任一类声压级频谱包络曲线均包括16个声压级频谱包络曲线，以得到16×N个声压级频谱包络曲线；
将从所述16×N个声压级频谱包络曲线中确定出的包络峰值频率进行筛选，删除所述包络峰值频率中重复的频率值，将保留下的包络峰值频率由小到大排列并进行筛选，取最小包络峰值频率作为滤波器组的第W+1个中心频率，找到比第W+1个中心频率大的包络峰值频率中与第W+1个中心频率的差值大于或等于50Hz的最小频率值，作为第W+2个中心频率，以此类推，得到第二数量个滤波器的所有中心频率，第二数量为M。
7.根据权利要求6所述的方法，其中，所述确定所述肺部声学滤波器组中第三数量个滤波器的中心频率包括：
如果所述M个包络峰值频率中最大的包络峰值频率小于等于1900Hz，则确定所述肺部声学滤波器组中第三数量个滤波器的中心频率的数量为G；
其中，所述确定所述肺部声学滤波器组中第三数量个滤波器的中心频率包括：
按照频率步长在所述M个包络峰值频率中最大的包络峰值频率至2000Hz的频率范围内增加第三数量个频率，所述频率步长为100Hz，确定第三数量个频率为所述第三数量个滤波器的中心频率；
如果所述M个包络峰值频率中最大的包络峰值频率大于1900Hz，则确定所述肺部声学滤波器组中第三数量个滤波器的中心频率的数量G为0。
8.根据权利要求1-7中任一项所述的方法，在将所述待识别肺音数据的声学特征输入到经训练肺音识别系统中以识别所述待识别肺音数据的肺音类别之前，所述方法还包括：
利用所述深度神经网络架构建立初始的端到端肺音识别系统；
获取肺音训练数据，所述肺音训练数据包含肺音时域数据和对应的肺音类别标签，所述肺音类别标签表征所述肺音训练数据的肺音类别；
将肺音时域数据进行傅里叶变换后，通过所述肺部声学滤波器组对傅里叶变换后的肺音频谱进行滤波处理得到滤波后的频谱，再对滤波后的频谱进行倒谱分析和离散余弦变换，得到所述肺音训练数据的声学特征；以及
将所述肺音训练数据的声学特征和所述肺音类别标签输入至所述初始的端到端肺音识别系统中进行训练，以得到所述经训练肺音识别系统，便于利用所述经训练肺音识别系统识别所述待识别肺音数据的肺音类别。
9.根据权利要求1-7中任一项所述的方法，其中，所述建立支气管仿真模型包括：
建立支气管几何模型；以及
基于所述支气管几何模型，建立支气管力学模型；
其中，肺部包括24级支气管，所述建立支气管几何模型包括：基于所述24级支气管中的第1级至第4级支气管建立所述支气管几何模型，所述支气管几何模型中支气管的固体壁面材料被配置为弹性材料；
其中，所述基于所述支气管几何模型，建立支气管力学模型包括：
基于所述支气管几何模型，建立支气管的固体壁面模型；
建立支气管固体壁面包围形成的气流空间的流体域模型；
建立流固界面及设置流固耦合边界条件，其中，所述流固界面为支气管的固体壁面和流体域的交界处；支气管固体壁面和支气管流体域内气流存在耦合状态。
10.一种肺音识别装置，包括：
建立模块，建立支气管仿真模型，设置仿真条件对所述支气管仿真模型进行仿真得到肺音声压级频谱，再计算出声压级频谱包络曲线，其中，所述声压级频谱包括声压级和频率之间的关系，所述声压级频谱包络曲线是将声压级频谱中不同频率的振幅最高点连结起来得到的曲线；
确定模块，基于声压级频谱和所述声压级频谱包络曲线，确定肺部声学滤波器组；
提取模块，将待识别肺音数据进行傅里叶变换后，通过所述肺部声学滤波器组对傅里叶变换后的待识别肺音频谱进行滤波处理得到滤波后的频谱，再对滤波后的频谱进行倒谱分析和离散余弦变换，得到待识别肺音数据的声学特征；以及
识别模块，将所述待识别肺音数据的声学特征输入到经训练肺音识别系统中，以识别所述待识别肺音数据的肺音类别，其中，所述经训练肺音识别系统是利用深度神经网络架构建立的。
11.一种计算设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～9中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～9中任一项所述的方法。
CN202010815366.XA 2020-08-13 2020-08-13 基于深度神经网络架构的肺音识别方法、装置和设备 Active CN111956259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010815366.XA CN111956259B (zh) 2020-08-13 2020-08-13 基于深度神经网络架构的肺音识别方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010815366.XA CN111956259B (zh) 2020-08-13 2020-08-13 基于深度神经网络架构的肺音识别方法、装置和设备

Publications (2)

Publication Number Publication Date
CN111956259A true CN111956259A (zh) 2020-11-20
CN111956259B CN111956259B (zh) 2021-07-06

Family

ID=73364863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010815366.XA Active CN111956259B (zh) 2020-08-13 2020-08-13 基于深度神经网络架构的肺音识别方法、装置和设备

Country Status (1)

Country Link
CN (1) CN111956259B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668556A (zh) * 2021-01-21 2021-04-16 广州联智信息科技有限公司 一种呼吸音识别方法及系统
CN112687281A (zh) * 2020-12-28 2021-04-20 广州医科大学附属第五医院 一种异常肺部听诊音智能识别系统
CN114036856A (zh) * 2021-11-26 2022-02-11 广东省科学院智能制造研究所 一种锂离子电池电极干燥流场高分辨率图像重构方法
CN114927202A (zh) * 2022-06-13 2022-08-19 上海市胸科医院 肺部形变模拟方法、装置及服务器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012014907A1 (en) * 2010-07-28 2012-02-02 Sharp Kabushiki Kaisha Linear classification method for determining acoustic physiological signal quality and device for use therein
CN105662454A (zh) * 2016-01-08 2016-06-15 中国科学院声学研究所 一种罗音检测的方法和装置
CN106022258A (zh) * 2016-05-18 2016-10-12 成都济森科技有限公司 数字听诊器与滤除心音提取肺音的方法
CN106251880A (zh) * 2015-06-03 2016-12-21 创心医电股份有限公司 识别生理声音的方法以及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012014907A1 (en) * 2010-07-28 2012-02-02 Sharp Kabushiki Kaisha Linear classification method for determining acoustic physiological signal quality and device for use therein
CN106251880A (zh) * 2015-06-03 2016-12-21 创心医电股份有限公司 识别生理声音的方法以及系统
CN105662454A (zh) * 2016-01-08 2016-06-15 中国科学院声学研究所 一种罗音检测的方法和装置
CN106022258A (zh) * 2016-05-18 2016-10-12 成都济森科技有限公司 数字听诊器与滤除心音提取肺音的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
尚凤仪: "基于气动声学的肺音建模及识别技术", 《中国优秀硕士学位论文全文数据库基础科学辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112687281A (zh) * 2020-12-28 2021-04-20 广州医科大学附属第五医院 一种异常肺部听诊音智能识别系统
CN112668556A (zh) * 2021-01-21 2021-04-16 广州联智信息科技有限公司 一种呼吸音识别方法及系统
CN112668556B (zh) * 2021-01-21 2024-06-07 广东白云学院 一种呼吸音识别方法及系统
CN114036856A (zh) * 2021-11-26 2022-02-11 广东省科学院智能制造研究所 一种锂离子电池电极干燥流场高分辨率图像重构方法
CN114036856B (zh) * 2021-11-26 2022-12-23 广东省科学院智能制造研究所 一种锂离子电池电极干燥流场高分辨率图像重构方法
CN114927202A (zh) * 2022-06-13 2022-08-19 上海市胸科医院 肺部形变模拟方法、装置及服务器
CN114927202B (zh) * 2022-06-13 2023-03-24 上海市胸科医院 肺部形变模拟方法、装置及服务器

Also Published As

Publication number Publication date
CN111956259B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN111956259B (zh) 基于深度神经网络架构的肺音识别方法、装置和设备
CN104751228B (zh) 用于语音识别的深度神经网络的构建方法及系统
CN108053836B (zh) 一种基于深度学习的音频自动化标注方法
CN109410917B (zh) 基于改进型胶囊网络的语音数据分类方法
CN107703486B (zh) 一种基于卷积神经网络cnn的声源定位方法
CN111259750A (zh) 一种基于遗传算法优化bp神经网络的水声目标识别方法
CN109493874A (zh) 一种基于卷积神经网络的生猪咳嗽声音识别方法
CN110490230A (zh) 基于深度卷积生成对抗网络的水声目标识别方法
CN104240720A (zh) 一种基于多重分形和信息融合的语音情感识别方法
CN109655815B (zh) 基于ssd的声呐目标检测方法
CN105096614A (zh) 基于生成型深信度网络的新建路口交通流量预测方法
CN101984340A (zh) 一种基于人工智能的软性磨粒两相湍流流型识别方法
Chen et al. Machine-learning prediction of aerodynamic damping for buildings and structures undergoing flow-induced vibrations
CN109378014A (zh) 一种基于卷积神经网络的移动设备源识别方法及系统
CN112559797A (zh) 一种基于深度学习的音频多标签分类方法
CN112580588A (zh) 一种基于经验模态分解的颤振信号智能识别方法
CN103456302A (zh) 一种基于情感gmm模型权重合成的情感说话人识别方法
Fan An inverse design method of diffuser blades by genetic algorithms
CN114863938A (zh) 一种基于注意力残差和特征融合的鸟语识别方法和系统
Tong et al. Respiratory sound classification: from fluid-solid coupling analysis to feature-band attention
Xiao et al. AMResNet: An automatic recognition model of bird sounds in real environment
CN113673323B (zh) 一种基于多深度学习模型联合判决体制的水中目标识别方法
CN113571095B (zh) 基于嵌套深度神经网络的语音情感识别方法和系统
Arunsuriyasak et al. Investigation of deep learning optimizer for water pipe leaking detection
Kim et al. Geometric modification for the enhancement of an airfoil performance using deep CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant