CN111789629A - 一种基于深度学习的呼吸音智能诊疗系统及方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的呼吸音智能诊疗系统及方法，该系统包括：呼吸音采集设备，用于用户呼吸音信号的实时采集，将声音转化为数字信号并传输至上位机；用户侧上位机，用于通过通信模块将用户数据传输至云端服务器；云端服务器，用于部署基于深度学习的呼吸音智能诊断方法，即云端服务器接收上位机上传的呼吸音数据，并将其送入诊断方的数据流水线，从而根据上位机上传的呼吸音数据，自动识别可能的异常病征，并将诊断结果反馈给用户侧上位机。该方法可以基于上述系统来实施。本发明具有原理简单、自动化程度高、适用范围广等优点。

Description

一种基于深度学习的呼吸音智能诊疗系统及方法

技术领域

本发明主要涉及到呼吸监测技术领域，特指一种基于深度学习的呼吸音智能诊疗系统及方法。

背景技术

呼吸道疾病已经成为现代医疗的热点问题。以伤残为变量调整的生命年计算，我国疾病负担最大的是呼吸道疾病，其次才是心脑血管疾病。目前我国呼吸道医疗行业存在患者人数众多、医疗资源匮乏且分配不均的问题。

呼吸音信号含有丰富的生理和病理信息。在临床上，不同的肺部疾病可以通过对相应异常音检测来进行诊断。传统的医生听诊极易受到外界杂音和病人体内心音的影响，对医师的临床技能提出了很高的要求。同时，传统的医生诊断结果主要取决于医生的临床经验及其主观判断，存在一定的人为因素。与之相比，基于深度学习技术设计一种量化的智能分类规则，能进一步提高诊断的快速性、准确性。

当前智能医疗的前景十分广阔，一方面，人口老龄化造成医疗需求急速增长；另一方面，我国医疗物资严重短缺，尤其是在偏远地区。深度学习作为机器学习领域近几年兴起的一个新研究方向，可以从大量的输入数据中自主提取有效的特征表示。截至目前，呼吸音识别仍然是一个相对不完善的研究领域，该领域的分类算法研究主要集中在前馈神经网络和支持向量机等常规算法上，没有引进卷积神经网络等新兴算法，尚有充足的改进空间。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种原理简单、自动化程度高、适用范围广的基于深度学习的呼吸音智能诊疗系统及方法。

为解决上述技术问题，本发明采用以下技术方案：

一种基于深度学习的呼吸音智能诊疗系统，其包括：

呼吸音采集设备，用于用户呼吸音信号的实时采集，将声音转化为数字信号并传输至上位机；

用户侧上位机，用于通过通信模块将用户数据传输至云端服务器；

云端服务器，用于部署基于深度学习的呼吸音智能诊断方法，即云端服务器接收上位机上传的呼吸音数据，并将其送入诊断方的数据流水线，从而根据上位机上传的呼吸音数据，自动识别可能的异常病征，并将诊断结果反馈给用户侧上位机。

作为本发明系统的进一步改进：所述呼吸音采集设备包括拾音电路、DSP芯片、放大器、电源管理模块和数据传输接口，用来将采样量化、滤波放大后的数字化呼吸音信号通过Type-C或蓝牙数据传输接口传至用户侧上位机。

作为本发明系统的进一步改进：所述用户侧上位机包括存储模块、通信模块和交互模块；所述存储模块利用移动端存储资源，对接收到的音频数据进行存储和管理；所述通信模块通过移动网络或WiFi实现与云端服务器的双向通信，上传已转为数字信号的呼吸音数据，并下载服务器的分析结果；所述人机交互模块通过移动端APP实现分析结果的可视化。

作为本发明系统的进一步改进：所述云端服务器接收上位机上传的呼吸音数据，并将其送入数据流水线；经过周期性分割、重采样、补零、傅立叶变换、 Mel滤波、时域拼接环节，生成输入信号的时频特征张量；将信号的时频特征张量输入已训练好的网络模型，根据网络输出给出诊断结果，并将其传送到用户端上位机。

作为本发明系统的进一步改进：所述网络模型包括卷积、全局池化、稠密连接三个环节；所述卷积环节使用4级8层二维卷积模块实现特征提取，所述卷积模块包括一次卷积环节、一次修正线性单元激活环节、一次最大池化环节；所述全局池化环节使用均值池化策略，使网络适应不同时频尺度的输入信息；所述稠密连接环节用于实现最后的分类任务。

作为本发明系统的进一步改进：所述诊断结果在反馈给用户的同时也存储在云端服务器中为用户生成电子病历，作为临床病史供用户和定点诊疗机构随时调用。

本发明进一步提供一种基于深度学习的呼吸音智能诊疗方法，其步骤包括：

步骤S1：数据流水线的构建；

步骤S2：呼吸音分类器的训练；

步骤S3：基于分类器进行智能诊断。

作为本发明方法的进一步改进：所述步骤S1包括：

步骤S101：利用基于隐马尔可夫模型的分割算法将数据集中的呼吸音信号进行周期性分割，生成包含完整呼吸周期的呼吸音片段；

步骤S102：通过对截取得到的呼吸音片段做补零和下采样，统一它们的时域长度；在此基础上，将信号分割为多个短时分析窗，在每个窗内做傅里叶分析，输出窗内信号的频谱信息；

步骤S103：将上一步生成的频谱通过Mel滤波器组，得到模拟人耳感知的 Mel频谱；

步骤S104：基于上一步生成的Mel倒谱进行同态信号处理，获得该片段的 Mel频率倒谱系数；

步骤S105：将多个短时分析窗的Mel频率倒谱系数按时间顺序拼接起来，输出该呼吸周期的时频特征图；

步骤S106：将上述步骤用生成器封装起来，实现批量数据的读取和处理。

作为本发明方法的进一步改进：所述步骤S2包括：

步骤S201：构建网络静态计算图，使用四层二维卷积模块进行特征提取，其中每层卷积模块包括一次卷积环节、一次修正线性单元激活环节、一次最大池化环节；该部分特征通道的数量逐层递增，共4级8层结构；在此基础上加入全局均值池化使网络适应不同动态范围的输入信息，通过稠密连接层实现最后的分类任务；

步骤S202：前向计算，将生成器输出的时频张量输入计算图中，根据网络输出结果和标签信息计算损失函数；在前向计算过程中对各卷积层、全连接层加入随机反向失活、权值衰减正则化机制；

步骤S203：反向计算和参数更新，计算损失函数对各层可学习参数的导数，并据此更新各层参数；对各参数引入指数平滑；

步骤S204：实时评价和参数保优，每次参数更新后在测试集上解算模型的准确率、召回率性能度量，实时保存最优的模型参数。

作为本发明方法的进一步改进：所述步骤S3包括：

步骤S301：使用呼吸音采集设备采集用户的呼吸音数据，经用户端上位机通信模块上传到云端服务器；

步骤S302：服务器接受用户上传的呼吸音数据并将其送入数据流水线中，经过周期性分割、重采样、补零、傅里叶变换、Mel滤波、时域拼接环节，生成输入信号的时频特征张量；

步骤S303：将信号的时频特征张量利用迭代器输入已训练好的神经网络模型，根据网络输出给出预测结果，并将其传送至用户端上位机。

与现有技术相比，本发明的优点在于：

1、本发明的基于深度学习的呼吸音智能诊疗系统及方法，是面向呼吸道疾病这一现代医疗的热点问题，把深度学习技术部署到生物医学领域；在硬件端实现用户肺部声音信号的高精度采集，再基于深度学习模型对肺音信号进行快速判读，整个过程无需专业医生介入即可完成。优选例中算法分类精度达到 93.07％，这已经超过了普通内科医生3个百分点。用户数据作为历史健康数据及参考存储在云端服务器中，供相关机构和指定医院在临床诊断时调出查看、分析，为医生提供一定的临床诊断参考。通过将专业医生确诊后的呼吸音数据扩充进训练集，能够不断提升系统的泛化性能。

2、本发明的基于深度学习的呼吸音智能诊疗系统及方法，充分利用深度学习技术强大的自学习能力，可直接实现呼吸音信号的特征提取与分类判决，整个过程不需要数据工程师参与；对强传染性病毒如COVID-19、SARS，近距离接触患者会威胁医务人员的生命健康安全，本发明所提出的方法在诊断过程中不需要任何医务人员的介入，用户可以很方便地实现自我检查、自我检测；另一方面，在重大疫情期间本发明成果也可以作为辅助诊断系统部署在各乡镇医院和社区诊所，助力国家分级诊疗制度的推行。

3、本发明的基于深度学习的呼吸音智能诊疗系统及方法，可对常见呼吸道疾病如上呼吸道感染(URTI)、支气管扩张(Bronchiectasis)、一般性肺炎 (Pneumonia)、慢性支气管炎和肺气肿(COPD)等进行有效识别，分类精度达 93.07％，已超过普通内科医师的平均水准，为智能医疗的落地应用提供了技术支持；随着越来越多的数据上传至云端，一方面，系统可以对更多类型的病征实现精细化判读；另一方面，基于实时数据对系统超参数进行调节，使其始终保持对实时数据的良好泛化。

附图说明

图1是本发明智能诊断系统的拓扑示意图。

图2是本发明在具体实施例中便携式呼吸音采集设备的结构原理示意图。

图3是本发明在具体实施例中数据流水线的示意图。

图4是本发明在具体实施例中数据流水线输出的时频特征图像的示意图。

图5是本发明在具体实施例中使用的卷积神经网络结构示意图。

图6是本发明在具体实施例中呼吸音分类器学习曲线示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

如图1所示，本发明的基于深度学习的呼吸音智能诊疗系统，包括便携式呼吸音采集设备、上位机及云端服务器，其中：

便携式呼吸音采集设备，用于用户呼吸音信号的实时采集，将声音转化为数字信号并传输至上位机；如图2所示，在具体应用实例中，它包括拾音电路、 DSP芯片、放大器、电源管理模块和数据传输接口，用来将采样量化、滤波放大后的数字化呼吸音信号通过Type-C或蓝牙等数据传输接口传至用户侧上位机。如便携式呼吸音采集设备根据实际应用需要可以采用数字听诊器、肺音传感器等。

用户侧上位机，用于借助其通信模块，将用户数据传输至云端服务器；在具体应用实例中，它包括存储模块、通信模块和交互模块；所述存储模块利用移动端存储资源，对接收到的音频数据进行存储和管理；所述通信模块通过移动网络或WiFi实现与云端服务器的双向通信，上传已转为数字信号的呼吸音数据，并下载服务器的分析结果；所述人机交互模块通过移动端APP实现分析结果的可视化。如用户侧上位机根据实际应用需要可以采用含有无线通信模块的智能手机、平板电脑等。

云端服务器，用于部署基于深度学习的呼吸音智能诊断方法，即云端服务器接收上位机上传的呼吸音数据，并将其送入数据流水线。根据上位机上传的呼吸音数据，云端服务器调用部署在本地的深度学习算法自动识别可能的异常病征，并将诊断结果反馈给用户侧上位机。

在具体应用实例中，云端服务器接收上位机上传的呼吸音数据，并将其送入数据流水线如图3所示，经过周期性分割，重采样，补零，傅立叶变换，Mel 滤波，时域拼接等环节，生成输入信号的时频特征张量如图4所示；将信号的时频特征张量输入已训练好的网络模型如图5所示，根据网络输出给出诊断结果，并将其传送到用户端上位机；诊断结果在反馈给用户的同时也存储在云端服务器中为用户生成电子病历。随着越来越多的数据上传至云端，一方面，系统可以对更多类型的病征实现精细化判读；另一方面，基于实时数据对系统超参数进行调节，使其始终保持对实时数据的良好泛化性能。

在具体应用实例中，所述网络模型应当包括卷积、全局池化、稠密连接三个环节；所述卷积环节使用4级8层二维卷积模块实现特征提取，所述卷积模块包括一次卷积环节、一次修正线性单元激活环节、一次最大池化环节；所述全局池化环节使用均值池化策略，意在使网络适应不同时频尺度的输入信息；所述稠密连接环节用于实现最后的分类任务。

较佳地，在上述方案中，将诊断结果反馈给用户的同时也将其存储在服务器中，作为临床病史供用户和定点诊疗机构随时调用。

本发明进一步提供一种基于深度学习的呼吸音智能诊疗方法，其步骤包括：

步骤S1：数据流水线的构建；

步骤S2：呼吸音分类器的训练；

步骤S3：基于分类器进行智能诊断。

在具体应用实例中，所述步骤S1具体包括：

步骤S101：利用基于隐马尔可夫模型的分割算法将数据集中的呼吸音信号进行周期性分割，生成包含完整呼吸周期的呼吸音片段；

步骤S102：通过对截取得到的呼吸音片段做补零和下采样，统一它们的时域长度；在此基础上，将信号分割为多个短时分析窗，在每个窗内做傅里叶分析，输出窗内信号的频谱信息；

步骤S103：将上一步生成的频谱通过Mel滤波器组，得到模拟人耳感知的 Mel频谱；

步骤S104：基于上一步生成的Mel倒谱进行同态信号处理，获得该片段的 Mel频率倒谱系数；

步骤S105：将多个短时分析窗的Mel频率倒谱系数按时间顺序拼接起来，输出该呼吸周期的时频特征图；

步骤S106：将上述步骤用生成器封装起来，实现批量数据的读取和处理。

在具体应用实例中，所述步骤S2具体包括：

步骤S201：构建网络静态计算图，使用四层二维卷积模块进行特征提取，其中每层卷积模块包括一次卷积环节、一次修正线性单元激活环节、一次最大池化环节；该部分特征通道的数量逐层递增，共4级8层结构；在此基础上加入全局均值池化使网络适应不同动态范围的输入信息，通过稠密连接层实现最后的分类任务；

步骤S202：前向计算，将生成器输出的时频张量输入计算图中，根据网络输出结果和标签信息计算损失函数；在前向计算过程中对各卷积层、全连接层加入随机反向失活、权值衰减等正则化机制，意在对模型的泛化风险加以控制；

步骤S203：反向计算和参数更新，计算损失函数对各层可学习参数的导数，并据此更新各层参数；对各参数引入指数平滑，减小梯度振荡，加快收敛速度；

步骤S204：实时评价和参数保优，每次参数更新后在测试集上解算模型的准确率、召回率等性能度量，实时保存最优的模型参数。

在较佳实施例中，所述卷积网络中的初始化均为Xaiver随机初始化。

在较佳实施例中，所述分类任务的实现方式还应当包括全卷积模块。

在较佳实施例中，用户端上传的呼吸音数据由专业医生分析确诊后，可作为呼吸音数据库的扩充。

在具体应用实例中，所述步骤S3具体包括：

步骤S301：使用便携式呼吸音采集设备采集用户的呼吸音数据，经用户端上位机通信模块上传到云端服务器；

步骤S302：服务器接受用户上传的呼吸音数据并将其送入数据流水线中，经过周期性分割、重采样、补零、傅里叶变换、Mel滤波、时域拼接等环节，生成输入信号的时频特征张量；

步骤S303：将信号的时频特征张量利用迭代器输入已训练好的神经网络模型，根据网络输出给出预测结果，并将其传送至用户端上位机。

为充分验证本发明的有效性，现进行如下实验：

基于Google云计算平台进行该验证性实验，所用服务器配备Intel Xeon E7-8880处理器(22核心，2.2GHz)、16GB内存和Google第三代TPU(Tensor Processor Unit，TPU3)，软件平台为Python，基于Librosa实现音频信号处理，基于Tensorflow实现分类器设计、训练和测试。

实验过程：

在本实验中，对包含上呼吸道感染(URTI)、支气管扩张(Bronchiectasis)、一般性肺炎(Pneumonia)、慢性支气管炎和肺气肿(COPD)等七个类别共126 条记录进行周期性划分，共得到1082个呼吸周期，按照80％+20％的比例划分训练集和测试集。首先，使用数据流水线批量读取训练数据并提取时频特征张量，将每个批量数据的时频特征张量输入神经网络进行训练，网络训练曲线如图6 所示。对周期级呼吸音的诊断准确率在测试集达93.07％，同时在训练集达94.76％。由此看来试验证明，该方法即使在对测试集进行诊断时已能超过普通内科医师的平均诊断精度，具有较高的可靠性和实用性。

综上所述，面向呼吸道疾病这一现代医疗的热点问题，本发明提出一种基于深度学习的呼吸音智能诊断系统，把深度学习技术部署到生物医学领域；在硬件端实现用户肺部声音信号的高精度采集，再基于深度学习模型对肺音信号进行快速判读，整个过程无需专业医生介入即可完成。优选例中算法分类精度达到93.07％，这已经超过了普通内科医生3个百分点。用户数据作为历史健康数据及参考存储在云端服务器中，供相关机构和指定医院在临床诊断时调出查看、分析，为医生提供一定的临床诊断参考。通过将专业医生确诊后的呼吸音数据扩充进训练集，能够不断提升系统的泛化性能。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种基于深度学习的呼吸音智能诊疗系统，其特征在于，包括：

呼吸音采集设备，用于用户呼吸音信号的实时采集，将声音转化为数字信号并传输至上位机；

用户侧上位机，用于通过通信模块将用户数据传输至云端服务器；

云端服务器，用于部署基于深度学习的呼吸音智能诊断方法，即云端服务器接收上位机上传的呼吸音数据，并将其送入诊断方的数据流水线，从而根据上位机上传的呼吸音数据，自动识别可能的异常病征，并将诊断结果反馈给用户侧上位机。

2.根据权利要求1所述的基于深度学习的呼吸音智能诊疗系统，其特征在于，所述呼吸音采集设备包括拾音电路、DSP芯片、放大器、电源管理模块和数据传输接口，用来将采样量化、滤波放大后的数字化呼吸音信号通过Type-C或蓝牙数据传输接口传至用户侧上位机。

3.根据权利要求1所述的基于深度学习的呼吸音智能诊疗系统，其特征在于，所述用户侧上位机包括存储模块、通信模块和交互模块；所述存储模块利用移动端存储资源，对接收到的音频数据进行存储和管理；所述通信模块通过移动网络或WiFi实现与云端服务器的双向通信，上传已转为数字信号的呼吸音数据，并下载服务器的分析结果；所述人机交互模块通过移动端APP实现分析结果的可视化。

4.根据权利要求1或2或3所述的基于深度学习的呼吸音智能诊疗系统，其特征在于，所述云端服务器接收上位机上传的呼吸音数据，并将其送入数据流水线；经过周期性分割、重采样、补零、傅立叶变换、Mel滤波、时域拼接环节，生成输入信号的时频特征张量；将信号的时频特征张量输入已训练好的网络模型，根据网络输出给出诊断结果，并将其传送到用户端上位机。

5.根据权利要求4所述的基于深度学习的呼吸音智能诊疗系统，其特征在于，所述网络模型包括卷积、全局池化、稠密连接三个环节；所述卷积环节使用4级8层二维卷积模块实现特征提取，所述卷积模块包括一次卷积环节、一次修正线性单元激活环节、一次最大池化环节；所述全局池化环节使用均值池化策略，使网络适应不同时频尺度的输入信息；所述稠密连接环节用于实现最后的分类任务。

6.根据权利要求1或2或3所述的基于深度学习的呼吸音智能诊疗系统，其特征在于，所述诊断结果在反馈给用户的同时也存储在云端服务器中为用户生成电子病历，作为临床病史供用户和定点诊疗机构随时调用。

7.一种基于深度学习的呼吸音智能诊疗方法，其特征在于，其步骤包括：

步骤S1：数据流水线的构建；

步骤S2：呼吸音分类器的训练；

步骤S3：基于分类器进行智能诊断。

8.根据权利要求7所述的基于深度学习的呼吸音智能诊疗方法，其特征在于，所述步骤S1包括：

步骤S101：利用基于隐马尔可夫模型的分割算法将数据集中的呼吸音信号进行周期性分割，生成包含完整呼吸周期的呼吸音片段；

步骤S102：通过对截取得到的呼吸音片段做补零和下采样，统一它们的时域长度；在此基础上，将信号分割为多个短时分析窗，在每个窗内做傅里叶分析，输出窗内信号的频谱信息；

步骤S103：将上一步生成的频谱通过Mel滤波器组，得到模拟人耳感知的Mel频谱；

步骤S104：基于上一步生成的Mel倒谱进行同态信号处理，获得该片段的Mel频率倒谱系数；

步骤S105：将多个短时分析窗的Mel频率倒谱系数按时间顺序拼接起来，输出该呼吸周期的时频特征图；

步骤S106：将上述步骤用生成器封装起来，实现批量数据的读取和处理。

9.根据权利要求7所述的基于深度学习的呼吸音智能诊疗方法，其特征在于，所述步骤S2包括：

步骤S201：构建网络静态计算图，使用四层二维卷积模块进行特征提取，其中每层卷积模块包括一次卷积环节、一次修正线性单元激活环节、一次最大池化环节；该部分特征通道的数量逐层递增，共4级8层结构；在此基础上加入全局均值池化使网络适应不同动态范围的输入信息，通过稠密连接层实现最后的分类任务；

步骤S202：前向计算，将生成器输出的时频张量输入计算图中，根据网络输出结果和标签信息计算损失函数；在前向计算过程中对各卷积层、全连接层加入随机反向失活、权值衰减正则化机制；

步骤S203：反向计算和参数更新，计算损失函数对各层可学习参数的导数，并据此更新各层参数；对各参数引入指数平滑；

步骤S204：实时评价和参数保优，每次参数更新后在测试集上解算模型的准确率、召回率性能度量，实时保存最优的模型参数。

10.根据权利要求7所述的基于深度学习的呼吸音智能诊疗方法，其特征在于，所述步骤S3包括：

步骤S301：使用呼吸音采集设备采集用户的呼吸音数据，经用户端上位机通信模块上传到云端服务器；

步骤S302：服务器接受用户上传的呼吸音数据并将其送入数据流水线中，经过周期性分割、重采样、补零、傅里叶变换、Mel滤波、时域拼接环节，生成输入信号的时频特征张量；

步骤S303：将信号的时频特征张量利用迭代器输入已训练好的神经网络模型，根据网络输出给出预测结果，并将其传送至用户端上位机。

Images