CN113081025B - 一种基于肺音的新冠肺炎智能诊断系统和装置 - Google Patents

Abstract

本发明公开了一种基于肺音的新冠肺炎智能诊断系统和装置，属于生物医学信号处理技术领域。本发明首次提出基于肺音数据进行新冠肺炎智能诊断，由于肺音数据是通过听诊器式声学传感器，因此不具有放射性，费用低、无创性，操作简单，舒适性高，适用于基层医院及社区卫生中心；本发明采用两级神经网络进行新冠肺炎智能诊断，第一级神经网络用于分类正常和异常，第二级神经网络用于仅在一级分类结果为异常时启动，并将异常分类为不同临床分型结果，由于绝大部分人为非新冠患者，即非新冠患者远多于新冠患者，所以第二级神经网络只在较少的情况开启，因此，在相同的检测群体条件下，本发明相比于单级神经网络进行一次多分类，具有更高的群体检测效率。

Description

一种基于肺音的新冠肺炎智能诊断系统和装置

技术领域

本发明属于生物医学信号处理技术领域，更具体地，涉及一种基于肺音的新冠肺炎智能诊断系统和装置。

背景技术

“临床分型”是指从临床发病特征或病理学变化的具体情况，将一病分成若干型，是治疗和死亡率的重要信息。目前中国疾病预防控制中心将新冠肺炎临床分型为“轻型、普通型、重型和危重型”，以加强对临床的分类指导，更好锁定病例，提升救治水平。

现有的新型冠状临床分型技术主要是依赖患者的临床症状、肺部CT影像和血液炎症标志物等检测。例如，清华大学等联合研发的“新型冠状病毒肺炎智能辅助诊断系统”，该系统基于患者肺部CT影像、流行病史、检验学、临床特征，辅助感染科、呼吸科等临床医生快速评价病情、定量评估和预测患者病程进展，进而对患者实现更精准、高效的处置。该系统的临床分型模块，通过智能判读呼吸功能参数，“自适应”判断新型冠状病毒肺炎的严重程度，设有“排除-轻度疑似-重度疑似”等三级指令。

然而，这些方法具有放射性、费用昂贵、有创性、群体检测效率不够高等不足，且操作复杂、舒适性低、适用场景受限。基于目前新冠肺炎感染人数愈发增加的趋势，以及目前临床分型方式存在的局限性，研发出一种具有高群体检测效率、高能效的特点，适用于可穿戴等能量受限应用场景的新冠肺炎临床分型系统很有必要。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于肺音的新冠肺炎智能诊断系统和装置，其目的在于实现高群体检测效率、高能效、安全、无创、费用低、舒适度高、场景不受限的新冠肺炎智能诊断。

为实现上述目的，按照本发明的第一方面，提供了一种基于肺音的新冠肺炎智能诊断系统，该系统包括：

预处理模块，用于对待检肺音数据进行预处理，获得预处理后的肺音数据；

时域和/或频域特征提取模块，用于对预处理后的肺音数据进行特征提取，获得肺音数据的时域和/或频域特征；

第一级神经网络模块，用于对肺音数据时域和/或频域特征进一步提取特征，获得肺音数据的高维特征；

诊断模块，用于将肺音数据的高维特征在特征降维之后输入至二分类器，获得待检肺音为正常或异常的诊断结果，当且仅当诊断结果为异常时，启动临床分型模块；

临床分型模块，用于将肺音数据的高维特征顺序输入至第二级神经网络模块和多分类器，获得新冠肺炎临床分型结果。

优选地，所述预处理模块包括：

分割模块，用于将待检肺音数据分割为若干等长的肺音片段，每个肺音片段至少包含一个呼吸周期。

有益效果：本发明对肺音数据进行分割，使得分割后的肺音片段等长，且至少包含一个呼吸周期，由于一般至少一个呼吸周期才可以包含完整的肺音的生理病理特征，且神经网络的输入需为固定长度的数据，从而便于后续高效的进行肺音生理病理特征信息提取。

优选地，所述时域和/或频域特征提取模块包括：

小波变换模块，用于对每个肺音片段进行离散小波变换，得到对应的时频域数据；

数据调整模块，用于调整小波变换之后的不同长度的频带数据长度，得到长度相同的频带数据便于神经网络的输入；

去噪模块，用于对小波域数据进行硬阈值法去噪，得到时域和/或频域特征。

有益效果：本发明采用对肺音片段进行离散小波变换得到时频谱数据，由于小波变换相比于傅里叶变换和短时傅里叶变换来说，能够更好地反映肺音信号的时频域的特征信息，从而实现对肺音信号初步的特征提取，有利于后级神经网络更好的学习到肺音信号的高维特征；本发明使用数据调整模块对离散小波变换后的数据进行长度的调整统一，得到长度相同的频带数据便于神经网络的输入；本发明对时频数据进行硬阈值法去噪，由于在小波域去噪可以在去噪的同时可以引入稀疏性，从而可以降低系统的运算量。

优选地，所述第一级神经网络模块结构如下：

1个CBR模块和6个DSC模块串联，其中，

所述CBR模块依次包括：卷积层、批归一化层和Relu激活函数；

所述DSC模块依次包括：深度卷积层、批归一化层、Relu激活函数、点卷积层、批归一化层和Relu激活函数。

有益效果：本发明设计的第一级神经网络模块，CBR模块和DSC模块使用卷积对肺音信号进行高维特征提取，由于DSC模块为深度可分离卷积结构，将传统的一个卷积层分为深度卷积和点卷积，可以在保证准确率的情况下降低神经网络的运算时间和运算量，使得神经网络在乘加运算数量和权值参数量方面变得更加轻量级，对于基于肺音的新冠患者临床分型任务来说是一个非常高效的解决方案。

优选地，所述诊断模块结构如下：

1个CBR模块、1个APFL模块和Softmax激活函数串联，其中，

所述CBR模块依次包括：卷积层、批归一化层和Relu激活函数；

所述APFL模块包括：平均池化层、展平层和全连接层。

有益效果：本发明设计的诊断模块，CBR模块用于特征降维，经评估，在二分类之前加入较大卷积核尺寸的卷积层进行特征降维再进行平均池化相比于直接进行平均池化可以筛选有用信息并减少平均池化的信息损失，APFL模块中的平均池化用于减少参数数量，减少计算量，减少过拟合，展平层用于并将多维特征向量展平为一维向量，其中的全连接层和Softmax激活函数用于实现二分类器，由于绝大部分人为非新冠患者，即非新冠患者远多于新冠患者，所以首先使用此二分类器进行正常异常的诊断相比于单级神经网络进行一次多分类，具有更高的群体检测效率。

优选地，所述临床分型模块结构如下：

7个DSC模块、1个APFL模块和Softmax激活函数串联，其中，

所述DSC模块依次包括：深度卷积层、批归一化层、Relu激活函数、点卷积层、批归一化层和Relu激活函数；

所述APFL模块包括：平均池化层、展平层和全连接层。

有益效果：本发明设计的临床分型模块，DSC模块为深度可分离卷积结构，将传统的一个卷积层分为深度卷积和点卷积，可以在保证准确率的情况下降低神经网络的运算时间和运算量，APFL模块中的平均池化用于减少参数数量，减少计算量，减少过拟合，展平层用于并将多维特征向量展平为一维向量，其中的全连接层和Softmax激活函数用于实现四分类器。由于多分类需要更深层的网络提取更高维的特征，本设计兼顾神经网络的运算量与准确率，实现了高能效的基于肺音信号的新冠肺炎临床分型诊断。

优选地，所述系统通过以下方式进行训练：

(1)获取肺音数据，对其进行分割和标签标注，所述标签包括：正常、轻型、普通型、重型和危重型，按照一定比例划分为训练集、验证集和测试集；

(2)使用训练集中的训练样本联合训练第一级神经网络模块、诊断模块和临床分型模块；

(3)对计算出的二分类损失和多分类损失进行加权，得到总损失；

(4)使用总损失进行反向传播来更新神经网络的权重和偏置参数。

有益效果：本发明联合训练第一级神经网络模块、诊断模块和临床分型模块，避免了两级神经网络分开训练时，第一级神经网路提取到的高维特征不能很好地包含肺音信号的病理信息的情况，从而实现了较高准确率的基于肺音的新冠肺炎临床分型。

为实现上述目的，按照本发明的第二方面，提供了一种基于肺音的新冠肺炎智能诊断装置，所述装置包括：

获取模块，用于获取原始肺音数据，并传给如第一方面所述的基于肺音的新冠肺炎智能诊断系统；

基于肺音的新冠肺炎智能诊断系统，用于对原始肺音数据进行诊断。

优选地，所述获取模块包括：

微型听诊器式声学传感器，用于记录患者的肺音；

无线传输模块，用于将肺音数据以数字波形文件传输到新冠肺炎智能诊断系统中构建数据集。

有益效果：本发明使用微型听诊器式声学传感器和无线传输模块进行原始肺音数据的获取，由于整个装置体积小，集成度高，因此，该装置可穿戴，当进行群体新冠肺炎检测时，可实现更高能效。

优选地，所述获取模块包括：

电子听诊器，用于记录患者多个部位的肺音；

传输模块，用于将肺音数据以数字波形文件传输到新冠肺炎智能诊断系统中构建数据集；

所述装置还包括显示模块，用于显示新冠肺炎智能诊断结果。

有益效果：本发明使用电子听诊器录患者多个部位的肺音，还包括用于显示新冠肺炎智能诊断结果的显示模块，因此，该装置可适用于医院和门诊等场景。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

本发明首次提出基于肺音数据进行新冠肺炎智能诊断，相对于现有技术肺部CT影像进行新冠肺炎智能诊断，由于肺音数据是通过听诊器式声学传感器，因此不具有放射性，费用低、无创性，操作更加简单，舒适性更高，适用于基层医院及社区卫生中心；本发明采用两级神经网络进行新冠肺炎智能诊断，第一级神经网络用于分类正常和异常，第二级神经网络用于仅在一级分类结果为异常时启动，并将异常分类为不同临床分型结果，由于绝大部分人为非新冠患者，即非新冠患者远多于新冠患者，所以第二级神经网络只在较少的情况开启，因此，在相同的检测群体条件下，本发明相比于单级神经网络进行一次多分类，具有更高的群体检测效率。

附图说明

图1是本发明提供的一种基于肺音的新冠肺炎智能诊断系统框图；

图2是本发明提供的基于肺音信号的新冠肺炎人工智能临床分型诊断系统的实施案例图；

图3是本发明提供的两级神经网络联合训练方法流程图；

图4是本发明提供的一种基于肺音的新冠肺炎智能诊断装置框图；

图5是本发明提供的肺音听诊部位示意图；

图6是本发明提供的混淆矩阵图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供了一种基于肺音的新冠肺炎智能诊断系统，该系统包括：

预处理模块，用于对待检肺音数据进行预处理，获得预处理后的肺音数据；

时域和/或频域特征提取模块，用于对预处理后的肺音数据进行特征提取，获得肺音数据的时域和/或频域特征；

第一级神经网络模块，用于对肺音数据时域和/或频域特征进一步提取特征，获得肺音数据的高维特征；

诊断模块，用于将肺音数据的高维特征输入至二分类器，获得待检肺音为正常或异常的诊断结果，当且仅当诊断结果为异常时，启动临床分型模块；

临床分型模块，用于将肺音数据的高维特征顺序输入至第二级神经网络模块和多分类器，获得新冠肺炎临床分型结果。

优选地，所述预处理模块包括：分割模块，用于将待检肺音数据分割为若干等长的肺音片段，每个肺音片段至少包含一个呼吸周期。

优选地，所述时域和/或频域特征提取模块包括：小波变换模块，用于对每个肺音片段进行离散小波变换，得到对应的时频谱数据；数据调整模块，用于调整小波变换之后的不同长度的频带数据长度，得到长度相同的频带数据便于神经网络的输入；去噪模块，用于对时频图数据进行硬阈值法去噪，得到去噪后的时频域特征。

本实施例中，选择db4小波，小波尺度为4，对肺音信号进行小波分解。

优选地，如图2所示，所述第一级神经网络模块结构如下：

1个CBR模块和6个DSC(深度可分离卷积)模块串联，其中，所述CBR模块依次包括：卷积层、批归一化层和Relu激活函数；所述DSC模块依次包括：深度卷积层、批归一化层、Relu激活函数、点卷积层、批归一化层和Relu激活函数。

本实施例中，CBR模块依次包括：卷积层，用于提取肺音信号的高维特征；批归一化层，用于使得每一层神经网络的输入保持相同分布；Relu激活函数，用于引入非线性，克服梯度消失的问题，加快训练速度；DSC模块依次包括：深度卷积层，用于提取通道内的特征；批归一化层，用于使得每一层神经网络的输入保持相同分布；Relu激活函数，用于引入非线性，克服梯度消失的问题，加快训练速度；点卷积层，用于提取通道间的特征；批归一化层，用于使得每一层神经网络的输入保持相同分布；Relu激活函数，用于引入非线性，克服梯度消失的问题，加快训练速度。

优选地，如图2所示，所述诊断模块结构如下：1个CBR模块、1个APFL模块和Softmax激活函数串联，其中，所述CBR模块依次包括：卷积层、批归一化层和Relu激活函数；所述APFL模块包括：平均池化层、展平层和全连接层。

本实施例中，CBR模块依次包括：卷积层，用于在特征提取的同时实现特征降维，即平均池化之前加入较大卷积核尺寸的卷积层进行特征降维，相比于直接进行平均池化可以筛选有用信息并减少平均池化的信息损失；批归一化层，用于使得每一层神经网络的输入保持相同分布；Relu激活函数，用于引入非线性，克服梯度消失的问题，加快训练速度；APFL模块包括：平均池化层，用于减少参数数量，减少计算量，减少过拟合；展平层，用于将多维特征向量展平为一维向量；全连接层，与Softmax激活函数构成分类器。由于绝大部分人为非新冠患者，即非新冠患者远多于新冠患者，所以首先使用此二分类器进行正常异常的诊断相比于单级神经网络进行一次多分类，具有更高的群体检测效率。

优选地，如图2所示，所述临床分型模块结构如下：7个DSC模块、1个APFL模块和Softmax激活函数串联，其中，所述APFL模块包括：平均池化层、展平层和全连接层；所述DSC模块依次包括：深度卷积层、批归一化层、Relu激活函数、点卷积层、批归一化层和Relu激活函数。

本实施例中，DSC模块依次包括：深度卷积层，用于提取通道内的特征；批归一化层，用于使得每一层神经网络的输入保持相同分布；Relu激活函数，用于引入非线性，克服梯度消失的问题，加快训练速度；点卷积层，用于提取通道间的特征；批归一化层，用于使得每一层神经网络的输入保持相同分布；APFL模块包括：平均池化层，用于减少参数数量，减少计算量，减少过拟合，展平层，用于将多维特征向量展平为一维向量；全连接层，与Softmax函数构成分类器；和Relu激活函数，用于引入非线性，克服梯度消失的问题，加快训练速度。

优选地，如图3所示，所述系统通过以下方式进行训练：

(1)获取肺音数据，对其进行分割和标签标注，所述标签包括：正常、轻型、普通型、重型和危重型，按照一定比例划分为训练集、验证集和测试集。

获取经专业医师标注的原始新冠肺炎患者以及肺部正常的非新冠肺炎患者的肺音信号数据。根据肺音信号的特点进行分割(如M秒)，根据分类任务(如N类)对肺音信号进行相应的标注并添加标签，按照一定比例将数据集划分为训练集、验证集和测试集。将原始的音频信号转化成为频域、时频域或者其他域的信号，进行初步特征提取。本实施例中，M＝4s，N＝4类，标签分别为正常、普通型、重型、危重型，划分比例为6:2:2。

(2)使用训练集中的训练样本联合训练第一级神经网络模块、诊断模块和临床分型模块。

(3)对计算出的二分类损失和多分类损失进行加权，得到总损失。

(4)使用总损失进行反向传播神经网络的权重参数和偏置。

定义总loss＝αloss1+βloss2，通过实验优选α和β两个参数，使用该总损失进行反向传播神经网络的权重等参数。

利用已经构建的测试集对训练好的神经网络进行评估，结合评估指标得到测试通过的人工智能模型。使用不同指标评估分类效果，分别用公式表示为：

其中，S为测试集中样本总数量，TP为真阳性，TN为真阴性，FP为假阳性，FN为假阴性。

该系统可在短时间内完成大量疑似病例的综合分析，显著提升新型冠状病毒肺炎诊断效能，有望大幅降低临床医师及影像医师的工作负荷，同时使患者获得早期诊断和及时治疗，达到改善患者预后和降低病死率的目的。同时，该系统可赋能基层医院及社区卫生中心，提升基层医师对新型冠状病毒肺炎的诊断水平，促进不同层级医疗机构对这一新发传染病诊疗水平的同质化。再者，该系统能根据疾病严重程度进行精准分型，有助于患者的快速分类救治，合理化分配医疗资源。

如图4所示，本发明还提供了一种基于肺音的新冠肺炎智能诊断装置，所述装置包括：

获取模块，用于获取原始肺音数据，并传给如上述基于肺音的新冠肺炎智能诊断系统；

基于肺音的新冠肺炎智能诊断系统，用于对原始肺音数据进行诊断。

优选地，所述获取模块包括：微型听诊器式声学传感器，用于记录患者的肺音；无线传输模块，用于将肺音数据以数字波形文件传输到新冠肺炎智能诊断系统中构建数据集。

优选地，所述获取模块包括：电子听诊器，用于记录患者多个部位的肺音；传输模块，用于将肺音数据以数字波形文件传输到新冠肺炎智能诊断系统中构建数据集；所述装置还包括显示模块，用于显示新冠肺炎智能诊断结果。

实施例

本实施例原始肺音数据来自同济医院自2020年4月1日至4月5日在院治疗的172例COVID-19确诊病例。病例经实时RT-PCR和CT扫描确诊，按《中国新型冠状病毒肺炎诊断与治疗方案》分为普通型、重型和危重型。根据其类型，分析其流行病学、临床、实验室和放射学特征。随访至2020年4月10日。由于轻度病例意味着临床症状较轻，而且影像学上没有肺炎的迹象，故未将这一类型纳入，另有45例健康患者作为对照组。

通过电子听诊器记录每个患者10个部位的肺音听诊，每个部位30秒，并将数据以数字波形文件传输到相应软件中构建数据集。这10个部位分别如下：左中上肺、左下肺、右中上肺、右下肺、左腋中肺、右腋中肺、背部左中上肺、背部左下肺、背部右中上肺以及背部右下肺，如图5所示。对于气管插管不能坐起或翻身的病人，记录前6个部位。

通过蓝牙将电子听诊器记录的听诊数据传输到相应软件中以构建数据集，其采样频率为4000Hz。听诊是由两名独立医生组成的委员会诊断。医生委员会首先独立地对听诊记录进行注释，然后对没有达成一致意见的听诊记录进行讨论。经过综合讨论，所有听诊记录均以一致方式进行注释，为模型评估提供了专家标准。

为了保护患者的隐私和安全，对患者进行匿名处理以防止数据泄露。其中包含回顾性数据和匿名数据。这些数据来源于在2020年4月1日到2020年4月5日期间在华中科技大学同济医院治疗的172例新冠肺炎确诊病例和在2020年6月1日到2020年7月31日采集的45位肺部正常的非新冠患者。

使用测试集来评估神经网络模型的性能，制作混淆矩阵来说明神经网络的预测与医生委员会一致意见的标记结果之间的一致程度，如图6所示。

对于将新冠肺炎患者以及肺部正常的非新冠肺炎患者的肺音分为正常型、普通型、重型以及危重型的临床分型任务，两级神经网络模型预测准确率达94.20％，其具体性能指标见表1。

表1

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于肺音的新冠肺炎智能诊断系统，其特征在于，该系统应用场景不受限，所述应用场景包括可穿戴设备，包括：

预处理模块，用于对待检肺音数据进行预处理，获得预处理后的肺音数据；

时域和/或频域特征提取模块，用于对预处理后的肺音数据进行特征提取，获得肺音数据的时域和/或频域特征；

第一级神经网络模块，用于对肺音数据时域和/或频域特征进一步提取特征，获得肺音数据的高维特征，所述第一级神经网络模块结构如下：1个CBR模块和6个DSC模块串联；

诊断模块，用于将肺音数据的高维特征在特征降维之后输入至二分类器，获得待检肺音为正常或异常的诊断结果，当且仅当诊断结果为异常时，启动临床分型模块，所述诊断模块结构如下：1个CBR模块、1个APFL模块和Softmax激活函数串联；

临床分型模块，用于将肺音数据的高维特征顺序输入至第二级神经网络模块和多分类器，获得新冠肺炎临床分型结果，所述临床分型模块结构如下：7个DSC模块、1个APFL模块和Softmax激活函数串联；

其中，

所述CBR模块依次包括：卷积层、批归一化层和Relu激活函数；

所述DSC模块依次包括：深度卷积层、批归一化层、Relu激活函数、点卷积层、批归一化层和Relu激活函数；

所述APFL模块包括：平均池化层、展平层和全连接层。

2.如权利要求1所述的系统，其特征在于，所述预处理模块包括：

分割模块，用于将待检肺音数据分割为若干等长的肺音片段，每个肺音片段至少包含一个呼吸周期。

3.如权利要求2所述的系统，其特征在于，所述时域和/或频域特征提取模块包括：

小波变换模块，用于对每个肺音片段进行离散小波变换，得到对应的时频域数据；

数据调整模块，用于调整小波变换之后的不同长度的频带数据长度，得到长度相同的频带数据便于神经网络的输入；

去噪模块，用于对小波域数据进行硬阈值法去噪，得到时域和/或频域特征。

4.如权利要求1所述的系统，其特征在于，所述系统通过以下方式进行训练：

(1)获取肺音数据，对其进行分割和标签标注，所述标签包括：正常、轻型、普通型、重型和危重型，按照一定比例划分为训练集、验证集和测试集；

(2)使用训练集中的训练样本联合训练第一级神经网络模块、诊断模块和临床分型模块；

(3)对计算出的二分类损失和多分类损失进行加权，得到总损失；

(4)使用总损失进行反向传播来更新神经网络的权重和偏置参数。

5.一种基于肺音的新冠肺炎智能诊断装置，其特征在于，所述装置包括：

获取模块，用于获取原始肺音数据，并传给如权利要求1至4任一项所述的基于肺音的新冠肺炎智能诊断系统；

基于肺音的新冠肺炎智能诊断系统，用于对原始肺音数据进行诊断。

6.如权利要求5所述的装置，其特征在于，所述获取模块包括：

微型听诊器式声学传感器，用于记录患者的肺音；

无线传输模块，用于将肺音数据以数字波形文件传输到新冠肺炎智能诊断系统中构建数据集。

7.如权利要求5所述的装置，其特征在于，所述获取模块包括：

电子听诊器，用于记录患者多个部位的肺音；

传输模块，用于将肺音数据以数字波形文件传输到新冠肺炎智能诊断系统中构建数据集；

所述装置还包括显示模块，用于显示新冠肺炎智能诊断结果。

Images