CN114283140A - 基于特征融合的肺部X-Ray图像分类方法、系统及存储介质 - Google Patents

Abstract

本发明公开了基于特征融合的肺部X‑Ray图像分类方法、系统及存储介质，属于图像分类技术领域，本发明要解决的技术问题为如何快速精准的对普通肺炎患者、新冠肺炎患者以及正常人的X‑Ray图像进行分类，采用的技术方案为：该方法具体如下：收集数据集；数据预处理：对获取的正常人和普通型肺炎患者的肺部X射线图像以及COVID‑19患者的肺部X射线图像进行预处理；样本均衡化处理：将获取的数据集采用权重函数进行数据样本均衡化；构建融合DN‑VGG模型：运用模型连接和特征融合的方法将DenseNet网络和VGG网络结构进行模型融合构建融合DN‑VGG模型，通过融合模型对正常人和普通型肺炎患者的肺部X射线图像以及COVID‑19患者的肺部X射线图像进行特征提取与识别。

Description

基于特征融合的肺部X-Ray图像分类方法、系统及存储介质

技术领域

本发明涉及图像分类技术领域，具体地说是一种基于特征融合的肺部X-Ray图像分类方法、系统及存储介质。

背景技术

肺部X射线(CXR)作为一种无痛无创，适合人群较高、费用相对较低的检查方法，是筛查和诊断肺部疾病最常见的放射检查方法之一，也是分类筛选各种肺炎疾病的主要手段。

新型冠状病毒肺炎(Corona Virus Disease 2019，COVID-19)，简称“新冠肺炎”，世界卫生组织命名为“2019冠状病毒病”，是指2019新型冠状病毒感染导致的肺炎。Covid-19疾病表现特征具有多样性与不可预测性，常见的临床症状主要是呼吸道症状，包括鼻塞、流涕、咽痛、咳嗽、咳痰、气短、胸闷，严重时可以出现呼吸困难；还可伴有周身症状包括发热，全身肌肉关节酸痛，头晕、头疼。有一部分患者可以表现为嗅觉和味觉的丧失或减退，有的患者可以出现眼结膜充血；部分患者可出现消化道症状，腹痛、腹泻。虽然，COVID-19疾病的感染会对不同的器官造成影响，但是最先被攻击的是肺部。从而COVID-19疾病的感染可迅速发展为急性呼吸衰竭、多器官衰竭和死亡。因此，放射学检查，如肺部X射线(CXR)作为检测COVID-19疾病的手段之一。随着新冠状肺炎这类流行性疾病的日益增加，许多国家，更多的是发展中国家的医疗资源短缺的问题愈发严重。在这中“脆弱”的卫生环境下，无疑增加了医护人员的工作量。

普通肺炎是指肺泡、远端气道和肺间质的感染性炎症，可由细菌、病毒和其他病原体等因素感染引起，其中以细菌性和病毒性肺炎最为常见。广义上，肺炎可由病原体生物、理化因素、免疫损伤、过敏以及要务所致。患者常有发烧、咳嗽、呼吸困难等典型症状。肺部X射线(CXR)作为检测普通肺炎的手段之一。

故如何快速精准的对普通肺炎患者、新冠肺炎患者以及正常人的X-Ray图像进行分类是目前亟待解决的技术问题。

发明内容

本发明的技术任务是提供一种基于特征融合的肺部X-Ray图像分类方法、系统及存储介质，来解决如何快速精准的对普通肺炎患者、新冠肺炎患者以及正常人的X-Ray图像进行分类的问题。

本发明的技术任务是按以下方式实现的，一种基于特征融合的肺部X-Ray图像分类方法，该方法具体如下：

收集数据集：通过参考文献的公开可用数据集收集正常人和普通型肺炎患者的肺部X射线图像；通过开放性数据库获取COVID-19患者的肺部X射线图像；

数据预处理：对获取的正常人和普通型肺炎患者的肺部X射线图像以及COVID-19患者的肺部X射线图像进行预处理；

样本均衡化处理：将获取的数据集采用权重函数进行数据样本均衡化；

构建融合DN-VGG模型：运用模型连接和特征融合的方法将DenseNet网络和VGG网络结构进行模型融合构建融合DN-VGG模型，通过融合模型对正常人和普通型肺炎患者的肺部X射线图像以及COVID-19患者的肺部X射线图像进行特征提取与识别。

作为优选，数据预处理体如下：

对收集到的数据集进行标签化处理：对COVID-19患者的肺部X射线图像用标签0表示，正常人的肺部X射线图像用标签1表示，普通型肺炎患者的肺部X射线图像用标签2表示；

将标签化后的肺部X射线图像运用Resnet分割算法通过R-segment标记肺部的黑色阴影部分；

通过分割将肺部X射线图像中噪声以及混淆区域进行去除、降噪；且分割后的肺部X射线图像的统一大小为224×224，统一存储格式为.jpg，按照类型进行将数据集分为测试集和训练集，并保留高质量清晰图。

更优地，将标签化后的肺部X射线图像运用Resnet分割算法通过R-segment标记肺部的黑色阴影部分具体如下：

将原始肺部X射线图像输入到R-segment中通过编码提取所需要分割阴影区域，通过7×7的卷积层1中输出112×112大小的肺部X射线图像；

将输出的112×112大小的肺部X射线图像送入到卷积层2中，通过3×3的最大池化层以及六层3×3×64的卷积输出56×56大小的肺部X射线区域图像；

将输出的56×56大小的肺部X射线区域图像送入卷积层3中，通过八层3×3×128的卷积输出28×28大小的肺部X射线区域图像；

将输出的28×28大小的肺部X射线区域图像送入卷积层4中，通过十二层3×3×256的卷积输出14×14大小的肺部X射线区域图像；

将输出的14×14大小的肺部X射线区域图像送入卷积层5中,通过六层3×3×512的卷积输出7×7大小的肺部X射线区域图像；

将输出的7×7大小的肺部X射线区域图像进行上采样操作，重复上采样与解码过程中的肺部数据处理直到与输出尺寸224×224相同的肺部图像为止完成分割肺部阴影区域。

作为优选，样本均衡化处理具体如下：

选择平衡性函数，针对正常人、普通型肺炎患者、COVID19患者分配不同权重值；

计算参与到融合DN-VGG模型的不同类型的数据情况，公式如下：

W_b＝Sum_i/(Class_i*Sum_ij)

其中，W_b表示每个类别最终计算出的权重值；Sum_i:表示该类型数据集中所有样本的大小；Class_i表示总样本中类别的数量；Sum_ij表示j类对应的样本个数。

作为优选，构建融合DN-VGG模型具体如下：

初步整体肺部图像(包括正常人、普通型肺炎患者、新冠肺炎患者)分类，提取疑似肺炎信息；

运用R-segment分割降噪后的肺部X射线数据集送入到第二个模块VGG网络结构中，提取到肺部结节信息；

通过融合DN-VGG模型将提取到的疑似肺炎信息与提取到肺部结节信息进行融合并输出作为注意力机制的输入，送入到注意力机制(全局注意力块(GAB)、类别注意力块(CAB))中，运用GAB在肺炎图像中对于形似部分的颜色特征、亮度特征进行相应抑制，并运用CAB学习鉴别特征，从而更好地解决数据的分布不均衡问题导致的精确度不高的问题；

对融合DN-VGG模型的超参数进行调优。

更优地，初步整体肺部图像(包括正常人、普通型肺炎患者、新冠肺炎患者)分类具体如下：

运用原始肺部X射线图像的数据集(包括正常人、普通型肺炎患者、新冠肺炎患者)图像尺寸统一为224×224，标准化像素值；

将标准化像素值的肺部X射线图像送入到Densenet网络结构中，通过7×7层的卷积层，输出112×112的肺部X射线图像特征图作为池化层输入；再通过3×3的池化层改变特征图大小输出56×56的肺部X射线图像特征图，作为层块1的输入。

将56×56的肺部X射线图像特征图数据输入到层块1中，经过六层1×1和3×3的卷积层，识别肺部X射线中阴影部分的数据，并将识别到的数据送入过渡层(由1×1的卷积与2×2的平均池化)减少特征图数量，输出28×28的肺部X射线图像特征图作为层块2的输入；

通过卷积层的十二层、四十八层、三十二层分别对肺部X射线图像特征图进行特征图数量减少处理，并将十二层、四十八层、三十二层输出的肺部X射线图像特征图经过层块2、层块3、层块4的肺部X射线图像数据处理，输出图像大小为7×7；

通过Softmax函数做初步整体肺部图像(包括正常人、普通型肺炎患者、新冠肺炎患者)分类；

运用R-segment分割降噪后的肺部X射线数据集送入到第二个模块VGG网络结构中，提取到肺部结节信息具体如下：

用3×3、步幅为1的过滤器构建卷积层，padding参数为same卷积中的参数；

用一个2×2，步幅为2的过滤器构建最大池化层，因此VGG网络的一大优点是它确实简化了神经网络结构；

将最后得到的7×7×512的特征图进行全连接操作，得到4096个单元，再进行softmax激活，输出从1000个对象中识别的结果。

更优地，运用GAB在肺炎图像中对于形似部分的颜色特征、亮度特征进行相应抑制，并运用CAB学习鉴别特征，具体如下：

计算通道的注意力特征Z_{ch_at}，公式如下：

其中，H表示高度；W表示宽度；C表示着通道数目；Z_G-OUT表示空间注意特征映射，作为CAB的输入；

由Z′检测每个类别判别区域所需要的通道数目，由Z″保留一半特征，去掉Dropout函数与所有的特征进行预测，其中，Z_{C_OUT}为CAB数据输出特征图，公式如下：

其中，δ表示运用Sigmoid激活函数；GAP表示平均池化，Z_G-IN运用了1×1的卷积对其信道数目进行了减少，C_G表示跨信道平均池化；

探索正常人、普通肺炎患者、COVID19三类之间区别性的特征，并平等地对待每个类别，具体如下：

①、计算每个类别的分数通过S＝{S₁,S₂,....S_L}来表示：

②、通过reshape函数对数组的结构进行改变，获取位置为1和2上的数值，并做均值处理，公式如下：

③、由步骤②的输出，与S_i做乘法运算的和通过mean函数做均值运算，得到A_CAB，更好的提供诊断的区域，公式如下：

④、通过计算输入Z_G-IN与步骤③输出相乘，得出Z_{C_OUT}为CAB数据输出特征图，公式如下：

其中，S_i表示对每种类别特征映射的重要性反应；Z_{i_avg}表示第i类的语义特征的映射反应；z′_i′_j表示Z′中的第i类的第j个特征的反应情况；A_CAB更好的提供诊断的区域；

对融合DN-VGG模型的超参数进行调优包括对批处理大小(Batch_size)、优化器(Optimizer)、损失函数(Loss)、归一化操作(BN)进行测试；具体如下：

在输入图像数据集到融合DN-VGG模型后，结合Adam优化器，与其他相比快速且高效，而且Adam优化器的准确率最高；

在损失函数中，运用交叉熵损失函数，训练正常人、普通型肺炎患者、COVID19患者的数据时得到的概率分布与真实分布的差异情况，刻画的是实际输出(概率)与期望输出(概率)的距离，也就是交叉熵的值越小，两个概率分布就越接近；

运用标签平滑技术，设置标签平滑参数，对标签光滑化处理，标签在某种程度上得到了软化，增加融合DN-VGG模型的泛化能力，一定程度上防止过拟合。

一种基于特征融合的肺部X-Ray图像分类系统，该系统包括，

收集模块，用于通过参考文献的公开可用数据集收集正常人和普通型肺炎患者的肺部X射线图像；通过开放性数据库获取COVID-19患者的肺部X射线图像；

预处理模块，用于对获取的正常人和普通型肺炎患者的肺部X射线图像以及COVID-19患者的肺部X射线图像进行预处理；

均衡化模块，用于将获取的数据集采用权重函数进行数据样本均衡化；

模型构建模块，用于运用模型连接和特征融合的方法将DenseNet网络和VGG网络结构进行模型融合构建融合DN-VGG模型，通过融合模型对正常人和普通型肺炎患者的肺部X射线图像以及COVID-19患者的肺部X射线图像进行特征提取与识别。

一种电子设备，包括：存储器和至少一个处理器；

其中，所述存储器上存储有计算机程序；

所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的基于特征融合的肺部X-Ray图像分类方法。

一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的基于特征融合的肺部X-Ray图像分类方法。

本发明的基于特征融合的肺部X-Ray图像分类方法、系统及存储介质具有以下优点：

(一)本发明将肺部X射线(CXR)的数据运用图像预处理方法，选择分割后的图像送入到融合DN-VGG模型中更能够准确、有效的分析数据；

(二)本发明针对数据及分布的不均衡，引入微调后的GAB、CAB注意力机制，获取更加详细的微小病变信息；

(三)本发明将DenseNet与VGG模型进行融合，并对该模型进行微调，为更好方便、快速、高精度的检测COVID-19患者；

(四)本发明针对正常人、普通型肺炎患者以及COVID-19患者图像进行分类，分别考虑了二分类、三分类。并于其他先进的方法进行了性能比较分析，结果表明我们的模型可以对肺部X-Ray的数据集进行高精度的识别分类。

附图说明

下面结合附图对本发明进一步说明。

附图1为正常人的肺部X-Ray图像通过R-Segment技术后的逐步分割情况的示意图；

附图2为普通型肺炎患者的肺部X-Ray图像通过R-Segment技术后的逐步分割情况的示意图；

附图3为COVID-19患者的肺部X-Ray图像通过R-Segment技术后的逐步分割情况的示意图；

附图4为不均衡化的数据集分布图；

附图5为分割和添加注意力机制后的模型融合网络图；

附图6为二分类(NORMAL vs PNEUMONIA)中accuracy与val_accuracy对比图；

附图7为二分类(NORMAL vs PNEUMONIA)中loss与val_loss对比图；

附图8为三分类(NORMAL vs PNEUMONIA vs COVID-19)中accuracy与val_accuracy对比图；

附图9为三分类(NORMAL vs PNEUMONIA vs COVID-19)中loss与val_loss对比图。

具体实施方式

参照说明书附图和具体实施例对本发明的基于特征融合的肺部X-RAY图像分类方法、系统及存储介质作以下详细地说明。

实施例1：

本发明的基于特征融合的肺部X-Ray图像分类方法，该方法具体如下：

S1、收集数据集：通过参考文献的公开可用数据集收集正常人和普通型肺炎患者的肺部X射线图像；通过开放性数据库获取COVID-19患者的肺部X射线图像；具体如下：

S101、第一个来自于参考文献的公开可用数据集,肺部X射线图像选自广州市妇女儿童医学中心的1至5岁儿科患者。主要包含普通人与普通型肺炎患者。

S102、第二个数据集是由Joseph et al.利用来自各种开放获取源的图像开发了COVID-19X射线图像数据库。作者从各种真实来源(北美放射学学会(RSNA)、放射学百科全书等)收集了有关于放射学的图像。大多数关于COVID-19的研究都使用了来自该来源的图像。该存储库包含一个具有肺部X射线图像的COVID-19病例的开放数据库，并正在定期更新。

S103、数据集共包含6518张图像，测试集数据占总数据的20％。

S2、数据预处理：对获取的正常人和普通型肺炎患者的肺部X射线图像以及COVID-19患者的肺部X射线图像进行预处理；

S3、样本均衡化处理：将获取的数据集采用权重函数进行数据样本均衡化；

S4、构建融合DN-VGG模型：运用模型连接和特征融合的方法将DenseNet网络和VGG网络结构进行模型融合构建融合DN-VGG模型，通过融合模型对正常人和普通型肺炎患者的肺部X射线图像以及COVID-19患者的肺部X射线图像进行特征提取与识别。

本实施例中步骤S2的数据预处理体如下：

S201、对收集到的数据集进行标签化处理：对COVID-19患者的肺部X射线图像用标签0表示，正常人的肺部X射线图像用标签1表示，普通型肺炎患者的肺部X射线图像用标签2表示；

S202、将标签化后的肺部X射线图像运用Resnet分割算法通过R-segment标记肺部的黑色阴影部分；

S203、通过分割将肺部X射线图像中噪声以及混淆区域进行去除、降噪；且分割后的肺部X射线图像的统一大小为224×224，统一存储格式为.jpg，按照类型进行将数据集分为测试集和训练集，并保留高质量清晰图，如附图1、2和3所示。

将分割后的图像统一以.jpg的形式，按照类型进行分类，80％的数据用于训练，其余20％用于测试，即训练集总数据为5230，测试集总数据为1288。我们将准备的肺部X-Ray数据集的具体情况通过表1的形式展现出来。

表1：数据集中不同类型的数据分布

本实施例中步骤S202的将标签化后的肺部X射线图像运用Resnet分割算法通过R-segment标记肺部的黑色阴影部分具体如下：

S20201、将原始肺部X射线图像输入到R-segment中通过编码提取所需要分割阴影区域，通过7×7的卷积层1中输出112×112大小的肺部X射线图像；

S20202、将输出的112×112大小的肺部X射线图像送入到卷积层2中，通过3×3的最大池化层以及六层3×3×64的卷积输出56×56大小的肺部X射线区域图像；

S20203、将输出的56×56大小的肺部X射线区域图像送入卷积层3中，通过八层3×3×128的卷积输出28×28大小的肺部X射线区域图像；

S20204、将输出的28×28大小的肺部X射线区域图像送入卷积层4中，通过十二层3×3×256的卷积输出14×14大小的肺部X射线区域图像；

S20205、将输出的14×14大小的肺部X射线区域图像送入卷积层5中,通过六层3×3×512的卷积输出7×7大小的肺部X射线区域图像；

S20206、将输出的7×7大小的肺部X射线区域图像进行上采样操作，重复上采样与解码过程中的肺部数据处理直到与输出尺寸224×224相同的肺部图像为止完成分割肺部阴影区域。

如附图4所示，存在不均衡化的数据集分布，造成样本数据不均衡，故执行本实施例中步骤S3的样本均衡化处理具体如下：

S301、选择平衡性函数，针对正常人、普通型肺炎患者、COVID19患者分配不同权重值；正常人数据集数量有460张、普通型肺炎患者数量有1266张、COVID19患者数量有3418张。

S302、计算参与到融合DN-VGG模型的不同类型的数据情况，公式如下：

W_b＝Sum_i/(Class_i*Sum_ij)

其中，W_b表示每个类别最终计算出的权重值；Sum_i:表示该类型数据集中所有样本的大小；Class_i表示总样本中类别的数量；Sum_ij表示j类对应的样本个数。

通过”平衡性”函数计算后，肺部的X射线图像参与到融合DN-VGG模型中图像更加均衡化。参与训练的COVID-19的图像数目为1715，参与训练的正常人的图像数目为1709，参预训练的普通肺炎的图像数目为1709，可以更好的平衡化，避免的由于数据集不平衡造成的分类精度不均的情况。

如附图5所示，本实施例中步骤S4的构建融合DN-VGG模型具体如下：

S401、初步整体肺部图像(包括正常人、普通型肺炎患者、新冠肺炎患者)分类，提取疑似肺炎信息；

S402、运用R-segment分割降噪后的肺部X射线数据集送入到第二个模块VGG网络结构中，提取到肺部结节信息；

S403、通过融合DN-VGG模型将提取到的疑似肺炎信息与提取到肺部结节信息进行融合并输出作为注意力机制的输入，送入到注意力机制(全局注意力块(GAB)、类别注意力块(CAB))中，运用GAB在肺炎图像中对于形似部分的颜色特征、亮度特征进行相应抑制，并运用CAB学习鉴别特征，从而更好地解决数据的分布不均衡问题导致的精确度不高的问题；

S404、对融合DN-VGG模型的超参数进行调优。

本实施例中步骤S401的初步整体肺部图像(包括正常人、普通型肺炎患者、新冠肺炎患者)分类具体如下：

S40101、运用原始肺部X射线图像的数据集(包括正常人、普通型肺炎患者、新冠肺炎患者)图像尺寸统一为224×224，标准化像素值；

S40102、将标准化像素值的肺部X射线图像送入到Densenet网络结构中，通过7×7层的卷积层，输出112×112的肺部X射线图像特征图作为池化层输入；再通过3×3的池化层改变特征图大小输出56×56的肺部X射线图像特征图，作为层块1的输入。

S40103、将56×56的肺部X射线图像特征图数据输入到层块1中，经过六层1×1和3×3的卷积层，识别肺部X射线中阴影部分的数据，并将识别到的数据送入过渡层(由1×1的卷积与2×2的平均池化)减少特征图数量，输出28×28的肺部X射线图像特征图作为层块2的输入；

S40104、通过卷积层的十二层、四十八层、三十二层分别对肺部X射线图像特征图进行特征图数量减少处理，并将十二层、四十八层、三十二层输出的肺部X射线图像特征图经过层块2、层块3、层块4的肺部X射线图像数据处理，输出图像大小为7×7；

S40105、通过Softmax函数做初步整体肺部图像(包括正常人、普通型肺炎患者、新冠肺炎患者)分类；

S40106、运用R-segment分割降噪后的肺部X射线数据集送入到第二个模块VGG网络结构中，提取到肺部结节信息具体如下：

S40107、用3×3、步幅为1的过滤器构建卷积层，padding参数为same卷积中的参数；

S40108、用一个2×2，步幅为2的过滤器构建最大池化层，因此VGG网络的一大优点是它确实简化了神经网络结构；

S40109、将最后得到的7×7×512的特征图进行全连接操作，得到4096个单元，再进行softmax激活，输出从1000个对象中识别的结果。

本实施例中步骤S403的运用GAB在肺炎图像中对于形似部分的颜色特征、亮度特征进行相应抑制，并运用CAB学习鉴别特征，具体如下：

S40301、计算通道的注意力特征Z_{ch_at}，公式如下：

其中，H表示高度；W表示宽度；C表示着通道数目；Z_G-OUT表示空间注意特征映射，作为CAB的输入；

S40302、由Z′检测每个类别判别区域所需要的通道数目，由Z″保留一半特征，去掉Dropout函数与所有的特征进行预测，其中，Z_{C_OUT}为CAB数据输出特征图，公式如下：

其中，δ表示运用Sigmoid激活函数；GAP表示平均池化，Z_G-IN运用了1×1的卷积对其信道数目进行了减少，C_G表示跨信道平均池化；

S40303、探索正常人、普通肺炎患者、COVID19三类之间区别性的特征，并平等地对待每个类别，具体如下：

①、计算每个类别的分数通过S＝{S₁,S₂,....S_L}来表示：

②、通过reshape函数对数组的结构进行改变，获取位置为1和2上的数值，并做均值处理，公式如下：

③、由步骤②的输出，与S_i做乘法运算的和通过mean函数做均值运算，得到A_CAB，更好的提供诊断的区域，公式如下：

④、通过计算输入Z_G-IN与步骤③输出相乘，得出Z_{C_OUT}为CAB数据输出特征图，公式如下：

其中，S_i表示对每种类别特征映射的重要性反应；Z_{i_avg}表示第i类的语义特征的映射反应；z′_i′_j表示Z′中的第i类的第j个特征的反应情况；A_CAB更好的提供诊断的区域。

本实施例中步骤S404的对融合DN-VGG模型的超参数进行调优包括对批处理大小(Batch_size)、优化器(Optimizer)、损失函数(Loss)、归一化操作(BN)进行测试；具体如下：

S40401、在输入图像数据集到融合DN-VGG模型后，结合Adam优化器，与其他相比快速且高效，而且Adam优化器的准确率最高；

S40402、在损失函数中，运用交叉熵损失函数，训练正常人、普通型肺炎患者、COVID19患者的数据时得到的概率分布与真实分布的差异情况，刻画的是实际输出(概率)与期望输出(概率)的距离，也就是交叉熵的值越小，两个概率分布就越接近；公式如下：

…

其中，n表示样本数，m表示分类数，

表示着原始图像真实标签，y表示着预测标签。由于loss是一个多输出的函数，所以loss的计算也是多个，如上述公式，即受误差的影响，所以当误差大的时候，权重更新就快，当误差小的时候，权重的更新就慢。

S40403、运用标签平滑技术，设置标签平滑参数，对标签光滑化处理，标签在某种程度上得到了软化，增加融合DN-VGG模型的泛化能力，一定程度上防止过拟合。实验对比后最优异超参数值如表2所示，

表2：实验对比后最优异超参数值

融合DN-VGG模型后总共参数量为44899980，可训练参数为44670924，丢弃数为229056，通过超参数的调整可以更好的进一步的调整、优化肺部图像在DN-VGG模型中的特征提取程度，精确分类，最终二分类(二分类是指对肺炎的分类)的效果可以达到97.9％，三分类(三分类是指对肺炎的分类)的效果可以达到97.3％，如表3和表4所示。在特征中，COVID-19对双肺铺满黏液，导致的呼吸不畅以及“白肺”现象做出相应的识别。也可更好的避免了图像分类中的过拟合现象。越早的辨别COVID-19普其他肺炎的区别，约有助于对患者对症下药。

本发明针对两种不同的分类情况展开了研究探讨，使用肺部X-Ray图像对COVID-19进行了检测、实验分类。分别对正常人与肺炎患者(细菌性、病毒性、COVID-19)实验区分，由附图6和7所示，可以清晰看出80次的迭代可以使精度趋向于稳定，在前20次的迭代过程中，精度增长速度较快在精度提高方面有明显增强。在与其他优秀的先进实验进行对比，如表3所示：

表3：不同先进技术下二分类(NORMAL vs PENUMONIA)结果

实验表明，运用处理过的融合DN-VGG模型可以在分类中有着明显优势。为验证模型的泛化能力，同时也对正常人、普通性肺炎和COVID-19三分类展开研究实验。针对不同模型采取了不同形式数据集的输入，采用细节性质的分割，更好的对肺部X-Ray图像进行优化处理，提取关键性特征。由实验结果附图8和9可知，训练数据与测试数据曲线的拟合度较好，在前15次的迭代过程中，总体上升趋势较快。同时，也将实验与最先进的结果通过表4进行相比较：

表4：不同技术下三分类(NORMAL vs PENUMONIA vs COVID-19)结果

又再根据经常应用于医学图像的模型进行实验，做出比较验证，通过表5表示了不同模型在相同数据集上的精度以及损失情况：

表5：相同数据集下不同技术对比

现如今，随着新冠状肺炎这类流行性疾病的日益增加，许多国家，更多的是发展中国家的医疗资源短缺的问题愈发严重。在这中“脆弱”的卫生环境下，无疑增加了医护人员的工作量。基于该类问题，本发明从肺部图像(X-Ray)中检测COVID-19病例。结果表明，运用了融合DN-VGG模型，将普通型肺炎、COVID-19和正常人进行区分，精度可达到97.3％。与普通的模型相比，效果得到了显著的提升。尽管结果令人满意，可以更好的辅助影像科医生，提高辅助诊断的准确率，更加深入研究不同肺炎之间的差异性，对症治疗，及时的让患者免去疾病的痛苦。

实施例2：

本发明的基于特征融合的肺部X-Ray图像分类系统，该系统包括，

收集模块，用于通过参考文献的公开可用数据集收集正常人和普通型肺炎患者的肺部X射线图像；通过开放性数据库获取COVID-19患者的肺部X射线图像；

预处理模块，用于对获取的正常人和普通型肺炎患者的肺部X射线图像以及COVID-19患者的肺部X射线图像进行预处理；

均衡化模块，用于将获取的数据集采用权重函数进行数据样本均衡化；

模型构建模块，用于运用模型连接和特征融合的方法将DenseNet网络和VGG网络结构进行模型融合构建融合DN-VGG模型，通过融合模型对正常人和普通型肺炎患者的肺部X射线图像以及COVID-19患者的肺部X射线图像进行特征提取与识别。

实施例3：

本发明实施例还提供了一种电子设备，包括：存储器和处理器；

其中，存储器存储计算机执行指令；

处理器执行所述存储器存储的计算机执行指令，使得处理器执行本发明任一实施例中的基于特征融合的肺部X-Ray图像分类方法。

处理器可以是中央处理单元(CPU)，还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通过处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可用于储存计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现电子设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器还可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，只能存储卡(SMC)，安全数字(SD)卡，闪存卡、至少一个磁盘存储期间、闪存器件、或其他易失性固态存储器件。

实施例4：

本发明实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的基于特征融合的肺部X-Ray图像分类方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。

在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。

用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RYM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。

此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。

此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于特征融合的肺部X-Ray图像分类方法，其特征在于，该方法具体如下：

收集数据集：通过参考文献的公开可用数据集收集正常人和普通型肺炎患者的肺部X射线图像；通过开放性数据库获取COVID-19患者的肺部X射线图像；

数据预处理：对获取的正常人和普通型肺炎患者的肺部X射线图像以及COVID-19患者的肺部X射线图像进行预处理；

样本均衡化处理：将获取的数据集采用权重函数进行数据样本均衡化；

构建融合DN-VGG模型：运用模型连接和特征融合的方法将DenseNet网络和VGG网络结构进行模型融合构建融合DN-VGG模型，通过融合模型对正常人和普通型肺炎患者的肺部X射线图像以及COVID-19患者的肺部X射线图像进行特征提取与识别。

2.根据权利要求1所述的基于特征融合的肺部X-Ray图像分类方法，其特征在于，数据预处理体如下：

对收集到的数据集进行标签化处理：对COVID-19患者的肺部X射线图像用标签0表示，正常人的肺部X射线图像用标签1表示，普通型肺炎患者的肺部X射线图像用标签2表示；

将标签化后的肺部X射线图像运用Resnet分割算法通过R-segment标记肺部的黑色阴影部分；

通过分割将肺部X射线图像中噪声以及混淆区域进行去除、降噪；且分割后的肺部X射线图像的统一大小为224×224，统一存储格式为.jpg，按照类型进行将数据集分为测试集和训练集，并保留高质量清晰图。

3.根据权利要求2所述的基于特征融合的肺部X-Ray图像分类方法，其特征在于，将标签化后的肺部X射线图像运用Resnet分割算法通过R-segment标记肺部的黑色阴影部分具体如下：

将原始肺部X射线图像输入到R-segment中通过编码提取所需要分割阴影区域，通过7×7的卷积层1中输出112×112大小的肺部X射线图像；

将输出的112×112大小的肺部X射线图像送入到卷积层2中，通过3×3的最大池化层以及六层3×3×64的卷积输出56×56大小的肺部X射线区域图像；

将输出的56×56大小的肺部X射线区域图像送入卷积层3中，通过八层3×3×128的卷积输出28×28大小的肺部X射线区域图像；

将输出的28×28大小的肺部X射线区域图像送入卷积层4中，通过十二层3×3×256的卷积输出14×14大小的肺部X射线区域图像；

将输出的14×14大小的肺部X射线区域图像送入卷积层5中,通过六层3×3×512的卷积输出7×7大小的肺部X射线区域图像；

将输出的7×7大小的肺部X射线区域图像进行上采样操作，重复上采样与解码过程中的肺部数据处理直到与输出尺寸224×224相同的肺部图像为止完成分割肺部阴影区域。

4.根据权利要求1所述的基于特征融合的肺部X-Ray图像分类方法，其特征在于，样本均衡化处理具体如下：

选择平衡性函数，针对正常人、普通型肺炎患者、COVID19患者分配不同权重值；

计算参与到融合DN-VGG模型的不同类型的数据情况，公式如下：

W_b＝Sum_i/(Class_i*Sum_ij)

其中，W_b表示每个类别最终计算出的权重值；Sum_i:表示该类型数据集中所有样本的大小；Class_i表示总样本中类别的数量；Sum_ij表示j类对应的样本个数。

5.根据权利要求1所述的基于特征融合的肺部X-Ray图像分类方法，其特征在于，构建融合DN-VGG模型具体如下：

初步对整体肺部图像分类，提取疑似肺炎信息；

运用R-segment分割降噪后的肺部X射线数据集送入到第二个模块VGG网络结构中，提取到肺部结节信息；

通过融合DN-VGG模型将提取到的疑似肺炎信息与提取到肺部结节信息进行融合并输出作为注意力机制的输入，送入到注意力机制中，运用GAB在肺炎图像中对于形似部分的颜色特征、亮度特征进行相应抑制，并运用CAB学习鉴别特征；

对融合DN-VGG模型的超参数进行调优。

6.根据权利要求5所述的基于特征融合的肺部X-Ray图像分类方法，其特征在于，初步对整体肺部图像分类具体如下：

运用原始肺部X射线图像的数据集图像尺寸统一为224×224，标准化像素值；

将标准化像素值的肺部X射线图像送入到Densenet网络结构中，通过7×7层的卷积层，输出112×112的肺部X射线图像特征图作为池化层输入；再通过3×3的池化层改变特征图大小输出56×56的肺部X射线图像特征图，作为层块1的输入。

将56×56的肺部X射线图像特征图数据输入到层块1中，经过六层1×1和3×3的卷积层，识别肺部X射线中阴影部分的数据，并将识别到的数据送入过渡层减少特征图数量，输出28×28的肺部X射线图像特征图作为层块2的输入；

通过卷积层的十二层、四十八层、三十二层分别对肺部X射线图像特征图进行特征图数量减少处理，并将十二层、四十八层、三十二层输出的肺部X射线图像特征图经过层块2、层块3、层块4的肺部X射线图像数据处理，输出图像大小为7×7；

通过Softmax函数做初步对整体肺部图像分类；

运用R-segment分割降噪后的肺部X射线数据集送入到第二个模块VGG网络结构中，提取到肺部结节信息具体如下：

用3×3、步幅为1的过滤器构建卷积层，padding参数为same卷积中的参数；

用一个2×2，步幅为2的过滤器构建最大池化层；

将最后得到的7×7×512的特征图进行全连接操作，得到4096个单元，再进行softmax激活，输出从1000个对象中识别的结果。

7.根据权利要求5所述的基于特征融合的肺部X-Ray图像分类方法，其特征在于，运用GAB在肺炎图像中对于形似部分的颜色特征、亮度特征进行相应抑制，并运用CAB学习鉴别特征，具体如下：

计算通道的注意力特征Z_{ch_at}，公式如下：

C′＝C/2；

其中，H表示高度；W表示宽度；C表示着通道数目；Z_G-OUT表示空间注意特征映射，作为CAB的输入；

由Z′检测每个类别判别区域所需要的通道数目，由Z″保留一半特征，去掉Dropout函数与所有的特征进行预测，其中，Z_{C_OUT}为CAB数据输出特征图，公式如下：

其中，δ表示运用Sigmoid激活函数；GAP表示平均池化，Z_G-IN运用了1×1的卷积对其信道数目进行了减少，C_G表示跨信道平均池化；

探索正常人、普通肺炎患者、COVID19三类之间区别性的特征，并平等地对待每个类别，具体如下：

①、计算每个类别的分数通过S＝{S₁,S₂,....S_L}来表示：

S＝{S₁,S₂,....S_L}；

②、通过reshape函数对数组的结构进行改变，获取位置为1和2上的数值，并做均值处理，公式如下：

③、由步骤②的输出，与S_i做乘法运算的和通过mean函数做均值运算，得到A_CAB，更好的提供诊断的区域，公式如下：

④、通过计算输入Z_G-IN与步骤③输出相乘，得出Z_{C_OUT}为CAB数据输出特征图，公式如下：

其中，S_i表示对每种类别特征映射的重要性反应；Z_{i_avg}表示第i类的语义特征的映射反应；z′_ij表示Z′中的第i类的第j个特征的反应情况；A_CAB更好的提供诊断的区域；

对融合DN-VGG模型的超参数进行调优包括对批处理大小、优化器、损失函数、归一化操作进行测试；具体如下：

在输入图像数据集到融合DN-VGG模型后，结合Adam优化器；

在损失函数中，运用交叉熵损失函数，训练正常人、普通型肺炎患者、COVID19患者的数据时得到的概率分布与真实分布的差异情况；

运用标签平滑技术，设置标签平滑参数，对标签光滑化处理，标签得到了软化，增加融合DN-VGG模型的泛化能力，防止过拟合。

8.一种基于特征融合的肺部X-Ray图像分类系统，其特征在于，该系统包括，

收集模块，用于通过参考文献的公开可用数据集收集正常人和普通型肺炎患者的肺部X射线图像；通过开放性数据库获取COVID-19患者的肺部X射线图像；

预处理模块，用于对获取的正常人和普通型肺炎患者的肺部X射线图像以及COVID-19患者的肺部X射线图像进行预处理；

均衡化模块，用于将获取的数据集采用权重函数进行数据样本均衡化；

模型构建模块，用于运用模型连接和特征融合的方法将DenseNet网络和VGG网络结构进行模型融合构建融合DN-VGG模型，通过融合模型对正常人和普通型肺炎患者的肺部X射线图像以及COVID-19患者的肺部X射线图像进行特征提取与识别。

9.一种电子设备，其特征在于，包括：存储器和至少一个处理器；

其中，所述存储器上存储有计算机程序；

所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如权利要求1至7任一项所述的基于特征融合的肺部X-Ray图像分类方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1至7中任一项所述的基于特征融合的肺部X-Ray图像分类方法。

Images