CN114359629A - 一种基于深度迁移学习的肺炎x胸片分类识别方法 - Google Patents
一种基于深度迁移学习的肺炎x胸片分类识别方法 Download PDFInfo
- Publication number
- CN114359629A CN114359629A CN202111565507.8A CN202111565507A CN114359629A CN 114359629 A CN114359629 A CN 114359629A CN 202111565507 A CN202111565507 A CN 202111565507A CN 114359629 A CN114359629 A CN 114359629A
- Authority
- CN
- China
- Prior art keywords
- model
- chest
- training
- data set
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 44
- 238000013508 migration Methods 0.000 title claims abstract description 31
- 230000005012 migration Effects 0.000 title claims abstract description 31
- 238000002601 radiography Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 66
- 238000013145 classification model Methods 0.000 claims abstract description 61
- 238000012360 testing method Methods 0.000 claims abstract description 34
- 238000011156 evaluation Methods 0.000 claims abstract description 16
- 239000002775 capsule Substances 0.000 claims abstract description 13
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims abstract description 7
- 238000010606 normalization Methods 0.000 claims abstract description 4
- 230000008014 freezing Effects 0.000 claims abstract description 3
- 238000007710 freezing Methods 0.000 claims abstract description 3
- 230000008569 process Effects 0.000 claims description 31
- 230000004927 fusion Effects 0.000 claims description 24
- 238000012795 verification Methods 0.000 claims description 17
- 210000002569 neuron Anatomy 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 210000004072 lung Anatomy 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 208000025721 COVID-19 Diseases 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000000750 progressive effect Effects 0.000 claims description 6
- 230000008034 disappearance Effects 0.000 claims description 2
- 238000004880 explosion Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 238000013526 transfer learning Methods 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012803 optimization experiment Methods 0.000 description 2
- 208000019693 Lung disease Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度迁移学习的肺炎X胸片分类识别方法，其中包括：首先，获取源域数据集和目标域数据集，并且对目标域数据集进行去噪、灰度变换、统一尺寸、归一化等预处理操作；其次，搭建第一分类模型；将利用源域数据集训练得到的基权重加载到第一分类模型中，冻结低层卷积网络参数后再次训练目标域数据集；再次，在第一分类模型的基础上结合由向量神经网络组成的胶囊网络(CapsNet)搭建第二分类模型，最后利用不同的评价指标对训练好的模型对测试集进行测试。本发明巧妙地利用迁移学习的方法有效解决了小型数据集难以在传统深度学习方法中训练且结果容易过拟合的问题；此外，本发明一定程度上提高了肺炎X胸片的识别率。
Description
技术领域
本发明属于医学图像处理领域，具体涉及了一种基于VGG16和CapsNet改进后的深度迁 移学习肺炎X胸片分类识别系统。
背景技术
肺炎是一种发病率极高的肺部常见疾病，患者多为5岁以下的儿童和老年人，大部分发 生在医疗资源匮乏的国家以及发达国家的偏远地区。
肺炎类型的准确诊断成为了研究热点。在医学影像辅助诊断中肺炎的诊断方式有基于X 射线、CT和MRI等形式；由于X射线存在成像质量高、价格低等优点，因此这种检测方式 普遍存在于我国偏远地区。然而，对于专业的影像科医生来说，长时间阅读X胸片后容易造 成视觉疲劳，难免出现误诊、漏诊的情况。近年来，采用深度学习的方法对医学影像辅助诊 断已成为主流趋势，采用不同的深度学习模型，从分类、目标检测等不同方面对医学影像进 行处理，在肺炎识别领域同样如此。
发明内容
本发明针对现有深度学习模型都是基于大量训练数据所得出，并且由于医学影像的特殊 性很难有大型的公开数据集等问题，提出了一种基于深度迁移学习的小数据集肺炎分类识别 方法及装置，有效解决深度学习方法中小型数据集无法达到训练要求，且容易过拟合等问题。
本发明所采用的技术方案是：一种基于深度迁移学习的肺炎X胸片分类识别方法，包括 步骤如下：
S1：获取数据集，其中包含源域肺部Chest X-Ray8胸片数据集和目标域COVID X-Ray 肺炎X胸片数据集；
S2:将目标域数据集分为训练集、测试集和验证集，并且对目标域数据集所有X胸片进 行预处操作；
S3：构建深度迁移学习模型，首先使用VGG16网络模型对源域Chest X-Ray8胸片数据 集进行训练得到网络基权重，其次将基权重加载到改进后的VGG16后再使用采用深度渐进 微调策略(deep progressive fine-tune)对目标域数据集进行再次训练，得到第一分类模型 DPFT-VGG16；最后为得到更好实验结果在第一分类模型的基础之上融合向量胶囊网络 CapsNet，得到第二分类模型DPFT-VGGCapsNet。
S4：构建特征融合层，将数据集输入到模型中进行训练，采用动态改变学习率大小的训 练方法，经由特征融合层后在分类器的作用下得到不同的分类结果。
S5:将未标记的训练集和验证集X胸片输入到S3和S4中所搭建的深度迁移第一分类模 型和第二分类模型进行验证和测试，采用多种评价指标对测试集不同类别的X胸片结果进行 分类评价。
对获取到的目标域数据集COVID X-Ray进行预处理过程包括：
对所有目标域数据集COVID X-Ray中所有X胸片打上标签，其中新冠肺炎COVID19胸 片为0，正常胸片为1，普通肺炎胸片为2.
由于COVID19胸片数量相对较少，为保持各类别胸片数据量相对平衡，对COVID19胸片进行扩增，其中主要包括小幅度旋转和镜像两种方式。
对扩增后的目标域数据集采用数字图像处理的方式进行中值滤波去噪，提升目标域数据集中 X胸片的质量，其中中值去噪的表达式为：
g(x,y)＝med{f(x-k,y-l),(k,l∈W)} (1)
其中g(x,y)，f(x,y)分别为滤波后和滤波前的像素值，W为滤波器窗口，通常可取3*3或 者5*5大小的区域。
对中值滤波后的目标域数据集采用指数变换的方式进行灰度变换，统一X胸片的灰度， 其中变换表达式为：
其中A为灰度缩放系数，用于拉伸图像灰度通常取值为1，Vin为输入灰度级，Vout为输出 灰度级，γ为灰度变换系数，当γ＞1时，对图像灰度直方图具有拉伸效果，使得灰度向高灰 度值延伸；当γ＜1时，对图像灰度直方图具有收缩作用，使得图像灰度向低灰度值方向靠拢。 对预处理过后的X胸片采用数字图像处理技术统一为224*224的尺寸，并且进行归一化操作。
将预处理完的目标域数据集划分为训练集、测试集和验证集，按照3:1的比例选取测试集 和验证集，其中测试集为每个类别300张，总计900张；验证集为每个类别100张，总计300 张，其剩余部分全部作为训练集。
第一分类模型通过如下训练过程所得到：
第一分类模型为改进后的VGG16模型，其中主要的改进部分为BN(BatchNormalization, BN)层和特征融合层的增加，在网络模型的低层卷积后加入BN层可以对模型中每个 mini-batch的数据进行归一化使得均值为0方差为1，有效改善训练过程中出现梯度消失或者 梯度爆炸等问题。特征融合层的加入，使得模型训练过程中每经过一次反向传播后都对特征 融合层中的参数进行调整同时进行一次特征融合。因此整个第一分类模型DPFT-VGG16上最 终由13个卷积层，2个BN层，5个最大池化层和由2个全连接层(FullConnection,FC)和1 个Dropout层的特征融合层组成。其中卷积层中全部采用3*3的小尺寸卷积核，填充方式为 全零填充的Zero-padding且步长为1；池化过程使用2*2的池化核，且步长为2。
训练过程为，将采用源域数据集Chest X-Ray8训练所得到的基权重加载到第一分类模型 中，并采用目标域数据集COVID X-Ray对第一分类模型进行训练，其中具体迁移过程的公式 如下：
其中xi,xj分别表示第i,j个样本，yi,yj表示相对应的标签，Xs,Xt分别表示Ds,Dt的特征 空间，Ys,Yt分别表示Ds,Dt的标签空间。
将基权重加载到第一分类模型DPFT-VGG16后，冻结整个网络的前16层网络参数，深度 渐进微调最后3个卷积层。在训练模型的过程中，采用ReLu作为模型的激活函数，优化器 选择Adam梯度下降算法，同时在整个训练过程中采用学习率逐渐递减的方式动态调整学习 率，模型训练前将初始学习率设置为0.001，在每训练5个epoch后如果评价指标不再提升时 则将学习率减小到原来的一半，最后经由特征融合层后在softmax分类器的作用下得到类别 结果，其中特征融合层中参数更新公式如下：
其中：α为学习率；
为第l-1层的第j个神经元连接到l层第i个神经元的权重；
为 第l层第i个神经元的偏置值。
第二分类模型通过如下训练过程得到：
对第一分类模型进行改进，在其尾部融合由向量神经元所构成的胶囊网络(CapsNet)寻找 不同肺炎特征的关系来进一步提高分类结果。将第一分类模型中改进后的VGG16作为整个 网络的特征提取器，将所提取到的肺部X胸片特征经过CapsNet以及其中动态路由算法的编 码后进行训练。
具体训练过程为，同样将经过源域数据集训练所得基权重加载到第二分类模型中，冻结 网络的前16层参数，深度渐进微调最后3个卷积层。在训练模型的过程中，采用ReLu作为 模型的激活函数，优化器选择Adam梯度下降算法，同时在整个训练过程中采用学习率逐渐 递减的方式动态调整学习率，模型训练前将初始学习率设置为0.001，在每训练5个epoch后 如果评价指标不再提升时则将学习率减小到原来的一半，最后经由特征融合层后在softmax 分类器的作用下得到类别结果。
对训练好的分类模型采用验证集和测试集分别进行验证和测试，采用多种不同评价指标 对实验结果进行多次评估后获得最优深度迁移的肺炎分类识别模型。
本发明具有以下优点：
本发明提供的方法主要包括数据集的预处理、权重文件的训练获取、深度迁移模型的搭 建以及测试评价四部分。与传统图像处理的方法相比，本方法不需要手动进行特征的提取， 采用端对端(end to end)的方式输入X胸片图像，得到分类结果，极大地减少了时间成本。
本发明中利用迁移学习思想，解决了深度学习对小型数据集训练效果不理想的问题；针 对医学图像与传统图像的差异性，目标域肺炎X胸片数据量不足，采用ImageNet竞赛数据 集中使用自然图像所训练出的权重与医学图像特征相差过大，难以得到良好识别结果等问题， 搭建出了一种改进后的深度迁移学习模型，采用其他疾病的大型X胸片作为源域数据集先训 练得到基权重，再将权重迁移到迁移学习模型中，冻结模型中低层网络参数，对目标域数据 集进行训练，构建最优深度迁移学习模型，提高肺炎X胸片的识别率。
本发明还针对传统标量卷积神经网络无法捕获不同肺炎X胸片的空间特征关系的问题， 将以向量神经元为基础的胶囊网络引入肺炎X胸片识别模型中，在第一分类模型的基础上搭 建出第二分类模型，进一步提高了肺炎X胸片的识别率。
附图说明
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施例方式不仅限 于此。
图1是发明一种基于深度迁移学习的肺炎X胸片分类识别基本流程图；
图2是目标域数据集预处理前后X胸片以及其灰度图的对比图；
图3是深度迁移学习肺炎识别第一分类模型的网络结构示意图；
图4是深度迁移学习肺炎识别第二分类模型的网络结构示意图；
图5是第一和第二分类模型在测试集中评价指标选用混淆矩阵的测试结果图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细说明；
本实施例所使用到的数据集为两个，源域数据集Chest X-Ray8和目标域COVID X-Ray， 其中目标域COVID X-Ray数据集经过本人差异化融合，但两个数据集所使用到的均为网上公 开的X胸片。实验环境为python3.5.2，Anaconda4.8.2，TensorFlow1.14，Keras2.24。
如图1所示，一种基于深度迁移学习的肺炎分类识别方法，包括步骤如下：
首先获取数据集，其中包含源域肺部Chest X-Ray8胸片数据集和自我差异化融合的目标 域COVID X-Ray肺炎X胸片数据集。
针对目标域X胸片存在噪声，肺叶和非肺叶组织对比度不高的问题，对目标域数据集进 行中值滤波去噪处理和伽马灰度变换处理，并将X胸片全部统一为224*224的尺寸，经过这 两步骤预处理后的目标域X胸片如图2所示：
将预处理过后的目标域X胸片分为训练集验证集和测试集，各类别扩增前后训练集、测 试集和验证集数量分别如表1和表2所示：
表1
表2
构建深度迁移学习肺炎分类识别第一模型，其网络结构图如图3所示，主要分类三个阶 段：阶段一，选取网络深度和参数都适中的VGG16模型对源域数据集进行训练得到一个网 络参数基权重文件；阶段二，将得到的基权重加载到改进后的VGG16模型中，采用深度渐 进微调的策略(deep progressive fine-tune)对第一分类模型进行微调；阶段三，重构特征融合层 后得到整个第一分类模型。
根据卷积神经网络的特点，低层卷积提取的是X胸片中较为低级的特征，如边缘、形状、 肺轮廓等。而这些低级特征不管是对肺炎还是肺部其他疾病老说都是通用基础特征，因此诊 断卷积网络这一特性，将采用肺部其他疾病的源域数据集所训练得到的基权重参数加载到第 一分类模型中后，冻结模型中低层卷积参数，再使用目标域数据集对第一分类模型中高层卷 积进行微调(Fine-Tune)。
在第一模型的训练过程中，根据整个模型的特点，采用ReLu作为模型的激活函数，优化 器选择Adam梯度下降算法，损失函数选择交叉熵损失函数；同时在整个训练过程中采用学 习率逐渐递减的方式动态调整学习率，模型训练前将初始学习率设置为0.001，在每训练5个 epoch后如果评价指标不再提升时则将学习率减小到原来的一半。
针对目标域数据集特点，对特征融合层中全连接神经元节点设置为512,256,128,64,； Dropout随机舍弃比例设置为0.3,0.4,0.5,0.6的组合进行网格寻优实验。
在训练模型的过程，对模型训练50个epoch后，整个模型的训练准确率基本达到收敛状 态，则停止训练。
针对医学影像特点，且客观评价深度迁移学习肺炎分类识别模型的有效性，采用混淆矩 阵(Confusion Matrix)、准确率(Accuracy，Acc)、特异度(Specificity,Spe)、灵敏度(Sentivity， Sen)、精确率(Precision，，Pre)和F1-score等多个评价指标对测试集结果进行评价。
根据网格寻优实验结果，最终特征融合层部分全连接层的神经元节点数分别设置为 512，256且Dropout率为0.5的组合时，测试集中识别总体准确率达到最好效果93.89％。测试 集中具体结果如表3所示：
表3第一分类模型测试集结果
构建深度迁移学习肺炎分类识别第二分类模型，为了进一步对第一分类模型进行改进， 因此在第一分类模型的基础上，在其尾部融合由向量神经元所构成的胶囊网络(CapsNet)寻找 不同肺炎特征的关系来进一步提高分类结果。将第一分类模型中改进后的VGG16作为整个 网络的特征提取器，将所提取到的肺部X胸片特征经过CapsNet以及其中动态路由算法的编 码后进行训练，第二分类模型结构如图4所示：
其中主要为融合胶囊网络的编码部分，在第一分类模型的卷积层末尾融合两层胶囊神经 层称为Capsule层，其中每个胶囊层为16个胶囊神经元向量组，采用3*3大小的卷积核，步 长为1的卷积方式。
特征提取部分ReLu作为模型的激活函数，胶囊层部分采用Square激活函数去线性化， 优化器选择Adam梯度下降算法，损失函数选择CapsNet中特有的边际损失函数，其公式如 下所示；
Lc＝Tcmax(0,m+-||vc||)2+λ(1-Tc)max(0,||vc||-m-)2 (6)
其中：c为分类类别；Tc为分类中的指示函数(如果c存在，Tc则为1，如果c不存在，Tc则 为0)；m+为上边界，m-为下边界；||vc||为向量的L2范数。
在整个训练过程中采用学习率逐渐递减的方式动态调整学习率，模型训练前将初始学习 率设置为0.001，在每训练5个epoch后如果评价指标不再提升时则将学习率减小到原来的一 半。
在训练模型的过程，对模型训练50个epoch后，整个模型的训练准确率基本达到收敛状 态，则停止训练。采用测试集对训练好的第二分类模型进行测试，最终测试集类别总体准确 =提升至94.67％，具体结果如表4所示：
表4第二分类模型测试结果
最终，测试集在深度迁移学习肺炎分类识别第一和第二分类模型中的测试集结果混淆矩 阵如图5所示，其中左边为第一分类模型DPFT-VGG16的测试分类结果，右边为第二分类模 型DPFT-VGGCapsNet的测试分类结果。
基于本实例可以得出，本发明利用迁移学习方法，通过对小型数据集的训练同样可以达 到深度学习中需要大量数据来训练的结果。极大地减少了训练过程中所需要的数据量。在第 二分类模型中，一定程度上通过融合向量神经网络解决了不同肺炎特征的空间关系，来进一 步提高了肺炎分类的识别准确率。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的， 不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进 行变化、修改、替换和变型。
Claims (5)
1.一种基于深度迁移学习的肺炎X胸片分类识别方法其步骤，其特征在于，包括：
S1：获取数据集，其中包含源域肺部Chest X-Ray8胸片数据集和目标域COVID X-Ray肺炎X胸片数据集；
S2:将目标域数据集分为训练集、测试集和验证集，并且对目标域数据集所有X胸片进行预处操作；
S3：构建深度迁移学习模型，首先使用VGG16网络模型对源域Chest X-Ray8胸片数据集进行训练得到网络基权重，其次将基权重加载到改进后的VGG16后再使用采用深度渐进微调策略(deep progressive fine-tune)对目标域数据集进行再次训练，得到第一分类模型DPFT-VGG16；最后为得到更好实验结果在第一分类模型的基础之上融合向量胶囊网络CapsNet，得到第二分类模型DPFT-VGGCapsNet；
S4：构建特征融合层，将数据集输入到模型中进行训练，采用动态改变学习率大小的训练方法，经由特征融合层后在分类器的作用下得到不同的分类结果；
S5:将未标记的训练集和验证集X胸片输入到S3和S4中所搭建的深度迁移第一分类模型和第二分类模型进行验证和测试，采用多种评价指标对测试集不同类别的X胸片结果进行分类评价。
2.根据权利1所述的基于深度迁移学习的肺炎分类识别的训练方法，其特征在于，对获取到的目标域数据集COVID X-Ray进行预处理过程包括：
对所有目标域数据集COVID X-Ray中所有X胸片打上标签，其中新冠肺炎COVID19胸片为0，正常胸片为1，普通肺炎胸片为2.
由于COVID19胸片数量相对较少，为保持各类别胸片数据量相对平衡，对COVID19胸片进行扩增，其中主要包括小幅度旋转和镜像两种方式；
对扩增后的目标域数据集采用数字图像处理的方式进行中值滤波去噪，提升目标域数据集中X胸片的质量，其中中值去噪的表达式为：
g(x,y)＝med{f(x-k,y-l),(k,l∈W)} (1)
其中g(x,y)，f(x,y)分别为滤波后和滤波前的像素值，W为滤波器窗口，通常可取3*3或者5*5大小的区域；
对中值滤波后的目标域数据集采用伽马变换的方式进行灰度变换，统一X胸片的灰度，其中变换表达式为：
其中A为灰度缩放系数，用于拉伸图像灰度通常取值为1，Vin为输入灰度级，Vout为输出灰度级，γ为灰度变换系数，当γ＞1时，对图像灰度直方图具有拉伸效果，使得灰度向高灰度值延伸；当γ＜1时，对图像灰度直方图具有收缩作用，使得图像灰度向低灰度值方向靠拢；对预处理过后的X胸片采用数字图像处理技术统一为224*224的尺寸，并且进行归一化操作；
将预处理完的目标域数据集分为训练集、测试集和验证集，按照3：1的比例选取测试集和验证集，其中测试集为每个类别300张，总计900张；验证集为每个类别100张，总计300张，其余全部作为训练集。
3.根据权利要求1所述的基于深度迁移学习的肺炎分类识别模型的训练方法，其特征在于，第一分类模型通过如下训练过程所得到：
第一分类模型为改进后的VGG16模型，其中主要的改进部分为BN(BatchNormalization,BN)层和特征融合层的增加，在网络模型的低层卷积后加入BN层可以对模型中每个mini-batch的数据进行归一化使得均值为0方差为1，有效改善训练过程中出现梯度消失或者梯度爆炸等问题；特征融合层的加入，使得模型训练过程中每经过一次反向传播后都对特征融合层中的参数进行调整同时进行一次特征融合；因此整个第一分类模型DPFT-VGG16最终由13个卷积层，2个BN层，5个最大池化层和由2个全连接层(FullConnection,FC)和1个Dropout层的特征融合层组成；其中卷积层中全部采用3*3的小尺寸卷积核，填充方式为全零填充的Zero-padding且步长为1；池化过程使用2*2的池化核，且步长为2；
训练过程为，将采用源域数据集Chest X-Ray8训练所得到的基权重加载到第一分类模型中，并采用目标域数据集COVID X-Ray对第一分类模型进行训练，其中具体迁移过程的公式如下：
其中xi,xj分别表示第i,j个样本，yi,yj表示相对应的标签，Xs,Xt分别表示Ds,Dt的特征空间，Ys,Yt分别表示Ds,Dt的标签空间；
将基权重加载到第一分类模型DPFT-VGG16后，冻结整个网络的前16层网络参数，深度渐进微调最后3个卷积层；在训练模型的过程中，采用ReLu作为模型的激活函数，优化器选择Adam梯度下降算法，同时在整个训练过程中采用学习率逐渐递减的方式动态调整学习率，模型训练前将初始学习率设置为0.001，在每训练5个epoch后如果评价指标不再提升时则将学习率减小到原来的一半，最后经由特征融合层后在softmax分类器的作用下得到类别结果，其中特征融合层中参数更新公式如下：
其中：α为学习率；
为第l-1层的第j个神经元连接到l层第i个神经元的权重；
为第l层第i个神经元的偏置值。
4.根据权利要求1所述的基于深度迁移学习的肺炎识别模型的训练方法，其特征在于，第二分类模型通过如下训练过程得到：
对第一分类模型进行改进，在其尾部融合由向量神经元所构成的胶囊网络(CapsNet)寻找不同肺炎特征的关系来进一步提高分类结果；将第一分类模型中改进后的VGG16作为整个网络的特征提取器，将所提取到的肺部X胸片特征经过CapsNet的训练以及其中动态路由算法的编码后进行训练；
具体训练过程为，同样将经过源域数据集训练所得基权重加载到第二分类模型中，冻结网络的前16层参数，深度渐进微调最后3个卷积层；在训练模型的过程中，采用ReLu作为模型的激活函数，优化器选择Adam梯度下降算法，同时在整个训练过程中采用学习率逐渐递减的方式动态调整学习率，模型训练前将初始学习率设置为0.001，在每训练5个epoch后如果评价指标不再提升时则将学习率减小到原来的一半，最后经由特征融合层后在softmax分类器的作用下得到类别结果。
5.根据权利要求1所述的基于深度迁移学习的肺炎识别方法，其特征在于，对训练好的分类模型采用验证集和测试集分别进行验证和测试，采用多种不同评价指标对实验结果进行多次评估后获得最优深度迁移的肺炎分类识别模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111565507.8A CN114359629B (zh) | 2021-12-20 | 2021-12-20 | 一种基于深度迁移学习的肺炎x胸片分类识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111565507.8A CN114359629B (zh) | 2021-12-20 | 2021-12-20 | 一种基于深度迁移学习的肺炎x胸片分类识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114359629A true CN114359629A (zh) | 2022-04-15 |
| CN114359629B CN114359629B (zh) | 2024-04-16 |
Family
ID=81102100
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111565507.8A Active CN114359629B (zh) | 2021-12-20 | 2021-12-20 | 一种基于深度迁移学习的肺炎x胸片分类识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359629B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205599A (zh) * | 2022-07-25 | 2022-10-18 | 浙江大学 | 一种基于域泛化模型的多年龄段儿童胸片图像肺炎分类系统 |
| CN115482927A (zh) * | 2022-09-21 | 2022-12-16 | 浙江大学 | 一种基于小样本的儿童肺炎诊断系统 |
| CN116912879A (zh) * | 2023-06-02 | 2023-10-20 | 广州大学 | 一种基于迁移学习的刷耳身份识别方法 |
| CN117892258A (zh) * | 2024-03-12 | 2024-04-16 | 沃德传动（天津）股份有限公司 | 基于数据融合的轴承迁移诊断方法、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190087726A1 (en) * | 2017-08-30 | 2019-03-21 | The Board Of Regents Of The University Of Texas System | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications |
| CN109961096A (zh) * | 2019-03-19 | 2019-07-02 | 大连理工大学 | 一种多模高光谱图像迁移分类方法 |
| CN113326378A (zh) * | 2021-06-16 | 2021-08-31 | 山西财经大学 | 一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法 |
| CN113344022A (zh) * | 2021-03-09 | 2021-09-03 | 山西三友和智慧信息技术股份有限公司 | 一种基于深度学习的胸片检测方法 |
-
2021
- 2021-12-20 CN CN202111565507.8A patent/CN114359629B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190087726A1 (en) * | 2017-08-30 | 2019-03-21 | The Board Of Regents Of The University Of Texas System | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications |
| CN109961096A (zh) * | 2019-03-19 | 2019-07-02 | 大连理工大学 | 一种多模高光谱图像迁移分类方法 |
| CN113344022A (zh) * | 2021-03-09 | 2021-09-03 | 山西三友和智慧信息技术股份有限公司 | 一种基于深度学习的胸片检测方法 |
| CN113326378A (zh) * | 2021-06-16 | 2021-08-31 | 山西财经大学 | 一种基于参数迁移和注意力共享机制的跨领域文本情感分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 何新宇;张晓龙;: "基于深度神经网络的肺炎图像识别模型", 计算机应用, no. 06, 21 January 2019 (2019-01-21) * |
| 赵传君;王素格;李德玉;: "跨领域文本情感分类研究进展", 软件学报, no. 06, 8 June 2020 (2020-06-08) * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115205599A (zh) * | 2022-07-25 | 2022-10-18 | 浙江大学 | 一种基于域泛化模型的多年龄段儿童胸片图像肺炎分类系统 |
| CN115205599B (zh) * | 2022-07-25 | 2023-02-10 | 浙江大学 | 一种基于域泛化模型的多年龄段儿童胸片图像肺炎分类系统 |
| CN115482927A (zh) * | 2022-09-21 | 2022-12-16 | 浙江大学 | 一种基于小样本的儿童肺炎诊断系统 |
| CN116912879A (zh) * | 2023-06-02 | 2023-10-20 | 广州大学 | 一种基于迁移学习的刷耳身份识别方法 |
| CN117892258A (zh) * | 2024-03-12 | 2024-04-16 | 沃德传动（天津）股份有限公司 | 基于数据融合的轴承迁移诊断方法、电子设备及存储介质 |
| CN117892258B (zh) * | 2024-03-12 | 2024-06-07 | 沃德传动（天津）股份有限公司 | 基于数据融合的轴承迁移诊断方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114359629B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584254B (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
| CN109544534B (zh) | 一种病灶图像检测装置、方法和计算机可读存储介质 | |
| CN111539930B (zh) | 基于深度学习的动态超声乳腺结节实时分割与识别的方法 | |
| CN114359629B (zh) | 一种基于深度迁移学习的肺炎x胸片分类识别方法 | |
| CN108648191B (zh) | 基于贝叶斯宽度残差神经网络的害虫图像识别方法 | |
| CN108257135A (zh) | 基于深度学习方法解读医学图像特征的辅助诊断系统 | |
| CN110895817A (zh) | 一种基于影像组学分析的mri影像肝纤维化自动分级方法 | |
| Yao et al. | Pneumonia Detection Using an Improved Algorithm Based on Faster R‐CNN | |
| CN112488976B (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
| CN110503635B (zh) | 一种基于异构数据融合网络的手骨x光片骨龄评估方法 | |
| CN110991254B (zh) | 超声图像视频分类预测方法及系统 | |
| CN110543916B (zh) | 一种缺失多视图数据的分类方法及系统 | |
| CN112329871B (zh) | 一种基于自校正卷积与通道注意力机制的肺结节检测方法 | |
| CN112508953B (zh) | 基于深度神经网络的脑膜瘤快速分割定性方法 | |
| CN113449791B (zh) | 基于深度学习的肺炎图像分类方法及系统 | |
| CN109448854A (zh) | 一种肺结核检测模型的构建方法及应用 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN113643261B (zh) | 一种基于频率注意网络的胸肺部疾病诊断方法 | |
| CN113989551A (zh) | 一种基于改进ResNet网络的阿尔茨海默病分类方法 | |
| CN110517249A (zh) | 超声弹性图像的成像方法、装置、设备及介质 | |
| CN112364920A (zh) | 基于深度学习的甲状腺癌病理图像分类方法 | |
| Akkar et al. | Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm | |
| CN115661066A (zh) | 基于分割和分类相融合的糖尿病性视网膜病变检测方法 | |
| CN117611599B (zh) | 融合中心线图和增强对比度网络的血管分割方法及其系统 | |
| CN117173460A (zh) | 一种多任务联合优化的前列腺偶发癌检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |