CN112070755A - 基于深度学习和迁移学习结合的新冠肺炎图像识别方法 - Google Patents
基于深度学习和迁移学习结合的新冠肺炎图像识别方法 Download PDFInfo
- Publication number
- CN112070755A CN112070755A CN202010962531.4A CN202010962531A CN112070755A CN 112070755 A CN112070755 A CN 112070755A CN 202010962531 A CN202010962531 A CN 202010962531A CN 112070755 A CN112070755 A CN 112070755A
- Authority
- CN
- China
- Prior art keywords
- training
- network
- transfer learning
- image
- combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013526 transfer learning Methods 0.000 title claims abstract description 25
- 206010035664 Pneumonia Diseases 0.000 title claims abstract description 22
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 238000011176 pooling Methods 0.000 claims description 12
- 210000004072 lung Anatomy 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012795 verification Methods 0.000 claims description 3
- 230000008092 positive effect Effects 0.000 abstract description 2
- 241000711573 Coronaviridae Species 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011994 high resolution computer tomography Methods 0.000 description 4
- 150000007523 nucleic acids Chemical class 0.000 description 4
- 102000039446 nucleic acids Human genes 0.000 description 4
- 108020004707 nucleic acids Proteins 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 208000025721 COVID-19 Diseases 0.000 description 2
- 208000019693 Lung disease Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 208000002151 Pleural effusion Diseases 0.000 description 1
- 206010035600 Pleural fibrosis Diseases 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000621 bronchi Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000005338 frosted glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习和迁移学习结合的新冠肺炎图像识别方法，包括如下内容：步骤一、模型训练：利用深度卷积神经网络CNN作为图像特征提取器，对COVID‑CT开源数据集进行预训练，提取图像卷积特征；步骤二、将深度卷积神经网络CNN训练部分层的参数迁移至VGG19网络，通过对模型参数进行微调和重新训练。与现有技术相比，本发明的积极效果是：本发明通过对已有的预训练网络利用迁移学习进行微调与重新训练，以减小对训练数据量的需求和依赖；本发明基于VGG19网络，利用迁移学习方法进行训练，最终在未进行数据扩充的情况下在较短的时间内达到84％以上的召回率。
Description
技术领域
本发明公开了一种基于深度学习和迁移学习结合的新冠肺炎图像识别方法。
背景技术
新型冠状病毒肺炎是因感染2019新型冠状病毒(2019-nCoV)引起的以肺部炎性病变为主的急性呼吸道感染性疾病，其传染性强，潜伏期长。目前确诊新型冠状病毒肺炎的标准是核酸检测阳性，而部分患者核酸检测结果呈假阴性，且需排查患者数量较大。对于无症状患者及大量待筛查者，影像学检查尤为重要。HRCT是2019-nCoV肺炎临床诊断的主要方法，具有方便、快捷的特点，在患者隔离、疗效评价与预防方面具有重要意义，而患者肺内病灶多，变化快，短时间内多次复查，图像多，显著增加了诊断医师的负荷。基于AI技术的辅助诊疗系统，可全自动、快速、准确地为医生提供诊疗意见，大幅减轻医疗负担，缓解隔离防控和医务人员紧缺的困难局面。
近年来人工智能(artificial intelligence，AI)技术(尤其是深度学习技术)以其强大的数据分析和特征识别能力，已在胸片质控、肺结节检出、肺癌诊断等诸多肺部疾病中崭露头角并得到临床认可。深度学习模型是人工神经网络的一次全面演进，它可以从图像中自主学习特征提取，取代了人为手工设计，提高了医疗图像诊断准确率。但是深度学习模型需要足够大量的标签数据集进行训练，可以更好地提取图片特征达到符合实际应用的识别诊断率。然而医疗图像数据一般是有限的小样本标签数据集，从零训练卷积神经网络模型很容易出现过拟合等问题，过度学习识别出训练集不相关特征导致在验证集识别准确率降低，难以泛化到实际应用场景。迁移学习不但有效避免了过拟合等问题，而且因为顶层识别特征与医疗图像目标领域相关性更强，能有效提高识别准确率，取得了良好的效果。近年来，迁移学习受到了越来越多专家、学者的关注。它突破了传统机器学习算法要求训练数据和测试数据服从相同分布的限制，能够利用数据分布不同的辅助训练集帮助目标域中的学习任务，并且能够有效解决跨领域学习的问题。
迁移学习，就是将源领域中学到的模型应用到目标领域。如何利用现有的模型在一个新的领域发挥作用，这就是迁移学习要解决的问题。它放宽了传统机器学习中的两个基本假设，目的是迁移已有的知识来解决目标领域中仅有少量有标签样本数据甚至没有的学习问题。通过迁移学习，将已经预训练好的深度学习模型应用在医学领域中，底层同样可以获取图片的边缘，纹理等基本特征而顶层通过训练医学领域的数据也可以获得更好的特征。这样既解决了医学数据量小容易过拟合的问题，提高了训练速度以及准确率，也为解决同类问题提供便捷方法，拓宽了模型的应用范围，提高了有效利用率。在CNN的训练过程中引入迁移学习的方法，可将神经网络从源领域学习到的知识迁移至目标领域。通常，源领域的知识是从一个较大的通用数据集学习到的，而目标领域的知识则基于一个相对较小并聚焦于具体识别任务的数据集。通过引入利用大量肺部CT训练得到的预训练网络作为基础，迁移后的网络继承了原网络的结构和大部分参数，只需要对原网络的最后几层进行调整，迁移后的网络就能获得对特定领域数据的识别能力。这样的方法也被称为微调(fine-tuning)，微调不但可减小网络训练阶段的计算复杂度，也可减少训练网络所需的数据量。
发明内容
为了克服现有技术的上述缺点，本发明提出了一种基于深度学习和迁移学习结合的新冠肺炎图像识别方法，以较少的新型冠状病毒肺炎患者的HRCT图像为训练集，基于VGG19网络，对模型参数进行微调，达到优化网络，提高识别准确率的目的。
本发明解决其技术问题所采用的技术方案是：一种基于深度学习和迁移学习结合的新冠肺炎图像识别方法，包括如下内容：
步骤一、模型训练：
利用深度卷积神经网络CNN作为图像特征提取器，对COVID-CT开源数据集进行预训练，提取图像卷积特征；
步骤二、将深度卷积神经网络CNN训练部分层的参数迁移至VGG19网络，通过对模型参数进行微调和重新训练。
与现有技术相比，本发明的积极效果是：
本发明针对利用传统训练方法进行医学图像识别时缺乏数据的问题，提出了一种利用迁移学习训练卷积神经网络(CNN)实现新型冠状病毒肺炎CT图像识别的方法，通过对已有的预训练网络利用迁移学习进行微调与重新训练，以减小对训练数据量的需求和依赖；本发明基于VGG19网络，利用迁移学习方法进行训练，最终在未进行数据扩充的情况下在较短的时间内达到84％以上的召回率。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1为2019-nCoV阴性的CT图像；
图2为2019-nCoV阳性的CT图像；
图3为训练准确性和验证准确性示意图。
具体实施方式
一种基于深度学习和迁移学习结合的新冠肺炎图像识别方法，包括如下内容：
一、模型训练
由于利用少量样本训练大数量的参数容易造成过拟合现象，因此本发明利用深度卷积神经网络(CNN)作为图像特征提取器，在美国高校研究者构建的COVID-CT开源数据集进行预训练，提取图像卷积特征。
首先把收集到的肺部CT图像(本实施例中为195个阴性、275个阳性)分为训练集、测试集与验证集，数据分布描述如表1所示：
表1数据分割统计
通过这些图像的标题将CT图像分为新冠肺炎阴性、阳性两类，其中，2019-nCoV阴性的CT图像如图1所示；而2019-nCoV阳性的肺部CT表现多为双肺多发磨玻璃密度影(GGO)，以双肺胸膜下分布为主，可伴空气支气管征、小叶间隔增厚和胸膜增厚，极少数或少数伴胸腔积液或淋巴结肿大，其中某一位患者的CT图像如图2所示。
对输入的CT图像，使用3x3的卷积和2x2的滤波器，提取图像卷积特征，根据特征结合图像标题训练神经网络。
二、VGG19网络
由于获得的新型冠状病毒肺炎患者的HRCT数量比较少，本发明以275个肺部CT图像呈阳性的患者的HRCT图像为训练集，将CNN神经网络训练部分层的参数迁移至VGG19网络，对模型参数进行微调，达到优化网络，提高准确率的目的。VGG19网络包含了19个隐藏层(16个卷积层和3个全连接层)，其中：
Stage1：包含两个卷积层，一个池化层；
Stage2：包含两个卷积层，一个池化层；
Stage3：包含四个卷积层，一个池化层；
Stage4：包含四个卷积层，一个池化层；
Stage5：包含四个卷积层，一个池化层；
整个网络包含5个池化层，分别位于每一个Stage的后面。
具体的处理过程如下表所示：
对基本的VGG19网络修改最后的Softmax分类器，由原来的1000分类改为2分类，只考虑新冠肺炎是阴性还是阳性，不考虑其他肺部疾病。在此网络基础上，读入新的肺部CT图像判断该病人是否为新冠肺炎患者。
三、实验结果分析
本发明基于VGG19网络，利用迁移学习方法在未进行数据扩充的情况下训练，得到的测试集上的结果如表2所示：
表2模型在测试集上的结果(％)
最后得到训练准确性和验证准确性的图像，如图3所示。
对患者肺部CT图像进行快速地分类识别在预防传染、积极治疗方面起着非常重要的作用。临床医学表明，核酸检测结果为阴性，但是肺部CT图像显示为阳性。即核酸检测结果未必代表真实情况，CT图像具有无创、快速、能更准确地明确患者的肺部情况并且能随访评估治疗效果等优势，使得在COVID-19疫情期间临床医师能尽早对临床疑似病例进行隔离，阻止疫情的进一步扩散。
本发明基于VGG19预训练网络，利用迁移学习方法进行训练，最终在未进行数据扩充的情况下在较短的时间内达到84％以上的召回率。如果进一步对训练数据进行扩充，可以快速提高准确率，获得更精确的图像分类效果。
Claims (6)
1.一种基于深度学习和迁移学习结合的新冠肺炎图像识别方法，其特征在于：包括如下内容：
步骤一、模型训练：
利用深度卷积神经网络CNN作为图像特征提取器，对COVID-CT开源数据集进行预训练，提取图像卷积特征；
步骤二、将深度卷积神经网络CNN训练部分层的参数迁移至VGG19网络，通过对模型参数进行微调和重新训练。
2.根据权利要求1所述的基于深度学习和迁移学习结合的新冠肺炎图像识别方法，其特征在于：步骤一所述对COVID-CT开源数据集进行预训练时，将收集到的肺部CT图像分为训练集、测试集与验证集。
3.根据权利要求1所述的基于深度学习和迁移学习结合的新冠肺炎图像识别方法，其特征在于：步骤一所述模型训练时，对输入的CT图像，使用3x3的卷积和2x2的滤波器提取图像卷积特征，然后根据图像卷积特征结合CT图像的标题训练神经网络。
4.根据权利要求1所述的基于深度学习和迁移学习结合的新冠肺炎图像识别方法，其特征在于：所述VGG19网络包含19个隐藏层，分为16个卷积层和3个全连接层。
5.根据权利要求4所述的基于深度学习和迁移学习结合的新冠肺炎图像识别方法，其特征在于：所述VGG19网络的Stage1包含两个卷积层，一个池化层；Stage2包含两个卷积层，一个池化层；Stage3包含四个卷积层，一个池化层；Stage4包含四个卷积层，一个池化层；Stage5包含四个卷积层，一个池化层；整个网络包含5个池化层，分别位于每一个Stage的后面。
6.根据权利要求5所述的基于深度学习和迁移学习结合的新冠肺炎图像识别方法，其特征在于：步骤二所述对模型参数进行微调的方法为：首先对基本的VGG19网络修改最后的Softmax分类器，由原来的1000分类改为2分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010962531.4A CN112070755A (zh) | 2020-09-14 | 2020-09-14 | 基于深度学习和迁移学习结合的新冠肺炎图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010962531.4A CN112070755A (zh) | 2020-09-14 | 2020-09-14 | 基于深度学习和迁移学习结合的新冠肺炎图像识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112070755A true CN112070755A (zh) | 2020-12-11 |
Family
ID=73695657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010962531.4A Pending CN112070755A (zh) | 2020-09-14 | 2020-09-14 | 基于深度学习和迁移学习结合的新冠肺炎图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112070755A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112786189A (zh) * | 2021-01-05 | 2021-05-11 | 重庆邮电大学 | 一种基于深度学习的新冠肺炎智能诊断系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109727227A (zh) * | 2018-11-23 | 2019-05-07 | 哈尔滨工业大学（威海） | 一种基于spect影像的甲状腺疾病诊断方法 |
| CN110084803A (zh) * | 2019-04-29 | 2019-08-02 | 南京星程智能科技有限公司 | 基于人类视觉系统的眼底图像质量评估方法 |
| WO2019237191A1 (en) * | 2018-06-11 | 2019-12-19 | Socovar, Société En Commandite | System and method for determining coronal artery tissue type based on an oct image and using trained engines |
| SG11202000693YA (en) * | 2018-05-14 | 2020-02-27 | Ping An Technology Shenzhen Co Ltd | Method and device for generating medical report |
-
2020
- 2020-09-14 CN CN202010962531.4A patent/CN112070755A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SG11202000693YA (en) * | 2018-05-14 | 2020-02-27 | Ping An Technology Shenzhen Co Ltd | Method and device for generating medical report |
| WO2019237191A1 (en) * | 2018-06-11 | 2019-12-19 | Socovar, Société En Commandite | System and method for determining coronal artery tissue type based on an oct image and using trained engines |
| CN109727227A (zh) * | 2018-11-23 | 2019-05-07 | 哈尔滨工业大学（威海） | 一种基于spect影像的甲状腺疾病诊断方法 |
| CN110084803A (zh) * | 2019-04-29 | 2019-08-02 | 南京星程智能科技有限公司 | 基于人类视觉系统的眼底图像质量评估方法 |
Non-Patent Citations (2)
| Title |
|---|
| I.U.KHAN, N.ASLAM: "A Deep-Learning-Based Framework for Automated Diagnosis of COVID-19 Using X-ray Images" * |
| 高冬冬: "基于卷积神经网络的肺炎识别与研究" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112786189A (zh) * | 2021-01-05 | 2021-05-11 | 重庆邮电大学 | 一种基于深度学习的新冠肺炎智能诊断系统 |
| CN112786189B (zh) * | 2021-01-05 | 2022-07-01 | 重庆邮电大学 | 一种基于深度学习的新冠肺炎智能诊断系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gu et al. | Classification of bacterial and viral childhood pneumonia using deep learning in chest radiography | |
| CN109635835A (zh) | 一种基于深度学习与迁移学习的乳腺病变区域检测方法 | |
| CN106033540B (zh) | 一种阴道微生态形态学自动分析方法和系统 | |
| CN109325942A (zh) | 基于全卷积神经网络的眼底图像结构分割方法 | |
| CN110570432A (zh) | 一种基于深度学习的ct图像肝脏肿瘤分割方法 | |
| CN110731773B (zh) | 一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法 | |
| CN114359629B (zh) | 一种基于深度迁移学习的肺炎x胸片分类识别方法 | |
| Uparkar et al. | Vision transformer outperforms deep convolutional neural network-based model in classifying X-ray images | |
| Alruwaili et al. | COVID‐19 Diagnosis Using an Enhanced Inception‐ResNetV2 Deep Learning Model in CXR Images | |
| CN111462082A (zh) | 一种病灶图片识别装置、方法、设备及可读存储介质 | |
| Yong et al. | Automatic ventricular nuclear magnetic resonance image processing with deep learning | |
| CN112070755A (zh) | 基于深度学习和迁移学习结合的新冠肺炎图像识别方法 | |
| CN110428405A (zh) | 一种检测生物组织图像中肿块的方法、相应设备及介质 | |
| Tang et al. | Artificial intelligence and myocardial contrast enhancement pattern | |
| Li et al. | A recognition method of urine cast based on deep learning | |
| CN113192041A (zh) | 一种基于深度学习卷积神经网络的肺部炎症识别诊断方法 | |
| Wang et al. | X-ray images detection of COVID-19 based on deepwise separable DenseNet | |
| CN114120035A (zh) | 一种医学影像识别训练方法 | |
| CN112633336A (zh) | 一种基于多尺度特征融合的肺结节识别分类方法 | |
| Xu et al. | Urine sediment detection based on deep learning | |
| Anand et al. | Transformer-based Multiclass Classification of Cervicogram Images for Improved Cervical Cancer Detection | |
| Iyer et al. | Deep learning model for disease prediction using gastrointestinal-endoscopic images | |
| Wang et al. | A MobileNet Based Model for Tongue Shape Classification | |
| Zhang et al. | Cervical precancerous lesion detection based on deep learning of colposcopy images | |
| Yuan et al. | Chest X-ray disease diagnosis method based on YOLO model and pseudo color conversion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201211 |
|
| RJ01 | Rejection of invention patent application after publication |