CN111553890B - 基于增量学习的x光正位胸片多任务检测方法 - Google Patents

基于增量学习的x光正位胸片多任务检测方法 Download PDF

Info

Publication number
CN111553890B
CN111553890B CN202010321455.9A CN202010321455A CN111553890B CN 111553890 B CN111553890 B CN 111553890B CN 202010321455 A CN202010321455 A CN 202010321455A CN 111553890 B CN111553890 B CN 111553890B
Authority
CN
China
Prior art keywords
learning
group
data set
basic group
increment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010321455.9A
Other languages
English (en)
Other versions
CN111553890A (zh
Inventor
石华铮
刘春利
高欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Panoramic Cloud Medical Imaging Diagnosis Co ltd
Original Assignee
Shanghai Panoramic Cloud Medical Imaging Diagnosis Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Panoramic Cloud Medical Imaging Diagnosis Co ltd filed Critical Shanghai Panoramic Cloud Medical Imaging Diagnosis Co ltd
Priority to CN202010321455.9A priority Critical patent/CN111553890B/zh
Publication of CN111553890A publication Critical patent/CN111553890A/zh
Application granted granted Critical
Publication of CN111553890B publication Critical patent/CN111553890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种基于增量学习的X光正位胸片多任务检测方法，首先将医学数据集分成基础组和增量组，然后采用改进的ResNet‑50网络模型对基础组进行深度表征学习，再对增量组进行小样本训练学习，最后将基础组与增量组合并调优，完成整个算法模型的训练；所述改进的ResNet‑50网络模型为ImageNet预训练的ResNet‑50网络模型。本发明的基于增量学习的X光正位胸片多任务检测方法，利用多语义任务和多标签的增量学习方法达到胸片多任务检测，用已有知识去学习识别新的疾病种类，以避免遇到新疾病时完全重新训练预测模型，同时达到提升识别新病变的诊断性能表现的目的，对医疗成像设备的发展和应用提供可行性支持。

Description

基于增量学习的X光正位胸片多任务检测方法
技术领域
本发明属于机器学习、模式识别和医学影像处理技术领域，涉及一种基于增量学习的X光正位胸片多任务检测方法。
背景技术
从20世纪70年代到90年代医学影像扫描可以载入电脑起，研究人员就已经开始了医学图像自动处理与分析系统的建立，研究基于规则的专家系统来解决特定的医学图像分析任务。到20世纪90年代末，监督学习技术的流行使得计算机辅助诊断系统开始了从人类设计规则的专家系统到计算机提取特征进行训练的转变，使用训练数据来开发系统的监督学习技术在医学图像的分析诊断也越来越流行。海量影像数据持续增长、智能诊断模型算法不断迭代更新、计算能力大幅提升以及国家政策大力支持为人工智能医学影像领域迎来了前所未有的新机遇。
临床实践中多病变辅助诊断场景更具有普遍性与重要性。虽然在目前的一些研究工作中，在胸部常见的肺不张等14种病变的诊断获得了较好的表现，但胸部病变种类繁多，远不止这14类病变，因此只训练识别14种病变的深度学习模型，对于基于人工智能的X线胸片诊断，是远远不够的。需要用己有知识去学习识别新的疾病种类，以避免遇到新疾病时完全重新训练预测模型，同时达到提升识别新病变的诊断性能表现的目的。
发明内容
本发明的目的是解决现有技术中存在的上述问题，提供一种基于增量学习的X光正位胸片多任务检测方法。针对X光胸片中人工智能自动化辅助疾病诊断问题，本发明提出基于增量学习的X光正位胸片多任务检测方法，利用多语义任务和多标签的增量学习方法达到胸片多任务检测，用已有知识去学习识别新的疾病种类，以避免遇到新疾病时完全重新训练预测模型，同时达到提升识别新病变的诊断性能表现的目的。本文研究内容具有学术意义，对医疗成像设备的发展和应用提供可行性支持。
为达到上述目的，本发明采用的技术方案如下：
基于增量学习的X光正位胸片多任务检测方法，其特征是：首先将医学数据集分成基础组和增量组，然后采用改进的ResNet-50网络模型对基础组进行深度表征学习，再对增量组进行小样本训练学习，最后将基础组与增量组合并调优，完成整个算法模型的训练，实现了医学图像的多任务检测；
所述医学数据集为ChestX-rayl4数据集，该数据集是从美国国家卫生临床中心的PACS系统中采集、整理、标注并公布了一个大规模的胸部X线数据集，包含112120张X线正位图像；所述改进的ResNet-50网络模型为ImageNet预训练的ResNet-50网络模型。
作为优选的技术方案：
如上所述的基于增量学习的X光正位胸片多任务检测方法，所述将医学数据集分成基础组和增量组，是按照数据标签进行分组的，具体为：采用数据集切分的多标签增量学习方法，将医学数据集切分成基础组和增量组；
基础组为包含8类标签的数据集，增量组为包含6类标签的数据集。
如上所述的基于增量学习的X光正位胸片多任务检测方法，所述采用改进的ResNet-50网络模型对基础组进行深度表征学习，具体为：采用改进的ResNet-50网络模型，去掉最后的1000个输出神经元的全连接层作为基础组的初始化特征提取器
Figure BDA0002461585010000021
构造一个多标签分类器W，W由一个包含C个输出神经元的全连接子网络构成，其中C是基础组标签病变种类的数量(C＝8)，在大数据集ChestX-rayl4上，联合训练优化
Figure BDA0002461585010000022
和W识别基础组中的8种病变，可以提高模型的多任务处理能力。
如上所述的基于增量学习的X光正位胸片多任务检测方法，所述对增量组进行小样本训练学习，具体为：基于深度学习技术搭建网络结构作为特征提取器，利用该特征提取器和构建的增量组的多标签分类器(增量组的多标签分类器的构建方法同上述基础组的多标签分类器)在MyX-ray14新数据集上进行小样本学习，使用在深度表征学习阶段训练好的
Figure BDA0002461585010000023
来提取数据集MyX-ray14的x′的卷积特征
Figure BDA0002461585010000024
构建一个新的多标签分类器W′，W′为一个由N个输出神经元全连接层构成的子网络，其中N是增量组标签新病变种类的数量(N＝6)，然后联合训练优化识别增量组中的6种新病变。
如上所述的基于增量学习的X光正位胸片多任务检测方法，所述将基础组与所述增量组合并调优，具体为：合并拥有8个神经元和6个神经元的两个全连接层形成一个具有14神经元输出的全连接层，构成14个标签的分类器，具备学习诊断14种胸部病变的深度模型；通过合并W的全连接权重的方式，将两个多标签分类器融合为一个多标签分类器W"；最后再结合特征提取器
Figure BDA0002461585010000025
与W〃构成一个可以识别C+N种病变的能力的增量模型，完成整个网络的训练。
有益效果：
针对X光胸片中人工智能自动化辅助疾病诊断问题，本发明的基于增量学习的X光正位胸片多任务检测方法，利用多语义任务和多标签的增量学习方法达到胸片多任务检测，用已有知识去学习识别新的疾病种类，以避免遇到新疾病时完全重新训练预测模型，同时达到提升识别新病变的诊断性能表现的目的；
本发明的基于增量学习的X光正位胸片多任务检测方法，对医疗成像设备的发展和应用提供可行性支持。
附图说明
图1为本发明采用的网络拓扑结构图；
图2为本发明采用的ResNet-50模型架构图；
图3为本发明采用ChestX-rayl4数据集病种分类示意图；
图4为几种X线胸片的示意图。
具体实施方式
下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
如图1所示，基于增量学习的X光正位胸片多任务检测方法，步骤如下：
(1)数据集拆分：采用数据集切分的多标签增量学习方法，按照数据标签将医学数据集切分成基础组和增量组，其中，基础组为包含8类标签的数据集，增量组为包含6类标签的数据集；所述医学数据集为ChestX-rayl4数据集；本发明使用的图像数据均来自于ChestX-rayl4数据集，该数据集是从美国国家卫生临床中心的PACS系统中采集、整理、标注并公布了一个大规模的胸部X线数据集，包含112120张X线正位图像。如图3所示，该数据集包含肺不张、心脏肿大、积液、浸润、肿块、结节、肺炎气胸、实变、水肿、肺气肿、纤维化、胸膜增厚和肺疵14种胸部病变；每张胸片都给出了相应的病变标签，一张胸片上常常多种病变并存，如图4和表1所示；
(2)采用改进的ResNet-50网络模型(ImageNet预训练的ResNet-50网络模型，参考文献《Deep Residual Learning for Image Recognition》，如图2所示)对基础组进行深度表征学习：采用改进的ResNet-50网络模型，去掉最后的1000个输出神经元的全连接层作为基础组的初始化特征提取器
Figure BDA0002461585010000031
构造一个由包含C个输出神经元的全连接子网络构成多标签分类器W，其中C是基础组标签病变种类的数量(C＝8)，在大数据集ChestX-rayl4上，联合训练优化
Figure BDA0002461585010000032
和W识别基础组中的8种病变；
(3)对增量组进行小样本训练学习：基于深度学习技术搭建网络结构，作为特征提取器，利用该特征提取器和构建的增量组的多标签分类器在MyX-ray14新数据集上进行小样本学习，使用在深度表征学习阶段训练好的
Figure BDA0002461585010000033
来提取数据集MyX-ray14的x′的卷积特征
Figure BDA0002461585010000034
构建一个由N个输出神经元全连接层构成的子网络，作为一个新的多标签分类器W′，其中N是增量组标签新病变种类的数量(N＝6)，然后联合训练优化识别增量组中的6种新病变；
(4)将基础组与增量组合并调优，完成整个算法模型的训练：合并拥有8个神经元和6个神经元的两个全连接层形成一个具有14神经元输出的全连接层，构成14个标签的分类器，具备学习诊断14种胸部病变的深度模型；通过合并W的全连接权重的方式，将两个多标签分类器融合为一个多标签分类器W"；最后再结合特征提取器
Figure BDA0002461585010000041
与W〃构成一个可以识别C+N种病变的能力的增量模型，完成整个网络的训练。
表1图4中四种X线胸片所对应的病变种类
Figure BDA0002461585010000042

Claims (1)

1.基于增量学习的X光正位胸片多任务检测方法，其特征是：首先将医学数据集分成基础组和增量组，然后采用改进的ResNet-50网络模型对基础组进行深度表征学习，再对增量组进行小样本训练学习，最后将基础组与增量组合并调优，完成整个算法模型的训练；
所述医学数据集为ChestX-rayl4数据集，所述改进的ResNet-50网络模型为ImageNet预训练的ResNet-50网络模型；
所述将医学数据集分成基础组和增量组，是按照数据标签进行分组的，具体为：采用数据集切分的多标签增量学习方法，将医学数据集切分成基础组和增量组；基础组为包含肺不张、浸润、积液、肿块、结节、气胸、实变、胸膜增厚8类标签的数据集，增量组为包含心影增大、肺炎、肺水肿、肺气肿、纤维变性、肺疝6类标签的数据集；
所述采用改进的ResNet-50网络模型对基础组进行深度表征学习，具体为：采用改进的ResNet-50网络模型，去掉最后的1000个输出神经元的全连接层作为基础组的初始化特征提取器
Figure DEST_PATH_IMAGE002
，构造一个多标签分类器W，W由一个包含C个输出神经元的全连接子网络构成，其中C是基础组标签病变种类的数量；
所述对增量组进行小样本训练学习，具体为：基于深度学习技术搭建网络结构，作为特征提取器，利用该特征提取器和构建的增量组的多标签分类器在MyX-ray14新数据集上进行小样本学习，使用在深度表征学习阶段训练好的
Figure 535549DEST_PATH_IMAGE002
来提取数据集MyX-ray14的
Figure DEST_PATH_IMAGE004
的卷积特征
Figure DEST_PATH_IMAGE006
，构建一个新的多标签分类器
Figure DEST_PATH_IMAGE008
，
Figure 909416DEST_PATH_IMAGE008
为一个由N个输出神经元全连接层构成的子网络，其中N是增量组标签新病变种类的数量；
所述将基础组与所述增量组合并调优，具体为：合并拥有8个神经元和6个神经元的两个全连接层形成一个具有14神经元输出的全连接层，构成14个标签的分类器，具备学习诊断14种胸部病变的深度模型；通过合并W的全连接权重的方式，将两个多标签分类器融合为一个多标签分类器W"；最后再结合特征提取器
Figure 767782DEST_PATH_IMAGE002
与W〃构成一个可以识别C+N种病变的能力的增量模型，完成整个网络的训练。
CN202010321455.9A 2020-04-22 2020-04-22 基于增量学习的x光正位胸片多任务检测方法 Active CN111553890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010321455.9A CN111553890B (zh) 2020-04-22 2020-04-22 基于增量学习的x光正位胸片多任务检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010321455.9A CN111553890B (zh) 2020-04-22 2020-04-22 基于增量学习的x光正位胸片多任务检测方法

Publications (2)

Publication Number Publication Date
CN111553890A CN111553890A (zh) 2020-08-18
CN111553890B true CN111553890B (zh) 2021-01-08

Family

ID=72002525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010321455.9A Active CN111553890B (zh) 2020-04-22 2020-04-22 基于增量学习的x光正位胸片多任务检测方法

Country Status (1)

Country Link
CN (1) CN111553890B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289467B (zh) * 2020-11-17 2022-08-02 中山大学 一种面向低资源场景可迁移的医疗问诊对话系统及方法
CN113012133A (zh) * 2021-03-22 2021-06-22 华南理工大学 一种新冠肺炎诊断系统、介质及设备
CN113240035A (zh) * 2021-05-27 2021-08-10 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备
CN113327666B (zh) * 2021-06-21 2022-08-12 青岛科技大学 一种胸片疾病多分类网络的多标签局部至全局学习方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704866A (zh) * 2017-06-15 2018-02-16 清华大学 基于新型神经网络的多任务场景语义理解模型及其应用
CN107958216A (zh) * 2017-11-27 2018-04-24 沈阳航空航天大学 基于半监督的多模态深度学习分类方法
CN108898595A (zh) * 2018-06-27 2018-11-27 慧影医疗科技（北京）有限公司 一种胸部疾病检测模型的构建方法及应用
CN108986912A (zh) * 2018-07-12 2018-12-11 北京三医智慧科技有限公司 基于深度学习的中医胃病舌像信息智能化处理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934456A (zh) * 2017-03-16 2017-07-07 山东理工大学 一种深度卷积神经网络模型构建方法
US11583239B2 (en) * 2017-03-24 2023-02-21 The United States Of America, As Represented By The Secretary, Department Of Health And Human Service Method and system of building hospital-scale chest X-ray database for entity extraction and weakly-supervised classification and localization of common thorax diseases

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704866A (zh) * 2017-06-15 2018-02-16 清华大学 基于新型神经网络的多任务场景语义理解模型及其应用
CN107958216A (zh) * 2017-11-27 2018-04-24 沈阳航空航天大学 基于半监督的多模态深度学习分类方法
CN108898595A (zh) * 2018-06-27 2018-11-27 慧影医疗科技（北京）有限公司 一种胸部疾病检测模型的构建方法及应用
CN108986912A (zh) * 2018-07-12 2018-12-11 北京三医智慧科技有限公司 基于深度学习的中医胃病舌像信息智能化处理方法

Also Published As

Publication number Publication date
CN111553890A (zh) 2020-08-18

Similar Documents

Publication Publication Date Title
CN111553890B (zh) 基于增量学习的x光正位胸片多任务检测方法
Wang et al. Pulmonary image classification based on inception-v3 transfer learning model
Agrawal et al. Segmentation and classification on chest radiography: a systematic survey
CN108171232B (zh) 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
Yadav et al. Lung-GANs: unsupervised representation learning for lung disease classification using chest CT and X-ray images
Dutta et al. Medical image analysis using deep convolutional neural networks: CNN architectures and transfer learning
CN111951246B (zh) 一种基于深度学习的多方位x光胸片肺炎诊断方法
CN113902761B (zh) 基于知识蒸馏的肺部疾病病灶无监督分割方法
CN111429407A (zh) 基于双通道分离网络的胸部x光疾病检测装置及方法
Chebli et al. Semi-supervised learning for medical application: A survey
Malygina et al. Data augmentation with GAN: Improving chest X-ray pathologies prediction on class-imbalanced cases
Sun et al. Context matters: Graph-based self-supervised representation learning for medical images
Tang et al. NSCGCN: A novel deep GCN model to diagnosis COVID-19
CN112686932B (zh) 用于医学影像的图像配准方法及图像处理方法、介质
Yu et al. Convolutional neural network design for breast cancer medical image classification
Mandal et al. Usage of particle swarm optimization in digital images selection for monkeypox virus prediction and diagnosis
Cao et al. Capsule endoscopy image classification with deep convolutional neural networks
Ishwerlal et al. Lung disease classification using chest X ray image: An optimal ensemble of classification with hybrid training
Kumar et al. RETRACTED ARTICLE: Optimized convolutional neural network for automatic lung nodule detection with a new active contour segmentation
AlTalli et al. Chest pathology detection in x-ray scans using social spider optimization algorithm with generalization deep learning
Avanzato et al. Thorax Disease Classification based on the Convolutional Network SqueezeNet
Aitimov et al. Classification of pathologies on digital chest radiographs using machine learning methods.
Batra et al. A brief overview on deep learning methods for lung cancer detection using medical imaging
Chetwani et al. Pneumonia Detection using Ensemble of Modified ViT-YOLO Models
CN113470046B (zh) 一种面向医学图像超像素灰度纹理采样特征的图注意力网络分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant