CN111553890A - 基于增量学习的x光正位胸片多任务检测方法 - Google Patents

基于增量学习的x光正位胸片多任务检测方法 Download PDF

Info

Publication number
CN111553890A
CN111553890A CN202010321455.9A CN202010321455A CN111553890A CN 111553890 A CN111553890 A CN 111553890A CN 202010321455 A CN202010321455 A CN 202010321455A CN 111553890 A CN111553890 A CN 111553890A
Authority
CN
China
Prior art keywords
learning
group
incremental
increment
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010321455.9A
Other languages
English (en)
Other versions
CN111553890B (zh
Inventor
石华铮
刘春利
高欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Panoramic Cloud Medical Imaging Diagnosis Co ltd
Original Assignee
Shanghai Panoramic Cloud Medical Imaging Diagnosis Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Panoramic Cloud Medical Imaging Diagnosis Co ltd filed Critical Shanghai Panoramic Cloud Medical Imaging Diagnosis Co ltd
Priority to CN202010321455.9A priority Critical patent/CN111553890B/zh
Publication of CN111553890A publication Critical patent/CN111553890A/zh
Application granted granted Critical
Publication of CN111553890B publication Critical patent/CN111553890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种基于增量学习的X光正位胸片多任务检测方法，首先将医学数据集分成基础组和增量组，然后采用改进的ResNet‑50网络模型对基础组进行深度表征学习，再对增量组进行小样本训练学习，最后将基础组与增量组合并调优，完成整个算法模型的训练；所述改进的ResNet‑50网络模型为ImageNet预训练的ResNet‑50网络模型。本发明的基于增量学习的X光正位胸片多任务检测方法，利用多语义任务和多标签的增量学习方法达到胸片多任务检测，用已有知识去学习识别新的疾病种类，以避免遇到新疾病时完全重新训练预测模型，同时达到提升识别新病变的诊断性能表现的目的，对医疗成像设备的发展和应用提供可行性支持。

Description

基于增量学习的X光正位胸片多任务检测方法
技术领域
本发明属于机器学习、模式识别和医学影像处理技术领域，涉及一种基于增量学习的X光正位胸片多任务检测方法。
背景技术
从20世纪70年代到90年代医学影像扫描可以载入电脑起，研究人员就已经开始了医学图像自动处理与分析系统的建立，研究基于规则的专家系统来解决特定的医学图像分析任务。到20世纪90年代末，监督学习技术的流行使得计算机辅助诊断系统开始了从人类设计规则的专家系统到计算机提取特征进行训练的转变，使用训练数据来开发系统的监督学习技术在医学图像的分析诊断也越来越流行。海量影像数据持续增长、智能诊断模型算法不断迭代更新、计算能力大幅提升以及国家政策大力支持为人工智能医学影像领域迎来了前所未有的新机遇。
临床实践中多病变辅助诊断场景更具有普遍性与重要性。虽然在目前的一些研究工作中，在胸部常见的肺不张等14种病变的诊断获得了较好的表现，但胸部病变种类繁多，远不止这14类病变，因此只训练识别14种病变的深度学习模型，对于基于人工智能的X线胸片诊断，是远远不够的。需要用己有知识去学习识别新的疾病种类，以避免遇到新疾病时完全重新训练预测模型，同时达到提升识别新病变的诊断性能表现的目的。
发明内容
本发明的目的是解决现有技术中存在的上述问题，提供一种基于增量学习的X光正位胸片多任务检测方法。针对X光胸片中人工智能自动化辅助疾病诊断问题，本发明提出基于增量学习的X光正位胸片多任务检测方法，利用多语义任务和多标签的增量学习方法达到胸片多任务检测，用已有知识去学习识别新的疾病种类，以避免遇到新疾病时完全重新训练预测模型，同时达到提升识别新病变的诊断性能表现的目的。本文研究内容具有学术意义，对医疗成像设备的发展和应用提供可行性支持。
为达到上述目的，本发明采用的技术方案如下：
基于增量学习的X光正位胸片多任务检测方法，其特征是：首先将医学数据集分成基础组和增量组，然后采用改进的ResNet-50网络模型对基础组进行深度表征学习，再对增量组进行小样本训练学习，最后将基础组与增量组合并调优，完成整个算法模型的训练，实现了医学图像的多任务检测；
所述医学数据集为ChestX-rayl4数据集，该数据集是从美国国家卫生临床中心的PACS系统中采集、整理、标注并公布了一个大规模的胸部X线数据集，包含112120张X线正位图像；所述改进的ResNet-50网络模型为ImageNet预训练的ResNet-50网络模型。
作为优选的技术方案：
如上所述的基于增量学习的X光正位胸片多任务检测方法，所述将医学数据集分成基础组和增量组，是按照数据标签进行分组的，具体为：采用数据集切分的多标签增量学习方法，将医学数据集切分成基础组和增量组；
基础组为包含8类标签的数据集，增量组为包含6类标签的数据集。
如上所述的基于增量学习的X光正位胸片多任务检测方法，所述采用改进的ResNet-50网络模型对基础组进行深度表征学习，具体为：采用改进的ResNet-50网络模型，去掉最后的1000个输出神经元的全连接层作为基础组的初始化特征提取器
Figure BDA0002461585010000021
构造一个多标签分类器W，W由一个包含C个输出神经元的全连接子网络构成，其中C是基础组标签病变种类的数量(C＝8)，在大数据集ChestX-rayl4上，联合训练优化
Figure BDA0002461585010000022
和W识别基础组中的8种病变，可以提高模型的多任务处理能力。
如上所述的基于增量学习的X光正位胸片多任务检测方法，所述对增量组进行小样本训练学习，具体为：基于深度学习技术搭建网络结构作为特征提取器，利用该特征提取器和构建的增量组的多标签分类器(增量组的多标签分类器的构建方法同上述基础组的多标签分类器)在MyX-ray14新数据集上进行小样本学习，使用在深度表征学习阶段训练好的
Figure BDA0002461585010000023
来提取数据集MyX-ray14的x′的卷积特征
Figure BDA0002461585010000024
构建一个新的多标签分类器W′，W′为一个由N个输出神经元全连接层构成的子网络，其中N是增量组标签新病变种类的数量(N＝6)，然后联合训练优化识别增量组中的6种新病变。
如上所述的基于增量学习的X光正位胸片多任务检测方法，所述将基础组与所述增量组合并调优，具体为：合并拥有8个神经元和6个神经元的两个全连接层形成一个具有14神经元输出的全连接层，构成14个标签的分类器，具备学习诊断14种胸部病变的深度模型；通过合并W的全连接权重的方式，将两个多标签分类器融合为一个多标签分类器W"；最后再结合特征提取器
Figure BDA0002461585010000025
与W〃构成一个可以识别C+N种病变的能力的增量模型，完成整个网络的训练。
有益效果：
针对X光胸片中人工智能自动化辅助疾病诊断问题，本发明的基于增量学习的X光正位胸片多任务检测方法，利用多语义任务和多标签的增量学习方法达到胸片多任务检测，用已有知识去学习识别新的疾病种类，以避免遇到新疾病时完全重新训练预测模型，同时达到提升识别新病变的诊断性能表现的目的；
本发明的基于增量学习的X光正位胸片多任务检测方法，对医疗成像设备的发展和应用提供可行性支持。
附图说明
图1为本发明采用的网络拓扑结构图；
图2为本发明采用的ResNet-50模型架构图；
图3为本发明采用ChestX-rayl4数据集病种分类示意图；
图4为几种X线胸片的示意图。
具体实施方式
下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
如图1所示，基于增量学习的X光正位胸片多任务检测方法，步骤如下：
(1)数据集拆分：采用数据集切分的多标签增量学习方法，按照数据标签将医学数据集切分成基础组和增量组，其中，基础组为包含8类标签的数据集，增量组为包含6类标签的数据集；所述医学数据集为ChestX-rayl4数据集；本发明使用的图像数据均来自于ChestX-rayl4数据集，该数据集是从美国国家卫生临床中心的PACS系统中采集、整理、标注并公布了一个大规模的胸部X线数据集，包含112120张X线正位图像。如图3所示，该数据集包含肺不张、心脏肿大、积液、浸润、肿块、结节、肺炎气胸、实变、水肿、肺气肿、纤维化、胸膜增厚和肺疵14种胸部病变；每张胸片都给出了相应的病变标签，一张胸片上常常多种病变并存，如图4和表1所示；
(2)采用改进的ResNet-50网络模型(ImageNet预训练的ResNet-50网络模型，参考文献《Deep Residual Learning for Image Recognition》，如图2所示)对基础组进行深度表征学习：采用改进的ResNet-50网络模型，去掉最后的1000个输出神经元的全连接层作为基础组的初始化特征提取器
Figure BDA0002461585010000031
构造一个由包含C个输出神经元的全连接子网络构成多标签分类器W，其中C是基础组标签病变种类的数量(C＝8)，在大数据集ChestX-rayl4上，联合训练优化
Figure BDA0002461585010000032
和W识别基础组中的8种病变；
(3)对增量组进行小样本训练学习：基于深度学习技术搭建网络结构，作为特征提取器，利用该特征提取器和构建的增量组的多标签分类器在MyX-ray14新数据集上进行小样本学习，使用在深度表征学习阶段训练好的
Figure BDA0002461585010000033
来提取数据集MyX-ray14的x′的卷积特征
Figure BDA0002461585010000034
构建一个由N个输出神经元全连接层构成的子网络，作为一个新的多标签分类器W′，其中N是增量组标签新病变种类的数量(N＝6)，然后联合训练优化识别增量组中的6种新病变；
(4)将基础组与增量组合并调优，完成整个算法模型的训练：合并拥有8个神经元和6个神经元的两个全连接层形成一个具有14神经元输出的全连接层，构成14个标签的分类器，具备学习诊断14种胸部病变的深度模型；通过合并W的全连接权重的方式，将两个多标签分类器融合为一个多标签分类器W"；最后再结合特征提取器
Figure BDA0002461585010000041
与W〃构成一个可以识别C+N种病变的能力的增量模型，完成整个网络的训练。
表1图4中四种X线胸片所对应的病变种类
Figure BDA0002461585010000042

Claims (5)

1.基于增量学习的X光正位胸片多任务检测方法，其特征是：首先将医学数据集分成基础组和增量组，然后采用改进的ResNet-50网络模型对基础组进行深度表征学习，再对增量组进行小样本训练学习，最后将基础组与增量组合并调优，完成整个算法模型的训练；
所述医学数据集为ChestX-rayl4数据集，所述改进的ResNet-50网络模型为ImageNet预训练的ResNet-50网络模型。
2.根据权利要求1所述的基于增量学习的X光正位胸片多任务检测方法，其特征在于，所述将医学数据集分成基础组和增量组，是按照数据标签进行分组的，具体为：采用数据集切分的多标签增量学习方法，将医学数据集切分成基础组和增量组；
基础组为包含8类标签的数据集，增量组为包含6类标签的数据集。
3.根据权利要求1所述的基于增量学习的X光正位胸片多任务检测方法，其特征在于，所述采用改进的ResNet-50网络模型对基础组进行深度表征学习，具体为：采用改进的ResNet-50网络模型，去掉最后的1000个输出神经元的全连接层作为基础组的初始化特征提取器
Figure FDA0002461582000000011
构造一个多标签分类器W，W由一个包含C个输出神经元的全连接子网络构成，其中C是基础组标签病变种类的数量。
4.根据权利要求1所述的基于增量学习的X光正位胸片多任务检测方法，其特征在于，所述对增量组进行小样本训练学习，具体为：基于深度学习技术搭建网络结构，作为特征提取器，利用该特征提取器和构建的增量组的多标签分类器在MyX-ray14新数据集上进行小样本学习，使用在深度表征学习阶段训练好的
Figure FDA0002461582000000012
来提取数据集MyX-ray14的x′的卷积特征
Figure FDA0002461582000000013
构建一个新的多标签分类器W′，W′为一个由N个输出神经元全连接层构成的子网络，其中N是增量组标签新病变种类的数量。
5.根据权利要求1所述的基于增量学习的X光正位胸片多任务检测方法，其特征在于，所述将基础组与所述增量组合并调优，具体为：合并拥有8个神经元和6个神经元的两个全连接层形成一个具有14神经元输出的全连接层，构成14个标签的分类器，具备学习诊断14种胸部病变的深度模型；通过合并W的全连接权重的方式，将两个多标签分类器融合为一个多标签分类器W"。
CN202010321455.9A 2020-04-22 2020-04-22 基于增量学习的x光正位胸片多任务检测方法 Active CN111553890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010321455.9A CN111553890B (zh) 2020-04-22 2020-04-22 基于增量学习的x光正位胸片多任务检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010321455.9A CN111553890B (zh) 2020-04-22 2020-04-22 基于增量学习的x光正位胸片多任务检测方法

Publications (2)

Publication Number Publication Date
CN111553890A true CN111553890A (zh) 2020-08-18
CN111553890B CN111553890B (zh) 2021-01-08

Family

ID=72002525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010321455.9A Active CN111553890B (zh) 2020-04-22 2020-04-22 基于增量学习的x光正位胸片多任务检测方法

Country Status (1)

Country Link
CN (1) CN111553890B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289467A (zh) * 2020-11-17 2021-01-29 中山大学 一种面向低资源场景可迁移的医疗问诊对话系统及方法
CN113012133A (zh) * 2021-03-22 2021-06-22 华南理工大学 一种新冠肺炎诊断系统、介质及设备
CN113240035A (zh) * 2021-05-27 2021-08-10 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备
CN113327666A (zh) * 2021-06-21 2021-08-31 青岛科技大学 一种胸片疾病多分类网络的多标签局部至全局学习方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934456A (zh) * 2017-03-16 2017-07-07 山东理工大学 一种深度卷积神经网络模型构建方法
CN107704866A (zh) * 2017-06-15 2018-02-16 清华大学 基于新型神经网络的多任务场景语义理解模型及其应用
CN107958216A (zh) * 2017-11-27 2018-04-24 沈阳航空航天大学 基于半监督的多模态深度学习分类方法
CN108898595A (zh) * 2018-06-27 2018-11-27 慧影医疗科技（北京）有限公司 一种胸部疾病检测模型的构建方法及应用
CN108986912A (zh) * 2018-07-12 2018-12-11 北京三医智慧科技有限公司 基于深度学习的中医胃病舌像信息智能化处理方法
US20200093455A1 (en) * 2017-03-24 2020-03-26 The United States of America, as represented by the Secretary, Department of Health and Method and system of building hospital-scale chest x-ray database for entity extraction and weakly-supervised classification and localization of common thorax diseases

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934456A (zh) * 2017-03-16 2017-07-07 山东理工大学 一种深度卷积神经网络模型构建方法
US20200093455A1 (en) * 2017-03-24 2020-03-26 The United States of America, as represented by the Secretary, Department of Health and Method and system of building hospital-scale chest x-ray database for entity extraction and weakly-supervised classification and localization of common thorax diseases
CN107704866A (zh) * 2017-06-15 2018-02-16 清华大学 基于新型神经网络的多任务场景语义理解模型及其应用
CN107958216A (zh) * 2017-11-27 2018-04-24 沈阳航空航天大学 基于半监督的多模态深度学习分类方法
CN108898595A (zh) * 2018-06-27 2018-11-27 慧影医疗科技（北京）有限公司 一种胸部疾病检测模型的构建方法及应用
CN108986912A (zh) * 2018-07-12 2018-12-11 北京三医智慧科技有限公司 基于深度学习的中医胃病舌像信息智能化处理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289467A (zh) * 2020-11-17 2021-01-29 中山大学 一种面向低资源场景可迁移的医疗问诊对话系统及方法
CN112289467B (zh) * 2020-11-17 2022-08-02 中山大学 一种面向低资源场景可迁移的医疗问诊对话系统及方法
CN113012133A (zh) * 2021-03-22 2021-06-22 华南理工大学 一种新冠肺炎诊断系统、介质及设备
CN113240035A (zh) * 2021-05-27 2021-08-10 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置及设备
CN113327666A (zh) * 2021-06-21 2021-08-31 青岛科技大学 一种胸片疾病多分类网络的多标签局部至全局学习方法

Also Published As

Publication number Publication date
CN111553890B (zh) 2021-01-08

Similar Documents

Publication Publication Date Title
CN111553890B (zh) 基于增量学习的x光正位胸片多任务检测方法
Wang et al. Medical image segmentation using deep learning: A survey
CN108171232B (zh) 基于深度学习算法的细菌性与病毒性儿童肺炎的分类方法
Shin et al. Deep convolutional neural networks for computer-aided detection: CNN architectures, dataset characteristics and transfer learning
Agrawal et al. Segmentation and classification on chest radiography: a systematic survey
Yadav et al. Lung-GANs: unsupervised representation learning for lung disease classification using chest CT and X-ray images
CN111951246B (zh) 一种基于深度学习的多方位x光胸片肺炎诊断方法
Dutta et al. Medical image analysis using deep convolutional neural networks: CNN architectures and transfer learning
CN111429407A (zh) 基于双通道分离网络的胸部x光疾病检测装置及方法
Majidpourkhoei et al. A novel deep learning framework for lung nodule detection in 3d CT images
Chebli et al. Semi-supervised learning for medical application: A survey
Li et al. A hierarchical conditional random field-based attention mechanism approach for gastric histopathology image classification
Tang et al. NSCGCN: A novel deep GCN model to diagnosis COVID-19
Pham et al. Chest x-rays abnormalities localization and classification using an ensemble framework of deep convolutional neural networks
CN112686932B (zh) 用于医学影像的图像配准方法及图像处理方法、介质
Yu et al. Convolutional neural network design for breast cancer medical image classification
Garg et al. State-of-the-art review of deep learning for medical image analysis
Wu et al. FAM: focal attention module for lesion segmentation of COVID-19 CT images
Lin et al. Lesion detection of chest X-Ray based on scalable attention residual CNN
Ngong et al. Different deep learning based classification models for COVID-19 CT-scans and lesion segmentation through the cGAN-UNet hybrid method
Fazekas et al. Artificial intelligence and neural networks in radiology–Basics that all radiology residents should know
Ishwerlal et al. Lung disease classification using chest X ray image: An optimal ensemble of classification with hybrid training
Avanzato et al. Thorax Disease Classification based on the Convolutional Network SqueezeNet
Shen et al. HarDNet and dual-code attention mechanism based model for medical images segmentation
prasanthi Neerukonda Transfer Learning for Cervical Cancer Image Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant