CN110634132A - 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法 - Google Patents

基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法 Download PDF

Info

Publication number
CN110634132A
CN110634132A CN201910818778.6A CN201910818778A CN110634132A CN 110634132 A CN110634132 A CN 110634132A CN 201910818778 A CN201910818778 A CN 201910818778A CN 110634132 A CN110634132 A CN 110634132A
Authority
CN
China
Prior art keywords
image
mask
area
diagnosis report
tuberculosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910818778.6A
Other languages
English (en)
Inventor
吴炜
李旭锟
杜鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910818778.6A priority Critical patent/CN110634132A/zh
Publication of CN110634132A publication Critical patent/CN110634132A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法，包括：对CT图像进行预处理；采用固定阈值对图像进行二值化，去掉Hu值较大的一些骨头或者软组织；在3D连通域内，保留连通域内容积在0.45～7.5L之间的区域，保留得到肺部有效区域；对于提取到的掩模先进行腐蚀操作，再膨胀到原来的尺寸，去除掩模中的小黑洞；对于一些病变区域在掩模区域外的，对其进行凸包操作，将其包进掩模之内；使用3D u‑net对输入的肺部有效区域进行训练，端到端输出病变区域位置和类别；输出量化诊断报告。本发明在现有的网络输出层加上分类的概率，直接端到端输出病变区域位置和分类类别，并量化输出诊断报告，可以帮助医生进行肺结核的精准诊断和治疗。

Description

基于深度学习的3D CT影像自动生成肺结核量化诊断报告的 方法
技术领域
本发明属于医疗技术领域，具体涉及一种基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法。
背景技术
肺结核作为我国重点控制的主要疾病之一，是一种严重的慢性呼吸道传染病，主要由结核分枝杆菌引起。结核病被世界卫生组织(WHO)称为全球首屈一指的传染病杀手。因此对肺结核的正确检测和诊断显得至关重要。
近年来随着大数据和人工智能的快速发展，深度学习逐渐应用于计算机辅助诊断computer aided diagnosis(CAD)。例如申请号为2018105698569的专利文献中提出了一种CT肺结核检测人工智能诊疗系统，其首先对CT图像进行预处理，然后利用二维卷积神经网络进行病变区域分割，其次利用残差网络进行真假阳性的预测。实现了对CT图像中的肺结核进行自动化诊断，为医师提供诊疗建议。该方案识别准确率高，大大降低了漏检率，降低了人工筛查的成本，但是在对肺结核病变区域进行分割时，仅仅使用了图像的二维特性，并未考虑到CT图像的三维特性对最终分割效果的影响。同时其分割与分类分两步进行，在对CT图像进行分割后，再送入分类网络进行真假阳性的判别，并未能实现端到端的检测与分类。
发明内容
为了解决上述问题，本发明提供了一种基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法，对肺结核病变区域进行检测，输出病变区域位置，对检测到的病变区域进行分类，输出量化诊断报告。
本发明的技术方案为：基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法，包括以下步骤：
(1)对CT图像进行预处理，生成肺部有效区域的掩膜，剔除与肺部无关的区域，将原始CT数据转换为Hu值表示的图像；
(2)采用固定阈值对步骤(1)中获得图像进行二值化，去掉Hu值较大的一些骨头或者软组织；
(3)去除离心率大于0.99的线状伪影，在2D平面上，计算二值化后每个连通域离图像中心的最小距离MinDist，同时计算每个连通域面积记为Area，去除MinDist大于62mm的连通域，保留Area大于面积阈值的连通域，在3D连通域内，保留连通域内容积在0.45～7.5L之间的区域，保留得到肺部有效区域；
(4)对于提取到的掩模先进行腐蚀操作，再膨胀到原来的尺寸，去除掩模中的小黑洞；
(5)对于一些病变区域在掩模区域外的，对其进行凸包操作，将其包进掩模之内；
(6)将步骤(1)中获得图像中小于-1200和大于600的归置为-1200和600，然后将数据归一化至0～255，公式如式(Ⅰ)所示：
Inew(xi,yi)＝(Iold(xi,yi)-Imin)/(Imax-Imin) (Ⅰ)
I(xi,yi)表示在(xi,yi)位置的像素值，这里Imin为-1200，Imax为600。
(7)将步骤(5)得到的掩膜和步骤(1)中获得图像进行相乘得到肺部最终有效区域；
(8)使用3D u-net对输入的肺部有效区域进行训练，端到端输出病变区域位置和类别；
(9)输出量化诊断报告。
本发明主要研究活动性肺结核，其病灶类型分为5类，粟粒型、浸润型、干酪型、结核球和空洞型，本发明使用3D深度卷积神经网络对肺部CT影像自动检测并分割并标注出肺结核病变区域，并对病变区域进行分类，区分出粟粒型、浸润型、干酪型、结核球、空洞五种类型；然后根据检测和分类结果利用贝叶斯网络noisy-or模型得出整体感染概率；最终输出量化肺结核诊断报告。
作为优选，所述步骤(1)中的固定阈值为-600。
作为优选，所述步骤(3)中的面积阈值为200mm2。
作为优选，所述量化诊断报告包括感染位置对应标注、左右肺总体感染概率、有无钙化点、病变类型分类以及左右肺的有效容积。本发明利用3D卷积神经网络对CT图像集的肺结核病变区域的检测和分类。并且根据检测和分类结果数字化输出病变区域位置坐标、位置的图像标注、左右肺感染概率、有无钙化点、病变类型分类以及左右肺的有效容积的量化诊断报告，大幅提升结核病的检出率和分类准确率，有助于肺结核的精确诊断和治疗。
与现有技术相比，本发明的有益效果体现在：
(1)本发明采用端到端的训练方法，使用3D版本的u-net对CT图像进行训练，直接输出病变区域的位置分类，并输出量化诊断报告，包括感染位置对应标注、左右肺总体感染概率、有无钙化点、病变类型分类以及左右肺的有效容积。
(2)本发明在原有的网络输出层加上分类的概率，直接端到端输出病变区域位置和分类类别，并量化出处诊断报告，可以帮助医生进行肺结核的精准诊断和治疗。
附图说明
图1为本发明的流程示意图。
图2为本发明中预处理的案例图。
具体实施方式
实施例1
基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法，包括以下步骤：
(1)对CT图像进行预处理，生成肺部有效区域的掩模，剔除与肺部无关的区域，首先将原始CT数据转换为Hu值表示的图像，见图2中(a)所示
(2)采用固定阈值(-600)对步骤(1)中转换为Hu值后的图像进行二值化，去掉Hu值较大的一些骨头或者软组织等，见图2中(b)所示；
(3)去除离心率大于0.99的线状伪影，在2D平面上，计算二值化后每个连通域离图像中心的最小距离(MinDist)，同时计算每个连通域面积记为Area，去除MinDist大于62mm的连通域，保留Area大于面积阈值的连通域，本实施例中病变区域大，分布广泛，减小了肺部的有效区域，因此本实施例中选择200mm2作为面积阈值。在3D连通域内，保留连通域内容积在0.45～7.5L之间的区域，经此处理，一般能保留肺部有效区域，见图2中(c)所示；
(4)对于提取到的掩模先进行腐蚀操作，再膨胀到原来的尺寸，去除掩模中的小黑洞等，见图2中(d)所示；
(5)对于一些病变区域在掩模区域外的，需要对其进行凸包操作，将其包进掩模之内，见图2中(e)所示；
(6)将步骤(1)的图像(a)中小于-1200和大于600的归置为-1200和600，然后将数据归一化至0～255，公式如式(Ⅰ)所示：
Inew(xi,yi)＝(Iold(xi,yi)-Imin)/(Imax-Imin) (Ⅰ)
其中，I(xi,yi)表示在(xi,yi)位置的像素值，Imin为-1200，Imax为600。
(7)将步骤(5)得到的掩模和步骤(1)得到的原始图像(a)进行相乘得到最终肺部有效区域，见图2中(f)所示；
(8)使用改进版本的3D u-net对输入的肺部有效区域进行训练，端到端输出病变区域位置和类别；
(9)输出量化诊断报告，报告包括感染位置对应标注、左右肺总体感染概率、有无钙化点、病变类型分类以及左右肺的有效容积。
最终实验结果表明，肺结核单处病变区域的查全率，查准率分别为86.7％，89.9％，分类准确率为90.2％。从有无患病角度而言，总体查全率，查准率分别为100％,93.8％。

Claims (4)

1.基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法，其特征在于，包括以下步骤：
(1)对CT图像进行预处理，生成肺部有效区域的掩膜，剔除与肺部无关的区域，将原始CT数据转换为Hu值表示的图像；
(2)采用固定阈值对步骤(1)中获得图像进行二值化，去掉Hu值较大的一些骨头或者软组织；
(3)去除离心率大于0.99的线状伪影，在2D平面上，计算二值化后每个连通域离图像中心的最小距离MinDist，同时计算每个连通域面积记为Area，去除MinDist大于62mm的连通域，保留Area大于面积阈值的连通域，在3D连通域内，保留连通域内容积在0.45～7.5L之间的区域，保留得到肺部有效区域；
(4)对于提取到的掩模先进行腐蚀操作，再膨胀到原来的尺寸，去除掩模中的小黑洞；
(5)对于一些病变区域在掩模区域外的，对其进行凸包操作，将其包进掩模之内；
(6)将步骤(1)中获得图像中小于-1200和大于600的归置为-1200和600，然后将数据归一化至0～255，公式如式(Ⅰ)所示：
Inew(xi,yi)＝(Iold(xi,yi)-Imin)/(Imax-Imin) (Ⅰ)
I(xi,yi)表示在(xi,yi)位置的像素值，这里Imin为-1200，Imax为600。
(7)将步骤(5)得到的掩膜和步骤(1)中获得图像进行相乘得到肺部最终有效区域；
(8)使用3D u-net对输入的肺部有效区域进行训练，端到端输出病变区域位置和类别；
(9)输出量化诊断报告。
2.如权利要求1所述的基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法，其特征在于，所述步骤(1)中的固定阈值为-600。
3.如权利要求1所述的基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法，其特征在于，所述步骤(3)中的面积阈值为200mm2。
4.如权利要求1所述的基于深度学习的3D CT影像自动生成肺结核量化诊断报告的方法，其特征在于，所述量化诊断报告包括感染位置对应标注、左右肺总体感染概率、有无钙化点、病变类型分类以及左右肺的有效容积。
CN201910818778.6A 2019-08-30 2019-08-30 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法 Pending CN110634132A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910818778.6A CN110634132A (zh) 2019-08-30 2019-08-30 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910818778.6A CN110634132A (zh) 2019-08-30 2019-08-30 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法

Publications (1)

Publication Number Publication Date
CN110634132A true CN110634132A (zh) 2019-12-31

Family

ID=68969763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910818778.6A Pending CN110634132A (zh) 2019-08-30 2019-08-30 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法

Country Status (1)

Country Link
CN (1) CN110634132A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111653356A (zh) * 2020-04-20 2020-09-11 浙江大学 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查系统
CN111724356A (zh) * 2020-06-04 2020-09-29 杭州健培科技有限公司 一种用于ct影像肺炎识别的图像处理方法和系统
CN111738997A (zh) * 2020-06-11 2020-10-02 浙江大学 一种基于深度学习的计算新冠肺炎病变区域占比的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648172A (zh) * 2018-03-30 2018-10-12 四川元匠科技有限公司 一种基于3D-Unet的CT图肺结节检测系统
CN109003672A (zh) * 2018-07-16 2018-12-14 北京睿客邦科技有限公司 一种基于深度学习的早期肺癌检测分类一体化设备及系统
CN109978838A (zh) * 2019-03-08 2019-07-05 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备
CN110059697A (zh) * 2019-04-29 2019-07-26 上海理工大学 一种基于深度学习的肺结节自动分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648172A (zh) * 2018-03-30 2018-10-12 四川元匠科技有限公司 一种基于3D-Unet的CT图肺结节检测系统
CN109003672A (zh) * 2018-07-16 2018-12-14 北京睿客邦科技有限公司 一种基于深度学习的早期肺癌检测分类一体化设备及系统
CN109978838A (zh) * 2019-03-08 2019-07-05 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备
CN110458813A (zh) * 2019-03-08 2019-11-15 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备
CN110059697A (zh) * 2019-04-29 2019-07-26 上海理工大学 一种基于深度学习的肺结节自动分割方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111653356A (zh) * 2020-04-20 2020-09-11 浙江大学 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查系统
CN111724356A (zh) * 2020-06-04 2020-09-29 杭州健培科技有限公司 一种用于ct影像肺炎识别的图像处理方法和系统
CN111724356B (zh) * 2020-06-04 2023-08-18 杭州健培科技有限公司 一种用于ct影像肺炎识别的图像处理方法和系统
CN111738997A (zh) * 2020-06-11 2020-10-02 浙江大学 一种基于深度学习的计算新冠肺炎病变区域占比的方法

Similar Documents

Publication Publication Date Title
Makaju et al. Lung cancer detection using CT scan images
Shen et al. An automated lung segmentation approach using bidirectional chain codes to improve nodule detection accuracy
Zotin et al. Lung boundary detection for chest X-ray images classification based on GLCM and probabilistic neural networks
Jin et al. Pulmonary nodule detection based on CT images using convolution neural network
CN112365464B (zh) 一种基于gan的医学图像病变区域弱监督定位方法
Shao et al. A detection approach for solitary pulmonary nodules based on CT images
CN110634132A (zh) 基于深度学习的3d ct影像自动生成肺结核量化诊断报告的方法
CN112150442A (zh) 基于深度卷积神经网络及多实例学习的新冠诊断系统
CN111653356A (zh) 一种基于深度学习的新冠肺炎筛查方法及新冠肺炎筛查系统
Basha et al. Computer aided fracture detection system
CN113782181A (zh) 一种基于ct图像的肺结节良恶性诊断方法及装置
Ramkumar et al. Multi res U-Net based image segmentation of pulmonary tuberculosis using CT images
Tejero-de-Pablos et al. Texture-based classification of significant stenosis in CCTA multi-view images of coronary arteries
CN110782441A (zh) 一种基于深度学习的dr影像肺结核智能分割与检测方法
Ratheesh et al. Advanced algorithm for polyp detection using depth segmentation in colon endoscopy
CN111401102A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
Karthikeyan et al. Segmentation algorithm for CT images using morphological operation and artificial neural network
CN115210755A (zh) 解决训练数据中遗漏注释的类别不同损失函数
Malathi et al. Active contour based segmentation and classification for pleura diseases based on Otsu’s thresholding and support vector machine (SVM)
CN115409812A (zh) 一种基于融合时间注意机制的ct图像自动分类方法
CN111768845B (zh) 一种基于最优多尺度感知的肺结节辅助检测方法
Karthikeyan et al. Segmentation algorithm for CT images using morphological operation and artificial neural network
Thamilarasi et al. Lung segmentation in chest X-ray images using Canny with morphology and thresholding techniques
Xu et al. A pilot study to utilize a deep convolutional network to segment lungs with complex opacities
Fang et al. A multitarget interested region extraction method for wrist X-ray images based on optimized AlexNet and two-class combined model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination