CN110706217A - 一种基于深度学习的肺部肿瘤自动勾画方法 - Google Patents

一种基于深度学习的肺部肿瘤自动勾画方法 Download PDF

Info

Publication number
CN110706217A
CN110706217A CN201910917418.1A CN201910917418A CN110706217A CN 110706217 A CN110706217 A CN 110706217A CN 201910917418 A CN201910917418 A CN 201910917418A CN 110706217 A CN110706217 A CN 110706217A
Authority
CN
China
Prior art keywords
image
lung tumor
lung
tumor
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910917418.1A
Other languages
English (en)
Inventor
庞善臣
孟璠
王珣
董立媛
张亚钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN201910917418.1A priority Critical patent/CN110706217A/zh
Publication of CN110706217A publication Critical patent/CN110706217A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明适用医学图像处理技术领域,提供了一种基于深度学习的肺部肿瘤自动勾画方法,该方法包括:当接收到肺部CT图像的勾画请求时,获取输入的肺部CT图像,对获取到的肺部CT图像进行预处理和图像增强,获得对应的处理后的图像;获取肺肿瘤在图像中的窗口位置及大小,将筛选出的图像剪裁为固定大小;将处理后的图像输入到训练好的V‑Net模型,以对肺部肿瘤进行预测;将预测的肿瘤图像反卷积到裁剪图像的大小,得到肿瘤的真实预测;提取真实预测的肺肿瘤的边缘线,即为肺肿瘤的勾画,获得肺部肿瘤勾画好的图像。本发明提高了对肺部肿瘤进行自动勾画的准确度,在保证勾画精度的基础上,显著提升了勾画效率,提高手术安全过程。

Description

一种基于深度学习的肺部肿瘤自动勾画方法
技术领域
本发明涉及医疗图像处理技术和深度学习领域,特别是一种基于深度学习的肺部肿瘤的自动勾画方法。
背景技术
肺癌是严重威胁人类健康的恶性肿瘤之一,死亡率居肿瘤之首,全球每年约180万新增肺癌病例(占所有肿瘤的13%),160万死亡(占所有肿瘤的19.4%),5年生存率仅为18%。如果能在早期诊断,那么肺癌患者的5年存活率能够提升到70%,改善患者的预后效果。
现代医学技术日益发展,其中很大一部分原因是医学影像技术的日渐成熟。包括CT技术、MRI技术等,这些技术帮助医生了解患者的内部病理结构,制定精确的治疗方案。但由于图像数据量不足和影像数据很强的异质性,某种稀有病例往往只有很少量的样本可供模型进行训练和学习,样本数量不足也会造成数据类别不均衡,并导致过拟合。
目前,肺部肿瘤的勾画方法主要包括专家手工勾画和计算机辅助勾画。手工勾画对专家知识和经验要求很高,而且不可避免存在人为误差,同时对海量的图像数据进行手工处理费时费力,因此借助计算机的勾画方法在肺部肿瘤勾画中具有极大的研究意义和价值。对于肺癌患者来说,通过对肺部进行肿瘤的自动勾画,能够辅助医生诊断,减少人为失误,对患者的病灶定位和后期手术具有重要的参考价值。
发明内容
本发明的目的在于提供一种基于深度学习的肺部肿瘤的自动勾画方法,有效缓解手动勾画不准确且费时费力的现状,解决肿瘤较小时勾画精度低的问题。
为了达到上述要求,本发明所采用的技术方案是:
一种基于深度学习的肺部肿瘤自动勾画方法,包括以下步骤:
步骤1:输入病人的肺部图像并对图像进行预处理和图像增强处理;
步骤2:获取病人肺部肿瘤在图像中的窗口位置和肿瘤大小,按照肿瘤在图像中的窗口位置及大小,将筛选出的图像裁剪为固定的大小;
步骤3:将经过步骤1、2处理后的图像输入到训练好的V-Net模型,对肿瘤进行预测;
步骤4:将预测的肺部肿瘤反卷积到裁剪图像的大小,得到器官的真实预测;
步骤5:提取真实预测的肺部肿瘤的边缘线,即为该肿瘤的勾画结果。
本发明提出了一种基于深度学习的肺部肿瘤的自动勾画方法,提高了对肺部肿瘤进行自动勾画的准确度,在保证勾画精度的基础上,显著提升了勾画效率,大大减轻了医生的工作负担,同时也为肿瘤病人争取到了宝贵的治疗时间,提高手术安全过程。
进一步,步骤1中进行预处理时,需要对使用的肺癌病人的图像按肺肿瘤类型进行训练,将标记好的医学图像分为训练集和测试集两大类,将训练中的图像进行预处理,和标签一起输入,训练该算法的权重,将测试集中的图像进行预处理后和标签一起输入,测试预测精度。若预测精度没有达到阈值,则不断进行调整;若预测精度达到阈值,则停止迭代。
进一步,步骤1中图像增强的的具体方法为:针对感兴趣区域图像依次进行修剪、平移变换、旋转、除噪、镜像翻转、反射变换、PCA抖动。采用现有的图像数据训练方法,对图像数据进行多次训练,获得初步训练的数据集;使用训练好的模型,针对新的一批患者数据,能有效提升网络模型的鲁棒性能。还可以将初步进行扩充后的数据进入生成对抗网络(GAN)进行数据扩充。
进一步,步骤2中,获取肺部肿瘤在图像中的窗口位置及大小,将训练数据拆分为图像和标签两部分,根据标签获取能够覆盖所有图像中肿瘤的最小矩形,记录下该矩形在图像中的位置和大小;将得到的最小矩形沿上、下两个方向分别外扩1/2矩形高度,沿左右方向分别外扩矩形的1/2宽度,得到新矩形,该矩形即为肿瘤的窗口,记下在图像中的位置和大小。
进一步,步骤3中的V-Net网络的训练具体包括:将训练数据拆分为图像和标签两部分,将图像和标签分别做图像预处理,然后放入网络进行训练;训练时,采用的损失函数为图像分割中常用的Dice相似度,对比V-Net模型分割图像和GT图像之间的相似程度,从而提高对V-Net模型分割结果评估的效率和精确度。
本发明本发明提高了对肺部肿瘤进行自动勾画的准确度,在保证勾画精度的基础上,显著提升了勾画效率,提高手术安全过程。
附图说明
为了更清楚地说明本发明的技术方案,下面将对发明内容中所需要使用的附图作简要地介绍。
图1为本发明实施例提供的基于深度学习的肺部肿瘤自动勾画方法的流程图。
图2为本发明实施例提供的V-Net网络结构图。
图3为肺部肿瘤专家勾画与基于本发明的自动勾画的对比图;其中:曲线A为自动勾画曲线;曲线B为专家勾画曲线。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明实施方式作进一步地详细描述。
所述的基于深度学习的肺部肿瘤自动勾画方法,具体包括以下步骤:
步骤1:输入病人的肺部图像并对图像进行预处理和图像增强处理;
步骤2:获取病人肺部肿瘤在图像中的窗口位置和肿瘤大小,按照肿瘤在图像中的窗口位置及大小,将筛选出的图像裁剪为固定的大小;
步骤3:将经过步骤1、2处理后的图像输入到训练好的V-Net模型,对肿瘤进行预测;
步骤4:将预测的肺部肿瘤反卷积到裁剪图像的大小,得到器官的真实预测;
步骤5:提取真实预测的肺部肿瘤的边缘线,即为该肿瘤的勾画结果。
为进一步优化本发明的实施效果,对上述V-Net网络进行描述如下:
V-Net网络要求一次输入多张相邻层的病人图像,这样病人层厚方向的解剖特征就会被模型学习。V-Net模型是一种V型的卷积神经网络,包括一个输入层,4个压缩层、4个解压缩层以及一个输出层,每个压缩层都用于提取预处理图像的图像特征,并且当前压缩层将提取到的图像特征传递到下一层压缩层,以便下一层提取预处理图像更深层的特征信息,以及解压缩层根据当前压缩层传递的图像特征可以更精准恢复图像,从而提高了V-Net模型分割图像的准确度。
在构建V-Net模型时,将V-Net模型中的每一层的卷积核大小设置为5,输入层的卷积步长设置为1,4个压缩层、4个解压缩层和输出层的卷积步长均设置为2,并将输入层、4个压缩层、4个解压缩层和输出层对应的特征通道数量分别设置为1、16、32、64、128、256、256、128、64、32,从而提高了V-Net模型的收敛速度。
为了更好展现本发明的方法,具体的实例如下:
(1)对肺部图像进行预处理,加载训练好的肺部CT图像,经过该操作,从病人的2210张图像中筛选出1000张图像;
(2)获取肺肿瘤在图像中的窗口位置和大小,计算得到的窗口位置及大小信息,有四个数据,依次代表窗口左上角的点的X轴坐标,左上角的点的Y轴坐标、窗口的宽度、窗口的高度;将筛选的1000张图像,按窗口剪裁为同一大小的图;
(3)将步骤(2)中裁剪后的图像反卷积为100*100的大小;
(4)加载之前训练好的V-Net模型,将步骤(3)中得到的图像输入该模型;
(5)将得到的图像进行反卷积,使图像大小变为100*100,该图像就是病人肿瘤的真实预测图像;
(6)提取病人真实图像中肺部肿瘤的边缘线,该边缘线即为勾画结果。
图3给出了肺部肿瘤的专家勾画和基于本发明的自动勾画的对比图。
本发明提出的基于深度学习的肺部肿瘤自动勾画方法,在保证勾画精度的基础上显著提升了勾画效率,大大减轻了医生的工作负担,同时也为病人节省可宝贵的治疗时间。

Claims (4)

1.一种基于深度学习的肺部肿瘤自动勾画方法,包括以下部分:
步骤1:输入病人的肺部图像并对图像进行预处理和图像增强处理;
步骤2:获取病人肺部肿瘤在图像中的窗口位置和肿瘤大小,按照肿瘤在图像中的窗口位置及大小,将筛选出的图像裁剪为固定的大小;
步骤3:将经过步骤1、2处理后的图像输入到训练好的V-Net模型,对肿瘤进行预测;
步骤4:将预测的肺部肿瘤反卷积到裁剪图像的大小,得到器官的真实预测;
步骤5:提取真实预测的肺部肿瘤的边缘线,即为该肿瘤的勾画结果。
2.根据权利要求1所述的一种基于深度学习的肺部肿瘤自动勾画方法,其特征在于:
步骤1中进行预处理时,需要对使用的肺癌病人的图像按肺肿瘤类型进行训练,将标记好的医学图像分为训练集和测试集两大类,将训练中的图像进行预处理,和标签一起输入,训练该算法的权重,将测试集中的图像进行预处理后和标签一起输入,测试预测精度。
若预测精度没有达到阈值,则不断进行调整;若预测精度达到阈值,则停止迭代。
3.根据权利要求1所述的一种基于深度学习的肺部肿瘤自动勾画方法,其特征在于:
步骤2中,获取肺部肿瘤在图像中的窗口位置及大小,将训练数据拆分为图像和标签两部分,根据标签获取能够覆盖所有图像中肿瘤的最小矩形,记录下该矩形在图像中的位置和大小;将得到的最小矩形沿上、下两个方向分别外扩1/2矩形高度,沿左右方向分别外扩矩形的1/2宽度,得到新矩形,该矩形即为肿瘤的窗口,记下在图像中的位置和大小。
4.根据权利要求1所述的一种基于深度学习的肺部肿瘤自动勾画方法,其特征在于:
步骤3中的V-Net网络的训练具体包括:将训练数据拆分为图像和标签两部分,将图像和标签分别做图像预处理,然后放入网络进行训练;训练时,采用的损失函数为图像分割中常用的Dice相似度,对比V-Net模型分割图像和GT图像之间的相似程度,从而提高对V-Net模型分割结果评估的效率和精确度。
CN201910917418.1A 2019-09-26 2019-09-26 一种基于深度学习的肺部肿瘤自动勾画方法 Pending CN110706217A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910917418.1A CN110706217A (zh) 2019-09-26 2019-09-26 一种基于深度学习的肺部肿瘤自动勾画方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910917418.1A CN110706217A (zh) 2019-09-26 2019-09-26 一种基于深度学习的肺部肿瘤自动勾画方法

Publications (1)

Publication Number Publication Date
CN110706217A true CN110706217A (zh) 2020-01-17

Family

ID=69198148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910917418.1A Pending CN110706217A (zh) 2019-09-26 2019-09-26 一种基于深度学习的肺部肿瘤自动勾画方法

Country Status (1)

Country Link
CN (1) CN110706217A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784705A (zh) * 2020-06-24 2020-10-16 上海联影医疗科技有限公司 感兴趣区域的勾画方法、装置、设备和存储介质
CN112257805A (zh) * 2020-10-30 2021-01-22 东北大学 一种数据扩充方法
CN113488146A (zh) * 2021-07-29 2021-10-08 广州柏视医疗科技有限公司 一种头颈部鼻咽癌引流区和转移淋巴结的自动勾画方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010021A (zh) * 2017-11-30 2018-05-08 上海联影医疗科技有限公司 一种医学图像处理系统和方法
CN109191446A (zh) * 2018-08-30 2019-01-11 北京深睿博联科技有限责任公司 用于肺结节分割的图像处理方法及装置
CN109389584A (zh) * 2018-09-17 2019-02-26 成都信息工程大学 基于cnn的多尺度鼻咽肿瘤分割方法
CN109727235A (zh) * 2018-12-26 2019-05-07 苏州雷泰医疗科技有限公司 一种基于深度学习的器官自动勾画算法
WO2019135234A1 (en) * 2018-01-03 2019-07-11 Ramot At Tel-Aviv University Ltd. Systems and methods for the segmentation of multi-modal image data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010021A (zh) * 2017-11-30 2018-05-08 上海联影医疗科技有限公司 一种医学图像处理系统和方法
WO2019135234A1 (en) * 2018-01-03 2019-07-11 Ramot At Tel-Aviv University Ltd. Systems and methods for the segmentation of multi-modal image data
CN109191446A (zh) * 2018-08-30 2019-01-11 北京深睿博联科技有限责任公司 用于肺结节分割的图像处理方法及装置
CN109389584A (zh) * 2018-09-17 2019-02-26 成都信息工程大学 基于cnn的多尺度鼻咽肿瘤分割方法
CN109727235A (zh) * 2018-12-26 2019-05-07 苏州雷泰医疗科技有限公司 一种基于深度学习的器官自动勾画算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
褚晶辉等: "一种基于级联卷积网络的三维脑肿瘤精细分割" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784705A (zh) * 2020-06-24 2020-10-16 上海联影医疗科技有限公司 感兴趣区域的勾画方法、装置、设备和存储介质
CN111784705B (zh) * 2020-06-24 2024-04-02 上海联影医疗科技股份有限公司 感兴趣区域的勾画方法、装置、设备和存储介质
CN112257805A (zh) * 2020-10-30 2021-01-22 东北大学 一种数据扩充方法
CN112257805B (zh) * 2020-10-30 2023-06-27 东北大学 一种数据扩充方法
CN113488146A (zh) * 2021-07-29 2021-10-08 广州柏视医疗科技有限公司 一种头颈部鼻咽癌引流区和转移淋巴结的自动勾画方法
CN113488146B (zh) * 2021-07-29 2022-04-01 广州柏视医疗科技有限公司 一种头颈部鼻咽癌引流区和转移淋巴结的自动勾画方法

Similar Documents

Publication Publication Date Title
CN108464840B (zh) 一种乳腺肿块自动检测方法及系统
CN107886514B (zh) 基于深度残差网络的乳腺钼靶图像肿块语义分割方法
CN110310287B (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
WO2022063199A1 (zh) 一种肺结节自动检测方法、装置及计算机系统
CN109191472A (zh) 基于改进U-Net网络的胸腺细胞图像分割方法
CN108648182B (zh) 一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法
CN111428709A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN108629768B (zh) 一种食管病理图像中上皮组织的分割方法
CN110706217A (zh) 一种基于深度学习的肺部肿瘤自动勾画方法
CN112215844A (zh) 基于ACU-Net的MRI多模态图像分割方法和系统
CN111145185B (zh) 一种基于聚类关键帧提取ct图像的肺实质分割方法
CN114565761A (zh) 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法
CN112990214A (zh) 一种医学图像特征识别预测模型
CA3168136A1 (en) A method of and system for calcium scoring of coronary arteries
Zhang et al. Database-guided breast tumor detection and segmentation in 2D ultrasound images
CN112820399A (zh) 自动诊断甲状腺结节良恶性的方法及装置
CN112907581A (zh) 一种基于深度学习的mri多类脊髓肿瘤分割方法
CN114581474A (zh) 一种基于宫颈癌ct影像的临床靶区自动勾画方法
Furuzuki et al. A detection method for liver cancer region based on faster R-CNN
CN113435469A (zh) 一种基于深度学习的肾肿瘤增强ct图像自动识别系统及其训练方法
CN111724356B (zh) 一种用于ct影像肺炎识别的图像处理方法和系统
CN112529900A (zh) 匹配乳腺图像中roi的方法、装置、终端与存储介质
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
EP4167184A1 (en) Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200117

WD01 Invention patent application deemed withdrawn after publication