CN111768382A - 一种基于肺结节生长形态的交互式分割方法 - Google Patents

一种基于肺结节生长形态的交互式分割方法 Download PDF

Info

Publication number
CN111768382A
CN111768382A CN202010608494.7A CN202010608494A CN111768382A CN 111768382 A CN111768382 A CN 111768382A CN 202010608494 A CN202010608494 A CN 202010608494A CN 111768382 A CN111768382 A CN 111768382A
Authority
CN
China
Prior art keywords
segmentation
image
growth
interactive
nodule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010608494.7A
Other languages
English (en)
Other versions
CN111768382B (zh
Inventor
张小洪
陈伟
张祥博
刘晨
周宏�
杨露
李雨聪
温浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010608494.7A priority Critical patent/CN111768382B/zh
Publication of CN111768382A publication Critical patent/CN111768382A/zh
Application granted granted Critical
Publication of CN111768382B publication Critical patent/CN111768382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种基于肺结节生长形态的交互式分割方法，包括S100获取包括N个患者的M个胸部扫描CT图像的数据集；S200将数据集中的所有胸部扫描CT图像输入现有的U‑Net模型进行粗分割得到对应粗分割图像；S300:构建各向异性生长交互式分割网络，将S100数据集中的胸部扫描CT图像和对应的粗分割图像融合后输入该各向异性生长交互式分割网络中，对网络的参数进行训练和参数优化；S400:将待预测患者的CT图像输入U‑Net模型进行粗分割，再将待测患者的粗分割图像、生成的热力图与胸部扫描CT图像一并输入优化后的各向异性生长交互式分割网络，最后输出分割结果。该方法使用深度学习的方法得到的结节粗分割基础上，通过少量交互让模型自动调优，以提高结节分割的准确率。

Description

一种基于肺结节生长形态的交互式分割方法
技术领域
本发明涉及肺结节的交互式分割方法，尤其涉及一种基于肺结节生长形态的“感知-学习 -记忆”的交互式分割方法。
背景技术
肺结节筛查用于肺癌早期防控的形势依然严峻。我国患肺癌人数多，发病率高，医疗花 费大。按发病人数顺位排序，肺癌占所有癌症的20.3％，位居恶性肿瘤发病首位。据国家肿 瘤质控中心发布的《2019年全国癌症报告》，恶性肿瘤死亡高达居民全部死因的23.91％，且 近十几年来恶性肿瘤的发病死亡呈持续上升态势,每年恶性肿瘤所致的医疗花费超过2200亿。 在临床诊断过程中，医生需要在数百张CT切片中，逐次筛查结节，这不仅极大地依赖于医生 的临床经验，且极其耗时耗力。因此急需设计肺结节计算机辅助诊断系统，以简化医生的筛 查工作，缩短诊断时间。
近几年，随着深度学习相关技术的发展，深度学习智能技术辅助肺结节筛查为严峻的肺 癌防控工作带来了新机遇。自深度学习技术应用于医学影像以来，在肺癌防控强烈需求驱动 下，肺结节计算机辅助筛查技术表现出深度学习、数据驱动、特征自学习、处理端到端等新 特征。使用计算机辅助诊断系统精准勾画出结节的边界，可以帮助医生快速定位病灶，记录 结节形状变化，以缩短诊断时间，这对医生和病人都有极大的帮助。因此，无论是过去的发 展期，还是现在的成熟期，计算机辅助诊断肺结节分割依然是一门热门的研究内容。
肺结节精准分割有利于结节大小和形态的精准计算，有利于影像的三维精准重建，从而 为肺结节临床诊断提供重要依据。肺结节分割的关键在于对于结节关键特征的提取，传统的 肺结节分割算法更多考虑的是自动分割问题，所构建的各种深度学习模型都是围绕自动分割 展开的。因肺结节在大小、密度、形态等生长形态上的巨大差异，肺结节自动精准分割仍然 是至今没有很好解决的难题。
发明内容
针对现有技术存在的上述问题，本发明的要解决的技术问题是：一般深度学习方法无法 感知肺结节各向异性生长的特征，难以获得精准的肺结节分割结果。
为解决上述技术问题，本发明采用如下技术方案：一种基于肺结节生长形态的交互式分 割方法，包括如下步骤：
S100:获取数据集，该数据集包括N个患者的M个胸部扫描CT图像,M>N；
所述数据集中的每个CT图像由至少1位经验丰富的放射科医生为其标注结节信息，此结 节信息包括每个结节勾画的轮廓信息、结节良恶性以及结节的各属性信息，并将结节信息保 存在XML文件中；
S200:将数据集中的所有胸部扫描CT图像输入现有的U-Net模型进行粗分割得到对应粗 分割图像；
S300:构建各向异性生长交互式分割网络，将S100数据集中的胸部扫描CT图像和对应的 粗分割图像融合后输入该各向异性生长交互式分割网络中，对网络的参数进行训练和参数优 化，输出热力图；
S400:将待预测患者的CT图像先输入现有的U-Net模型进行粗分割得到待测患者的粗分 割图像，再将生成的热力图、待测患者的粗分割图像与待预测患者的胸部扫描CT图像一并输 入优化后的各向异性生长交互式分割网络，最后输出分割结果。
作为优化，所述S300中各向异性生长交互式分割网络由生长形态感知-学习模型、记忆 融合模块以及肺结节各项异性分割网络模型三个部分组成；
所述生长形态感知-学习模型：在现有模型U-Net获得的粗分割的基础上，引入医生交互 的交互，学习肺结节在不同组织环境中的生长特性；
所述记忆融合模块：使用阈值法提取胸部扫描CT图像中肺结节周围血管、软组织以及骨 骼信息，并融合粗分割图像作为输入，运用循环神经网络中LSTM网络动态学习医生交互的时 间序列信息，不断学习和记忆医生对分割结果进行调整的交互步骤与结果，渐进式感知学习 肺结节的不确定性生长形态，获得肺结节生长形态的热力图；
所述肺结节各项异性分割网络模型：用于提取肺结节生长形态的热力图中肺结节的生长 特性，获得精准的分割结果。
作为优化，所述S300中的生长形态感知-学习模型具体为：
S311:将所述的胸部扫描CT图像和对应的粗分割图像融合粗分割图像作为输入；
S312:医生对每个胸部扫描CT图像对应的粗分割图像进行修正得到对应的交互结果，同 时提取医生修正粗分割图像时的辅助点击的坐标序列，根据所述交互结果，使用高斯函数(5) 与测地线距离(6)生成热力图，该热力图表达肺结节的生长特性：
Figure BDA0002561577380000021
其中,x,y分别代表胸部扫描CT像素的模板坐标，σ表示原始CT图的方差；
Figure BDA0002561577380000031
其中,Y表示胸部扫描CT像素通道,Cs,t表示位置s和位置t处像素值之差,p表示欧式距 离。
作为优化，所述S300中的记忆融合模块具体为：
使用循环神经网络搭建了共2层的记忆融合模块，该循环神经网络的神经元为LSTM；
所述记忆融合模块以提取医生修正粗分割图像时的辅助点击的坐标序列作为输入，通过 梯度下降法进行训练调优，自动学习并记忆医生修正粗分割图像的交互过程。
作为优化，所述S300中的肺结节各项异性分割网络模型具体为：
S331:将每个胸部扫描CT图像、对应的粗分割图像和对应的高斯热力图使用上采样将图 片放大到512*512；
S332:使用ResNet101对经过S331处理后的每个胸部扫描CT图像、对应的粗分割图像和 对应的高斯热力图进行边缘轮廓特征提取；
使用多尺度思想的RFBNet对胸部扫描CT图像和对应的高斯热力图进行边缘轮廓特征提 取；
S333:将使用ResNet101提取的特征与使用多尺度思想的RFBNet提取的特征对应的进行 融合，增强肺结节分割的最终结果。
作为优化，所述肺结节各项异性分割网络模型的损失函数为：
选择DICE结合交叉熵作为损失函数，损失函数设计为定义为：
Lloss＝α*Ldice+β*Lcrossentropy+μ*Clength+γ*Aregion (7)；
其中，
Figure BDA0002561577380000032
y表示标签，y'表示预测结果， α、β、μ，r分别为各项损失的权重。
作为优化，所述S300中各向异性生长交互式分割网络优化时首先对学习率learningrate 和优化器optimizer进行优化和选择，通过对所有参数组合进行试验，找到最优的参数组合， 并且使用提前终止Early stop策略防止模型的过拟合。
作为优化，所述S300中各向异性生长交互式分割网络优化时最优的参数组合learningrate＝0.0002，optimizer为Adam。
相对于现有技术，本发明至少具有如下优点：
本发明方法根据医生临床实际出发，设计交互式记忆分割模型感知肺结节生长形态以解 决对肺结节精准分割的需求，使用深度学习的方法得到的结节粗分割基础上，通过少量交互 让模型自动调优，以提高结节分割的准确率。
附图说明
图1为本发明公开的肺结节自动和交互式分割统一框架；
图2为本发明的基于肺结节生长形态的交互式分割方法的原理简图；
图3为肺结节生长形态感知-学习模型。
图4为各项异性分割网络。
图5为各向异性特征提取模块。
具体实施方式
下面对本发明作进一步详细说明。
参见图1-图5，一种基于肺结节生长形态的交互式分割方法，包括如下步骤：
S100:获取数据集，该数据集包括N个患者的M个胸部扫描CT图像,M>N；
所述数据集中的每个CT图像由至少1位经验丰富的放射科医生为其标注结节信息，此结 节信息包括每个结节勾画的轮廓信息、结节良恶性以及结节的各属性信息，并将结节信息保 存在XML文件中；
S200:将数据集中的所有胸部扫描CT图像输入现有的U-Net模型进行粗分割得到对应粗 分割图像；
S300:构建各向异性生长交互式分割网络，将S100数据集中的胸部扫描CT图像和对应的 粗分割图像融合后输入该各向异性生长交互式分割网络中，对网络的参数进行训练和参数优 化，生成的热力图。
所述S300中各向异性生长交互式分割网络由生长形态感知-学习模型、记忆融合模块以 及肺结节各项异性分割网络模型三个部分组成；
所述生长形态感知-学习模型：在现有模型U-Net获得的粗分割的基础上，引入医生交互 的交互，学习肺结节在不同组织环境中的生长特性；
所述记忆融合模块：使用阈值法提取胸部扫描CT图像中肺结节周围血管、软组织以及骨 骼信息，并融合粗分割图像作为输入，运用循环神经网络中LSTM网络动态学习医生交互的时 间序列信息，不断学习和记忆医生对分割结果进行调整的交互步骤与结果，渐进式感知学习 肺结节的不确定性生长形态，获得肺结节生长形态的热力图；为分割网络提供肺结节形态的 先验知识，从而提高肺结节分割的精准性。
所述肺结节各项异性分割网络模型：用于提取肺结节生长形态的热力图中肺结节的生长 特性，获得精准的分割结果。
S300中各向异性生长交互式分割网络优化时首先对学习率learningrate和优化器 optimizer进行优化和选择，通过对所有参数组合进行试验，找到最优的参数组合，并且使 用提前终止Early stop策略防止模型的过拟合。
所述S300中各向异性生长交互式分割网络优化时最优的参数组合learningrate＝0.0002， optimizer为Adam。
S300中的生长形态感知-学习模型具体为：
肺结节周围组织环境影响肺结节的生长，肺结节生长则决定肺结节最终的形态，而医生 通过极端点交互的过程间接反应肺结节的生长形态，并且肺结节的生长形态先验知识越具体 将越有益于提升分割网络的分割性能。因此，本发明设计的生长形态感知-学习模型，利用 U-Net网络模型从医生辅助点击结果中学习肺结节在各类组织环境中的生长特性，从而感知 学习肺结节的生长形态(边缘、大小、轮廓等)，以体现肺结节生长形态与交互过程之间的映 射关系。主要过程如下：
S311:将所述的胸部扫描CT图像和对应的粗分割图像融合粗分割图像作为输入；
S312:医生对每个胸部扫描CT图像对应的粗分割图像进行修正得到对应的交互结果，同 时提取医生修正粗分割图像时的辅助点击的坐标序列，根据所述交互结果，使用高斯函数(5) 与测地线距离(6)生成热力图，该热力图表达肺结节的生长特性：
Figure BDA0002561577380000051
其中,x,y分别代表胸部扫描CT像素的模板坐标，σ表示输入CT图片像素值的方差；
Figure BDA0002561577380000052
其中,Y表示胸部扫描CT像素通道,Cs,t表示位置s和位置t处像素值之差,p表示欧式 距离。
S300中的记忆融合模块具体为：
感知学习-模块需要医生的交互才能获得生长特性热力图，因此为了减少医生的交互的需 要，本发明还设计了融合记忆模块，学习并记忆医生的交互过程。
使用循环神经网络搭建了共2层忆融合模块，图中为单层忆融合模块，该循环神经网络 的神经元为LSTM
所述记忆融合模块以提取医生修正粗分割图像时的辅助点击的坐标序列作为输入，通过 梯度下降法进行训练调优，自动学习并记忆医生修正粗分割图像的交互过程以在没有医生交 互的情况下，向训练后的记忆融合模块直接输入粗分割图像即可直接获得高斯热力图，间接 捕捉肺结节的生长形态规律，以此减少医生的交互次数。
所述S300中的肺结节各项异性分割网络模型具体为：
针对一些特殊结节，如空洞型、磨玻璃型结节，各向异性边缘不易捕获的问题，本发明 在对肺结节生长环境感知的基础上，使用多尺度和非对称卷积理论，进一步提高模型的边缘 特征信息提取能力。
S331:将每个胸部扫描CT图像、对应的粗分割图像和对应的高斯热力图使用上采样将图 片放大到512*512；
S332:依靠ResNet对图像的强大表征能力，使用ResNet101对经过S331处理后的每个 胸部扫描CT图像、对应的粗分割图像和对应的高斯热力图进行边缘轮廓特征提取；
ResNet为现有网络，ResNet101是指具有101层的ResNet网络。
使用多尺度思想的RFBNet对胸部扫描CT图像和对应的高斯热力图进行边缘轮廓特征提 取；
S333:将使用ResNet101提取的特征与使用多尺度思想的RFBNet提取的特征对应的进行 融合，增强肺结节分割的最终结果。
所述肺结节各项异性分割网络模型的损失函数为：
现有的分割模型大部分使用DICELOSS作为损失函数，DICE的梯度值为 2t*(t^2-p^2)/(p^2+t^2)^2,在p和t较小时，梯度可能会非常大。若单独选择DICE作 为损失，可能会导致模型不稳定。本发明选择DICE结合交叉熵作为损失函数，进一步地，为 了缩小解空间，运用分割结节的length和area作为肺结节分割损失的正则项增强算法的约 束性。损失函数设计为定义为：
Lloss＝α*Ldice+β*Lcrossentropy+μ*Clength+γ*Aregion(7)；
其中，
Figure BDA0002561577380000061
y表示标签，y'表示预测结果， α、β、μ，r分别为各项损失的权重，分别设置为0.4,0.2，0.2,0.2。
Figure BDA0002561577380000071
Ypre表示预测的分割结果，Ygt表示真实分割图
Figure RE-GDA0002608370020000072
N表示输出分割结果中像素点的总个数，N＝128*128，yi表示真实分割图位置i处的像素 值，Pi表示预测分割图位置i处的像素值
S400:将待预测患者的CT图像先输入现有的U-Net模型进行粗分割得到待测患者的粗分 割图像，再将生成的热力图、待测患者的粗分割图像与待预测患者的胸部扫描CT图像一并输 入优化后的各向异性生长交互式分割网络，最后输出分割结果。
本发明就是通过设计网络捕获肺结节的各向异性的生长特性，以提高分割的准确率，实 验部分也验证确实提高的分割效果。
针对自动分割无法满足医生临床需求的问题，本发明退而求其次，在自动分割的基础之 上，引入医生参与的交互式分割，使辅助诊断系统能在少量的人机交互下得到更为精准分割 结果，通过精准分割结果能准确生成结节大小、形态及其变化等病例特征。因此，只考虑自 动分割的深度学习模型无法满足实际临床需求，必须通过交互式分割来提高模型的临床适应 能力。同时为尽量减少对医生交互的依赖，本发明设计了带有记忆性的神经网络结构，以学 习并模拟医生的交互过程，以减少医生交互。本发明设计的交互式分割模型在多任务辅助诊 断得到的粗分割基础上，通过少量或不需要医生交互让模型自动调优，取得医生满意的分割 结果。同时本发明的设计的模型通过融合LSTM神经元使模型具有记忆性，可以记忆并学习医 生对分割结果的调优过程，通过训练记忆，逐渐减少直到不再需要医生的交互。
本发明描述了一种基于肺结节生长形态的“感知-学习-记忆”交互式分割方法。根据医 生临床实际出发，设计交互式记忆分割模型感知肺结节生长形态以解决对肺结节精准分割的 需求。本发明使用现有的深度学习的方法得到的结节粗分割基础上，通过少量交互让模型自 动调优，以提高结节分割的准确率。
在本发明中，针对现有交互式分割缺乏对肺结节不确定生长形态感知能力的问题，通过 研究肺结节粗分割、位置、肺结节生长周围的肺部组织结构(血管、支气管、肺壁等)对精 准分割的影响，构建了肺结节生长形态感知的神经网络交互模型，针对传统肺结节分割网络 未考虑肺结节各向异性生长特性的问题，通过构建非对称各向异性卷积方法，融合肺结节生 长模式热力图，结合多尺度理论构建各向异性的交互式分割网络，实现对肺结节的精准分割。 同时通过设计记忆融合的复杂环路神经网络，揭示肺结节生长形态与交互过程存在的映射机 理。
本发明选择目前最大的公开数据集LIDC-IDRI验证方法的先进性。LIDC-IDRI数据集里 共包含1010个患者的1018个胸部扫描CT，并且每个CT由至少1位经验丰富的放射科医生 为其标注结节信息。每位医生需要为每个结节勾画出轮廓信息、判断结节良恶性以及结节的 各属性信息并保存在XML文件中。实验预处理中，我们抽取出每个结节的中心切片，然后以 结节为中心裁剪出128*128大小的图片作为数据集。预处理之后，数据集中共计2616张结 节图片用于模型训练和测试。随机按照7:3的比例划分训练集和测试集，共1831张图片用于 模型训练，785张图片用于模型测试。
评价分割指标为DiceScore以及IoU。基于公式
Figure BDA0002561577380000081
计算DiceScore， 其中Ypre表示模型的预测分割mask，Ygt表示人工标注的真实mask。同理基于公式
Figure BDA0002561577380000082
计算IoU结果，其符号含义同DiceScore的计算公式一致。
为了使本发明性能达到最优，首先对学习率(learningrate)和优化器(optimizer)进行优 化和选择。通过对所有参数组合进行试验，找到最优的参数组合(learningrate＝0.0002， optimizer为Adam)，并且使用提前终止(Early stop)策略防止模型的过拟合。
为了进一步验证本发明的有效性，我们将实验结果与热门主流算法进行了对比，它们分 别如下：
水平集：经典的图像分割传统算法
图割：经典的图像分割传统算法
U-Net：在下采样和上采样结构中添加跳跃连接，防止网络前项传播过程中的信息流失， 是医学分割领域里面的广泛使用的深度学习模型。
V-Net：一种3D分割模型
DB-ResNet：一种对偶残差肺结节分割模型
NAA：一种双通道U-Net半自动化分割模型
Multi-task：一种肺结节多任务网络
对比结果如下表：
Figure BDA0002561577380000083
Figure BDA0002561577380000091
实验结果表明，本发明在LIDC-IDRI数据集上取得了93.5％的DiceScore以及83.25％的 IoU准确率。充分证明本发明模型的特征提取能力和泛化能力大幅优于传统的图像分割算法， 并且分割效果明显优于其他的深度学习模型。实验数据表明本发明中设计的感知-学习模块可 以从医生的交互过程中学习到结节的生长特性，各向异性分割网络可以精准捕捉多种结节的 边缘信息，都对增强模型分割表现起着巨大作用。
另外传统的交互式分割模型不具备记忆性，每次分割都需要医生的参与。本发明的感知- 记忆模块具有学习记忆功能，可以自动学习医生的交互过程，预计在产品在医院上线一个月 之后，模型可以完全自动模拟医生的交互过程，即可达到在医生零交互的情况下，取得和交 互式分割同样的准确率。
简而言之，本发明提出了一种基于肺结节生长形态的“感知-学习-记忆”的交互式分割 方法，一方面缓解了现有辅助诊断分割准确率达不到医生临床需要的问题，另一方面通过设 计融合生长形态感知-学习模型、记忆融合模块以及肺结节各项异性分割网络，在提升分割准 确率同时，记忆医生的交互过程，以逐渐实现医生的零交互。本发明可以直接运用至现有的 肺结节辅助诊断系统。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施 例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进 行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利 要求范围当中。

Claims (8)

1.一种基于肺结节生长形态的交互式分割方法，其特征在于，包括如下步骤：
S100:获取数据集，该数据集包括N个患者的M个胸部扫描CT图像,M>N；
所述数据集中的每个CT图像由至少1位经验丰富的放射科医生为其标注结节信息，此结节信息包括每个结节勾画的轮廓信息、结节良恶性以及结节的各属性信息，并将结节信息保存在XML文件中；
S200:将数据集中的所有胸部扫描CT图像输入现有的U-Net模型进行粗分割得到对应粗分割图像；
S300:构建各向异性生长交互式分割网络，将S100数据集中的胸部扫描CT图像和对应的粗分割图像融合后输入该各向异性生长交互式分割网络中，对网络的参数进行训练和参数优化,输出热力图；
S400:将待预测患者的CT图像先输入现有的U-Net模型进行粗分割得到待测患者的粗分割图像，再将生成的热力图、待测患者的粗分割图像、待预测患者的胸部扫描CT图像一并输入优化后的各向异性生长交互式分割网络，最后输出分割结果。
2.如权利要求1所述的基于肺结节生长形态的交互式分割方法，其特征在于，所述S300中各向异性生长交互式分割网络由生长形态感知-学习模型、记忆融合模块以及肺结节各项异性分割网络模型三个部分组成；
所述生长形态感知-学习模型：在现有模型U-Net获得的粗分割的基础上，引入医生交互的交互，学习肺结节在不同组织环境中的生长特性；
所述记忆融合模块：使用阈值法提取胸部扫描CT图像中肺结节周围血管、软组织以及骨骼信息，并融合粗分割图像作为输入，运用循环神经网络中LSTM网络动态学习医生交互的时间序列信息，不断学习和记忆医生对分割结果进行调整的交互步骤与结果，渐进式感知学习肺结节的不确定性生长形态，获得肺结节生长形态的热力图
所述肺结节各项异性分割网络模型：用于提取肺结节生长形态的热力图中肺结节的生长特性，获得精准的分割结果。
3.如权利要求2所述的基于肺结节生长形态的交互式分割方法，其特征在于，所述S300中的生长形态感知-学习模型具体为：
S311:将所述的胸部扫描CT图像和对应的粗分割图像融合粗分割图像作为输入；
S312:医生对每个胸部扫描CT图像对应的粗分割图像进行修正得到对应的交互结果，同时提取医生修正粗分割图像时的辅助点击的坐标序列，根据所述交互结果，使用高斯函数(5)与测地线距离(6)生成热力图，该热力图表达肺结节的生长特性：
Figure FDA0002561577370000021
其中,x,y分别代表胸部扫描CT像素的模板坐标，σ表示原始CT图的方差；
Figure FDA0002561577370000022
其中,Y表示胸部扫描CT像素通道,Cs,t表示位置s和位置t处像素值之差,p表示欧式距离。
4.如权利要求3所述的基于肺结节生长形态的交互式分割方法，其特征在于，所述S300中的记忆融合模块具体为：
使用循环神经网络搭建了共2层的记忆融合模块，该循环神经网络的神经元为LSTM；
所述记忆融合模块以提取医生修正粗分割图像时的辅助点击的坐标序列作为输入，通过梯度下降法进行训练调优，自动学习并记忆医生修正粗分割图像的交互过程。
5.如权利要求2所述的基于肺结节生长形态的交互式分割方法，其特征在于，所述S300中的肺结节各项异性分割网络模型具体为：
S331:将每个胸部扫描CT图像、对应的粗分割图像和对应的高斯热力图使用上采样将图片放大到512*512；
S332:使用ResNet101对经过S331处理后的每个胸部扫描CT图像、对应的粗分割图像和对应的高斯热力图进行边缘轮廓特征提取；
使用多尺度思想的RFBNet对胸部扫描CT图像和对应的高斯热力图进行边缘轮廓特征提取；
S333:将使用ResNet101提取的特征与使用多尺度思想的RFBNet提取的特征对应的进行融合，增强肺结节分割的最终结果。
6.如权利要求5所述的基于肺结节生长形态的交互式分割方法，其特征在于，所述肺结节各项异性分割网络模型的损失函数为：
选择DICE结合交叉熵作为损失函数，损失函数设计为定义为：
Lloss＝α*Ldice+β*Lcrossentropy+μ*Clength+γ*Aregion (7)；
其中，
Figure FDA0002561577370000031
y表示标签，y'表示预测结果，α、β、μ，r分别为各项损失的权重。
7.如权利要求2所述的基于肺结节生长形态的交互式分割方法，其特征在于，所述S300中各向异性生长交互式分割网络优化时首先对学习率learningrate和优化器optimizer进行优化和选择，通过对所有参数组合进行试验，找到最优的参数组合，并且使用提前终止Early stop策略防止模型的过拟合。
8.如权利要求3所述的基于肺结节生长形态的交互式分割方法，其特征在于，所述S300中各向异性生长交互式分割网络优化时最优的参数组合learningrate＝0.0002，optimizer为Adam。
CN202010608494.7A 2020-06-30 2020-06-30 一种基于肺结节生长形态的交互式分割方法 Active CN111768382B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010608494.7A CN111768382B (zh) 2020-06-30 2020-06-30 一种基于肺结节生长形态的交互式分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010608494.7A CN111768382B (zh) 2020-06-30 2020-06-30 一种基于肺结节生长形态的交互式分割方法

Publications (2)

Publication Number Publication Date
CN111768382A true CN111768382A (zh) 2020-10-13
CN111768382B CN111768382B (zh) 2023-08-15

Family

ID=72724725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010608494.7A Active CN111768382B (zh) 2020-06-30 2020-06-30 一种基于肺结节生长形态的交互式分割方法

Country Status (1)

Country Link
CN (1) CN111768382B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232433A (zh) * 2020-10-27 2021-01-15 河北工业大学 一种基于双通路网络的肺结节良恶性分类方法
CN113378929A (zh) * 2021-06-11 2021-09-10 武汉大学 一种肺结节生长预测方法和计算机设备
CN113610785A (zh) * 2021-07-26 2021-11-05 安徽理工大学 基于智能影像的尘肺预警方法、装置及存储介质
CN113724200A (zh) * 2021-08-02 2021-11-30 武汉大学 一种基于异构数据的肺结节演化预测方法、装置及设备
CN114187252A (zh) * 2021-12-03 2022-03-15 推想医疗科技股份有限公司 图像处理方法及装置、调整检测框的方法及装置
CN114693671A (zh) * 2022-04-25 2022-07-01 香港中文大学（深圳） 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN117197593A (zh) * 2023-11-06 2023-12-08 天河超级计算淮海分中心 一种医学影像伪标签生成系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN109087317A (zh) * 2018-11-13 2018-12-25 中国科学院大学 一种肺结节图像分割方法
CN109727243A (zh) * 2018-12-29 2019-05-07 无锡祥生医疗科技股份有限公司 乳腺超声图像识别分析方法及系统
CN110599505A (zh) * 2019-09-17 2019-12-20 上海微创医疗器械（集团）有限公司 一种器官图像分割方法、装置、电子设备和存储介质
WO2020019612A1 (zh) * 2018-07-24 2020-01-30 北京市商汤科技开发有限公司 医疗影像处理方法及装置、电子设备及存储介质
CN110993064A (zh) * 2019-11-05 2020-04-10 北京邮电大学 面向深度学习的医学影像标注方法及装置
CN111242956A (zh) * 2020-01-09 2020-06-05 西北工业大学 基于U-Net超声胎心和胎肺深度学习联合分割方法
CN111311578A (zh) * 2020-02-17 2020-06-19 腾讯科技（深圳）有限公司 基于人工智能的对象分类方法以及装置、医学影像设备
CN111325739A (zh) * 2020-02-28 2020-06-23 北京推想科技有限公司 肺部病灶检测的方法及装置，和图像检测模型的训练方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
WO2020019612A1 (zh) * 2018-07-24 2020-01-30 北京市商汤科技开发有限公司 医疗影像处理方法及装置、电子设备及存储介质
CN109087317A (zh) * 2018-11-13 2018-12-25 中国科学院大学 一种肺结节图像分割方法
CN109727243A (zh) * 2018-12-29 2019-05-07 无锡祥生医疗科技股份有限公司 乳腺超声图像识别分析方法及系统
CN110599505A (zh) * 2019-09-17 2019-12-20 上海微创医疗器械（集团）有限公司 一种器官图像分割方法、装置、电子设备和存储介质
CN110993064A (zh) * 2019-11-05 2020-04-10 北京邮电大学 面向深度学习的医学影像标注方法及装置
CN111242956A (zh) * 2020-01-09 2020-06-05 西北工业大学 基于U-Net超声胎心和胎肺深度学习联合分割方法
CN111311578A (zh) * 2020-02-17 2020-06-19 腾讯科技（深圳）有限公司 基于人工智能的对象分类方法以及装置、医学影像设备
CN111325739A (zh) * 2020-02-28 2020-06-23 北京推想科技有限公司 肺部病灶检测的方法及装置，和图像检测模型的训练方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
J. H. MOLTZ等: "Learning a Loss Function for Segmentation: A Feasibility Study", 《2020 IEEE 17TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI)》, pages 357 - 360 *
N. TOROSDAGLI等: "Deep Geodesic Learning for Segmentation and Anatomical Landmarking", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, vol. 38, no. 4, pages 919 - 931 *
XIAOBIN H等: "Coarse-to-Fine Adversarial Networks and Zone-based Uncertainty Analysis for NK/T-cell Lymphoma Segmentation in CT/PET images", 《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》, vol. 24, no. 9, pages 2599 - 2608, XP011807159, DOI: 10.1109/JBHI.2020.2972694 *
XU F等: "Lstm multi-modal unet for brain tumor segmentation", 《2019 IEEE 4TH INTERNATIONAL CONFERENCE ON IMAGE, VISION AND COMPUTING (ICIVC)》, pages 236 - 240 *
ZHANG D等: "Graph attention network based pruning for reconstructing 3D liver vessel morphology from contrasted CT images", 《ARXIV:2003.07999》, pages 1 - 10 *
许冬等: "基于卷积神经网络UNet构建糖尿病性黄斑水肿自动识别模型", 《眼科新进展》, vol. 40, no. 4, pages 357 - 361 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232433A (zh) * 2020-10-27 2021-01-15 河北工业大学 一种基于双通路网络的肺结节良恶性分类方法
CN113378929A (zh) * 2021-06-11 2021-09-10 武汉大学 一种肺结节生长预测方法和计算机设备
CN113610785A (zh) * 2021-07-26 2021-11-05 安徽理工大学 基于智能影像的尘肺预警方法、装置及存储介质
CN113724200A (zh) * 2021-08-02 2021-11-30 武汉大学 一种基于异构数据的肺结节演化预测方法、装置及设备
CN114187252A (zh) * 2021-12-03 2022-03-15 推想医疗科技股份有限公司 图像处理方法及装置、调整检测框的方法及装置
CN114693671A (zh) * 2022-04-25 2022-07-01 香港中文大学（深圳） 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN114693671B (zh) * 2022-04-25 2022-11-29 香港中文大学（深圳） 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN117197593A (zh) * 2023-11-06 2023-12-08 天河超级计算淮海分中心 一种医学影像伪标签生成系统

Also Published As

Publication number Publication date
CN111768382B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN111768382A (zh) 一种基于肺结节生长形态的交互式分割方法
US11861829B2 (en) Deep learning based medical image detection method and related device
US11580646B2 (en) Medical image segmentation method based on U-Net
US10452899B2 (en) Unsupervised deep representation learning for fine-grained body part recognition
WO2020019612A1 (zh) 医疗影像处理方法及装置、电子设备及存储介质
CN102395320B (zh) 医疗设备以及医疗设备的控制方法
JP7489732B2 (ja) 深層学習に基づく脊椎ｍｒｉ映像キーポイント検出方法
US20180174311A1 (en) Method and system for simultaneous scene parsing and model fusion for endoscopic and laparoscopic navigation
RU2689029C2 (ru) Система и способ автоматического построения контуров в адаптивной радиотерапии
US20100265267A1 (en) Analyzing pixel data by imprinting objects of a computer-implemented network structure into other objects
JP2017174039A (ja) 画像分類装置、方法およびプログラム
JP2021002338A (ja) 画像セグメンテーション及び識別のための方法及びシステム
US20120121152A1 (en) Method and System for Automatic View Planning for Cardiac Magnetic Resonance Imaging acquisition
CN113012172A (zh) 一种基于AS-UNet的医学图像分割方法及系统
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN111899244B (zh) 图像分割、网络模型的训练方法及装置，及电子设备
CN110853049A (zh) 一种腹部超声图像分割方法
CN110288611A (zh) 基于注意力机制和全卷积神经网络的冠状血管分割方法
CN113658106A (zh) 一种基于腹部增强ct的肝脏病灶自动诊断系统
WO2021081771A1 (zh) 基于vrds ai医学影像的心脏冠脉的分析方法和相关装置
CN116342377A (zh) 一种降质场景下伪装目标图像自适应生成方法与系统
AU2019431568B2 (en) Method and product for processing of vrds 4d medical images
CN117934689B (zh) 一种骨折ct影像的多组织分割与三维渲染方法
CN117649422B (zh) 多模态图像分割模型的训练方法和多模态图像分割方法
CN111784638B (zh) 一种基于卷积神经网络的肺结节假阳性筛除方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant