CN109685768A - 基于肺部ct序列的肺结节自动检测方法及系统 - Google Patents

基于肺部ct序列的肺结节自动检测方法及系统 Download PDF

Info

Publication number
CN109685768A
CN109685768A CN201811448769.4A CN201811448769A CN109685768A CN 109685768 A CN109685768 A CN 109685768A CN 201811448769 A CN201811448769 A CN 201811448769A CN 109685768 A CN109685768 A CN 109685768A
Authority
CN
China
Prior art keywords
data
lung
convolutional network
training
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811448769.4A
Other languages
English (en)
Other versions
CN109685768B (zh
Inventor
王兴维
邰从越
刘龙
尹延伟
王慧
史黎鑫
刘慧芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DALIAN SENYINT DIGITAL MEDICAL SYSTEM Co Ltd
Original Assignee
DALIAN SENYINT DIGITAL MEDICAL SYSTEM Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DALIAN SENYINT DIGITAL MEDICAL SYSTEM Co Ltd filed Critical DALIAN SENYINT DIGITAL MEDICAL SYSTEM Co Ltd
Priority to CN201811448769.4A priority Critical patent/CN109685768B/zh
Publication of CN109685768A publication Critical patent/CN109685768A/zh
Application granted granted Critical
Publication of CN109685768B publication Critical patent/CN109685768B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

基于肺部CT序列的肺结节自动检测方法及系统,属于医疗图像分割领域,为了能够解决提高网络拟合能力和候选结节检出率的问题,S1.数据预处理;S2.使用全卷积网络筛选候选结节;S3.使用图像处理方法将概率图变化为结节中心点坐标以及半径;S4.使用多模型融合的3D卷积网络检测,得到最终判定的结节坐标以及对应半径集合,更好的利用了肺部CT的空间信息,而且,残差结构与特征映射结构的引入,增强了3D全卷积网络的拟合能力。

Description

基于肺部CT序列的肺结节自动检测方法及系统
技术领域
本发明属于医疗图像分割领域,涉及一种基于肺部CT序列的肺结节自动检测方法及系 统。
背景技术
肺癌是一种致死率高且发病频率高的疾病。肺癌的生存率与首次确诊时的疾病阶段高度 相关。由于早期肺癌多无明显症状,导致肺癌临床确诊时往往已达中晚期,不仅治疗费用高, 而且治疗效果不理想。因此,对肺癌的早期检测和早期诊断是非常必要的。肺癌早期多表现 为结节,因此肺结节的检测与诊断对肺癌的早期发现具有十分重要的意义。CT具有很高的 组织分辨率,是肺结节的检测和诊断的理想工具。随着CT分辨率的不断提高,肺结节以及 肺癌的检测与诊断率不断提高。然而,由于CT图像数量巨大,通常一个病人的肺部CT序 列达到几百张,而且肺部组织结构复杂,结节形状大小各异,医生通过查看CT图像进行肺 结节诊断工作强度巨大,而且长时间的阅片很容易导致医生疲劳,进而造成漏诊和误诊。
为了降低放射科医师的工作强度,辅助放射科医生进行评价和诊断,降低肺结节漏诊、 误诊,提高肺结节的检出率以及检出的精确性,利用CT图像进行肺结节的自动检测是必要 的。
当前,利用CT图像进行肺结节自动检测已经进行了大量的研究工作。肺结节检测通常 包括两部分内容,即候选结节的提取和去假阳。传统的肺结节检测,候选结节提取主要有基 于阈值的方法、基于形态学的方法、基于模板匹配的方法等。在提取完候选结节后,去假阳 时,大部分传统方法都是根据当前候选结节,人工提取出当前结节的特征,最后根据特征值 训练分类器,利用训练好的分类器对候选结节进行去假阳。常用的分类器有马尔可夫随机场、 贝叶斯分类器、支持向量机(SVM)等。由于人体肺部结构复杂,且结节形态各异,导致传统 方法在候选结节提取时的检出率、以及去假阳时的准确性效果并不理想。
近年来,深度学习技术取得了巨大进步,尤其在图像处理领域,其效果远超其它相关技 术。目前大量深度学习算法已经应用于医学图像处理领域。在基于CT图像的肺结节检测方 面,也有相关研究采用了深度学习技术。
Setio等人于2016年提出了“Pulmonary Nodule Detection in CT Images:FalsePositive Reduction Using Multi-View Convolutional Networks”,该方法提出了一种多视角的二维卷积 神经网络,分别从候选结节体数据的不同方向选取patch,因此更多的利用了数据的空间信 息,取得了不错的检测效果。Qi等人于2016年提出了“Multi-levelContextual 3D CNNs for False Positive Reduction in Pulmonary NoduleDetection”,该方法采用了三个三维卷积神经网 络联合进行去假阳。与二维卷积神经网络相比,三维的卷积神经网络能捕捉更多的空间信息, 而且训练的三个三维卷积网络有利于判定不同尺度的结节,此方法较好的降低了假阳性肺结 节的检出率。以上两种方法在去假阳性结节方面都取得了不错的效果,但是都是采用传统方 法来选取候选结节,而利用深度学习的方法来选取候选结节会有更好的效果。
Olaf Ronneberger等人于2015年提出了“U-Net:Convolutional Networks forBiomedical Image Segmentation”,该方法实现了一种全卷积神经网络,应用于多种医学图像分割任务上, 如细胞分割等,均取得了不错效果。相似的,有人将其应用于候选肺结节推荐来代替传统方 法。但是此方法是一种二维卷积网络,不能很好的利用CT数据丰富的三维空间信息。
Olaf Ronneberger等人于2016年,在U-Net的基础上,提出了“3D-UNet:LearningDense Volumetric Segmentation from Sparse Annotation”,该方法与之前的U-Net相似,但是该方法 实现了三维全卷积网络,并且采用了带权重的损失函数来保证只学习标记的特征。由于该方 法采用了三维的全卷积网络,很好的利用了空间信息,但是,该方法构造的三维全卷积网络 结构比较简单,简单的网络结构限制了其更好的学习复杂空间信息的能力。
在医疗图像分割领域,U-Net在很多2D图像分割任务上都取得了很好的效果。U-Net 是全卷积网络的一种更极致的实现。全卷积网络是把经典的分类卷积网络全连接层修改为卷 积层,并且去掉了最后的分类层,然后采用反卷积,将已经压缩了的图像尺寸恢复为输入时 的图像大小。在进行反卷积时,同时联合低层相应尺寸的输出信息,这样,网络能较好的保 留低层的像素位置信息,同时又能得到高层图像的语义信息,综合两者,能很好的进行像素 级别的类别的预测,即可以用来进行图像的语义分割。全卷积网络的网络结构如图1所示。
全卷积网络中,尝试了三种情况恢复输入图像的尺寸:1)直接对压缩的图像进行32 倍上采样2)先进行2倍上采样,然后与低层信息融合,然后进行16倍上采样3)先进行2倍上采样,与低层信息融合后,再进行2倍上采样,再与低层信息融合,然后进行8倍上采样。如图1中三条上采样虚线所示。论文中结果显示进行了两次信息融合后,对图像分割的效果更准确。由此可以推断,进行信息融合越多,结果可能越准确。在U-net网络中,每进 行一次上采样时,都与对应的下采样过程中对应的卷积层进行融合,直到输出图像的分割结果,U-net的网络结构如图2所示。可见U-net只是一个更极致的全卷积网络,下采样过程 结束后,每进行一个2X2的上采样,都与下采样中对应层进行融合,直到最终输出语义分 割后的图像。可见,U-net这样实现的全卷积网络更多的结合了低层的信息,这样对像素具 体位置的分类会更加准确。U-net网络的网络结构如图2所示。
由于U-net对图像分割有很好的效果,有研究开始用U-net进行选取候选结节。但是U-net 是二维的卷积网络,并不能很好的利用CT数据丰富的三维空间信息。残差网络是Kaiming He等人于2015年在”Deep Residual Learning for Image Recognition”中提出的。残差网络为每 一个模块增加了一个short cut,short cut将模块的输入与输出连接到了一起,由于short cut 的引入,梯度信号更容易回到更早的层,所以它能起到很好的训练优化的效果。
当前应用深度学习技术进行肺部CT序列的肺结节自动检测,一种技术方案是采用传统 方法获得候选结节,并通过深度学习方法进行假阳的筛选。这种方案在获得候选结节时,并 没有采用深度学习技术,获取候选结节时的检出率相比深度学习技术更低,而且候选结节的 范围也过大,造成去假阳难度更大。另一种技术方案,利用U-net网络来获取候选结节,并 且利用卷积网络进行假阳检测。因为U-net是2D的卷积网络,并没有很好的利用CT序列 的空间信息,这导致其在获取候选结节时检出率并不理想。并且,如果只是简单将U-net的 2D卷积网络扩展为3D卷积网络,虽然更好的利用了空间信息,但是在图像空间复杂度高 的情况下,简单的3D卷积网络获取候选结节时,由于难以学习到空间中的复杂信息,获取 候选结节的检出率依然不理想。
发明内容
为了能够解决提高网络拟合能力和候选结节检出率的问题,本发明提出一种基于肺部 CT序列的肺结节自动检测方法,使用一种带有残差结构和特征映射结构的3D全卷积网络 获来取候选结节,并采用多模型融合的3D卷积网络进行去假阳。
一种基于肺部CT序列的肺结节自动检测方法,包括:
S1.数据预处理;
S2.使用全卷积网络筛选候选结节;
S3.使用图像处理方法将概率图变化为结节中心点坐标以及半径;
S4.使用多模型融合的3D卷积网络检测,得到最终判定的结节坐标以及对应半径集合。
进一步的,对全卷积网络检测得到的概率图进行二值化,并利用膨胀操作形成闭合区域, 闭合区域的坐标以及半径即待选结节坐标及半径。
进一步的,所述步骤S4中的检测步骤为:对于返回的中心点的坐标,针对CT原始数据进行切块,通过图像变换,分别变换出不同规模间隔的三个数据块,将三个数据块分别送给三个模型进行检测,只要有一个模型结果预测为真,则当前待选结节为真结节。
进一步的,步骤S2中对于全卷积网络训练的步骤包括:CT数据预处理、网络训练。
进一步的,CT数据预处理步骤如下:CT数据像素间隔的统一、肺实质切割、数据切块、数据增强四方面:
CT数据像素间隔的统一:利用线性插值、将不同CT图像的像素间隔进行统一;
肺实质切割:单独将肺切割出来作为检测的目标;
数据切块:将肺部CT数据进行切割;
数据增强:切数据块时,使标注结节随机出现在体数据块的任意位置,通过旋转切块时 的角度,使结节在体数据内的相对角度也进行变化。
进一步的,全卷积网络的结构包括收缩阶段与扩张阶段,其中收缩阶段中,每个卷积块 包括两个相同的卷积层,每层使用Relu做为激活函数,两个卷积层后跟着窗口大小为2X2 的最大池化层,每经过一个卷积块,图像的边长缩小1/2,图像的原始输入大小为64X64X64, 经过了四个卷积块后,图像的尺寸变为8X8X8,结构最底部的通道为512的卷积块只包含 两个卷积层,不包含池化层,在扩张阶段,每个卷积块先包含一个窗口为2X2的上采样, 然后是两个相同的卷积层,最后将收缩阶段对应的卷积层输出经过特征映射后,与当前扩张 阶段的卷积层进行连接,经过扩张阶段的4个卷积块后,图像已经由压缩后的8X8X8大小, 恢复为64X64X64的大小,每个卷积块都包含了从块开始指向块结束的shortcut连接;其训 练方法是:全卷积网络的训练过程是将训练数据经过预处理后,直接送给所述全卷积网络的 结构模型进行训练,当模型在验证集上的精度超过30个epoch并不再提高时,训练停止, 得到的最优模型用来进行候选结节提取。
进一步的,步骤S4中对于多模型融合的3D卷积网络训练的步骤如下:3D卷积网络训 练数据集准备、多模型融合的3D卷积网络的训练
进一步的,利用训练好的全卷积网络对已有CT数据集进行预测,得到CT序列中的候 选结节坐标,以候选结节坐标为中心点,切割大小为32X32X32mm的数据块,此数据块即为训练3D卷积网络的数据,同时,将候选结节坐标偏离中心点1至3个像素来取数据块进 行数据增强。
进一步的,多模型融合的3D卷积网络的训练:多模型融合的3D卷积网络结构:整个模型包含四个卷积块与一个全连接层,第一个卷积块卷积核数量为64,窗口为3X3X3,之后的每个卷积块卷积核数递增,分别为128、256和512,窗口不变,都是3X3X3,每个卷积 块包含两个卷积层与一个最大池化层,第一个卷积块的最大池化层窗口大小为1X2X2,剩 余的卷积块中池化层窗口大小为2X2X2,此处第一个池化层窗口z轴尺寸为1;训练模型时, 根据肺CT序列规则化时,z轴间距的目标规则化值的不同分别训练模型,z轴间距取值分 别为0.5、1、2.5、x、y轴的间距都固定为1,用三种间距的数据体训练模型,三种间距分 别为0.5X1X1mm、1X1X1mm和2.5X1X1mm,根据这三种情况分别训练三个模型,每个模 型输入数据块的大小为32X32X32,将模型应用于去假阳时,将待检测数据块z轴间距分别 调整为0.5、1、2.5,然后三种情况分别检测,当有一个结果是阳性时,将其判定为阳性。
一种基于肺部CT序列的肺结节自动检测系统,存储有多条指令,所述指令适于处理 器加载并执行:
S1.数据预处理;
S2.使用全卷积网络筛选候选结节;
S3.使用图像处理方法将概率图变化为结节中心点坐标以及半径;
S4.使用多模型融合的3D卷积网络检测,得到最终判定的结节坐标以及对应半径集合。
有益效果:本方法提出的3D全卷积网络,更好的利用了肺部CT的空间信息,而且,残差结构与特征映射结构的引入,增强了3D全卷积网络的拟合能力,在获取候选结节时有很高的检出率,同时,获取到的候选结节规模也相对较小,降低了去假阳阶段的难度。此外,本方法采用的多模型融合的3D卷积网络进行去假阳,达到了很好的效果。
附图说明
图1是现有全卷积网络的网络结构图;
图2是现有U-net网络的网络结构图;
图3是本发明全卷积网络结构图;
图4是3D卷积网络结构图。
具体实施方式
一种基于肺部CT序列的肺结节自动检测方法,该检测方法具有候选结节获取、去假阳 两个阶段,分别需要训练全卷积网络和多模型融合3D卷积网络,并用训练后的模型进行检 测。
即该检测方法包括:
S1.数据预处理;
S2.使用全卷积网络筛选候选结节;
S3.使用图像处理方法将概率图变化为结节中心点坐标以及半径;
S4.使用多模型融合的3D卷积网络检测,得到最终判定的结节坐标以及对应半径集合。
其中:步骤S2涉及使用全卷积网络筛选候选结节,而该步骤中使用的全卷积网络,需 要对其训练以实现检测,全卷积网络训练包括CT数据预处理、全卷积网络训练两个步骤:
其中:
S2.1.CT数据预处理:在CT数据送入全卷积网络进行训练时,需要进行适当的预处理, 基于预处理后的数据进行预测和训练,可以使模型更容易学到识别目标的本质特征,识别的 准确率会更高;可以使学习到的模型泛化能力更强;可以使模型训练与检测过程速度更快。 预处理主要包括CT数据像素间隔的统一、肺实质切割、数据切块、数据增强四方面。
CT数据像素间隔的统一:由于采集设备、采集过程的不同,CT图像像素间隔有很大不同,需要利用线性插值、将不同CT图像的像素间隔进行统一,例如可以将间隔统一为1X1X1mm。
肺实质切割:待检测的目标肺结节在肺的内部,对肺外部的区域进行检测不但浪费计算 资源,而且人体胸腔内结构复杂,如果把所有数据直接输入神经网络进行预测会要求神经网 络有更强的描述能力,因此单独将肺切割出来作为检测的目标是必要的。
数据切块:通常一个人的肺部CT序列从几十张到几百张不等,每张图像的大小通常为 512X512大小。将这么大的数据送入神经网络进行预测,对计算设备的缓存要求很大,通常 的计算设备很难满足这样的要求。此外,由于很多结节的大小都在5X5X5甚至更小,在一 个巨大的体数据中检测这么小的目标难度更大。所以需要将肺部CT数据进行切割,如切割 为64X64X64的大小,这样既能降低对计算设备缓存的要求,而且能够提升肺结节的检出率。
数据增强:对数据进行切块,训练全卷积网络。切数据块时,使标注结节随机出现在体 数据块的任意位置。而且,通过旋转切块时的角度,使结节在体数据内的相对角度也进行变 化。通过这样的数据增强的方式,使切块后的训练数据规模增大。
S2.2.全卷积网络训练:本发明提出的全卷积网络结构如图3所示。同U-net类似,也包 括收缩阶段与扩张阶段。其中收缩阶段中,每个卷积块包括两个相同的卷积层,每层使用 Relu做为激活函数,两个卷积层后跟着窗口大小为2X2的最大池化层。每经过一个卷积块, 图像的边长缩小1/2。图像的原始输入大小为64X64X64,经过了四个卷积块后,图像的尺 寸变为8X8X8。结构最底部的通道为512的卷积块只包含两个卷积层,不包含池化层。在 扩张阶段,每个卷积块先包含一个窗口为2X2的上采样,然后是两个相同的卷积层,最后将收缩阶段对应的卷积层输出经过特征映射后,与当前扩张阶段的卷积层进行连接。经过了 扩张阶段的4个卷积块后,图像已经由压缩后的8X8X8大小,恢复为64X64X64的大小。 此外,每个卷积块都包含了从块开始指向块结束的short cut连接,即残差结构。
全卷积网络的训练过程是将训练数据经过预处理后,直接送给模型进行训练,当模型在 验证集上的精度超过30个epoch不再提高时,训练停止。此时得到的最优模型用来进行候 选结节提取。
其中步骤S4述及使用多模型融合的3D卷积网络检测,而该步骤中使用的多模型融合 的3D卷积网络,需要对其训练以实现检测,多模型融合的3D卷积网络训练包括训练数据集准备、3D卷积网络训练两个步骤。
S4.1.3D卷积网络训练数据集准备:利用训练好的全卷积网络对已有CT数据集进行预 测,得到CT序列中的候选结节坐标,以候选结节坐标为中心点,切割大小为32X32X32mm 的数据块,此数据块即为训练3D卷积网络的数据。同时,可以将候选结节坐标偏离中心点 1至3个像素来取数据块进行数据增强。
S4.2.多模型融合的3D卷积网络的训练:多模型融合的3D卷积网络结构如图4所示。 采用的是用同一个网络结构,从多视角训练多个模型的策略。整个模型包含四个卷积块与一 个全连接层。第一个卷积块卷积核数量为64,窗口为3X3X3,之后的每个卷积块卷积核数递 增,分别为128、256和512,窗口不变,都是3X3X3。每个卷积块包含两个卷积层与一个 最大池化层,第一个卷积块的最大池化层窗口大小为1X2X2,剩余的卷积块中池化层窗口 大小为2X2X2,此处第一个池化层窗口z轴尺寸为1,减缓了z轴信息损失的速度,有利于更好的利用空间信息,进而提升分类的准确性。
训练模型时,根据肺CT序列规则化时,z轴间距的目标规则化值的不同分别训练模型, z轴间距取值分别为0.5、1、2.5。x、y轴的间距都固定为1。即用三种间距的数据体训练模 型,三种间距分别为0.5X1X1mm、1X1X1mm和2.5X1X1mm。
根据这三种情况分别训练三个模型。每个模型输入数据块的大小为32X32X32。将模型 应用于去假阳时,将待检测数据块z轴间距分别调整为0.5、1、2.5,然后三种情况分别检测, 当有一个结果是阳性时,将其判定为阳性。
检测阶段步骤如下:
1)数据预处理
接收到肺部CT数据后,需要进行预处理,处理方式与训练阶段相似,即依次进行肺CT数据像素间隔统一、肺实质分割、数据切块。将切好的数据块送给训练好的全卷 积网络模型进行候选结节选取。
2)利用全卷积网络进行候选结节筛选
将预处理后的数据块送入全卷积网络进行检测,此时得到的是针对数据块内像素进行分 类的概率图。
3)利用图像处理方法将概率图变化为结节中心点坐标以及半径
对全卷积网络检测得到的概率图进行二值化,并利用膨胀操作形成闭合区域,闭合 区域的坐标以及半径即待选结节坐标及半径。
4)利用训练好的多模型融合的3D卷积网络检测
利用步骤3)中返回的中心点的坐标,针对CT原始数据进行切块,通过图像变换,分别变换出规模为0.5X1X1mm、1X1X1mm、2.5X1X1mm三种间隔的数据块,将三个 数据块分别送给三个模型进行检测,只要有一个模型结果预测为真,则当前待选结节为 真结节。
5)获取步骤4的输出结果,得到最终判定的结节坐标以及对应半径集合,检测结束。
本发明用带有残差结构和特征映射结构的3D全卷积网络获取候选结节,残差结构可以 使神经网络更易训练、更易学习到更好的解;特征映射结构可以压缩特征空间的维数,使得 神经网络模型更节省缓存资源,同时,特征映射结构更近一步的抽象图像的特征,使得网络 学习的图像特征更准确。因此,使用此网络模型获取候选结节有更高的检出率,并且候选结 节池的规模也相对较小,降低了去假阳的难度。而针对去假阳,本发明采用基于多视角的多 模型融合方法。分别根据CT图像的z轴间距为0.5mm、1mm、2.5mm训练三个模型,由于 CT序列的Z轴间距变化大,按z轴间距分别训练模型可以尽量避免图像缩小,进而避免缩 小图像带来的信息损失。因此,此多模型融合的方法去假阳达到了很好的效果。
针对肺部CT序列进行肺结节自动检测,通常由候选结节获取和去假阳两步来完成。然 而,由于肺部结构复杂,且肺结节形态、大小各异,这给候选结节的提取和去假阳都带来了 很大难度。本发明用带有残差结构和特征映射结构的3D全卷积网络获取候选结节,并采用 基于多视角的多模型融合方法去假阳。本发明提出的基于3维深度神经网络的多模型CT肺 结节检测方法具有很高的检出率和准确率。
以上所述,仅为本发明创造较佳的具体实施方式,但本发明创造的保护范围并不局限于 此,任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内,根据本发明创造的技 术方案及其发明构思加以等同替换或改变,都应涵盖在本发明创造的保护范围之内。

Claims (10)

1.一种基于肺部CT序列的肺结节自动检测方法,其特征在于,包括:
S1.数据预处理;
S2.使用全卷积网络筛选候选结节;
S3.使用图像处理方法将概率图变化为结节中心点坐标以及半径;
S4.使用多模型融合的3D卷积网络检测,得到最终判定的结节坐标以及对应半径集合。
2.如权利要求1所述的基于肺部CT序列的肺结节自动检测方法,其特征在于,对全卷积网络检测得到的概率图进行二值化,并利用膨胀操作形成闭合区域,闭合区域的坐标以及半径即待选结节坐标及半径。
3.如权利要求1所述的基于肺部CT序列的肺结节自动检测方法,其特征在于,所述步骤S4中的检测步骤为:对于返回的中心点的坐标,针对CT原始数据进行切块,通过图像变换,分别变换出不同规模间隔的三个数据块,将三个数据块分别送给三个模型进行检测,只要有一个模型结果预测为真,则当前待选结节为真结节。
4.如权利要求1所述的基于肺部CT序列的肺结节自动检测方法,其特征在于,步骤S2中对于全卷积网络训练的步骤包括:CT数据预处理、网络训练。
5.如权利要求4所述的基于肺部CT序列的肺结节自动检测方法,其特征在于,CT数据预处理步骤如下:CT数据像素间隔的统一、肺实质切割、数据切块、数据增强四方面:
CT数据像素间隔的统一:利用线性插值、将不同CT图像的像素间隔进行统一;
肺实质切割:单独将肺切割出来作为检测的目标;
数据切块:将肺部CT数据进行切割;
数据增强:切数据块时,使标注结节随机出现在体数据块的任意位置,通过旋转切块时的角度,使结节在体数据内的相对角度也进行变化。
6.如权利要求4所述的基于肺部CT序列的肺结节自动检测方法,其特征在于,全卷积网络的结构包括收缩阶段与扩张阶段,其中收缩阶段中,每个卷积块包括两个相同的卷积层,每层使用Relu做为激活函数,两个卷积层后跟着窗口大小为2X2的最大池化层,每经过一个卷积块,图像的边长缩小1/2,图像的原始输入大小为64X64X64,经过了四个卷积块后,图像的尺寸变为8X8X8,结构最底部的通道为512的卷积块只包含两个卷积层,不包含池化层,在扩张阶段,每个卷积块先包含一个窗口为2X2的上采样,然后是两个相同的卷积层,最后将收缩阶段对应的卷积层输出经过特征映射后,与当前扩张阶段的卷积层进行连接,经过扩张阶段的4个卷积块后,图像已经由压缩后的8X8X8大小,恢复为64X64X64的大小,每个卷积块都包含了从块开始指向块结束的short cut连接;其训练方法是:全卷积网络的训练过程是将训练数据经过预处理后,直接送给所述全卷积网络的结构模型进行训练,当模型在验证集上的精度超过30个epoch并不再提高时,训练停止,得到的最优模型用来进行候选结节提取。
7.如权利要求1所述的基于肺部CT序列的肺结节自动检测方法,其特征在于,步骤S4中对于多模型融合的3D卷积网络训练的步骤如下:3D卷积网络训练数据集准备、多模型融合的3D卷积网络的训练。
8.如权利要求7所述的基于肺部CT序列的肺结节自动检测方法,其特征在于,利用训练好的全卷积网络对已有CT数据集进行预测,得到CT序列中的候选结节坐标,以候选结节坐标为中心点,切割大小为32X32X32mm的数据块,此数据块即为训练3D卷积网络的数据,同时,将候选结节坐标偏离中心点1至3个像素来取数据块进行数据增强。
9.如权利要求7所述的基于肺部CT序列的肺结节自动检测方法,其特征在于,多模型融合的3D卷积网络的训练:多模型融合的3D卷积网络结构:整个模型包含四个卷积块与一个全连接层,第一个卷积块卷积核数量为64,窗口为3X3X3,之后的每个卷积块卷积核数递增,分别为128、256和512,窗口不变,都是3X3X3,每个卷积块包含两个卷积层与一个最大池化层,第一个卷积块的最大池化层窗口大小为1X2X2,剩余的卷积块中池化层窗口大小为2X2X2,此处第一个池化层窗口z轴尺寸为1;训练模型时,根据肺CT序列规则化时,z轴间距的目标规则化值的不同分别训练模型,z轴间距取值分别为0.5、1、2.5、x、y轴的间距都固定为1,用三种间距的数据体训练模型,三种间距分别为0.5X1X1mm、1X1X1mm和2.5X1X1mm,根据这三种情况分别训练三个模型,每个模型输入数据块的大小为32X32X32,将模型应用于去假阳时,将待检测数据块z轴间距分别调整为0.5、1、2.5,然后三种情况分别检测,当有一个结果是阳性时,将其判定为阳性。
10.一种基于肺部CT序列的肺结节自动检测系统,其特征在于,存储有多条指令,所述指令适于处理器加载并执行:
S1.数据预处理;
S2.使用全卷积网络筛选候选结节;
S3.使用图像处理方法将概率图变化为结节中心点坐标以及半径;
S4.使用多模型融合的3D卷积网络检测,得到最终判定的结节坐标以及对应半径集合。
CN201811448769.4A 2018-11-28 2018-11-28 基于肺部ct序列的肺结节自动检测方法及系统 Active CN109685768B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811448769.4A CN109685768B (zh) 2018-11-28 2018-11-28 基于肺部ct序列的肺结节自动检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811448769.4A CN109685768B (zh) 2018-11-28 2018-11-28 基于肺部ct序列的肺结节自动检测方法及系统

Publications (2)

Publication Number Publication Date
CN109685768A true CN109685768A (zh) 2019-04-26
CN109685768B CN109685768B (zh) 2020-11-20

Family

ID=66185891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811448769.4A Active CN109685768B (zh) 2018-11-28 2018-11-28 基于肺部ct序列的肺结节自动检测方法及系统

Country Status (1)

Country Link
CN (1) CN109685768B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047073A (zh) * 2019-05-05 2019-07-23 北京大学 一种x射线焊缝图像缺陷定级方法及系统
CN110059697A (zh) * 2019-04-29 2019-07-26 上海理工大学 一种基于深度学习的肺结节自动分割方法
CN110084810A (zh) * 2019-05-06 2019-08-02 成都医云科技有限公司 一种肺结节图像检测方法、模型训练方法、装置及存储介质
CN110189307A (zh) * 2019-05-14 2019-08-30 慧影医疗科技(北京)有限公司 一种基于多模型融合的肺结节检测方法及系统
CN110705570A (zh) * 2019-09-20 2020-01-17 桂林电子科技大学 一种图像特征识别方法
CN111091564A (zh) * 2019-12-25 2020-05-01 金华市中心医院 一种基于3DUnet的肺结节大小检测系统
CN111179247A (zh) * 2019-12-27 2020-05-19 上海商汤智能科技有限公司 三维目标检测方法及其模型的训练方法及相关装置、设备
CN111583179A (zh) * 2020-04-02 2020-08-25 天津大学 一种基于浮动切割的肺结节深度学习分类方法
CN111724399A (zh) * 2020-06-24 2020-09-29 北京邮电大学 一种图像分割方法和终端
CN111798424A (zh) * 2020-06-30 2020-10-20 广西医准智能科技有限公司 一种基于医学图像的结节检测方法、装置及电子设备
CN112150442A (zh) * 2020-09-25 2020-12-29 帝工(杭州)科技产业有限公司 基于深度卷积神经网络及多实例学习的新冠诊断系统
CN112733777A (zh) * 2021-01-18 2021-04-30 华侨大学 一种遥感图像的道路提取方法、装置、设备和存储介质
CN114782472A (zh) * 2022-06-22 2022-07-22 杭州三坛医疗科技有限公司 一种ct图像的分割方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
US20180082443A1 (en) * 2016-09-21 2018-03-22 Realize, Inc. Anomaly detection in volumetric images
CN108230323A (zh) * 2018-01-30 2018-06-29 浙江大学 一种基于卷积神经网络的肺结节假阳性筛选方法
CN108257128A (zh) * 2018-01-30 2018-07-06 浙江大学 一种基于3d卷积神经网络的肺结节检测装置的建立方法
CN108288271A (zh) * 2018-02-06 2018-07-17 上海交通大学 基于三维残差网络的图像检测系统及方法
CN108765369A (zh) * 2018-04-20 2018-11-06 平安科技(深圳)有限公司 肺结节的检测方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082443A1 (en) * 2016-09-21 2018-03-22 Realize, Inc. Anomaly detection in volumetric images
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN106940816A (zh) * 2017-03-22 2017-07-11 杭州健培科技有限公司 基于3d全连接卷积神经网络的ct图像肺结节检测系统
CN108230323A (zh) * 2018-01-30 2018-06-29 浙江大学 一种基于卷积神经网络的肺结节假阳性筛选方法
CN108257128A (zh) * 2018-01-30 2018-07-06 浙江大学 一种基于3d卷积神经网络的肺结节检测装置的建立方法
CN108288271A (zh) * 2018-02-06 2018-07-17 上海交通大学 基于三维残差网络的图像检测系统及方法
CN108765369A (zh) * 2018-04-20 2018-11-06 平安科技(深圳)有限公司 肺结节的检测方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HONGSHENG JIN ET.AL: "A deep 3d residual cnn for false positive reduction in pulmonary nodule detection", 《MEDICAL PHYSICS》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059697A (zh) * 2019-04-29 2019-07-26 上海理工大学 一种基于深度学习的肺结节自动分割方法
CN110047073A (zh) * 2019-05-05 2019-07-23 北京大学 一种x射线焊缝图像缺陷定级方法及系统
CN110084810A (zh) * 2019-05-06 2019-08-02 成都医云科技有限公司 一种肺结节图像检测方法、模型训练方法、装置及存储介质
CN110189307A (zh) * 2019-05-14 2019-08-30 慧影医疗科技(北京)有限公司 一种基于多模型融合的肺结节检测方法及系统
CN110189307B (zh) * 2019-05-14 2021-11-23 慧影医疗科技(北京)有限公司 一种基于多模型融合的肺结节检测方法及系统
CN110705570A (zh) * 2019-09-20 2020-01-17 桂林电子科技大学 一种图像特征识别方法
CN110705570B (zh) * 2019-09-20 2022-06-21 桂林电子科技大学 一种图像特征识别方法
CN111091564A (zh) * 2019-12-25 2020-05-01 金华市中心医院 一种基于3DUnet的肺结节大小检测系统
CN111091564B (zh) * 2019-12-25 2024-04-26 金华市中心医院 一种基于3DUnet的肺结节大小检测系统
CN111179247A (zh) * 2019-12-27 2020-05-19 上海商汤智能科技有限公司 三维目标检测方法及其模型的训练方法及相关装置、设备
CN111583179A (zh) * 2020-04-02 2020-08-25 天津大学 一种基于浮动切割的肺结节深度学习分类方法
CN111583179B (zh) * 2020-04-02 2022-09-16 天津大学 一种基于浮动切割的肺结节深度学习分类方法
CN111724399A (zh) * 2020-06-24 2020-09-29 北京邮电大学 一种图像分割方法和终端
CN111798424A (zh) * 2020-06-30 2020-10-20 广西医准智能科技有限公司 一种基于医学图像的结节检测方法、装置及电子设备
CN111798424B (zh) * 2020-06-30 2021-02-09 广西医准智能科技有限公司 一种基于医学图像的结节检测方法、装置及电子设备
CN112150442A (zh) * 2020-09-25 2020-12-29 帝工(杭州)科技产业有限公司 基于深度卷积神经网络及多实例学习的新冠诊断系统
CN112733777B (zh) * 2021-01-18 2023-12-05 华侨大学 一种遥感图像的道路提取方法、装置、设备和存储介质
CN112733777A (zh) * 2021-01-18 2021-04-30 华侨大学 一种遥感图像的道路提取方法、装置、设备和存储介质
CN114782472A (zh) * 2022-06-22 2022-07-22 杭州三坛医疗科技有限公司 一种ct图像的分割方法及装置
CN114782472B (zh) * 2022-06-22 2022-10-14 杭州三坛医疗科技有限公司 一种ct图像的分割方法及装置

Also Published As

Publication number Publication date
CN109685768B (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
CN109685768A (zh) 基于肺部ct序列的肺结节自动检测方法及系统
EP3961484A1 (en) Medical image segmentation method and device, electronic device and storage medium
CN110503630B (zh) 一种基于三维深度学习模型的脑出血分类、定位与预测方法
WO2020133636A1 (zh) 前列腺手术中外包膜智能检测和预警方法及系统
CN106408001B (zh) 基于深度核哈希的感兴趣区域快速检测方法
US20170004619A1 (en) System and method for automatic pulmonary embolism detection
CN110766051A (zh) 一种基于神经网络的肺结节形态学分类方法
CN107016665A (zh) 一种基于深度卷积神经网络的ct肺结节检测方法
CN107492071A (zh) 医学图像处理方法及设备
CN111402254B (zh) 一种ct图像肺结节高性能自动检测方法及装置
CN112308822B (zh) 基于深度卷积神经网络的椎间盘ct图像检测方法
CN110475505A (zh) 利用全卷积网络的自动分割
CN111429474A (zh) 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法
CN109447998A (zh) 基于PCANet深度学习模型下的自动分割方法
CN112508884B (zh) 一种癌变区域综合检测装置及方法
CN109925002A (zh) 人工智能超声心动图数据采集系统及其数据采集方法
CN114332572B (zh) 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法
CN113744215B (zh) 三维断层扫描图像中树状管腔结构中心线的提取方法和装置
Cao et al. 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans
AU2020223750B2 (en) Method and System for Image Annotation
CN117710389A (zh) 两阶段全3d动脉瘤分割方法及系统
CN111428855B (zh) 一种端到端的点云深度学习网络模型和训练方法
CN117253277A (zh) 真实和合成数据联合进行复杂环境人脸关键点检测的方法
CN117274667A (zh) 一种基于多任务学习的胎儿心脏疾病超声图像质量检测方法
CN116704305A (zh) 基于深度学习算法的超声心动图多模态多切面分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method and System for Automatic Detection of Pulmonary Nodules Based on Pulmonary CT Sequences

Effective date of registration: 20230518

Granted publication date: 20201120

Pledgee: Dalian Lvshunkou Mengyin Village Bank Co.,Ltd. Tieshan Branch

Pledgor: SENYINT INTERNATIONAL DIGITAL MEDICAL SYSTEM (DALIAN) Co.,Ltd.

Registration number: Y2023980041127

PP01 Preservation of patent right

Effective date of registration: 20240918

Granted publication date: 20201120