CN112258530A - 基于神经网络的计算机辅助肺结节自动分割方法 - Google Patents

基于神经网络的计算机辅助肺结节自动分割方法 Download PDF

Info

Publication number
CN112258530A
CN112258530A CN202011513661.6A CN202011513661A CN112258530A CN 112258530 A CN112258530 A CN 112258530A CN 202011513661 A CN202011513661 A CN 202011513661A CN 112258530 A CN112258530 A CN 112258530A
Authority
CN
China
Prior art keywords
lung nodule
lung
network
data
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011513661.6A
Other languages
English (en)
Inventor
章毅
李为民
郭际香
王成弟
徐修远
邵俊
易乐
何彦琪
张蕾
宋璐佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202011513661.6A priority Critical patent/CN112258530A/zh
Publication of CN112258530A publication Critical patent/CN112258530A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于神经网络的计算机辅助肺结节自动分割方法,属于肺结节自动分割领域。本发明包括:准备原始CT图像数据,并对用来训练的肺结节数据进行病灶区域的标定;对原始CT图像数据进行预处理,并对肺结节的空间区域进行截取;构建并训练基于三维残差网络的自编码‑解码器和空间金字塔池化结构的分割模型和目标函数;使用训练好的模型对检测任务重肺结节进行分割,输出对肺结节病灶区域预测的结果。通过本发明的上述方法,能够实现更好地肺结节分割效果,适用于实际临床中的肺结节分割任务。

Description

基于神经网络的计算机辅助肺结节自动分割方法
技术领域
本发明涉及肺结节自动分割领域,特别涉及一种基于神经网络的计算机辅助肺结节自动分割方法。
背景技术
肺癌是全球癌症死亡率最高的一种恶性肿瘤疾病,IA期的肺癌患者,五年生存率可达到90%以上,而一旦肺癌发生转移,IV期肺癌的五年生存率迅速下降到5%。低剂量螺旋计算机断层扫描(CT)可以筛查出可治愈的早期肺癌,因此CT也成为目前最主要的肺癌筛查手段。随着越来越多的人做CT检查,医生读片的负担也越来越重;其次,根据CT图像的特点,医生也仅能通过自己主观印象和经验来联系起连续层面图像的信息,从而建立起主观的肺部组织以及肺结节的位置信息和空间特征,对临床经验不足的医生,这种方式会降低病灶性质分析的准确性;另外,根据肺癌诊断指南,对于早期发现的直径较小磨玻璃结节,要求患者定期进行随访,目前医生对肺结节的体积仅仅是根据经验进行粗略估计,如何做到肺结节病灶区域倍增时间以及实性成分占比的精准的自动计算,也是临床亟待解决的问题。因此,本研究通过机器学习的方法,自动分割出三维CT图像中的肺结节ROI区域,除了对肺结节进行精准的三维重建分析外,也满足了临床医生的实际需求。
肺结节自动分割方法在最近的几年也有广泛的研究,这些方法可以分为基于统计学习的传统肺结节分割方法和基于深度学习的肺结节分割方法。
基于传统的机器学习的肺结节方法,可以对肺结节区域进行粗略的估计和分割,取得一些初步效果。Messay et al. 结合灰度值的阈值和形态特征处理来进行候选肺结节的分割,其平均重合值仅有63%;Kubota et al. 采用区域增长的方法来区分肺结节病灶和背景区域;Keshani et al.采用支持向量机分类器自动检测出CT中的肺结节位置,并自动提取出肺结节的轮廓。
深度学习近几年在自然图像识别的各项任务中都取得了飞速的进步,2012年,AlexNet在ImageNet数据集上将错误率降低到16.4%,深度神经网络得到广泛应用。2014年,VGGNet使用19层深度网络将错误率降到7.3%。GoogleNet提出Inception的结构,通过使用多层Inception结构,采用多个层级的误差函数进一步提高了识别率。2015年,ResNet提出在传统卷积网络上增加一个捷径连接结构,该结构能够减少模型训练过程中的梯度消失。最终一个152层的ResNet将ImageNet的识别率降低到3.57%。由于二维卷积神经网络在包含空间信息的三维数据中表现的空间特征提取的局限性,研究者提出采用三维卷积神经网络应用在三维数据中,从而在三维目标识别任务中取得巨大进步。
现有方法中,研究者也有将深度学习方法应用于肺结节分割任务中:Tong et al.提出在U-Net分割网络中加入残差连接,有效的提升了肺结节分割的效果;Chen et al. 在编码器和解码器之间加入 ASPP模块,使得网络模型能够应对肺结节大小和肺结节上下文空间信息的变化,在不同大小的肺结节的分割效果上都保持鲁棒性;另外,为了提取三维肺结节的空间信息,Wang et al. 从一个三维的肺结节的立方体取得多个二维图像,每个二维图像作为一个二维卷积网络的输入,然后将多个二维子网络集成,以此方式提取三维数据的空间特征。
实际上,肺结节病灶本身及其边缘、密度、纹理等特征,以及肺结节周围的解剖学环境有着很大的变化,某些组织(血管,肺实质以外的实性组织)也有着相似的灰度值和特征,对于有血管集束和胸膜牵拉的肺结节,基于传统机器学习的肺结节分割方法难以精准分割出这样的肺结节的区域。因此,传统机器学习方法很难在复杂的实际应用场景中取得满意的效果。
目前基于神经网络的肺结节分割方法都是基于二维卷积神经网络逐张切片对肺结节区域进行分割,即使从三维数据中提取多个正交视角的二维图像以此提取空间特征,实际上也丢失了CT图像所包含的丰富的空间特征信息;其次,通常认为网络深度越深就能提取到更多的特征信息,而在很多肺结节分割的方法都仅仅采用卷积-池化的结构来进行肺结节特征提取,以这种方式简单堆叠网络很容易造成神经网络在训练时梯度消失的问题,从而使得网络预测的结果降低;另外,目前很多方法也没有考虑到结节直径大小的巨大差异而引入的噪声数据对肺结节分割特征提取的影响,使得分割效果在不同尺寸结节的效果表现上也有很大差异;最后,目前的工作都将肺结节分割的任务作为一个像素级的分类任务,以交叉熵函数作为目标函数,而由于分割的目标区域与其它背景区域存在着数据的不平衡,很容易使得网络在训练过程中过拟合。
发明内容
本发明的目的是提供一种能实现更好地分割效果的基于神经网络的计算机辅助肺结节自动分割方法。
本发明解决其技术问题,采用的技术方案是:基于神经网络的计算机辅助肺结节自动分割方法,包括如下步骤:
步骤1、准备原始CT图像数据,并对用来训练的肺结节数据进行病灶区域的标定;
步骤2、对原始CT图像数据进行预处理,并对肺结节的空间区域进行截取;
步骤3、构建并训练基于三维残差网络的自编码-解码器和空间金字塔池化结构的分割模型和基于Dice系数的肺结节分割目标函数;
步骤4、使用训练好的模型对检测任务重肺结节进行分割,输出对肺结节病灶区域预测的结果。
进一步的是,步骤1中,在准备原始CT图像数据时,从数据系统导出,导出的数据包含有2000个肺结节的数据。
进一步的是,步骤1中,在对用来训练的肺结节数据进行病灶区域的标定时,采用半自动的方法:对于每一例的CT图像数据,首先使用肺结节自动检测模型检测到肺结节的位置,然后对此检测到的肺结节的区域进行人工勾画,并对模型检测的肺结节进行审核,然后对肺结节表现的影像特征进行交叉标定,每一例CT图像都包含着肺结节的空间位置、直径、以及标定的肺结节病灶区域。
进一步的是,步骤2中,对原始CT图像数据进行预处理具体是指:通过三维样条差值和数值归一化的手段预处理原始CT图像数据,来得到一致的CT体数据;
对肺结节的空间区域进行截取,具体是指:对于每一例CT图像数据,从半自动标注结果中获得的肺结节的位置以及尺寸信息,由位置和尺寸信息,计算出结节的中心点的像素坐标;然后,根据中心点的位置,直接从经过预处理的原始CT图像中截取出64*64*64像素的肺结节数据,以确保肺结节全部都存在于截取出64*64*64像素形成的小立方体中;对于截取区域的边界超出了CT图像的边界的数据,以0值来填充越界的部分,以确保结节的中心在截取图像数据的中心;对于标定的数据存在问题的CT图像,将进行重新标定。
进一步的是,步骤3中,所述分割模型的网络结构包括三维残差自编码-解码器的网络结构和基于空洞卷积的金字塔池化结构;
所述三维残差自编码-解码器的网络结构中,采用U-Net的分割模型结构作为自编码-解码器,使得模型能够将高维的肺结节图像数据编码到低维的特征空间,并能够将特征空间的信息重建为肺结节的分割mask图;
所述基于空洞卷积的金字塔池化结构中,在编码器与解码器之间,采用四个具有不同采样率的并行的空洞卷积层,提取编码特征图的多尺度特征,这些特征经过混合后,交给解码器进行分割结果图重建,得到最终的分割mask图。
进一步的是,步骤3中,训练所述分割模型时,其具体步骤为:
步骤301、将取得的64*64*64大小的包含整个肺结节的立方体图像,根据肺结节的直径大小并且在每个坐标都扩展8个像素位置,截取出相应的肺结节数据直接输入网络;
步骤302、选择基于Dice系数的肺结节分割目标函数;
步骤303、进行网络训练。
进一步的是,步骤302中,选择基于Dice系数的肺结节分割目标函数时:
首先,任务采用Dice系数作为评价指标,其定义为:
Figure 100002_DEST_PATH_IMAGE001
其中,A和B分别表示两个轮廓区域所包含的点集,用来评价给定的标签结果和模型的预测结果的一致性;
其次,直接优化该评价指标,指导网络模型进行训练,这个目标函数称为Dice Loss,其定义为:
Figure 100002_DEST_PATH_IMAGE003
其中,
Figure 100002_DEST_PATH_IMAGE004
Figure 100002_DEST_PATH_IMAGE005
分别表示标签特征图和预测特征图,
Figure 100002_DEST_PATH_IMAGE007
表示标签特征图与预测特征图之间像素级的对位相乘,N为训练数据的数量,
Figure 100002_DEST_PATH_IMAGE008
表示平滑系数,用来避免分母为0的情况,n表示数据样本的索引。
进一步的是,步骤303中,网络训练时,网络设置学习率为0.001,当在验证集的误差在20次迭代中都没有下降时,学习率就衰减10倍;
卷积权值使用高斯分布初始化;
一次训练批次设置为24,学习迭代次数为200,网络学习针对每个批次更新一次参数,每一次迭代学习之后,模型判断肺结节检测结果的总误差大小,如果当前误差小于上一个迭代的误差,就保存当前模型,然后继续训练,直到达到最大迭代次数。
进一步的是,肺结节分割任务相当于一个像素级的分类任务,模型在梯度反向传播时,从最后的损失计算层,然后反向传播到传到网络的之前的层中,对于分割图中的某一个输出
Figure 100002_DEST_PATH_IMAGE009
Figure 100002_DEST_PATH_IMAGE010
为输出层上一个隐藏层的输出,其与上一层的所有连接的权重值为
Figure 100002_DEST_PATH_IMAGE011
,表示输出层上一个隐藏层第i个神经元与输出层的第j个神经元的连接权值,其关系为:
Figure 100002_DEST_PATH_IMAGE012
其中,
Figure 100002_DEST_PATH_IMAGE013
为sigmoid激活函数,#表示神经网络中所有的通道维度的相加,
Figure 100002_DEST_PATH_IMAGE014
更新时,按照以下规则进行更新:
Figure 100002_DEST_PATH_IMAGE016
Figure 100002_DEST_PATH_IMAGE018
表示网络梯度更新后的权重,其中,
Figure DEST_PATH_IMAGE019
Figure DEST_PATH_IMAGE020
为训练设置的学习率。
本发明的有益效果是,通过上述基于神经网络的计算机辅助肺结节自动分割方法,首先,考虑CT图像的三维特征,本方法采取三维的卷积网络模型来提取肺结节的空间特征;其次,考虑肺结节尺度变化的问题,本方法采用空间金字塔池化结构,从而可以提取到不同大小的肺结节的多尺度特征信息,使得网络对不同直径大小肺结节的分割都具有鲁棒性;最后,本发明采用基于Dice系数的目标函数,直接优化最终网络评价的指标,同时由于Dice系数对数据分布不敏感,该目标函数使得网络肺结节分割取得更精确的结果。
附图说明
图1为本发明实施例基于神经网络的计算机辅助肺结节自动分割方法的流程图;
图2为本发明实施例中肺结节分割网络模型示意图。
具体实施方式
下面结合附图及实施例,详细描述本发明的技术方案。
实施例
本实施例所关注的问题为:如何利用计算机在CT图像中自动、高效、准确的分割肺结节病灶区域。为解决上述技术问题,本实施例方法首先获取到肺结节位置和尺寸信息,网络结构采用基于三维卷积神经网络的自编码-解码器结构,并在编码器和解码器之间加入空间金字塔池化结构,可以提取到肺结节多尺度的,空间的特征;并且网络中加入残差块,网络能够堆叠更深的结构,而不会因为网络深度而带来梯度消失的问题,使得获得更佳的肺结节分割效果。另外,通常认为给定优化效果的评价指标与代理损失函数之间的选择,最优选择就是优化指标本身。本实施例直接采用基于Dice系数的损失函数,网络训练目标为得到预测与标签之间最佳的Dice系数。另外,以此函数作为网络训练的目标函数,网络训练对于正、负样本的分布不敏感,使得网络能够学到更好的特征。本实施例充分发挥了深度学习方法的优势,并能在保证分割的假阳性更低的同时,保证对肺结节分割有较高的查全率。
因此,本发明实施例提出一种基于神经网络的计算机辅助肺结节自动分割方法,其流程图见图1,其中该方法包括如下步骤:
步骤1、准备原始CT图像数据,并对用来训练的肺结节数据进行病灶区域的标定;
步骤2、对原始CT图像数据进行预处理,并对肺结节的空间区域进行截取;
步骤3、构建并训练基于三维残差网络的自编码-解码器和空间金字塔池化结构的分割模型和目标函数;
步骤4、使用训练好的模型对检测任务重肺结节进行分割,输出对肺结节病灶区域预测的结果。
上述方法在实际应用过程中,其具体步骤如下:
步骤S1、数据准备
深度神经网络方法需要大量的数据用于训练,我们首先需要准备好尽量多的数据用于模型训练,使得其具有更好的泛化性能。本实施例所用的大量数据都为医院影像科所取到的肺部CT图像,一共获取包含有2000个肺结节的数据。本实施例使用的方法是一种有监督的学习方法,因此在数据准备的阶段还需要对肺结节的病灶区域进行标定。我们对肺结节的标注采用半自动的方法:对于每一例的CT图像数据,我们首先使用我们的肺结节自动检测模型检测到肺结节的位置,然后对此检测到的肺结节的区域进行人工勾画,然后对肺结节表现的影像特征进行交叉标定。对有较大肺结节区域争议的肺结节,本实施例不采用该结果,以确保数据的准确性。最后每一例CT图像都包含着肺结节的空间位置、直径、以及标定的肺结节病灶区域。
步骤S2、数据预处理
不同仪器不同环境采集得到的CT图像在像素间隔,图像对比度方面有很大的不同。本步骤通过三维样条插值、数值归一化的手段预处理CT图像,来得到各方面一致的CT体数据。这使得后续分类步骤中的CT图像的空间信息和强度信息保持一致,并保证了后续机器学习步骤能提取到有用的特征,获得更好的效果。
对于每一例CT图像,我们从半自动标注结果中可以获得的肺结节的位置以及尺寸等信息,由位置和尺寸信息,可以计算出结节的中心点的像素坐标;然后,根据中心点的位置,直接从经过预处理的原始CT图像中截取出64*64*64像素的肺结节数据,以确保肺结节全部都存在于截取出64*64*64像素形成的小立方体中;对于超过图像边界的数据,我们以0值来填充越界(截取区域的边界超出了CT图像的边界)的部分,以确保结节的中心就在截取图像数据的中心。对于标定的数据存在问题的CT图像(例如同一个标定的肺结节切片不连续等),将进行重新标定。通过以上步骤,为此后网络的训练和测试做好了数据的准备。
步骤S3、肺结节分割网络模型的构建
本实施例使用的肺结节分割网络是基于何凯明2016年在CVPR大会上提出的深度残差块网络结构和U-Net的分割模型。由于本实施例只考虑三维CT图像,因此本实施例中的残差网络的卷积神经网络结构包括三维卷积层,三维池化层。对于不同尺寸大小的肺结节,我们采用了空洞卷积的空间金字塔池化结构,来处理不同输入大小的图像,从而使得网络能够编码多尺度的特征信息。肺结节分割网络模型示意图见图2,具体来说多尺度的三维残差网络主要包含以下两个部分:
1、三维残差自编码-解码网络结构。本实施例中深度特征提取所采用的三维卷积网络结构即深度残差网络,此网络结构提出了在传统卷积网络结构中加入捷径连接层以消除深度网络在学习过程中梯度回传容易消失的问题,使得网络在越深的情况下越能够学习到更深层的特征。此外,三维的网络结构也能够使得模型能够提取到更多包含空间信息的特征。另外,我们采用U-Net的分割模型结构作为自编码-解码器,使得模型能够将高维的肺结节图像数据编码到低维的特征空间,并能够将特征空间的信息重建为肺结节的分割mask图;同时,U-Net网络模型中通层的跳跃链接,共享信息,也使得模型更容易训练、收敛。
2、基于空洞卷积的金字塔池化结构。本实施例中提出使用空间金字塔池化模块来应对肺结节尺度大小不同的问题,即网络不需要固定输入图像的大小,直接可以编码到肺结节的多尺度的信息。本实施例采用基于空洞卷积的空间金字塔池化模块,在编码器与解码器之间,我们采用四个具有不同采样率的并行的空洞卷积层,提取编码特征图的多尺度特征,这些特征经过混合后,交给解码器进行分割结果图重建,得到最终的分割mask图。
步骤S4、肺结节分割网络的训练
本实施例基于步骤S3设计的肺结节分割网络结构进行训练。网络的训练主要分为以下几个步骤:
S401、网络输入。网络的训练数据为步骤S1标定步骤S2计算得到的肺结节中心点位置、尺度大小、以及医生标注后的肺结节病灶的区域。本实施例中的网络是一种端到端的模型,因此模型只要得到输入数据就可以进行训练。同时,由于本实施例网络的设计不依赖输入的大小,对于任意大小的输入,网络都可以进行相应处理。因此,在数据输入网络时,将取得的64*64*64大小的包含整个肺结节的立方体图像,根据肺结节的直径大小并且在每个坐标都扩展8个像素位置,截取出相应的肺结节数据直接输入网络。另外,我们也使用三个维度上的随机旋转、翻转等方法进行数据增广,降低网络过拟合风险。
S402、基于Dice系数的肺结节分割目标函数。学习误差会影响着模型的训练好坏。通常认为对于直接优化目标评价指标和其他代理目标函数之间的选择,最优的选择是直接对目标指标进行优化。对于分割任务中,大多数任务中采用Dice系数作为评价指标,其定义为:
Figure 365902DEST_PATH_IMAGE001
其中,A和B分别表示两个轮廓区域所包含的点集。以此可以来评价医生给定的标签结果和模型的预测结果的一致性。该指标对于标签的正、负样本不敏感。因此,本实施例直接优化该评价指标,指导网络模型进行训练,这个损失函数因此也称为Dice Loss,其定义为:
Figure DEST_PATH_IMAGE021
其中,
Figure 548622DEST_PATH_IMAGE004
Figure 125097DEST_PATH_IMAGE005
分别表示标签特征图和预测特征图,
Figure 254727DEST_PATH_IMAGE007
表示标签特征图与预测特征图之间像素级的对位相乘,N为训练数据的数量,
Figure 865837DEST_PATH_IMAGE008
表示平滑系数,用来避免分母为0的情况,n表示数据样本的索引。
S403、网络训练。网络设置学习率为0.001,当在验证集的误差在20次迭代中都没有下降时,学习率就衰减10倍,卷积权值使用高斯分布初始化。一次训练批次设置为24,学习迭代次数为200,网络学习针对每个批次更新一次参数,每一次迭代学习之后,模型判断肺结节检测结果的总误差大小,如果当前误差小于上一个迭代的误差,就保存当前模型,然后继续训练,直到达到最大迭代次数。
肺结节分割任务相当于一个像素级的分类任务,模型在梯度反向传播时,从最后的损失计算层,然后反向传播到传到网络的之前的层中。
对于分割图中的某一个输出
Figure 422720DEST_PATH_IMAGE009
Figure 486491DEST_PATH_IMAGE010
为输出层上一个隐藏层的输出,其与上一层的所有连接的权重值为
Figure 419812DEST_PATH_IMAGE011
,表示输出层上一个隐藏层第i个神经元与输出层的第j个神经元的连接权值,其关系为:
Figure 885428DEST_PATH_IMAGE012
其中,
Figure 409950DEST_PATH_IMAGE013
为sigmoid激活函数,#表示神经网络中所有的通道维度的相加,
Figure 898701DEST_PATH_IMAGE014
更新时,按照以下规则进行更新:
Figure 635712DEST_PATH_IMAGE016
Figure 690256DEST_PATH_IMAGE018
表示网络梯度更新后的权重,其中,
Figure 651259DEST_PATH_IMAGE019
Figure 689622DEST_PATH_IMAGE020
为训练设置的学习率。
因此,本实施例采用基于三维卷积核、池化层的网络结构,这一方法使得网络能够提取到肺结节丰富的三维特征信息,从而为肺结节的病灶区域分割带来有益效果。并且,本实施例采用基于残差网络的结构,使得通过堆叠网络深度能够获得更好的特征表达,而不会出现随着网络深度增加分割准确率反而下降;另外采用基于空间金字塔池化的模块结构,使得网络不依赖于输入的大小,对于尺度变化巨大的肺结节,该结构能够充分提取到其多尺度的特征信息,使得网络更加鲁棒。并且,本发明采用基于Dice系数的目标函数对网络模型进行训练,可以直接优化目标评价的指标,使得模型可以得到更加充分的训练。
本实施例中,对于已经完成训练的模型,可以快速检测,实现批量CT检测,可以实现无人值守批量操作,且速度快速,速度可随设备扩展提升,节省了初级筛查的人力物力,解放医生工作集中于更高层次的诊断的处置方案设计,并可无人值守对未完全分析的积压性数据进行自动处理。

Claims (9)

1.基于神经网络的计算机辅助肺结节自动分割方法,其特征在于,包括如下步骤:
步骤1、准备原始CT图像数据,并对用来训练的肺结节数据进行病灶区域的标定;
步骤2、对原始CT图像数据进行预处理,并对肺结节的空间区域进行截取;
步骤3、构建并训练基于三维残差网络的自编码-解码器和空间金字塔池化结构的分割模型和基于Dice系数的肺结节分割目标函数;
步骤4、使用训练好的模型对检测任务重肺结节进行分割,输出对肺结节病灶区域预测的结果。
2.根据权利要求1所述的基于神经网络的计算机辅助肺结节自动分割方法,其特征在于,步骤1中,在准备原始CT图像数据时,从数据系统导出,导出的数据包含有2000个肺结节的数据。
3.根据权利要求1所述的基于神经网络的计算机辅助肺结节自动分割方法,其特征在于,步骤1中,在对用来训练的肺结节数据进行病灶区域的标定时,采用半自动的方法:对于每一例的CT图像数据,首先使用肺结节自动检测模型检测到肺结节的位置,然后对此检测到的肺结节的区域进行人工勾画,并对模型检测的肺结节进行审核,然后对肺结节表现的影像特征进行交叉标定,每一例CT图像都包含着肺结节的空间位置、直径、以及标定的肺结节病灶区域。
4.根据权利要求2所述的基于神经网络的计算机辅助肺结节自动分割方法,其特征在于,步骤2中,对原始CT图像数据进行预处理具体是指:通过三维样条差值和数值归一化的手段预处理原始CT图像数据,来得到一致的CT体数据;
对肺结节的空间区域进行截取,具体是指:对于每一例CT图像数据,从半自动标注结果中获得的肺结节的位置以及尺寸信息,由位置和尺寸信息,计算出结节的中心点的像素坐标;然后,根据中心点的位置,直接从经过预处理的原始CT图像中截取出64*64*64像素的肺结节数据,以确保肺结节全部都存在于截取出64*64*64像素形成的小立方体中;对于截取区域的边界超出了CT图像的边界的数据,以0值来填充越界的部分,以确保结节的中心在截取图像数据的中心;对于标定的数据存在问题的CT图像,将进行重新标定。
5.根据权利要求1所述的基于神经网络的计算机辅助肺结节自动分割方法,其特征在于,步骤3中,所述分割模型的网络结构包括三维残差自编码-解码器的网络结构和基于空洞卷积的金字塔池化结构;
所述三维残差自编码-解码器的网络结构中,采用U-Net的分割模型结构作为自编码-解码器,使得模型能够将高维的肺结节图像数据编码到低维的特征空间,并能够将特征空间的信息重建为肺结节的分割mask图;
所述基于空洞卷积的金字塔池化结构中,在编码器与解码器之间,采用四个具有不同采样率的并行的空洞卷积层,提取编码特征图的多尺度特征,这些特征经过混合后,交给解码器进行分割结果图重建,得到最终的分割mask图。
6.根据权利要求1或4所述的基于神经网络的计算机辅助肺结节自动分割方法,其特征在于,步骤3中,训练所述分割模型时,其具体步骤为:
步骤301、将取得的64*64*64大小的包含整个肺结节的立方体图像,根据肺结节的直径大小并且在每个坐标都扩展8个像素位置,截取出相应的肺结节数据直接输入网络;
步骤302、选择基于Dice系数的肺结节分割目标函数;
步骤303、进行网络训练。
7.根据权利要求6所述的基于神经网络的计算机辅助肺结节自动分割方法,其特征在于,步骤302中,选择基于Dice系数的肺结节分割目标函数时:
首先,任务采用Dice系数作为评价指标,其定义为:
Figure DEST_PATH_IMAGE001
其中,A和B分别表示两个轮廓区域所包含的点集,用来评价给定的标签结果和模型的预测结果的一致性;
其次,直接优化该评价指标,指导网络模型进行训练,这个目标函数称为Dice Loss,其定义为:
Figure DEST_PATH_IMAGE003
其中,
Figure DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE005
分别表示标签特征图和预测特征图,
Figure DEST_PATH_IMAGE007
表示标签特征图与预测特征图之间像素级的对位相乘,N为训练数据的数量,
Figure DEST_PATH_IMAGE008
表示平滑系数,用来避免分母为0的情况,n表示数据样本的索引。
8.根据权利要求6所述的基于神经网络的计算机辅助肺结节自动分割方法,其特征在于,步骤303中,网络训练时,网络设置学习率为0.001,当在验证集的误差在20次迭代中都没有下降时,学习率就衰减10倍;
卷积权值使用高斯分布初始化;
一次训练批次设置为24,学习迭代次数为200,网络学习针对每个批次更新一次参数,每一次迭代学习之后,模型判断肺结节检测结果的总误差大小,如果当前误差小于上一个迭代的误差,就保存当前模型,然后继续训练,直到达到最大迭代次数。
9.根据权利要求8所述的基于神经网络的计算机辅助肺结节自动分割方法,其特征在于,肺结节分割任务相当于一个像素级的分类任务,模型在梯度反向传播时,从最后的损失计算层,然后反向传播到传到网络的之前的层中,对于分割图中的某一个输出
Figure DEST_PATH_IMAGE009
Figure DEST_PATH_IMAGE010
为输出层上一个隐藏层的输出,其与上一层的所有连接的权重值为
Figure DEST_PATH_IMAGE011
,表示输出层上一个隐藏层第i个神经元与输出层的第j个神经元的连接权值,其关系为:
Figure DEST_PATH_IMAGE012
其中,
Figure DEST_PATH_IMAGE013
为sigmoid激活函数,#表示神经网络中所有的通道维度的相加,
Figure DEST_PATH_IMAGE014
更新时,按照以下规则进行更新:
Figure DEST_PATH_IMAGE015
Figure DEST_PATH_IMAGE016
表示网络梯度更新后的权重,其中,
Figure DEST_PATH_IMAGE017
Figure DEST_PATH_IMAGE018
为训练设置的学习率。
CN202011513661.6A 2020-12-21 2020-12-21 基于神经网络的计算机辅助肺结节自动分割方法 Pending CN112258530A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011513661.6A CN112258530A (zh) 2020-12-21 2020-12-21 基于神经网络的计算机辅助肺结节自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011513661.6A CN112258530A (zh) 2020-12-21 2020-12-21 基于神经网络的计算机辅助肺结节自动分割方法

Publications (1)

Publication Number Publication Date
CN112258530A true CN112258530A (zh) 2021-01-22

Family

ID=74225821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011513661.6A Pending CN112258530A (zh) 2020-12-21 2020-12-21 基于神经网络的计算机辅助肺结节自动分割方法

Country Status (1)

Country Link
CN (1) CN112258530A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686897A (zh) * 2021-03-15 2021-04-20 四川大学 一种基于弱监督的长短轴辅助肠胃淋巴结像素标注的方法
CN112819801A (zh) * 2021-02-10 2021-05-18 桂林电子科技大学 一种改进U-Net的肺结节分割方法
CN113112609A (zh) * 2021-03-15 2021-07-13 同济大学 一种面向肺部活检支气管镜的导航方法和系统
CN113208641A (zh) * 2021-05-10 2021-08-06 山东大学 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法
CN113379735A (zh) * 2021-07-09 2021-09-10 中山大学 一种ct结肠影像内容物的标注方法及系统
CN113643297A (zh) * 2021-10-18 2021-11-12 四川大学 一种基于神经网络的计算机辅助牙龄分析方法
CN113674281A (zh) * 2021-10-25 2021-11-19 之江实验室 一种基于深度形状学习的肝脏ct自动分割方法
CN113688956A (zh) * 2021-10-26 2021-11-23 西南石油大学 一种基于深度特征融合网络的砂岩薄片分割和识别方法
CN114283153A (zh) * 2021-11-15 2022-04-05 天津大学 基于神经网络的肺部病理切片癌细胞分割算法
CN114693671A (zh) * 2022-04-25 2022-07-01 香港中文大学(深圳) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN114708233A (zh) * 2022-04-11 2022-07-05 牧原肉食品有限公司 一种用于对猪胴体膘厚进行测量的方法及其相关产品
CN115908825A (zh) * 2023-03-10 2023-04-04 中国科学院宁波材料技术与工程研究所 一种基于视觉处理的类圆形结构分割方法及装置
CN115994919A (zh) * 2023-03-23 2023-04-21 北京大学第三医院(北京大学第三临床医学院) 一种基于深度学习的膀胱壁自动分割工具和方法
CN114037709B (zh) * 2021-11-05 2023-06-16 复旦大学附属肿瘤医院 一种磨玻璃肺结节分割方法及装置
CN117456289A (zh) * 2023-12-25 2024-01-26 四川大学 一种基于深度学习的颌骨病变分割分类系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018026431A1 (en) * 2016-08-01 2018-02-08 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
CN109035212A (zh) * 2018-07-05 2018-12-18 清影医疗科技(深圳)有限公司 一种肺部ct影像特殊组织的标记方法
CN109886967A (zh) * 2019-01-16 2019-06-14 成都蓝景信息技术有限公司 基于深度学习技术的肺部解剖学位置定位算法
CN110503649A (zh) * 2019-07-05 2019-11-26 陕西科技大学 一种基于空间多尺度U-net与超像素修正的肝脏分割方法
CN110766051A (zh) * 2019-09-20 2020-02-07 四川大学华西医院 一种基于神经网络的肺结节形态学分类方法
CN110807788A (zh) * 2019-10-21 2020-02-18 腾讯科技(深圳)有限公司 医学图像处理方法、装置、电子设备及计算机存储介质
CN111815608A (zh) * 2020-07-13 2020-10-23 北京小白世纪网络科技有限公司 基于深度学习的新冠肺炎患者康复时间预测方法及系统
CN111833359A (zh) * 2020-07-13 2020-10-27 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018026431A1 (en) * 2016-08-01 2018-02-08 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
CN109035212A (zh) * 2018-07-05 2018-12-18 清影医疗科技(深圳)有限公司 一种肺部ct影像特殊组织的标记方法
CN109886967A (zh) * 2019-01-16 2019-06-14 成都蓝景信息技术有限公司 基于深度学习技术的肺部解剖学位置定位算法
CN110503649A (zh) * 2019-07-05 2019-11-26 陕西科技大学 一种基于空间多尺度U-net与超像素修正的肝脏分割方法
CN110766051A (zh) * 2019-09-20 2020-02-07 四川大学华西医院 一种基于神经网络的肺结节形态学分类方法
CN110807788A (zh) * 2019-10-21 2020-02-18 腾讯科技(深圳)有限公司 医学图像处理方法、装置、电子设备及计算机存储介质
CN111815608A (zh) * 2020-07-13 2020-10-23 北京小白世纪网络科技有限公司 基于深度学习的新冠肺炎患者康复时间预测方法及系统
CN111833359A (zh) * 2020-07-13 2020-10-27 中国海洋大学 基于生成对抗网络的脑瘤分割数据增强方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ABDUL QAYYUM 等: "Automatic Segmentation Using a Hybrid Dense Network Integrated With an 3D-Atrous Spatial Pyramid Pooling Module for Computed Tomography (CT) Imaging", 《IEEE ACCESS》 *
LIANG-CHIEH CHEN 等: "Rethinking atrous convolution for semantic image segmentation", 《HTTP://ARXIV.ORG/ABS/1706.05587》 *
XIUYUANXU 等: "DeepLN: A framework for automatic lung nodule detection using multi-resolution CT screening images", 《KNOWLEDGE-BASED SYSTEMS》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819801A (zh) * 2021-02-10 2021-05-18 桂林电子科技大学 一种改进U-Net的肺结节分割方法
CN112686897A (zh) * 2021-03-15 2021-04-20 四川大学 一种基于弱监督的长短轴辅助肠胃淋巴结像素标注的方法
CN113112609A (zh) * 2021-03-15 2021-07-13 同济大学 一种面向肺部活检支气管镜的导航方法和系统
CN113208641A (zh) * 2021-05-10 2021-08-06 山东大学 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法
CN113208641B (zh) * 2021-05-10 2023-09-12 山东大学 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法
CN113379735A (zh) * 2021-07-09 2021-09-10 中山大学 一种ct结肠影像内容物的标注方法及系统
CN113643297B (zh) * 2021-10-18 2021-12-21 四川大学 一种基于神经网络的计算机辅助牙龄分析方法
CN113643297A (zh) * 2021-10-18 2021-11-12 四川大学 一种基于神经网络的计算机辅助牙龄分析方法
CN113674281A (zh) * 2021-10-25 2021-11-19 之江实验室 一种基于深度形状学习的肝脏ct自动分割方法
CN113674281B (zh) * 2021-10-25 2022-02-22 之江实验室 一种基于深度形状学习的肝脏ct自动分割方法
CN113688956A (zh) * 2021-10-26 2021-11-23 西南石油大学 一种基于深度特征融合网络的砂岩薄片分割和识别方法
CN114037709B (zh) * 2021-11-05 2023-06-16 复旦大学附属肿瘤医院 一种磨玻璃肺结节分割方法及装置
CN114283153A (zh) * 2021-11-15 2022-04-05 天津大学 基于神经网络的肺部病理切片癌细胞分割算法
CN114708233A (zh) * 2022-04-11 2022-07-05 牧原肉食品有限公司 一种用于对猪胴体膘厚进行测量的方法及其相关产品
CN114693671A (zh) * 2022-04-25 2022-07-01 香港中文大学(深圳) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN115908825A (zh) * 2023-03-10 2023-04-04 中国科学院宁波材料技术与工程研究所 一种基于视觉处理的类圆形结构分割方法及装置
CN115994919A (zh) * 2023-03-23 2023-04-21 北京大学第三医院(北京大学第三临床医学院) 一种基于深度学习的膀胱壁自动分割工具和方法
CN117456289A (zh) * 2023-12-25 2024-01-26 四川大学 一种基于深度学习的颌骨病变分割分类系统
CN117456289B (zh) * 2023-12-25 2024-03-08 四川大学 一种基于深度学习的颌骨病变分割分类系统

Similar Documents

Publication Publication Date Title
CN112258530A (zh) 基于神经网络的计算机辅助肺结节自动分割方法
CN109598727B (zh) 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN108615237B (zh) 一种肺部图像处理方法及图像处理设备
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
CN108921851B (zh) 一种基于3d对抗网络的医学ct图像分割方法
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN113870258A (zh) 一种基于对抗学习的无标签胰腺影像自动分割系统
WO2022213654A1 (zh) 一种超声图像的分割方法、装置、终端设备和存储介质
Liu et al. A fully automatic segmentation algorithm for CT lung images based on random forest
CN111179237A (zh) 一种肝脏以及肝脏肿瘤的图像分割方法和装置
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN114022491B (zh) 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法
CN114693933A (zh) 基于生成对抗网络和多尺度特征融合的医学影像分割装置
CN111798424B (zh) 一种基于医学图像的结节检测方法、装置及电子设备
CN113034507A (zh) 基于ccta影像的冠状动脉三维分割方法
CN110782427A (zh) 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法
CN114972362A (zh) 一种基于RMAU-Net网络的医学图像自动分割方法与系统
CN112767407A (zh) 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN114511581B (zh) 一种多任务多分辨率协作的食管癌病变分割方法及装置
Yu et al. Break: Bronchi reconstruction by geodesic transformation and skeleton embedding
CN113160120A (zh) 基于多模态融合与深度学习的肝脏血管分割方法及系统
CN114648663A (zh) 基于深度学习的肺癌ct图像亚型分类方法
CN111899850A (zh) 医学影像的信息处理方法、显示方法及可读存储介质
Heeneman et al. Lung nodule detection by using Deep Learning
CN114419032B (zh) 心脏左心室的心肌内膜和/或心肌外膜的分割方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination