CN109035197B - 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统 - Google Patents

基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统 Download PDF

Info

Publication number
CN109035197B
CN109035197B CN201810552230.7A CN201810552230A CN109035197B CN 109035197 B CN109035197 B CN 109035197B CN 201810552230 A CN201810552230 A CN 201810552230A CN 109035197 B CN109035197 B CN 109035197B
Authority
CN
China
Prior art keywords
kidney
module
dimensional
neural network
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810552230.7A
Other languages
English (en)
Other versions
CN109035197A (zh
Inventor
杨冠羽
潘覃
李国清
周忠稳
王传霞
孔佑勇
伍家松
杨淳沨
舒华忠
罗立民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201810552230.7A priority Critical patent/CN109035197B/zh
Publication of CN109035197A publication Critical patent/CN109035197A/zh
Application granted granted Critical
Publication of CN109035197B publication Critical patent/CN109035197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种基于三维卷积神经网络的CT造影图像肾脏肿瘤分割方法。该方法首先粗略分割出CT造影图像中的肾脏区域，并对其中的肾脏和肿瘤分别标注，生成数据集，然后将训练集送入基于金字塔池化和逐步特征增强模块的卷积神经网络中训练，得到训练模型，利用得到的训练模型对新的肾脏数据进行预测，得到肾脏肿瘤的分割掩模。本发明还提出一种基于三维卷积神经网络的CT造影图像肾脏肿瘤分割系统，本发明主要解决了肾脏肿瘤难图像分割的问题，通过本发明能够直接得到肾脏肿瘤的分割掩模。

Description

基于三维卷积神经网络的CT造影图像肾脏肿瘤分割方法及 系统
技术领域
本发明涉及一种医学图像处理技术，属于计算机应用技术领域。
背景技术
肾癌是人类最常见的十种癌症之一。近年来，针对临床治疗局部肾癌问题，传统的根治性肾切除术(RN)正日益取代微创腹腔镜肾部分切除术(LPN)[1]。LPN手术可以切除肾肿瘤并保留正常肾组织。特别是，新提出的基于肾动脉阻断技术的部分切除手术可以最大程度地保护肾功能[2]。为了进行LPN手术，一些有用的信息，如肿瘤的大小、位置、肾的解剖结构，肾动脉和输尿管等，应于术前从CT图像中获得。然而，手工勾画超过200个CT层是一项费时费力的工作。因此，自动或半自动的分割方法对于提高手术的效率和准确性是必不可少的。
目前已经提出的有几种在CT或MR图像中进行肾脏分割。Cuingnet等人[3]提出了一种两步肾脏分割法，利用回归森林检测肾脏位置，并利用分类森林获得每个肾脏的概率图。杨等人[4]利用多模板的方法实现了由粗到细的分割。但是，所提出的方法只解决了整个肾脏的分割，正常肾组织和肿瘤病变区域不能被区分。此外，这种基于多模板的方法的先验形状特征在模板图像存在巨大血管瘤时可能会失败。
关于肾脏肿瘤分割的研究工作比较少。Linguraru等人[5]提出了一种基于水平集(level-set)的肾脏肿瘤提取方法。但是，这种方法用户定义的点需要以交互方式提供给每一个肿瘤，而且在静脉期CT图像中进行肿瘤病灶分割。考虑到辐射剂量的限制，静脉相位CT图像对PN手术没有必要，只有动脉期CT图像可用于研究。
图1为动脉相位CT图像的几个例子，如图1所示，肿瘤的位置和大小，或肾脏的灰度和纹理都有显著差异。因此，精确地自动分割这些图像中的肾脏肿瘤仍然是一项具有挑战性的工作。近年来，二维的深度神经网络在医学图像和自然图像中有一些成功的应用。然而，在这些二维网络中使用的二维卷积内核将限制空间的特征提取能力。例如，如图1所示，肾脏和肿瘤的区域具有相似的灰度分布和纹理。仅仅根据这些二维图像中的信息很难将它们分开。然而，目前没有方法直接作用于肾和肾肿瘤分割。
[1]B.Ljungberg,K.Bensalah,S.Canfield,S.Dabestani,F.Hofmann,M.Hora,M.A.Kuczyk,T.Lam,L.Marconi,and A.S.Merseburger,“Eau guidelines on renal cellcarcinoma:2014 update,”European Urology,vol.67,no.5,p.913-924,2015；
[2]P.Shao,C.Chao,X.Meng,Xiaobing,Qiang,Zhang,and Zhengquan,“Laparoscopic partial nephrectomy with segmental renal artery clamping:technique and clinical outcomes,”European Urology,vol.59,no.7,pp.849–55,2011；
[3]P.Shao,C.Chao,X.Meng,Xiaobing,Qiang,Zhang,and Zhengquan,“Laparoscopic partial nephrectomy with segmental renal artery clamping:technique and clinical outcomes,”European Urology,vol.59,no.7,pp.849–55,2011；
[4]G.Yang,G.,Gu,J.,Chen,Y.,Liu,W.,Tang,L.,Shu,H.,Toumoulin,C.:“Automatic kidney segmentation in CT images based on multi-atlas imageregistration,”In:Engineering in Medicine&Biology Society Conference,2014:5538；
[5]M.G.Linguraru,S.Wang,F.Shah,R.Gautam,J.Peterson,W.M.Linehan,etal..“Automated noninvasive classification of renal cancer on multiphase CT,”Medical Physics,2011,vol.38,no.10,pp.5738-5746。
发明内容
本发明所要解决的技术问题：针对现有的肾脏肿瘤分割难、分割效果差的问题，本发明提出了一种基于三维卷积神经网络的CT造影图像肾脏肿瘤分割方法及系统。
技术方案：为解决上述技术问题，本发明采用以下技术方案：
一种基于三维卷积神经网络的CT造影图像肾脏肿瘤分割方法，利用基于金字塔池化和逐步特征增强模块的三维卷积神经网络对肾脏CT造影图像处理，得到肾脏和肿瘤的分割掩模，具体包括以下步骤：
步骤(1)、对已有的CT造影图像分割出图像中的肾脏区域，对肾脏和肿瘤进行标注，得到感兴趣区域，生成训练数据集；
步骤(2)、将训练数据集送入基于金字塔池化模块PPM和逐步特征增强模块GEFM的双路径三维卷积神经网络中进行训练，得到训练模型；
步骤(3)、对于新的待分割的肾脏CT造影图像，送入已训练完毕的模型得到分割结果。
进一步的，本发明所提出的方法，所述步骤(1)具体包括以下步骤：
(101)、将CT造影图像与专家库中的M个模板图像分别进行图像配准，获得形变参数；
(102)、利用步骤(101)获得的形变参数，将M个模板图像上的肾脏的专家分割结果形变后都映射到CT造影图像上；
(103)、将步骤(102)所得到的映射后的CT造影图像上的M个肾脏形变结果分别各自合并，获得CT造影图像肾脏的初步分割结果；
(104)、人工标注肾脏和肿瘤区域，作为标签；
(105)、使用翻转、平移、裁剪方法对训练数据集进行数据增强。
进一步的，本发明所提出的方法，所述步骤(2)中的三维卷积神经网络，输入输出均为三维图片数据，各个层的运算均为三维运算，网络层与层之间的数据流均为五维数据；该三维卷积神经网络初始为残差模块，残差模块的输出送入金字塔池化模块，金字塔池化模块后接逐步特征增强模块得到分割掩模。
进一步的，本发明所提出的方法，金字塔池化模块由一个池化层、一个卷积模块和一个反卷积模块构成，其中反卷积模块由反卷积层、归一化层和Relu激活层构成。
进一步的，本发明所提出的方法，金字塔池化模块的数量为三个，其中，三个金字塔池化模块的池化层的核尺寸分别设置为2、4、8；三个金字塔池化模块的反卷积模块的核尺寸分别设置为2、4、8。
进一步的，本发明所提出的方法，步骤(2)所述逐步特征增强模块由m个分支组成；对于每个分支，均采用如下所述的操作步骤，每个分支之间的区别在于所使用的卷积核不同：
Figure BDA0001680569250000031
Figure BDA0001680569250000032
Figure BDA0001680569250000033
其中，finput表示由上一层得到的三维特征图即特征增强模块GEFM的输入，公式(1)表示所需要的对finput的初始操作，其中*表示卷积操作，
Figure BDA0001680569250000034
是卷积核的权重，finput经过卷积得到
Figure BDA0001680569250000035
公式(2)表示特征增强过程，其中，
Figure BDA0001680569250000036
表示卷积层的权重，g表示第g个分支；将
Figure BDA0001680569250000037
作为输入送入增强系数函数得到增强因子，所述增强系数函数由卷积和sigmoid激活函数组成；然后把增强因子与
Figure BDA0001680569250000038
相加，得到增强特征
Figure BDA0001680569250000039
相同操作重复K次，经过K次迭代得到后得到最终增强的特征图
Figure BDA00016805692500000310
公式(3)表示得到所有分支的增强特征后，将这些特征连接起来即为最后特征增强模块GEFM的输出foutput,concatenate()表示将特征连接。
进一步的，本发明所提出的方法，对于所述步骤(2)得到训练模型，还包括进行代价函数计算来便于网络的反向传播，代价函数采用带权值的交叉熵损失函数，公式为：
Figure BDA00016805692500000311
其中
Figure BDA0001680569250000041
为softmax函数的计算，Wi为第i类的权重，交叉熵的权重由1/2反向频率中和法计算而来，即先分别统计整个数据库中无关背景、肾脏、肾肿瘤的频率，然后用中间的频率分别处理各自的频率，然后将所得到的结果的最大值和最小值均除以2。
本发明还提出一种基于三维卷积神经网络的CT造影图像肾脏肿瘤分割系统，包括：
数据采集单元，用于对已有的CT造影图像分割出图像中的肾脏区域，对肾脏和肿瘤进行标注，得到感兴趣区域，生成训练数据集；
模型训练单元，用于将训练数据集送入基于金字塔池化模块PPM和逐步特征增强模块GEFM的双路径三维卷积神经网络中进行训练，得到训练模型；
图像分割单元，用于将新的待分割的肾脏CT造影图像，送入已训练完毕的模型得到分割结果。
有益效果：本发明使用卷积神经网络的特征提取能力，能够分割肾脏和肿瘤区域。通过使用逐步特征增强模块，增强了网络学习能力，提高了分割效果，使用条件随机场提高了分割精度。
附图说明
图1为本发明的网络结构图。
图2为动脉相位CT图像的示例图。
图3为局部特征增强模块结构示意图。
图4为3维的肾脏CT造影图像。
图5所示为剔除无关背景后三维肿瘤。
图6左上和左下示为肿瘤体数据中的一个切片，图6右下和右上为其肿瘤区域的标签。
具体实施方式
下面结合说明书附图针对本发明的具体实施方式作进一步详细的说明。
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本发明利用基于金字塔池化和逐步特征增强模块的三维全卷积神经网络训练标注好的肾脏CT造影图像数据集，然后利用得到的模型对新的肾脏数据进行分割。具体包括顺序执行的以下步骤：
步骤(1)、对已有的CT造影图像分割出图像中的肾脏区域。对肾脏和肿瘤进行标注，得到感兴趣区域，生成数据集；
步骤(2)、将训练集送入基于金字塔池化(PPM)和逐步特征增强模块(GEFM)的三维卷积神经网络中进行训练，得到训练模型；
步骤(3)、对于新的待分割的肾脏CT造影图像，利用两步分割法分割肾脏图像中的肾脏区域后，送入已训练完毕的模型得到分割掩模。
考虑到原始的肾脏CT造影图像肾脏所占体积小，不利于分割，而且不同病人的CT造影图像中肾脏和肿瘤的解剖形态存在一定差异，本发明从分割肾脏和肿瘤区域所涉及到的肾脏及周边部分区域入手，得到粗略的感兴趣区域，然后利用基于金字塔池化和逐步特征增强模块的卷积神经网络得到精确的分割结果。本发明采用基于多模板(Multi-atlas)图像配准的分割算法，分割CT造影图像中肾脏和肿瘤区域。基于多模板图像配准的分割算法，主要是利用专家库中的图像即模板图像与待分割的图像进行图像配准，然后利用配准获得的空间形变参数，将模板图像上由专家标记好的肾脏区域映射到待分割图像上，从而获得待分割图像中相应区域的分割结果。因此所述步骤(1)具体包括以下步骤：
步骤(11)、将CT造影图像与专家库中的M个模板图像分别进行图像配准，获得形变参数；这里M的范围没有明确规定，根据经验，可选择M为6～10较佳，在此范围内工作量适中且分割的精度满足要求；
步骤(12)、利用步骤(11)获得的形变参数，将M个模板图像上的肾脏的专家分割结果形变后都映射到CT造影图像上；
步骤(13)、将步骤(12)所得到的映射后的CT造影图像上的M个肾脏形变结果分别各自合并，获得CT造影图肾脏的初步分割结果。
步骤(14)、人工标注肾脏和肿瘤区域，作为标签；
步骤(15)、使用翻转、平移、裁剪等方法对训练集进行数据增强。
初步分割得到的肾脏感兴趣区域需要对其进一步分割。本发明使用了基于金字塔池化和逐步特征增强模块的双路径全卷积神经网络。针对三维数据，相邻的层面数据之间具有相关性，为了充分利用这种空间信息，进一步提升分割精度，网络结构中所有的卷积操作均采用三维操作。本方法所使用的卷积网络输入输出均为三维体数据，网络层与层之间的数据流均为五维数据。所述步骤(2)设计的网络，初始为残差模块，残差模块的输出送入金字塔池化模块，金字塔池化模块后接逐步特征增强模块得到分割掩模。
残差网络在神经网络的特征提取上具有优越的性能，因此本方法所使用网络将残差网络作为骨干网络结构。在CT图像中，肾脏和肾肿瘤区域的CT值差别细微，因此在肾脏肿瘤分割问题中，位置信息的获取也同样重要，为此本方法减少了池化层(或者stride为2的卷积)的数目，以更多保留位置信息。
由于池化层数目的减少，带来了感受野的急剧下降，为了克服因感受野减小的问题，网络深层的卷积采用了孔洞卷积(孔洞卷积能够带来感受野的指数上升)。金字塔池化，能够实现全局信息与局部信息的融合，对分割效果有显著的提升，因此本方法的网络结构也采用了这一结构。
残差模块后是金字塔池化模块。金字塔池化模块由一个池化层、一个卷积模块和一个反卷积模块构成。反卷积模块由反卷积层、归一化层和Relu激活层构成。本发明使用了三个金字塔池化模块，三个模块的池化层的核尺寸分别设置为2、4、8；三个池化模块的反卷积模块的核尺寸分别设置为2、4、8。
为了进一步提高分割效果，引入了逐步特征增强模块，逐步特征增强模块由m个分支组成。对于每个分支，finput表示由上一层得到的特征图，使用如下所示公式(1)得到三维特征图，*表示卷积操作，W1是卷积核的权重，然后
Figure BDA0001680569250000061
送入特征增强块(由一个卷积层和一个激活函数层组成，即
Figure BDA0001680569250000062
得到增强的特征。然后把增强的特征与
Figure BDA0001680569250000063
相加，更新
Figure BDA0001680569250000064
为新的特征图
Figure BDA0001680569250000065
如公式(2)所示，
Figure BDA0001680569250000066
表示上一个特征增强模块的输出，
Figure BDA0001680569250000067
表示特征增强模块的输出。经过K次迭代得到最终增强的特征图。
Figure BDA0001680569250000068
Figure BDA0001680569250000069
Ws表示卷积层的权重，t表示分支下的第t个块。在本发明中所述网络结构使用了3个特征增强模块。局部特征增强模块结构如图3所示。
步骤(2)将训练集送入基于金字塔池化和逐步特征增强模块的三维卷积神经网络中进行训练，此时需要对网络输出结果进行代价函数计算来便于网络的反向传播。本发明使用的代价函数模块，采用带权值的交叉熵损失函数。本发明使用的交叉熵损失函数公式为：
Figure BDA00016805692500000610
其中
Figure BDA00016805692500000611
为softmax函数的计算，Wi为第i类的权重。交叉熵的权重由1/2反向频率中和法计算而来(先分别统计整个数据库中无关背景、肾脏、肾肿瘤的频率，然后用中间的频率分别处理各自的频率，然后将所得到的结果的最大和最小值均除以2)。
步骤(2)得到的训练好的网络模型，输入新的肾脏图像(未标注)。输出的肾脏分割结果，包含三个数值，0代表背景区域，1代表肾脏区域，2代表肾脏肿瘤区域。对于最后得到的分割结果使用条件随机场的方法解决部分误判的问题。
实施例：基于全卷积网络的三维深度神经网络提出混合连续的二维CT切片或MR图像中连续的纹理信息。实验结果表明，三维神经网络通常在不同器官的分割任务中比二维卷积神经网络有更好的性能，如肝肿瘤、脑肿瘤、腰椎，激光共聚焦显微镜图像，等等。在介绍了本发明的具体步骤和模型之后，下面展示该发明在数据集上的测试结果。
实验使用了与江苏省人民医院放射科合作得到的CT造影图像，初始为14个病人数据，大小为512×512×200，因为原始病人的CT图像中，无关背景区域占据了大量体积，在此对数据进行了一些预处理。图4为3维的肾脏CT造影图像。
(a)采用G.Yang等人发表论文中的多模板分割方式粗糙分割出肾脏区域，生成200×150×150大小的体数据，如图5所示为剔除无关背景后三维肿瘤，图6左上和左下示为肿瘤体数据中的一个切片，图6右下和右上为其肿瘤区域的标签。
(b)对数据进行数据扩充，比如从x，y和z三个方向分别进行翻转和旋转，最终数据扩充了20倍。
(c)对数据进行零-均值规范化处理。
(d)数据和标签生成mat文件作为网络输入。
本发明采用的基于金字塔池化和逐步特征增强模块的双路径三维全卷积神经网络结构(3D_PPM_GEFM_HybridNet)如图2所示。实验针对分割结果使用骰子系数和表面距离作为评判标准，针对分类结果使用准确率作为评判标准。假设输入三维体数据大小为M×N×N，设步长为Stepsize，分成
Figure BDA0001680569250000071
个K×N×N大小的子数据，每个子数据作为一个输入数据进行分割。步长为Stepsize，分成
Figure BDA0001680569250000072
个K×N×N大小的子数据，其中Stepsize≤K，每隔Stepsize层取K层数据作为一个子数据，最后融合得到的
Figure BDA0001680569250000073
个分割结果，其中子数据的分割结果之间重叠的层通过投票的方法得到结果。分类结果使用留一法作为测试
本发明选择了当前流行的几种分割方法作比较，分别为：2维PSPNet，3维U-Net和不加特征逐步增强模块的3D_PPM_HybridNet网络。
表1展示了四种方法下的骰子系数和表面距离。
由表格可以看出，本发明的方法相比其他方法骰子系数和表面距离均较大，尤其肿瘤的分割效果有很大提高。此外，本发明的网络增加特征逐步增强模块相比不添加，肿瘤分割的骰子系数提高了近5个百分点，表面距离降低了近0.43，特征增强模块能够有效的改善分割结果。
表1不同方法下分割结果的量化评估
Figure BDA0001680569250000081
本发明还提出一种基于三维卷积神经网络的CT造影图像肾脏肿瘤分割系统，包括：
数据采集单元，用于对已有的CT造影图像分割出图像中的肾脏区域，对肾脏和肿瘤进行标注，得到感兴趣区域，生成训练数据集；
模型训练单元，用于将训练数据集送入基于金字塔池化模块PPM和逐步特征增强模块GEFM的双路径三维卷积神经网络中进行训练，得到训练模型；
图像分割单元，用于将新的待分割的肾脏CT造影图像，送入已训练完毕的模型得到分割结果。
作为本发明提出的CT造影图像肾脏肿瘤分割系统进一步的优化实施方案，三维卷积神经网络的输入输出均为三维图片数据，各个层的运算均为三维运算，网络层与层之间的数据流均为五维数据；该三维卷积神经网络初始为残差模块，残差模块的输出送入金字塔池化模块，金字塔池化模块后接逐步特征增强模块得到分割掩模。
作为本发明提出的CT造影图像肾脏肿瘤分割系统进一步的优化实施方案，所述逐步特征增强模块由m个分支组成；对于每个分支，均被配置采用如下所述的操作步骤，每个分支之间的区别在于所使用的卷积核不同：
Figure BDA0001680569250000082
Figure BDA0001680569250000083
Figure BDA0001680569250000084
其中，finput表示由上一层得到的三维特征图即特征增强模块GEFM的输入，公式(1)表示所需要的对finput的初始操作，其中*表示卷积操作，
Figure BDA0001680569250000091
是卷积核的权重，finput经过卷积得到
Figure BDA0001680569250000092
公式(2)表示特征增强过程，其中，
Figure BDA0001680569250000093
表示卷积层的权重，g表示第g个分支；将
Figure BDA0001680569250000094
作为输入送入增强系数函数得到增强因子，所述增强系数函数由卷积和sigmoid激活函数组成；然后把增强因子与
Figure BDA0001680569250000095
相加，得到增强特征
Figure BDA0001680569250000096
相同操作重复K次，经过K次迭代得到后得到最终增强的特征图
Figure BDA0001680569250000097
公式(3)表示得到所有分支的增强特征后，将这些特征连接起来即为最后特征增强模块GEFM的输出foutput,concatenate()表示将特征连接。
本技术领域技术人员可以理解的是，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来生成机器，从而通过计算机或其他可编程数据处理方法的处理器来执行的指令创建了用于实现结构图和/或框图和/或流图的框或多个框中指定的方法。
本技术领域技术人员可以理解的是，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (8)

1.一种基于三维卷积神经网络的CT造影图像肾脏肿瘤分割方法，其特征在于：利用基于金字塔池化和逐步特征增强模块的三维卷积神经网络对肾脏CT造影图像处理，得到肾脏和肿瘤的分割掩模，具体包括以下步骤：
步骤(1)、对已有的CT造影图像分割出图像中的肾脏区域，对肾脏和肿瘤进行标注，得到感兴趣区域，生成训练数据集；
步骤(2)、将训练数据集送入基于金字塔池化模块PPM和逐步特征增强模块GEFM的双路径三维卷积神经网络中进行训练，得到训练模型；所述逐步特征增强模块由m个分支组成；对于每个分支，均采用如下所述的操作步骤，每个分支之间的区别在于所使用的卷积核不同：
Figure FDA0003214914440000011
Figure FDA0003214914440000012
Figure FDA0003214914440000013
其中，finput表示由上一层得到的三维特征图即特征增强模块GEFM的输入，公式(1)表示所需要的对finput的初始操作，其中*表示卷积操作，
Figure FDA0003214914440000014
是卷积核的权重，finput经过卷积得到
Figure FDA0003214914440000015
公式(2)表示特征增强过程，其中，
Figure FDA0003214914440000016
表示卷积层的权重，g表示第g个分支；将
Figure FDA0003214914440000017
作为输入送入增强系数函数得到增强因子，所述增强系数函数由卷积和sigmoid激活函数组成；然后把增强因子与
Figure FDA0003214914440000018
相加，得到增强特征
Figure FDA0003214914440000019
相同操作重复K次，经过K次迭代得到后得到最终增强的特征图
Figure FDA00032149144400000110
公式(3)表示得到所有分支的增强特征后，将这些特征连接起来即为最后特征增强模块GEFM的输出foutput,concatenate()表示将特征连接；
步骤(3)、对于新的待分割的肾脏CT造影图像，送入已训练完毕的模型得到分割结果。
2.根据权利要求1所述的方法，其特征在于：所述步骤(1)具体包括以下步骤：
(101)、将CT造影图像与专家库中的M个模板图像分别进行图像配准，获得形变参数；
(102)、利用步骤(101)获得的形变参数，将M个模板图像上的肾脏的专家分割结果形变后都映射到CT造影图像上；
(103)、将步骤(102)所得到的映射后的CT造影图像上的M个肾脏形变结果分别各自合并，获得CT造影图像肾脏的初步分割结果；
(104)、人工标注肾脏和肿瘤区域，作为标签；
(105)、使用翻转、平移、裁剪方法对训练数据集进行数据增强。
3.根据权利要求1所述的方法，其特征在于，所述步骤(2)中的三维卷积神经网络，输入输出均为三维图片数据，各个层的运算均为三维运算，网络层与层之间的数据流均为五维数据；该三维卷积神经网络初始为残差模块，残差模块的输出送入金字塔池化模块，金字塔池化模块后接逐步特征增强模块得到分割掩模。
4.根据权利要求1或3任一所述的方法，其特征在于：金字塔池化模块由一个池化层、一个卷积模块和一个反卷积模块构成，其中反卷积模块由反卷积层、归一化层和Relu激活层构成。
5.根据权利要求4所述的方法，其特征在于：金字塔池化模块的数量为三个，其中，三个金字塔池化模块的池化层的核尺寸分别设置为2、4、8；三个金字塔池化模块的反卷积模块的核尺寸分别设置为2、4、8。
6.根据权利要求1所述的方法，其特征在于：对于所述步骤(2)得到训练模型，还包括进行代价函数计算来便于网络的反向传播，代价函数采用带权值的交叉熵损失函数，公式为：
Figure FDA0003214914440000021
其中
Figure FDA0003214914440000022
为softmax函数的计算，Wi为第i类的权重，交叉熵的权重由1/2反向频率中和法计算而来，即先分别统计整个数据库中无关背景、肾脏、肾肿瘤的频率，然后用中间的频率分别处理各自的频率，然后将所得到的结果的最大值和最小值均除以2。
7.一种基于三维卷积神经网络的CT造影图像肾脏肿瘤分割系统，其特征在于，包括：
数据采集单元，用于对已有的CT造影图像分割出图像中的肾脏区域，对肾脏和肿瘤进行标注，得到感兴趣区域，生成训练数据集；
模型训练单元，用于将训练数据集送入基于金字塔池化模块PPM和逐步特征增强模块GEFM的双路径三维卷积神经网络中进行训练，得到训练模型；
图像分割单元，用于将新的待分割的肾脏CT造影图像，送入已训练完毕的模型得到分割结果；
所述逐步特征增强模块由m个分支组成；对于每个分支，均被配置采用如下所述的操作步骤，每个分支之间的区别在于所使用的卷积核不同：
Figure FDA0003214914440000023
Figure FDA0003214914440000031
Figure FDA0003214914440000032
其中，finput表示由上一层得到的三维特征图即特征增强模块GEFM的输入，公式(1)表示所需要的对finput的初始操作，其中*表示卷积操作，
Figure FDA0003214914440000033
是卷积核的权重，finput经过卷积得到
Figure FDA0003214914440000034
公式(2)表示特征增强过程，其中，
Figure FDA0003214914440000035
表示卷积层的权重，g表示第g个分支；将
Figure FDA0003214914440000036
作为输入送入增强系数函数得到增强因子，所述增强系数函数由卷积和sigmoid激活函数组成；然后把增强因子与
Figure FDA0003214914440000037
相加，得到增强特征
Figure FDA0003214914440000038
相同操作重复K次，经过K次迭代得到后得到最终增强的特征图
Figure FDA0003214914440000039
公式(3)表示得到所有分支的增强特征后，将这些特征连接起来即为最后特征增强模块GEFM的输出foutput,concatenate()表示将特征连接。
8.根据权利要求7所述的系统，其特征在于，三维卷积神经网络的输入输出均为三维图片数据，各个层的运算均为三维运算，网络层与层之间的数据流均为五维数据；该三维卷积神经网络初始为残差模块，残差模块的输出送入金字塔池化模块，金字塔池化模块后接逐步特征增强模块得到分割掩模。
CN201810552230.7A 2018-05-31 2018-05-31 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统 Active CN109035197B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810552230.7A CN109035197B (zh) 2018-05-31 2018-05-31 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810552230.7A CN109035197B (zh) 2018-05-31 2018-05-31 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统

Publications (2)

Publication Number Publication Date
CN109035197A CN109035197A (zh) 2018-12-18
CN109035197B true CN109035197B (zh) 2021-09-28

Family

ID=64612073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810552230.7A Active CN109035197B (zh) 2018-05-31 2018-05-31 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统

Country Status (1)

Country Link
CN (1) CN109035197B (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020125806A1 (en) 2018-12-17 2020-06-25 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image segmentation
CN109754394B (zh) * 2018-12-28 2021-02-23 上海联影智能医疗科技有限公司 三维医学图像处理装置及方法
CN109801268B (zh) * 2018-12-28 2023-03-14 东南大学 一种基于三维卷积神经网络的ct造影图像肾动脉分割方法
CN109829918B (zh) * 2019-01-02 2022-10-11 安徽工程大学 一种基于密集特征金字塔网络的肝脏图像分割方法
CN109872325B (zh) * 2019-01-17 2022-11-15 东北大学 基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法
CN109886929B (zh) * 2019-01-24 2023-07-18 江苏大学 一种基于卷积神经网络的mri肿瘤体素检测方法
CN110047082B (zh) * 2019-03-27 2023-05-16 深圳大学 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统
CN109961446B (zh) * 2019-03-27 2021-06-01 深圳视见医疗科技有限公司 Ct/mr三维图像分割处理方法、装置、设备及介质
CN109934841A (zh) * 2019-03-27 2019-06-25 上海宽带技术及应用工程研究中心 肝部轮廓的检测方法、系统、存储介质、终端及显示系统
US11074479B2 (en) * 2019-03-28 2021-07-27 International Business Machines Corporation Learning of detection model using loss function
CN110321920B (zh) 2019-05-08 2021-10-22 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110211140B (zh) * 2019-06-14 2023-04-07 重庆大学 基于3D残差U-Net和加权损失函数的腹部血管分割方法
CN110427954A (zh) * 2019-07-26 2019-11-08 中国科学院自动化研究所 基于肿瘤影像的多区域的影像组学特征提取方法
CN110853738B (zh) * 2019-10-12 2023-08-18 拜耳股份有限公司 一种造影剂作用下的成像方法与设备
US11334995B2 (en) * 2019-11-27 2022-05-17 Shanghai United Imaging Intelligence Co., Ltd. Hierarchical systems and methods for image segmentation
CN110910408A (zh) * 2019-11-28 2020-03-24 慧影医疗科技（北京）有限公司 图像分割方法、装置、电子设备及可读存储介质
CN111047567A (zh) * 2019-12-05 2020-04-21 电子科技大学 一种肾脏肿瘤图片确定方法及相关装置
CN111797976B (zh) * 2020-06-30 2024-04-12 北京灵汐科技有限公司 神经网络的训练方法、图像识别方法、装置、设备及介质
CN112365514A (zh) * 2020-12-09 2021-02-12 辽宁科技大学 基于改进PSPNet的语义分割方法
CN112634291A (zh) * 2020-12-31 2021-04-09 杭州电子科技大学 一种基于神经网络的烧伤创面区域自动分割方法
CN112767407B (zh) * 2021-02-02 2023-07-07 南京信息工程大学 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN113012178A (zh) * 2021-05-07 2021-06-22 西安智诊智能科技有限公司 一种肾脏肿瘤图像分割方法
WO2022251633A1 (en) * 2021-05-28 2022-12-01 University Of Southern California A radiomic-based machine learing algorithm to reliably differentiate benign renal masses from renal carcinoma
CN113706469B (zh) * 2021-07-29 2024-04-05 天津中科智能识别产业技术研究院有限公司 一种基于多模型投票机制的虹膜自动分割方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392922A (zh) * 2017-07-18 2017-11-24 东南大学 基于对称性匹配滤波器组和区域生长的三维血管分割方法
CN107464250A (zh) * 2017-07-03 2017-12-12 深圳市第二人民医院 基于三维mri图像的乳腺肿瘤自动分割方法
CN107833219A (zh) * 2017-11-28 2018-03-23 腾讯科技（深圳）有限公司 图像识别方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080118136A1 (en) * 2006-11-20 2008-05-22 The General Hospital Corporation Propagating Shell for Segmenting Objects with Fuzzy Boundaries, Automatic Volume Determination and Tumor Detection Using Computer Tomography

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464250A (zh) * 2017-07-03 2017-12-12 深圳市第二人民医院 基于三维mri图像的乳腺肿瘤自动分割方法
CN107392922A (zh) * 2017-07-18 2017-11-24 东南大学 基于对称性匹配滤波器组和区域生长的三维血管分割方法
CN107833219A (zh) * 2017-11-28 2018-03-23 腾讯科技（深圳）有限公司 图像识别方法及装置

Also Published As

Publication number Publication date
CN109035197A (zh) 2018-12-18

Similar Documents

Publication Publication Date Title
CN109035197B (zh) 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统
Ibragimov et al. Combining deep learning with anatomical analysis for segmentation of the portal vein for liver SBRT planning
WO2018120644A1 (zh) 血管提取方法及系统
CN104573309B (zh) 用于计算机辅助诊断的设备和方法
CN110310287A (zh) 基于神经网络的危及器官自动勾画方法、设备和存储介质
CN109923582A (zh) 使用卷积神经网络进行图像分割的系统和方法
CN105096310B (zh) 利用多通道特征在磁共振图像中分割肝脏的方法和系统
CN111179237B (zh) 一种肝脏以及肝脏肿瘤的图像分割方法和装置
CN109801268B (zh) 一种基于三维卷积神经网络的ct造影图像肾动脉分割方法
CN109636806A (zh) 一种基于多步学习的三维核磁共振胰腺图像分割方法
CN112862833A (zh) 血管分段方法、电子装置和存储介质
CN105139377A (zh) 一种腹部ct序列图像肝脏的快速鲁棒自动分割方法
Tan et al. An approach for pulmonary vascular extraction from chest CT images
Hoang et al. An evaluation of CNN-based liver segmentation methods using multi-types of CT abdominal images from multiple medical centers
WO2012094445A1 (en) System and method for treatment planning of organ disease at the functional and anatomical levels
Iyer et al. Prospectively-validated deep learning model for segmenting swallowing and chewing structures in CT
Sun et al. Liver lesion segmentation in CT images with MK-FCN
JP2004097535A (ja) 医用３次元画像データの領域分割方法
Chlebus et al. Automatic liver and tumor segmentation in late-phase MRI using fully convolutional neural networks
WO2009040497A1 (en) Image enhancement method
Affane et al. Robust deep 3-d architectures based on vascular patterns for liver vessel segmentation
Leonardi et al. 3D reconstruction from CT-scan volume dataset application to kidney modeling
Bond et al. Simulation of anatomical texture in voxelized XCAT phantoms
CN105096332A (zh) 医学图像分割方法和装置
Son et al. Liver segmentation on a variety of computed tomography (CT) images based on convolutional neural networks combined with connected components

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant