CN109801268B - 一种基于三维卷积神经网络的ct造影图像肾动脉分割方法 - Google Patents

一种基于三维卷积神经网络的ct造影图像肾动脉分割方法 Download PDF

Info

Publication number
CN109801268B
CN109801268B CN201811620359.3A CN201811620359A CN109801268B CN 109801268 B CN109801268 B CN 109801268B CN 201811620359 A CN201811620359 A CN 201811620359A CN 109801268 B CN109801268 B CN 109801268B
Authority
CN
China
Prior art keywords
module
consciousness
flow
deep
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811620359.3A
Other languages
English (en)
Other versions
CN109801268A (zh
Inventor
杨冠羽
何宇霆
李甜甜
赵子腾
吴显政
伍家松
孔佑勇
舒华忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201811620359.3A priority Critical patent/CN109801268B/zh
Publication of CN109801268A publication Critical patent/CN109801268A/zh
Application granted granted Critical
Publication of CN109801268B publication Critical patent/CN109801268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于三维卷积神经网络的CT造影图像肾动脉分割方法，涉及图像处理技术领域，设计了一种应用于CT造影图像肾动脉分割的三维卷积网络结构，利用手工标注获得肾动脉数据集，然后将训练集送入该网络结构进行训练，得到训练模型，利用得到的训练模型对新的肾脏数据进行预测，得到肾动脉分割掩模。本发明能够获得高准确率的输出结果，能够解决肾动脉难分割的问题，通过本发明能够直接得到肾动脉分割掩模。

Description

一种基于三维卷积神经网络的CT造影图像肾动脉分割方法
技术领域
本发明涉及图像处理技术领域，特别是一种基于三维卷积神经网络的CT造影图像肾动脉分割方法。
背景技术
肾癌是人类最常见的十种癌症之一。近年来，针对临床治疗局部肾癌问题，传统的根治性肾切除术(RN)正日益取代微创腹腔镜肾部分切除术(LPN)。LPN手术可以切除肾肿瘤并保留正常肾组织。特别是，新提出的基于肾动脉阻断技术的部分切除手术可以最大程度地保护肾功能。为了进行LPN手术，一些有用的信息，如肿瘤的大小、位置、肾的解剖结构，肾动脉和输尿管等，应于术前从CT图像中获得。然而，手工勾画超过200个CT层是一项费时费力的工作。因此，自动或半自动的分割方法对于提高手术的效率和准确性是必不可少的。
目前在CT或MR图像中进行肾动脉分割的工作比较少。东南大学研究生丁皓提出了一种在CTA图像上对肾动脉增强后，使用动态调参的方式进行区域生长的方法，成功实现了肾动脉分割。但是从图像增强到动脉分割整个过程需要巨大的计算量，花费大量的时间，算法整体效率过低。
图1为CT图像肾脏ROI区域的几个例子，其中，图1中的(a)为第一个动脉相位CT图像示例图，图1中的(b)为第二个动脉相位CT图像示例图，图1中的(c)为第三个动脉相位CT图像示例图，图1中的(d)为第四个动脉相位CT图像示例图。如图1所示，肾动脉连接主动脉，从肾门处生长进入肾脏，可以发现，肾动脉主干部分较为清楚明亮，进入肾门后，肾动脉分支尤其是肾动脉末端过于细小，难以清晰准确地分辨。因此精确地自动分割这些图像中的肾动脉仍然是一项具有挑战性的任务。近年来，二维的深度神经网络在医学图像和自然图像中有一些成功的应用。然而，在这些二维网络中使用的二维卷积内核将限制空间的特征提取能力。例如，如图1所示，肾动脉分支和末端过于细小，而不同病人的肾动脉生长形态也具有很大差异。仅仅根据这些二维图像中的信息很难将其与背景分开；现有存在肾动脉分割难，分割效果差的问题。
发明内容
本发明所要解决的技术问题是克服现有技术的不足而提供一种基于三维卷积神经网络的CT造影图像肾动脉分割方法，本发明基于设计的卷积神经网络结构，能够分割肾动脉区域，提高了肾动脉末端的分割效果。
本发明为解决上述技术问题采用以下技术方案：
根据本发明提出的一种基于三维卷积神经网络的CT造影图像肾动脉分割方法，包括以下步骤：
步骤(P1)、对已有的CT造影图像分割出图像中的肾脏区域，对肾动脉进行标注，得到感兴趣区域，生成训练数据集；
步骤(P2)、将训练数据集送入三维卷积神经网络中进行训练，得到训练模型；
三维卷积神经网络包括五个部分，分别为输入模块、现实情况流、浅层意识流、深层意识流和输出模块；
输入模块，用于将原始图像I直接输入至现实情况流和深层意识流，并将输入至现实情况流的原始图像重命名为现实情况流图像RI，输入至深层意识流的原始图像重命名为深层意识流图像DI；
现实情况流，用于对RI连续进行池化操作，获得不同尺寸的RI，并将不同尺寸的RI分别输出至浅层意识流；
浅层意识流，用于多次提取浅层特征图并将其输出至深层意识流；
深层意识流，用于获得多次记忆的深层特征图并将其输出至浅层意识流，并将最后一次获得的深层特征图输入至输出模块；输出模块对其进行卷积操作，并激活，获得肾动脉的分割掩模；
步骤(P3)、对于新的待分割的肾脏CT造影图像，送入已训练完毕的步骤(P2)的训练模型得到肾动脉分割掩模。
作为本发明所述的一种基于三维卷积神经网络的CT造影图像肾动脉分割方法进一步优化方案，步骤(P1)具体包括以下步骤：
(P101)、将CT造影图像与专家库中的M个模板图像分别进行图像配准，获得形变参数；
(P102)、利用步骤(P101)获得的形变参数，将M个模板图像上的肾脏的专家分割结果形变后都映射到CT造影图像上；
(P103)、将步骤(P102)所得到的映射后的CT造影图像上的M个肾脏形变结果分别各自合并，获得CT造影图像肾脏的初步分割结果图像；
(P104)、在步骤(P103)获得的肾脏初步分割结果图像上人工标注肾动脉区域，获得肾动脉标签图像，并和初步分割结果图像一起组成训练数据集。
作为本发明所述的一种基于三维卷积神经网络的CT造影图像肾动脉分割方法进一步优化方案，(P104)之后包括(P105)，(P105)：使用翻转、旋转、裁剪方法对步骤(P104)获得的训练数据集进行数据增强。
作为本发明所述的一种基于三维卷积神经网络的CT造影图像肾动脉分割方法进一步优化方案，步骤(P2)中的三维卷积神经网络包括五个部分，分别为输入模块、现实情况流、浅层意识流、深层意识流和输出模块，其中浅层意识流由七个格物模块、三个步长为2的池化模块和三个步长为2的反卷积模块组成，七个格物模块包括第一至第七个格物模块，三个池化模块包括浅层意识流中的第一至第三个池化模块，三个反卷积模块包括浅层意识流中的第一至第三个反卷积模块；深层意识流由七个加法模块、三个步长为2的池化模块和三个步长为2的反卷积模块组成，七个加法模块包括深层意识流中的第一至第七个加法模块，三个池化模块包括深层意识流中的第一至第三个池化模块，三个反卷积模块包括深层意识流中的第一至第三个池化模块；其中，
输入模块，用于将原始图像I分为现实情况流图像RI和深层意识流图像DI，RI输入至现实情况流，DI输入至深层意识流；现实情况流用于对RI连续进行三次步长为2的池化操作，获得四种不同尺寸的RI，并将RI按照倍数排列为
Figure GDA0003941121520000031
的顺序分别输出至浅层意识流中的七个格物模块；浅层意识流中，RI输入至第一个格物模块，得到第一次提取的浅层特征图SF1，将SF1输出至深层意识流中第一个加法模块和浅层意识流中第一个池化模块，深层意识流中第一个加法模块将SF1与DI相加，获得第一次记忆的深层特征图DF1并跨层传输至第七个格物模块的输入端和深层意识流中第一个池化模块，同时深层意识流中第一个池化模块对DF1进行步长为2的池化操作获得
Figure GDA0003941121520000032
输入至第二个格物模块和深层意识流中第二个加法模块，而浅层意识流中第一个池化模块对SF1进行步长为2的池化操作后获得
Figure GDA0003941121520000033
输入至第二个格物模块，
Figure GDA0003941121520000034
输入至第二个格物模块；同样的，第二个格物模块通过处理
Figure GDA0003941121520000035
和
Figure GDA0003941121520000036
得到第二次提取的浅层特征图
Figure GDA0003941121520000037
将
Figure GDA0003941121520000038
输出至深层意识流中第二个加法模块和浅层意识流中第二个池化模块，深层意识流中第二个加法模块将
Figure GDA0003941121520000039
与
Figure GDA00039411215200000310
相加，得到第二次记忆的深层特征图
Figure GDA00039411215200000311
并跨层传输至第六个格物模块的输入端和深层意识流中第二个池化模块，同时深层意识流中第二个池化模块对
Figure GDA00039411215200000312
进行步长为2的池化操作获得
Figure GDA00039411215200000313
输入至第三个格物模块，而浅层意识流中第二个池化模块对
Figure GDA00039411215200000314
进行步长为2的池化操作后获得
Figure GDA00039411215200000315
输入至第三个格物模块；
Figure GDA00039411215200000316
输入至第三个格物模块；同样的，第三个格物模块通过处理
Figure GDA00039411215200000317
和
Figure GDA00039411215200000318
得到第三次提取的浅层特征图
Figure GDA00039411215200000319
将
Figure GDA00039411215200000320
输出至深层意识流中第三个加法模块和浅层意识流中第三个池化模块，深层意识流中第三个加法模块将
Figure GDA0003941121520000041
与
Figure GDA0003941121520000042
相加，得到第三次记忆的深层特征图
Figure GDA0003941121520000043
并跨层传输至第五个格物模块的输入端和深层意识流中第三个池化模块，同时深层意识流中第三个池化模块对
Figure GDA0003941121520000044
进行步长为2的池化操作获得
Figure GDA0003941121520000045
输入至第四个格物模块和深层意识流中第四个加法模块，而浅层意识流中第三个池化模块对
Figure GDA0003941121520000046
进行步长为2的池化操作后获得
Figure GDA0003941121520000047
输入至第四个格物模块，
Figure GDA0003941121520000048
输入至第四个格物模块；同样的，第四个格物模块通过处理
Figure GDA0003941121520000049
和
Figure GDA00039411215200000410
得到第四次提取的浅层特征图
Figure GDA00039411215200000411
将
Figure GDA00039411215200000412
输出至深层意识流中第四个加法模块和浅层意识流中第一个反卷积模块，深层意识流中第四个加法模块将
Figure GDA00039411215200000413
与
Figure GDA00039411215200000414
相加，得到第四次记忆的深层特征图
Figure GDA00039411215200000415
并输入至深层意识流中第一个反卷积模块，同时深层意识流中第一个反卷积模块对
Figure GDA00039411215200000416
进行步长为2的反卷积操作获得
Figure GDA00039411215200000417
输入至第五个格物模块和深层意识流第五个加法模块，而浅层意识流中第一个反卷积模块对
Figure GDA00039411215200000418
进行步长为2的反卷积操作后获得
Figure GDA00039411215200000419
输入至第五个格物模块，
Figure GDA00039411215200000420
输入至第五个格物模块；同样的，第五个格物模块通过处理
Figure GDA00039411215200000421
和
Figure GDA00039411215200000422
得到第五次提取的浅层特征图
Figure GDA00039411215200000423
将
Figure GDA00039411215200000424
输出至深层意识流中第五个加法模块和浅层意识流中第二个反卷积模块，深层意识流中第五个加法模块将
Figure GDA00039411215200000425
与
Figure GDA00039411215200000426
相加，得到第五次记忆的深层特征图
Figure GDA00039411215200000427
并输入至深层意识流中第二个反卷积模块，同时深层意识流中第二个反卷积模块对
Figure GDA00039411215200000428
进行步长为2的反卷积操作获得
Figure GDA00039411215200000429
输入至第六个格物模块和深层意识流中第六个加法模块，而浅层意识流中第二个反卷积模块对
Figure GDA00039411215200000430
进行步长为2的反卷积操作后获得
Figure GDA00039411215200000431
输入至第六个格物模块，
Figure GDA00039411215200000432
输入至第六个格物模块；同样的，第六个格物模块通过处理
Figure GDA00039411215200000433
和
Figure GDA00039411215200000434
得到第六次提取的浅层特征图
Figure GDA00039411215200000435
将
Figure GDA00039411215200000436
输出至深层意识流中第六个加法模块和浅层意识流中第三个反卷积模块，深层意识流中第六个加法模块将
Figure GDA00039411215200000437
与
Figure GDA00039411215200000438
相加，得到第六次记忆的深层特征图
Figure GDA00039411215200000439
并将其输入至深层意识流中第三个反卷积模块，同时深层意识流中第三个反卷积模块对
Figure GDA00039411215200000440
进行步长为2的反卷积操作获得DF6输入至第七个格物模块和深层意识流第七个加法模块，而浅层意识流中第三个反卷积模块对
Figure GDA0003941121520000051
进行步长为2的反卷积操作后获得SF6输入至第七个格物模块，RI输入至第七个格物模块；同样的，第七个格物模块通过处理SF6、RI、DF6和DF1得到第七次提取的浅层特征图SF7，将SF7输出至深层意识流中第七个加法模块，深层意识流中第七个加法模块将SF7与DF6相加，得到第七次记忆的深层特征图DF7，将DF7输入至输出模块；输出模块对DF7进行卷积操作，并使用softmax函数激活，获得肾动脉的分割掩模。
作为本发明所述的一种基于三维卷积神经网络的CT造影图像肾动脉分割方法进一步优化方案，步骤(P2)中的三维卷积神经网络，输入输出均为三维图片数据，各个层的运算均为三维运算，网络中的层与层之间的数据流均为五维数据。
作为本发明所述的一种基于三维卷积神经网络的CT造影图像肾动脉分割方法进一步优化方案，格物模块依次由卷积层、组标准化层、激活层、卷积层、组标准化层、激活层和卷积层构成；激活层所使用的激活函数为线性整流函数ReLU，卷积层中，每层所使用的卷积核尺寸分别设置为3、3、1，组标准化层中每4个特征图为一组，计算均值和方差，对组内特征图进行标准化。
作为本发明所述的一种基于三维卷积神经网络的CT造影图像肾动脉分割方法进一步优化方案，对于步骤(P2)，为了得到的训练模型，在训练过程中进行代价函数计算来便于网络的反向传播，代价函数采用交叉熵损失函数和DICE系数损失函数的加权求和，公式为：
Figure GDA0003941121520000052
其中，L为代价函数值，i表示每个通道对应的体素，N表示每个通道的体素数量，c表示输出图像的类别通道，C表示总共的类别通道数量，yi,c表示通道c中图像标注体素i的值，
Figure GDA0003941121520000053
表示通道c中网络输出的体素i的值，λ为骰子系数损失在损失中所占的比重。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
本发明使用卷积神经网络的特征提取能力，能够分割肾动脉区域，提高了肾动脉末端的分割效果。
附图说明
图1为动脉相位CT图像的示例图；其中，(a)为第一个动脉相位CT图像示例图，(b)为第二个动脉相位CT图像示例图，(c)为第三个动脉相位CT图像示例图，(d)为第四个动脉相位CT图像示例图。
图2为格物网络设计范式设计的网络结构图。
图3为3维的肾脏CT造影图像。
图4为剔除无关背景后三维肾动脉。
图5a和图5c为肾脏体数据中的一个切片，图5b和图5d为其肾动脉区域的标签。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。
本发明首先定义了格物网络设计范式，根据“格物致知”哲学思想将神经网络认知过程抽象为三层数据流结构，结合输入输出两个模块，定义了端到端训练的神经网络的设计方法。根据图2所绘制的格物网络设计模块，包括以下内容：
内容(1)、现实情况流描述任务对象现实情况的变化，表示对数据的观察；
内容(2)、浅层意识流描述网络对数据的特征提取，表示对数据的思考；
内容(3)、深层意识流描述高级特征的融合，表示对数据的记忆与修正；
内容(4)、输入模块初始化现实情况流、浅层意识流和深层意识流；
内容(5)、输出模块融合深层意识流中的高级特征数据，根据不同任务输出相应结果。
设计现实情况流时需考虑任务性质，根据数据集性质不同，选择合适的方案：
(11)、在序列任务中，现实情况流描述了序列数据在序列中的变化情况。序列中每一个单位的数据经由此层依次输入浅层意识流；
(12)、在非序列任务中，现实情况流将单一数据转化为近似序列数据，将同一数据多次输入浅层意识流；
(13)、内容(12)中单一数据可使用尺度变换、旋转、平移等数据增强方式，根据任务需求近似序列数据。
在设计浅层意识流时需根据任务性质设计或选择不同的格物模块，并选择该层的数据传递方式：
(21)、在序列任务中，浅层意识流使用相同网络训练参数的格物模块，对序列中不同数据进行特征提取；
(22)、在非序列任务中，浅层意识流针对同一数据的不同输入使用不同训练参数的格物模块，对数据进行特征提取；
(23)、浅层意识流输入可来自于现实情况流、浅层意识流、深层意识流或三者的任意组合；
(24)、格物模块由多层神经网络层构成，用于对输入数据进行特征提取，根据数据特点，如物体尺度变化、上下文变化、特征分布复杂程度等，设计合适的模块。
在设计深层意识流时，需选择合适的特征融合方式，如直接相加、连结后卷积融合、或者使用LSTM模块等；输入模块对网络进行初始化，针对网络不同的层采用不同的初始化方案：
(41)、对于现实情况流，输入模块可根据任务特性对现实情况流中数据进行初步特征提取、数据增强；
(42)、对于浅层意识流，若格物模块需要输入深层意识流数据或浅层意识流数据，输入模块负责在初始时刻初始化该深层意识流和浅层意识流数据；
(43)、对于深层意识流，输入模块负责初始化深层意识流中的数据。
设计输出模块时，根据任务具体输出要求，设计相应的网络模块结构，将深层意识流中特征输入该模块获得任务要求的输出，如图像分类任务可将深层意识流特征输入全连接层，获得分类个数的输出。
整体网络设计结构需满足以下过程：初始时刻，输入模块初始化深层意识流数据和浅层意识流数据；一个序列或近似序列数据存在于现实情况流中，从现实情况流中依次取出一个单位数据输入浅层意识流；在浅层意识流中使用格物模块依次结合深层意识流数据和浅层意识流数据对输入的单位数据进行进一步特征提取，获取单位高级特征数据，接着依次输入深层意识流；在深层意识流中依次融合输入的单位高级特征数据，通过不断修正高级特征获得准确的特征数据；将深层意识流中特征数据输入输出模块，输出满足任务要求的数据形式。
接着基于格物网络设计范式设计三维全卷积神经网络，并训练标注好的肾脏CT造影图像数据集，然后利用得到的模型对新的肾脏数据进行分割。具体包括顺序执行的以下步骤：
步骤(1)、对已有的CT造影图像分割出图像中的肾脏区域，对肾动脉进行标注，得到感兴趣区域，生成训练数据集；
步骤(2)、将训练数据集送入基于格物网络设计范式设计的三维卷积神经网络中进行训练，得到训练模型；
步骤(3)、对于新的待分割的肾脏CT造影图像，送入已训练完毕的模型得到分割结果。
考虑到原始的肾脏CT造影图像肾脏所占体积小，不利于分割，而且不同病人的CT造影图像中肾动脉生长模式存在一定差异，本发明从分割肾动脉区域所涉及到的肾脏及周边部分区域入手，得到粗略的感兴趣区域，然后利用基于格物网络设计范式设计的三维卷积神经网络获得精确结果。本发明采用基于多模板(Multi-atlas)图像配准的分割算法，分割CT造影图像中肾脏周边部分区域。基于多模板图像配准的分割算法，主要是利用专家库中的图像即模板图像与待分割的图像进行图像配准，然后利用配准获得的空间形变参数，将模板图像上由专家标记好的肾脏区域映射到待分割图像上，从而获得待分割图像中相应区域的分割结果。因此所述步骤(1)具体包括以下步骤：
步骤(11)、将CT造影图像与专家库中的M个模板图像分别进行图像配准，获得形变参数；这里M的范围没有明确规定，根据经验，可选择M为6～10较佳，在此范围内工作量适中且分割的精度满足要求；
步骤(12)、利用步骤(11)获得的形变参数，将M个模板图像上的肾脏的专家分割结果形变后都映射到CT造影图像上；
步骤(13)、将步骤(12)所得到的映射后的CT造影图像上的M个肾脏形变结果分别各自合并，获得CT造影图肾脏的初步分割结果。
步骤(14)、人工标注肾动脉区域，作为标签；
步骤(15)、使用翻转、平移、裁剪等方法对训练集进行数据增强。
初步分割得到的肾脏感兴趣区域需要对其进一步分割。本发明使用了基于格物网络设计范式设计的全卷积神经网络。针对三维数据，相邻的层面数据之间具有相关性，为了充分利用这种空间信息，进一步提升分割精度，网络结构中所有的卷积操作均采用三维操作。本方法所使用的卷积网络输入输出均为三维体数据，网络层与层之间的数据流均为五维数据。
三维卷积神经网络包括五个部分，分别为输入模块、现实情况流、浅层意识流、深层意识流和输出模块，其中浅层意识流由七个格物模块、三个步长为2的池化模块和三个步长为2的反卷积模块组成，七个格物模块包括第一至第七个格物模块，三个池化模块包括浅层意识流中的第一至第三个池化模块，三个反卷积模块包括浅层意识流中的第一至第三个反卷积模块；深层意识流由七个加法模块、三个步长为2的池化模块和三个步长为2的反卷积模块组成，七个加法模块包括深层意识流中的第一至第七个加法模块，三个池化模块包括深层意识流中的第一至第三个池化模块，三个反卷积模块包括深层意识流中的第一至第三个池化模块；其中，
输入模块，用于将原始图像I分为现实情况流图像RI和深层意识流图像DI，RI输入至现实情况流，DI输入至深层意识流；现实情况流用于对RI连续进行三次步长为2的池化操作，获得四种不同尺寸的RI，并将RI按照倍数排列为
Figure GDA0003941121520000091
的顺序分别输出至浅层意识流中的七个格物模块；浅层意识流中，RI输入至第一个格物模块，得到第一次提取的浅层特征图SF1，将SF1输出至深层意识流中第一个加法模块和浅层意识流中第一个池化模块，深层意识流中第一个加法模块将SF1与DI相加，获得第一次记忆的深层特征图DF1并跨层传输至第七个格物模块的输入端和深层意识流中第一个池化模块，同时深层意识流中第一个池化模块对DF1进行步长为2的池化操作获得
Figure GDA0003941121520000092
输入至第二个格物模块和深层意识流中第二个加法模块，而浅层意识流中第一个池化模块对SF1进行步长为2的池化操作后获得
Figure GDA0003941121520000093
输入至第二个格物模块，
Figure GDA0003941121520000094
输入至第二个格物模块；同样的，第二个格物模块通过处理
Figure GDA0003941121520000095
和
Figure GDA0003941121520000096
得到第二次提取的浅层特征图
Figure GDA0003941121520000097
将
Figure GDA0003941121520000098
输出至深层意识流中第二个加法模块和浅层意识流中第二个池化模块，深层意识流中第二个加法模块将
Figure GDA0003941121520000099
与
Figure GDA00039411215200000910
相加，得到第二次记忆的深层特征图
Figure GDA00039411215200000911
并跨层传输至第六个格物模块的输入端和深层意识流中第二个池化模块，同时深层意识流中第二个池化模块对
Figure GDA00039411215200000912
进行步长为2的池化操作获得
Figure GDA00039411215200000913
输入至第三个格物模块，而浅层意识流中第二个池化模块对
Figure GDA00039411215200000914
进行步长为2的池化操作后获得
Figure GDA00039411215200000915
输入至第三个格物模块；
Figure GDA00039411215200000916
输入至第三个格物模块；同样的，第三个格物模块通过处理
Figure GDA00039411215200000917
和
Figure GDA00039411215200000918
得到第三次提取的浅层特征图
Figure GDA00039411215200000919
将
Figure GDA00039411215200000920
输出至深层意识流中第三个加法模块和浅层意识流中第三个池化模块，深层意识流中第三个加法模块将
Figure GDA00039411215200000921
与
Figure GDA00039411215200000922
相加，得到第三次记忆的深层特征图
Figure GDA00039411215200000923
并跨层传输至第五个格物模块的输入端和深层意识流中第三个池化模块，同时深层意识流中第三个池化模块对
Figure GDA00039411215200000924
进行步长为2的池化操作获得
Figure GDA00039411215200000925
输入至第四个格物模块和深层意识流中第四个加法模块，而浅层意识流中第三个池化模块对
Figure GDA00039411215200000926
进行步长为2的池化操作后获得
Figure GDA00039411215200000927
输入至第四个格物模块，
Figure GDA00039411215200000928
输入至第四个格物模块；同样的，第四个格物模块通过处理
Figure GDA00039411215200000929
和
Figure GDA00039411215200000930
得到第四次提取的浅层特征图
Figure GDA00039411215200000931
将
Figure GDA00039411215200000932
输出至深层意识流中第四个加法模块和浅层意识流中第一个反卷积模块，深层意识流中第四个加法模块将
Figure GDA00039411215200000933
与
Figure GDA00039411215200000934
相加，得到第四次记忆的深层特征图
Figure GDA00039411215200000935
并输入至深层意识流中第一个反卷积模块，同时深层意识流中第一个反卷积模块对
Figure GDA0003941121520000101
进行步长为2的反卷积操作获得
Figure GDA0003941121520000102
输入至第五个格物模块和深层意识流第五个加法模块，而浅层意识流中第一个反卷积模块对
Figure GDA0003941121520000103
进行步长为2的反卷积操作后获得
Figure GDA0003941121520000104
输入至第五个格物模块，
Figure GDA0003941121520000105
输入至第五个格物模块；同样的，第五个格物模块通过处理
Figure GDA0003941121520000106
和
Figure GDA0003941121520000107
得到第五次提取的浅层特征图
Figure GDA0003941121520000108
将
Figure GDA0003941121520000109
输出至深层意识流中第五个加法模块和浅层意识流中第二个反卷积模块，深层意识流中第五个加法模块将
Figure GDA00039411215200001010
与
Figure GDA00039411215200001011
相加，得到第五次记忆的深层特征图
Figure GDA00039411215200001012
并输入至深层意识流中第二个反卷积模块，同时深层意识流中第二个反卷积模块对
Figure GDA00039411215200001013
进行步长为2的反卷积操作获得
Figure GDA00039411215200001014
输入至第六个格物模块和深层意识流中第六个加法模块，而浅层意识流中第二个反卷积模块对
Figure GDA00039411215200001015
进行步长为2的反卷积操作后获得
Figure GDA00039411215200001016
输入至第六个格物模块，
Figure GDA00039411215200001017
输入至第六个格物模块；同样的，第六个格物模块通过处理
Figure GDA00039411215200001018
和
Figure GDA00039411215200001019
得到第六次提取的浅层特征图
Figure GDA00039411215200001020
将
Figure GDA00039411215200001021
输出至深层意识流中第六个加法模块和浅层意识流中第三个反卷积模块，深层意识流中第六个加法模块将
Figure GDA00039411215200001022
与
Figure GDA00039411215200001023
相加，得到第六次记忆的深层特征图
Figure GDA00039411215200001024
并将其输入至深层意识流中第三个反卷积模块，同时深层意识流中第三个反卷积模块对
Figure GDA00039411215200001025
进行步长为2的反卷积操作获得DF6输入至第七个格物模块和深层意识流第七个加法模块，而浅层意识流中第三个反卷积模块对
Figure GDA00039411215200001026
进行步长为2的反卷积操作后获得SF6输入至第七个格物模块，RI输入至第七个格物模块；同样的，第七个格物模块通过处理SF6、RI、DF6和DF1得到第七次提取的浅层特征图SF7，将SF7输出至深层意识流中第七个加法模块，深层意识流中第七个加法模块将SF7与DF6相加，得到第七次记忆的深层特征图DF7，将DF7输入至输出模块；输出模块对DF7进行卷积操作，并使用softmax函数激活，获得肾动脉的分割掩模。
所述步骤(2)设计的网络，将输入数据多次池化获得不同尺度数据序列以近似序列数据，多次输入格物模块提取特征，同时将提取的特征融合，最终输入输出模块，获得分割掩模。
现实情况流中，将输入数据进行三次池化，后按照缩小倍数排列为{1、2、4、8、4、2、1}的序列，近似为序列数据，依次输入浅层意识流。
浅层意识流中前四个格物模块输入包括现实情况流输入数据、上一格物模块输出数据和深层意识流数据。而后三个格物模块输入包括现实情况流输入数据、上一格物模块输出数据、深层意识流数据和深层意识流中对应前三次格物的数据。
由于CT图像作为三维图像，训练时需要占用较大的显存，受到显存的限制，训练时每次输入batch大小为1，若使用批标准化(batch normalization)方法，由于一个样本的均值和方差不具有统计意义，因此网络训练会不稳定，且性能下降。因此格物模块中使用组标准化(group normalization)方法代替批标准化，以确保网络训练稳定，性能较高。格物模块由Conv-GN-ReLU-Conv-GN-ReLU-Conv构成，三个卷积层卷积核大小分别为3、3、1。
步骤(2)将训练集送入基于格物网络设计范式设计的三维卷积神经网络中进行训练，此时需要对网络输出结果进行代价函数计算来便于网络的反向传播。本发明使用的代价函数模块，采用交叉熵损失函数和骰子系数损失函数的加权求和，公式为：
Figure GDA0003941121520000111
其中，L为代价函数值，i表示每个通道对应的体素，N表示每个通道的体素数量，c表示输出图像的类别通道，C表示总共的类别通道数量，yi,c表示通道c中图像标注体素i的值，
Figure GDA0003941121520000112
表示通道c中网络输出的体素i的值，λ为骰子系数损失在损失中所占的比重。
其中λ为骰子系数损失在损失中所占的比重。
步骤(2)得到的训练好的网络模型，输入新的肾脏图像(未标注)。输出的肾动脉分割结果，包含两个数值，0代表背景区域，1代表肾动脉区域。
本发明还提出了一种基于三维卷积神经网络的CT造影图像的处理系统(比如一种基于三维卷积神经网络的CT造影图像肾动脉分割系统)，该系统包括处理器和存储器模块；其中，处理器用于将运行结果存储在存储器模块中，处理器包括三维卷积神经网络单元，三维卷积神经网络包括五个部分，分别为输入模块、现实情况流、浅层意识流、深层意识流和输出模块；
输入模块，用于将原始图像I直接输入至现实情况流和深层意识流，并将输入至现实情况流的原始图像重命名为现实情况流图像RI，输入至深层意识流的原始图像重命名为深层意识流图像DI；
现实情况流，用于对RI连续进行池化操作，获得不同尺寸的RI，并将不同尺寸的RI分别输出至浅层意识流；
浅层意识流，用于多次提取浅层特征图并将其输出至深层意识流；
深层意识流，用于获得多次记忆的深层特征图并将其输出至浅层意识流，并将最后一次获得的深层特征图输入至输出模块；输出模块对其进行卷积操作，并激活，获得最终图像处理结果；最终图像处理结果可为肾动脉的分割掩模。
其中浅层意识流由七个格物模块、三个步长为2的池化模块和三个步长为2的反卷积模块组成，七个格物模块包括第一至第七个格物模块，三个池化模块包括浅层意识流中的第一至第三个池化模块，三个反卷积模块包括浅层意识流中的第一至第三个反卷积模块；深层意识流由七个加法模块、三个步长为2的池化模块和三个步长为2的反卷积模块组成，七个加法模块包括深层意识流中的第一至第七个加法模块，三个池化模块包括深层意识流中的第一至第三个池化模块，三个反卷积模块包括深层意识流中的第一至第三个池化模块；其中，
输入模块，用于将原始图像I分为现实情况流图像RI和深层意识流图像DI，RI输入至现实情况流，DI输入至深层意识流；现实情况流用于对RI连续进行三次步长为2的池化操作，获得四种不同尺寸的RI，并将RI按照倍数排列为
Figure GDA0003941121520000121
的顺序分别输出至浅层意识流中的七个格物模块；浅层意识流中，RI输入至第一个格物模块，得到第一次提取的浅层特征图SF1，将SF1输出至深层意识流中第一个加法模块和浅层意识流中第一个池化模块，深层意识流中第一个加法模块将SF1与DI相加，获得第一次记忆的深层特征图DF1并跨层传输至第七个格物模块的输入端和深层意识流中第一个池化模块，同时深层意识流中第一个池化模块对DF1进行步长为2的池化操作获得
Figure GDA0003941121520000122
输入至第二个格物模块和深层意识流中第二个加法模块，而浅层意识流中第一个池化模块对SF1进行步长为2的池化操作后获得
Figure GDA0003941121520000123
输入至第二个格物模块，
Figure GDA0003941121520000124
输入至第二个格物模块；同样的，第二个格物模块通过处理
Figure GDA0003941121520000125
和
Figure GDA0003941121520000126
得到第二次提取的浅层特征图
Figure GDA0003941121520000127
将
Figure GDA0003941121520000128
输出至深层意识流中第二个加法模块和浅层意识流中第二个池化模块，深层意识流中第二个加法模块将
Figure GDA0003941121520000129
与
Figure GDA00039411215200001210
相加，得到第二次记忆的深层特征图
Figure GDA00039411215200001211
并跨层传输至第六个格物模块的输入端和深层意识流中第二个池化模块，同时深层意识流中第二个池化模块对
Figure GDA00039411215200001212
进行步长为2的池化操作获得
Figure GDA00039411215200001213
输入至第三个格物模块，而浅层意识流中第二个池化模块对
Figure GDA00039411215200001214
进行步长为2的池化操作后获得
Figure GDA00039411215200001215
输入至第三个格物模块；
Figure GDA00039411215200001216
输入至第三个格物模块；同样的，第三个格物模块通过处理
Figure GDA0003941121520000131
和
Figure GDA0003941121520000132
得到第三次提取的浅层特征图
Figure GDA0003941121520000133
将
Figure GDA0003941121520000134
输出至深层意识流中第三个加法模块和浅层意识流中第三个池化模块，深层意识流中第三个加法模块将
Figure GDA0003941121520000135
与
Figure GDA0003941121520000136
相加，得到第三次记忆的深层特征图
Figure GDA0003941121520000137
并跨层传输至第五个格物模块的输入端和深层意识流中第三个池化模块，同时深层意识流中第三个池化模块对
Figure GDA0003941121520000138
进行步长为2的池化操作获得
Figure GDA0003941121520000139
输入至第四个格物模块和深层意识流中第四个加法模块，而浅层意识流中第三个池化模块对
Figure GDA00039411215200001310
进行步长为2的池化操作后获得
Figure GDA00039411215200001311
输入至第四个格物模块，
Figure GDA00039411215200001312
输入至第四个格物模块；同样的，第四个格物模块通过处理
Figure GDA00039411215200001313
和
Figure GDA00039411215200001314
得到第四次提取的浅层特征图
Figure GDA00039411215200001315
将
Figure GDA00039411215200001316
输出至深层意识流中第四个加法模块和浅层意识流中第一个反卷积模块，深层意识流中第四个加法模块将
Figure GDA00039411215200001317
与
Figure GDA00039411215200001318
相加，得到第四次记忆的深层特征图
Figure GDA00039411215200001319
并输入至深层意识流中第一个反卷积模块，同时深层意识流中第一个反卷积模块对
Figure GDA00039411215200001320
进行步长为2的反卷积操作获得
Figure GDA00039411215200001321
输入至第五个格物模块和深层意识流第五个加法模块，而浅层意识流中第一个反卷积模块对
Figure GDA00039411215200001322
进行步长为2的反卷积操作后获得
Figure GDA00039411215200001323
输入至第五个格物模块，
Figure GDA00039411215200001324
输入至第五个格物模块；同样的，第五个格物模块通过处理
Figure GDA00039411215200001325
和
Figure GDA00039411215200001326
得到第五次提取的浅层特征图
Figure GDA00039411215200001327
将
Figure GDA00039411215200001328
输出至深层意识流中第五个加法模块和浅层意识流中第二个反卷积模块，深层意识流中第五个加法模块将
Figure GDA00039411215200001329
与
Figure GDA00039411215200001330
相加，得到第五次记忆的深层特征图
Figure GDA00039411215200001331
并输入至深层意识流中第二个反卷积模块，同时深层意识流中第二个反卷积模块对
Figure GDA00039411215200001332
进行步长为2的反卷积操作获得
Figure GDA00039411215200001333
输入至第六个格物模块和深层意识流中第六个加法模块，而浅层意识流中第二个反卷积模块对
Figure GDA00039411215200001334
进行步长为2的反卷积操作后获得
Figure GDA00039411215200001335
输入至第六个格物模块，
Figure GDA00039411215200001336
输入至第六个格物模块；同样的，第六个格物模块通过处理
Figure GDA00039411215200001337
和
Figure GDA00039411215200001338
得到第六次提取的浅层特征图
Figure GDA00039411215200001339
将
Figure GDA00039411215200001340
输出至深层意识流中第六个加法模块和浅层意识流中第三个反卷积模块，深层意识流中第六个加法模块将
Figure GDA00039411215200001341
与
Figure GDA00039411215200001342
相加，得到第六次记忆的深层特征图
Figure GDA00039411215200001343
并将其输入至深层意识流中第三个反卷积模块，同时深层意识流中第三个反卷积模块对
Figure GDA0003941121520000141
进行步长为2的反卷积操作获得DF6输入至第七个格物模块和深层意识流第七个加法模块，而浅层意识流中第三个反卷积模块对
Figure GDA0003941121520000142
进行步长为2的反卷积操作后获得SF6输入至第七个格物模块，RI输入至第七个格物模块；同样的，第七个格物模块通过处理SF6、RI、DF6和DF1得到第七次提取的浅层特征图SF7，将SF7输出至深层意识流中第七个加法模块，深层意识流中第七个加法模块将SF7与DF6相加，得到第七次记忆的深层特征图DF7，将DF7输入至输出模块；输出模块对DF7进行卷积操作，并使用softmax函数激活，获得最终图像处理结果；最终图像处理结果可为肾动脉的分割掩模。
实施例：基于全卷积网络的三维深度神经网络提出混合连续的二维CT切片或MR图像中连续的纹理信息。实验结果表明，三维神经网络通常在不同器官的分割任务中比二维卷积神经网络有更好的性能，如肝肿瘤、脑肿瘤、腰椎，激光共聚焦显微镜图像，等等。在介绍了本发明的具体步骤和模型之后，下面展示该发明在数据集上的测试结果。
实验使用了与江苏省人民医院放射科合作得到的CT造影图像，初始为14个病人数据，大小为512×512×200，因为原始病人的CT图像中，无关背景区域占据了大量体积，在此对数据进行了一些预处理。图3为3维的肾脏CT造影图像。
(a)采用G.Yang等人发表论文中的多模板分割方式粗糙分割出肾脏区域，生成200×150×150大小的体数据，如图4所示为剔除无关背景后三维肾动脉，图5a和图5c为肾脏体数据中的一个切片，图5b和图5d为其肾动脉区域的标签。
(b)对数据进行数据扩充，比如从x，y和z三个方向分别进行翻转和-10°到10°旋转，最终数据扩充了16倍。
(c)对数据进行零-均值规范化处理。
本发明基于格物网络设计范式设计的三维全卷积神经网络结构如图2所示。实验针对分割结果使用骰子系数和表面距离作为评判标准，针对分类结果使用准确率作为评判标准。假设输入三维体数据大小为M×N×N，设步长为Stepsize，分成
Figure GDA0003941121520000143
个K×N×N大小的子数据，每个子数据作为一个输入数据进行分割。步长为Stepsize，分成
Figure GDA0003941121520000144
个K×N×N大小的子数据，其中Stepsize≤K，每隔Stepsize层取K层数据作为一个子数据，最后融合得到的
Figure GDA0003941121520000145
个分割结果，其中子数据的分割结果之间重叠的层通过投票的方法得到结果。分类结果使用留一法作为测试。
本发明选择了与生物医学图像分割中前流行的3DU-Net网络进行对比。
表1展示了两种方法下分割肾动脉的DICE系数和像素级别的平均表面距离。
由表格可以看出，本发明的方法相比3DU-Net方法，DICE系数更大，提高了1.9％，表面距离更小，减小了0.125，可见利用格物网络设计范式设计的网络应用于CT造影图像肾动脉分割能够拥有很好的性能。
表1不同方法下分割结果的量化评估
Figure GDA0003941121520000151
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。

Claims (6)

1.一种基于三维卷积神经网络的CT造影图像肾动脉分割方法，其特征在于，包括以下步骤：
步骤(P1)、对已有的CT造影图像分割出图像中的肾脏区域，对肾动脉进行标注，得到感兴趣区域，生成训练数据集；
步骤(P2)、将训练数据集送入三维卷积神经网络中进行训练，得到训练模型；
三维卷积神经网络包括五个部分，分别为输入模块、现实情况流、浅层意识流、深层意识流和输出模块；
输入模块，用于将原始图像I直接输入至现实情况流和深层意识流，并将输入至现实情况流的原始图像重命名为现实情况流图像RI，输入至深层意识流的原始图像重命名为深层意识流图像DI；
现实情况流，用于对RI连续进行池化操作，获得不同尺寸的RI，并将不同尺寸的RI分别输出至浅层意识流；
浅层意识流，用于多次提取浅层特征图并将其输出至深层意识流；
深层意识流，用于获得多次记忆的深层特征图并将其输出至浅层意识流，并将最后一次获得的深层特征图输入至输出模块；输出模块对其进行卷积操作，并激活，获得肾动脉的分割掩模；
步骤(P3)、对于新的待分割的肾脏CT造影图像，送入已训练完毕的步骤(P2)的训练模型得到肾动脉分割掩模；
步骤(P2)中的三维卷积神经网络包括五个部分，分别为输入模块、现实情况流、浅层意识流、深层意识流和输出模块，其中浅层意识流由七个格物模块、三个步长为2的池化模块和三个步长为2的反卷积模块组成，七个格物模块包括第一至第七个格物模块，三个池化模块包括浅层意识流中的第一至第三个池化模块，三个反卷积模块包括浅层意识流中的第一至第三个反卷积模块；深层意识流由七个加法模块、三个步长为2的池化模块和三个步长为2的反卷积模块组成，七个加法模块包括深层意识流中的第一至第七个加法模块，三个池化模块包括深层意识流中的第一至第三个池化模块，三个反卷积模块包括深层意识流中的第一至第三个池化模块；其中，
输入模块，用于将原始图像I分为现实情况流图像RI和深层意识流图像DI，RI输入至现实情况流，DI输入至深层意识流；现实情况流用于对RI连续进行三次步长为2的池化操作，获得四种不同尺寸的RI，并将RI按照倍数排列为
Figure FDA0003941121510000011
的顺序分别输出至浅层意识流中的七个格物模块；浅层意识流中，RI输入至第一个格物模块，得到第一次提取的浅层特征图SF1，将SF1输出至深层意识流中第一个加法模块和浅层意识流中第一个池化模块，深层意识流中第一个加法模块将SF1与DI相加，获得第一次记忆的深层特征图DF1并跨层传输至第七个格物模块的输入端和深层意识流中第一个池化模块，同时深层意识流中第一个池化模块对DF1进行步长为2的池化操作获得
Figure FDA0003941121510000021
输入至第二个格物模块和深层意识流中第二个加法模块，而浅层意识流中第一个池化模块对SF1进行步长为2的池化操作后获得
Figure FDA0003941121510000022
输入至第二个格物模块，
Figure FDA0003941121510000023
输入至第二个格物模块；同样的，第二个格物模块通过处理
Figure FDA0003941121510000024
和
Figure FDA0003941121510000025
得到第二次提取的浅层特征图
Figure FDA0003941121510000026
将
Figure FDA0003941121510000027
输出至深层意识流中第二个加法模块和浅层意识流中第二个池化模块，深层意识流中第二个加法模块将
Figure FDA0003941121510000028
与
Figure FDA0003941121510000029
相加，得到第二次记忆的深层特征图
Figure FDA00039411215100000210
并跨层传输至第六个格物模块的输入端和深层意识流中第二个池化模块，同时深层意识流中第二个池化模块对
Figure FDA00039411215100000211
进行步长为2的池化操作获得
Figure FDA00039411215100000212
输入至第三个格物模块，而浅层意识流中第二个池化模块对
Figure FDA00039411215100000213
进行步长为2的池化操作后获得
Figure FDA00039411215100000214
输入至第三个格物模块；
Figure FDA00039411215100000215
输入至第三个格物模块；同样的，第三个格物模块通过处理
Figure FDA00039411215100000216
和
Figure FDA00039411215100000217
得到第三次提取的浅层特征图
Figure FDA00039411215100000218
将
Figure FDA00039411215100000219
输出至深层意识流中第三个加法模块和浅层意识流中第三个池化模块，深层意识流中第三个加法模块将
Figure FDA00039411215100000220
与
Figure FDA00039411215100000221
相加，得到第三次记忆的深层特征图
Figure FDA00039411215100000222
并跨层传输至第五个格物模块的输入端和深层意识流中第三个池化模块，同时深层意识流中第三个池化模块对
Figure FDA00039411215100000223
进行步长为2的池化操作获得
Figure FDA00039411215100000224
输入至第四个格物模块和深层意识流中第四个加法模块，而浅层意识流中第三个池化模块对
Figure FDA00039411215100000225
进行步长为2的池化操作后获得
Figure FDA00039411215100000226
输入至第四个格物模块，
Figure FDA00039411215100000227
输入至第四个格物模块；同样的，第四个格物模块通过处理
Figure FDA00039411215100000228
和
Figure FDA00039411215100000229
得到第四次提取的浅层特征图
Figure FDA00039411215100000230
将
Figure FDA00039411215100000231
输出至深层意识流中第四个加法模块和浅层意识流中第一个反卷积模块，深层意识流中第四个加法模块将
Figure FDA00039411215100000232
与
Figure FDA00039411215100000233
相加，得到第四次记忆的深层特征图
Figure FDA00039411215100000234
并输入至深层意识流中第一个反卷积模块，同时深层意识流中第一个反卷积模块对
Figure FDA0003941121510000031
进行步长为2的反卷积操作获得
Figure FDA0003941121510000032
输入至第五个格物模块和深层意识流第五个加法模块，而浅层意识流中第一个反卷积模块对
Figure FDA0003941121510000033
进行步长为2的反卷积操作后获得
Figure FDA0003941121510000034
输入至第五个格物模块，
Figure FDA0003941121510000035
输入至第五个格物模块；同样的，第五个格物模块通过处理
Figure FDA0003941121510000036
和
Figure FDA0003941121510000037
得到第五次提取的浅层特征图
Figure FDA0003941121510000038
将
Figure FDA0003941121510000039
输出至深层意识流中第五个加法模块和浅层意识流中第二个反卷积模块，深层意识流中第五个加法模块将
Figure FDA00039411215100000310
与
Figure FDA00039411215100000311
相加，得到第五次记忆的深层特征图
Figure FDA00039411215100000312
并输入至深层意识流中第二个反卷积模块，同时深层意识流中第二个反卷积模块对
Figure FDA00039411215100000313
进行步长为2的反卷积操作获得
Figure FDA00039411215100000314
输入至第六个格物模块和深层意识流中第六个加法模块，而浅层意识流中第二个反卷积模块对
Figure FDA00039411215100000315
进行步长为2的反卷积操作后获得
Figure FDA00039411215100000316
输入至第六个格物模块，
Figure FDA00039411215100000317
输入至第六个格物模块；同样的，第六个格物模块通过处理
Figure FDA00039411215100000318
和
Figure FDA00039411215100000319
得到第六次提取的浅层特征图
Figure FDA00039411215100000320
将
Figure FDA00039411215100000321
输出至深层意识流中第六个加法模块和浅层意识流中第三个反卷积模块，深层意识流中第六个加法模块将
Figure FDA00039411215100000322
与
Figure FDA00039411215100000323
相加，得到第六次记忆的深层特征图
Figure FDA00039411215100000324
并将其输入至深层意识流中第三个反卷积模块，同时深层意识流中第三个反卷积模块对
Figure FDA00039411215100000325
进行步长为2的反卷积操作获得DF6输入至第七个格物模块和深层意识流第七个加法模块，而浅层意识流中第三个反卷积模块对
Figure FDA00039411215100000326
进行步长为2的反卷积操作后获得SF6输入至第七个格物模块，RI输入至第七个格物模块；同样的，第七个格物模块通过处理SF6、RI、DF6和DF1得到第七次提取的浅层特征图SF7，将SF7输出至深层意识流中第七个加法模块，深层意识流中第七个加法模块将SF7与DF6相加，得到第七次记忆的深层特征图DF7，将DF7输入至输出模块；输出模块对DF7进行卷积操作，并使用softmax函数激活，获得肾动脉的分割掩模。
2.根据权利要求1所述的一种基于三维卷积神经网络的CT造影图像肾动脉分割方法，其特征在于，步骤(P1)具体包括以下步骤：
(P101)、将CT造影图像与专家库中的M个模板图像分别进行图像配准，获得形变参数；
(P102)、利用步骤(P101)获得的形变参数，将M个模板图像上的肾脏的专家分割结果形变后都映射到CT造影图像上；
(P103)、将步骤(P102)所得到的映射后的CT造影图像上的M个肾脏形变结果分别各自合并，获得CT造影图像肾脏的初步分割结果图像；
(P104)、在步骤(P103)获得的肾脏初步分割结果图像上人工标注肾动脉区域，获得肾动脉标签图像，并和初步分割结果图像一起组成训练数据集。
3.根据权利要求2所述的一种基于三维卷积神经网络的CT造影图像肾动脉分割方法，其特征在于，(P104)之后包括(P105)，(P105)：使用翻转、旋转、裁剪方法对步骤(P104)获得的训练数据集进行数据增强。
4.根据权利要求1所述的一种基于三维卷积神经网络的CT造影图像肾动脉分割方法，其特征在于，步骤(P2)中的三维卷积神经网络，输入输出均为三维图片数据，各个层的运算均为三维运算，网络中的层与层之间的数据流均为五维数据。
5.根据权利要求1所述的一种基于三维卷积神经网络的CT造影图像肾动脉分割方法，其特征在于，格物模块依次由卷积层、组标准化层、激活层、卷积层、组标准化层、激活层和卷积层构成；激活层所使用的激活函数为线性整流函数ReLU，卷积层中，每层所使用的卷积核尺寸分别设置为3、3、1，组标准化层中每4个特征图为一组，计算均值和方差，对组内特征图进行标准化。
6.根据权利要求1所述的一种基于三维卷积神经网络的CT造影图像肾动脉分割方法，其特征在于，对于步骤(P2)，为了得到的训练模型，在训练过程中进行代价函数计算来便于网络的反向传播，代价函数采用交叉熵损失函数和DICE系数损失函数的加权求和，公式为：
Figure FDA0003941121510000041
其中，L为代价函数值，i表示每个通道对应的体素，N表示每个通道的体素数量，c表示输出图像的类别通道，C表示总共的类别通道数量，yi,c表示通道c中图像标注体素i的值，
Figure FDA0003941121510000042
表示通道c中网络输出的体素i的值，λ为骰子系数损失在损失中所占的比重。
CN201811620359.3A 2018-12-28 2018-12-28 一种基于三维卷积神经网络的ct造影图像肾动脉分割方法 Active CN109801268B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811620359.3A CN109801268B (zh) 2018-12-28 2018-12-28 一种基于三维卷积神经网络的ct造影图像肾动脉分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811620359.3A CN109801268B (zh) 2018-12-28 2018-12-28 一种基于三维卷积神经网络的ct造影图像肾动脉分割方法

Publications (2)

Publication Number Publication Date
CN109801268A CN109801268A (zh) 2019-05-24
CN109801268B true CN109801268B (zh) 2023-03-14

Family

ID=66557814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811620359.3A Active CN109801268B (zh) 2018-12-28 2018-12-28 一种基于三维卷积神经网络的ct造影图像肾动脉分割方法

Country Status (1)

Country Link
CN (1) CN109801268B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428427B (zh) * 2019-07-16 2023-05-12 东南大学 基于密集偏置网络和自编码器的半监督肾动脉分割方法
CN110348420B (zh) * 2019-07-18 2022-03-18 腾讯科技（深圳）有限公司 手语识别方法、装置、计算机可读存储介质和计算机设备
CN110473196B (zh) * 2019-08-14 2021-06-04 中南大学 一种基于深度学习的腹部ct图像目标器官配准方法
CN111223128A (zh) * 2020-01-17 2020-06-02 深圳大学 目标跟踪方法、装置、设备及存储介质
CN112529915B (zh) * 2020-12-17 2022-11-01 山东大学 一种脑肿瘤图像分割方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
CN109035197A (zh) * 2018-05-31 2018-12-18 东南大学 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统
CN109063824A (zh) * 2018-07-25 2018-12-21 深圳市中悦科技有限公司 深层三维卷积神经网络的创建方法、装置、存储介质及处理器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260957A1 (en) * 2017-03-08 2018-09-13 Siemens Healthcare Gmbh Automatic Liver Segmentation Using Adversarial Image-to-Image Network
CN109035197A (zh) * 2018-05-31 2018-12-18 东南大学 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统
CN109063824A (zh) * 2018-07-25 2018-12-21 深圳市中悦科技有限公司 深层三维卷积神经网络的创建方法、装置、存储介质及处理器

Also Published As

Publication number Publication date
CN109801268A (zh) 2019-05-24

Similar Documents

Publication Publication Date Title
CN109801268B (zh) 一种基于三维卷积神经网络的ct造影图像肾动脉分割方法
CN109035197B (zh) 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统
CN109035255B (zh) 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法
CN112489047B (zh) 一种基于深度学习的盆骨及其动脉血管的多层级分割方法
US9495794B2 (en) Three-dimensional image display apparatus, method, and program
US7529396B2 (en) Method, computer program product, and apparatus for designating region of interest
CN110599500B (zh) 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统
CN109584244B (zh) 一种基于序列学习的海马体分割方法
CN112991365B (zh) 一种冠状动脉分割方法、系统及存储介质
CN112541893B (zh) 一种三维断层扫描图像中树状结构分叉关键点的检测方法
CN104573309A (zh) 用于计算机辅助诊断的设备和方法
CN112258488A (zh) 一种医疗影像病灶分割方法
Fan et al. Lung nodule detection based on 3D convolutional neural networks
CN116503607B (zh) 一种基于深度学习的ct图像分割方法和系统
Debarba et al. Efficient liver surgery planning in 3D based on functional segment classification and volumetric information
CN112734755A (zh) 基于3d全卷积神经网络与多任务学习的肺叶分割方法
CN113506308A (zh) 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法
CN110782427A (zh) 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法
CN113160120A (zh) 基于多模态融合与深度学习的肝脏血管分割方法及系统
CN111724389B (zh) 髋关节ct图像分割方法、装置、存储介质和计算机设备
JP2009045286A (ja) 医用画像処理装置、医用画像診断装置、及びプログラム
CN114723893A (zh) 一种基于医疗影像的器官组织空间关系渲染方法及系统
CN114340496A (zh) 基于vrds ai医学影像的心脏冠脉的分析方法和相关装置
CN114365188A (zh) 基于vrds ai下腔静脉影像的分析方法及产品
CN116958705A (zh) 基于图神经网络的医学影像归类系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant