CN111179237A - 一种肝脏以及肝脏肿瘤的图像分割方法和装置 - Google Patents
一种肝脏以及肝脏肿瘤的图像分割方法和装置 Download PDFInfo
- Publication number
- CN111179237A CN111179237A CN201911342328.0A CN201911342328A CN111179237A CN 111179237 A CN111179237 A CN 111179237A CN 201911342328 A CN201911342328 A CN 201911342328A CN 111179237 A CN111179237 A CN 111179237A
- Authority
- CN
- China
- Prior art keywords
- liver
- model
- convolution
- segmentation
- tumor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004185 liver Anatomy 0.000 title claims abstract description 84
- 208000014018 liver neoplasm Diseases 0.000 title claims abstract description 74
- 206010019695 Hepatic neoplasm Diseases 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003709 image segmentation Methods 0.000 title claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 58
- 230000003187 abdominal effect Effects 0.000 claims abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 206010028980 Neoplasm Diseases 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 23
- 229910052739 hydrogen Inorganic materials 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 8
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000006467 substitution reaction Methods 0.000 claims description 6
- 239000011800 void material Substances 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 201000007270 liver cancer Diseases 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000034994 death Effects 0.000 description 2
- 231100000517 death Toxicity 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000005228 liver tissue Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000000496 pancreas Anatomy 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000005489 elastic deformation Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 206010061289 metastatic neoplasm Diseases 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000010882 preoperative diagnosis Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
一种肝脏以及肝脏肿瘤的图像分割方法及装置，其能够有效针对不同模态下的肝脏以及肝脏肿瘤进行准确分割。方法包括：(1)获取腹部磁共振影像；(2)使用肝脏模型确定感兴趣区域，肝脏模型为Dial3DResUNet，其结合长短程跳跃连接结构以及混合空洞卷积，充分捕获图像全局结构信息从而进行精准的肝脏分割；(3)使用肝脏肿瘤模型进行精细分割以减少假阳性，肝脏肿瘤模型为H3DNet，其由Hybrid‑3D卷积组成，在有效提取肝脏肿瘤三维特征的同时大幅度减少模型参数量，并降低模型优化难度以及过拟合风险。
Description
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种肝脏以及肝脏肿瘤的图像分割方法，还涉及一种肝脏以及肝脏肿瘤的图像分割装置。
背景技术
肝癌是全球患病率第六高、致死率第二高的癌症。2012年，在全球范围内造成782,000例死亡，在2015年造成810,500例死亡。肝脏肿瘤分割是肝癌术前诊断、手术方案制定及术后疗效评估的重要步骤。然而，手动分割肝脏以及肝脏肿瘤，费时费力，且需要医生大量经验积累。因此，全自动的肝脏以及肝脏肿瘤分割对于辅助医生的日常工作是十分必要的。
然而肝脏以及肿瘤的自动分割是十分具有挑战性。肝脏与周边组织对比度较低，且不同病人间的肝脏外形差异较大。相较于肝脏，肝脏肿瘤的分割难度更大。首先肝脏肿瘤的形状、大小、数量以及出现位置均不固定，其次肿瘤灰度轮廓不清晰，难以辨识。
为了解决这些难题，许多分割算法被提出。阈值分割，区域增长等算法因其速度快，实现简单，被广泛应用于医学图像分割领域。主动轮廓模型，例如水平集算法，因其良好的数值计算性质，同样被研究人员所广泛关注。许多基于机器学习的算法同样被大量提出。Kadoury等人提出一种基于判别性格拉斯曼流形的无监督转移性肝脏肿瘤分割算法；Zhou等人提出一种基于传播学习的半自动CT图像肝脏肿瘤算法；Huang等人提出仅用健康的肝脏组织训练一个极限学习机，将肝脏肿瘤分割问题转化为异常检测问题。
纵观以上提到的算法，虽然在分割精度上取得了一定的进展，但是大多数算法依赖手工特征，因此特征表达能力有限。近些年来，卷积神经网络的一种变体--全卷积神经网络，自从被提出以来，因其强大的层次特征表达能力，已被广泛应用于计算机视觉领域，例如语义分割、目标探测等。研究人员提出三类方法，可将全卷积神经网络应用于三维医学影像。
1)2DFCN：这类方法将三维体数据看成二维切片的集合。在训练网络模型时，通常选取体数据一张或相邻多张切片作为输入，然后输出中心切片的分割结果。Chlebus等人提出使用一个U形网络来逐切片的分割肝脏肿瘤，然后使用随机森林分类器来降低假阳性。Vorontsov等人提出了一种端到端训练的级联网络分割肝脏肿瘤。然而2DFCN忽略了体数据切片之间的上下文特征，因此无法充分利用数据中隐藏的空间结构信息。
2)2DFCN+RNN：这类方法在2DFCN的顶部引入循环神经网络来加强模型对体数据三维空间结构信息的利用。Cai等人提出一种CNN+CLSTM的网络来分割胰腺。Chen等人提出使用U-Net来提取相邻多张切片的二维特征信息，然后将这些2D特征图序列输入到BDC-LSTM中得到分割结果。然而2DFCN+RNN的结构将循环神经网络置于卷积网络的末端，此时输入到RNN中的已经是相对高阶的特征序列了，难以捕捉细小变换，因此对肝脏肿瘤这类细小物体的识别可能并不适合。
3)3DFCN：这类方法可以直接处理三维数据。Oktay等人提出了Attention U-Net对胰腺进行分割，Yu等人提出了DenseVoxNet对心脏以及血管结构进行分割。3DFCN虽然充分利用了体数据的空间结构信息，但其参数量多，计算量大，直接应用于肝脏肿瘤分割这类目标体素数据量极小的任务，可能会导致模型出现过拟合等问题。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种肝脏以及肝脏肿瘤的图像分割方法，其能够有效针对不同模态下的肝脏以及肝脏肿瘤进行准确分割。
本发明的技术方案是：这种肝脏以及肝脏肿瘤的图像分割方法，其包括以下步骤：
(1)获取腹部磁共振影像；
(2)使用肝脏模型确定感兴趣区域，肝脏模型为空洞三维残差U形神经网络Dial3DResUNet，其结合长短程跳跃连接结构以及混合空洞卷积，充分捕获图像全局结构信息从而进行精准的肝脏分割；
(3)使用肝脏肿瘤模型进行精细分割以减少假阳性，肝脏肿瘤模型为混合三维卷积神经网络H3DNet，其由混合三维Hybrid-3D卷积组成，在有效提取肝脏肿瘤三维特征的同时大幅度减少模型参数量，并降低模型优化难度以及过拟合风险。
本发明通过使用肝脏模型确定感兴趣区域，使用肝脏肿瘤模型进行精细分割以减少假阳性，从而能够有效针对不同模态下的肝脏以及肝脏肿瘤进行准确分割。
还提供了一种肝脏以及肝脏肿瘤的图像分割装置，其包括：
图像获取模块，其配置来获取腹部磁共振影像；
肝脏图像分割模块，其配置来使用肝脏模型确定感兴趣区域，肝脏模型为Dial3DResUNet，其结合长短程跳跃连接结构以及混合空洞卷积，充分捕获图像全局结构信息从而进行精准的肝脏分割；
肝脏肿瘤图像分割模块，其配置来使用肝脏肿瘤模型进行精细分割以减少假阳性，肝脏肿瘤模型为H3DNet，其由Hybrid-3D卷积组成，在有效提取肝脏肿瘤三维特征的同时大幅度减少模型参数量，并降低模型优化难度以及过拟合风险。
附图说明
图1是根据本发明的肝脏以及肝脏肿瘤的图像分割方法的算法模型示意图，肝脏分割模型为图1上、肝脏肿瘤分割模型为图1下。
图2是3D卷积与H3D卷积模块的示意图，3D卷积为图2左，H3D为图2右。
图3是3D卷积与Hybrid-3D卷积模块的结构图。3D卷积模块为图3左、Hybrid-3D模块为图3右。
图4是根据本发明的肝脏以及肝脏肿瘤的图像分割方法的流程图。
具体实施方式
如图4所示，这种肝脏以及肝脏肿瘤的图像分割方法，其包括以下步骤：
(1)获取腹部磁共振影像；
(2)使用肝脏模型确定感兴趣区域，肝脏模型为Dial3DResUNet(空洞三维残差U形神经网络)，其结合长短程跳跃连接结构以及混合空洞卷积，充分捕获图像全局结构信息从而进行精准的肝脏分割；
(3)使用肝脏肿瘤模型进行精细分割以减少假阳性，肝脏肿瘤模型为H3DNet(混合三维卷积神经网络)，其由Hybrid-3D(混合三维)卷积组成，在有效提取肝脏肿瘤三维特征的同时大幅度减少模型参数量，并降低模型优化难度以及过拟合风险。
本发明通过使用肝脏模型确定感兴趣区域，使用肝脏肿瘤模型进行精细分割以减少假阳性，从而能够有效针对不同模态下的肝脏以及肝脏肿瘤进行准确分割。
优选地，所述步骤(2)中，肝脏模型仅用三个降采样层，此时基础模型(基础模型为3DResUNet，既三维残差U形神经网络)在编码器末端的感受野大小为90*90*90；为了在模型编码器的深层部分提取到图像不同位置之间的长程依赖关系，加入空洞卷积。
优选地，所述空洞卷积为混合空洞卷积：将基础模型编码器部分的第二个降采样层后连续的三个卷积层的空洞率分别设置为1、2、4，将第三个降采样层后连续的三个卷积层空洞率分别设置为3、4、5；将加入空洞卷积后的模型称为Dial3DResUNet，其在编码器末端感受野提升至266*266*266。
优选地，所述步骤(2)中，对于模型解码器部分，在每个stage末端引入辅助损失，形成深度监督机制。
优选地，所述步骤(3)中，具体包括以下步骤：
(a)在训练样本采样规则上，根据肿瘤金标准，找到每一个肿瘤的三维包围盒，并在三个维度上均向外扩张一定的比例，在训练采样时，仅在这些膨胀过的三维立方体内随机的采出固定大小的block进行训练；
(b)从卷积模块上，提出Hybrird-3D卷积，其将一层3D卷积解耦为两层，分别为intra-slice卷积和inter-slice卷积，前者负责提取输入张量中XY方向上的特征，后者负责对Z轴方向上的特征进行融合。
优选地，所述步骤(3)中，
一个3D卷积层表示为Conv(I,O,D,H,W)，一个Hybrid-3D模块表示为Conv(I,M,1,H,W)+Conv(M,O,D,1,1)，其中I代表输入特征图通道数量，M代表中间层特征图的通道数量，O代表输出层特征图的通道数量，D、H、W分别表征Z、X、Y三个正交维度上使用的卷积核大小；在D、H、W都设为3的情况下，3D卷积总参数量为27*I*O，Hybrid-3D的总参数量为9I*M+3M*O；超参数M控制Hybrid-3D整体参数量，将其设定为与输入通道数相同，因此Hybrid-3D模块仅有3D卷积44％的参数量；
保留基础模型中的第一个和最后一个stage以及其余每一个stage中的第一个卷积层不变，并将其余的3D卷积全部替换为Hybrid-3D卷积，称替换后的模型为H3DNet；模型参数量替换前为8.4M，替换后为5.0M。
优选地，所述步骤(3)之后还包括根据公式(1)进行模型训练，
其中N为输入张量中的体素总数；pred为肿瘤概率图；target为金标准；∈为防止除零错的常数项，设定为1e-5；
为了进一步防止过拟合，在两个网络模型中除去第一个和最后一个之外的每一个stage末端加入了dropout层，其中随机丢弃比例统一设置为0.3；对于激活函数，使用PReLU，并将斜率始化为0.25；使用He初始化对模型权重进行初始化。
优选地，模型训练之后根据公式(2)进行评价，
其中N为测试集样本数量，n为体数据体素数量，pred为预测结果，target为金标准。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种肝脏以及肝脏肿瘤的图像分割装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
图像获取模块，其配置来获取腹部磁共振影像；
肝脏图像分割模块，其配置来使用肝脏模型确定感兴趣区域，肝脏模型为Dial3DResUNet，其结合长短程跳跃连接结构以及混合空洞卷积，充分捕获图像全局结构信息从而进行精准的肝脏分割；
肝脏肿瘤图像分割模块，其配置来使用肝脏肿瘤模型进行精细分割以减少假阳性，肝脏肿瘤模型为H3DNet(混合三维卷积神经网络)，其由Hybrid-3D(混合三维)卷积组成，在有效提取肝脏肿瘤三维特征的同时大幅度减少模型参数量，并降低模型优化难度以及过拟合风险。
以下更详细地说明本发明。
图1为本发明的网络模型示意图。3DResUNet结合了ResNet的short-range连接以及UNet的long-range连接，在反向传播过程中缓解了梯度消失并且有效的结合了不同尺度下的语义信息。基于该模型，针对肝脏以及肝脏肿瘤分割，分别提出了Dial3DResUNet和H3DNet。
肝脏是人体腹部中体积最大的器官，对其分割需要充分结合全局结构信息，因此模型感受野大小至关重要。模型中的下采样层数量越多，末端感受野越大，但细节信息的丢失也越多，因此仅用三个降采样层。此时基础模型在编码器末端的感受野大小为90*90*90。为了在模型编码器的深层部分提取到图像不同位置之间的长程依赖关系，加入了空洞卷积。由于连续的空洞卷积会带来棋盘格效应。因此，使用混合空洞卷积。具体而言，将基础模型编码器部分的第三个stage中连续的三个卷积层的空洞率分别设置为1、2、4，将第四个stage中的三个卷积层空洞率设置为3、4、5。将加入空洞卷积后的模型称为Dial3DResUNet，其在编码器末端感受野提升至266*266*266。对于模型解码器部分，在每个stage末端引入了辅助损失形成了深度监督机制。
即使在肝脏内部，前景、背景体素之间的比例依然严重失衡，这是十分不利于模型训练的。并且肿瘤体素数量较小，模型容易过拟合。为此，从训练样本采样规则和卷积模块的角度出发分别来解决上述问题。
首先在训练样本采样规则上。根据肿瘤金标准，找到每一个肿瘤的三维包围盒，并在三个维度上均向外扩张一定的比例，在训练采样时，仅在这些膨胀过的三维立方体内随机的采出固定大小的block进行训练。这样就保证了每个训练样本中均包含肿瘤体素，并且平衡了前景、背景体素的比例。即便在大幅度减少负样本数量后，在后续测试阶段中假阳性率依然较低，证明已经提供了数量充足的负训练样本。
其次从卷积模块上。3D卷积虽然可以利用体数据的空间结构信息，但其参数量多，计算量大，对于肝脏肿瘤这类目标体素数量很少的分割任务容易造成过拟合。为此提出Hybrird-3D卷积，其将一层3D卷积解耦为两层，既分别为intra-slice卷积和inter-slice卷积，前者负责提取输入张量中XY方向上的特征，后者负责对Z轴方向上的特征进行融合。示意图如图2所示。
一个3D卷积层可以表示为Conv(I,O,D,H,W)，一个Hybrid-3D模块可以表示为Conv(I,M,1,H,W)+Conv(M,O,D,1,1)，其中I代表输入特征图通道数量，M代表中间层特征图的通道数量，O代表输出层特征图的通道数量，D、H、W分别表征Z、X、Y三个正交维度上使用的卷积核大小。在D、H、W都设为3的情况下，3D卷积总参数量为27*I*O，Hybrid-3D的总参数量为9I*M+3M*O。超参数M可以控制Hybrid-3D整体参数量，在实验中，将其设定为与输入通道数相同，因此Hybrid-3D模块仅有3D卷积44％的参数量。在有效提取三维特征的同时大幅简化模型，降低过拟合风险且易于模型优化。
保留基础模型中的第一个和最后一个stage以及其余每一个stage中的第一个卷积层不变，并将其余的3D卷积全部替换为Hybrid-3D卷积。称替换后的模型为H3DNet。模型参数量替换前为8.4M，替换后为5.0M。FCN+RNN的方式虽然同样是解耦学习intra-slice特征与inter-slice特征，但其仅在模型末端对两种特征进行结合，然而提出的H3DNet在模型不同深度不断地对两种特征进行解耦与聚合，因此是一种更加合理三维特征提取方式。
为了提高信息在模型中的流动效率，效仿ResNet，将Hybrid-3D卷积设计为残差块的形式，示意图如图3所示。
综上所述，相比于3D卷积，本发明的Hybrid-3D卷积有三点优势：
1：非线性层数的增加加强了网络的非线性拟合能力。
2：Hybrid-3D卷积将三维特征进行解耦，使得模型易于优化。
3：模型参数量的减少降低了小样本分割任务的过拟合风险。
Dice loss更适用于小肿瘤分割，对于体积较大的肿瘤，二值交叉熵损失函数由于其梯度形式简单，训练过程会更加稳定。因此本发明共同使用两者组成的混合损失对模型进行训练，其定义如下。
其中N为输入张量中的体素总数，pred为肿瘤概率图；target为金标准；∈为防止除零错的常数项，在实验中设定为1e-5。
为了进一步防止过拟合，在两个网络模型中除去第一个和最后一个之外的每一个stage末端加入了dropout层，其中随机丢弃比例统一设置为0.3。对于激活函数，使用PReLU，并将斜率始化为0.25。使用He初始化对模型权重进行初始化。
首先在人民解放军总医院提供的65例肝癌患者的腹部静脉期磁共振影像上使用五折交叉验证的方式进行消融实验来验证本文提出的Dial3DResUNet以及H3DNet。其次，为了进一步检验算法鲁棒性，在LiTS公开数据集下和近期分割方法进行对比。LiTS数据集包含了来自世界各地医院提供的131例增强CT以及相对应的肝脏和肝脏肿瘤标注。3DIRCADb数据集为LiTS数据集的子集，数据标号28-47，共20例数据。在去除3DIRCADb数据后的111例数据上训练本发明的模型，并使用3DIRCADb数据集的20例数据进行肝脏模型的测试，使用其中15例包含肿瘤的数据进行肿瘤模型的测试。
使用dice、dice global、voe和rmsd作为分割评价指标。对于肝脏肿瘤分割，为了去除肿瘤体积差异对dice系数产生较大波动的影响，dice global系数被提出，其定义如下：
其中N为测试集样本数量，n为体数据体素数量，pred为预测结果，target为金标准。
首先对体数据进行灰度截断，然后使用Z-score归一化。对于磁共振数据，截断窗口选定为[100:700]，对于LiTS数据集，窗口选定为[-200:200]。
模型训练期间：
对于肝脏模型，首先仅保留包含肝脏以及肝脏上下的20张切片作为训练样本，以此去除无关组织器官的干扰，然后将体数据横断面分辨率降采样到256*256，最后在Z轴方向随机选取连续的48张切片作为输入。对于肿瘤模型，考虑到医学数据Z轴上的spacing通常比XY方向上大，因此为了让输入的表征基本均质，最终的输入大小选取为24*48*48。
训练过程中没有使用数据增强，因为在实验中观察到例如随机旋转、弹性形变等数据增强方法反而会导致分割精度的下降。使用AdamW作为优化器，weight decay设定为1e-5，学习率设定为1e-4。
模型测试期间：
对于肝脏模型。将体数据在横断面上的分辨率下采样到256*256，然后在Z轴方向上以24为步长，截取大小为48*256*256的block送入模型进行预测，然后将不同block的预测结果在Z轴方向进行拼接，并使用最近邻插值将拼接后的结果还原到原始体数据大小。而后对其进行形态学开操作，断开细小连接，然后提取最大连通域，最后进行空洞填充得到完整的肝脏结构。
对于肿瘤模型。在上一步预测出的肝脏区域内，以滑动窗口的形式，截取24*48*48的block送入肿瘤模型进行预测，步长设置为6*12*12。为了降低假阳性率，如果一个肿瘤联通区域的体素数量小于一定阈值就移除整个区域，阈值的选取来自于训练样本中最小的肿瘤体积。最后，将肝脏模型预测结果之外的肿瘤预测结果移除得到最终结果。
不论是肝脏还是肿瘤分割，在模型预测时，取样步长小于输入大小，同一个体素会被多次预测，因此在结果拼接时，如果一个体素被预测了N次，那么该位置上的置信度总和一定要高于threshold*N才能被认为属于分割目标。对于肝脏，发现最佳阈值为0.8，对于肿瘤，最佳阈值为0.5。
利用65例临床数据对Dial3DResUNet以及H3DNet进行消融实验，以此验证算法的有效性。
肝脏模型：
表1为3DResUNet和Dial3DResUNet的肝脏分割指标对比。可以看到，得益于编码器部分的混合空洞卷积带来感受野的提升，Dial3DResUNet在各项指标上均领先于3DResUNet。可以明显的看到Dial3DResUNet欠分割率和过分割率均少于3DResUNet。
表1
肿瘤模型：
对比了基于同类型的3DFCN、2DFCN、2DFCN+RNN模型来验证H3DNet。本发明的基础模型3DResUNet就是3DFCN，且由于VNet与3DResUNet结构相似，因此也被纳入比较范围。对于2DFCN选用2DResUNet，将3DResUNet中的全部三维卷积替换为二维卷积后就得到了2DResUNet，为了提高特征提取能力，将2D模型中每一个卷积层的输出通道数量都乘上一个倍增系数，实验中设定其为1.5。在2DResUNet的顶部加入BDC-LSTM模块形成2DFCN+RNN的结构。表2为H3DNet与另外四种分割网络的分割指标对比。
表2
根据表2可以看到纯2D网络的效果表现最差，2DResUNet-BDC-LSTM和3DResUNet由于更好的利用了Z轴方向的空间结构信息，因此效果比2D网络好，并且两者效果接近。VNet由于其参数量巨大，难以优化，所以效果相对于2D网络提升较小。得益于Hybird-3D卷积，H3DNet使用了最少的参数取到了最高的精度。
在LiTS数据集下对比了近期基于深度学习的肝脏及肝脏肿瘤分割算法。表3展示了不同算法的分割精度，可以看到提出方法在肝脏以及肝脏肿瘤分割的dice及diceglobal系数上均取得了不错的表现。值得注意的是Jiang等人提出的算法在肝脏分割的dice global系数比本发明稍高，但他们使用了肝脏定位和分割两个模型，而本发明仅用了单一分割模型。本发明对于不同位置，不同数量，不同体积大小的肿瘤均能取得较好的分割结果。
表3
本发明提出了一种基于改进的3DResUNet的级联全卷积神经网络算法框架应用于肝脏以及肝脏肿瘤分割。称肝脏分割模型为Dial3DResUNet，其可充分感知肝脏全局结构信息，从而进行精准分割；称肿瘤分割模型为H3DNet，其大部分由Hybird-3D卷积组成。Hybird-3D卷积将三维特征解耦为intra-slice特征与inter-slice特征，大幅度减少模型参数量的同时，降低了过拟合风险，并使得模型易于优化。在人民解放军总医院提供的腹部磁共振影像上以及LiTS公开数据集下进行算法验证，实验结果表明本文提出的分割算法相较于同类型的2DFCN、3DFCN、2DFCN+RNN，是一种更加适用于肝脏肿瘤的分割算法。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。
Claims (9)
1.一种肝脏以及肝脏肿瘤的图像分割方法，其特征在于：其包括以下步骤：
(1)获取腹部磁共振影像；
(2)使用肝脏模型确定感兴趣区域，肝脏模型为空洞三维残差U形神经网络Dial3DResUNet，其结合长短程跳跃连接结构以及混合空洞卷积，充分捕获图像全局结构信息从而进行精准的肝脏分割；
(3)使用肝脏肿瘤模型进行精细分割以减少假阳性，肝脏肿瘤模型为混合三维卷积神经网络H3DNet，其由混合三维Hybrid-3D卷积组成，在有效提取肝脏肿瘤三维特征的同时大幅度减少模型参数量，并降低模型优化难度以及过拟合风险。
2.根据权利要求1所述的肝脏以及肝脏肿瘤的图像分割方法，其特征在于：所述步骤(2)中，肝脏模型仅用三个降采样层，此时基础模型在编码器末端的感受野大小为90*90*90；为了在模型编码器的深层部分提取到图像不同位置之间的长程依赖关系，加入空洞卷积。
3.根据权利要求2所述的肝脏以及肝脏肿瘤的图像分割方法，其特征在于：所述空洞卷积为混合空洞卷积：将基础模型编码器部分的第二个降采样层后连续的三个卷积层的空洞率分别设置为1、2、4，将第三个降采样层后连续的三个卷积层空洞率分别设置为3、4、5；将加入空洞卷积后的模型称为Dial3DResUNet，其在编码器末端感受野提升至266*266*266。
4.根据权利要求3所述的肝脏以及肝脏肿瘤的图像分割方法，其特征在于：所述步骤(2)中，对于模型解码器部分，在每个stage末端引入辅助损失，形成深度监督机制。
5.根据权利要求4所述的肝脏以及肝脏肿瘤的图像分割方法，其特征在于：所述步骤(3)中，具体包括以下步骤：
(a)在训练样本采样规则上，根据肿瘤金标准，找到每一个肿瘤的三维包围盒，并在三个维度上均向外扩张一定的比例，在训练采样时，仅在这些膨胀过的三维立方体内随机的采出固定大小的block进行训练；
(b)从卷积模块上，提出Hybrird-3D卷积，其将一层3D卷积解耦为两层，分别为intra-slice卷积和inter-slice卷积，前者负责提取输入张量中XY方向上的特征，后者负责对Z轴方向上的特征进行融合。
6.根据权利要求4所述的肝脏以及肝脏肿瘤的图像分割方法，其特征在于：所述步骤(3)中，
一个3D卷积层表示为Conv(I,O,D,H,W)，一个Hybrid-3D模块表示为Conv(I,M,1,H,W)+Conv(M,O,D,1,1)，其中I代表输入特征图通道数量，M代表中间层特征图的通道数量，O代表输出层特征图的通道数量，D、H、W分别表征Z、X、Y三个正交维度上使用的卷积核大小；在D、H、W都设为3的情况下，3D卷积总参数量为27*I*O，Hybrid-3D的总参数量为9I*M+3M*O；超参数M控制Hybrid-3D整体参数量，将其设定为与输入通道数相同，因此Hybrid-3D模块仅有3D卷积44％的参数量；
保留基础模型中的第一个和最后一个stage以及其余每一个stage中的第一个卷积层不变，并将其余的3D卷积全部替换为Hybrid-3D卷积，称替换后的模型为H3DNet；模型参数量替换前为8.4M，替换后为5.0M。
7.根据权利要求1-6任一项所述的肝脏以及肝脏肿瘤的图像分割方法，其特征在于：所述步骤(3)之后还包括根据公式(1)进行模型训练，
其中N为输入张量中的体素总数；pred为肿瘤概率图；target为金标准；∈为防止除零错的常数项，设定为1e-5；
为了进一步防止过拟合，在两个网络模型中除去第一个和最后一个之外的每一个stage末端加入了dropout层，其中随机丢弃比例统一设置为0.3；对于激活函数，使用PReLU，并将斜率始化为0.25；使用He初始化对模型权重进行初始化。
8.根据权利要求7所述的肝脏以及肝脏肿瘤的图像分割方法，其特征在于：模型训练之后根据公式(2)进行评价，
其中N为测试集样本数量，n为体数据体素数量，pred为预测结果，target为金标准。
9.一种肝脏以及肝脏肿瘤的图像分割装置，其特征在于：其包括：图像获取模块，其配置来获取腹部磁共振影像；
肝脏图像分割模块，其配置来使用肝脏模型确定感兴趣区域，肝脏模型为Dial3DResUNet，其结合长短程跳跃连接结构以及混合空洞卷积，充分捕获图像全局结构信息从而进行精准的肝脏分割；
肝脏肿瘤图像分割模块，其配置来使用肝脏肿瘤模型进行精细分割以减少假阳性，肝脏肿瘤模型为H3DNet，其由Hybrid-3D卷积组成，在有效提取肝脏肿瘤三维特征的同时大幅度减少模型参数量，并降低模型优化难度以及过拟合风险。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911342328.0A CN111179237B (zh) | 2019-12-23 | 2019-12-23 | 一种肝脏以及肝脏肿瘤的图像分割方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911342328.0A CN111179237B (zh) | 2019-12-23 | 2019-12-23 | 一种肝脏以及肝脏肿瘤的图像分割方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111179237A true CN111179237A (zh) | 2020-05-19 |
| CN111179237B CN111179237B (zh) | 2024-01-02 |
Family
ID=70657391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911342328.0A Active CN111179237B (zh) | 2019-12-23 | 2019-12-23 | 一种肝脏以及肝脏肿瘤的图像分割方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111179237B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112150449A (zh) * | 2020-09-29 | 2020-12-29 | 太原理工大学 | 一种脑卒中病灶分割方法和系统 |
| CN112184638A (zh) * | 2020-09-14 | 2021-01-05 | 南京市儿童医院 | 基于深度学习-综合模型的肾活检电镜图片自动识别方法 |
| CN112258456A (zh) * | 2020-09-28 | 2021-01-22 | 汕头大学 | 一种基于卷积神经网络监督的三维图像分割方法 |
| CN112489047A (zh) * | 2021-02-05 | 2021-03-12 | 四川大学 | 一种基于深度学习的盆骨及其动脉血管的多层级分割方法 |
| CN113611410A (zh) * | 2021-09-08 | 2021-11-05 | 温州医科大学附属第一医院 | 一种脂肪性肝炎风险诊断设备、系统及其残差网络的训练方法 |
| CN114494442A (zh) * | 2022-04-02 | 2022-05-13 | 深圳市海清视讯科技有限公司 | 图像处理方法、装置及设备 |
| CN115619993A (zh) * | 2022-09-29 | 2023-01-17 | 宁波唯杰医疗科技有限公司 | 基于肝脏影像的形态分割方法及电子设备 |
| CN116206109A (zh) * | 2023-02-21 | 2023-06-02 | 桂林电子科技大学 | 一种基于级联网络的肝脏肿瘤分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
| CN109949309A (zh) * | 2019-03-18 | 2019-06-28 | 安徽紫薇帝星数字科技有限公司 | 一种基于深度学习的肝脏ct图像分割方法 |
| CN110097550A (zh) * | 2019-05-05 | 2019-08-06 | 电子科技大学 | 一种基于深度学习的医学图像分割方法及系统 |
| CN110599500A (zh) * | 2019-09-03 | 2019-12-20 | 南京邮电大学 | 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统 |
-
2019
- 2019-12-23 CN CN201911342328.0A patent/CN111179237B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180260957A1 (en) * | 2017-03-08 | 2018-09-13 | Siemens Healthcare Gmbh | Automatic Liver Segmentation Using Adversarial Image-to-Image Network |
| CN109949309A (zh) * | 2019-03-18 | 2019-06-28 | 安徽紫薇帝星数字科技有限公司 | 一种基于深度学习的肝脏ct图像分割方法 |
| CN110097550A (zh) * | 2019-05-05 | 2019-08-06 | 电子科技大学 | 一种基于深度学习的医学图像分割方法及系统 |
| CN110599500A (zh) * | 2019-09-03 | 2019-12-20 | 南京邮电大学 | 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| JIANPENG ZHANG 等: "Light-Weight Hybrid Convolutional Network for Liver Tumor Segmentation", 《PROCEEDINGS OF THE TWENTY-EIGHTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE》 * |
| WENDONG XU 等: "Liver Segmentation in CT based on ResUNet with 3D Probabilistic and Geometric Post Process", 《2019 IEEE 4TH INTERNATIONAL CONFERENCE ON SIGNAL AND IMAGE PROCESSING (ICSIP)》 * |
| 张倩雯 等: "基于3D ResUnet网络的肺结节分割", 《中国医学物理学杂志》 * |
| 王继伟 等: "基于3D_ResUnet肝脏CT图像分割的临床应用研究", 《数字医学基础研究与应用》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112184638A (zh) * | 2020-09-14 | 2021-01-05 | 南京市儿童医院 | 基于深度学习-综合模型的肾活检电镜图片自动识别方法 |
| CN112184638B (zh) * | 2020-09-14 | 2024-02-06 | 南京市儿童医院 | 基于深度学习-综合模型的肾活检电镜图片自动识别方法 |
| CN112258456A (zh) * | 2020-09-28 | 2021-01-22 | 汕头大学 | 一种基于卷积神经网络监督的三维图像分割方法 |
| CN112258456B (zh) * | 2020-09-28 | 2023-10-17 | 汕头大学 | 一种基于卷积神经网络监督的三维图像分割方法 |
| CN112150449A (zh) * | 2020-09-29 | 2020-12-29 | 太原理工大学 | 一种脑卒中病灶分割方法和系统 |
| CN112489047A (zh) * | 2021-02-05 | 2021-03-12 | 四川大学 | 一种基于深度学习的盆骨及其动脉血管的多层级分割方法 |
| CN113611410A (zh) * | 2021-09-08 | 2021-11-05 | 温州医科大学附属第一医院 | 一种脂肪性肝炎风险诊断设备、系统及其残差网络的训练方法 |
| CN113611410B (zh) * | 2021-09-08 | 2023-03-24 | 温州医科大学附属第一医院 | 一种脂肪性肝炎风险诊断设备、系统及其残差网络的训练方法 |
| CN114494442A (zh) * | 2022-04-02 | 2022-05-13 | 深圳市海清视讯科技有限公司 | 图像处理方法、装置及设备 |
| CN115619993A (zh) * | 2022-09-29 | 2023-01-17 | 宁波唯杰医疗科技有限公司 | 基于肝脏影像的形态分割方法及电子设备 |
| CN116206109A (zh) * | 2023-02-21 | 2023-06-02 | 桂林电子科技大学 | 一种基于级联网络的肝脏肿瘤分割方法 |
| CN116206109B (zh) * | 2023-02-21 | 2023-11-07 | 桂林电子科技大学 | 一种基于级联网络的肝脏肿瘤分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111179237B (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111179237B (zh) | 一种肝脏以及肝脏肿瘤的图像分割方法和装置 | |
| CN109035255B (zh) | 一种基于卷积神经网络的ct图像中带夹层主动脉分割方法 | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
| WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN113808146B (zh) | 一种医学图像多器官分割方法及系统 | |
| CN107292312A (zh) | 肿瘤识别方法 | |
| CN109801268B (zh) | 一种基于三维卷积神经网络的ct造影图像肾动脉分割方法 | |
| CN114693933A (zh) | 基于生成对抗网络和多尺度特征融合的医学影像分割装置 | |
| CN116503607B (zh) | 一种基于深度学习的ct图像分割方法和系统 | |
| CN114998265A (zh) | 一种基于改进U-Net的肝脏肿瘤分割方法 | |
| CN112767407A (zh) | 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法 | |
| CN112381846A (zh) | 一种基于非对称网络的超声甲状腺结节分割方法 | |
| Qi et al. | Automatic lacunae localization in placental ultrasound images via layer aggregation | |
| CN117455906B (zh) | 基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法 | |
| Tan et al. | Automatic prostate segmentation based on fusion between deep network and variational methods | |
| Ahmed et al. | COMA-Net: Towards generalized medical image segmentation using complementary attention guided bipolar refinement modules | |
| CN111667488B (zh) | 一种基于多角度U-Net的医学图像分割方法 | |
| Zhou et al. | HAUNet-3D: a novel hierarchical attention 3D UNet for lung nodule segmentation | |
| CN116883341A (zh) | 一种基于深度学习的肝脏肿瘤ct图像自动分割方法 | |
| CN114419032B (zh) | 心脏左心室的心肌内膜和/或心肌外膜的分割方法和装置 | |
| CN112990367A (zh) | 一种图像处理方法、装置、设备以及存储介质 | |
| CN116109605B (zh) | 医学影像肿瘤分割系统、训练集构建方法和模型训练方法 | |
| CN117036372B (zh) | 一种鲁棒性激光散斑图像血管分割系统及分割方法 | |
| Vi et al. | Automatic Extraction of Liver Region from Medical Images by Using an MFUnet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |