CN110084823A - 基于级联各向异性fcnn的三维脑肿瘤图像分割方法 - Google Patents
基于级联各向异性fcnn的三维脑肿瘤图像分割方法 Download PDFInfo
- Publication number
- CN110084823A CN110084823A CN201910313627.5A CN201910313627A CN110084823A CN 110084823 A CN110084823 A CN 110084823A CN 201910313627 A CN201910313627 A CN 201910313627A CN 110084823 A CN110084823 A CN 110084823A
- Authority
- CN
- China
- Prior art keywords
- tumour
- plane
- network model
- full
- brain tumor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000005192 partition Methods 0.000 title claims abstract description 6
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 136
- 238000012549 training Methods 0.000 claims abstract description 50
- 230000002708 enhancing effect Effects 0.000 claims abstract description 32
- 230000011218 segmentation Effects 0.000 claims description 44
- 238000005070 sampling Methods 0.000 claims description 13
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000003475 lamination Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 description 11
- 238000002595 magnetic resonance imaging Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000003709 image segmentation Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000002075 inversion recovery Methods 0.000 description 2
- 230000017074 necrotic cell death Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000505 pernicious effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及一种基于级联各向异性FCNN的三维脑肿瘤图像分割方法，包括以下步骤：(1)搭建各向异性FCNN模型；(2)进行全肿瘤网络模型训练，并分割全肿瘤，方法如下：将3D MRI脑肿瘤图像分为2D A‑plane、C‑plane和S‑plane切片，顺序取相同数量的A‑plane、C‑plane和S‑plane切片分别输入各向异性FCNN并进行全肿瘤网络模型WA、网络模型WC和网络模型WS的训练；分别使用全肿瘤训练模型WA、WC、WS对3D脑肿瘤图像数据进行预测，并将预测平均值作为判别全肿瘤的最终结果；(3)进行肿瘤核心网络模型训练，并分割肿瘤核心；(4)进行增强肿瘤网络模型训练，并分割增强肿瘤。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于级联各向异性FCNN的三维脑肿瘤图像分割算法。
背景技术
脑肿瘤是指生长在颅腔的新生物，又称颅内肿瘤、脑癌。脑是人类最重要的器官之一，不论脑肿瘤是良性还是恶性，一旦在脑中压迫到任何部分，都会造成人体不同功能的损伤。临床上，通常使用核磁共振成像(Magnetic Resonance Imaging,MRI)技术检查脑部病变，常见的脑肿瘤MRI模态包括T1加权(T1-weighted,T1)、对比增强T1加权(ContrastEnhanced T1-weighted,T1C)、T2加权(T2-weighted,T2)和液体衰减反转恢复脉冲(FluidAttenuated Inversion Recovery,FLAIR)等成像模态，不同成像模态可以提供互补信息来分析脑肿瘤，临床上通常结合以上四种图像共同诊断脑肿瘤的位置和大小。脑肿瘤子结构通常分为3种：由坏死、水肿、非增强性肿瘤和增强肿瘤组成的称为全肿瘤(Whole Tumor,WT)；其次在全肿瘤中由坏死、非增强肿瘤和增强肿瘤组成的称为肿瘤核心(Tumor Core,TC)；最后肿瘤核心中的增强性肿瘤部分称为增强肿瘤(Enhancing Tumor,ET)。
脑肿瘤的分割有助于医生做出准确诊断，为脑肿瘤治疗评估提供可靠依据。但是，脑肿瘤在颅内生长的位置和大小具有随机性，生长形状不规则，且人工分割脑肿瘤会依赖于医生的个人经验，分割过程耗时费力。因此，脑肿瘤自动分割技术成为现今的一个研究热点。
为了适应三维(Three-dimensional,3D)技术在现代临床医学中的发展，基于深度神经网络的分割方法已成功应用于3D脑肿瘤图像分割。Wenqi Li等提出了一种端到端的3D卷积神经网络(Convolutional Neural Network,CNN)结构，该网络结构能够利用脑肿瘤图片高分辨率的多尺度特征进行分割，但运行过程会消耗大量计算机内存，影响分割精确度；Kamnitsas等使用3D CNN进行脑肿瘤分割，并通过条件随机场进行后处理，以消除误判，但算法分割准确度总体不高。
使用3D深度神经网络进行图像分割任务，应考虑感受野、模型复杂度和计算机内存消耗之间的平衡。较小感受野仅允许网络模型学习局部图像特征，而较大感受野允许网络模型学习全局图像特征。学者Long提出的二维(Two-dimensional,2D)全卷积神经网络(Fully Convolutional Neural Network,FCNN)和学者Ronneberger提出的2D U-Net均使用较大感受野学习图像的全局特征，因此需要较大的图像块进行模型的训练和测试。使用大型3D感受野有助于网络模型学习3D图像的全局特征，但用于训练和测试的大型3D图像块会消耗大量计算机内存，因此限制了网络中的特征数量，导致模型复杂度有限且表达能力低，从而降低算法的分割性能。
发明内容
针对3D脑肿瘤图像分割准确率低、利用深度神经网络进行3D脑肿瘤图像分割计算开销大的问题，本发明提供一种三维脑肿瘤图像分割方法。为提高算法分割精确度并降低计算机内存消耗，本发明提出各向异性FCNN，由于肿瘤核心和增强肿瘤这两个分割目标较小，如果以整个3D MRI图像数据作为各向异性FCNN的输入，进行肿瘤核心和增强肿瘤的分割，则分割结果误差较大；为了提高各向异性FCNN对3类脑肿瘤子结构的训练精度，本发明使用级联机制作为网络分割的框架，将脑肿瘤多类别分割问题简化为三个二值分割问题。技术方案如下：
一种基于级联各向异性FCNN的三维脑肿瘤图像分割方法，包括以下步骤：
(1)搭建各向异性FCNN模型；
(2)进行全肿瘤网络模型训练，并分割全肿瘤，方法如下：
第1步：将3D MRI脑肿瘤图像分为2DA-plane、C-plane和S-plane切片，顺序取相同数量的A-plane、C-plane和S-plane切片分别输入各向异性FCNN并进行全肿瘤网络模型WA、网络模型WC和网络模型WS的训练；
第2步：分别使用全肿瘤训练模型WA、WC、WS对3D脑肿瘤图像数据进行预测，并将预测平均值作为判别全肿瘤的最终结果。
(3)进行肿瘤核心网络模型训练，并分割肿瘤核心，方法如下：
第1步：根据全肿瘤和肿瘤核心的位置关系，即肿瘤核心位于全肿瘤区域内，以全肿瘤在上下、左右和前后六个方向上的边界值生成分割后的全肿瘤边界框，分别对全肿瘤边界框在六个方向上做5个像素的体积扩展；
第2步：将扩展后边界框内的图像区域分为2DA-plane、C-plane和S-plane切片，顺序取相同数量的A-plane、C-plane和S-plane切片分别输入各向异性FCNN并进行肿瘤核心网络模型TA、网络模型TC和网络模型TS的训练；
第3步：分别使用肿瘤核心训练模型TA、TC、TS对3D脑肿瘤图像数据进行预测，并将预测平均值作为判别肿瘤核心的最终结果。
(4)进行增强肿瘤网络模型训练，并分割增强肿瘤，方法如下：
第1步：根据肿瘤核心和增强肿瘤的位置关系，即增强肿瘤位于肿瘤核心区域内，以肿瘤核心在上下、左右和前后六个方向上的边界值生成分割后的肿瘤核心边界框，分别对肿瘤核心边界框在六个方向上做5个像素的体积扩展；
第2步：将扩展后边界框内的图像区域分为2DA-plane、C-plane和S-plane切片，顺序取相同数量的A-plane、C-plane和S-plane切片分别输入各向异性FCNN并进行增强肿瘤网络模型EA、网络模型EC和网络模型ES的训练；
第3步：分别使用增强肿瘤训练模型EA、EC、ES对3D脑肿瘤图像数据进行预测，并将预测平均值作为判别增强肿瘤的最终结果。
其中，步骤(1)搭建的模型如下：
第1步：使用20个卷积核大小为3×3×1的片内卷积层、4个卷积核大小为1×1×3片间卷积层以及2个2D下采样层Down提取脑肿瘤图像特征，片内卷积层使用膨胀卷积，设定膨胀系数为1至3，只采用2层下采样，下采样通过采用步长为2、卷积核大小为3×3×1的卷积层实现；
第2步：引入残差结构，各向异性FCNN有10个残差块，每个残差块内都包含两个片内卷积层；
第3步：在网络不同深度处使用反卷积，将多个中间特征图像上采样到输入图像分辨率进行级联叠加，并将级联后的特征图像输入到卷积层，融合局部特征信息和全局特征信息，随后通过SoftMax层输出每个体素点分别属于脑肿瘤和背景的概率。
与现有技术相比，本发明不仅对实际应用性强的3D脑肿瘤图像进行分割，而且在解决了分割3D脑肿瘤图像时内存消耗过大问题的同时，全肿瘤、肿瘤核心和增强肿瘤分割结果与金标准相比，戴斯相似性系数(Dice)均值分别可达0.9034、0.8492和0.7833。与同类算法相比，本发明算法的Dice、灵敏度(Sensitivity)和阳性预测值(PredictivePositivity Value,PPV)均有很大的提升，且本发明算法的稳定性较强。
附图说明
图1为本发明基于级联各向异性FCNN的三维脑肿瘤图像分割算法流程图。
图2为级联框架示意图。其中，灰色区域代表全肿瘤，白色区域代表肿瘤核心，黑色区域代表增强肿瘤。
图3为各项异性FCNN结构图。
图4为各个切面和多视图融合示意图。其中，(a)为A-plane切片方向示意图；(b)为S-plane切片方向示意图；(c)为C-plane切片方向示意图；(d)为多视图融合示意图，即同一类别肿瘤按照X、Y、Z方向分别进行测试，预测平均值作为判别该类肿瘤的最终结果。
图5为仅使用训练模型A测试结果与多视图融合分割结果对比图。其中，为了简化MRI脑肿瘤图像可视化，图中只显示了FLAIR模态图像，(a)为FLAIR模态图像；(b)为仅使用训练模型A分割结果图；(c)为多视图融合分割结果图；(d)为真值标签图。
图6为四种脑肿瘤分割算法进行Dice评价图。其中，(a)为采用不同算法分割全肿瘤的Dice值；(b)为采用不同算法分割肿瘤核心的Dice值；(c)为采用不同算法分割增强肿瘤的Dice值。
具体实施方式
下面结合附图和具体实施方式对本发明做具体说明，显然，所描述的实施仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出的基于级联各向异性FCNN的三维脑肿瘤图像分割算法，首先将级联机制作为FCNN分割的框架，旨在分别对全肿瘤、肿瘤核心、增强肿瘤这三类脑肿瘤子结构进行分割；然后利用各向异性思想对卷积核进行改进，使FCNN分别在横断面(Axial plane,A-plane)、冠状面(Coronal plane,C-plane)和矢状面(Sagittal plane,S-plane)三个切面方向进行精细学习；最后在测试期间，将同一类别肿瘤三个方向上的训练模型预测输出进行平均，融合三个不同正交视图的分割结果。
参照附图1，本技术方案的基于级联各向异性FCNN三维脑肿瘤图像分割算法包括以下的步骤：
S1：根据全肿瘤、肿瘤核心和增强肿瘤三类肿瘤结构的位置关系，即肿瘤核心位于全肿瘤区域内，增强肿瘤位于肿瘤核心区域内，创建级联框架，将复杂的多类分割问题简化为三个二元分类问题，以减少误报，级联框架如图2所示。
(1)将同一患者的T1、T1C、T2和FLAIR模态3D MRI图像数据输入到各项异性FCNN，分割全肿瘤并生成全肿瘤边界框。其中，在训练阶段，根据真值标签自动生成全肿瘤的边界框，在测试阶段，根据全肿瘤的二值分割结果分别生成边界框；
(2)分别对全肿瘤边界框上下、左右和前后六个方向做5个像素的体积扩展，将扩展后边界框内的图像区域作为各项异性FCNN的输入以分割肿瘤核心并生成肿瘤核心边界框。其中，在训练阶段，根据真值标签自动生成肿瘤核心的边界框，在测试阶段，根据肿瘤核心的二值分割结果分别生成边界框；
(3)分别对肿瘤核心边界框上下、左右和前后六个方向做5个像素的体积扩展，将扩展后边界框内的图像区域作为各项异性FCNN的输入以分割增强肿瘤。
S2：搭建各向异性FCNN模型，将训练集输入到神经网络中进行网络模型训练，各向异性FCNN结构图如图3所示。
(1)使用各向异性和膨胀卷积提取MRI图像脑肿瘤特征；
为了处理感受野的各向异性，将大小为3×3×3的3D卷积核分解成大小为3×3×1的片内卷积核和大小为1×1×3的片间卷积核。该网络使用输出通道个数为32的20个片内卷积层Conv(intra)、4个片间卷积层Conv(inter)以及2个2D下采样层Down。为了扩大片内感受野，片内卷积层使用膨胀卷积，设定膨胀系数为1至3。为了防止图像分辨率降低和分割细节丢失，网络只采用2层下采样，下采样通过采用步长为2、卷积核大小为3×3×1的卷积层实现。
每个卷积层后都紧随一个批量正则化(Batch Normalization,BN)层与激活函数层。BN层可加快网络收敛速度，提高模型分割精度。激活函数层采用带参数的PReLU，激活函数PReLU比传统的线性整流函数显示出更好的性能。
(2)通过引入残差结构，加快网络训练时的收敛速度，提高分割性能；
各向异性FCNN有10个残差块，每个残差块内都包含两个片内卷积层。将一个残差块的输入直接添加到输出中，能够使块参照输入学习残差函数，从而可以使图像信息传播平稳并加速网络训练收敛过程。
(3)利用多尺度特征融合思想，融合局部特征信息和全局特征信息，从而优化分割结果；
为了结合不同尺度的特征，该网络使用输出通道个数为2的5个2D上采样层Up、1个级联层以及1个卷积核为3×3×1的卷积层Conv。上采样通过采用步长为2、卷积核大小为3×3×1的反卷积层实现。每个卷积层和反卷积层后都紧随一个BN层与激活函数PReLU层。
在网络不同深度处使用反卷积，将多个中间特征图像上采样到输入图像分辨率并进行级联叠加。最后将级联后的特征图像输入到卷积层Conv，融合局部特征信息和全局特征信息以提高分割精确度，随后通过SoftMax层输出每个体素点分别属于脑肿瘤和背景的概率。
(4)将脑肿瘤图像数据的训练集输入到各向异性FCNN中，进行模型训练。
将3D MRI脑肿瘤图像分为2D A-plane、C-plane和S-plane切片，顺序取相同数量的A-plane切片输入各向异性FCNN并进行网络模型A的训练，顺序取相同数量的C-plane切片输入各向异性FCNN并进行网络模型C的训练，顺序取相同数量的S-plane切片输入各向异性FCNN并进行网络模型S的训练。因此，全肿瘤、肿瘤核心和增强肿瘤三种类别肿瘤分别在A-plane、C-plane和S-plane三个正交视图方向上均进行各向异性FCNN的训练，共得到9个模型，全肿瘤训练模型分别为WA、WC、WS，肿瘤核心训练模型分别TA、TC、TS，增强肿瘤训练模型分别为EA、EC、ES。
S3：模型训练结束后，使用模型预测，预测输出进行多视图融合，得到脑肿瘤最终的分割结果。各个切面和多视图融合示意图如图4所示。
S3.1：使用全肿瘤在三个不同正交视图上的训练模型WA、WC、WS对3D脑肿瘤图像数据进行预测，并将预测平均值作为判别全肿瘤的最终结果；
S3.2：使用肿瘤核心在三个不同正交视图上的训练模型TA、TC、TS对3D脑肿瘤图像数据进行预测，并将预测平均值作为判别肿瘤核心的最终结果；
S3.3：使用增强肿瘤在三个不同正交视图上的训练模型EA、EC、ES对3D脑肿瘤图像数据进行预测，并将预测平均值作为判别增强肿瘤的最终结果。
为了验证本发明所提多视图融合的有效性，将仅使用训练模型A测试结果与多视图融合分割结果进行比较，对比图如图5所示。从图5可看出，未进行多视图融合的测试结果出现了欠分割现象。分析出现的欠分割现象是由于只使用了模型A进行了测试，模型A未在C-plane和S-plane两个切面进行充分的学习，所以得到的分割结果不理想。相比之下，多视图融合分割结果更准确。同时，本发明采用三种指标定量评估在测试集上未进行多视图融合的分割结果与进行多视图融合的分割结果。表1表明，多视图融合分割结果相较于未进行多视图融合分割结果在Dice、Sensitivity、PPV三种评价指标上都有较大的提高，即实验结果表明融合三个切片方向预测结果能有效提高脑肿瘤分割准确性。
表1
为了验证本发明的稳定性，针对测试集图像数据，对四种脑肿瘤分割算法进行Dice评价，评价结果如图6所示。图6中，矩形框的大小反映了算法的稳定性，矩形框越大则说明算法Dice波动越大，即算法稳定性越差；矩形框内的横线为该算法的Dice均值。观察图6可知，本发明相较于其他算法在分割全肿瘤、肿瘤核心和增强肿瘤时均具有较高的Dice均值和较小矩形框，即本发明具有较高准确性和较强稳定性，本发明整体性能优于其他算法。
本发明利用级联思想，将脑肿瘤多类别分割问题简化为三个二值分割问题，有效提高各向异性FCNN对3类脑肿瘤子结构的训练精度。本发明针对分割3D脑肿瘤图像时，存在图像数据量大造成分割精度低、内存消耗过大的问题，提出了一种各向异性FCNN分割3D脑肿瘤图像的算法，能够有效提高3D脑肿瘤图像的分割准确性。
Claims (2)
1.一种基于级联各向异性FCNN的三维脑肿瘤图像分割方法，包括以下步骤：
(1)搭建各向异性FCNN模型；
(2)进行全肿瘤网络模型训练，并分割全肿瘤，方法如下：
第1步：将3D MRI脑肿瘤图像分为2D A-plane、C-plane和S-plane切片，顺序取相同数量的A-plane、C-plane和S-plane切片分别输入各向异性FCNN并进行全肿瘤网络模型WA、网络模型WC和网络模型WS的训练；
第2步：分别使用全肿瘤训练模型WA、WC、WS对3D脑肿瘤图像数据进行预测，并将预测平均值作为判别全肿瘤的最终结果。
(3)进行肿瘤核心网络模型训练，并分割肿瘤核心，方法如下：
第1步：根据全肿瘤和肿瘤核心的位置关系，即肿瘤核心位于全肿瘤区域内，以全肿瘤在上下、左右和前后六个方向上的边界值生成分割后的全肿瘤边界框，分别对全肿瘤边界框在六个方向上做5个像素的体积扩展；
第2步：将扩展后边界框内的图像区域分为2D A-plane、C-plane和S-plane切片，顺序取相同数量的A-plane、C-plane和S-plane切片分别输入各向异性FCNN并进行肿瘤核心网络模型TA、网络模型TC和网络模型TS的训练；
第3步：分别使用肿瘤核心训练模型TA、TC、TS对3D脑肿瘤图像数据进行预测，并将预测平均值作为判别肿瘤核心的最终结果。
(4)进行增强肿瘤网络模型训练，并分割增强肿瘤，方法如下：
第1步：根据肿瘤核心和增强肿瘤的位置关系，即增强肿瘤位于肿瘤核心区域内，以肿瘤核心在上下、左右和前后六个方向上的边界值生成分割后的肿瘤核心边界框，分别对肿瘤核心边界框在六个方向上做5个像素的体积扩展；
第2步：将扩展后边界框内的图像区域分为2D A-plane、C-plane和S-plane切片，顺序取相同数量的A-plane、C-plane和S-plane切片分别输入各向异性FCNN并进行增强肿瘤网络模型EA、网络模型EC和网络模型ES的训练；
第3步：分别使用增强肿瘤训练模型EA、EC、ES对3D脑肿瘤图像数据进行预测，并将预测平均值作为判别增强肿瘤的最终结果。
2.根据权利要求1所述的方法，其特征在于，步骤(1)搭建的模型如下：
第1步：使用20个卷积核大小为3×3×1的片内卷积层、4个卷积核大小为1×1×3片间卷积层以及2个2D下采样层Down提取脑肿瘤图像特征，片内卷积层使用膨胀卷积，设定膨胀系数为1至3，只采用2层下采样，下采样通过采用步长为2、卷积核大小为3×3×1的卷积层实现；
第2步：引入残差结构，各向异性FCNN有10个残差块，每个残差块内都包含两个片内卷积层；
第3步：在网络不同深度处使用反卷积，将多个中间特征图像上采样到输入图像分辨率进行级联叠加，并将级联后的特征图像输入到卷积层，融合局部特征信息和全局特征信息，随后通过SoftMax层输出每个体素点分别属于脑肿瘤和背景的概率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910313627.5A CN110084823A (zh) | 2019-04-18 | 2019-04-18 | 基于级联各向异性fcnn的三维脑肿瘤图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910313627.5A CN110084823A (zh) | 2019-04-18 | 2019-04-18 | 基于级联各向异性fcnn的三维脑肿瘤图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110084823A true CN110084823A (zh) | 2019-08-02 |
Family
ID=67415547
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910313627.5A Pending CN110084823A (zh) | 2019-04-18 | 2019-04-18 | 基于级联各向异性fcnn的三维脑肿瘤图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110084823A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942465A (zh) * | 2019-11-08 | 2020-03-31 | 浙江工业大学 | 一种基于ResUnet的3视图PET图像分割方法 |
| CN111046921A (zh) * | 2019-11-25 | 2020-04-21 | 天津大学 | 基于U-Net网络和多视角融合的脑肿瘤分割方法 |
| CN111667488A (zh) * | 2020-04-20 | 2020-09-15 | 浙江工业大学 | 一种基于多角度U-Net的医学图像分割方法 |
| CN112200791A (zh) * | 2020-10-17 | 2021-01-08 | 黄传波 | 基于U-Net架构的深度残差网络的脑肿瘤分割方法 |
| CN112837276A (zh) * | 2021-01-20 | 2021-05-25 | 重庆邮电大学 | 一种基于级联深度神经网络模型的脑胶质瘤分割方法 |
| CN112990367A (zh) * | 2021-04-25 | 2021-06-18 | 杭州晟视科技有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN113256754A (zh) * | 2021-07-16 | 2021-08-13 | 南京信息工程大学 | 一种分割后小面积肿瘤块的堆叠投影重建方法 |
| CN113269764A (zh) * | 2021-06-04 | 2021-08-17 | 重庆大学 | 颅内动脉瘤自动分割方法、系统、样本处理及模型训练方法 |
| CN113344938A (zh) * | 2021-05-07 | 2021-09-03 | 西安智诊智能科技有限公司 | 一种肝脏肿瘤图像分割模型训练方法 |
| CN114170244A (zh) * | 2021-11-24 | 2022-03-11 | 北京航空航天大学 | 一种基于级联神经网络结构的脑胶质瘤分割方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492297A (zh) * | 2017-12-25 | 2018-09-04 | 重庆理工大学 | 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法 |
| CN108898140A (zh) * | 2018-06-08 | 2018-11-27 | 天津大学 | 基于改进的全卷积神经网络的脑肿瘤图像分割算法 |
-
2019
- 2019-04-18 CN CN201910313627.5A patent/CN110084823A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492297A (zh) * | 2017-12-25 | 2018-09-04 | 重庆理工大学 | 基于深度级联卷积网络的mri脑肿瘤定位与瘤内分割方法 |
| CN108898140A (zh) * | 2018-06-08 | 2018-11-27 | 天津大学 | 基于改进的全卷积神经网络的脑肿瘤图像分割算法 |
Non-Patent Citations (1)
| Title |
|---|
| GUOTAI WANG: "Automatic Brain Tumor Segmentation using Cascaded Anisotropic Convolutional Neural Networks", 《ARXIV:1709.00382V2 [CS.CV]》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942465A (zh) * | 2019-11-08 | 2020-03-31 | 浙江工业大学 | 一种基于ResUnet的3视图PET图像分割方法 |
| CN111046921A (zh) * | 2019-11-25 | 2020-04-21 | 天津大学 | 基于U-Net网络和多视角融合的脑肿瘤分割方法 |
| CN111667488B (zh) * | 2020-04-20 | 2023-07-28 | 浙江工业大学 | 一种基于多角度U-Net的医学图像分割方法 |
| CN111667488A (zh) * | 2020-04-20 | 2020-09-15 | 浙江工业大学 | 一种基于多角度U-Net的医学图像分割方法 |
| CN112200791A (zh) * | 2020-10-17 | 2021-01-08 | 黄传波 | 基于U-Net架构的深度残差网络的脑肿瘤分割方法 |
| CN112200791B (zh) * | 2020-10-17 | 2022-11-29 | 济宁学院 | 基于U-Net架构的深度残差网络的脑肿瘤分割方法 |
| CN112837276A (zh) * | 2021-01-20 | 2021-05-25 | 重庆邮电大学 | 一种基于级联深度神经网络模型的脑胶质瘤分割方法 |
| CN112837276B (zh) * | 2021-01-20 | 2023-09-29 | 重庆邮电大学 | 一种基于级联深度神经网络模型的脑胶质瘤分割方法 |
| CN112990367A (zh) * | 2021-04-25 | 2021-06-18 | 杭州晟视科技有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN113344938A (zh) * | 2021-05-07 | 2021-09-03 | 西安智诊智能科技有限公司 | 一种肝脏肿瘤图像分割模型训练方法 |
| CN113269764A (zh) * | 2021-06-04 | 2021-08-17 | 重庆大学 | 颅内动脉瘤自动分割方法、系统、样本处理及模型训练方法 |
| CN113256754A (zh) * | 2021-07-16 | 2021-08-13 | 南京信息工程大学 | 一种分割后小面积肿瘤块的堆叠投影重建方法 |
| CN114170244A (zh) * | 2021-11-24 | 2022-03-11 | 北京航空航天大学 | 一种基于级联神经网络结构的脑胶质瘤分割方法 |
| CN114170244B (zh) * | 2021-11-24 | 2024-05-28 | 北京航空航天大学 | 一种基于级联神经网络结构的脑胶质瘤分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110084823A (zh) | 基于级联各向异性fcnn的三维脑肿瘤图像分割方法 | |
| Ye et al. | Multi-depth fusion network for whole-heart CT image segmentation | |
| CN109584244B (zh) | 一种基于序列学习的海马体分割方法 | |
| CN107749061A (zh) | 基于改进的全卷积神经网络脑肿瘤图像分割方法及装置 | |
| CN110120033A (zh) | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 | |
| CN109584254A (zh) | 一种基于深层全卷积神经网络的心脏左心室分割方法 | |
| CN110689543A (zh) | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 | |
| Zhang et al. | LU-NET: An improved U-Net for ventricular segmentation | |
| CN111798462A (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN105760874A (zh) | 面向尘肺的ct图像处理系统及其ct图像处理方法 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| CN111429474A (zh) | 基于混合卷积的乳腺dce-mri图像病灶分割模型建立及分割方法 | |
| Han et al. | Automatic segmentation of human placenta images with U-Net | |
| CN101699515B (zh) | 基于多精英免疫量子聚类的医学影像分割系统及分割方法 | |
| CN114693933A (zh) | 基于生成对抗网络和多尺度特征融合的医学影像分割装置 | |
| Zhu et al. | A deep learning health data analysis approach: automatic 3D prostate MR segmentation with densely-connected volumetric ConvNets | |
| Chen et al. | Computer-aided diagnosis and decision-making system for medical data analysis: A case study on prostate MR images | |
| CN109727227A (zh) | 一种基于spect影像的甲状腺疾病诊断方法 | |
| CN116071383A (zh) | 一种基于超高场磁共振影像重建的海马亚区分割方法及系统 | |
| Banerjee et al. | A CADe system for gliomas in brain MRI using convolutional neural networks | |
| CN109919216B (zh) | 一种用于计算机辅助诊断前列腺癌的对抗学习方法 | |
| Chen et al. | Mu-Net: Multi-Path Upsampling Convolution Network for Medical Image Segmentation. | |
| CN114387282A (zh) | 一种医学影像器官精准自动分割方法及系统 | |
| Mani | Deep learning models for semantic multi-modal medical image segmentation | |
| Yu et al. | 3D convolutional networks based automatic diagnosis of Alzheimer's disease using structural MRI |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190802 |