CN110047080A - 一种基于V-Net的多模态脑肿瘤图像精细分割的方法 - Google Patents
一种基于V-Net的多模态脑肿瘤图像精细分割的方法 Download PDFInfo
- Publication number
- CN110047080A CN110047080A CN201910185867.1A CN201910185867A CN110047080A CN 110047080 A CN110047080 A CN 110047080A CN 201910185867 A CN201910185867 A CN 201910185867A CN 110047080 A CN110047080 A CN 110047080A
- Authority
- CN
- China
- Prior art keywords
- modal
- image
- segmentation
- tumour
- segmentation result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 37
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 21
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 119
- 230000002708 enhancing effect Effects 0.000 claims abstract description 34
- 238000003709 image segmentation Methods 0.000 claims abstract description 26
- 238000000293 three-dimensional nuclear magnetic resonance spectroscopy Methods 0.000 claims abstract description 10
- 230000003902 lesion Effects 0.000 claims abstract description 5
- 206010030113 Oedema Diseases 0.000 claims description 13
- 230000003014 reinforcing effect Effects 0.000 claims description 10
- 230000017074 necrotic cell death Effects 0.000 claims description 8
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000005311 nuclear magnetism Effects 0.000 claims 1
- 230000006872 improvement Effects 0.000 abstract description 4
- 239000000284 extract Substances 0.000 abstract description 3
- 238000005481 NMR spectroscopy Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 6
- 208000030173 low grade glioma Diseases 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000002790 cross-validation Methods 0.000 description 3
- 208000005017 glioblastoma Diseases 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 208000032612 Glial tumor Diseases 0.000 description 2
- 206010018338 Glioma Diseases 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000010008 shearing Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000002075 inversion recovery Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于V‑Net的多模态脑肿瘤图像精细分割的方法，所述方法包括以下步骤：构建用于整个肿瘤图像分割的多模态2D网络；构建用于肿瘤核图像分割的多模态3D网络；构建用于增强肿瘤图像分割的另一多模态3D网络；根据所述多模态2D网络、以及两种多模态3D网络对输入的3D核磁共振图像进行分割，将整个肿瘤图像分割结果、肿瘤核图像分割结果、以及增强肿瘤图像分割结果相加得到最终的肿瘤分割结果。本发明采用三阶段分割，输入四模态的MRI图像，基于级联改良的V‑Net来准确提取整个肿瘤，肿瘤核和增强肿瘤三部分，并使用前期阶段的分割结果作为后期阶段的附加输入，提升了分割准确率。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种基于V-Net(V形网络)的多模态脑肿瘤图像精细分割的方法。
背景技术
多模态MRI(核磁共振)图像是脑肿瘤评估和治疗的重要诊断工具。胶质瘤，包括：胶质母细胞瘤(HGG)和低级别胶质瘤(LGG)，是最常见的脑恶性肿瘤，其中胶质母细胞瘤致死率极高。由于组织学结构不同，胶质瘤可分为多种异质亚区，例如：水肿，坏死核心，增强和非增强肿瘤核心。肿瘤亚区的高准确率分割对于精确诊断和治疗非常重要，例如放疗。同时，由于肿瘤环境的异质性以及脑肿瘤的各种分级的不同外观，从MRI图像分割肿瘤结构非常困难。
就目前而言，相比自然图像，医学影像分辨率相对较低，而且医学造影代价较高，数据量相对较少。医学图像的标注门槛较高，只有经验丰富的资深医师才能对三维图像进行准确标注，因此，可用来进行计算机学研究的数据样本及标签非常稀少。数据量的匮乏是医学影像相对自然图像分割的难点之一。此外，医学影像，具有模态不定、维度较高的特点。以脑肿瘤MRI图像为例，用来进行图像分割的医学影像是大尺度三维图像，维度较高，而自然图像通常是二维的。脑MRI图像通常具有多模态，通常需对FLAIR(液体衰减反转恢复序列)、T1(纵向弛豫)、T1c(纵向弛豫增强)、T2(横向弛豫)四种模态进行综合处理才能实现脑肿瘤的精细分割，且不同分割问题的输入模态数量并不相同。
基于图论的分割方法现已成为传统机器学习分割方法中的主流。近年来，随着深度学习的普及，很多基于深度卷积网络的算法解决了图像分割问题。例如；FCN(全卷积神经网络)、SegNet[1]、U-Net(U形网络)、V-Net(V形网络)等。V-Net已成功应用于许多生物医学图像任务，并在语义分割上表现出良好的表现。
目前机器学习的分割方法各有局限性，如基于图论的分割方法无法处理类之间相互很接近、边界不明显的数据，并且受随机噪声的影响很大。而深度学习方法大多针对二维自然图像，并且在三维医学图像数据较少的情况下，深度网络却需要大量的数据进行训练。
发明内容
本发明提供了一种基于V-Net的多模态脑肿瘤图像精细分割的方法，本发明采用三阶段分割，输入四模态的MRI图像，基于级联改良的V-Net来准确提取整个肿瘤(WholeTumor，WT)，肿瘤核(Tumor Core，TC)和增强肿瘤(Enhancing Tumor，ET)三部分，并使用前期阶段的分割结果作为后期阶段的附加输入，提升了分割准确率，详见下文描述：
一种基于V-Net的多模态脑肿瘤图像精细分割的方法，所述方法包括以下步骤：
构建用于整个肿瘤图像分割的多模态2D网络；构建用于肿瘤核图像分割的多模态3D网络；构建用于增强肿瘤图像分割的另一多模态3D网络；
根据所述多模态2D网络、以及两种多模态3D网络对输入的3D核磁共振图像进行分割，将整个肿瘤图像分割结果、肿瘤核图像分割结果、以及增强肿瘤图像分割结果相加得到最终的肿瘤分割结果。
其中，所述多模态2D网络包括：
三个二维的V-Net结构，每个结构依次对应于3D核磁共振图像的轴向、矢向、以及冠向的视图；
二维的V-Net结构的输出有2个通道，分别代表整个肿瘤的分割结果图和背景的分割结果图。
其中，所述用于肿瘤核图像分割的多模态3D网络具体为：
整个肿瘤图像的分割结果用作附加输入，连同四种模态的MRI图像序列输入到核磁共振图像通道，以产生5通道级联输入；
多模态3D网络的输出是3通道张量，每个通道分别为第一背景的分割结果图，肿瘤核TC的分割结果图以及水肿的分割结果图。
所述方法还包括：构建联合Dice损失函数，用于修正肿瘤核图像的边界。所述联合Dice损失函数具体为：
D＝DTC+α·DED
其中，α是可调系数，DTC是肿瘤核区域的Dice系数，DED是水肿区域的Dice系数。
所述用于增强肿瘤图像分割的另一多模态3D网络具体为：
3D核磁共振图像以及肿瘤核图的分割结果图作为附加输入，输出是与输入相同大小的3通道图像块；
输出通道分别指第二背景的分割结果图，坏死/非增强肿瘤的分割结果图、增强肿瘤的分割结果图。
所述方法还包括：构建另一联合Dice损失函数，用于修正增强肿瘤区域的边界。所述另一联合Dice损失函数具体为：
D＝DET+α·DNC
其中，α是可调系数，DET是增强肿瘤区域的Dice系数，DNC是坏死/非增强肿瘤区域的Dice系数。
本发明提供的技术方案的有益效果是：
1、本发明提出级联网络，逐步分割整个肿瘤、肿瘤核和增强肿瘤(即，整个肿瘤包括肿瘤核与水肿，其中肿瘤核内部包括增强肿瘤、坏死以及非增强肿瘤)三部分，降低了任务难度，使每个任务仅需完成一个区域的分割，并且充分利用了肿瘤图像信息，提高了分割精度；
2、本发明将原始三维MRI图像从轴向、矢向、冠向三个方向进行二维图像裁取，得到3组二维图像序列作为V-Net-2D网络的输入，增大了样本量，克服了三维医学图像比较匮乏的缺陷；
3、本发明采用平衡Dice系数[2]，由于各区域的鲜明位置关系，水肿区域以及非增强肿瘤的分割结果分别会对肿瘤核与增强肿瘤的分割有修正的作用，因此将其输出作为损失函数的加权项对网络模型进行优化，获得了良好的分割结果。
附图说明
图1为一种基于V-Net的多模态脑肿瘤图像精细分割的方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
一种基于V-Net的多模态脑肿瘤图像精细分割的方法，参见图1，该方法包括以下步骤：
101：构建用于整个肿瘤图像分割的多模态2D网络；
102：构建用于肿瘤核图像分割的多模态3D网络；
103：构建用于增强肿瘤图像分割的另一多模态3D网络；
104：根据多模态2D网络、以及两种多模态3D网络对输入的3D核磁共振图像进行分割，将整个肿瘤图像分割结果、肿瘤核图像分割结果、以及增强肿瘤图像分割结果相加得到最终的肿瘤分割结果。
其中，步骤101中的多模态2D网络包括：
三个二维的V-Net结构，每个结构依次对应于3D核磁共振图像的轴向、矢向、以及冠向的视图；
二维的V-Net结构的输出有2个通道，分别代表整个肿瘤的分割结果图和背景的分割结果图。
其中，步骤102中的多模态3D网络具体为：
整个肿瘤图像的分割结果用作附加输入，连同四种模态的MRI图像序列输入到核磁共振图像通道，以产生5通道级联输入；
多模态3D网络的输出是3通道张量，每个通道分别为第一背景的分割结果图，肿瘤核TC的分割结果图以及水肿的分割结果图。
其中，步骤103中的另一多模态3D网络具体为：
3D核磁共振图像以及肿瘤核图的分割结果图作为附加输入，输出是与输入相同大小的3通道图像块；
输出通道分别指第二背景的分割结果图，坏死/非增强肿瘤的分割结果图、增强肿瘤的分割结果图。
综上所述，本发明实施例提出级联网络，逐步分割整个肿瘤、肿瘤核和增强肿瘤三部分，降低了任务难度，使每个任务仅需完成一个区域的分割，并且充分利用了肿瘤图像信息，提高了分割精度。
实施例2
下面结合具体的实例、图1对实施例1中的方案进行进一步地介绍，详见下文描述：
一、数据集与预处理：
(1)采用公开数据集BraTS2018[3][4][5]；
其中，该公开数据集提供了210个胶质母细胞瘤(HGG)和75个低级别胶质瘤(LGG)的脑部MRI图像。
每个病例由四种模态的MRI图像序列组成，包括：FLAIR、T1、T1c和T2。同时，每个病例还给出了一个标签图像，包括：GD增强肿瘤(ET，标签4)，水肿区域(ED，标签2)，坏死和非增强肿瘤(NCT/NET，标签1)。
将这些数据共同配准到相同的解剖模板并通过插值方法使其具有相同的分辨率。为了预测患者的总体存活率，数据以天为单位定义，存储在与每个病例名称对应的csv文件中。验证集由66个案例组成，不区分HGG或LGG。
(2)在本方法中，在将数据输入到深度学习网络之前，每个病例都通过均值和标准偏差进行归一化。在训练中，对数据进行随机数据增强，包括：水平翻转，垂直翻转，缩放和旋转。
此外，本发明实施例还对数据进行了剪切和弹性变换。四种模态的MRI图像序列中都添加了高斯噪声。通过上述数据增强有效促进了本发明实施例中的网络模型推广，并避免了训练模型的过度拟合。
其中，上述对数据进行水平翻转、垂直翻转、缩放和旋转、以及剪切和弹性变换的操作均为本领域技术人员所公知，本发明实施例对此不做赘述。
二、网络结构：
(1)多模态2D网络用于整个肿瘤WT分割：
在本发明实施例中，整个过程架构如图1所示。采用三阶段提取肿瘤结构，包括：整个肿瘤WT提取、肿瘤核TC提取和增强肿瘤ET提取。
本发明实施例采用了三个二维的V-Net结构(V-Net-2D-Axi，V-Net-2D-Sag，V-Net-2D-Cor)，其中，V-Net-2D是标准V-Net的二维卷积版本，其网络深度、卷积层通道数均与标准V-Net完全相同。另外每个结构对应于原始MRI图像的一个视图方向，即分别是轴向、矢向、以及冠向。
V-Net-2D依次使用(32，64，128，256，512)数量的特征图实现。即，V-Net-2D经过第一次卷积之后的特征图数量为32，第二次卷积之后的特征图数量为64，第三次卷积之后的特征图数量为128，第四次卷积之后的特征图数量为256，第五次卷积之后的特征图数量为512。
在每层的下采样和上采样期间，在卷积层中采用3×3的大小，在最大池化层中采用2×2的大小。V-Net-2D网络的输出有2个通道，每个通道代表背景和前景(整个肿瘤WT)。在训练和验证阶段，对应每个视图的V-Net-2D都使用输出通道的log-softmax函数和NLL-Loss函数分别进行训练和验证。在测试阶段，测试用例将输入每个V-Net-2D-Axi，V-Net-2D-Sag和V-Net-2D-Cor网络，每个视图的结果以相等的权重进行整合，然后进行后处理操作。在后处理期间，最终二进制标签为来自2个输出通道的融合的log-softmax值的最大索引。
(2)多模态V-Net-3D用于肿瘤核TC分割：
整个肿瘤WT分割的结果用作附加输入，连同T1、T1c、T2和FLAIR的4个输入MRI通道，以产生5通道级联输入。V-Net-3D使用(16,32,64,128)数量的特征图实现。
即，V-Net-3D经过第一次卷积之后的特征图数量为16，第二次卷积之后的特征图数量为32，第三次卷积之后的特征图数量为64，第四次卷积之后的特征图数量为128。
此外，V-Net-3D的内核大小与上述V-Net-2D的内核大小相同，在V-Net-3D的卷积层中设置为3×3，在池化层中设置为2×2。V-Net-3D网络的输出是3通道张量，每个通道分别为第一背景(将其他不是肿瘤的部分统称为背景)的分割结果图，肿瘤核TC的分割结果图以及水肿的分割结果图。
将Dice系数用作训练网络的损失函数，可以写成：
其中，Vox是3D图像中的体素集，i指代其中任意一个体素，pi是网络预测的体素softmax值，li是体素的真实标签值。
本发明实施例设计了一个联合Dice损失函数，即水肿区域的Dice评分，用于修正边界：
D＝DTC+α·DED
其中，α是可调系数，在训练期间，本发明实施例设定α＝0.3，DTC是肿瘤核区域的Dice系数，DED是水肿区域的Dice系数。
在肿瘤核TC的分割中，输入是一个5通道128×128×128立方体块，为了简单起见，它处于原始多模态MRI图像的中心，输出是一个3通道(第一背景，肿瘤核TC和水肿)128×128×128的图像块。随后，将网络的3通道输出乘以第(1)部分的整个肿瘤WT的分割结果图以去除外部假阳性体素。
(3)在增强肿瘤ET分割中，使用具有与肿瘤核TC分割相似结构的V-Net-3D：
一个5通道128×128×128立方体块输入，包括：原始MRI图像以及肿瘤核TC的分割结果图作为附加输入。输出是与输入相同大小的3通道图像块，输出张量的每个通道分别指第二背景(将不是坏死/非增强肿瘤和增强肿瘤部分的统称为第二背景)的分割结果图，坏死和非增强肿瘤的分割结果图、增强肿瘤的分割结果图。将输出乘以肿瘤核TC的分割结果图作为后处理步骤。
其中，损失函数可写为：
D＝DET+α·DNC
其中，α在这里设为0.4。DET是增强肿瘤区域的Dice系数，DNC是坏死/非增强肿瘤区域的Dice系数。
三、网络模型输出：
将3D MRI图像输入本发明实施例中的网络，最后三个输出预测结果相加来生成最终的分割结果。
即：将WT分割结果、TC分割结果、以及ET分割结果相加得到肿瘤分割结果。
综上所述，本发明实施例采用三阶段分割，输入四模态的MRI图像，基于级联改良的V-Net来准确提取整个肿瘤、肿瘤核和增强肿瘤三部分，并使用前期阶段的分割结果作为后期阶段的附加输入，提升了分割准确率。
实施例3
下面结合具体的实验数据对实施例1和2中的方案进行进一步地介绍，详见下文描述：
在训练阶段，本发明实施例采用了交叉验证方法。整个数据被平均分成15个子集，每个交叉验证过程包括13个训练子集，1个测试子集和1个验证子集。
交叉验证过程重复执行15次，并记录每次的分割结果的Dice评分。最终Dice评分计算为所有结果的平均值，并且实现了整个肿瘤、肿瘤核和增强肿瘤的平均Dice评分0.871、0.782和0.719。
表1级联网络对肿瘤不同区域的分割Dice评分
通过表1中的实验数据可以看出，本发明实施例提供的多模态脑肿瘤图像精细分割的方法将2D与3D的V形网络级联，实现了较好的分割效果，满足了实际应用中的需要。参考文献
[1]Badrinarayanan V,Kendall A,Cipolla R.Segnet:A deep convolutionalencoder-decoder architecture for image segmentation[J].IEEE transactions onpattern analysis and machine intelligence,2017,39(12):2481-2495.
[2]Dice L R.Measures of the amount of ecologic association betweenspecies[J].Ecology,1945,26(3):297-302.
[3]Menze B H,Jakab A,Bauer S,et al.The multimodal brain tumor imagesegmentation benchmark(BRATS)[J].IEEE transactions on medical imaging,2015,34(10):1993-2024.
[4]Bakas S,Akbari H,Sotiras A,et al.Advancing the cancer genome atlasglioma MRI collections with expert segmentation labels and radiomic features[J].Scientific data,2017,4:170117.
[5]Bakas S,Akbari H,Sotiras A,et al.Segmentation labels and radiomicfeatures for the pre-operative scans of the TCGA-LGG collection[J].The CancerImaging Archive,2017,286.
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于V-Net的多模态脑肿瘤图像精细分割的方法，其特征在于，所述方法包括以下步骤：
构建用于整个肿瘤图像分割的多模态2D网络；构建用于肿瘤核图像分割的多模态3D网络；构建用于增强肿瘤图像分割的另一多模态3D网络；
根据所述多模态2D网络、以及两种多模态3D网络对输入的3D核磁共振图像进行分割，将整个肿瘤图像分割结果、肿瘤核图像分割结果、以及增强肿瘤图像分割结果相加得到最终的肿瘤分割结果。
2.根据权利要求1所述的一种基于V-Net的多模态脑肿瘤图像精细分割的方法，其特征在于，所述多模态2D网络包括：
三个二维的V-Net结构，每个结构依次对应于3D核磁共振图像的轴向、矢向、以及冠向的视图；
二维的V-Net结构的输出有2个通道，分别代表整个肿瘤的分割结果图和背景的分割结果图。
3.根据权利要求1所述的一种基于V-Net的多模态脑肿瘤图像精细分割的方法，其特征在于，所述用于肿瘤核图像分割的多模态3D网络具体为：
整个肿瘤图像的分割结果用作附加输入，连同四种模态的MRI图像序列输入到核磁共振图像通道，以产生5通道级联输入；
多模态3D网络的输出是3通道张量，每个通道分别为第一背景的分割结果图，肿瘤核TC的分割结果图以及水肿的分割结果图。
4.根据权利要求1或4所述的一种基于V-Net的多模态脑肿瘤图像精细分割的方法，其特征在于，所述方法还包括：构建联合Dice损失函数，用于修正肿瘤核图像的边界。
5.根据权利要求4所述的一种基于V-Net的多模态脑肿瘤图像精细分割的方法，其特征在于，所述联合Dice损失函数具体为：
D＝DTC+α·DED
其中，α是可调系数，DTC是肿瘤核区域的Dice系数，DED是水肿区域的Dice系数。
6.根据权利要求1所述的一种基于V-Net的多模态脑肿瘤图像精细分割的方法，其特征在于，所述用于增强肿瘤图像分割的另一多模态3D网络具体为：
3D核磁共振图像以及肿瘤核图的分割结果图作为附加输入，输出是与输入相同大小的3通道图像块；
输出通道分别指第二背景的分割结果图，坏死/非增强肿瘤的分割结果图、增强肿瘤的分割结果图。
7.根据权利要求1所述的一种基于V-Net的多模态脑肿瘤图像精细分割的方法，其特征在于，所述方法还包括：构建另一联合Dice损失函数，用于修正增强肿瘤区域的边界。
8.根据权利要求7所述的一种基于V-Net的多模态脑肿瘤图像精细分割的方法，其特征在于，所述另一联合Dice损失函数具体为：
D＝DET+α·DNC
其中，α是可调系数，DET是增强肿瘤区域的Dice系数，DNC是坏死/非增强肿瘤区域的Dice系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910185867.1A CN110047080A (zh) | 2019-03-12 | 2019-03-12 | 一种基于V-Net的多模态脑肿瘤图像精细分割的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910185867.1A CN110047080A (zh) | 2019-03-12 | 2019-03-12 | 一种基于V-Net的多模态脑肿瘤图像精细分割的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110047080A true CN110047080A (zh) | 2019-07-23 |
Family
ID=67274654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910185867.1A Pending CN110047080A (zh) | 2019-03-12 | 2019-03-12 | 一种基于V-Net的多模态脑肿瘤图像精细分割的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110047080A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942464A (zh) * | 2019-11-08 | 2020-03-31 | 浙江工业大学 | 一种融合2维和3维模型的pet图像分割方法 |
| CN111046921A (zh) * | 2019-11-25 | 2020-04-21 | 天津大学 | 基于U-Net网络和多视角融合的脑肿瘤分割方法 |
| CN111080657A (zh) * | 2019-12-13 | 2020-04-28 | 北京小白世纪网络科技有限公司 | 基于卷积神经网络多维度融合的ct图像器官分割方法 |
| CN111179269A (zh) * | 2019-11-11 | 2020-05-19 | 浙江工业大学 | 一种基于多视图和3维卷积融合策略的pet图像分割方法 |
| CN111210444A (zh) * | 2020-01-03 | 2020-05-29 | 中国科学技术大学 | 多模态磁共振影像的分割方法、装置及介质 |
| CN111612754A (zh) * | 2020-05-15 | 2020-09-01 | 复旦大学附属华山医院 | 基于多模态图像融合的mri肿瘤优化分割方法及系统 |
| CN112837276A (zh) * | 2021-01-20 | 2021-05-25 | 重庆邮电大学 | 一种基于级联深度神经网络模型的脑胶质瘤分割方法 |
| CN113139964A (zh) * | 2020-01-20 | 2021-07-20 | 上海微创医疗器械（集团）有限公司 | 多模态图像分割方法、装置、电子设备和存储介质 |
| CN115937234A (zh) * | 2023-03-03 | 2023-04-07 | 北京智源人工智能研究院 | 基于预处理加速的肿瘤图像分割方法、装置和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201709672D0 (en) * | 2017-06-16 | 2017-08-02 | Ucl Business Plc | A system and computer-implemented method for segmenting an image |
| CN107403201A (zh) * | 2017-08-11 | 2017-11-28 | 强深智能医疗科技（昆山）有限公司 | 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法 |
| CN109035261A (zh) * | 2018-08-09 | 2018-12-18 | 北京市商汤科技开发有限公司 | 医疗影像处理方法及装置、电子设备及存储介质 |
| US20180374209A1 (en) * | 2017-06-27 | 2018-12-27 | General Electric Company | Material segmentation in image volumes |
| CN109271992A (zh) * | 2018-09-26 | 2019-01-25 | 上海联影智能医疗科技有限公司 | 一种医学图像处理方法、系统、装置和计算机可读存储介质 |
-
2019
- 2019-03-12 CN CN201910185867.1A patent/CN110047080A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201709672D0 (en) * | 2017-06-16 | 2017-08-02 | Ucl Business Plc | A system and computer-implemented method for segmenting an image |
| US20180374209A1 (en) * | 2017-06-27 | 2018-12-27 | General Electric Company | Material segmentation in image volumes |
| CN107403201A (zh) * | 2017-08-11 | 2017-11-28 | 强深智能医疗科技（昆山）有限公司 | 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法 |
| CN109035261A (zh) * | 2018-08-09 | 2018-12-18 | 北京市商汤科技开发有限公司 | 医疗影像处理方法及装置、电子设备及存储介质 |
| CN109271992A (zh) * | 2018-09-26 | 2019-01-25 | 上海联影智能医疗科技有限公司 | 一种医学图像处理方法、系统、装置和计算机可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| GUOTAI WANG，ET AL: "Automatic Brain Tumor Segmentation using Cascaded Anisotropic Convolutional Neural Networks", 《ARXIV》 * |
| RUI HUA，ET AL: "Multimodal Brain Tumor Segmentation Using Cascaded V-Nets" * |
| RUI HUA，ET AL: "Multimodal Brain Tumor Segmentation Using Cascaded V-Nets", 《INTERNATIONAL MICCAI BRAINLESION WORKSHOP》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942464A (zh) * | 2019-11-08 | 2020-03-31 | 浙江工业大学 | 一种融合2维和3维模型的pet图像分割方法 |
| CN111179269A (zh) * | 2019-11-11 | 2020-05-19 | 浙江工业大学 | 一种基于多视图和3维卷积融合策略的pet图像分割方法 |
| CN111179269B (zh) * | 2019-11-11 | 2023-07-11 | 浙江工业大学 | 一种基于多视图和三维卷积融合策略的pet图像分割方法 |
| CN111046921A (zh) * | 2019-11-25 | 2020-04-21 | 天津大学 | 基于U-Net网络和多视角融合的脑肿瘤分割方法 |
| CN111080657A (zh) * | 2019-12-13 | 2020-04-28 | 北京小白世纪网络科技有限公司 | 基于卷积神经网络多维度融合的ct图像器官分割方法 |
| CN111210444A (zh) * | 2020-01-03 | 2020-05-29 | 中国科学技术大学 | 多模态磁共振影像的分割方法、装置及介质 |
| CN113139964A (zh) * | 2020-01-20 | 2021-07-20 | 上海微创医疗器械（集团）有限公司 | 多模态图像分割方法、装置、电子设备和存储介质 |
| CN111612754B (zh) * | 2020-05-15 | 2023-04-07 | 复影(上海)医疗科技有限公司 | 基于多模态图像融合的mri肿瘤优化分割方法及系统 |
| CN111612754A (zh) * | 2020-05-15 | 2020-09-01 | 复旦大学附属华山医院 | 基于多模态图像融合的mri肿瘤优化分割方法及系统 |
| CN112837276A (zh) * | 2021-01-20 | 2021-05-25 | 重庆邮电大学 | 一种基于级联深度神经网络模型的脑胶质瘤分割方法 |
| CN112837276B (zh) * | 2021-01-20 | 2023-09-29 | 重庆邮电大学 | 一种基于级联深度神经网络模型的脑胶质瘤分割方法 |
| CN115937234A (zh) * | 2023-03-03 | 2023-04-07 | 北京智源人工智能研究院 | 基于预处理加速的肿瘤图像分割方法、装置和电子设备 |
| CN115937234B (zh) * | 2023-03-03 | 2023-05-30 | 北京智源人工智能研究院 | 基于预处理加速的肿瘤图像分割方法、装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110047080A (zh) | 一种基于V-Net的多模态脑肿瘤图像精细分割的方法 | |
| Işın et al. | Review of MRI-based brain tumor image segmentation using deep learning methods | |
| CN110097550B (zh) | 一种基于深度学习的医学图像分割方法及系统 | |
| CN112465827B (zh) | 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法 | |
| CN107506761A (zh) | 基于显著性学习卷积神经网络的脑部图像分割方法及系统 | |
| CN109754404A (zh) | 一种基于多注意力机制的端到端的肿瘤分割方法 | |
| CN109087318A (zh) | 一种基于优化U-net网络模型的MRI脑肿瘤图像分割方法 | |
| CN111340828A (zh) | 基于级联卷积神经网络的脑部胶质瘤分割 | |
| CN107748900A (zh) | 基于区分性卷积神经网络的乳腺肿瘤分类方法和装置 | |
| CN109360208A (zh) | 一种基于单程多任务卷积神经网络的医学图像分割方法 | |
| Vu et al. | Evaluation of multislice inputs to convolutional neural networks for medical image segmentation | |
| CN104834943A (zh) | 一种基于深度学习的脑肿瘤分类方法 | |
| CN104851101A (zh) | 一种基于深度学习的脑肿瘤自动分割方法 | |
| CN106408001A (zh) | 基于深度核哈希的感兴趣区域快速检测方法 | |
| CN103593674B (zh) | 一种颈部淋巴结超声图像特征选择方法 | |
| CN110706214B (zh) | 融合条件随机与残差的三维U-Net大脑肿瘤分割方法 | |
| CN110084823A (zh) | 基于级联各向异性fcnn的三维脑肿瘤图像分割方法 | |
| Sheng et al. | Second-order ResU-Net for automatic MRI brain tumor segmentation | |
| CN101699515B (zh) | 基于多精英免疫量子聚类的医学影像分割系统及分割方法 | |
| Li et al. | Brain tumor segmentation using 3D generative adversarial networks | |
| CN113628220A (zh) | 基于改进的U-Net网络对MRI脑肿瘤图像的分割方法及系统 | |
| Li et al. | A deeply supervised convolutional neural network for brain tumor segmentation | |
| Aledhari et al. | An adaptive segmentation technique to detect brain tumors using 2D Unet | |
| CN115861716B (zh) | 基于孪生神经网络和影像组学的胶质瘤分类方法及装置 | |
| CN116912253A (zh) | 基于多尺度混合神经网络的肺癌病理图像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190723 |
|
| WD01 | Invention patent application deemed withdrawn after publication |