CN111340828A - 基于级联卷积神经网络的脑部胶质瘤分割 - Google Patents
基于级联卷积神经网络的脑部胶质瘤分割 Download PDFInfo
- Publication number
- CN111340828A CN111340828A CN202010029445.8A CN202010029445A CN111340828A CN 111340828 A CN111340828 A CN 111340828A CN 202010029445 A CN202010029445 A CN 202010029445A CN 111340828 A CN111340828 A CN 111340828A
- Authority
- CN
- China
- Prior art keywords
- network
- segmentation
- image
- convolutional
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 85
- 201000007983 brain glioma Diseases 0.000 title claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 title claims description 14
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 44
- 238000010586 diagram Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 206010018338 Glioma Diseases 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 208000032612 Glial tumor Diseases 0.000 claims description 4
- 210000004556 brain Anatomy 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 210000005013 brain tissue Anatomy 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 18
- 238000013528 artificial neural network Methods 0.000 abstract description 7
- 208000003174 Brain Neoplasms Diseases 0.000 abstract description 6
- 238000012805 post-processing Methods 0.000 abstract description 5
- 230000010354 integration Effects 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 22
- 230000006870 function Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 11
- 239000000523 sample Substances 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000001338 necrotic effect Effects 0.000 description 2
- 239000013610 patient sample Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Abstract
本发明公开一种基于级联卷积神经网络的脑部胶质瘤分割方法，包括：对脑肿瘤区域进行一次粗分割，提取肿瘤的大概位置信息；在粗分割的基础上对每个维度扩展10个像素并作为细分割网络的输入；对细分割网络进行改进，使细分割网络结合了稠密连接、改进的损失函数和多维度模型集成的优点；设计三个方向(2D、2.5D和3DCNN模型)的集成模型，分别考虑与每个方向对应的不同分辨率的所有信息；后处理操作条件随机场被集成在分割算法中，优化分割结果在外观和空间位置上的连续性。本发明通过两步级联卷积神经网络对脑部胶质瘤进行分割，结合了稠密连接、新的损失函数和多维度模型集成的优点，同时设计了多个方向的集成模型，最后利用条件随机场优化分割结果。
Description
技术领域
本发明涉及基于级联卷积神经网络的脑部胶质瘤分割，属于医学图像处理领域。
背景技术
胶质瘤是最常见的脑部原发性恶性肿瘤，临床上，医生主要通过分析肿瘤图像来制定患者的治疗计划以及评估治疗效果。从医学图像中可以获取一些非入侵性的且容易得到的生物标记来描述肿瘤的状态和治疗反应，例如，肿瘤的轮廓特征、边界纹理、截面积和体积等，这些都是医生在制定治疗计划时必要的参考因素。肿瘤分类的第一步是对不同形态的肿瘤进行精准的分割，但目前分割的工作主要依靠人工实现，耗时且费力，并且可能导致有用信息的丢失，因此脑部胶质瘤的自动准确分割对临床医疗有着至关重要的意义。
目前基于深度学习的肿瘤分割算法中，大致可以分为两个不同的类型。，一类是采用3D-CNN的肿瘤分割网络，另一类通过2DCNN对MR图像的切片进行分割，之后将分割的结果组合成一个整体。这两类方法各有其优劣势，尽管3D-CNN可以充分地利用MRI数据潜在的3D信息，但是也会有网络规模和计算成本的增加(对硬件要求比较高)以及很难找到预训练的模型(3D数据集的数据量都比较少)等问题。而2D-CNN的思路是将图像按照2D的切片进行训练，将该任务转换成2D目标的分割，这样做的好处在于不需要太多的硬件资源，且能够进行预训练，因此尽管在训练模型的过程中可能存在损失信息的问题，这依旧是脑肿瘤分割方法中应用最广泛的方法
发明内容
发明目的：本发明目的在于针对现有技术的不足，提供一种基于级联卷积神经网络的脑部胶质瘤分割方法，该方法通过粗分割网络确定肿瘤的大概位置，在此基础上尽可能的对边界准确地划分，另外对每个维度的边界进行10个像素的扩展以确保所有的肿瘤都在候选框中，为下一步的精细分割提供更多的信息。同时，对模型进行了相应的改进，使该模型结合了稠密连接、新的损失函数和多维度模型集成的优点。设计三个方向(2D、2.5D和3DCNN模型)的集成模型，分别考虑与每个方向对应的不同分辨率的所有信息。进一步地，为了更多地利用到更多有用的信息，条件随机场被集成在基于深度学习的目标分割算法中，作为CNN的一个后处理步骤，用于优化分割结果在外观和空间位置上的连续性。
技术方案：本发明所述基于级联卷积神经网络的脑部胶质瘤分割方法，包括如下步骤：
(1)数据预处理，将图像进行归一化；不同模态的图像经过一个特定的网络层提取特征，并将各通道结果拼接起来；去除大量0值背景像素，且只选择有肿瘤数据存在的图像层作为训练数据；
(2)构建基于ResNet的粗分割网络，分别选取网络在不同尺度下的特征图，通过卷积和上采样操作得到与输入分辨率相同的预测值；将得到的这些预测图输入到一个卷积核大小为3×3的卷积层中得到最终的概率图；
(3)构建融合细分割网络，包括主体为U-Net类型的2.5D细分割网络和基于DenseNet的3D细分割网络，融合2.5D和3D细分割网络得到最终细分割网络；
(4)在每一次上采样阶段后加入注意力机制模块；将前级网络输出的尺寸为W×H×C的特征图通过全局池化转换为1×1×C的一个特征向量，并将特征向量与原来的特征图相乘；将前述相乘得到的特征图通过1×1×C的均值池化层生成一个W×H×1的注意力特征图，并将注意力图作为输出的特征图的权重；
(5)采用改进的DiceLoss损失函数，采用一个可调节权重w乘以DiceLoss函数分母中的A因子；对图像中的正样本以及负样本的像素点计算损失并对这些损失进行排序，选择其中损失最大的一部分数据进行反向传播，其余部分舍弃；
(6)采用形态学操作去除分割结果中体积较小的孤立区域；在3D的角度填补肿瘤分割结果中可能存在的空洞；统计分割结果中的连通域并取最大的两个作为最终结果，若第二大连通域小于最大连通域的10％则舍弃；采用DenseCRF对分割结果边缘进一步优化。
选取BraTS2018作为为脑部胶质瘤的数据集，每个样本包含四种模态(T1，T1ce，T2，Flair)的MR图像以及对应的一个肿瘤分割标签，其中训练集包括274个病人的样本，测试集包含53个样本。所有的数据都已经经过图像配准、头骨分离等前期的处理。
进一步完善上述技术方案，所述步骤(1)的预处理操作为：将图像进行归一化；不同模态的图像经过一个特定的网络层提取特征，并将各通道结果拼接起来；去除大量0值背景像素，且只选择有肿瘤数据存在的图像层作为训练数据。每个病例采样100个图像块，每个图像块的中心体素按照以下概率进行随机选取：正常组织占30％、肿瘤组织占70％。
进一步地，所述步骤(2)中构建基于ResNet的粗分割网络，将3D卷积核(3×3×3)拆分成两个不同方向的卷积核：x-y方向(3×3×1)以及z轴方向(1×1×3)，每一个输出后接一个批归一化层和激活层；分别选取网络在不同尺度下的特征图，通过卷积和上采样操作得到与输入分辨率相同的预测值；将得到的这些预测图输入到一个卷积核大小为3×3的卷积层中得到最终的概率图。
进一步地，所述步骤(3)中构建融合细分割网络为：包括2.5D细分割网络和3D细分割网络。2.5D细分割网络包括3个编码模块和3个解码模块，每个编码模块包含一个由卷积核为3×3×1的卷积层构成的稠密连接模块，一个卷积核为1×1×3的卷积层以及一个下采样层；在网络的解码阶段，加入了多尺度的上采样结构，使网络能够融合更多不同尺度下的特征。3D细分割网络是基于Densenet网络，其主要的区别在于：所有的输入图像、输出图像、卷积核等都为3D；训练3D网络时网络的参数和权重都经过调整；在网络的上采样阶段，引入DenseASPP的策略，利用带孔卷积和多分辨率的思想，融合不同尺寸的带孔卷积核得到的特征。
进一步地，所述步骤(4)中每一次上采样阶段后加入注意力机制模块；将前级网络输出的尺寸为W×H×C的特征图通过全局池化转换为1×1×C的一个特征向量，并将特征向量与原来的特征图相乘，赋予特征图通道间的不同权重；将前述相乘得到的特征图通过1×1×C的均值池化层生成一个W×H×1的注意力特征图，并将注意力图作为输出的特征图的权重。
进一步地，所述步骤(5)中采用改进的DiceLoss损失函数，表达式如下：
其中A和B分别代表算法分割的脑肿瘤区域和专家手动分割的真实脑肿瘤区域，w是一个可调节权重，调节假阳、假阴到合理的比例。
采用困难样本挖掘方法，分别对图像中的正样本以及负样本的每个像素点计算损失，并对这些损失进行排序，选择其中损失最大的一部分数据进行反向传播，其余部分舍弃。
进一步地，所述步骤(6)中通过形态学操作去除结果中一些体积较小的孤立区域；其次，在3D的角度上填补结果中肿瘤内部可能存在的孔洞；之后，计算结果中的最大连通域，通过统计分割图中的连通域，并取其中最大的两个作为最终的结果，若第二大的连通域小于最大的连通域的10％大小，则舍弃，这是假定所有的MR图像中最多同时包含2个独立的肿瘤，将一些小的疑似区域去除；最后，采用DenseCRF对结果的边缘进一步的优化。
本发明使用Adam算法作为优化算法，通过网络在验证集上的效果逐步调整网络的超参数如学习率(learningrate，lr)，迭代次数(Epoch)，激活函数，丢弃(dropout)比率，网络初始化方式等，确定一组最佳的超参数：lr＝0.01，Epoch＝25，dropout＝0.4，激活函数为PRELU。所有的程序都是基于Python语言，网络的构建与训练基于Pytorch平台，通过GPU进行并行计算，硬件环境则为NVIDIATESLAP40。
有益效果：1、设计了一个两步级联的CNN模型，可以是实现对MR图像中的脑部胶质瘤进行准确、高效地分割，在降低模型的复杂度的同时提高计算精度，降低计算成本。
2、通过引入稠密连接模块、多尺度采样模块以及注意力机制模块等，增强了网络对于不同感受野下的特征的学习能力，使网络能够在宏观上对目标的空间位置和外观、形状能够准确区分的同时保证了对目标细节位置特别是边缘的分割效果
3、通过一系列后处理操作如形态学处理、DenseCRF等，对分割结果中出现的小体积干扰项以及目标的边界进行相应的处理，改善分割结果中存在的一些小问题如有多个离散的小目标，分割目标中间存在空洞以及目标边缘在3D空间上不是特别光滑等问题，进一步提高分割效果。
附图说明
图1是本发明的实现流程框架图；
图2是目标分割流程图；
图3是四种模态MR图像以及标签；
图4是预处理模块；
图5是粗分割网络图；
图6是2.5D细分割网络图；
图7是3D细分割网络图；
图8是ASPP和DenseASPP模块；
图9是注意力机制图；
图10是不同网络分割结果图；
图11是部分分割结果与真实标签对比图。
具体实施方式
下面通过附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
实施实例1：本发明提供的基于级联卷积神经网络的脑部胶质瘤分割方法对脑部胶质瘤进行分割，具体操作按如下步骤进行：
1、选取数据集；
(1)BraTS2018
训练使用的数据集来自BraTS2018，其中包括四种类型的标签：其中红色区域是胶质瘤的坏死组织，绿色区域为水肿区域，未增强肿瘤通过蓝色进行标记，增强肿瘤则显示为黄色区域。将4种不同的组织组合成3个集合：(1)整个肿瘤(WT)，即所有类型的肿瘤组织；(2)肿瘤核心区(TC)，由坏死组织、未增强肿瘤和增强肿瘤组成；(3)肿瘤增强区(ET)，仅由增强肿瘤组成。此处采用的训练集包括274个病人的样本，每个样本包含四种模态的MR图像以及对应的一个肿瘤分割标签(如图3所示)，测试集包含53个样本。所有的数据都已经经过图像配准、头骨分离等前期的处理。
2、数据预处理
首先会对图像进行归一化的操作，常见的归一化方式为对图像中的每一个像素，减去该图像的均值，之后除以对应的标准差，使归一化后的图像能够服从均值为0的正态分布。其次在图像堆叠起来之前先分别对每个模态进行特征的提取，使送入网络时从不同模态的图像中提取到的特征形式基本一致。具体的，设计了一个如图4所示的网络，每一个模态的图像经过一个特定的网络层提取特征，最后将不同通道的结果拼接起来。
此外，为了减少无效的图像信息，去除脑组织周围大量的0值的背景像素，且只选择有肿瘤数据存在的图像层作为训练数据。每个病例采样100个图像块，每个图像块的中心体素按照以下概率进行随机选取：正常组织占30％、肿瘤组织占70％。
3、构建基于ResNet的粗分割网络
为了在保证训练效率的情况下尽可能地利用到MR图像中所有维度上的特征，将原本网络中的3D卷积核(3×3×3)拆分成两个不同方向的卷积核：x-y方向(3×3×1)以及z轴方向(1×1×3)以减少参数量，每一个输出后面都会接一个批归一化层和激活层。在网络中，顺序的卷积层在扩大感受野的同时能够提取到不同尺度的特征，其中浅层学习到的是代表局部的、简单的特征，而深层提取的是全局且抽象的特征。为了结合不同尺度下的特征，分别选取网络在不同尺度下的特征图，通过卷积和上采样操作得到与输入分辨率相同的预测值。最后，将得到的这些预测图输入到一个卷积核大小为3×3的卷积层中得到最终的概率图。粗分割网络如图5所示。
4、构建融合细分割网络
包括2.5D细分割网络和3D细分割网络(图6和图7分别是2.5D和3D细分割网络图)。2.5D细分割网络包括3个编码模块和3个解码模块，每个编码模块包含一个由卷积核为3×3×1的卷积层构成的稠密连接模块，一个卷积核为1×1×3的卷积层以及一个下采样层；在网络的解码阶段，加入了多尺度的上采样结构，使网络能够融合更多不同尺度下的特征。稠密连接模块在跳跃连接的基础上提出了一个更加稠密的连接方式：将每个层与之前的所有层直接连接，以实现特征重用的效果，网络的层间变换可以如下表示：
Xi＝Hi(X0，X1，...，Xi-1])
其中，Xi为网络中第i层的输出，Hi为对应的转换函数，包括卷积、RELU、BN等操作。
3D细分割网络是基于Densenet网络，主要区别在于：所有的输入图像、输出图像、卷积核等都为3D；训练3D网络时网络的参数和权重都经过调整；在网络的上采样阶段，引入DenseASPP的策略，利用带孔卷积和多分辨率的思想，融合不同尺寸的带孔卷积核得到的特征。ASPP可以表示为：
y＝H3，6(x)+H3，12(x)+H3，18(x)+H3，24(x)
其中，y表示模块的输出，x为输入的特征，Hi，j表示一个带孔卷积，i和j分别是卷积核的大小以及扩大倍数。
DenseASPP在此基础上对所有的带孔卷积进行密集连接：
其中，yi表示第i层的输出，
表示带孔卷积，k和di分别表示卷积核的大小以及第i层的扩大倍数。ASPP和DenseASPP结构如图8所示。
5、引入注意力机制模块
每一次上采样阶段后加入注意力机制模块；将前级网络输出的尺寸为W×H×C的特征图通过全局池化转换为1×1×C的一个特征向量，并将特征向量与原来的特征图相乘，赋予特征图通道间的不同权重；将前述相乘得到的特征图通过1×1×C的均值池化层生成一个W×H×1的注意力特征图，并将注意力图作为输出的特征图的权重。注意力机制模块如图9所示。
6、采用改进的DiceLoss损失函数，表达式如下：
其中A和B分别代表算法分割的脑肿瘤区域和专家手动分割的真实脑肿瘤区域，w是一个可调节权重，调节假阳、假阴到合理的比例。
采用困难样本挖掘方法，分别对图像中的正样本以及负样本的每个像素点计算损失，并对这些损失进行排序，选择其中损失最大的一部分数据进行反向传播，其余部分舍弃。
7、通过形态学操作去除结果中一些体积较小的孤立区域；其次，在3D的角度上填补结果中肿瘤内部可能存在的孔洞；之后，计算结果中的最大连通域，通过统计分割图中的连通域，并取其中最大的两个作为最终的结果，若第二大的连通域小于最大的连通域的10％大小，则舍弃，这是假定所有的MR图像中最多同时包含2个独立的肿瘤，将一些小的疑似区域去除；最后，采用DenseCRF对结果的边缘进一步的优化。
DenseCRF采用了针对任意图像的高效推断算法，模型中的二元势函数被定义成高斯核的线性组合，产生一种基于对CRF分布的平均场的近似。最终使模型在大量的边缘上达到亚线性的复杂度，模型的能量函数可以表示为：
其中，一元势函数
通过分类器对每一个像素进行单独运算。
是一个二元势函数，其表达式如下：
k(m)是一个高斯核，每一个核函数都具有一个对称、正定的精度矩阵，这里表示为∧(m)，于是有
向量fi，fj是像素i和j对应的在特征空间的向量，w(m)是一个线性组合的权重，u(xi，xj)是一个类别兼容性函数。
8、处理结果分析
本方法使用以下两种性能度量来量化处理结果，分别为：Dice值以及豪斯多夫(Hausdorff)距离。具体的，Dice值用于度量两个集合的相似性，表示的是真实标签和分割结果的交集与并集的比值。Hausdorff距离定义了一种距离用于度量空间中任意两个集合的差异，如果一个集合中的任一点都与另一个集合中某个点接近，那么这两个集合认为是在Hausdorff距离上是接近的。其定义如下：
其中，x，y是度量空间M中的两个非空子集，dH(X，Y)为Hausdorff距离，sup，inf分别表示上确界以及下确界。
表1展示了粗分割网络与级联网络在验证集上的效果：从表1中可以看出，通过设计一个细分割的网络可以较大幅度地提升网络的效果，证明级联网络的结果好于单个的粗分割网络。
表1.网络级联前后效果对比
不同网络的分割结果如图10所示，(a)粗分割网络结果(b)2.5D网络结果(c)3D网络结果(d)融合网络结果，其中绿色部分表示分割结果的假阴性，红色部分表示假阳性。
表2.级联网络在验证集上的结果
对三个不同的目标进行了分割，分割结果如表2所示，其中ET、WT、TC分别表示肿瘤的增强区域、整个肿瘤的区域以及肿瘤的核心区域。从结果中可以看出，网络对整个肿瘤的分割效果最好，Dice值达到0.9036，其标准差也较小，为0.057。最差的是肿瘤的增强区域，Dice值为0.788，标准差为0.23。Hausdorff距离可以从另一个角度来说明网络的分割效果，其中ET上表现最好，其次是WT。这个结果与之前的Dice值并不矛盾，三个区域的体积是WT＞TC＞ET，即使ET上分割的结果与标签差距较大，仍能够保证其位于WT区域中，因此在计算Hausdorff距离时，其值会相对偏小。另外，从结果中可以看出，WT上的Hausdorff距离要小于TC上的结果，且WT的体积最大，这直接表明了WT上的分割效果要优于TC上的结果，这一结论与之前从Dice中分析的结果相符。图11展示了部分分割结果和真实标签之间的差距，(a)～(f)分别是原始图像的一个切片、对应的真实标签、预测结果以及在ET、WT、TC上真实结果与预测结果的对比，其中绿色部分表示分割结果的假阴性，红色部分表示假阳性。
同时，对后处理的效果也进行了验证，从表2中可以看出，尽管两者的差距不是很大，后处理后的结果还是略有提升。其中，TC上基本没有提升，而在WT上提升相对较大，这说明了后处理操作在处理比较光滑、规则的目标是效果会更好，TC上效果没有提升的可能原因是目标外形不规则，以及与其他区域的对比度较低。
此外，将本发明方法与其他目前几种方法进行了比较，结果如表3所示，本方法各类指标都取得了较好的结果。
表3.不同算法在验证集上的结果对比
在本实施例中采用274个病人样本进行训练，在54个样本上测试，在整个肿瘤上Dice值达到了0.9036，通过后处理操作，Dice值进一步达到了0.9071。实验表明，本发明提出的基于级联卷积神经网络的脑部胶质瘤分割方法具有很好的分割性能。采用以上基于级联卷积神经网络的脑部胶质瘤分割方法所建立的分割模型可以对脑部胶质瘤进行自动分割，分割结果达到了较好的水平，这在医学领域上具有很重要的意义。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。
Claims (6)
1.基于级联卷积神经网络的脑部胶质瘤分割，其特征在于，包括如下步骤：
(1)数据预处理，将图像进行归一化；不同模态的图像经过一个特定的网络层提取特征，并将各通道结果拼接起来；去除大量0值背景像素，且只选择有肿瘤数据存在的图像层作为训练数据；
(2)构建基于ResNet的粗分割网络，分别选取网络在不同尺度下的特征图，通过卷积和上采样操作得到与输入分辨率相同的预测值；将得到的这些预测图输入到一个卷积核大小为3×3的卷积层中得到最终的概率图；
(3)构建融合细分割网络，包括主体为U-Net类型的2.5D细分割网络和基于DenseNet的3D细分割网络，融合2.5D和3D细分割网络得到最终细分割网络；
(4)在每一次上采样阶段后加入注意力机制模块；将前级网络输出的尺寸为W×H×C的特征图通过全局池化转换为1×1×C的一个特征向量，并将特征向量与原来的特征图相乘；将前述相乘得到的特征图通过1×1×C的均值池化层生成一个W×H×1的注意力特征图，并将注意力图作为输出的特征图的权重；
(5)采用改进的DiceLoss损失函数，采用一个可调节权重w乘以DiceLoss函数分母中的A因子；对图像中的正样本以及负样本的像素点计算损失并对这些损失进行排序，选择其中损失最大的一部分数据进行反向传播，其余部分舍弃；
(6)采用形态学操作去除分割结果中体积较小的孤立区域；在3D的角度填补肿瘤分割结果中可能存在的空洞；统计分割结果中的连通域并取最大的两个作为最终结果，若第二大连通域小于最大连通域的10％则舍弃；采用DenseCRF对分割结果边缘进一步优化。
2.根据权利要求1所述的基于级联卷积神经网络的脑部胶质瘤分割，其特征在于：所述步骤(1)的预处理操作为：对图像进行归一化的操作，图像中的每一个像素，减去该图像的均值，之后除以对应的标准差；在图像堆叠起来之前先分别对每个模态进行特征的提取，使送入网络时从不同模态的图像中提取到的特征形式基本一致；去除脑组织周围大量的0值的背景像素，且只选择有肿瘤数据存在的图像层作为训练数据，每个病例采样100个图像块，每个图像块的中心体素按照以下概率进行随机选取：正常组织占30％、肿瘤组织占70％。
3.根据权利要求1所述的基于级联卷积神经网络的脑部胶质瘤分割，其特征在于：所述步骤(2)中构建基于ResNet的粗分割网络为：将3D卷积核(3×3×3)拆分成两个不同方向的卷积核：x-y方向(3×3×1)以及z轴方向(1×1×3)，每一个输出后接一个批归一化层和激活层；分别选取网络在不同尺度下的特征图，通过卷积和上采样操作得到与输入分辨率相同的预测值；将得到的这些预测图输入到一个卷积核大小为3×3的卷积层中得到最终的概率图。
4.根据权利要求1所述的基于级联卷积神经网络的脑部胶质瘤分割，其特征在于：所述步骤(3)中构建融合细分割网络为：2.5D细分割网络包括3个编码模块和3个解码模块；每个编码模块包含一个由卷积核为3×3×1的卷积层构成的稠密连接模块，一个卷积核为1×1×3的卷积层以及一个下采样层，在网络的解码阶段，加入了多尺度的上采样结构，使网络能够融合更多不同尺度下的特征；3D细分割网络是基于Densenet网络，主要的区别在于：所有的输入图像、输出图像、卷积核等都是3D的；训练3D网络时网络的参数和权重都经过调整；在网络的上采样阶段，引入了DenseASPP的策略，通过多尺度的带孔卷积，实现网络多尺度特征的融合。
5.根据权利要求1所述的基于级联卷积神经网络的脑部胶质瘤分割，其特征在于：所述步骤(4)中在每一次上采样阶段后加入注意力机制模块；将前级网络输出的尺寸为W×H×C的特征图通过全局池化转换为1×1×C的一个特征向量，并将特征向量与原来的特征图相乘，赋予特征图通道间的不同权重；将前述相乘得到的特征图通过1×1×C的均值池化层生成一个W×H×1的注意.力特征图，并将注意力图作为输出的特征图的权重。
6.根据权利要求1所述的基于级联卷积神经网络的脑部胶质瘤分割，其特征在于：所述步骤(6)中通过形态学操作去除结果中一些体积较小的孤立区域；其次，在3D的角度上填补结果中肿瘤内部可能存在的孔洞；之后，计算结果中的最大连通域，通过统计分割图中的连通域，并取其中最大的两个作为最终的结果，若第二大的连通域小于最大的连通域的10％大小，则舍弃，这是假定所有的MR图像中最多同时包含2个独立的肿瘤，将一些小的疑似区域去除；最后，采用DenseCRF对结果边缘进一步的优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010029445.8A CN111340828A (zh) | 2020-01-10 | 2020-01-10 | 基于级联卷积神经网络的脑部胶质瘤分割 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010029445.8A CN111340828A (zh) | 2020-01-10 | 2020-01-10 | 基于级联卷积神经网络的脑部胶质瘤分割 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111340828A true CN111340828A (zh) | 2020-06-26 |
Family
ID=71181454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010029445.8A Pending CN111340828A (zh) | 2020-01-10 | 2020-01-10 | 基于级联卷积神经网络的脑部胶质瘤分割 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340828A (zh) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738363A (zh) * | 2020-07-24 | 2020-10-02 | 温州大学 | 基于改进的3d cnn网络的阿尔茨海默病分类方法 |
| CN112085736A (zh) * | 2020-09-04 | 2020-12-15 | 厦门大学 | 一种基于混维卷积的肾肿瘤分割方法 |
| CN112200811A (zh) * | 2020-10-27 | 2021-01-08 | 西北工业大学深圳研究院 | 一种采用跨序列核磁共振图像生成改进胶质瘤分割方法 |
| CN112200791A (zh) * | 2020-10-17 | 2021-01-08 | 黄传波 | 基于U-Net架构的深度残差网络的脑肿瘤分割方法 |
| CN112215850A (zh) * | 2020-08-21 | 2021-01-12 | 天津大学 | 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法 |
| CN112258526A (zh) * | 2020-10-30 | 2021-01-22 | 南京信息工程大学 | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 |
| CN112330645A (zh) * | 2020-11-11 | 2021-02-05 | 复旦大学 | 基于注意力机制的胶质瘤分级方法以及装置 |
| CN112329878A (zh) * | 2020-11-16 | 2021-02-05 | 山西三友和智慧信息技术股份有限公司 | 一种基于卷积神经网络的卫星图像移动物体滑窗检测方法 |
| CN112365496A (zh) * | 2020-12-02 | 2021-02-12 | 中北大学 | 基于深度学习和多引导的多模态mr影像脑肿瘤分割方法 |
| CN112529918A (zh) * | 2020-12-23 | 2021-03-19 | 沈阳东软智能医疗科技研究院有限公司 | 一种脑部ct图像中脑室区域分割的方法、装置及设备 |
| CN112669327A (zh) * | 2020-12-25 | 2021-04-16 | 上海交通大学 | 磁共振图像分割系统及其分割方法 |
| CN112767417A (zh) * | 2021-01-20 | 2021-05-07 | 合肥工业大学 | 一种基于级联U-Net网络的多模态图像分割方法 |
| CN112837276A (zh) * | 2021-01-20 | 2021-05-25 | 重庆邮电大学 | 一种基于级联深度神经网络模型的脑胶质瘤分割方法 |
| CN112862830A (zh) * | 2021-01-28 | 2021-05-28 | 陕西师范大学 | 一种多模态图像分割方法、系统、终端及可读存储介质 |
| CN113011499A (zh) * | 2021-03-22 | 2021-06-22 | 安徽大学 | 一种基于双注意力机制的高光谱遥感图像分类方法 |
| CN113112465A (zh) * | 2021-03-31 | 2021-07-13 | 上海深至信息科技有限公司 | 一种颈动脉内中膜分割模型的生成系统及方法 |
| CN113139627A (zh) * | 2021-06-22 | 2021-07-20 | 北京小白世纪网络科技有限公司 | 纵隔肿物识别方法、系统及装置 |
| CN113269764A (zh) * | 2021-06-04 | 2021-08-17 | 重庆大学 | 颅内动脉瘤自动分割方法、系统、样本处理及模型训练方法 |
| CN113902758A (zh) * | 2021-10-14 | 2022-01-07 | 吉林大学 | 一种基于双路径胶囊网络的脑部mr图像分割方法 |
| CN114266794A (zh) * | 2022-02-28 | 2022-04-01 | 华南理工大学 | 基于全卷积神经网络的病理切片图像癌症区域分割系统 |
| CN114913169A (zh) * | 2022-06-10 | 2022-08-16 | 浙江大学 | 一种新生儿坏死性小肠结肠炎筛查系统 |
| CN115082500A (zh) * | 2022-05-31 | 2022-09-20 | 苏州大学 | 基于多尺度与局部特征引导网络的角膜神经纤维分割方法 |
| US11694301B2 (en) * | 2020-09-30 | 2023-07-04 | Alibaba Group Holding Limited | Learning model architecture for image data semantic segmentation |
| CN117690096A (zh) * | 2024-02-04 | 2024-03-12 | 成都中轨轨道设备有限公司 | 一种适应不同场景的接触网安全巡检系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107644419A (zh) * | 2017-09-30 | 2018-01-30 | 百度在线网络技术（北京）有限公司 | 用于分析医学影像的方法和装置 |
| US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
| CN109993735A (zh) * | 2019-03-29 | 2019-07-09 | 成都信息工程大学 | 基于级联卷积的图像分割方法 |
| CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
-
2020
- 2020-01-10 CN CN202010029445.8A patent/CN111340828A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107644419A (zh) * | 2017-09-30 | 2018-01-30 | 百度在线网络技术（北京）有限公司 | 用于分析医学影像的方法和装置 |
| US10304193B1 (en) * | 2018-08-17 | 2019-05-28 | 12 Sigma Technologies | Image segmentation and object detection using fully convolutional neural network |
| CN109993735A (zh) * | 2019-03-29 | 2019-07-09 | 成都信息工程大学 | 基于级联卷积的图像分割方法 |
| CN110276721A (zh) * | 2019-04-28 | 2019-09-24 | 天津大学 | 基于级联残差卷积神经网络的图像超分辨率重建方法 |
| US10482603B1 (en) * | 2019-06-25 | 2019-11-19 | Artificial Intelligence, Ltd. | Medical image segmentation using an integrated edge guidance module and object segmentation network |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738363A (zh) * | 2020-07-24 | 2020-10-02 | 温州大学 | 基于改进的3d cnn网络的阿尔茨海默病分类方法 |
| CN112215850A (zh) * | 2020-08-21 | 2021-01-12 | 天津大学 | 一种带注意力机制的级联空洞卷积网络脑肿瘤分割方法 |
| CN112085736A (zh) * | 2020-09-04 | 2020-12-15 | 厦门大学 | 一种基于混维卷积的肾肿瘤分割方法 |
| CN112085736B (zh) * | 2020-09-04 | 2024-02-02 | 厦门大学 | 一种基于混维卷积的肾肿瘤分割方法 |
| US11694301B2 (en) * | 2020-09-30 | 2023-07-04 | Alibaba Group Holding Limited | Learning model architecture for image data semantic segmentation |
| CN112200791A (zh) * | 2020-10-17 | 2021-01-08 | 黄传波 | 基于U-Net架构的深度残差网络的脑肿瘤分割方法 |
| CN112200791B (zh) * | 2020-10-17 | 2022-11-29 | 济宁学院 | 基于U-Net架构的深度残差网络的脑肿瘤分割方法 |
| CN112200811A (zh) * | 2020-10-27 | 2021-01-08 | 西北工业大学深圳研究院 | 一种采用跨序列核磁共振图像生成改进胶质瘤分割方法 |
| CN112258526A (zh) * | 2020-10-30 | 2021-01-22 | 南京信息工程大学 | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 |
| CN112258526B (zh) * | 2020-10-30 | 2023-06-27 | 南京信息工程大学 | 一种基于对偶注意力机制的ct肾脏区域级联分割方法 |
| CN112330645A (zh) * | 2020-11-11 | 2021-02-05 | 复旦大学 | 基于注意力机制的胶质瘤分级方法以及装置 |
| CN112329878A (zh) * | 2020-11-16 | 2021-02-05 | 山西三友和智慧信息技术股份有限公司 | 一种基于卷积神经网络的卫星图像移动物体滑窗检测方法 |
| CN112365496A (zh) * | 2020-12-02 | 2021-02-12 | 中北大学 | 基于深度学习和多引导的多模态mr影像脑肿瘤分割方法 |
| CN112365496B (zh) * | 2020-12-02 | 2022-03-29 | 中北大学 | 基于深度学习和多引导的多模态mr影像脑肿瘤分割方法 |
| CN112529918A (zh) * | 2020-12-23 | 2021-03-19 | 沈阳东软智能医疗科技研究院有限公司 | 一种脑部ct图像中脑室区域分割的方法、装置及设备 |
| CN112529918B (zh) * | 2020-12-23 | 2024-02-27 | 沈阳东软智能医疗科技研究院有限公司 | 一种脑部ct图像中脑室区域分割的方法、装置及设备 |
| CN112669327A (zh) * | 2020-12-25 | 2021-04-16 | 上海交通大学 | 磁共振图像分割系统及其分割方法 |
| CN112669327B (zh) * | 2020-12-25 | 2023-02-14 | 上海交通大学 | 磁共振图像分割系统及其分割方法 |
| CN112767417B (zh) * | 2021-01-20 | 2022-09-13 | 合肥工业大学 | 一种基于级联U-Net网络的多模态图像分割方法 |
| CN112837276B (zh) * | 2021-01-20 | 2023-09-29 | 重庆邮电大学 | 一种基于级联深度神经网络模型的脑胶质瘤分割方法 |
| CN112767417A (zh) * | 2021-01-20 | 2021-05-07 | 合肥工业大学 | 一种基于级联U-Net网络的多模态图像分割方法 |
| CN112837276A (zh) * | 2021-01-20 | 2021-05-25 | 重庆邮电大学 | 一种基于级联深度神经网络模型的脑胶质瘤分割方法 |
| CN112862830A (zh) * | 2021-01-28 | 2021-05-28 | 陕西师范大学 | 一种多模态图像分割方法、系统、终端及可读存储介质 |
| CN112862830B (zh) * | 2021-01-28 | 2023-12-22 | 陕西师范大学 | 一种多模态图像分割方法、系统、终端及可读存储介质 |
| CN113011499A (zh) * | 2021-03-22 | 2021-06-22 | 安徽大学 | 一种基于双注意力机制的高光谱遥感图像分类方法 |
| CN113112465A (zh) * | 2021-03-31 | 2021-07-13 | 上海深至信息科技有限公司 | 一种颈动脉内中膜分割模型的生成系统及方法 |
| CN113269764A (zh) * | 2021-06-04 | 2021-08-17 | 重庆大学 | 颅内动脉瘤自动分割方法、系统、样本处理及模型训练方法 |
| CN113139627B (zh) * | 2021-06-22 | 2021-11-05 | 北京小白世纪网络科技有限公司 | 纵隔肿物识别方法、系统及装置 |
| CN113139627A (zh) * | 2021-06-22 | 2021-07-20 | 北京小白世纪网络科技有限公司 | 纵隔肿物识别方法、系统及装置 |
| CN113902758A (zh) * | 2021-10-14 | 2022-01-07 | 吉林大学 | 一种基于双路径胶囊网络的脑部mr图像分割方法 |
| CN114266794A (zh) * | 2022-02-28 | 2022-04-01 | 华南理工大学 | 基于全卷积神经网络的病理切片图像癌症区域分割系统 |
| CN115082500B (zh) * | 2022-05-31 | 2023-07-11 | 苏州大学 | 基于多尺度与局部特征引导网络的角膜神经纤维分割方法 |
| CN115082500A (zh) * | 2022-05-31 | 2022-09-20 | 苏州大学 | 基于多尺度与局部特征引导网络的角膜神经纤维分割方法 |
| CN114913169A (zh) * | 2022-06-10 | 2022-08-16 | 浙江大学 | 一种新生儿坏死性小肠结肠炎筛查系统 |
| CN117690096A (zh) * | 2024-02-04 | 2024-03-12 | 成都中轨轨道设备有限公司 | 一种适应不同场景的接触网安全巡检系统 |
| CN117690096B (zh) * | 2024-02-04 | 2024-04-12 | 成都中轨轨道设备有限公司 | 一种适应不同场景的接触网安全巡检系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340828A (zh) | 基于级联卷积神经网络的脑部胶质瘤分割 | |
| CN109829918B (zh) | 一种基于密集特征金字塔网络的肝脏图像分割方法 | |
| Bai et al. | Nhl pathological image classification based on hierarchical local information and googlenet-based representations | |
| An et al. | Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model | |
| CN112216371B (zh) | 多路多尺度并联编解码网络图像分割方法、系统及介质 | |
| Soleymanifard et al. | Multi-stage glioma segmentation for tumour grade classification based on multiscale fuzzy C-means | |
| CN114821052A (zh) | 基于自调节策略的三维脑肿瘤核磁共振图像分割方法 | |
| Sun et al. | 3d segmentation of pulmonary nodules based on multi-view and semi-supervised | |
| CN115496720A (zh) | 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备 | |
| Tan et al. | Automatic liver segmentation using 3D convolutional neural networks with a hybrid loss function | |
| Glotsos et al. | Automated diagnosis of brain tumours astrocytomas using probabilistic neural network clustering and support vector machines | |
| Tran et al. | Fully convolutional neural network with attention gate and fuzzy active contour model for skin lesion segmentation | |
| He et al. | Segmentation ability map: Interpret deep features for medical image segmentation | |
| Huang et al. | Segmentation of cell images based on improved deep learning approach | |
| CN115661165A (zh) | 基于增强注意力的编解码网络胶质瘤融合分割系统及方法 | |
| Barzegar et al. | A reliable ensemble-based classification framework for glioma brain tumor segmentation | |
| CN113344933B (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
| Zhang et al. | Segmentation of brain tumor MRI image based on improved attention module Unet network | |
| CN111667488B (zh) | 一种基于多角度U-Net的医学图像分割方法 | |
| Xiang et al. | Segmentation method of multiple sclerosis lesions based on 3D‐CNN networks | |
| Khan et al. | Deep-Net: Fine-Tuned Deep Neural Network Multi-Features Fusion for Brain Tumor Recognition | |
| Maiti et al. | Detection of skin cancer using neural architecture search with model quantization | |
| Zhang et al. | Multi-scale pulmonary nodule classification with deep feature fusion via residual network | |
| CN116452619A (zh) | 一种基于高分辨率网络与边界增强的mri图像分割方法 | |
| Wu et al. | Semiautomatic segmentation of glioma on mobile devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200626 |