CN112529886B - 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法 - Google Patents
一种基于Attention DenseUNet的MRI神经胶质瘤分割方法 Download PDFInfo
- Publication number
- CN112529886B CN112529886B CN202011507936.5A CN202011507936A CN112529886B CN 112529886 B CN112529886 B CN 112529886B CN 202011507936 A CN202011507936 A CN 202011507936A CN 112529886 B CN112529886 B CN 112529886B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- mri
- training
- data
- glioma
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 53
- 208000032612 Glial tumor Diseases 0.000 title claims abstract description 29
- 206010018338 Glioma Diseases 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 60
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 4
- 230000035945 sensitivity Effects 0.000 claims description 29
- 238000012360 testing method Methods 0.000 claims description 24
- 238000012795 verification Methods 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 210000005013 brain tissue Anatomy 0.000 claims description 4
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 claims description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 4
- 201000010099 disease Diseases 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 14
- 208000003174 Brain Neoplasms Diseases 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 4
- 230000008859 change Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010017711 Gangrene Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 206010072360 Peritumoural oedema Diseases 0.000 description 1
- 241000700159 Rattus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 201000007983 brain glioma Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供了一种基于Attention DenseUNet的MRI神经胶质瘤分割方法，选取数据集，并构建卷积神经网络，利用构建好的卷积神经网络训练神经胶质瘤MRI分割模型，得到MRI数据肿瘤分割结果；通过视觉观察与重叠率等评价指标对分割结果进行评价；本发明实现了MRI数据神经胶质瘤的精准自动化分割，能够快速处理大量神经胶质瘤数据分割任务，通过对脑肿瘤的参数进行测量，确定肿瘤的生长状态和变化过程，有助于治疗过程中对脑肿瘤进行定量分析和跟踪比较。
Description
技术领域
本发明涉及医学图像处理领域，尤其是一种基于卷积神经网络的医学图像分割方法。
背景技术
目前临床上大多使用MRI对神经胶质瘤作为前期诊断，通过相关领域专家进行手动分割，耗时耗力且存在主管差异。并且由于医生的经验以及主观因素，分割结果都会因人而异。寻找鲁棒性好、准确率高的自动分割方法仍是医学图像分割的研究方向之一。目前存在多种自动分割方法，有基于区域的分割方法，如区域生长、聚类等；有基于边缘的分割方法，如边缘检测、活动轮廓模型等。然而这几类传统的分割方法或者粗在存在耗时过长、鲁棒性较差、抗噪声能力较弱等缺陷，或者需要一些手动标注初始值，难以应用到MRI神经胶质瘤的自动分割方法中。
基于卷积神经网络的自动分割技术是一种有效的分割方法，它是在神经网络的基础上发展而来，是一种前馈神经网络，由具有学习权重和偏差的神经元组成。目前，大部分应用于医学图像分割邻域的神经网络结构都是在编码解码结构的基础上发展而来的。这类医学图像分割方法往往通过加深网络层数和加宽网络结构来提升网络性能,容易造成MRI脑肿瘤图像全局信息的丢失，而且太多的卷积，池化的过程会导致网络浅层的部分信息丢失，缺少特征复用，从而造成分割结果存在偏差，精确度不高等问题。另外，大多数神经胶质瘤分割方法通过一些公开数据集测试分割结果与数据集标签的重叠率来评价分割方法的效果，评价方法相对单一。
发明内容
为了克服现有技术的不足，本发明提供一种基于Attention DenseUNet的MRI神经胶质瘤分割方法，本发明旨在提出一种能够充分利用神经胶质瘤MRI多种模态信息，能够充分利用特征信息以避免梯度消失，能够利用注意力机制抑制无关背景区域的特征响应的基于卷积神经网络的MRI神经胶质瘤分割方法。另外，本发明以综合重叠率、精确率、灵敏度和平均Hausdorff距离等多种评价方法来检验分割算法的性能为另一目的，旨在通过评价方法来调整分割方法以实现更好的分割效果。
本发明解决其技术问题所采用的技术方案包括如下步骤：
第一步：选取BRATS 2018数据集，按比例分为训练集、验证集和测试集；BRATS2018数据集共有4个模态FLAIR、T1、T1c和T2，选择4个模态的数据作为卷积神经网络模型的输入图像；将三维多模态MRI沿轴向切片化，在得到的切片图像中，位于三维MRI数据边缘的切片没有涉及到脑组织，具体表现为整个切片图像上的像素点数值均为零，将切片从训练集与验证集中去除；在相同序列的切片上进行数据标准化，标准化的处理为将数据按照(具体位置的体素值-非零区域的均值)/非零区域的均值)进行计算，并将切片随机裁剪为正方形的图像块；通过切片和数据标准化步骤，三维MRI数据被转化成二维图像块，其中多模态的训练集与验证集的二维图像块用于分割网络的训练与验证，测试集的二维图像块用于最终测试分割模型的效果，并可用重叠率(Dice)、精确率(Precision)、灵敏度(Sensitivity)以及平均Hausdorff距离进行评价；
第二步：构建卷积神经网络；
选择Unet编码-解码网络作为卷积神经网络的主干结构(backbone)，其中包含一条下采样的编码网络、一条上采样的解码网络以及编码-解码网络之间的跳跃连接；采用密集块(denseblock)作为编码-解码网络中的每层的卷积，当每个密集块的深度为4时，训练得到的分割模型在评价指标上具有良好表现；密集块中所有先前卷积层的输出都添加到随后的卷积层，每个卷积层的输出通过BN(Batch Normalization)层进行批量归一化后，再通过ReLU激活函数非线性处理后输入下个卷积层；编码网络中，每一个编码层包含一个密集块与一个最大池化层，最大池化层在密集块之后，步长为固定的2×2；解码网络中每一个解码层包含一个密集块与一个上采样层，上采样层在密集块之后，步长为固定的2×2，与跳跃连接结合恢复图像尺寸；在跳跃链接上使用注意力门(Attention Gates)抑制无关背景区域的特征响应；
第三步：利用构建好的卷积神经网络训练神经胶质瘤MRI分割模型；
将第一步中训练集与验证集的160×160的图像输入卷积神经网络进行训练，优化器选择的自适应距估计(adam优化器)，损失函数是利用dice系数与二分类损失熵转化的二分类损失函数，精确度(accuracy)采用iou(交并比)；设置最大训练迭代次数大于300次，当训练的模型超过30个迭代次数后精确度不再提高时，终止训练，得到最终的分割模型；通过得到的分割模型对第一步中的测试集中的MRI数据的图像进行分割，直接预测得到MRI数据肿瘤分割结果；
第四步：通过视觉观察与重叠率等评价指标对分割结果进行评价；
将得到分割结果与测试集的groundtruth相对比，观察分割结果中是否存在groundtruth中不存在的错误分割与噪声；分别计算分割结果与groundtruth之间的重叠率(Dice)、精确率(Precision)、灵敏度(Sensitivity)以及平均Hausdorff距离，并根据指标评价所设计算法的性能。
所述第一步中，正方形图像块尺寸大于64×64并且小于原始切片尺寸。
所述构建卷积神经网络中，使用BRATS 2018数据集时，网络每个卷积层输出通道为64且卷积核大小为3×3；
所述训练集、验证集和测试集按8：1：1比例划分。
所述的重叠率(Dice)、精确率(Precision)、灵敏度(Sensitivity)以及平均Hausdorff距离的计算方法如下：
X和Y分别表示分割结果与Groundtruth；TP为分割结果中被正确预测的肿瘤区域；TN为分割结果中被正确预测的健康区域；FP为分割结果中被错误预测为肿瘤区域的健康区域；FN为分割结果中被错误预测为健康区域的肿瘤区域；
重叠率(Dice)是一种集合相似度度量函数，用于计算两个样本的相似度，取值范围为[0,1]，计算公式如式(1)所示：
式中，s为重叠率，|X∩Y|为X和Y之间的交集；|X|和|Y|分别表示X和Y的元素个数；
精确率P(Precision)表示预测为正的样本中有多少是对的，一种是把正类预测为正类(TP)，另一种把负类预测为正类(FP)，精确率P的计算公式如式(2)所示：
灵敏度Sensitivity是针对病症的敏感程度，灵敏度Sensitivity的计算公式如式(3)所示：
平均Hausdorff距离如式(4)所示：
Δp(A，B)＝max{GDp(A，B)，IGDp(A，B)} (4)
对于有限集A，平均Hausdorff距离△p看做代际距离(GenerationalDistance，GD)和倒置代际距离(Inverted Generational Distance，IGD)的变化组成，其中A和B为分割结果与Groundtruth，a和b为分割结果中的点与Groundtruth中的点，d为点到集合的距离。
本发明的有益效果在于由于采用了卷积神经网络技术方案，通过在现有数据集上训练Attention DenseUNet分割模型，实现了MRI数据神经胶质瘤的精准自动化分割，能够快速处理大量神经胶质瘤数据分割任务。对临床上肿瘤分割任务耗时长，医师主观性因素影响大等问题提供了解决方案。并通过对脑肿瘤的位置、大小等参数进行测量，确定肿瘤的生长状态和变化过程，有助于治疗过程中对脑肿瘤进行定量分析和跟踪比较。
附图说明
图1是本发明基于Attention DenseUNet网络的整体卷积神经网络结构图。
图2是编码-解码网络中的每层的密集卷积块的具体内部结构图。
图3为注意力门的具体内部结构图，用于抑制跳跃连接中无关背景区域的特征响应。
图4为训练过程中，训练集误差与验证集误差随训练次数的变化。
图5为以RATS 2018数据集为例，实例分割的分割结果,图5(a)为.Groundtruth分割结果，图5(b)为DenseUnet分割结果。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
以BRATS 2018数据集为例，本发明所提出的基于Attention DenseUNet的MRI神经胶质瘤分割方法得到的分割结果，如图5所示，图中有浮肿区域(ED，peritumoral edema)、增强肿瘤区域(标签4)、坏疽(NET，non-enhancing tumor)。对应到评价的3个区域，WT为ED，ET和NET的组合；TC为ET和NET的组合。可以看出，Attention DenseUNet模型能够将脑肿瘤的区域准确分割出来，分割结果接近Groundtruth，分割得到的边缘光滑，得到的误差噪点少。
为实现上述目的，本发明提出了一种高效的神经胶质瘤MRI分割方法。
第一步：选取BRATS 2018数据集，按8：1：1比例分为训练集、验证集和测试集。MRI数据具有多种模态，不同模态为分割模型的训练过程提供不同的组织对比信息，常用的标准MRI模态有FLAIR、T1和T2，BRATS 2018数据集共有FLAIR、T1、T1c、T2共4个模态，选择这4个模态的数据作为卷积神经网络模型的输入图像；将三维多模态MRI沿轴向切片化，在得到的切片图像中，位于三维MRI数据边缘的切片没有涉及到脑组织，具体表现为整个切片图像上的像素点数值均为零，将这些切片从训练集与验证集中去除；在相同序列的切片上进行数据标准化，标准化的处理为将数据按照(具体位置的体素值-非零区域的均值)/非零区域的均值)进行计算，并将切片随机裁剪为正方形的图像块，图像块尺寸越小，随机裁剪出的图像块越多，能够提供给分割模型训练过程的数据越多，能够有效防止模型过拟合，但一个图像块通过卷积层时的视野域越小；图像块尺寸越大，图像块通过卷积层时的视野域越大，有助于卷积层提取图像特征，但能够提供给分割模型训练过程的数据越少。该方法实现过程中，经过测试选择图像块尺寸为160×160，具体实现时可以此为参考，也可在一定范围内修改。但应大于64×64(否则编码网络输出的特征图尺寸过小)并且小于原始切片尺寸；通过切片和数据标准化步骤，三维MRI数据被转化成二维图像块，其中多模态的训练集与验证集的二维图像块用于分割网络的训练与验证，测试集的二维图像块用于最终测试分割模型的效果，并可用重叠率(Dice)、精确率(Precision)、灵敏度(Sensitivity)以及平均Hausdorff距离进行评价；
第二步：构建卷积神经网络；
选择Unet编码-解码网络作为卷积神经网络的主干结构(backbone)，其中包含一条下采样的编码网络、一条上采样的解码网络以及编码-解码网络之间的跳跃连接；采用密集块(denseblock)作为编码-解码网络中的每层的卷积，当每个密集块的深度为4时(密集块中网络层能重复利用前层中提取的特征，增加密集块深度能够提高密集快的非线性能力。但密集块中每一层网络的输入都比前层更多，密集块深度每增加一层对于计算机的硬件要求都会明显增加。在该方法整体的参数设置及数据集条件下，深度为4时效果最好。对于不同数据集及参数设置，也可调整为3)，训练得到的分割模型在评价指标上具有良好表现；密集块中所有先前卷积层的输出都添加到随后的卷积层，每个卷积层的输出通过BN(Batch Normalization)层进行批量归一化后，再通过ReLU激活函数非线性处理后输入下个卷积层，通过密集连接能够促进渐变，使网络学习更准确的图像特征；编码网络中，每一个编码层包含一个密集块与一个最大池化层，最大池化层在密集块之后，步长为固定的2×2，作用为降低图像尺寸，聚焦图像特征；解码网络中每一个解码层包含一个密集块与一个上采样层，上采样层在密集块之后，步长为固定的2×2，作用时在图像中定位特征，与跳跃连接结合恢复图像尺寸；在跳跃链接上使用注意力门(Attention Gates)抑制无关背景区域的特征响应；使用BRATS 2018数据集时，网络每个卷积层输出通道为64且卷积核大小为3×3时(3×3是最小的能够捕获像素八邻域信息的尺寸，且相比于更大尺寸的卷积，堆叠多个3×3尺寸的卷积相比一个5×5或7×7卷积层，能够以更小的参数获得相同的视野域和非线性能力，所以实现该方法时卷积核大小最好保持为3×3不变。实验测试通道数通常设置为2的幂次方，相比于32以及128，在该方法整体的参数设置及数据集条件下通道数为64时分割模型表现更好(具体实现也可根据数据集以及计算机条件以进行调整)，最终训练得到的分割模型具有良好表现。
第三步：利用构建好的卷积神经网络训练神经胶质瘤MRI分割模型；
将第一步中训练集与验证集的160×160的图像输入卷积神经网络进行训练，优化器选择的自适应距估计(adam优化器)，损失函数是利用dice系数与二分类损失熵转化的二分类损失函数，精确度(accuracy)采用iou(交并比)；设置最大训练迭代次数大于300次，当训练的模型超过30个迭代次数后精确度不再提高时，终止训练，得到最终的分割模型；通过得到的分割模型对第一步中的测试集中的MRI数据进行测试，直接预测得到MRI数据肿瘤分割结果；
第四步：通过视觉观察与重叠率等评价指标对分割结果进行评价；
将得到分割结果与测试集的groundtruth相对比，观察分割结果中是否存在groundtruth中不存在的错误分割与噪声；分别计算分割结果与groundtruth之间的重叠率(Dice)、精确率(Precision)、灵敏度(Sensitivity)以及平均Hausdorff距离，并根据这些指标评价所设计算法的性能。
所述的重叠率(Dice)、精确率(Precision)、灵敏度(Sensitivity)以及平均Hausdorff距离的计算方法如下：
通过下列指标对分割算法进行评估。其中，X和Y分别表示分割结果与Groundtruth；TP为分割结果中被正确预测的肿瘤区域；TN为分割结果中被正确预测的健康区域；FP为分割结果中被错误预测为肿瘤区域的健康区域；FN为分割结果中被错误预测为健康区域的肿瘤区域。
重叠率(Dice)是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围为[0,1]，数值越大，说明待评价结果与groundtruth越接近，分割效果越好，如式(1)所示：
式中，s为重叠率，|X∩Y|为X和Y之间的交集；|X|和|Y|分别表示X和Y的元素个数，其中，分母存在重复计算X和Y之间共同元素的问题，所以分子系数为2。
精确率P(Precision)是针对预测结果而言的，它表示的是预测为正的样本中有多少是对的，其数值越大代表越精确。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)，精确率P的计算公式如式(2)所示：
灵敏度Sensitivity是针对病症的敏感程度，检测出来的结果越大，说明对病症越敏感，灵敏度Sensitivity的计算公式如式(3)所示：
平均Hausdorff距离是量度度量空间中真子集之间的距离，是一种可以应用在边缘匹配算法的距离，Dice系数等基于区域的参数对分割结果的内部填充区域比较敏感，而Hausdorff距离对分割出的区域边界比较敏感，Hausdorff距离被广泛用于许多领域。然而，它的实际用途有限。各种算法会产生不同的离群值，离群值在计算Hausdorff距离时会受到过高的惩罚。为了降低离群值对于整体Hausdorff距离的影响，平均Hausdorff距离被提出。如式(4)所示：
Δp(A，B)＝max{GDp(A，B)，IGDp(A，B)} (4)
对于有限集A，平均Hausdorff距离△p看做代际距离(GenerationalDistance，GD)和倒置代际距离(Inverted Generational Distance，IGD)的变化组成，其中A和B为分割结果与Groundtruth，a和b为分割结果中的点与Groundtruth中的点，d为点到集合的距离。
该方法为了充分利用了神经胶质瘤MRI的多模态信息，选择了MRI的种模态FLAIR、T1、T1c和T2作为分割模型的训练数据集。相比于单一模态，多种模态关于MRI中神经胶质瘤的图像特征更加丰富，有助于提高分割方法的性能。为丰富训练数据集的同时简化训练过程，该分割方法将三维多模态MRI沿轴向切片化,去掉边缘少数几张没有脑组织的切片，在4个模态的数据上对数据进行了标准化操作。在相同序列的切片上随机裁剪160×160的图像块进行数据增强，再用于训练神经网络模型。
在卷积神经网络的结构方面，本发明提出的神经胶质瘤MRI分割方法采用了将编码解码结构与密集块、注意力机制相结合的技术构思。整体的卷积神经网络结构如图1所示。
该方法在编码解码的基础上增加了密集块(denseblock)作为每层的卷积层，增强了图像信息在卷积神经网络中的特征复用，防止网络出现梯度消失，有助于网络提取特定尺寸和像素有限的医学图像的特征信息。密集块具有四个卷积层，如图2所示，图2是编码-解码网络中的每层的密集卷积块的具体内部结构图，用于提取尺寸和像素有限的医学图像的特征信息。所有先前卷积层的输出都将添加到随后的卷积层，这些加性连接称为密集连接，可以促进渐变和允许网络学习更好的图像。编码密集块先添加所有先前卷积层的输出，进行批量归一化后再通过ReLU激活函数做非线性处理。下采样的输出被馈送到下一个编码或连接密集块。解码密集块与编码密集块相比，前面多了一个上采样块。每个卷积层都有64个输出通道，所有通道的滤波器大小均为3×3的编码密集块的输出后跟一个最大池化层，其内核大小为2×2，步长为2。
为了提高分割算法准确性，抑制无关背景区域的特征响应，如图3所示，图3为注意力门的具体内部结构图，用于抑制跳跃连接中无关背景区域的特征响应，本发明提出的神经胶质瘤MRI自动分割分割方法在编码解码结构中集成了注意力门达到目标。与多阶段CNNs的局部化模型相比，AGs逐步抑制无关背景区域的特征响应。门控向量包含上下文信息，以修剪低级特征响应。通过加性注意力来获得门控系数。在1×1卷积后使用Sigmoid函数输出较稀疏的激活响应使训练更好的收敛。通过Resampler进行上采样后与skipconnection的门控信号汇总来自多个成像比例的信息。
在分割模型训练方面，使用4个模态的160×160图像数据输入卷积神经网络的4个通道进行训练，优化器选择的自适应距估计(adam优化器)，损失函数是利用dice系数与二分类损失熵转化的二分类损失函数，精确度(accuracy)采用iou(交并比)。设置最大训练迭代次数为300次，将训练集按8:1:1分配为训练集数据、验证集数据、和测试数据集。其中训练集数据用于训练Attention DenseUNet模型，验证集数据用于监督训练过程，检测模型训练程度，以及是否发生过拟合，当训练的模型精确度不再提高时，及时终止训练。通过训练得到的分割模型对测试数据集中的图像进行分割，得到最终分割结果。
在分割结果评价方面，为了充分评价分割结果的效果，本发明在评价分割结果时将神经胶质瘤分为三个存在嵌套的区域：整个肿瘤(whole tumor，WT)，肿瘤核心(tumorcore，TC)和增强肿瘤(enhancing tumor ET)。通过重叠率、精确率、灵敏度和平均Hausdorff距离来评价所分割算法的性能。从多个方面综合、多个角度充分对分割算法进行了评估。
本发明的实验效果
选取BRATS 2018数据集为例，在训练过程中，训练集误差与验证集误差随训练次数的变化如图4所示。本发明提出的神经胶质瘤MRI自动分割方法所采用的AttentionDenseUNet训练过程相对平稳，无梯度消失等现象。
使用发明提出的基于Attention DenseUNet网络的分割方法分割脑部神经胶质瘤的结果通过Dice系数、精确率(PPV)、敏感性(Sensitivity)和平均Hausdorff距离来评价如表1所示。
表1 dice系数等评价指标
通过表1的结果可以看出，在没有对图像数据进行去噪、强度校准等前期处理，也没有做任何后期处理的情况下。本发明提出的基于Attention DenseUnet网络结构的分割方法能够具有较高的准确性，与数据集的Groundtruth相比具有价高的重叠率，分割得到的肿瘤区域准确性高，分割方法遂于图像中存在的肿瘤区域敏感程度十分优秀。
Claims (5)
1. 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法，其特征在于：
第一步：选取BRATS 2018数据集，按比例分为训练集、验证集和测试集；BRATS 2018数据集共有4个模态FLAIR、T1、T1c和T2，选择4个模态的数据作为卷积神经网络模型的输入图像；将三维多模态MRI沿轴向切片化，在得到的切片图像中，位于三维MRI数据边缘的切片没有涉及到脑组织，具体表现为整个切片图像上的像素点数值均为零，将切片从训练集与验证集中去除；在相同序列的切片上进行数据标准化，标准化的处理为将数据按照下式：
进行计算，并将切片随机裁剪为正方形的图像块；通过切片和数据标准化步骤，三维MRI数据被转化成二维图像块，其中多模态的训练集与验证集的二维图像块用于分割网络的训练与验证，测试集的二维图像块用于最终测试分割模型的效果，并可用重叠率、精确率、灵敏度以及平均Hausdorff距离进行评价；
第二步：构建卷积神经网络；
选择Unet编码-解码网络作为卷积神经网络的主干结构，其中包含一条下采样的编码网络、一条上采样的解码网络以及编码-解码网络之间的跳跃连接；采用密集块作为编码-解码网络中的每层的卷积，当每个密集块的深度为4时，训练得到的分割模型在评价指标上具有良好表现；密集块中所有先前卷积层的输出都添加到随后的卷积层，每个卷积层的输出通过BN(Batch Normalization)层进行批量归一化后，再通过ReLU激活函数非线性处理后输入下个卷积层；编码网络中，每一个编码层包含一个密集块与一个最大池化层，最大池化层在密集块之后，步长为固定的2×2；解码网络中每一个解码层包含一个密集块与一个上采样层，上采样层在密集块之后，步长为固定的2×2，与跳跃连接结合恢复图像尺寸；在跳跃链接上使用注意力门抑制无关背景区域的特征响应；
第三步：利用构建好的卷积神经网络训练神经胶质瘤MRI分割模型；
将第一步中训练集与验证集的160×160的图像输入卷积神经网络进行训练，优化器选择的自适应距估计，损失函数是利用dice系数与二分类损失熵转化的二分类损失函数，精确度采用iou；设置最大训练迭代次数大于300次，当训练的模型超过30个迭代次数后精确度不再提高时，终止训练，得到最终的分割模型；通过得到的分割模型对第一步中的测试集中的MRI数据的图像进行分割，直接预测得到MRI数据肿瘤分割结果；
第四步：通过视觉观察与重叠率评价指标对分割结果进行评价；
将得到分割结果与测试集的groundtruth 相对比，观察分割结果中是否存在groundtruth中不存在的错误分割与噪声；分别计算分割结果与groundtruth之间的重叠率、精确率、灵敏度以及平均Hausdorff距离，并根据指标评价所设计算法的性能。
2. 根据权利要求1所述的基于Attention DenseUNet的MRI神经胶质瘤分割方法，其特征在于：
所述第一步中，正方形图像块尺寸大于64×64并且小于原始切片尺寸。
3. 根据权利要求1所述的基于Attention DenseUNet的MRI神经胶质瘤分割方法，其特征在于：
所述构建卷积神经网络中，使用BRATS 2018数据集时，网络每个卷积层输出通道为64且卷积核大小为3×3。
4. 根据权利要求1所述的基于Attention DenseUNet的MRI神经胶质瘤分割方法，其特征在于：
所述训练集、验证集和测试集按8：1：1比例划分。
5. 根据权利要求1所述的基于Attention DenseUNet的MRI神经胶质瘤分割方法，其特征在于：
所述的重叠率、精确率、灵敏度以及平均Hausdorff距离的计算方法如下：
X和Y分别表示分割结果与Groundtruth；TP为分割结果中被正确预测的肿瘤区域；TN为分割结果中被正确预测的健康区域；FP为分割结果中被错误预测为肿瘤区域的健康区域；FN为分割结果中被错误预测为健康区域的肿瘤区域；
重叠率(Dice)是一种集合相似度度量函数，用于计算两个样本的相似度，取值范围为[0,1]，计算公式如式(1)所示：
式中，s为重叠率，|X∩Y|为X和Y之间的交集；|X|和|Y|分别表示X和Y的元素个数；
精确率P(Precision)表示预测为正的样本中有多少是对的，一种是把正类预测为正类(TP)，另一种把负类预测为正类(FP)，精确率P的计算公式如式(2)所示：
灵敏度Sensitivity是针对病症的敏感程度，灵敏度Sensitivity的计算公式如式(3)
所示：
平均Hausdorff距离如式(4)所示：
Δp(A，B)＝max{GDp(A，B)，IGDp(A，B)}(4)
对于有限集 平均Hausdorff 距离△ p看做代际距离 (GenerationalDistance，GD)和倒置代际距离(Inverted Generational Distance，IGD)的变化组成，其中A和B为分割结果与Groundtruth，a和b为分割结果中的点与Groundtruth中的点，d为点到集合的距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011507936.5A CN112529886B (zh) | 2020-12-18 | 2020-12-18 | 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011507936.5A CN112529886B (zh) | 2020-12-18 | 2020-12-18 | 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112529886A CN112529886A (zh) | 2021-03-19 |
| CN112529886B true CN112529886B (zh) | 2024-06-07 |
Family
ID=75001668
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011507936.5A Active CN112529886B (zh) | 2020-12-18 | 2020-12-18 | 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112529886B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114219817A (zh) * | 2022-02-22 | 2022-03-22 | 湖南师范大学 | 新冠肺炎ct图像分割方法及终端设备 |
| CN115100123A (zh) * | 2022-06-10 | 2022-09-23 | 北京理工大学 | 一种结合UNet和主动轮廓模型的大脑提取方法 |
| CN116757966A (zh) * | 2023-08-17 | 2023-09-15 | 中科方寸知微(南京)科技有限公司 | 基于多层级曲率监督的图像增强方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018082084A1 (zh) * | 2016-11-07 | 2018-05-11 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
| CN109035252A (zh) * | 2018-06-29 | 2018-12-18 | 山东财经大学 | 一种面向医学图像分割的超像素方法 |
| CN109191472A (zh) * | 2018-08-28 | 2019-01-11 | 杭州电子科技大学 | 基于改进U-Net网络的胸腺细胞图像分割方法 |
| CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN111047605A (zh) * | 2019-12-05 | 2020-04-21 | 西北大学 | 一种脊椎ct分割网络模型的构建方法及分割方法 |
-
2020
- 2020-12-18 CN CN202011507936.5A patent/CN112529886B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018082084A1 (zh) * | 2016-11-07 | 2018-05-11 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
| CN109035252A (zh) * | 2018-06-29 | 2018-12-18 | 山东财经大学 | 一种面向医学图像分割的超像素方法 |
| CN109191472A (zh) * | 2018-08-28 | 2019-01-11 | 杭州电子科技大学 | 基于改进U-Net网络的胸腺细胞图像分割方法 |
| CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| CN111047605A (zh) * | 2019-12-05 | 2020-04-21 | 西北大学 | 一种脊椎ct分割网络模型的构建方法及分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于全卷积神经网络的肛提肌裂孔智能识别;胡鹏辉;王娜;王毅;王慧芳;汪天富;倪东;;深圳大学学报(理工版);20180525(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112529886A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112529886B (zh) | 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法 | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| CN110689543A (zh) | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 | |
| Aranguren et al. | Improving the segmentation of magnetic resonance brain images using the LSHADE optimization algorithm | |
| CN112446891B (zh) | 基于U-Net网络脑胶质瘤的医学图像分割方法 | |
| CN112862830B (zh) | 一种多模态图像分割方法、系统、终端及可读存储介质 | |
| CN112767417B (zh) | 一种基于级联U-Net网络的多模态图像分割方法 | |
| KR20230059799A (ko) | 병변 검출을 위해 공동 훈련을 이용하는 연결형 머신 러닝 모델 | |
| CN116739985A (zh) | 一种基于Transformer和卷积神经网络的肺部CT图像分割方法 | |
| Kang et al. | Acu-net: A 3d attention context u-net for multiple sclerosis lesion segmentation | |
| Zhao et al. | Al-net: Attention learning network based on multi-task learning for cervical nucleus segmentation | |
| Upadhyay et al. | Uncertainty-aware gan with adaptive loss for robust mri image enhancement | |
| CN112750137A (zh) | 基于深度学习的肝脏肿瘤分割方法及系统 | |
| CN115809998A (zh) | 基于E2C-Transformer网络的胶质瘤MRI数据分割方法 | |
| CN115018863A (zh) | 基于深度学习的图像分割方法及装置 | |
| CN116664590B (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
| CN112837276A (zh) | 一种基于级联深度神经网络模型的脑胶质瘤分割方法 | |
| Van Veen et al. | Scale-agnostic super-resolution in mri using feature-based coordinate networks | |
| CN114723937A (zh) | 一种基于核磁共振影像的血管周围间隙分类方法及系统 | |
| Deepa et al. | Identification and classification of brain tumor through mixture model based on magnetic resonance imaging segmentation and artificial neural network | |
| Amin et al. | Automated psoriasis detection using deep learning | |
| Ali et al. | MRI brain image segmentation based on cascaded fractional-order darwinian particle swarm optimization and mean shift | |
| Tasya et al. | Breast Cancer Detection Using Convolutional Neural Network with EfficientNet Architecture | |
| CN114926477B (zh) | 一种基于深度学习的脑肿瘤多模态mri影像分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |