CN113554669B - 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 - Google Patents
一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 Download PDFInfo
- Publication number
- CN113554669B CN113554669B CN202110857717.8A CN202110857717A CN113554669B CN 113554669 B CN113554669 B CN 113554669B CN 202110857717 A CN202110857717 A CN 202110857717A CN 113554669 B CN113554669 B CN 113554669B
- Authority
- CN
- China
- Prior art keywords
- module
- attention
- unet
- improved
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 13
- 238000003709 image segmentation Methods 0.000 title abstract description 9
- 230000011218 segmentation Effects 0.000 claims abstract description 38
- 230000000694 effects Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 15
- 230000002441 reversible effect Effects 0.000 claims abstract description 13
- 238000002474 experimental method Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims abstract description 8
- 206010028980 Neoplasm Diseases 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012952 Resampling Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 210000003625 skull Anatomy 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000005669 field effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000004321 preservation Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 1
- 238000011156 evaluation Methods 0.000 abstract description 9
- 210000000056 organ Anatomy 0.000 abstract description 4
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 8
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000004185 liver Anatomy 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010018338 Glioma Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法，解决了由于病灶的形状的多样性和不同器官结构的差异性，仅使用UNet结构分割病灶无法满足对于精准度、速度等的需求的问题，属于语义分割领域。本发明包括：在Unet网络中使用可逆残差模块替代原有的卷积模块；在Unet中的跳变连接部分，encorder与deorder拼接之前加入改进的残差注意力模块ResCBAM，可以更好地提高训练过程中细节特征的质量。本文使用Brats2019的数据集进行实验，实验结果表明，相比于其他方法，本文所提出的方法在不同的评价指标下分割效果都有不同程度的提升。
Description
技术领域
本发明涉及一种深度神经网络，是一种改进注意力模块的Unet网络，属于语义分割领域。
背景技术
随着社会的发展和人民生活水平的提高，脑肿瘤的发病率逐年提升。同时，随着计算机断层扫描CT和核磁共振成像MRI等无创脑肿瘤影像诊断技术的进步，也对临床医生提出了越来越高的要求。为了减轻医生的劳动强度，并且避免个人主观性的影响，基于图像处理和人工智能的计算机辅助诊断技术日益成为全世界研究的热点。
传统方法一般都是先提取图像的统计特征、纹理特征等一系列特征，之后再利用诸如人工神经网络、随机森林及支持向量机等来分割。徐立等人提出了一种新的基于脑部MR图像的肿瘤诊断方法，通过多阈值分割形态学操作检测图像的畸形区域，提取用于分类的高斯混合模型特征，并利用决策树分类器对肿瘤图像类型进行分类。Ma等人提出一种结合随机森林和活动轮廓模型的分割方法，可从多模态MR图像中分割出神经胶质瘤。Khan等提出一种基于标记的分水岭分割和特征选择的自动分割方法，利用基于标记的分水岭算法进一步提取形状、纹理和点特征，最后在使用支持向量机进行分类之前使用基于序列的拼接方法对选择的特征进行融合。传统方法通常计算效率低、人工成本高且鲁棒性差，极易出现肿瘤过度分割的情况。
如今，深度学习发展迅速，在计算机视觉的各个领域都展现出强大的识别能力。2012年，Shelhamer提出全卷积神经网络(Fully Convolutional Networks,FCN)，自此神经网络开始成为图像分割的主流方法。Mark等人在MobileNetV2网络中使用反相残差(Inverted Residuals)结构，构建出了能够更好复用特征的MobileNetV2网络，在COCO图像检测、VOC目标分割及Imagenet分类上表现良好。Fang等人提出了一种由S-FCN、T-FCN和D-FCN组成的MM-FCN方法，实验结果证实MM-FCN可以很大程度提高立体视频的视觉预测结果。He等人将边缘信息作为先验知识引入FCN，提出了一种Edge-FCN语义分割方法，利用整体嵌套的边缘检测(HED)方法，提高了遥感图像语义分割的效果。
虽然卷积网络很久以前就被提出了，但是由于训练集大小和网络深度的限制，其应用依旧有限。在FCN的基础上，Ronneberger等人提出了Unet网络用于图像分割，Unet能够结合底层和高层的信息,在医学图像分割上表现良好。Li等人将密集连接与Unet网络融合，用于分割肝脏图像。为了解决深层网络中的梯度消失问题，Zhang等人在Unet中引入了深度残差模块，提高了遥感图像的分割精度。
由于病灶的形状的多样性和不同器官结构的差异性，仅使用Unet结构分割病灶无法满足对于精准度、速度等的需求。因此，Roy等人将SE模块引入Unet网络中，对脑部MRI图像的脑组织及人体CT图像的器官进行分割，由此注意力开始应用于图像分割。Oktay等人提出了Attention-Unet，在原有的Unet基础上引入AGs注意力模块，并使用两个大型腹部CT数据集的图像分割任务评估Attention-Unet，实验结果表明，AGs模块提高了UNet的性能。Zhen等人设计了注意力增强模块(Augmented Attention Module，AAM)，并将其插入到Unet中，提高了Unet信息融合的能力，对于CT图像中肝脏和肿瘤的分割效果良好。Trebing等人将卷积注意力模块(Convolutional Block Attention Module，CBAM)，插入到Unet模块中，并使用深度可分离卷积代替Unet中原有的卷积，减少了四分之三的参数量，并且提高了模型预测的能力。
虽然许多改进的Unet在图像分割上能够取得很好的效果，但是在信息融合过程中易导致信息丢失，从而影响分割效果。针对上述问题，本发明在Unet的编码和解码部分引入了可逆残差模块代替原有的卷积层，并且提出了一种改进残差卷积注意力模块(ResidualsConvolutional Block Attention Module，ResCBAM)，ResCBAM使用CBAM代替AAM中原有的残差块生成一种新的注意力机制。本发明所提出的方法在减少参数量的同时，极大的提高了信息融合的能力，能够实现对肿瘤的准确分割。
发明内容
为解决由于病灶的形状的多样性和不同器官结构的差异性，仅使用UNet结构分割病灶无法满足对于精准度、速度等的需求的问题，本发明提供一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法。
本发明的一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法，所述方法包括：
S1、数据预处理：
实验所用数据为Brats19数据集，已经进行了部分预处理，包括配准、重采样以及头骨去除。在脑肿瘤MRI图像中，由于偏移场效应和容积效应图像产生伪影与噪声，使图像存在偏置场等问题。因此在对Brats数据集进行肿瘤分割之前，先对该数据集进行偏置场校正。
S2、构建以Unet为底层的肿瘤分割模型：
在Unet网络中使用可逆残差模块替代原有的卷积模块，并在encorder与deorder拼接之前加入改进的残差注意力模块ResCBAM，可以更好地提高训练过程中细节特征的质量。
S3、利用构建好的改进Unet模型对Brats19数据集进行训练，保存最佳模型用以测试模型的分割效果。
所述Unet模型包括编码部分、解码部分和跳变连接部分。
作为优选，所述S2中的可逆残差模块在加速信息传递的同时能够很好的解决信息退化的问题，并且其中使用的深度卷积能够减少参数量，使网络能够做的更深。
作为优选，所述S2中的ResCBAM结合了空间注意力和通道注意力，使编码阶段与解码阶段的特征信息能更好的融合，同时提高了特征提取的能力。
本发明的有益效果，本发明提出了一种改进的Unet网络，用于脑肿瘤的分割。在Unet网络中使用可逆残差模块替代原有的卷积模块，并在encorder与deorder拼接之前加入改进的残差注意力模块ResCBAM，可以更好地提高训练过程中细节特征的质量。本发明使用Brats2019的数据集进行实验，实验结果表明，相比于其他方法，本发明所提出的方法在不同的评价指标下分割效果都有不同程度的提升，其中Dice指标提高了0.02～0.03；PPV指标提高了0.02～0.06；sensitivity指标增加了0.03～0.05；Hausdorff系数降低了2.28～5.29，其量化结果可以为病理图像诊断提供技术参考。
附图说明
图1为Unet模型的结构示意图；
图2为可逆残差模块示意图；
图3为改进的残差卷积注意力模块ResCBAM示意图；
图4为CBAM模块示意图；
图5为CA模块示意图；
图6为SA模块示意图；
图7为N4偏置场校正前后对比图，图(a)为原图，图(b)为偏置场校正后的图；
图8为四个患者四种模态图像、金标准及不同模型分割结果对比图，图(a)、(b)、(c)、(d)和(e)分别为患者的四个模态的图像(Flair,T1,T1ce,T2)及GT图像；
图9为不同模型分割结果，图(a)为使用FCN16对数据进行分割的结果，图(b)为使用Unet对数据进行分割的结果，图(c)为使用OM-NET对数据进行分割的结果，图(d)为使用本发明对数据进行分割的结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本实施方式提供一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法，Unet网络如图1所示包括三个处理过程，即编码阶段、解码阶段及跳变连接阶段。编码过程中，提取浅层特征；解码过程中，提取深层特征；跳变连接阶段将编码阶段提取的浅层特征与解码阶段提取的深层特征进行融合；使用可逆残差模块代替编码与解码阶段的卷积模块，并在跳变连接阶段加入改进的ResCBAM模块；使用Dice系数、Sensitivity(敏感度)、PPV(Positive predictive value，阳性预测值、查准率)以及Hausdorff_95距离作为评价指标对模型的分割结果进行评价。本实施方式的方法包括：
S1、数据预处理：
实验所用数据为Brats19数据集，已经进行了部分预处理，包括配准、重采样以及头骨去除。在脑肿瘤MRI图像中，由于偏移场效应和容积效应图像产生伪影与噪声，使图像存在偏置场等问题。偏置场是低频、平缓的不良信号，会使图像模糊，丢失高频部分信息(如边缘轮廓信息)，使得同一个组织呈现不同的灰度值，对分割的效果造成不良影响。因此在对Brats数据集进行肿瘤分割之前，先对该数据集进行偏置场校正，NITK4偏置场校正算法对MRI图像中强度不均匀的低频部分进行校正，校正结果如图7。
S2、构建以Unet为底层的肿瘤分割模型：
在Unet网络中使用可逆残差模块替代原有的卷积模块，在加速信息传递的同时能够很好的解决信息退化的问题；在编码与解码输出特征拼接之前加入改进的残差注意力模块ResCBAM，可以更好地提高训练过程中细节特征的质量。
S3、利用构建好的改进Unet模型对Brats19数据集进行训练，保存最佳模型用以测试模型的分割效果。
作为优选，所述S2中的可逆残差模块如图2，可逆残差模块中含有两层逐点卷积(Pointwise convolution，PW)和一层深度卷积Depthwise convolution，DW)。输入特征经过PW1升维后，使用3×3的DW对输入特征的每一层进行单独卷积，再使用PW2交互特征通道之间的信息，使提取的特征更加丰富；为了更好的保存特征，PW2降维后不再使用Relu激活函数。可逆残差模块在加速信息传递的同时能够很好的解决信息退化的问题，并且其中使用的DW能够减少参数量，使网络能够做的更深。
残差单元的公式可表示为：
y＝wix+f(wix) (1)
其中，x为输入，y为输出，wi为卷积操作，f即为残差映射。优选实施例中，ResCBAM如图3，结合了空间注意力和通道注意力，使编码阶段与解码阶段的特征信息能更好的融合，同时提高了特征提取的能力。
ResCBAM分为上下两个通道，上层输入由编码阶段输出的全局上下文信息，底层输入由解码阶段输出的语义信息。ResCBAM中的CBAM模块如图4，CBAM先通过通道注意力模块(Channel attention，CA)如图5，生成通道注意力向量a，通过残差作用于原始特征生成新的特征Fc，再通过空间注意力模块(Spatial attention module，SA)如图6，生成空间注意力向量Fcs。
CA模块的公式为：
Mc(F)＝σ(MLP(AvgPool(F))+(MaxPool(F))) (2)
其中，F代表输入，σ为sigmoid函数，MLP为共享的多层感知机，AvgPool为全局平均池化，MaxPool为最大池化。
SA模块公式为：
Ms(Fc)＝σ(f7×7([AvgPool(Fc))；MaxPool(Fc)])) (3)
其中，Fc代表输入，σ为sigmoid函数，AvgPool为全局平均池化，MaxPool为最大池化。
ResCBAM中输入上下文信息F1和语义信息F2，分别经过CBAM后生成特征向量F1cs和F2cs，将F1cs和F2cs相加，使用softmax作为激活函数对向量进行归一化后，将输出的注意力向量F3与F1相乘以获得具有背景信息的特征图F4，再将F4与F2相加以更好的关注目标信息。
由此可见，本发明提出的ResCBAM结合了空间注意力和通道注意力，并且使用了残差模块，使编码阶段与解码阶段的特征信息能更好的融合，同时提高了特征提取的能力。
本实施方式的方法还包括loss函数，即损失函数是预测值与真实值之间差异的数值化表示，即帮助训练机制随时优化参数的标准，以便于找到更好参数帮助有效地减少网络进行训练，是决定网络学习质量的关键。在网络结构不变的前提下，损失函数选择不当会导致模型精度差等后果。
交叉熵损失函数能够保证背景被正确分割。交叉熵损失函数如下：
式中，n为分割图中像素点的集合，L为金标准标签像素点集合，yi∈(0,1)为真实标记分布，gij为第i个像素点和第j个金标准像素点的真实类别，pij为第i个像素点和第j个金标准像素点的预测类别。
Dice损失函数将Dice系数最大化，使其接近于零值，从而使模型更加快速收敛。
Dice损失函数如下：
式中，N为分割图中像素点集合，L为金标准标签像素点集合，gij为第i个像素点和第j个金标准像素点的真实类别，pij为第i个像素点和第j个金标准像素点的预测类别。
混合损失函数具有两种损失函数的优点，因此本发明将交叉熵损失函数与Dice损失函数结合，作为训练的混合损失函数可表达为：
loss＝lossBCE+lossDice (6)
为了能更好的评价模型的分割性能，本发明采用四种指标对模型进行评价，四种评价系数分别为：Dice系数如公式(7)、Sensitivity(敏感度)公式(8)、PPV(Positivepredictive value，阳性预测值、查准率)如公式(9)以及Hausdorff_95距离如公式(10)。
Hous(T,P)＝max[supt∈Tinfp∈Pd(t,p),supp∈Pinft∈Td(t,p)] (10)
其中，TP代表像素为真阳性(True Positive，TP)，TN代表真阴性(True Negative，TN)。同理FP代表像素为假阳性(False Positive，FP)，FN代表假阴性(False Negative，FN)。sup代表上确界，inf代表下确界。T为人工标注的肿瘤区域，t为在T上的点；同理，P为预测的肿瘤区域，p为在P上的点。d(t,p)表示用来计算两点之间距离的函数。Dice系数，PPV和Sensitivity用来评估真实值和预测结果两者内部填充像素的重叠情况。Hausdorff距离用来计算真实值边界和预测区域边界的距离。
实验数据处理与分析：
(一)实验参数选择与设置
实验所用数据为Brats19[数据集，该数据集中每个患者的MRI都包括四种模态(Flair，T1，T1ce，T2)图像和金标准(Ground Truth，GT)图像，每个MR图像的大小为240×240×155。Brats19数据集已经进行了部分预处理，包括配准、重采样以及头骨去除。经过预处理的数据输入到搭建好的模型中，实验基于Windows操作系统，学习率设置为0.003，批数量设为16，训练的迭代周期设置为200，采用早停法来防止训练过程中出现过拟合。
(二)实验结果及分析
肿瘤分割的任务即分割出肿瘤图像中的肿瘤区域，可细分为三类：整个肿瘤区域(whole tumor，WT)、增强肿瘤区域(enhance tumor，ET)以及肿瘤核心区域(tumor core，TC)。模型训练前对Brats19数据集进行偏置场校正，并将图片尺寸裁剪为160×160。为了评价本发明提出模型的分割性能，将Shelhamer等人提出的FCN、Ronneberger等人提出的Unet以及Zhou等人提出的SOTA模型作为对比模型，进行实验测试，随机抽取测试数据中的四位患者四种模态的图像、真实标签以及四种网络模型的分割结果进行对比，如图8所示。
图8中(a)、(b)、(c)、(d)和(e)分别为患者的四个模态的图像(Flair，T1，T1ce，T2)及GT图像。由图9(a)可见，FCN16能够定位出肿瘤的位置，并对肿瘤的不同部分进行划分，但是边缘不够清晰，区域错分的概率很大，会把细小的肿瘤部分划分为背景；由图9(b)可见，Unet的分割效果优于FCN16，但是仍然存在将细小的肿瘤散点判定为背景的情况，并且肿瘤的不同区域之间存在粘连和明显的错分；由图9(c)可见，SOTA方法的分割效果进一步提高，核心和增强肿瘤区域之间的边界变得明显，但是对于全部肿瘤边界的划分仍然存在一定的问题；由图9(d)可见，相比于其他方法，本发明提出的方法能够比较完整的划分出肿瘤区域，并且边界清晰，最难分割出的增强肿瘤部分也能被准确的标注出来，不同的肿瘤区域之间的边界变得明显，错分的情况少有发生，此方法能够得到与金标准相似的分割结果。
为了能更好的评价模型的分割性能，本文采用四种指标对模型进行评价，四种评价系数分别为：Dice系数如公式(7)、Sensitivity(敏感度)公式(8)、PPV(Positivepredictive value，阳性预测值、查准率)，评价结果如表1。
表1四种模型在不同评价指标下的评价结果
由表1可见，相比于其他方法，不同评价标准下，本发明所提出的方法的分割结果是最优的，其中Dice评分WT为0.8533、TC为0.8767和ET为0.8139，Dice指标提高了0.02～0.04；PPV评分WT为0.8860、TC为0.8978和ET为0.8075，PPV指标提高了0.02～0.06；sensitivity评分WT为0.8723、TC为0.9259和ET为0.8184，sensitivity指标增加了0.03～0.05；Hausdorff评分WT为2.5650、TC为1.6481和ET为2.7751，Hausdorff系数降低了2.28～5.29。总的来说，相比于其他方法，本发明所提出的方法性能最佳，分割效果最好，准确率和敏感度也最优。
虽然在本发明中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本发明中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。
Claims (4)
1.一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法，其特征在于，所述方法包括：
S1、数据预处理：
实验所用数据为Brats19数据集，已经进行了部分预处理，包括配准、重采样以及头骨去除；在脑肿瘤MRI图像中，由于偏移场效应和容积效应图像产生伪影与噪声，使图像存在偏置场问题；因此在对Brats数据集进行肿瘤分割之前，先对该数据集进行偏置场校正；
S2、构建以Unet为底层的肿瘤分割模型：
在Unet网络中使用可逆残差模块替代原有的卷积模块，并在encorder与deorder拼接之前加入改进的残差注意力模块ResCBAM，ResCBAM分为上下两个通道，上层输入由编码阶段输出的全局上下文信息，底层输入由解码阶段输出的语义信息，分别经过CBAM后生成特征向量，之后进行特征相加、归一化、点乘，可以更好地提高训练过程中细节特征的质量；
其中，所述ResCBAM分为上下两个通道都包含有CBAM注意力模块，CBAM先通过通道注意力模块(Channel attention，CA)，生成通道注意力向量a，CA模块的公式为：
Mc(F)＝σ(MLP(AvgPool(F))+(MaxPool(F))) (1)
其中，F代表输入，σ为sigmoid函数，MLP为共享的多层感知机，AvgPool为全局平均池化，MaxPool为最大池化；
通道向量a通过残差作用于原始特征生成新的特征Fc，再通过空间注意力模块(Spatial attention module，SA)生成空间注意力向量Fcs,SA模块公式为：
Ms(Fc)＝σ(f7×7([AvgPool(Fc)；MaxPool(Fc)])) (2)
其中，Fc代表输入，σ为sigmoid函数，AvgPool为全局平均池化，MaxPool为最大池化；
ResCBAM中输入上下文信息F1和语义信息F2，分别经过CBAM后生成特征向量F1cs和F2cs，将F1cs和F2cs相加，使用softmax作为激活函数对向量进行归一化后，将输出的注意力向量F3与F1相乘以获得具有背景信息的特征图F4，再将F4与F2相加以更好的关注目标信息；
S3、利用构建好的改进Unet模型对Brats19数据集进行训练，保存最佳模型用以测试模型的分割效果；
所述Unet模型包括编码部分、解码部分和跳变连接部分。
2.根据权利要求1所述的方法，其特征在于：
S21、所述S1包括：NITK4偏置场校正算法对MRI图像中强度不均匀的低频部分进行校正，使肿瘤边界变得明显；
S22、所述S2包括：可逆残差模块中含有两层逐点卷积(Pointwise convolution，PW)和一层深度卷积(Depthwise convolution，DW)；输入特征经过PW1升维后，使用3*3的DW对输入特征的每一层进行单独卷积，再使用PW2交互特征通道之间的信息，使提取的特征更加丰富；为了更好的保存特征，PW2降维后不再使用Relu激活函数；
S23、所述S2包括：ResCBAM结合了空间注意力和通道注意力，并且使用了残差模块，使编码阶段与解码阶段的特征信息能更好的融合，同时提高了特征提取的能力。
3.根据权利要求1或2所述的方法，其特征在于，所述S2中提取的特征结合了空间注意力和通道注意力，并且融合了深层和浅层特征。
4.根据权利要求2所述的方法，其特征在于，所述逆残差模块的公式可表示为：
y＝wix+f(wix) (3)
其中，x为输入，y为输出，wi为卷积操作，f即为残差映射。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110857717.8A CN113554669B (zh) | 2021-07-28 | 2021-07-28 | 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110857717.8A CN113554669B (zh) | 2021-07-28 | 2021-07-28 | 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113554669A CN113554669A (zh) | 2021-10-26 |
| CN113554669B true CN113554669B (zh) | 2023-05-12 |
Family
ID=78133053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110857717.8A Active CN113554669B (zh) | 2021-07-28 | 2021-07-28 | 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113554669B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113780250B (zh) * | 2021-11-11 | 2022-01-28 | 四川大学 | 一种针对小样本的端到端面部腧穴定位方法及电子设备 |
| CN114049339B (zh) * | 2021-11-22 | 2023-05-12 | 江苏科技大学 | 一种基于卷积神经网络的胎儿小脑超声图像分割方法 |
| CN114677511A (zh) * | 2022-03-23 | 2022-06-28 | 三峡大学 | 一种残差ECA通道注意力UNet结合TRW-S的肺结节分割方法 |
| CN115829962B (zh) * | 2022-11-25 | 2024-04-16 | 江南大学 | 医学图像分割装置、训练方法及医学图像分割方法 |
| CN116071401B (zh) * | 2023-01-28 | 2023-08-01 | 中日友好医院(中日友好临床医学研究所) | 基于深度学习的虚拟ct图像的生成方法及装置 |
| CN116579616B (zh) * | 2023-07-10 | 2023-09-29 | 武汉纺织大学 | 一种基于深度学习的风险识别方法 |
| CN116912503B (zh) * | 2023-09-14 | 2023-12-01 | 湖南大学 | 一种基于层级融合策略的多模态mri脑肿瘤语义分割方法 |
| CN117274256B (zh) * | 2023-11-21 | 2024-02-06 | 首都医科大学附属北京安定医院 | 一种基于瞳孔变化的疼痛评估方法、系统及设备 |
| CN117930168A (zh) * | 2023-12-28 | 2024-04-26 | 中国水利水电科学研究院 | 一种新型神经网络的流域强降雨过程回波外推方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112598656A (zh) * | 2020-12-28 | 2021-04-02 | 长春工业大学 | 一种基于UNet++优化和权值预算的脑肿瘤分割算法 |
| CN112785598A (zh) * | 2020-11-05 | 2021-05-11 | 南京天智信科技有限公司 | 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3581961A1 (en) * | 2018-06-13 | 2019-12-18 | Technische Universität München | Method and apparatus for ultrasound imaging with improved beamforming |
| CN109754404B (zh) * | 2019-01-02 | 2020-09-01 | 清华大学深圳研究生院 | 一种基于多注意力机制的端到端的肿瘤分割方法 |
| CN112651978B (zh) * | 2020-12-16 | 2024-06-07 | 广州医软智能科技有限公司 | 舌下微循环图像分割方法和装置、电子设备、存储介质 |
| CN113139981A (zh) * | 2021-05-18 | 2021-07-20 | 哈尔滨理工大学 | 基于深度神经网络的dce-mri乳腺肿瘤图像分割方法 |
-
2021
- 2021-07-28 CN CN202110857717.8A patent/CN113554669B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112785598A (zh) * | 2020-11-05 | 2021-05-11 | 南京天智信科技有限公司 | 基于注意力增强改进u型网络的超声乳腺肿瘤自动分割方法 |
| CN112598656A (zh) * | 2020-12-28 | 2021-04-02 | 长春工业大学 | 一种基于UNet++优化和权值预算的脑肿瘤分割算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113554669A (zh) | 2021-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113554669B (zh) | 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 | |
| CN112927240B (zh) | 一种基于改进的AU-Net网络的CT图像分割方法 | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| Vakanski et al. | Attention-enriched deep learning model for breast tumor segmentation in ultrasound images | |
| CN112150428B (zh) | 一种基于深度学习的医学图像分割方法 | |
| US20230005140A1 (en) | Automated detection of tumors based on image processing | |
| Chang et al. | Thyroid segmentation and volume estimation in ultrasound images | |
| CN111597946B (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
| CN112446891B (zh) | 基于U-Net网络脑胶质瘤的医学图像分割方法 | |
| CN113298830B (zh) | 一种基于自监督的急性颅内ich区域图像分割方法 | |
| WO2022121100A1 (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
| CN112258456B (zh) | 一种基于卷积神经网络监督的三维图像分割方法 | |
| CN114170244A (zh) | 一种基于级联神经网络结构的脑胶质瘤分割方法 | |
| Sivanesan et al. | Unsupervised medical image segmentation with adversarial networks: From edge diagrams to segmentation maps | |
| CN114882048A (zh) | 基于小波散射学习网络的图像分割方法和系统 | |
| Dogra et al. | Segmentation of magnetic resonance images of brain using thresholding techniques | |
| CN114881848A (zh) | 一种多序列mr转ct的方法 | |
| CN118351300A (zh) | 基于U-Net模型的危机器官自动勾画方法及系统 | |
| Somasundaram et al. | Brain extraction method for T1-weighted magnetic resonance scans | |
| Malathi et al. | Active contour based segmentation and classification for pleura diseases based on Otsu’s thresholding and support vector machine (SVM) | |
| Goyal | Shallow SegNet with bilinear interpolation and weighted cross-entropy loss for Semantic segmentation of brain tissue | |
| Zhang et al. | Research on brain glioma segmentation algorithm | |
| Wang et al. | Vision Transformer-based Classification Study of Intracranial Hemorrhage | |
| Kobayashi et al. | Learning global and local features of normal brain anatomy for unsupervised abnormality detection | |
| Ozkan et al. | Cross-Modal Learning via Adversarial Loss and Covariate Shift for Enhanced Liver Segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |