CN114372988A - 基于Unet变体网络的脑肿瘤图像分割系统 - Google Patents
基于Unet变体网络的脑肿瘤图像分割系统 Download PDFInfo
- Publication number
- CN114372988A CN114372988A CN202111470189.7A CN202111470189A CN114372988A CN 114372988 A CN114372988 A CN 114372988A CN 202111470189 A CN202111470189 A CN 202111470189A CN 114372988 A CN114372988 A CN 114372988A
- Authority
- CN
- China
- Prior art keywords
- brain tumor
- layer
- convolution unit
- unet
- segmented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 84
- 238000003709 image segmentation Methods 0.000 title claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000010606 normalization Methods 0.000 claims description 38
- 230000004913 activation Effects 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 35
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 7
- 230000015654 memory Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract description 5
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 238000012549 training Methods 0.000 description 14
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 206010017711 Gangrene Diseases 0.000 description 2
- 206010030113 Oedema Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 201000007983 brain glioma Diseases 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- NUHSROFQTUXZQQ-UHFFFAOYSA-N isopentenyl diphosphate Chemical compound CC(=C)CCO[P@](O)(=O)OP(O)(O)=O NUHSROFQTUXZQQ-UHFFFAOYSA-N 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于Unet变体网络的脑肿瘤图像分割系统，包括：获取模块，其被配置为：获取待分割的脑肿瘤图像；预处理模块，其被配置为：对待分割的脑肿瘤图像进行预处理；图像分割模块，其被配置为：将预处理后的脑肿瘤图像，采用训练后的Unet变体网络进行分割，得到分割的脑肿瘤区域。为医生进行患者脑肿瘤的预测评估和治疗提供辅助诊断技术。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及基于Unet变体网络的脑肿瘤图像分割系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
脑胶质瘤是最常见的原发性恶性脑肿瘤，它的分割是病变分割一种非常有用的应用。然而，手动的脑肿瘤分割是一项技术含量高、耗时长的任务。因此，脑肿瘤的自动化分割将对这一领域的发展有很大帮助。然而，由于脑肿瘤的大小、形状、位置以及各种图像模态中不一致的强度和对比度的高度变化，对脑肿瘤的精确分割仍然是一项具有挑战性的任务。
发明内容
为了解决现有技术的不足，本发明提供了基于Unet变体网络的脑肿瘤图像分割系统；为医生进行患者脑肿瘤的预测评估和治疗提供辅助诊断技术。
第一方面，本发明提供了基于Unet变体网络的脑肿瘤图像分割系统；
基于Unet变体网络的脑肿瘤图像分割系统，包括：
获取模块，其被配置为：获取待分割的脑肿瘤图像；
预处理模块，其被配置为：对待分割的脑肿瘤图像进行预处理；
图像分割模块，其被配置为：将预处理后的脑肿瘤图像，采用训练后的Unet变体网络进行分割，得到分割的脑肿瘤区域。
第二方面，本发明还提供了一种电子设备，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，完成以下步骤：
获取待分割的脑肿瘤图像；
对待分割的脑肿瘤图像进行预处理；
将预处理后的脑肿瘤图像，采用训练后的Unet变体网络进行分割，得到分割的脑肿瘤区域。
第三方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，完成以下步骤：
获取待分割的脑肿瘤图像；
对待分割的脑肿瘤图像进行预处理；
将预处理后的脑肿瘤图像，采用训练后的Unet变体网络进行分割，得到分割的脑肿瘤区域。
第四方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于完成以下步骤：
获取待分割的脑肿瘤图像；
对待分割的脑肿瘤图像进行预处理；
将预处理后的脑肿瘤图像，采用训练后的Unet变体网络进行分割，得到分割的脑肿瘤区域。
与现有技术相比，本发明的有益效果是：
本发明提出一种训练简单的二维的Unet变体网络，利用瓶颈残差块形成深度堆叠的编码器，并添加使用了dropout，使其在脑MRIs中的病变分割中具有良好的性能。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为实施例一的功能模块图；
图2为实施例一的segmentation示例图；
图3为实施例一的网络结构示意图；
图4(a)和图4(b)为实施例一的瓶颈残差块和典型残差块；
图5为实施例一的网络结构示意图；
图6为实施例一的图像分割结果示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外，为了便于清楚描述本发明实施例的技术方案，在本发明实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
实施例一
本实施例提供了基于Unet变体网络的脑肿瘤图像分割系统；
如图1所示，基于Unet变体网络的脑肿瘤图像分割系统，包括：
获取模块，其被配置为：获取待分割的脑肿瘤图像；
预处理模块，其被配置为：对待分割的脑肿瘤图像进行预处理；
图像分割模块，其被配置为：将预处理后的脑肿瘤图像，采用训练后的Unet变体网络进行分割，得到分割的脑肿瘤区域。
进一步地，所述预处理模块，包括：
图像标准化单元，其被配置为：对待分割的脑肿瘤图像进行图像标准化处理；
图像转换单元，其被配置为：对标准化处理后的图像转换成二维图像。
进一步地，所述Unet变体网络，是对原始Unet网络进行了改进，假设原始Unet网络包括编码器、桥接器和解码器；Unet变体网络对编码器和桥接器的卷积层采用瓶颈残差模块来替换，对解码器的卷积层采用典型残差模块来替换。
进一步地，所述Unet变体网络，包括：依次连接的编码器、桥接器和解码器；
所述编码器，包括：依次连接的第一卷积单元a1、第一下采样层s1、第二卷积单元a2、第二下采样层s2、第三卷积单元a3、第三下采样层s3、第四卷积单元a4、第四下采样层s4、第五卷积单元a5和第五下采样层s5；
所述桥接器，包括：依次连接的第六卷积单元a6和第一上采样层x1；其中，卷积单元a6与第五下采样层s5连接，第一上采样层x1与第一拼接器p1连接；
所述解码器，包括：依次连接的第一拼接器p1、第一卷积单元f1、第二上采样层x2、第二拼接器p2、第二卷积单元f2、第三上采样层x3、第三拼接器p3、第三卷积单元f3、第四上采样层x4、第四拼接器p4、第四卷积单元f4、第五上采样层x5、第五拼接器p5和第五卷积单元f5；第五卷积单元f5与输出层连接。
进一步地，第一卷积单元a1的输出端与第五拼接器p5的输入端连接；
第二卷积单元a2的输出端与第四拼接器p4的输入端连接；
第三卷积单元a3的输出端与第三拼接器p3的输入端连接；
第四卷积单元a4的输出端与第二拼接器p2的输入端连接；
第五卷积单元a5的输出端与第一拼接器p1的输入端连接。
进一步地，所述第一卷积单元a1，包括：依次连接的两个瓶颈残差模块，每个瓶颈残差模块，均包括依次连接的归一化层、激活函数层、1*1卷积层c1、归一化层、激活函数层、3*3卷积层c2、归一化层、激活函数层和1*1卷积层c3；其中，第二个残差模块的卷积层c3与加法器j1连接，第一卷积单元a1的输入端还与加法器j1连接，加法器j1的输出端为第一卷积单元a1的输出端。
进一步地，所述第二卷积单元a2，包括：依次连接的三个瓶颈残差模块，每个瓶颈残差模块，均包括依次连接的归一化层、激活函数层、1*1卷积层c4、归一化层、激活函数层、3*3卷积层c5、归一化层、激活函数层、1*1卷积层c6；其中，第三个残差模块的卷积层c6与加法器j2连接，第二卷积单元a2的输入端还与加法器j2连接，加法器j2的输出端为第二卷积单元a2的输出端。
进一步地，所述第三卷积单元a3，包括：依次连接的三个瓶颈残差模块，每个瓶颈残差模块，均包括依次连接的归一化层、激活函数层、1*1卷积层c7、归一化层、激活函数层、3*3卷积层c8、归一化层、激活函数层、1*1卷积层c9；其中，第三个残差模块的卷积层c9与加法器j3连接，第三卷积单元a3的输入端还与加法器j3连接，加法器j3的输出端为第三卷积单元a3的输出端。
进一步地，所述第四卷积单元a4，包括：依次连接的五个瓶颈残差模块，每个瓶颈残差模块，均包括依次连接的归一化层、激活函数层、1*1卷积层c10、归一化层、激活函数层、3*3卷积层c11、归一化层、激活函数层、1*1卷积层c12；其中，第五个残差模块的卷积层c12与加法器j4连接，第四卷积单元a4的输入端还与加法器j4连接，加法器j4的输出端为第四卷积单元a4的输出端。
进一步地，所述第五卷积单元a5，包括：依次连接的十四个瓶颈残差模块，每个瓶颈残差模块，均包括依次连接的归一化层、激活函数层、1*1卷积层c13、归一化层、激活函数层、3*3卷积层c14、归一化层、激活函数层、1*1卷积层c15；其中，第十四个残差模块的卷积层c15与加法器j5连接，第五卷积单元a5的输入端还与加法器j5连接，加法器j5的输出端为第五卷积单元a5的输出端。
进一步地，所述第六卷积单元a6，包括：依次连接的四个瓶颈残差模块，每个瓶颈残差模块，均包括依次连接的归一化层、激活函数层、1*1卷积层c16、归一化层、激活函数层、3*3卷积层c17、归一化层、激活函数层、1*1卷积层c18；其中，第四个残差模块的卷积层c18与加法器j6连接，第六卷积单元a6的输入端还与加法器j6连接，加法器j6的输出端为第六卷积单元a6的输出端。
进一步地，所述第一卷积单元f1，由典型残差模块来实现；所述典型残差模块，包括依次连接的归一化层、激活函数层、3*3卷积层h1、归一化层、激活函数层、3*3卷积层h2、加法器j7；所述加法器j7的输入端还与第一卷积单元f1的输入端连接；所述加法器j7的输出端作为第一卷积单元f1的输出端。
进一步地，所述第二卷积单元f2，由典型残差模块来实现；所述典型残差模块，包括依次连接的归一化层、激活函数层、3*3卷积层h3、归一化层、激活函数层、3*3卷积层h4、加法器j8；所述加法器j8的输入端还与第二卷积单元f2的输入端连接；所述加法器j8的输出端作为第二卷积单元f2的输出端。
进一步地，所述第三卷积单元f3，由典型残差模块来实现；所述典型残差模块，包括依次连接的归一化层、激活函数层、3*3卷积层h5、归一化层、激活函数层、3*3卷积层h6、加法器j9；所述加法器j9的输入端还与第三卷积单元f3的输入端连接；所述加法器j9的输出端作为第三卷积单元f3的输出端。
进一步地，所述第四卷积单元f4，由典型残差模块来实现；所述典型残差模块，包括依次连接的归一化层、激活函数层、3*3卷积层h7、归一化层、激活函数层、3*3卷积层h8、加法器j10；所述加法器j10的输入端还与第四卷积单元f4的输入端连接；所述加法器j10的输出端作为第四卷积单元f4的输出端。
进一步地，所述第五卷积单元f5，由典型残差模块来实现；所述典型残差模块，包括依次连接的归一化层、激活函数层、3*3卷积层h9、归一化层、激活函数层、3*3卷积层h10、加法器j11；所述加法器j11的输入端还与第五卷积单元f5的输入端连接；所述加法器j11的输出端作为第五卷积单元f5的输出端。
示例性地，本发明网络为Unet的变体网络，基本架构如图3、图4(a)和图4(b)所示。详细的架构描述如图5所示，用来显示每一层图像特征通道的数量。本发明网络由编码(encoder)，解码(decoder)和桥接(bridge)三部分组成的典型U型网络，在由桥接部分相连的编码和解码区分别利用了五个具有卷积层和identify mapping(恒等映射)的堆叠残差块，分别为瓶颈残差块(Bottleneck Residual Block)和典型残差块(Typical ResidualBlock)，如图3所示，图中还标明了瓶颈残差块的数量。特征表示在编码区进行编码，像素级别在解码区得到恢复。
因为深层架构具有很多层，所以在训练网络时我们需要考虑过拟合和激活中的死亡神经元的问题。本发明网络在每一层之后都使用较小的辍学率(e.g.dropout＝0.5)进行正则化。为帮助特征映射，解码器每一层的输入在上采样之后都添加了来自编码器输出的级联连接。本发明网络在每一层的第一次卷积中以2的步长进行下采样。使用2x2的步长为2的2D转置卷积进行上采样。最后一层采用1x1的卷积并生成像素的分类分数，用来表示3个肿瘤类和背景。像素的类别由最大输出通道(argmax)决定，softmax用于训练。本发明网络的输入是二维图像切片，其中4个通道分别代表每个MRI模态。
图4(a)和图4(b)详细显示了编解码部分Bottleneck Residual Block和ResidualBlock的轮廓。本发明网络在编码和桥接部分采用了Bottleneck设计，包括用来降维的1x1卷积层、3x3卷积层以及用来恢复维数的1x1卷积层。在解码部分采用了典型的残差块，有两个堆叠的3x3卷积组成。并且在所有的残差块中使用了批量归一化(BN)和修正线性单元(ReLU)激活。
进一步地，所述训练后的Unet变体网络，训练过程包括：
构建训练集；所述训练集为已知脑肿瘤分割结果的脑肿瘤图像；
将训练集输入到Unet变体网络中，对Unet变体网络进行训练，当损失函数值不再降低时，停止训练，得到训练后的Unet变体网络。
示例性地，所述训练集，使用的数据集BraTS 2020是MICCAI脑肿瘤分割比赛的数据集，训练集(TrainingData)有369个病例，验证集(ValidationData)有125个病例。每个病例包含4个模态(多模态)。4个模态分别是t1、t2、flair、t1ce。多种模式图像信息能够相互补充，有效地提升分割的准确性；采用不同的核磁共振成像模式的同时也相对增加了脑肿瘤分割任务的难度。并且所有的BraTS多模态扫描均以NIfTI文件(.nii.gz)的形式提供。
MR图像属性信息：(240x240x155)一个MR序列有155张图片，每张图片的大小为240x240。
数据集BraTS 2020的每个病例包含3个分割部分(label)，3个分割部分(准确来说是包含背景在内的4个标签)，分别是背景、坏疽(NET,non-enhancing tumor)、浮肿区域(ED,peritumoral edema)、增强肿瘤区域(ET,enhancing tumor)，如图3所示，且数据集规定,图中背景(标签0)、①坏疽(标签1)、②为浮肿区域(标签2)、③为增强肿瘤区域(标签4)。这四个标签能够共同反映whole tumor(WT),enhance tumor(ET),and tumor core(TC)。
即
1.WT＝ED+ET+NET
2.TC＝ET+NET
3.ET
而Brats比赛的时候比的就是这三个部分的分割情况。
数据集BraTS 2020是不能直接使用的，我们在训练模型之前还要把这个数据集进行一些(更多是格式上的)预处理。借助代码以将nifti(.nii)格式的MRI图像标准化和转换为单独的2D png切片。本发明在整个3D MRI模态的基础上使用数据标准化对图像进行预处理，使用等式(1)进行归一化，其中v是给定的voxel(体素)，平均值(m)和标准差(SD)是voxels>0的图像的。因此，在转换为2D图像之前，图像已重新缩放。
图像的每个切片被保存为独立的png图像，每个通道代表一个MRI模态。唯一应用的图像增强是以50％的概率在左右和前后方向随机翻转图像。
进一步地，所述将预处理后的脑肿瘤图像，采用训练后的Unet变体网络进行分割，得到分割的脑肿瘤区域；具体工作原理包括：
预处理后的脑肿瘤图像输入到训练后的Unet变体网络中，特征表示在编码器中进行编码，解码器每一层的输入在上采样之后都添加了来自编码器输出的级联连接，像素级别在解码器中进行解码恢复，输出得到脑肿瘤分割区域。
本发明网络训练时使用学习率为1e-4的ADAM优化器和He初始化。并且batchsizes＝10、epochs＝50。所有受试者的图像将被转换为每个切片的单个RGBA图像，并以随机顺序输入到模型中。将以不同的辍学率进行训练和评估。本发明网络在Kears中使用tensorflow backend实现，并且使用12GB内存的NVIDIA GTX 2080Ti显卡执行。
本发明网络在验证集的125个病例上进行了评估，并且以与训练集相同的数据处理方式进行预处理。生成的二维掩模借助代码重新转换成nifti(.nii)格式，并在IPP网站上进行评估，该网站计算并评估病变掩模，输出指标DSC、灵敏度(Sensitivity)、特异性(Specificity)和hausdorff95(HD95)。
图像分割中的评价标准主要采用Dice相似系数(Dice Similariy Coefficient,DSC)，Dice系数是一种集合相似度度量指标，通常用于计算两个样本的相似度，值的区间为0-1，分割结果最好时值为1，最差时为0。
其中TP真正、TN真负、FP假正、FN假负。
Dice对mask的内部填充比较敏感，而hausdorff distance对分割出的边界比较敏感。
表1分割2D masks示例和评估结果
| DSC | Sensitivity | Specificity | |
| ET | 0.65818 | 0.70128 | 0.99954 |
| WT | 0.87378 | 0.90789 | 0.99865 |
| TC | 0.67305 | 0.65075 | 0.99971 |
图2为实施例一的segmentation示例图；图6为实施例一的分割结果示意图。
实施例二
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，完成以下步骤：
获取待分割的脑肿瘤图像；
对待分割的脑肿瘤图像进行预处理；
将预处理后的脑肿瘤图像，采用训练后的Unet变体网络进行分割，得到分割的脑肿瘤区域。
实施例二中的每个步骤的具体步骤细节是与实施例一的步骤细节是一致的。
实施例三
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成以下步骤：
获取待分割的脑肿瘤图像；
对待分割的脑肿瘤图像进行预处理；
将预处理后的脑肿瘤图像，采用训练后的Unet变体网络进行分割，得到分割的脑肿瘤区域。
实施例三中的每个步骤的具体步骤细节是与实施例一的步骤细节是一致的。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.基于Unet变体网络的脑肿瘤图像分割系统，其特征是，包括：
获取模块，其被配置为：获取待分割的脑肿瘤图像；
预处理模块，其被配置为：对待分割的脑肿瘤图像进行预处理；
图像分割模块，其被配置为：将预处理后的脑肿瘤图像，采用训练后的Unet变体网络进行分割，得到分割的脑肿瘤区域。
2.如权利要求1所述的基于Unet变体网络的脑肿瘤图像分割系统，其特征是，所述预处理模块，包括：
图像标准化单元，其被配置为：对待分割的脑肿瘤图像进行图像标准化处理；
图像转换单元，其被配置为：对标准化处理后的图像转换成二维图像。
3.如权利要求1所述的基于Unet变体网络的脑肿瘤图像分割系统，其特征是，所述Unet变体网络，是对原始Unet网络进行了改进，假设原始Unet网络包括编码器、桥接器和解码器；Unet变体网络对编码器和桥接器的卷积层采用瓶颈残差模块来替换，对解码器的卷积层采用典型残差模块来替换。
4.如权利要求1所述的基于Unet变体网络的脑肿瘤图像分割系统，其特征是，所述Unet变体网络，包括：依次连接的编码器、桥接器和解码器；
所述编码器，包括：依次连接的第一卷积单元a1、第一下采样层s1、第二卷积单元a2、第二下采样层s2、第三卷积单元a3、第三下采样层s3、第四卷积单元a4、第四下采样层s4、第五卷积单元a5和第五下采样层s5；
所述桥接器，包括：依次连接的第六卷积单元a6和第一上采样层x1；其中，卷积单元a6与第五下采样层s5连接，第一上采样层x1与第一拼接器p1连接；
所述解码器，包括：依次连接的第一拼接器p1、第一卷积单元f1、第二上采样层x2、第二拼接器p2、第二卷积单元f2、第三上采样层x3、第三拼接器p3、第三卷积单元f3、第四上采样层x4、第四拼接器p4、第四卷积单元f4、第五上采样层x5、第五拼接器p5和第五卷积单元f5；第五卷积单元f5与输出层连接。
5.如权利要求4所述的基于Unet变体网络的脑肿瘤图像分割系统，其特征是，第一卷积单元a1的输出端与第五拼接器p5的输入端连接；第二卷积单元a2的输出端与第四拼接器p4的输入端连接；第三卷积单元a3的输出端与第三拼接器p3的输入端连接；第四卷积单元a4的输出端与第二拼接器p2的输入端连接；第五卷积单元a5的输出端与第一拼接器p1的输入端连接。
6.如权利要求4所述的基于Unet变体网络的脑肿瘤图像分割系统，其特征是，所述第一卷积单元a1，包括：依次连接的两个瓶颈残差模块，每个瓶颈残差模块，均包括依次连接的归一化层、激活函数层、1*1卷积层c1、归一化层、激活函数层、3*3卷积层c2、归一化层、激活函数层和1*1卷积层c3；其中，第二个残差模块的卷积层c3与加法器j1连接，第一卷积单元a1的输入端还与加法器j1连接，加法器j1的输出端为第一卷积单元a1的输出端；
或者，
所述第一卷积单元f1，由典型残差模块来实现；所述典型残差模块，包括依次连接的归一化层、激活函数层、3*3卷积层h1、归一化层、激活函数层、3*3卷积层h2、加法器j7；所述加法器j7的输入端还与第一卷积单元f1的输入端连接；所述加法器j7的输出端作为第一卷积单元f1的输出端。
7.如权利要求1所述的基于Unet变体网络的脑肿瘤图像分割系统，其特征是，所述将预处理后的脑肿瘤图像，采用训练后的Unet变体网络进行分割，得到分割的脑肿瘤区域；具体工作原理包括：
预处理后的脑肿瘤图像输入到训练后的Unet变体网络中，特征表示在编码器中进行编码，解码器每一层的输入在上采样之后都添加了来自编码器输出的级联连接，像素级别在解码器中进行解码恢复，输出得到脑肿瘤分割区域。
8.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，完成以下步骤：
获取待分割的脑肿瘤图像；
对待分割的脑肿瘤图像进行预处理；
将预处理后的脑肿瘤图像，采用训练后的Unet变体网络进行分割，得到分割的脑肿瘤区域。
9.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，完成以下步骤：
获取待分割的脑肿瘤图像；
对待分割的脑肿瘤图像进行预处理；
将预处理后的脑肿瘤图像，采用训练后的Unet变体网络进行分割，得到分割的脑肿瘤区域。
10.一种计算机程序产品，其特征是，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于完成以下步骤：
获取待分割的脑肿瘤图像；
对待分割的脑肿瘤图像进行预处理；
将预处理后的脑肿瘤图像，采用训练后的Unet变体网络进行分割，得到分割的脑肿瘤区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111470189.7A CN114372988A (zh) | 2021-12-03 | 2021-12-03 | 基于Unet变体网络的脑肿瘤图像分割系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111470189.7A CN114372988A (zh) | 2021-12-03 | 2021-12-03 | 基于Unet变体网络的脑肿瘤图像分割系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114372988A true CN114372988A (zh) | 2022-04-19 |
Family
ID=81140444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111470189.7A Pending CN114372988A (zh) | 2021-12-03 | 2021-12-03 | 基于Unet变体网络的脑肿瘤图像分割系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114372988A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645381A (zh) * | 2023-06-26 | 2023-08-25 | 海南大学 | 一种脑肿瘤mri图像分割方法、系统、电子设备及存储介质 |
-
2021
- 2021-12-03 CN CN202111470189.7A patent/CN114372988A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116645381A (zh) * | 2023-06-26 | 2023-08-25 | 海南大学 | 一种脑肿瘤mri图像分割方法、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kebaili et al. | Deep learning approaches for data augmentation in medical imaging: a review | |
| Jiang et al. | Cola-diff: Conditional latent diffusion model for multi-modal mri synthesis | |
| CN115661594B (zh) | 一种基于对齐和融合的图文多模态特征表示方法和系统 | |
| CN114973222B (zh) | 基于显式监督注意力机制的场景文本识别方法 | |
| CN114972231B (zh) | 一种基于先验-后验概率编码器的多模态mr图像分割方法 | |
| Couturier et al. | Image denoising using a deep encoder-decoder network with skip connections | |
| CN114969417B (zh) | 图像重排序方法、相关设备及计算机可读存储介质 | |
| US11557140B2 (en) | Model-independent confidence values for extracted document information using a convolutional neural network | |
| Chen et al. | Accurate and consistent hippocampus segmentation through convolutional LSTM and view ensemble | |
| CN113642585B (zh) | 图像处理方法、装置、设备、存储介质及计算机程序产品 | |
| CN114254071B (zh) | 从非结构化文档中查询语义数据 | |
| CN111523578B (zh) | 图像分类方法及装置、神经网络模型的训练方法及装置 | |
| Kang et al. | Acu-net: A 3d attention context u-net for multiple sclerosis lesion segmentation | |
| CN116433914A (zh) | 一种二维医学图像分割方法及系统 | |
| CN116596846A (zh) | 图像分割方法、图像分割模型构建方法、装置及介质 | |
| Zhang et al. | PTNet: A high-resolution infant MRI synthesizer based on transformer | |
| WO2024087858A1 (zh) | 图像处理模型的训练方法、装置、电子设备、计算机程序产品及计算机存储介质 | |
| CN111881920B (zh) | 一种大分辨率图像的网络适配方法及神经网络训练装置 | |
| Muhammad et al. | Multi-scale Xception based depthwise separable convolution for single image super-resolution | |
| CN114372988A (zh) | 基于Unet变体网络的脑肿瘤图像分割系统 | |
| Zhao et al. | MVP U-Net: Multi-view pointwise U-Net for brain tumor segmentation | |
| Halder et al. | Fetal brain component segmentation using 2-way ensemble U-Net | |
| Li et al. | Learning to rearrange voxels in binary segmentation masks for smooth manifold triangulation | |
| Fang et al. | Unified multi-scale feature abstraction for medical image segmentation | |
| Ye et al. | Unsupervised object transfiguration with attention |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |