CN117635952A - 一种多模态脑瘤图像分割方法 - Google Patents
一种多模态脑瘤图像分割方法 Download PDFInfo
- Publication number
- CN117635952A CN117635952A CN202410101856.1A CN202410101856A CN117635952A CN 117635952 A CN117635952 A CN 117635952A CN 202410101856 A CN202410101856 A CN 202410101856A CN 117635952 A CN117635952 A CN 117635952A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- brain tumor
- network
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 60
- 238000003709 image segmentation Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 26
- 230000011218 segmentation Effects 0.000 claims description 22
- 238000013461 design Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000013136 deep learning model Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 5
- 230000003902 lesion Effects 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000003321 amplification Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Abstract
本发明公开了一种多模态脑瘤图像分割方法，涉及多模态图像处理技术领域，包括以下步骤：步骤一、数据预处理，对采集而来的多模态图像进行数据预处理；步骤二、脑瘤图像分割，将预处理后的图像输入到脑瘤图像分割网络中，经网络处理输出得到脑瘤的区域，该方法能够准确地进行多模态MRI脑图像脑瘤图像分割，提高分割的准确性和效率。
Description
技术领域
本发明属于多模态图像处理技术领域，特别是涉及一种多模态脑瘤图像分割方法。
背景技术
MRI（Magnetic Resonance Imaging）是一种非侵入性的医学成像技术，广泛应用于脑部疾病的诊断和治疗。在脑瘤图像分割领域，MRI图像的处理和分析是至关重要的。然而，传统的脑瘤图像分割方法存在一些限制。首先，多模态MRI脑图像的处理受到低对比度、噪声干扰等因素的影响，导致分割结果的准确性不高。其次，由于脑图像的复杂性和多样性，传统的图像分割算法往往无法充分利用多模态信息，从而限制了分割的效果。此外，传统的池化操作在降低分辨率的同时，也会过多丢失一些重要的细节信息，影响分割的精度。
发明内容
本发明的目的在于提供一种多模态脑瘤图像分割方法，以解决上述背景技术所提出的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种多模态脑瘤图像分割方法，包括以下步骤：
步骤一、数据预处理，对采集而来的多模态图像进行数据预处理；
步骤二、脑瘤图像分割，将预处理后的图像输入到脑瘤图像分割网络中，经网络处理输出得到脑瘤的区域。
进一步地，所述数据预处理包括图像裁剪、重采样数据和数据标准化。
进一步地，所述图像裁剪包括以下步骤：
A、根据多模态图像数据生成非零模板，用以标示图像中非零的区域；利用不同模态的图像得到不同的三维非零模板；之后将得到的不同的非零模板取并集得到所有模态图像的非零模板，即不同模态数据的通用非零模板，以保证同一被试的不同模态数据大小一致；最后对该通用非零模板进行孔洞填充；
B、根据生成的非零模板，确定用于裁剪的bounding_box大小和位置，即要找到非零模板在x，y，z三个轴上值为1的最小坐标值以及最大坐标值；
C、根据bounding_box对该被试的每个模态依次进行裁剪；
将训练数据中的所有被试执行以上操作，得到裁剪后的多模态图像数据。
进一步地，所述重采样数据包括以下步骤：
I、确定重采样的目标空间大小，统计并计算所有被试数据的维度大小的中值和每个维度spacing的中值；根据中值spacing判断数据集是否存在各向异性的问题；其判断标准，中值spacing中三个维度，是否有一个维度spacing大于另一个维度spacing的3倍，并且该维度的大小的中值小于另一个维度大小的中值的1/3；如果该数据集是各向异性的，对spacing值特别大的维度，取该数据集中该维度spacing值的10%分位点作为该维度的目标空间大小；
II、根据第一步确定的目标空间来确定图像的目标尺寸，每张图像的spacing和shape之间的乘积为一个定值，表示整个图像在实际空间中的大小；
III、对每张图像进行resize，当使用的数据集不存在各向异性时，对三维图像数据执行3阶样条插值；否则，假设z轴为spacing大的维度，则仅在图像的x，y平面执行3阶样条插值，而在z轴执行最近邻插值；对于标注图像仅采用最近邻插值。
进一步地，所述数据标准化是对所有的图像数据利用其个体图像的均值和标准差进行z-scoring标准化，让训练数据集中每张影像的灰度值都能具有相同的分布。
进一步地，所述数据预处理还包括数据扩增，使用旋转、缩放、亮度调节、对比度调节、Gamma调节、添加高斯噪声、进行高斯模糊、上下和左右镜像等操作扩大数据集。
进一步地，所述脑瘤图像分割是将经过预处理的图像数据输入到预先设计的脑瘤图像分割网络中，以UNet为该网络的骨干架构，并融合了空间注意力模块和通道注意力模块来捕捉到图像中的重要信息；使用SoftPool进行池化操作。
进一步地，所述脑瘤图像分割的任务为三维网络结构设计，其设计步骤包括：
（1）针对脑瘤图像分割任务进行三维网络结构设计，针对图像维度，该网络设计采用若干次下采样，每次下采样后，图像尺寸缩小一半，在每次下采样中均使用SoftPool进行池化操作，以最大限度的保留图像的特征信息，以增强网络的表达能力；
（2）在下采样的特征编码阶段引入注意力模块并以类似残差连接的方式对提取的特征进行特征融合，即将经过注意力模块后得到的注意力特征图与池化操作之前的特征图进行逐体素相加，获取更全面的图像信息，模型关注于图像中的病变位置，增强模型的学习能力，有助于提高模型对脑瘤区域的识别准确性和分割精度；该注意力模块融合了空间注意力模块和通道注意力模块，网络提取的特征图输入到注意力模块后，会先经过通道注意力模块，突出特征图中重要的通道，与输入特征图融合后，再输入到空间注意力模块中，增强感兴趣的特定目标区域，再与输入的特征图进行特征融合，得到注意力特征图；这种类似残差连接的特征融合结构可以帮助模型更好地应对模型的过拟合问题；
（3）在UNet骨干网中，上采样的特征解码与下采样的特征编码之间引入跳跃连接，融合高维与低维的特征，有助于保留更多的高分辨率信息，提高分割结果的质量。
进一步地，所述脑瘤图像分割还包括网络训练过程，网络训练过程使用旋转、平移、翻转对训练数据进行数据增强，将数据增加三倍，以减少网络过拟合现象的发生并提高模型的稳健性。
进一步地，所述网络训练过程利用Nesterov动量的自适应低阶矩估计优化器，使用训练和验证数据以端到端模式对深度学习模型进行了训练，batchsize大小为2，learning rate为1e-3，并使用python3.11.5和GeForceGTX3090 24GB的GPU上实现；像素级的DICE系数和交叉熵损失函数被应用于最终的特征图以进行损失函数计算，交叉熵损失函数英文为Cross Entropy loss；像素级的DICE系数以下简称DC，用于测量两个样本之间的空间重叠程度的统计量，它的范围从0到1，其中，0表示没有空间重叠，1表示完全空间重叠；交叉熵损失函数以下简称CE，用来描述两个概率分布之间的差异；总损失函数定义为：
其中，表示总损失函数， A表示手工标签，B表示使用深度学习模型自动分割的标签，countoferroritems表示分割出错的像素点数，countofallitems表示整个标签的像素点数；最后将分割结果重建为三维图像，得到最终的脑瘤图像分割结果。
本发明具有以下有益效果：
1、采用了新的池化方式即SoftPool进行池化操作，能够更有效的保留图像的特征信息，增强网络的表达能力。
2、在网络特征编码阶段进行了独特的设计，引入注意力模块并以类似残差连接的方式对提取的特征进行特征融合，将经过注意力模块后得到的注意力特征图与池化操作之前的特征图进行逐体素相加，有助于模型关注于图像中的病变位置，提高模型对脑瘤区域的识别准确性和分割精度。这种类似残差连接的特征融合结构可以帮助模型更好地应对模型的过拟合问题。
3、注意力模块融合了通道注意力模块及空间注意力模块，网络编码的每一层提取的特征图经过池化操作后的特征图，会先经过通道注意力模块，突出特征图中重要的通道，与其输入特征图融合后，再输入到空间注意力模块中，增强感兴趣的特定目标区域，再与输入的特征图进行特征融合，得到注意力特征图。
4、特征编码（下采样）与特征解码（上采样）之间引入跳跃连接，融合高维与低维的特征，有助于保留更多的高分辨率信息，提高分割结果的质量。在下采样阶段使用SoftPool进行池化操作，替换UNet骨干架构中的池化层为SoftPool（软池化）。SoftPool是一种变种的池化层，它可以在保持模型池化层功能的同时减少池化过程中带来的信息损失，增强网络对特征的提取能力。
5、在训练过程中使用像素级的DICE系数和交叉熵损失函数被应用于最终的特征图以进行损失函数计算。
6、在UNet骨干架构的每层下采样中增加CBAM注意力块，该模块是轻量级的卷积注意力模块，通过结合通道注意力模块和空间注意力模块，对所提取的特征在通道维度和空间维度两个角度上对图像进行关注，相比于其他注意力机制，既能提升网络模型对目标区域的识别能力，又节约参数和计算力。
7、网络训练过程的优化策略，该网络在训练过程中采用了自适应的学习率调整策略，模型的初始学习率设置为1e-3，根据模型在训练过程中的表现进行动态地调整其学习率大小，以提高模型的收敛速度和分割性能，结合使用ADAM优化器进行模型优化。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的脑瘤图像分割卷积神经网络示意图。
图2是本发明的脑瘤图像分割卷积神经网络中注意力模块的示意图。
图3是本发明的注意力模块中的通道注意力模块的示意图。
图4是本发明的注意力模块中的空间注意力模块的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-4所示，本发明为一种多模态脑瘤图像分割方法，包括以下步骤：
步骤一、数据预处理，对采集而来的多模态图像进行数据预处理；
步骤二、脑瘤图像分割，将预处理后的图像输入到脑瘤图像分割网络中，经网络处理输出得到脑瘤的区域。该方法能够准确地进行多模态MRI脑图像脑瘤图像分割，提高分割的准确性和效率。
其中，所述数据预处理包括图像裁剪、重采样数据和数据标准化。
其中，所述图像裁剪包括以下步骤：
A、根据多模态图像数据生成非零模板，用以标示图像中非零的区域；利用不同模态的图像得到不同的三维非零模板；之后将得到的不同的非零模板取并集得到所有模态图像的非零模板，即不同模态数据的通用非零模板，以保证同一被试的不同模态数据大小一致；最后对该通用非零模板进行孔洞填充；
B、根据生成的非零模板，确定用于裁剪的bounding_box大小和位置，即要找到非零模板在x，y，z三个轴上值为1的最小坐标值以及最大坐标值；
C、根据bounding_box对该被试的每个模态依次进行裁剪；
将训练数据中的所有被试执行以上操作，得到裁剪后的多模态图像数据。对数据进行剪裁操作，减少背景像素（像素值为0），也就是尽可能的缩小图像，该操作既能扩大了前景在整个图像中的占比，又能节约计算资源，提高计算效率。
其中，所述重采样数据包括以下步骤：
I、确定重采样的目标空间大小，统计并计算所有被试数据的维度大小的中值和每个维度spacing的中值；根据中值spacing判断数据集是否存在各向异性的问题；其判断标准，中值spacing中三个维度，是否有一个维度spacing大于另一个维度spacing的3倍，并且该维度的大小的中值小于另一个维度大小的中值的1/3；如果该数据集是各向异性的，对spacing值特别大的维度，取该数据集中该维度spacing值的10%分位点作为该维度的目标空间大小；
II、根据第一步确定的目标空间来确定图像的目标尺寸，每张图像的spacing和shape之间的乘积为一个定值，表示整个图像在实际空间中的大小；
III、对每张图像进行resize，当使用的数据集不存在各向异性时，对三维图像数据执行3阶样条插值；否则，假设z轴为spacing大的维度，则仅在图像的x，y平面执行3阶样条插值，而在z轴执行最近邻插值；对于标注图像仅采用最近邻插值。由于卷积操作是在图像体素空间进行特征提取，会导致忽略掉实际物理空间中的大小信息，为了解决这种差异性，需要对不同图像在其体素空间进行resize，用以保证在不同的图像中，每个体素所代表的实际物理空间一致。重采样过程就是统一体素间距的过程，即三维上的各向同性。体素间距越小，图像分辨率也就越高。如果某两个轴的分辨率是第三轴的三倍以上，那么这个数据集就被判定为各向异性。对于各向异性数据，主要处理思路是保留高分辨率的两个轴的信息，利用插值增加低分辨率的那个轴的信息。
其中，所述数据标准化是对所有的图像数据利用其个体图像的均值和标准差进行z-scoring标准化，让训练数据集中每张影像的灰度值都能具有相同的分布。每张影像数据都减去自身影像数据的均值并除以标准差，能够让训练数据集中每张影像的灰度值都能具有相同的分布。
其中，所述数据预处理还包括数据扩增，使用旋转、缩放、亮度调节、对比度调节、Gamma调节、添加高斯噪声、进行高斯模糊、上下和左右镜像等操作扩大数据集。使模型学习到更多的图像特征，增强模型的泛化能力。
其中，所述脑瘤图像分割是将经过预处理的图像数据输入到预先设计的脑瘤图像分割网络中，以UNet为该网络的骨干架构，并融合了空间注意力模块和通道注意力模块来捕捉到图像中的重要信息；使用SoftPool进行池化操作。脑瘤图像分割网络采用空间注意力模块和通道注意力模块来捕捉图像中的重要信息，结合SoftPool减少最大池化和平均池化丢失过多特征的问题，有效提升网络性能，该网络的输出便是脑瘤的区域。
其中，所述脑瘤图像分割的任务为三维网络结构设计，其设计步骤包括：
（1）针对脑瘤图像分割任务进行三维网络结构设计，针对图像维度，该网络设计采用若干次下采样，每次下采样后，图像尺寸缩小一半，在每次下采样中均使用SoftPool进行池化操作，以最大限度的保留图像的特征信息，以增强网络的表达能力；
（2）在下采样的特征编码阶段引入注意力模块并以类似残差连接的方式对提取的特征进行特征融合，即将经过注意力模块后得到的注意力特征图与池化操作之前的特征图进行逐体素相加，获取更全面的图像信息，模型关注于图像中的病变位置，增强模型的学习能力，有助于提高模型对脑瘤区域的识别准确性和分割精度；该注意力模块融合了空间注意力模块和通道注意力模块，网络提取的特征图输入到注意力模块后，会先经过通道注意力模块，突出特征图中重要的通道，与输入特征图融合后，再输入到空间注意力模块中，增强感兴趣的特定目标区域，再与输入的特征图进行特征融合，得到注意力特征图；这种类似残差连接的特征融合结构可以帮助模型更好地应对模型的过拟合问题；
（3）在UNet骨干网中，上采样的特征解码与下采样的特征编码之间引入跳跃连接，融合高维与低维的特征，有助于保留更多的高分辨率信息，提高分割结果的质量。
三维分割网络结构的设计采用了新的池化方式，使用SoftPool进行池化操作，能够更有效的保留图像的特征信息，增强网络的表达能力。在网络特征编码阶段进行了独特的设计，引入注意力模块并以类似残差连接的方式对提取的特征进行特征融合，将经过注意力模块后得到的注意力特征图与池化操作之前的特征图进行逐体素相加，有助于模型关注于图像中的病变位置，提高模型对脑瘤区域的识别准确性和分割精度。这种类似残差连接的特征融合结构可以帮助模型更好地应对模型的过拟合问题。注意力模块融合了通道注意力模块及空间注意力模块，网络编码的每一层提取的特征图，经过池化操作后的特征图，会先经过通道注意力模块，突出特征图中重要的通道，与其输入特征图融合后，再输入到空间注意力模块中，增强感兴趣的特定目标区域，再与输入的特征图进行特征融合，得到注意力特征图。特征编码（下采样）与特征解码（上采样）之间引入跳跃连接，融合高维与低维的特征，有助于保留更多的高分辨率信息，提高分割结果的质量。
其中，所述脑瘤图像分割还包括网络训练过程，网络训练过程使用旋转、平移、翻转对训练数据进行数据增强，将数据增加三倍，以减少网络过拟合现象的发生并提高模型的稳健性。
其中，所述网络训练过程利用Nesterov动量的自适应低阶矩估计优化器，使用训练和验证数据以端到端模式对深度学习模型进行了训练，batchsize大小为2，learningrate为1e-3，并使用python3.11.5和GeForceGTX3090 24GB的GPU上实现；像素级的DICE系数和交叉熵损失函数被应用于最终的特征图以进行损失函数计算，交叉熵损失函数英文为Cross Entropy loss；像素级的DICE系数以下简称DC，用于测量两个样本之间的空间重叠程度的统计量，它的范围从0到1，其中，0表示没有空间重叠，1表示完全空间重叠；交叉熵损失函数以下简称CE，用来描述两个概率分布之间的差异；总损失函数定义为：
其中，表示总损失函数， A表示手工标签，B表示使用深度学习模型自动分割的标签，countoferroritems表示分割出错的像素点数，countofallitems表示整个标签的像素点数；最后将分割结果重建为三维图像，得到最终的脑瘤图像分割结果。
实施例：
将采集到的多模态脑图像中的每个图像进行数据预处理得到128*128*128大小的脑图像，相比较原始图像，大大减少了模型的计算量以及所需要的计算资源。将经过处理的脑图像输入到脑瘤图像分割网络中，输出得到的便是脑瘤图像分割图像。
脑瘤图像分割网络是以U-Net为骨干网络架构并进行改进而来的。该网络包括5层下采样和5层上采样，不同的是，在下采样过程中添加了通道注意力模块和空间注意力模块。此外，将传统的池化层更改为SoftPool池化层，不仅解决了以往方法无法充分利用多模态信息的问题，还能更好的防止特征丢失，从而提升网络处理多模态脑图像的复杂信息以及脑瘤图像分割的性能。网络的输入为经过预处理之后尺寸为4*128*128*128大小的4通道三位图像（T1，T1ce，T2，FLAIR），在每次下采样之后特征图就会缩小一倍，第五次下采样之后特征图就变成了4*4*4大小。之后经过上采样和拼接融合操作后就得到了一张原始尺寸的特征图。最后经过softmax就得到了最终的输出结果。输出结果为128*128*128大小的三位脑瘤图像分割图像。
对多模态MRI图像（T1，T1ce，T2，FLAIR）进行标准化的处理。首先，根据图像体素信息进行图像裁剪，缩小背景区域影响的同时节省了计算资源；随后，重采样数据，通过图像维度的中值和每个维度spacing的中值确定重采样的目标空间大小和每张图像的目标尺寸。最后，利用个体图像的均值和标准差进行数据标准化。
使用旋转、平移、翻转对训练数据进行数据增强，将数据增加三倍，以减少网络过拟合现象的发生并提高模型的稳健性。除此之外，使用ADAM优化器进行模型优化。ADAM是一种利用Nesterov动量的自适应低阶矩估计优化器。使用训练和验证数据以端到端模式对深度学习模型进行了训练，batchsize大小为2，learning rate为1e-3，并使用python3.11.5和GeForceGTX3090 24GB的GPU上实现。
另外，像素级的DICE系数(DC)和交叉熵损失函数被应用于最终的特征图以进行损失函数计算。DC是用于测量两个样本之间的空间重叠程度的统计量。它的范围从0(表示没有空间重叠)到1(表示完全空间重叠)。交叉熵损失函数以下简称CE，用来描述两个概率分布之间的差异；总损失函数定义为：
其中，表示总损失函数，A表示手工标签，B表示使用深度学习模型自动分割的标签，countoferroritems表示分割出错的像素点数，countofallitems表示整个标签的像素点数。最后将分割结果重建为三维图像，得到最终的脑瘤图像分割结果。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (9)
1.一种多模态脑瘤图像分割方法，其特征在于，包括以下步骤：
步骤一、数据预处理，对采集而来的多模态图像进行数据预处理，所述数据预处理包括图像裁剪、重采样数据和数据标准化；
步骤二、脑瘤图像分割，将预处理后的图像输入到脑瘤图像分割网络中，经网络处理输出得到脑瘤的区域。
2.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述图像裁剪包括以下步骤：
A、根据多模态图像数据生成非零模板，用以标示图像中非零的区域；利用不同模态的图像得到不同的三维非零模板；之后将得到的不同的非零模板取并集得到所有模态图像的非零模板，即不同模态数据的通用非零模板，以保证同一被试的不同模态数据大小一致；最后对该通用非零模板进行孔洞填充；
B、根据生成的非零模板，确定用于裁剪的bounding_box大小和位置，即要找到非零模板在x，y，z三个轴上值为1的最小坐标值以及最大坐标值；
C、根据bounding_box对该被试的每个模态依次进行裁剪；
将训练数据中的所有被试执行以上操作，得到裁剪后的多模态图像数据。
3.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述重采样数据包括以下步骤：
I、确定重采样的目标空间大小，统计并计算所有被试数据的维度大小的中值和每个维度spacing的中值；根据中值spacing判断数据集是否存在各向异性的问题；其判断标准，中值spacing中三个维度，是否有一个维度spacing大于另一个维度spacing的3倍，并且该维度的大小的中值小于另一个维度大小的中值的1/3；如果该数据集是各向异性的，对spacing值大的维度，取该数据集中该维度spacing值的10%分位点作为该维度的目标空间大小；
II、根据第一步确定的目标空间来确定图像的目标尺寸，每张图像的spacing和shape之间的乘积为一个定值，表示整个图像在实际空间中的大小；
III、对每张图像进行resize，当使用的数据集不存在各向异性时，对三维图像数据执行3阶样条插值；否则，假设z轴为spacing大的维度，则仅在图像的x，y平面执行3阶样条插值，而在z轴执行最近邻插值；对于标注图像仅采用最近邻插值。
4.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述数据标准化是对所有的图像数据利用其个体图像的均值和标准差进行z-scoring标准化，让训练数据集中每张影像的灰度值都能具有相同的分布。
5.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述数据预处理还包括数据扩增，使用旋转、缩放、亮度调节、对比度调节、Gamma调节、添加高斯噪声、进行高斯模糊、上下和左右镜像操作扩大数据集。
6.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述脑瘤图像分割是将经过预处理的图像数据输入到预先设计的脑瘤图像分割网络中，以UNet为该网络的骨干架构，并融合了空间注意力模块和通道注意力模块来捕捉到图像中的重要信息；使用SoftPool进行池化操作。
7.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述脑瘤图像分割的任务为三维网络结构设计，其设计步骤包括：
（1）针对脑瘤图像分割任务进行三维网络结构设计，针对图像维度，该网络设计采用若干次下采样，每次下采样后，图像尺寸缩小一半，在每次下采样中均使用SoftPool进行池化操作，以最大限度的保留图像的特征信息，以增强网络的表达能力；
（2）在下采样的特征编码阶段引入注意力模块并以残差连接的方式对提取的特征进行特征融合，即将经过注意力模块后得到的注意力特征图与池化操作之前的特征图进行逐体素相加，获取更全面的图像信息，模型关注于图像中的病变位置，增强模型的学习能力，有助于提高模型对脑瘤区域的识别准确性和分割精度；该注意力模块融合了空间注意力模块和通道注意力模块，网络提取的特征图输入到注意力模块后，会先经过通道注意力模块，突出特征图中重要的通道，与输入特征图融合后，再输入到空间注意力模块中，增强感兴趣的特定目标区域，再与输入的特征图进行特征融合，得到注意力特征图；这种残差连接的特征融合结构帮助模型更好地应对模型的过拟合问题；
（3）在UNet骨干网中，上采样的特征解码与下采样的特征编码之间引入跳跃连接，融合高维与低维的特征，有助于保留更多的高分辨率信息，提高分割结果的质量。
8.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述脑瘤图像分割还包括网络训练过程，网络训练过程使用旋转、平移、翻转对训练数据进行数据增强，将数据增加三倍，以减少网络过拟合现象的发生并提高模型的稳健性。
9.根据权利要求8所述的一种多模态脑瘤图像分割方法，其特征在于，所述网络训练过程利用Nesterov动量的自适应低阶矩估计优化器，使用训练和验证数据以端到端模式对深度学习模型进行了训练，batchsize大小为2，learning rate为1e-3，并使用python3.11.5和GeForceGTX3090 24GB的GPU上实现；像素级的DICE系数和交叉熵损失函数被应用于最终的特征图以进行损失函数计算，交叉熵损失函数英文为Cross Entropy loss；像素级的DICE系数以下简称DC，用于测量两个样本之间的空间重叠程度的统计量，它的范围从0到1，其中，0表示没有空间重叠，1表示完全空间重叠；交叉熵损失函数以下简称CE，用来描述两个概率分布之间的差异；总损失函数定义为：
其中，表示总损失函数，A表示手工标签，B表示使用深度学习模型自动分割的标签，countoferroritems表示分割出错的像素点数，countofallitems表示整个标签的像素点数；最后将分割结果重建为三维图像，得到最终的脑瘤图像分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410101856.1A CN117635952A (zh) | 2024-01-25 | 2024-01-25 | 一种多模态脑瘤图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410101856.1A CN117635952A (zh) | 2024-01-25 | 2024-01-25 | 一种多模态脑瘤图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117635952A true CN117635952A (zh) | 2024-03-01 |
Family
ID=90021916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410101856.1A Pending CN117635952A (zh) | 2024-01-25 | 2024-01-25 | 一种多模态脑瘤图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117635952A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN113888555A (zh) * | 2021-09-02 | 2022-01-04 | 山东师范大学 | 基于注意机制的多模态脑肿瘤图像分割系统 |
| CN113989287A (zh) * | 2021-09-10 | 2022-01-28 | 国网吉林省电力有限公司 | 城市道路遥感图像分割方法、装置、电子设备和存储介质 |
| CN114943694A (zh) * | 2022-05-09 | 2022-08-26 | 浙江科技学院 | 一种基于对抗生成网络与注意力的缺陷检测方法 |
| CN115496771A (zh) * | 2022-09-22 | 2022-12-20 | 安徽医科大学 | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 |
| CN115760846A (zh) * | 2022-12-13 | 2023-03-07 | 北京瑞医博科技有限公司 | 医学图像处理方法、装置、电子设备和存储介质 |
| CN115861228A (zh) * | 2022-12-01 | 2023-03-28 | 长春工业大学 | 基于UNet网络和注意力机制的脑胶质瘤分割方法 |
| CN116342624A (zh) * | 2023-03-29 | 2023-06-27 | 江苏科技大学 | 一种结合特征融合与注意力机制的脑肿瘤图像分割方法 |
| US20230222328A1 (en) * | 2022-01-11 | 2023-07-13 | Emmy Wei | Solving Aliasing-Induced Problems in Convolutional Nonlinear Networks |
| CN116523877A (zh) * | 2023-05-04 | 2023-08-01 | 南通大学 | 一种基于卷积神经网络的脑mri图像肿瘤块分割方法 |
| CN116596846A (zh) * | 2023-04-07 | 2023-08-15 | 北京航空航天大学 | 图像分割方法、图像分割模型构建方法、装置及介质 |
| CN117372458A (zh) * | 2023-10-24 | 2024-01-09 | 长沙理工大学 | 三维脑肿瘤分割方法、装置、计算机设备和存储介质 |
-
2024
- 2024-01-25 CN CN202410101856.1A patent/CN117635952A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
| CN110689543A (zh) * | 2019-09-19 | 2020-01-14 | 天津大学 | 基于注意机制的改进卷积神经网络脑肿瘤图像分割方法 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN113888555A (zh) * | 2021-09-02 | 2022-01-04 | 山东师范大学 | 基于注意机制的多模态脑肿瘤图像分割系统 |
| CN113989287A (zh) * | 2021-09-10 | 2022-01-28 | 国网吉林省电力有限公司 | 城市道路遥感图像分割方法、装置、电子设备和存储介质 |
| US20230222328A1 (en) * | 2022-01-11 | 2023-07-13 | Emmy Wei | Solving Aliasing-Induced Problems in Convolutional Nonlinear Networks |
| CN114943694A (zh) * | 2022-05-09 | 2022-08-26 | 浙江科技学院 | 一种基于对抗生成网络与注意力的缺陷检测方法 |
| CN115496771A (zh) * | 2022-09-22 | 2022-12-20 | 安徽医科大学 | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 |
| CN115861228A (zh) * | 2022-12-01 | 2023-03-28 | 长春工业大学 | 基于UNet网络和注意力机制的脑胶质瘤分割方法 |
| CN115760846A (zh) * | 2022-12-13 | 2023-03-07 | 北京瑞医博科技有限公司 | 医学图像处理方法、装置、电子设备和存储介质 |
| CN116342624A (zh) * | 2023-03-29 | 2023-06-27 | 江苏科技大学 | 一种结合特征融合与注意力机制的脑肿瘤图像分割方法 |
| CN116596846A (zh) * | 2023-04-07 | 2023-08-15 | 北京航空航天大学 | 图像分割方法、图像分割模型构建方法、装置及介质 |
| CN116523877A (zh) * | 2023-05-04 | 2023-08-01 | 南通大学 | 一种基于卷积神经网络的脑mri图像肿瘤块分割方法 |
| CN117372458A (zh) * | 2023-10-24 | 2024-01-09 | 长沙理工大学 | 三维脑肿瘤分割方法、装置、计算机设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| JIANCHUANG LI 等: "Retinal vessel segmentation algorithm based on deformable U-net", 《2023 IEEE 6TH INTERNATIONAL CONFERENCE ON ELECTRONIC INFORMATION AND COMMUNICATION TECHNOLOGY (ICEICT)》, 22 September 2023 (2023-09-22), pages 67 - 71 * |
| 曹祺炜 等: "基于3D卷积神经网络的脑肿瘤医学图像分割优化", 《现代电子技术》, vol. 43, no. 3, 31 December 2020 (2020-12-31), pages 74 - 77 * |
| 王师玮 等: "基于改进U-Net的视网膜血管分割", 《智能计算机与应用》, vol. 12, no. 7, 31 December 2022 (2022-12-31), pages 151 - 155 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108053417B (zh) | 一种基于混合粗分割特征的3D U-Net网络的肺分割装置 | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN110889852B (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| CN110599528A (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
| CN110930416A (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| CN115661144B (zh) | 基于可变形U-Net的自适应医学图像分割方法 | |
| CN111951288B (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
| CN112150428A (zh) | 一种基于深度学习的医学图像分割方法 | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| CN110188792A (zh) | 前列腺mri三维图像的图像特征获取方法 | |
| CN112330724B (zh) | 一种基于集成注意力增强的无监督多模态图像配准方法 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| US11727628B2 (en) | Neural opacity point cloud | |
| Kasem et al. | Spatial transformer generative adversarial network for robust image super-resolution | |
| CN111260667B (zh) | 一种结合空间引导的神经纤维瘤分割方法 | |
| CN114092439A (zh) | 一种多器官实例分割方法及系统 | |
| CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
| CN114037714A (zh) | 一种面向前列腺系统穿刺的3d mr与trus图像分割方法 | |
| CN114332098A (zh) | 一种基于多序列磁共振影像的颈动脉不稳定斑块分割方法 | |
| CN115471470A (zh) | 一种食管癌ct图像分割方法 | |
| CN114266939A (zh) | 一种基于ResTLU-Net模型的脑提取方法 | |
| CN117575915A (zh) | 一种图像超分辨率重建方法、终端设备及存储介质 | |
| CN114972619A (zh) | 一种基于自对齐双重回归的单图像人脸三维重建方法 | |
| CN116542924A (zh) | 一种前列腺病灶区域检测方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |