CN114782350A - 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法 - Google Patents

一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法 Download PDF

Info

Publication number
CN114782350A
CN114782350A CN202210393464.8A CN202210393464A CN114782350A CN 114782350 A CN114782350 A CN 114782350A CN 202210393464 A CN202210393464 A CN 202210393464A CN 114782350 A CN114782350 A CN 114782350A
Authority
CN
China
Prior art keywords
module
features
image
hca
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210393464.8A
Other languages
English (en)
Inventor
张聚
马栋
上官之博
姚信威
边林洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210393464.8A priority Critical patent/CN114782350A/zh
Publication of CN114782350A publication Critical patent/CN114782350A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法，涉及深度学习领域，本发明首先对数据集进行数据预处理和数据增广，然后构建网络模型，网络模型包括主干网络、混合上下文感知模块和全局注意力融合模块，图像进入网络模型，先经过主干网络进行编码，然后通过混合上下文感知模块感知全局和局部信息，最后通过注意力融合模块对多模态特征进行融合并输出图像。经过训练好的网络模型后，把待分割的二维磁共振脑瘤图像输入到训练好的模型，输出图像的分割结果。本专利能够训练有效的自动分割MRI脑瘤图像的网络模型，融合多模态特征，提高了分割精度，具有较高的应用价值和临床治疗的应用前景。

Description

一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割 方法
技术领域
本发明属于深度学习技术领域，应用于医学图像分割方面，具体涉及一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法。
背景技术
脑瘤分割对神经胶质瘤患者的诊断和预后至关重要。从磁共振图像中分割脑肿瘤是脑肿瘤治疗的一个必要程序，使临床医生能够识别肿瘤的位置、范围和类型。这不仅有助于初步诊断，而且有助于管理和监测治疗进展。鉴于这项任务的重要性，对肿瘤及其亚区域的精确描述通常由经验丰富的神经放射科医生手动完成。这是一个繁琐而耗时的过程，需要大量的时间和专业知识，特别是分割患者肿瘤体积大、图像是多模态的、肿瘤是异质性的图像。标记过程也受到不同标记者之间的不同认知影响，需要对标记和分割解释达成共识，增加了额外的复杂性。
计算机辅助分割算法有可能解决这些缺点，因为它可以降低标记过程的劳动强度，并且在不同的情况下保持一致性。脑肿瘤自动分割最初依赖于使用传统的机器学习方法，如基于atlas、决策森林、条件随机场的方法等。随着深度学习的发展，传统的机器学习方法已经慢慢地被深度神经网络取代。如何更好地优化之前的模型并将其应用到医学图像中来，使其分割的医学图像能更加地准确成了目前研究的重要领域。
研究人员通过使用二维切片和三维体积作为输入来完成脑瘤分割的任务。尽管三维模型自然地利用了大脑解剖学中固有的三维结构信息，但这种模型不一定能产生更好的结果，此外，它们在计算上往往更昂贵，因此在推理过程中速度更慢。基于3D的全体积方法还需要通过大脑体积的预先定义的切片数量作为输入，在实践中，切片的数量因协议而不同，这使得这些模型可能不够通用。
MRI图像有多种模态，分为T1加权成像、T2加权成像、T1ce成像、自由水抑制序列(FLAIR)等模态，每种模态各有特点。单一的模态由于无法充分细分相关区域的肿瘤，常常会导致失败或不足，利用不同的核磁共振成像模态，可以有效弥补上述弱点。多种模态图像信息能够有效互补，可以有效地提升分割的准确性，但是在一定程度上也增加了分割问题的难度，输入的多模态图像信息，增加分割的必要信息，但同时增加大量不必要的信息，因此会加大分割问题的难度。
发明内容
本发明要克服现有技术的上述问题，提出一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法，用于从MRI图像中准确分割脑瘤图像。
一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法，其特征在于，包含以下步骤：
步骤1)输入数据集；
输入MRI脑瘤图像数据集BraTS2021。脑瘤分割挑战(BraTS)是自2012年开始举办的年度国际比赛。为参与者提供了大量的不同程度的胶质瘤患者的完全注释、多机构、多模态核磁共振图像。BraTS2021数据集中的磁共振图像模态有T1加权成像、T2加权成像、T1ce成像、自由水抑制序列(FLAIR)四种模态。
输入待分割的多模态二维MRI脑瘤图像。
步骤2)数据预处理和数据增广；
通过对数据集BraTS2021中的三维图像的冠状面进行切片，每个切片要同时获得它其他三种模态的对应位置的切片和分割切片，把切片图像改为4个通道,按顺序分别对应T1加权成像、T2加权成像、T1ce成像、自由水抑制序列(FLAIR)，得到的二维图像数据集记为2DBraTS2021。通过对数据集2DBraTS2021中的图像进行裁剪、翻转、旋转、缩放、移位等方式来扩大数据集，这个操作称之为数据增强，数据增强可以增加训练的数据量，提高深度神经网络模型的泛化能力，最后对所有数据进行归一化处理将图像强度值限定在一定的范围内，避免某些异常样本对训练造成不良影响。
步骤3)构建网络模型；
构建我们发明的分割模型BraTSegNet。我们的分割模型主要由一个主干网络和两个关键模块组成，即ResNet主干网络、混合上下文感知(HCA，Hybrid Context-Aware)模块和全局注意融合(DAF,Dual Attention Fusion)模块。主干网络从输入的CT图像中提取多层特征。然后，HCA模块对特征进行增强，然后将其输入DAF模块来预测分割图。
首先从主干网络的不同层级中提取多层次特征。然后，低级和高级特征都被输入HCA模块，通过扩大接受域进行增强。需要注意的是，低/高级特征表示更接近主干网络的开始/结束(即输入/输出)的特征。然后，我们使用三个DAF模块来进行特征融合来预测分割图。此外，我们采用深度监督策略，对三个DAF模块的输出和最后一个HCA模块的输出进行监督。我们使用预训练过的ResNet50的前四层作为BraTSegNet的编码器。特征图的大小减半，两个相邻的残差块(RB)之间的通道数量增加了一倍。
3.1.构建HCA模块：
该模块利用扩大的接受域利用更多的信息特征。一个HCA模块由4个并行分支组成，每个分支都由不同的卷积层组成。特别是，第三个分支利用了串联的不同扩张率的空洞卷积层，即混合空洞卷积，提供了来自不同接受域的丰富的多尺度特征。在融合了多尺度特征后，我们获得了更多的信息特征，提供了丰富的图像信息特征。数学上，HCA模块定义为
fHCA＝ReLU(Conv3x3(Cat(Conv1×1(fRB),Conv3×3(fRB),fHDC))+Conv1×1(fRB)) (1)
fHDC＝f3(f2(f1(fRB))) (2)
其中fi表示扩张率为i、卷积核为3×3的空洞卷积单元；Cat(x)表示连接操作；Conv1×1(x)和Conv3×3(x)分别表示卷积核大小为1×1和3×3的卷积单元；fRB表示从主干中提取的特征。
3.2.构建DAF模块:
为了融合HCA模块的丰富特征，我们提出了一种新的DAF模块。该模块利用高级特征生成的注意力权重图来增强低级特征，然后将增强的低级特征与高级特征融合。我们同时考虑了通道注意力和空间注意力机制，把通道注意力(CA，Channel Attention)模块和空间注意力(Spatial Attention)模块串联起来，我们在CA模块中使用平均池，在SA模块中使用最大池。如图所示，高级特征经过CA模块和SA模块生成注意力权重图，然后增强低级特征。由经过上采样的高级特征和增强的低级特征的总和作为融合特征。数学上，我们将DAF模块定义为：
Figure BDA0003596449280000031
Figure BDA0003596449280000032
Figure BDA0003596449280000033
Figure BDA0003596449280000034
和
Figure BDA0003596449280000035
代表第k级(低级)和第k+1级(高级)HCA模块提供的特征，k＝1,2,3。符号*表示哈达玛积，即元素乘法。Deconv4×4(x)表示核大小为4×4的反卷积操作，它扩大了特征图的大小。WCA是特征经过CA模块后的注意权重矩阵，WSA(x)是SA模块的操作。ArgPool(x)表示平均池化操作，MaxPool(x)表示最大池化操作。σ(x)表示Sigmoid激活函数。
3.3构建损失函数
我们考虑两个损失，即二元交叉熵(BCE，Binary cross entropy)损失和骰子(Dice)损失。
因此，总体损失被设计为
Loss＝LBCE+LDice (6)
步骤4)训练策略；
将经过预处理的数据集以6:2:2的比例依次划分为训练集、测试集和验证集。采用随机初始化和Adam优化算法。设置BatchSize(一次训练所选取的样本数)、epoch(表示回合的意思，训练完所有的数据表示一回合)和合适的初始学习率和每次更新时学习率下降的值。BraTSegNet网络模型中采用反向传播算法(BP)算法对网络中的权重和偏置进行更新。训练迭代过程中利用步骤3.3所述损失函数进行参数的更新。
根据设置好的训练策略对BraTSegNet网络模型进行训练。首先将ImageNet上预训练的ResNet块参数加载到我们的模型对应的残差块中。然后，使用2DBraTS2021数据集对我们的模型进行训练。训练分割出整个肿瘤(WT:whole tumor)、肿瘤核心(TC:tumor core)和增强肿瘤区域(ET,enhancing tumor)。
步骤5)评估指标；
评估指标如下所示：
骰子相似性系数(DSC)：DSC用于测量预测的脑瘤区域与事实脑瘤区域之间的相似性。DSC定义如下：
Figure BDA0003596449280000041
其中VS代表经过模型分割后的数据集，VT代表事实的分割数据。|x|表示基数计算的运算，它提供了一个集合中的元素的数量。根据此公式分别计算整个肿瘤(WT:wholetumor)、肿瘤核心(TC:tumor core)和增强肿瘤区域(ET,enhancing tumor)的骰子相似性系数。
步骤6)使用已训练好的网络模型；
保存已经训练好的网络模型，对待分割的多模态MRI脑瘤图像进行语义分割，最后得到已分割图像。
本发明的优点是：
1、设计了一种新的上下文感知模块，利用混合空洞卷积网络，扩大感受野。卷积神经网络会导致内部数据结构丢失和空间层级化信息丢失的问题，空洞卷积网络能解决这些问题。然而连续采用扩张率相同的空洞卷积网络又会损失信息的连续性，采用混合空洞卷积网络解决此问题。
2、利用注意力机制进行多模态特征融合，充分细分相关区域的肿瘤，解决低边界对比度的问题，有效地提升分割的准确性。
附图说明
图1是本发明所提出方法的具体的流程图；
图2是本发明所提出的BraTSegNet网络结构图；
图3是本发明所提出的HCA模块结构图；
图4是本发明所提出的DAF模块结构图。
具体实施方式
以下结合附图对本发明做进一步说明：
如图1所示，本发明的一种新的基于迁移学习和注意力机制的肺部CT图像分割方法具体包括以下步骤：
步骤1)输入数据集；
输入MRI脑瘤图像数据集BraTS2021。脑瘤分割挑战(BraTS)是自2012年开始举办的年度国际比赛。为参与者提供了大量的不同程度的胶质瘤患者的完全注释、多机构、多模态核磁共振图像。BraTS2021数据集中的磁共振图像模态有T1加权成像、T2加权成像、T1ce成像、自由水抑制序列(FLAIR)四种模态。
输入待分割的二维多模态MRI脑瘤图像。
步骤2)数据增广和数据预处理；
通过对数据集BraTS2021中的三维图像的冠状面进行切片，每个切片要同时获得它其他三种模态的对应位置的切片和分割切片，把切片图像改为4个通道,按顺序分别对应T1加权成像、T2加权成像、T1ce成像、自由水抑制序列(FLAIR)，得到的二维图像数据集记为2DBraTS2021。通过对数据集2DBraTS2021中的图像进行裁剪、翻转、旋转、缩放、移位等方式来扩大数据集，这个操作称之为数据增强，数据增强可以增加训练的数据量，提高深度神经网络模型的泛化能力，最后对所有数据进行归一化处理将图像强度值限定在一定的范围内，避免某些异常样本对训练造成不良影响。
步骤3)构建网络模型；
构建我们发明的分割模型BraTSegNet。如图2所示，我们的分割模型主要由一个主干网络和两个关键模块组成，即ResNet主干网络、混合上下文感知(HCA，Hybrid Context-Aware)模块和简易注意融合(DAF,Dual Attention Fusion)模块。主干网络从输入的CT图像中提取多层特征。然后，HCA模块对特征进行增强，然后将其输入SAF模块来预测分割图。
如图1所示，首先从主干网络的不同层级中提取多层次特征。然后，低级和高级特征都被输入HCA模块，通过扩大接受域进行增强。需要注意的是，低/高级特征表示更接近主干网络的开始/结束(即输入/输出)的特征。然后，我们使用三个DAF模块来进行特征融合来预测分割图。此外，我们采用深度监督策略，对三个DAF模块的输出和最后一个HCA模块的输出进行监督。我们使用预训练过的ResNet50的前四层作为BraTSegNet的编码器。特征图的大小减半，两个相邻的残差块(RB)之间的通道数量增加了一倍。
3.1.本发明所提出的HCA模块：
该模块利用扩大的接受域利用更多的信息特征。如图3所示，一个HCA模块由4个并行分支组成，每个分支都由不同的卷积层组成。特别是，第三个分支利用了串联的不同扩张率的空洞卷积层，即混合空洞卷积(HDC,Hybrid Dilated Convolution)，提供了来自不同接受域的丰富的多尺度特征。在融合了多尺度特征后，我们获得了更多的信息特征，提供了丰富的图像信息特征。数学上，HCA模块定义为
fHCA＝ReLU(Conv3×3(Cat(Conv1×1(fRB),Conv3×3(fRB),fHDC))+Conv1×1(fRB)) (1)
fHDC＝f3(f2(f1(fRB))) (2)
其中fi表示扩张率为i、卷积核为3×3的空洞卷积单元；Cat(x)表示连接操作；Conv1×1(x)和Conv3×3(x)分别表示卷积核大小为1×1和3×3的卷积单元；fRB表示从主干中提取的特征。
3.2.本发明所提出的DAF模块:
为了融合HCA模块的丰富特征，我们提出了一种新的DAF模块。如图4所示，该模块利用高级特征生成的注意力权重图来增强低级特征，然后将增强的低级特征与高级特征融合。我们同时考虑了通道注意力和空间注意力机制，把通道注意力(CA，ChannelAttention)模块和空间注意力(Spatial Attention)模块串联起来，我们在CA模块中使用平均池，在SA模块中使用最大池。如图所示，高级特征经过CA模块和SA模块生成注意力权重图，然后增强低级特征。由经过上采样的高级特征和增强的低级特征的总和作为融合特征。数学上，我们将DAF模块定义为：
Figure BDA0003596449280000071
Figure BDA0003596449280000072
Figure BDA0003596449280000073
Figure BDA0003596449280000074
和
Figure BDA0003596449280000075
代表第k级(低级)和第k+1级(高级)HCA模块提供的特征，k＝1,2,3。符号*表示哈达玛积，即元素乘法。Deconv4×4(x)表示核大小为4×4的反卷积操作，它扩大了特征图的大小。WCA是特征经过CA模块后的注意权重矩阵，WSA(x)是SA模块的操作。ArgPool(x)表示平均池化操作，MaxPool(x)表示最大池化操作。σ(x)表示Sigmoid激活函数。
3.3损失函数
我们考虑两个损失，即二元交叉熵(BCE，Binary cross entropy)损失和骰子(Dice)损失。
因此，总体损失被设计为
Loss＝LBCE+LDice (6)
步骤4)训练策略；
将经过预处理的数据集以6:2:2的比例依次划分为训练集、测试集和验证集，训练集中不包含没有病灶切片，以缓解类别不均衡问题。采用随机初始化和Adam优化算法。设置BatchSize(一次训练所选取的样本数)、epoch(表示回合的意思，训练完所有的数据表示一回合)和合适的初始学习率和每次更新时学习率下降的值。BraTSegNet网络模型中采用反向传播算法(BP)算法对网络中的权重和偏置进行更新。训练迭代过程中利用步骤3.3所述损失函数进行参数的更新。
根据设置好的训练策略对BraTSegNet网络模型进行训练。首先将ImageNet上预训练的ResNet块参数加载到我们的模型对应的残差块中。
然后将2DBraTS2021数据集视为源数据对模型进行预训练。设置如下：100epochs,初始学习率1e-4，批量大小为10，图像大小为240×240。采用Adam优化器进行优化。
epoch数设置为100，并采用早期停止策略来防止过拟合。
步骤5)评估指标；
评估指标如下所示：
骰子相似性系数(DSC)：DSC用于测量预测的肺部感染与事实之间的相似性。DSC定义如下：
Figure BDA0003596449280000081
其中VS代表经过模型分割后的数据集，VT代表事实的分割数据。|x|表示基数计算的运算，它提供了一个集合中的元素的数量。根据此公式分别计算整个肿瘤(WT:wholetumor)、肿瘤核心(TC:tumor core)和增强肿瘤区域(ET,enhancing tumor)的骰子相似性系数。
步骤6)使用已训练好的网络模型；
保存已经训练好的网络模型，输入待分割的二维多模态MRI脑瘤图像进行语义分割，最后得到已分割图像。
本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，但以上所述仅为本发明的优选实施例而已，它完全可以被适用于各种适合本发明的领域，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (1)

1.一种基于注意力机制的多模态特征融合的MRI脑瘤图像分割方法，其特征在于，包含以下步骤：
步骤1)输入数据集；
输入MRI脑瘤图像数据集BraTS2021；BraTS2021数据集中的磁共振图像模态有T1加权成像、T2加权成像、T1ce成像、自由水抑制序列(FLAIR)四种模态；
输入待分割的二维多模态MRI脑瘤图像；
步骤2)数据增广和数据预处理；
通过对数据集BraTS2021中的三维图像的冠状面进行切片，每个切片要同时获得它其他三种模态的对应位置的切片和分割切片，把切片图像改为4个通道,按顺序分别对应T1加权成像、T2加权成像、T1ce成像、自由水抑制序列(FLAIR)，得到的二维图像数据集记为2DBraTS2021；通过对数据集2DBraTS2021中的图像进行裁剪、翻转、旋转、缩放、移位等方式来扩大数据集，这个操作称之为数据增强，数据增强可以增加训练的数据量，提高深度神经网络模型的泛化能力，最后对所有数据进行归一化处理将图像强度值限定在一定的范围内，避免某些异常样本对训练造成不良影响；
步骤3)构建网络模型；
构建分割模型BraTSegNet；分割模型包括一个主干网络和两个关键模块组成，即ResNet主干网络、混合上下文感知(HCA，Hybrid Context-Aware)模块和全局注意融合(DAF,Dual Attention Fusion)模块；主干网络从输入的CT图像中提取多层特征；然后，HCA模块对特征进行增强，然后将其输入DAF模块来预测分割图；
首先从主干网络的不同层级中提取多层次特征；然后，低级和高级特征都被输入HCA模块，通过扩大接受域进行增强；需要注意的是，低/高级特征表示更接近主干网络的开始/结束(即输入/输出)的特征；然后，使用三个DAF模块来进行特征融合来预测分割图；此外采用深度监督策略，对三个DAF模块的输出和最后一个HCA模块的输出进行监督；使用预训练过的ResNet50的前四层作为BraTSegNet的编码器；特征图的大小减半，两个相邻的残差块(RB)之间的通道数量增加了一倍；
3.1.构建HCA模块：
HCA模块利用扩大的接受域利用更多的信息特征；一个HCA模块由4个并行分支组成，每个分支都由不同的卷积层组成；特别是，第三个分支利用了串联的不同扩张率的空洞卷积层，即混合空洞卷积，提供了来自不同接受域的丰富的多尺度特征；在融合了多尺度特征后，我们获得了更多的信息特征，提供了丰富的图像信息特征；数学上，HCA模块定义为
fHCA＝ReLU(Conv3x3(Cat(Conv1×1(fRB)，Conv3×3(fRB)，fHDC))+Conv1×1(fRB)) (1)
fHDC＝f3(f2(f1(fRB))) (2)
其中fi表示扩张率为i、卷积核为3×3的空洞卷积单元；Cat(x)表示连接操作；Conv1×1(x)和Conv3×3(x)分别表示卷积核大小为1×1和3×3的卷积单元；fRB表示从主干中提取的特征；
3.2.构建DAF模块：
为了融合HCA模块的丰富特征，提出了一种新的DAF模块；DAF模块利用高级特征生成的注意力权重图来增强低级特征，然后将增强的低级特征与高级特征融合；我们同时考虑了通道注意力和空间注意力机制，把通道注意力(CA，Channel Attention)模块和空间注意力(Spatial Attention)模块串联起来，在CA模块中使用平均池，在SA模块中使用最大池；高级特征经过CA模块和SA模块生成注意力权重图，然后增强低级特征；由经过上采样的高级特征和增强的低级特征的总和作为融合特征；数学上，将DAF模块定义为：
Figure FDA0003596449270000021
Figure FDA0003596449270000022
Figure FDA0003596449270000023
Figure FDA0003596449270000024
和
Figure FDA0003596449270000025
代表第k级(低级)和第k+1级(高级)HCA模块提供的特征，k＝1，2，3；符号*表示哈达玛积，即元素乘法；Deconv4×4(x)表示核大小为4×4的反卷积操作，它扩大了特征图的大小；WCA是特征经过CA模块后的注意权重矩阵，WSA(x)是SA模块的操作；ArgPool(x)表示平均池化操作，MaxPool(x)表示最大池化操作；σ(x)表示Sigmoid激活函数；
3.3构建损失函数；
采用深度监督策略来设计损失函数；具体来说，在每个DAF模块和最后一个HCA模块中添加了监督，共4个，允许更好的梯度流和更有效的网络训练；对于每个监督，考虑两个损失，即二元交叉熵(BCE，Binary cross entropy)损失和骰子(Dice)损失；因此，总体损失被设计为
Loss＝LBCE+LDice (6)
步骤4)训练策略；
将经过预处理的数据集以6:2:2的比例依次划分为训练集、测试集和验证集；采用随机初始化和Adam优化算法；设置BatchSize(一次训练所选取的样本数)、epoch(表示回合的意思，训练完所有的数据表示一回合)和合适的初始学习率和每次更新时学习率下降的值；BraTSegNet网络模型中采用反向传播算法(BP)算法对网络中的权重和偏置进行更新；训练迭代过程中利用步骤3.3所述损失函数进行参数的更新；
根据设置好的训练策略对BraTSegNet网络模型进行训练；首先将ImageNet上预训练的ResNet块参数加载到BraTSegNet网络模型对应的残差块中；然后，使用2DBraTS2021数据集对BraTSegNet网络模型进行训练；训练分割出整个肿瘤(WT:whole tumor)、肿瘤核心(TC:tumor core)和增强肿瘤区域(ET,enhancing tumor)；
步骤5)评估指标；
评估指标如下所示：
骰子相似性系数(DSC)：DSC用于测量预测的脑瘤区域与事实脑瘤区域之间的相似性；DSC定义如下：
Figure FDA0003596449270000031
其中VS代表经过模型分割后的数据集，VT代表事实的分割数据；|x|表示基数计算的运算，它提供了一个集合中的元素的数量；根据此公式分别计算整个肿瘤(WT:whole tumor)、肿瘤核心(TC:tumor core)和增强肿瘤区域(ET,enhancing tumor)的骰子相似性系数；
步骤6)使用已训练好的网络模型；
保存已经训练好的网络模型，对待分割的二维多模态MRI脑瘤图像进行语义分割，最后得到已分割图像。
CN202210393464.8A 2022-04-14 2022-04-14 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法 Pending CN114782350A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210393464.8A CN114782350A (zh) 2022-04-14 2022-04-14 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210393464.8A CN114782350A (zh) 2022-04-14 2022-04-14 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法

Publications (1)

Publication Number Publication Date
CN114782350A true CN114782350A (zh) 2022-07-22

Family

ID=82428214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210393464.8A Pending CN114782350A (zh) 2022-04-14 2022-04-14 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法

Country Status (1)

Country Link
CN (1) CN114782350A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578370A (zh) * 2022-10-28 2023-01-06 深圳市铱硙医疗科技有限公司 一种基于脑影像的代谢区域异常检测方法及装置
CN116452593A (zh) * 2023-06-16 2023-07-18 武汉大学中南医院 血管性认知障碍的ai评估模型的构建方法、装置及系统
CN116664605A (zh) * 2023-08-01 2023-08-29 昆明理工大学 基于扩散模型和多模态融合的医学图像肿瘤分割方法
CN117218419A (zh) * 2023-09-12 2023-12-12 河北大学 一种胰胆肿瘤分型分级分期的评估系统和评估方法
CN117392153A (zh) * 2023-12-06 2024-01-12 江西师范大学 一种基于局部补偿和多尺度自适应变形的胰腺分割方法
CN117496516A (zh) * 2023-12-25 2024-02-02 北京航空航天大学杭州创新研究院 一种脑瘤mri图像分割方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578370A (zh) * 2022-10-28 2023-01-06 深圳市铱硙医疗科技有限公司 一种基于脑影像的代谢区域异常检测方法及装置
CN115578370B (zh) * 2022-10-28 2023-05-09 深圳市铱硙医疗科技有限公司 一种基于脑影像的代谢区域异常检测方法及装置
CN116452593A (zh) * 2023-06-16 2023-07-18 武汉大学中南医院 血管性认知障碍的ai评估模型的构建方法、装置及系统
CN116452593B (zh) * 2023-06-16 2023-09-05 武汉大学中南医院 血管性认知障碍的ai评估模型的构建方法、装置及系统
CN116664605A (zh) * 2023-08-01 2023-08-29 昆明理工大学 基于扩散模型和多模态融合的医学图像肿瘤分割方法
CN116664605B (zh) * 2023-08-01 2023-10-10 昆明理工大学 基于扩散模型和多模态融合的医学图像肿瘤分割方法
CN117218419A (zh) * 2023-09-12 2023-12-12 河北大学 一种胰胆肿瘤分型分级分期的评估系统和评估方法
CN117218419B (zh) * 2023-09-12 2024-04-12 河北大学 一种胰胆肿瘤分型分级分期的评估系统和评估方法
CN117392153A (zh) * 2023-12-06 2024-01-12 江西师范大学 一种基于局部补偿和多尺度自适应变形的胰腺分割方法
CN117392153B (zh) * 2023-12-06 2024-02-23 江西师范大学 一种基于局部补偿和多尺度自适应变形的胰腺分割方法
CN117496516A (zh) * 2023-12-25 2024-02-02 北京航空航天大学杭州创新研究院 一种脑瘤mri图像分割方法及系统
CN117496516B (zh) * 2023-12-25 2024-03-29 北京航空航天大学杭州创新研究院 一种脑瘤mri图像分割方法及系统

Similar Documents

Publication Publication Date Title
CN114782350A (zh) 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法
Meng et al. Liver tumor segmentation based on 3D convolutional neural network with dual scale
Sun et al. Brain tumor segmentation and survival prediction using multimodal MRI scans with deep learning
CN112465827B (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN110675406A (zh) 基于残差双注意力深度网络的ct图像肾脏分割算法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
WO2023221954A1 (zh) 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
Sun et al. Tumor segmentation and survival prediction in glioma with deep learning
CN112241766A (zh) 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
Peng et al. Multi‐scale 3d u‐nets: an approach to automatic segmentation of brain tumor
CN110706214B (zh) 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN115170582A (zh) 基于多尺度特征融合和网格注意力机制的肝脏影像分割方法
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
Liu et al. IOUC-3DSFCNN: Segmentation of brain tumors via IOU constraint 3D symmetric full convolution network with multimodal auto-context
Yao et al. Pneumonia detection using an improved algorithm based on faster r-cnn
Chen et al. Aggregating multi-scale prediction based on 3D U-Net in brain tumor segmentation
CN114998265A (zh) 一种基于改进U-Net的肝脏肿瘤分割方法
CN114119516A (zh) 基于迁移学习和级联自适应空洞卷积的病毒病灶分割方法
CN114387282A (zh) 一种医学影像器官精准自动分割方法及系统
Chato et al. An automatic overall survival time prediction system for glioma brain tumor patients based on volumetric and shape features
Aledhari et al. An adaptive segmentation technique to detect brain tumors using 2D Unet
CN116309615A (zh) 一种多模态mri脑肿瘤图像分割方法
CN115908299A (zh) 基于医学影像的生存期预测方法、装置、设备及介质
Najeeb et al. Brain Tumor Segmentation Utilizing Generative Adversarial, Resnet And Unet Deep Learning
Lewis et al. Quantifying the importance of spatial anatomical context in cadaveric, non-contrast enhanced organ segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination