CN117635563A - 一种基于模态交叉注意力的多模态mri脑肿瘤图像分割方法 - Google Patents
一种基于模态交叉注意力的多模态mri脑肿瘤图像分割方法 Download PDFInfo
- Publication number
- CN117635563A CN117635563A CN202311613896.6A CN202311613896A CN117635563A CN 117635563 A CN117635563 A CN 117635563A CN 202311613896 A CN202311613896 A CN 202311613896A CN 117635563 A CN117635563 A CN 117635563A
- Authority
- CN
- China
- Prior art keywords
- mode
- feature
- image
- brain tumor
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003709 image segmentation Methods 0.000 title claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 82
- 230000004927 fusion Effects 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 40
- 239000013598 vector Substances 0.000 claims description 34
- 239000011159 matrix material Substances 0.000 claims description 33
- 230000009466 transformation Effects 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 230000017105 transposition Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 90
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 101150083127 brox gene Proteins 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical group CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法。将待语义分割的多模态MRI脑肿瘤图像输入到经过训练的语义分割模型中，获得语义分割结果。通过模态嵌入变压器模块，将数据按模态划分并扩展至数倍，为模型训练做好数据准备，并为每个模态分配唯一编码，与图像信息拼接后同时训练，辅助单模态私有特征的提取；由模态交叉注意力特征融合模块计算每个单模态私有特征和模态间共享特征的相关性。本发明不但利用单个自定义的变压器块完成对不同模态MRI图像特征的提取，还解决了多种特征融合不完全的问题；本发明为充分发挥多模态数据优势提供了一种新的方案，提高了多模态MRI脑肿瘤图像分割的性能。
Description
技术领域
本发明应用深度学习和计算机视觉领域相关方面技术，具体发明和应用一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法。
背景技术
语义分割旨在预测图像中每个像素的语义类别，是医疗图像分析中基础且极具挑战性的任务之一。脑肿瘤图像分割通过为病变区域提供语义和定位信息，已成为脑肿瘤和神经疾病临床诊断的重要选择。与传统图像相比，磁共振成像(Magnetic ResonanceImaging,MRI)获取的图像基于各种电磁波产生的成像序列，提供不同模态，共享相同的目标空间范围，但各自的信息表达重点不同。例如，Flair序列显示病灶周围信息，而T2序列显示病变区域的内部情况。
作为MRI图像分割中最具代表性的神经网络架构，U-Net采用了对称的编码器-解码器设计，并采用跳跃连接来提高细节保留。之后，基于自注意机制的Transformer被引入U-Net，构成双分支编码器。Transformer出色的远程依赖关系建模能力很大程度上弥补了卷积神经网络(Convolutional Neural Network,CNN)仅捕获局部上下文信息的局限。然而，预训练Transformer的输入和结构固定，且参数量庞大、计算成本高昂。另一方面，从头训练一个自定义的Transformer编码器需要大量的数据，否则容易导致欠拟合。
此外，针对多模态MRI图像，传统方法通常将不同模态视为多个通道，拼接后传入编码器。该方法能提取模态间共享特征，但忽略了但单模态私有特征的表示，很可能导致分割结果不理想。同时，多模态图像存在显著的冗余，增加了MRI图像分割的复杂性。
基于此，本发明首先对Transformer编码器进行了改进，提出了模态嵌入Transformer子模块，通过为每个模态分配唯一编码，来学习该模态的私有特征。然后对注意力机制进行了改进，提出了模态交叉注意力模块，通过计算每一个模态私有特征与模态间共享特征的相关性，来融合两个分支的特征映射，强调关键特征并抑制冗余信息表达。
发明内容
本发明要解决的技术问题是如何在双分支语义分割模型的基础上，使用仅含有少量参数的自定义Transformer提取各个单模态私有特征，并有效融合这些特征，从而提供一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法。本发明通过引入模态嵌入，辅助捕捉单模态私有信息，并计算各种特征间的关联性，大大提升了模型精度。
本发明所采用的具体技术方案如下：
第一方面，本发明提供了一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法，包括如下步骤：
获取一个经过训练的语义分割模型，将待语义分割的多模态MRI脑肿瘤图像输入到所述语义分割模型中，获得多模态MRI脑肿瘤图像的语义分割结果；所述语义分割模型包括一个编码器模块、一个模态交叉注意力特征融合模块和一个解码器模块；
所述编码器模块包括一个卷积模块和一个模态嵌入变压器模块；将待语义分割的多模态MRI脑肿瘤图像输入到所述卷积模块中，得到包含局部上下文信息的模态间共享特征；在所述模态嵌入变压器模块中，首先将待语义分割的多模态MRI脑肿瘤图像按模态划分进行切块，得到多个单模态MRI脑肿瘤图像；将每个单模态MRI脑肿瘤图像切片得到多个图像块，每个图像块均进行线性投射，得到一组图像特征向量；对每个图像块特征向量进行位置编码，得到一个带有位置信息的浅层图像特征，对每个模态从0开始依次编号，得到多个带有编号的模态，再对每个带有编号的模态进行独热编码，每个带有编号的模态对应得到一个模态嵌入；将每个模态嵌入扩张至与浅层图像特征相同的维度后，将扩张后的每个模态嵌入与每个浅层图像特征对应水平拼接，得到多个模态图像融合特征；将每个模态图像融合特征输入到变压器模块中，得到多个带有模态信息的深层图像特征向量，在每个深层图像特征向量中均去除模态嵌入，得到多个深层图像编码特征；将每个深层图像编码特征均进行形状重塑，得到包含长程依赖关系的单模态私有特征集合；
在所述模态交叉注意力特征融合模块中，首先将单模态私有特征集合中的每个单模态私有特征元素均经过线性变换，对应得到一个经过变换的单模态私有特征元素，将所述模态间共享特征依次经过线性变换和转置，得到一个经过变换的模态间共享特征；将每个经过变换的单模态私有特征元素和经过变换的模态间共享特征逐点相乘，对应得到一个特征矩阵；将每个特征矩阵进行softmax归一化操作，对应得到一个相关性矩阵；将所述模态间共享特征经过线性变换，得到一个线性模态间共享特征，将相关性矩阵与线性模态间共享特征逐点相乘，对应得到一个模态间共享特征关于单模态私有特征元素的注意力相关性表示；将所有注意力相关性表示与模态间共享特征逐点相加，得到获得包含丰富语义信息的融合总特征；
最后将融合总特征输入到所述解码器模块中，对融合总特征进行上采样，最终恢复至待语义分割的多模态MRI脑肿瘤图像大小，输出多模态MRI脑肿瘤图像的语义分割结果。
作为优选，所述线性变换均采用卷积核大小为1×1的一个标准卷积层。
作为优选，所述变压器模块由L个变压器块依次级联而成；在每个变压器块中，输入的第一特征向量依次经过层归一化、多头注意力机制模块、残差连接模块、层归一化、线性分类器模块和残差连接模块，输出第二特征向量。
作为优选，所述卷积模块采用U-Net网络，所述卷积模块深度为6层，且随机生成初始参数；所述卷积模块将通道数扩张为320。
作为优选，所述解码器模块采用U-Net网络，所述解码器模块的深度为6层，且随机生成初始参数。
作为优选，所述模态嵌入变压器模块的层数为12、嵌入维度为320，在模态嵌入变压器模块中，将每个单模态MRI脑肿瘤图像切片得到64个图像块。
作为优选，所述语义分割模型的训练样本为标注后的训练数据，所述训练数据由原始多模态脑肿瘤图像进行数据处理获得，所述原始多模态脑肿瘤图像来源于BraTS20数据集和BraTS21数据集；所述语义分割模型在训练时采用的损失函数均为交叉熵损失，对所述语义分割模型的网络参数进行更新，并采用深度监督的方法优化损失计算过程。
需要说明的是，本发明的上述基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法，可以用于非疾病诊断目的，例如科研、检测或者数据处理，也可以用于辅助诊断领域中提供中间参数。
第二方面，本发明提供了一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割系统，其包括：
图像获取模块，用于待语义分割的多模态MRI脑肿瘤图像；
语义分割模块，用于获取一个经过训练的语义分割模型，将待语义分割的多模态MRI脑肿瘤图像输入到所述语义分割模型中，获得多模态MRI脑肿瘤图像的语义分割结果；所述语义分割模型包括一个编码器模块、一个模态交叉注意力特征融合模块和一个解码器模块；
所述编码器模块包括一个卷积模块和一个模态嵌入变压器模块；将待语义分割的多模态MRI脑肿瘤图像输入到所述卷积模块中，得到包含局部上下文信息的模态间共享特征；在所述模态嵌入变压器模块中，首先将待语义分割的多模态MRI脑肿瘤图像按模态划分进行切块，得到多个单模态MRI脑肿瘤图像；将每个单模态MRI脑肿瘤图像切片得到多个图像块，每个图像块均进行线性投射，得到一组图像特征向量；对每个图像块特征向量进行位置编码，得到一个带有位置信息的浅层图像特征，对每个模态从0开始依次编号，得到多个带有编号的模态，再对每个带有编号的模态进行独热编码，每个带有编号的模态对应得到一个模态嵌入；将每个模态嵌入扩张至与浅层图像特征相同的维度后，将扩张后的每个模态嵌入与每个浅层图像特征对应水平拼接，得到多个模态图像融合特征；将每个模态图像融合特征输入到变压器模块中，得到多个带有模态信息的深层图像特征向量，在每个深层图像特征向量中均去除模态嵌入，得到多个深层图像编码特征；将每个深层图像编码特征均进行形状重塑，得到包含长程依赖关系的单模态私有特征集合；
在所述模态交叉注意力特征融合模块中，首先将单模态私有特征集合中的每个单模态私有特征元素均经过线性变换，对应得到一个经过变换的单模态私有特征元素，将所述模态间共享特征依次经过线性变换和转置，得到一个经过变换的模态间共享特征；将每个经过变换的单模态私有特征元素和经过变换的模态间共享特征逐点相乘，对应得到一个特征矩阵；将每个特征矩阵进行softmax归一化操作，对应得到一个相关性矩阵；将所述模态间共享特征经过线性变换，得到一个线性模态间共享特征，将相关性矩阵与线性模态间共享特征逐点相乘，对应得到一个模态间共享特征F关于单模态私有特征元素的注意力相关性表示；将所有注意力相关性表示与模态间共享特征逐点相加，得到获得包含丰富语义信息的融合总特征；
最后将融合总特征输入到所述解码器模块中，对融合总特征进行上采样，最终恢复至待语义分割的多模态MRI脑肿瘤图像大小，输出多模态MRI脑肿瘤图像的语义分割结果。
第三方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上述第一方面任一方案所述的基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法。
第四方面，本发明提供了一种计算机电子设备，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如上述第一方面任一方案所述的基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法。
本发明相对于现有技术而言，具有以下收益效果：
本发明公开了一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法。本发明针对MRI图像中多个序列具有不同表示侧重点，预训练Transformer参数量大导致微调困难以及从头训练Transformer需要大量数据等问题，通过模态嵌入变压器模块(ME-Transformer)，将数据按模态划分，扩展至数倍，为模型的训练做好了数据准备，并进一步为每个模态分配一个唯一编码，与图像信息拼接后同时训练，辅助单模态私有特征的提取。同时，将编码器模块获得的单模态私有特征集合和模态间共享特征输入至模态交叉注意力特征融合模块中，计算每个单模态私有特征和模态间共享特征的相关性。本发明不但利用单个自定义的Transformer完成对不同模态MRI图像特征的提取，还解决了多种特征融合不完全的问题。本发明结合模态嵌入变压器模块和模态交叉注意力特征融合模块，为充分发挥多模态数据优势提供了一种新的方案，提高了多模态MRI脑肿瘤图像分割的性能。
附图说明
图1为一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法的语义分割模型(MoCAFNet)结构图；
图2为一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法的模态嵌入变压器模块(ME-Transformer)示意图；
图3为一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法的模态交叉注意力特征融合模块示意图；
图4为一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法的实施例中，语义分割模型(MoCAFNet)的一种训练和测试流程图；
图5为一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法的实施例测试可视化结果示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。
含有CNN编码器和Transformer编码器的双分支网络因其兼顾局部上下文信息和长程依赖关系，被广泛应用于医疗图像语义分割。然而许多方法都忽略了医疗图像多模态的特点，并且没有考虑到不同特征间的交互关系。考虑到特征融合有助于利用各种模态间的互补性获得含有更丰富信息的特征表达，本发明基于模态交叉注意力机制设计了特征融合模块。此外，针对传统双分支网络无法提取单模态特征的问题，本发明提出了一种模态嵌入变压器模块(ME-Transformer)。本发明的核心是提出了一种基于模态交叉注意力的双分支深度网络，即MoCAFNet，需说明的是，该网络中的每个模块都具有较高的可移植性，可应用于大多数网络之中。
本发明提供的一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法，具体为：获取一个经过训练的语义分割模型(MoCAFNet)，将待语义分割的多模态MRI脑肿瘤图像输入到语义分割模型中，获得多模态MRI脑肿瘤图像的语义分割结果；语义分割模型包括一个编码器模块(Encoder)、一个模态交叉注意力特征融合模块(MoCA)和一个解码器模块。本发明中的图像优选为多模态MRI图像，进一步优选为多模态MRI脑肿瘤图像。
下面对上述语义分割模型(MoCAFNet)的具体结构和原理进行详细描述。上述编码器模块包括一个卷积模块和一个模态嵌入变压器模块(Modality Embedding-Transformer，ME-Transformer)，以同时从不同角度提取图像特征。
将待语义分割的多模态MRI脑肿瘤图像输入到卷积模块中，得到包含局部上下文信息的模态间共享特征F，在模态嵌入变压器模块中，首先将待语义分割的多模态MRI脑肿瘤图像按模态划分进行切块，得到多个单模态MRI脑肿瘤图像；将每个单模态MRI脑肿瘤图像切片得到多个图像块，每个图像块均进行线性投射，得到一组图像特征向量；对每个图像块特征向量进行位置编码，得到一个带有位置信息的浅层图像特征，对每个模态从0开始依次编号，得到多个带有编号的模态，再对每个带有编号的模态进行独热编码，每个带有编号的模态对应得到一个模态嵌入；将每个模态嵌入扩张至与浅层图像特征相同的维度后，将扩张后的每个模态嵌入与每个浅层图像特征对应水平拼接，得到多个模态图像融合特征；将每个模态图像融合特征输入到变压器模块中，得到多个带有模态信息的深层图像特征向量，在每个深层图像特征向量中均去除模态嵌入，得到多个深层图像编码特征；将每个深层图像编码特征均进行形状重塑，得到包含长程依赖关系的单模态私有特征集合{Ti}。
在模态交叉注意力特征融合模块中，首先将单模态私有特征集合中的每个单模态私有特征元素均经过线性变换，对应得到一个经过变换的单模态私有特征元素，将模态间共享特征依次经过线性变换和转置，得到一个经过变换的模态间共享特征；将每个经过变换的单模态私有特征元素和经过变换的模态间共享特征逐点相乘，对应得到一个特征矩阵；将每个特征矩阵进行softmax归一化操作，对应得到一个相关性矩阵；将模态间共享特征经过线性变换，得到一个线性模态间共享特征，将相关性矩阵与线性模态间共享特征逐点相乘，对应得到一个模态间共享特征F关于单模态私有特征元素Ti的注意力相关性表示Zi；将所有注意力相关性表示与模态间共享特征逐点相加，得到获得包含丰富语义信息的融合总特征。
最后将融合总特征输入到解码器模块中，对融合总特征进行上采样，最终恢复至待语义分割的多模态MRI脑肿瘤图像大小，输出多模态MRI脑肿瘤图像的语义分割结果。
下面对本发明的MoCAFNet模型的具体结构进行详细描述。图1为MoCAFNet模型的整体结构图，包括编码器模块、模态交叉注意力特征融合模块和解码器模块。编码器模块包括卷积模块和模态嵌入变压器模块(ME-Transformer)，分别用于提取含局部上下文信息的模态间共享特征和含长程依赖关系的单模态私有特征，模态交叉注意力特征融合模块用于捕捉多种特征的互补信息并输出含丰富信息的总语义特征，而解码器模块则用于恢复图像空间分辨率。
具体而言，每一条样本都可以视为MRI图像的集合，记为X＝{X0，X1，...，XC-1}，维度为(C×H×W×D)，其中C、H、W和D分别代表模态数、图像高度、宽度和深度。训练时，编码器的卷积模块输入为多模态MRI图像，维度为(B×C×H×W×D)，编码器的模态嵌入变压器模块(ME-Transformer)输入为单模态MRI图像，维度为(B×H×W×D)，B为输入的批量大小，其在训练阶段视每一批的样本量而定，而在预测阶段可设置为1。首先，本实施例以U-Net模型为骨干网络，并构造一个深度为12，嵌入维度为320的模态嵌入变压器模块(ME-Transformer)与卷积编码器并行，网络的所有参数都是随机初始化。将待分割图像输入网络进行特征提取，在编码器的卷积分支得到模态间共享特征F，维度为(B×K×H′×W′×D′)，在编码器的模态嵌入变压器模块(ME-Transformer)得到单模态私有特征集合{T0，T1，...，TC-1}，每一个Ti的维度为(B×K×H′W′D′)，其中K表示特征图的通道数，H′、W′和D′分别为和/>在本实施例中，输入的图像大小为128×128×128，编码器的模态嵌入变压器模块(ME-Transformer)分块时将图像分为4×4×4的小块，嵌入维度为320，编码器的卷积分支将通道数扩张为320。
需要说明的是，本发明实施例的卷积模块，其输入为多模态MRI脑肿瘤图像，输出为包含局部上下文信息的模态间共享特征F，该卷积模块由多个卷积块堆叠而成，每个卷积块中均包含卷积层、池化层和ReLU激活函数，由该卷积模块计算每个像素点与其相邻像素点的相关性，同时完成对通道的扩张和对图像的下采样，最后得到模态间共享特征。
需要说明的是，本发明实施例的模态嵌入变压器模块(ME-Transformer)在编码器中应用，用于生成单模态私有特征集合{Ti}。该模块的输入为多模态MRI脑肿瘤图像按模态划分后的单模态MRI脑肿瘤图像，输出为包含长程依赖关系的单模态私有特征集合{Ti}；该模块的流程具体为：首先将数据按模态划分，将多模态MRI脑肿瘤图像按模态划分后，得到单模态MRI脑肿瘤图像，同时扩充数据量，将每个单模态MRI脑肿瘤图像切片得到多个图像块，每个图像块均进行线性投射，得到一组图像特征向量；对每个图像块特征向量进行位置编码，得到一个带有位置信息的浅层图像特征，对每个模态从0开始依次编号，得到多个带有编号的模态，再对每个带有编号的模态进行独热编码，每个带有编号的模态对应得到一个模态嵌入；将每个模态嵌入扩张至与浅层图像特征相同的维度后，将扩张后的每个模态嵌入与每个浅层图像特征对应水平拼接，得到多个模态图像融合特征；将每个模态图像融合特征输入到变压器模块中，上述变压器模块由L个变压器块依次级联而成，在每个变压器块中，输入数据依次经过层归一化、多头注意力机制模块、残差连接模块、层归一化(LN)、线性分类器模块和残差连接模块，最终得到多个带有模态信息的深层图像特征向量；在每个深层图像特征向量中均去除模态嵌入，得到多个深层图像编码特征；将每个深层图像编码特征均进行形状重塑，得到包含长程依赖关系的单模态私有特征集合{Ti}。
需要说明的是，在每个深层图像特征向量中均去除模态嵌入，以得到多个深层图像编码特征，该深层图像编码特征中已经包含学习到的模态信息特征，因此需要将水平拼接时的模态嵌入去处，保证特征维度与网络匹配。此外，因原始数据包含多个模态，所以该模块的输出为单模态私有特征集合。
在本实施例中，进一步描述模态嵌入变压器模块(ME-Transformer)各中间过程、以及各参数的维度，以便于本领域技术人员更好理解采用该模态嵌入变压器模块(ME-Transformer)的原理。在本实施例中，针对模态嵌入变压器模块(ME-Transformer)，其主要目的是提取所有模态各自特有的特征表示。如图2所示，模态嵌入变压器模块(ME-Transformer)的具体做法为：将输入的原始多模态MRI脑肿瘤图像按模态划分为C个维度为(B×H×W×D)的单模态图像。为了标记不同模态的差异性，将这些单模态图像编号为0至C-1，并进行独热编码，获得唯一的模态嵌入MEi，其维度为(C)。然后将图像分为64块，每一块的空间大小为所有图像块经过线性投射嵌入到K维的特征空间中，得到初始特征图f，其维度为(B×K×64)。为得到每个图像块的空间信息，在初始特征图f中加入位置编码PE，再与维度扩展至(B×K×1)的模态嵌入MEi拼接，得到第i个单模态图像的第一层Transformer层输入ti，0＝Cat(MEi，f+PE)，其维度为(B×K×(64+1))，每一层Transformer层都含有层归一化、多头注意力机制、残差连接、层归一化、线性分类器和残差连接。最后除去先前拼接的模态嵌入，得到单模态私有特征集合。
需要说明的是，本发明实施例的模态交叉注意力特征融合模块(MoCA)用于捕捉不同模态特征间的互补性。该模块中，输入为由卷积模块获得的模态间共享特征，和由模态嵌入变压器模块(ME-Transformer)获得的所有单模态私有特征元素，输出为融合总特征；该模块计算由模态嵌入Transformer模块传入的每一个单模态私有特征与由卷积模块传入的模态间共享特征的相关性，得到了模态间共享特征相对于单模态私有特征的注意力相关表示；最后将所有注意力相关表示相加，获得包含丰富语义信息的综合特征。
在本实施例中，进一步描述模态交叉注意力特征融合模块各中间过程、以及各参数的维度，以便于本领域技术人员更好理解采用该模态交叉注意力特征融合模块的原理。在模态交叉注意力特征融合模块工作时，首先计算每一个单模态私有特征Ti与模态间共享特征F的亲和矩阵，维度为(B×K×K)。然后将亲和矩阵与F相乘，得到Ti相对于F的相关性特征表示Zi，维度为(B×K×H′W′D′)。最后将所有相关性表示Zi和模态间共享特征F相加，得到最终的总特征Z。
具体而言，在本实施例中，针对模态交叉注意力特征融合模块MoCA，其目的是计算单模态私有特征集合{Ti}中每一个元素和模态间共享关系特征F的相关性，放大关键特征，抑制冗余信息，最终得到一个包含丰富可用信息的总特征z。如图3所示，本实施例中模态交叉注意力特征融合模块MoCA使用了一种改进后的注意力操作，其具体做法如下：先将模态间共享特征F的维度重塑为(B×K×H′W′D′)，进行线性变换得到形状相同的Query矩阵，将每一个单模态私有特征Ti进行两次不同的线性变换，分别得到形状相同的Keyi矩阵和Valuei矩阵；然后将Query矩阵和转置后的Keyi矩阵相乘，并使用Softmax函数计算，得到维度为(B×K×K)的相关性矩阵；再将Valuei矩阵与相关性矩阵相乘，得到单模态私有特征Ti对于模态间共享特征F的相关性表示 最后将所有相关性表示Zi和模态间共享特征F相加，得到最终的总特征/>需要说明的是，本发明中重塑维度时均可采用如Pytorch框架中Reshape等函数来实现。
需要说明的是，本发明实施例解码器模块以特征融合模块输出的总特征作为输入，逐步对特征图进行上采样，最终恢复至原始输入图像大小，输出多模态MRI脑肿瘤图像的语义分割结果。
具体而言，解码器工作时，对输入的总特征Z逐步进行双倍上采样，最后恢复至与输入图像同样的空间大小，每一次输出的通道数为N，表示图像中的语义类别数。
需要说明的是，在本发明实施例中，上述线性变换均采用卷积核大小为1×1的一个标准卷积层。
需要说明的是，本发明实施例所采用的编码器模块和卷积模块可以来自任意开源且通用的模型，可以根据实际情况进行选择，本发明实施例中具体以U-Net网络中的编码器模块以及卷积模块作为本发明实施例的编码器模块和卷积模块，其实现方式属于现有技术，具体可参见现有技术文献：Ronneberger O,Fischer P，Brox T.U-net：Convolutionalnetworks for biomedical image segmentation[CJ//MedicalmageComputing and Computer-Assisted Intervention-MICCAI 2015：18th InternationalConference，Munich,Germany,October 5-9，2015，Proceedings，Part Ill 18SpringerInternational Publishing，2015：234-241.对此不再赘述。
需要说明的是，在本发明实施例中，上述卷积模块深度为6层，且随机生成初始参数；卷积模块将通道数扩张为320。
需要说明的是，在本发明实施例中，上述解码器模块的深度为6层，且随机生成初始参数。
需要说明的是，在本发明实施例中，上述模态嵌入变压器模块的层数为12、嵌入维度为320，在模态嵌入变压器模块中，将每个单模态MRI脑肿瘤图像切片得到64个图像块。
需要说明的是，上述语义分割模型的训练样本为标注后的训练数据，所述训练数据由原始多模态脑肿瘤图像进行数据处理获得，原始多模态脑肿瘤图像来源于BraTS20数据集和BraTS21数据集；语义分割模型在训练时采用的损失函数均为交叉熵损失，对语义分割模型的网络参数进行更新，并采用深度监督(Deep Supervision)的方法优化损失计算过程，具体训练过程可参照现有语义分割模型训练方式，不再赘述。
需要说明的是，本发明实施例所采用的BraTS20数据集来源于现有技术文献https://www.synapse.org/#！Synapse:syn27046444/wiki/616999，在BraTS20数据集中，每个训练样本形式为若干个图像、图像的真实类别，将图像的真实类别作为标签值，模型输入图像，输出图像预测的类别，对此不再赘述。
下面将上述基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法应用于一个具体实施例中，以展示其所能实现的技术效果。
实施例
本实施例中采用的语义分割模型MoCAFNet，具体网络结构如前所述，不再赘述。如图4所示，对多模态MRI脑肿瘤图像进行语义分割的总体流程可以分为数据预处理、模型训练和图像预测三个阶段。
1、数据预处理阶段
对于获得的原始MRI脑肿瘤图像(本实施例以BraTS20数据集为例)，进行图片预处理，先将图像裁剪去除黑边，然后切割成128×128×128尺寸，再对切割后的图像进行随机旋转和翻转等操作进行数据增强。
2、模型训练
步骤1.从BraTS20数据集中选出一部分样本以构建训练数据集，并将训练数据集按照固定的批量大小进行分批，总数为N。
步骤2.从训练数据集中顺序选取索引为i的一批训练样本，利用每一个批次的训练样本对语义分割模型MoCAFNet进行训练。训练过程中，计算每一个训练样本交叉熵损失函数并根据批中所有训练样本的总损失/>对整个模型中的网络参数进行调整，直到训练数据集的所有批次都参与了模型训练。达到指定迭代次数后，模型收敛，训练完毕，其中i∈{0,1,…,N}。
3、图像预测
将测试集的图像直接作为输入通过训练好的语义分割模型MoCAFNet中，最终预测得到拥有每个像素类的概率向量，通过Sigmoid等激活函数选择概率最高的类作为最终结果输出，从而实现语义分割。
本实施例中，测试可视化结果如图5所示，测试数据化结果如表1所示：
表1测试数据化结果
由图5和表1可见，本发明的语义分割模型MoCAFNet针对多模态MRI脑肿瘤图像能够很好地处理出分割结果，依赖于模态嵌入变压器模块(ME-Transformer)，充分挖掘了多模态图像中各模态的私有特征，同时引入模态交叉注意力，有效融合了单模态私有特征和模态间共享特征，从而提高了多模态MRI脑肿瘤图像的分割表现，并且为注意力机制在多模态图像分割领域的应用提供了一种新的解决方案。
另外需要说明的是，上述实施例中的基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法，本质上可以通过计算机程序或者模块来执行。因此同样的，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法对应的一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割系统，其包括：
图像获取模块，用于待语义分割的多模态MRI脑肿瘤图像；
语义分割模块，用于获取一个经过训练的语义分割模型，将待语义分割的多模态MRI脑肿瘤图像输入到所述语义分割模型中，获得多模态MRI脑肿瘤图像的语义分割结果；所述语义分割模型包括一个编码器模块、一个模态交叉注意力特征融合模块和一个解码器模块；
所述编码器模块包括一个卷积模块和一个模态嵌入变压器模块；将待语义分割的多模态MRI脑肿瘤图像输入到所述卷积模块中，得到包含局部上下文信息的模态间共享特征；在所述模态嵌入变压器模块中，首先将待语义分割的多模态MRI脑肿瘤图像按模态划分进行切块，得到多个单模态MRI脑肿瘤图像；将每个单模态MRI脑肿瘤图像切片得到多个图像块，每个图像块均进行线性投射，得到一组图像特征向量；对每个图像块特征向量进行位置编码，得到一个带有位置信息的浅层图像特征，对每个模态从0开始依次编号，得到多个带有编号的模态，再对每个带有编号的模态进行独热编码，每个带有编号的模态对应得到一个模态嵌入；将每个模态嵌入扩张至与浅层图像特征相同的维度后，将扩张后的每个模态嵌入与每个浅层图像特征对应水平拼接，得到多个模态图像融合特征；将每个模态图像融合特征输入到变压器模块中，得到多个带有模态信息的深层图像特征向量，在每个深层图像特征向量中均去除模态嵌入，得到多个深层图像编码特征；将每个深层图像编码特征均进行形状重塑，得到包含长程依赖关系的单模态私有特征集合；
在所述模态交叉注意力特征融合模块中，首先将单模态私有特征集合中的每个单模态私有特征元素均经过线性变换，对应得到一个经过变换的单模态私有特征元素，将所述模态间共享特征依次经过线性变换和转置，得到一个经过变换的模态间共享特征；将每个经过变换的单模态私有特征元素和经过变换的模态间共享特征逐点相乘，对应得到一个特征矩阵；将每个特征矩阵进行softmax归一化操作，对应得到一个相关性矩阵；将所述模态间共享特征经过线性变换，得到一个线性模态间共享特征，将相关性矩阵与线性模态间共享特征逐点相乘，对应得到一个模态间共享特征F关于单模态私有特征元素的注意力相关性表示；将所有注意力相关性表示与模态间共享特征逐点相加，得到获得包含丰富语义信息的融合总特征；
最后将融合总特征输入到所述解码器模块中，对融合总特征进行上采样，最终恢复至待语义分割的多模态MRI脑肿瘤图像大小，输出多模态MRI脑肿瘤图像的语义分割结果。
需要特别说明的是，图像获取模块获取待语义分割的多模态MRI脑肿瘤图像，以及语义分割模块获取一个经过训练的语义分割模型，两者的获取方式均可以是通过在线获取，也可以是离线获取。对于在线获取，图像获取模块可以通过MRI成像设备在线采集目标对象的多模态MRI脑肿瘤图像，语义分割模块可以通过在线训练方式训练语义分割模型；对于离线获取，图像获取模块可以获取MRI成像设备已经采集完毕并存储好的多模态MRI脑肿瘤图像，语义分割模块可以读取训练后保存于存储介质上的语义分割模型。
同样的，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法对应的一种计算机电子设备，其包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现上述实施例中的基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
由此，基于同一发明构思，本发明的另一较佳实施例中还提供了与上述实施例提供的基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法对应的一种计算机可读存储介质，该所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，能实现上述实施例中的基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法。
可以理解的是，上述存储介质可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。同时存储介质还可以是U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可以理解的是，上述的处理器可以是通用处理器，包括中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
另外需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本申请所提供的各实施例中，所述的系统和方法中对于步骤或者模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或步骤可以结合或者可以集成到一起，一个模块或者步骤亦可进行拆分。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
Claims (10)
1.一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法，其特征在于，包括如下步骤：
获取一个经过训练的语义分割模型，将待语义分割的多模态MRI脑肿瘤图像输入到所述语义分割模型中，获得多模态MRI脑肿瘤图像的语义分割结果；所述语义分割模型包括一个编码器模块、一个模态交叉注意力特征融合模块和一个解码器模块；
所述编码器模块包括一个卷积模块和一个模态嵌入变压器模块；将待语义分割的多模态MRI脑肿瘤图像输入到所述卷积模块中，得到包含局部上下文信息的模态间共享特征；在所述模态嵌入变压器模块中，首先将待语义分割的多模态MRI脑肿瘤图像按模态划分进行切块，得到多个单模态MRI脑肿瘤图像；将每个单模态MRI脑肿瘤图像切片得到多个图像块，每个图像块均进行线性投射，得到一组图像特征向量；对每个图像块特征向量进行位置编码，得到一个带有位置信息的浅层图像特征，对每个模态从0开始依次编号，得到多个带有编号的模态，再对每个带有编号的模态进行独热编码，每个带有编号的模态对应得到一个模态嵌入；将每个模态嵌入扩张至与浅层图像特征相同的维度后，将扩张后的每个模态嵌入与每个浅层图像特征对应水平拼接，得到多个模态图像融合特征；将每个模态图像融合特征输入到变压器模块中，得到多个带有模态信息的深层图像特征向量，在每个深层图像特征向量中均去除模态嵌入，得到多个深层图像编码特征；将每个深层图像编码特征均进行形状重塑，得到包含长程依赖关系的单模态私有特征集合；
在所述模态交叉注意力特征融合模块中，首先将单模态私有特征集合中的每个单模态私有特征元素均经过线性变换，对应得到一个经过变换的单模态私有特征元素，将所述模态间共享特征依次经过线性变换和转置，得到一个经过变换的模态间共享特征；将每个经过变换的单模态私有特征元素和经过变换的模态间共享特征逐点相乘，对应得到一个特征矩阵；将每个特征矩阵进行softmax归一化操作，对应得到一个相关性矩阵；将所述模态间共享特征经过线性变换，得到一个线性模态间共享特征，将相关性矩阵与线性模态间共享特征逐点相乘，对应得到一个模态间共享特征F关于单模态私有特征元素的注意力相关性表示；将所有注意力相关性表示与模态间共享特征逐点相加，得到获得包含丰富语义信息的融合总特征；
最后将融合总特征输入到所述解码器模块中，对融合总特征进行上采样，最终恢复至待语义分割的多模态MRI脑肿瘤图像大小，输出多模态MRI脑肿瘤图像的语义分割结果。
2.如权利要求1所述的基于模态交叉注意力的多模态脑肿瘤图像分割方法，其特征在于，所述线性变换均采用卷积核大小为1×1的一个标准卷积层。
3.如权利要求1所述的基于模态交叉注意力的多模态脑肿瘤图像分割方法，其特征在于，所述变压器模块由L个变压器块依次级联而成；在每个变压器块中，输入的第一特征向量依次经过层归一化、多头注意力机制模块、残差连接模块、层归一化、线性分类器模块和残差连接模块，输出第二特征向量。
4.如权利要求1所述的基于模态交叉注意力的多模态脑肿瘤图像分割方法，其特征在于，所述卷积模块采用U-Net网络，所述卷积模块深度为6层，且随机生成初始参数；所述卷积模块将通道数扩张为320。
5.如权利要求1所述的基于模态交叉注意力的多模态脑肿瘤图像分割方法，其特征在于，所述解码器模块采用U-Net网络，所述解码器模块的深度为6层，且随机生成初始参数。
6.如权利要求1所述的基于模态交叉注意力的多模态脑肿瘤图像分割方法，其特征在于，所述模态嵌入变压器模块的层数为12、嵌入维度为320，在模态嵌入变压器模块中，将每个单模态MRI脑肿瘤图像切片得到64个图像块。
7.如权利要求1所述的基于模态交叉注意力的多模态脑肿瘤图像分割方法，其特征在于，所述语义分割模型的训练样本为标注后的训练数据，所述训练数据由原始多模态脑肿瘤图像进行数据处理获得，所述原始多模态脑肿瘤图像来源于BraTS20数据集和BraTS21数据集；所述语义分割模型在训练时采用的损失函数均为交叉熵损失，对所述语义分割模型的网络参数进行更新，并采用深度监督的方法优化损失计算过程。
8.一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割系统，其特征在于，包括：
图像获取模块，用于待语义分割的多模态MRI脑肿瘤图像；
语义分割模块，用于获取一个经过训练的语义分割模型，将待语义分割的多模态MRI脑肿瘤图像输入到所述语义分割模型中，获得多模态MRI脑肿瘤图像的语义分割结果；所述语义分割模型包括一个编码器模块、一个模态交叉注意力特征融合模块和一个解码器模块；
所述编码器模块包括一个卷积模块和一个模态嵌入变压器模块；将待语义分割的多模态MRI脑肿瘤图像输入到所述卷积模块中，得到包含局部上下文信息的模态间共享特征；在所述模态嵌入变压器模块中，首先将待语义分割的多模态MRI脑肿瘤图像按模态划分进行切块，得到多个单模态MRI脑肿瘤图像；将每个单模态MRI脑肿瘤图像切片得到多个图像块，每个图像块均进行线性投射，得到一组图像特征向量；对每个图像块特征向量进行位置编码，得到一个带有位置信息的浅层图像特征，对每个模态从0开始依次编号，得到多个带有编号的模态，再对每个带有编号的模态进行独热编码，每个带有编号的模态对应得到一个模态嵌入；将每个模态嵌入扩张至与浅层图像特征相同的维度后，将扩张后的每个模态嵌入与每个浅层图像特征对应水平拼接，得到多个模态图像融合特征；将每个模态图像融合特征输入到变压器模块中，得到多个带有模态信息的深层图像特征向量，在每个深层图像特征向量中均去除模态嵌入，得到多个深层图像编码特征；将每个深层图像编码特征均进行形状重塑，得到包含长程依赖关系的单模态私有特征集合；
在所述模态交叉注意力特征融合模块中，首先将单模态私有特征集合中的每个单模态私有特征元素均经过线性变换，对应得到一个经过变换的单模态私有特征元素，将所述模态间共享特征依次经过线性变换和转置，得到一个经过变换的模态间共享特征；将每个经过变换的单模态私有特征元素和经过变换的模态间共享特征逐点相乘，对应得到一个特征矩阵；将每个特征矩阵进行softmax归一化操作，对应得到一个相关性矩阵；将所述模态间共享特征经过线性变换，得到一个线性模态间共享特征，将相关性矩阵与线性模态间共享特征逐点相乘，对应得到一个模态间共享特征F关于单模态私有特征元素的注意力相关性表示；将所有注意力相关性表示与模态间共享特征逐点相加，得到获得包含丰富语义信息的融合总特征；
最后将融合总特征输入到所述解码器模块中，对融合总特征进行上采样，最终恢复至待语义分割的多模态MRI脑肿瘤图像大小，输出多模态MRI脑肿瘤图像的语义分割结果。
9.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1～7任一所述的基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法。
10.一种计算机电子设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1～7任一所述的基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311613896.6A CN117635563A (zh) | 2023-11-29 | 2023-11-29 | 一种基于模态交叉注意力的多模态mri脑肿瘤图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311613896.6A CN117635563A (zh) | 2023-11-29 | 2023-11-29 | 一种基于模态交叉注意力的多模态mri脑肿瘤图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117635563A true CN117635563A (zh) | 2024-03-01 |
Family
ID=90015910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311613896.6A Pending CN117635563A (zh) | 2023-11-29 | 2023-11-29 | 一种基于模态交叉注意力的多模态mri脑肿瘤图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117635563A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117992800A (zh) * | 2024-03-29 | 2024-05-07 | 浪潮电子信息产业股份有限公司 | 图文数据匹配检测方法、装置、设备及介质 |
-
2023
- 2023-11-29 CN CN202311613896.6A patent/CN117635563A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117992800A (zh) * | 2024-03-29 | 2024-05-07 | 浪潮电子信息产业股份有限公司 | 图文数据匹配检测方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Huang et al. | Flowformer: A transformer architecture for optical flow | |
| Yang et al. | D 2-Net: Dual disentanglement network for brain tumor segmentation with missing modalities | |
| Zhang et al. | Progressive hard-mining network for monocular depth estimation | |
| CN113888744A (zh) | 一种基于Transformer视觉上采样模块的图像语义分割方法 | |
| CN113902926A (zh) | 一种基于自注意力机制的通用图像目标检测方法和装置 | |
| CN107798697A (zh) | 一种基于卷积神经网络的医学图像配准方法、系统及电子设备 | |
| Vania et al. | Intervertebral disc instance segmentation using a multistage optimization mask-RCNN (MOM-RCNN) | |
| CN117635563A (zh) | 一种基于模态交叉注意力的多模态mri脑肿瘤图像分割方法 | |
| Li et al. | Learning disentangling and fusing networks for face completion under structured occlusions | |
| Zhao et al. | MPSHT: multiple progressive sampling hybrid model multi-organ segmentation | |
| CN115760807A (zh) | 一种视网膜眼底图像配准方法及系统 | |
| CN117974693A (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| Divya et al. | Memory Guided Transformer with Spatio-Semantic Visual Extractor for Medical Report Generation | |
| Yuan et al. | FM-Unet: Biomedical image segmentation based on feedback mechanism Unet | |
| Alhamazani et al. | 3DCascade-GAN: Shape completion from single-view depth images | |
| Shao et al. | CSSNet: Cascaded spatial shift network for multi-organ segmentation | |
| CN116935051B (zh) | 一种息肉分割网络方法、系统、电子设备及存储介质 | |
| CN113159053A (zh) | 图像识别方法、装置及计算设备 | |
| Zhang et al. | ETUNet: Exploring efficient transformer enhanced UNet for 3D brain tumor segmentation | |
| Zheng et al. | Smaformer: Synergistic multi-attention transformer for medical image segmentation | |
| CN117237381A (zh) | 对于缺失模态鲁棒的多模态mri脑瘤图像分割方法及系统 | |
| CN115984296B (zh) | 一种应用多注意力机制的医学图像分割方法及系统 | |
| CN116934593A (zh) | 基于语义推理和交叉卷积的图像超分辨率方法及系统 | |
| CN116758092A (zh) | 图像分割方法、装置、电子设备及存储介质 | |
| Liu et al. | Electron Microscopy Image Registration Using Correlation Volume |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |