CN115131328A - 一种多模态mri多病灶分割方法 - Google Patents

一种多模态mri多病灶分割方法 Download PDF

Info

Publication number
CN115131328A
CN115131328A CN202210824312.9A CN202210824312A CN115131328A CN 115131328 A CN115131328 A CN 115131328A CN 202210824312 A CN202210824312 A CN 202210824312A CN 115131328 A CN115131328 A CN 115131328A
Authority
CN
China
Prior art keywords
features
modal
fusion
feature
dimension
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210824312.9A
Other languages
English (en)
Inventor
万亮
邢兆虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202210824312.9A priority Critical patent/CN115131328A/zh
Publication of CN115131328A publication Critical patent/CN115131328A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种多模态MRI多病灶分割方法，实现对多模态MRI多病灶的同时精准分割目的。本方法主要包括四个阶段，多模态图像特征提取阶段，多模态特征融合阶段，多模态特征筛选阶段，多类别分割阶段。在多模态图像特征提取阶段，不同模态的图像特征被分别提取。在多模态特征融合阶段，利用空间注意力与模态注意力机制在二个维度对提取的不同模态图像特征进行深度融合。在多模态特征筛选阶段，利用模态敏感的门控机制对多模态特征进行选择，筛选更有效的特征，提高特征表达能力。多类别分割阶段，将不同阶段的多模态融合特征通过解码器进行不同阶段的上采样操作还原图像尺寸，并融合筛选后的多模态特征，最终通过输出分支进行预测，得到分割结果。

Description

一种多模态MRI多病灶分割方法
技术领域
本发明属于医疗影像处理技术领域，具体为涉及一种多模态MRI多病灶分割方法。
背景技术
多模态MRI多病灶分割研究：脑肿瘤是世界上最常见的癌症类型之一[2]，其中胶质瘤是最常见的恶性脑肿瘤，具有不同的侵袭性，脑膜瘤是成人最常见的原发性颅内肿瘤[3]。具体来说，对于胶质瘤，常用的MRI序列有T1加权(T1)、增强后T1加权(T1Gd)、T2加权(T2)和T2流体衰减反转恢复(T2-FLAIR)图像；它们在区分肿瘤、瘤周水肿和肿瘤核心方面发挥着不同的作用，在临床上，脑膜瘤在对比增强T1加权(T1Gd)和对比增强T2-FLAIR(简称FLAIR-C)MRI图像上具有不同的特征性表现。
临床上，医生通过勾画脑部不同病灶的位置，判断病情严重性，进而采用不同的治疗手段；但在对脑部病灶的分析、诊断、勾画的过程中，极其费时费力，因此通过计算机自动对脑部病灶区域进行分割，分析体积显得尤为重要。对于其他的器官，通过计算机自动进行病灶的判断、分割也有重要意义。
医学图像分割技术研究：医学图像分割技术在医学图像领域显示出巨大的潜力，近年来，各种优秀的医学图像算法层出不穷，其核心在于如何构建更好的网络结构提取与融合多模态医学图像特征，以达到更好的分割效果。目前较为流行的方式为“U”形网络结构[1]，即通过卷积神经网络编码器首先对3D医学图像进行逐步下采样提取不同尺度的图像特征，再通过卷积神经网络解码器对提取的图像特征进行上采样，还原图像尺寸，最终通过输出分支得到分割结果。近年来，Transformer[4]结构由于其出色的全局特征建模能力在自然语言处理领域渐渐流行，但是其在医学图像分割领域目前应用较少，较为成熟的工作有利用卷积神经网络作为编码器，利用Transformer结构建模全局特征[5]；Transformer结构作为编码器[6]直接提取多模态图像的全局信息，都取得了较为理想的结果。
参考文献
[1]Ronneberger,O.,Fischer,P.,Brox,T.:U-net:Convolutional networks forbiomedi-cal image segmentation.In:International Conference on Medical ImageComputing and Computer-Assisted Intervention.pp.234–241.Springer(2015).
[2]Bray,F.,Ferlay,J.,Soerjomataram,I.,Siegel,R.,Torre,L.,Jemal,A.:Global cancer statistics2018:Globocan estimates of incidence and mortalityworldwide for 36cancers in 185countries.CA:A Cancer Journal for Clinicians 68(6),394–424(2018).
[3]Ostrom,Q.T.,Patil,N.,Cioffi,G.,Waite,K.,Kruchko,C.,Barnholtz-Sloan,J.S.:Cbtrus statistical report:primary brain and central nervous systemtumors diag-nosed in the united states in 2013–2017.Neuro Oncology 22(iv),1–96(2020).
[4]Vaswani,A.,Shazeer,N.,Parmar,N.,Uszkoreit,J.,Jones,L.,Gomez,A.N.,Kaiser,L.,Polosukhin,I.:Attention is all you need.In:Advances in NeuralInformation Processing Systems.pp.5998–6008(2017).
[5]Wang,W.,Chen,C.,Ding,M.,Yu,H.,Zha,S.,Li,J.:Transbts:Multimodalbrain tumor segmentation using transformer.In:International Conference onMedical Image Computing and Computer-Assisted Intervention.pp.109–119.Springer(2021).
[6]Hatamizadeh,A.,Tang,Y.,Nath,V.,Yang,D.,Myronenko,A.,Landman,B.,Roth,H.R.,Xu,D.:Unetr:Transformers for 3d medical image segmentation.In:Proceedings of the IEEE/CVF Winter Conference on Applications of ComputerVision.pp.574–584(2022).
发明内容
为了解决现有技术中的问题，本发明提供一种多模态MRI多病灶分割方法，解决现有技术中无法很好的融合多模态信息、利用多模态之间补充信息的问题。本发明通过多编码器提取不同模态特征避免了输入端的模态图像混合，通过空间与模态两个维度融合多模态特征，并通过模态敏感的门控网络对多模态特征进行筛选，增强模态敏感特征，提高特征的表达能力。
本发明的技术方案:
一种多模态MRI多病灶分割方法，多模态特征的融合与筛选，包括如下步骤：
步骤一，多模态MRI提取；通过相同结构但参数独立的深度神经网络对不同模态的脑部MRI图像进行多阶段特征提取；
步骤二，特征融合；将步骤一中得到的多模态特征在空间维度、模态维度两个维度进行特征融合，其中空间维度使用多方向的自注意力机制，获取空间关系以融合空间特征，并提升计算效率；模态方向使用跨注意力机制，提取模态关系，融合多模态特征；
步骤三，特征筛选；利用步骤二中得到的融合特征构建模态敏感的特征选择门结构，对上层不同阶段的多模态特征进行筛选，选择更有效的特征输入到解码器，提高特征表达能力；
步骤四，多类别分割；利用解码器对深层融合特征进行不同阶段的上采样操作还原图像尺寸，并在其中结合经特征筛选模块后多模态增强特征，提高特征编码能力，最后将解码器获取的融合特征通过输出分支预测，得到分割结果。
所述步骤一多模态MRI提取，对常用的Poolformer特征提取网络进行改进，设计了全局信息模块(GlobalPoolformer)，对MRI编码过程中融入全局信息，对不同模态的脑部MRI多次特征提取、下采样操作，提取不同尺度的深度特征。
所述步骤二的特征融合，设计了NMaFA(Nested Modality-aware FeatureAggregation)融合模块，通过空间维度与模态维度的注意力机制，以嵌套的方式融合编码器提取的多模态特征，得到融合特征Ffused，具体方法包括：
(1)在空间维度，利用Self attention机制的Transformer结构(T_tsa)进行特征融合，的将编码器提取的多个模态的特征在通道维度进行拼接，通过块嵌入层编码为多个区块特征，通过自注意力机制，在空间维度计算每个特征区块之间的注意力，加权融合，得到空间维度的融合特征；
(2)在模态维度，利用Cross modality-aware attention的Transformer结构(T_cma)进行特征融合，将编码器提取的多个模态的特征分别通过块嵌入层编码为多个模态的区块特征，利用(1)中得到的融合特征，与编码后不同模态的区块特征进行跨注意力运算，在模态维度计算融合特征区块与不同模态区块之间的注意力，加权融合，得到模态维度的融合特征。
所述步骤三特征筛选，设计了MSG特征选择模块，利用高层次融合特征对低层次不同尺度的多模态特征进行筛选，选择更有效的特征输入到解码器，提高特征的复用效果，具体方法包括：
(1)将融合特征Ffused通过带有可学习参数的卷积层降维到模态数量大小；(2)通过激活函数构建模态敏感特征选择门，按比例选择多模态特征进行输出。
有益效果：
与现有技术相比，本发明提出来的多模态MRI多病灶分割方法具有以下优点：
1)提出了一个有效的编码器GlobalPoolformer，融入了全局信息，可以更有效的提取不同模态图像的特征。
2)提出了一个基于多维度注意力的特征融合模块，可以更有效的融合编码器所提取的深层图像特征。
3)提出了一个模态敏感的门控筛选模块，可以对不同模态的特征进行选择，提高特征的表达能力。
4)实验结果比较验证了本发明的有效性。通过和目前流行的多模态分割方法比较，验证了提出方法对于多模态MRI多病灶分割的有效性。
附图说明
图1为本发明一种多模态MRI多病灶分割方法的模型流程图；其中GlobalPoolformerEncoder表示融入全局信息进行改进编码器，提取不同模态图像的特征；NMaFA表示提出的多模态特征融合模块；T_tsa表示空间方向的注意力机制，T_cma表示模态方向的注意力机制；MSG表示模态敏感的门控模块；Decoder表示解码器，将不同阶段的图像特征上采样融合，最终解码为分割结果；
图2多模态MRI多病灶分割任务多模态融合流程图；
图3多模态MRI多病灶分割任务多模态融合模块(空间维度注意力与模态维度注意力)。
具体实施方式
结合附图对本发明的技术方案作进一步说明。
本发明的多模态MRI多病灶分割方法，多模态特征的融合与筛选，包括如下步骤：
(一)多模态脑部MRI特征提取
不同模态的脑部MRI包含了不同病灶的显著信息，本发明针对不同脑部肿瘤数据，可以融合不同数量的模态特征，例如BraTS脑胶质瘤数据，包含四个模态，分别为：T1-weighted(T1),post-contrast T1-weighted(T1Gd),T2-weighted(T2)and T2 FluidAttenuation Inversion Recovery(T2-FLAIR)；环湖医院脑膜瘤数据，包含二个模态，分别为：post-constrast T1-weighted(T1Gd)and contrast-enhanced T2-FLAIR(简写为FLAIR-C)；两种数据均为3D数据。同时，本发明也适用于其他器官。
多模态MRI的提取过程如下：
(1)通过N(N为模态的个数)个结构相同但是参数独立的神经网络模型(GlobalPoolformer Encoder)对不同模态的3D-MRI(D*W*H)分别进行逐步降采样，进行特征提取，得到N个
Figure BDA0003745808260000051
大小的特征图；
(2)将在下采样阶段得到的不同尺度的图像特征进行保存，用于传入解码器进行特征复用。
(二)特征融合
利用NMaFA(Nested Modality-aware Feature Aggregation)融合模块对(一)中得到的深度图像特征进行融合，得到融合特征，融合特征一方面输入解码器进行解码，另一方面通过模态敏感门控模块对不同尺度的多模态特征进行选择。具体过程如下：
(1)将(一)中得到的多模态特征在空间维度与模态维度进行特征融合，其中空间维度使用自注意力机制，提取多模态特征的空间关系；并且为了提高模型计算效率，将全局注意力拆解为水平、竖直、窗口三个子自注意力模块，融合空间特征。其中水平注意力模块只关注3D-MRI中每个切片内部的注意力关系，为了提高全局建模能力，竖直注意力模块关注3D-MRI中切片之间的注意力关系，窗口注意力模块将3D-MRI切分为不同窗口，关注窗口内部的注意力关系。使用三个子注意力模块，近似建模全局注意力关系。
多方向自注意力机制的公式如下：
MHAtsa(Z)＝MHAz(Z)+MHAxy(Z)+MHAw(Z)
其中MHAz、MHAxy、MHAw分别代表竖直、水平、窗口注意力模块。Z为多模态特征。
(2)模态维度使用跨注意力机制，对不同模态的特征关系进行提取，细粒度的融合多模态特征，首先利用(1)中得到的融合特征与多模态特征计算得到跨注意力机制所需要的查询向量(query)、键向量(key)、值向量(value)，计算公式如下：
Figure BDA0003745808260000061
其中
Figure BDA0003745808260000062
为(1)中方向维度的特征融合结果，
Figure BDA0003745808260000063
为多模态特征；两个向量分别与对应的可学习参数矩阵W做矩阵运算，得到计算注意力所需要的Q、K、V向量。
模态跨注意力机制公式如下：
Figure BDA0003745808260000071
其中
Figure BDA0003745808260000072
为多方向自注意力融合的结果；
Figure BDA0003745808260000073
为多模态特征；Q、K、V分别为query向量，key向量，value向量，用于计算跨注意力融合结果。Softmax为注意力权重计算函数，d为特征的大小，通过空间自注意力特征融合与模态跨注意力特征嵌套融合，最终得到融合特征Ffused，大小为
Figure BDA0003745808260000074
(三)特征筛选
由(二)得到的融合特征Ffused包含不同模态图像的丰富信息。传统的方法通常将不同模态的特征全部由编码器输入到解码器，忽视了特征的重要性关系，本发明提出了基于融合特征的门控筛选模块，通过对不同模态不同尺度特征的选择，提高模态特征的复用效果。特征筛选过程如下：
(1)通过融合特征构建不同尺度的门控机制MSG，通过全连接层网络对特征维度进行降维，降维到模态数量大小，再通过上采样网络进行不同次数的上采样，以适应不同尺度的特征。公式如下：
Figure BDA0003745808260000075
其中
Figure BDA0003745808260000076
为不同次数的上采样操作，FC为全连接层网络；σ为sigmoid激活函数；
Figure BDA0003745808260000077
为经过NMaFA模块的融合特征；
(2)利用门控机制对不同尺度的多模态特征进行选择，对每个模态每个像素点的特征赋予不同的权重，选择重要特征，过滤非重要特征，公式如下：
Figure BDA0003745808260000078
其中Il，i为(1)中根据深层表征得到的特征门控矩阵，表示了不同模态的重要性程度，Fl，i为不同尺度的多模态特征。l表示第l尺度，i表示第i个模态。
(四)多模态分割任务
构建输出分支，将解码器解码得到的多模态融合特征作为输入，输出分割结果，采用交叉熵函数作为分割损失函数，计算损失，优化网络参数，训练模型。我们对模型训练了300个epochs，学习率采用1e-4。为了提高模型的鲁棒性，我们采用了多种数据增强方式，例如随机旋转、随机镜像翻转、随机高斯噪声、随机对比度增强、随机亮度增强、随机尺度增强，伽马变换等。
为了提高测试结果的可靠性，我们分别在公开多模态医学图像分割数据集(BraTS2020)与内部多模态医学图像分割数据集(MeniSeg)上进行对比实验。其中BraTS2020数据集是脑胶质瘤数据集，每例数据包含4个模态，共包含364例有标签的3D脑部MRI，我们使用随机选取的315例作为训练集，15例作为验证集，34例作为测试集；MeniSeg数据集是脑膜瘤数据集，每例数据包含2个模态，共包含110例有标签的3D脑部MRI，我们使用两折交叉验证的方式进行实验。实验结果表明我们提出的方法相比其他对比方法优势明显。
本发明结果以及与其他多模态分割方法的比较结果如表1、表2所示。
表1本发明与其他多模态分割方法的比较结果(BraTS2020数据集)
Figure BDA0003745808260000081
表2本发明与其他多模态分割方法的比较结果(MeniSeg数据集)
Figure BDA0003745808260000091

Claims (4)

1.一种多模态MRI多病灶分割方法，其特征在于多模态特征的融合与筛选，包括如下步骤：
步骤一，多模态MRI提取；通过相同结构但参数独立的深度神经网络对不同模态的脑部MRI图像进行多阶段特征提取；
步骤二，特征融合；将步骤一中得到的多模态特征在空间维度、模态维度两个维度进行特征融合，其中空间维度使用多方向的自注意力机制，获取空间关系以融合空间特征，并提升计算效率；模态方向使用跨注意力机制，提取模态关系，融合多模态特征；
步骤三，特征筛选；利用步骤二中得到的融合特征构建模态敏感的特征选择门结构，对上层不同阶段的多模态特征进行筛选，选择更有效的特征输入到解码器，提高特征表达能力；
步骤四，多类别分割；利用解码器对深层融合特征进行不同阶段的上采样操作还原图像尺寸，并在其中结合经特征筛选模块后多模态增强特征，提高特征编码能力，最后将解码器获取的融合特征通过输出分支预测，得到分割结果。
2.根据权利要求1所述的多模态MRI多病灶分割方法，其特征在于：所述步骤一多模态MRI提取，改进了一个高效的神经网络编码器GlobalPoolformer，对MRI编码过程中融入全局信息，对不同模态的脑部MRI多次特征提取、下采样操作，提取不同尺度的深度特征。
3.根据权利要求1所述的多模态MRI多病灶分割方法，其特征在于：所述步骤二的特征融合，通过空间维度与模态维度的注意力机制，融合编码器提取的多模态特征，得到融合特征Ffused，具体方法包括：
(1)在空间维度，将编码器提取的多个模态的特征在通道维度进行拼接，通过块嵌入层编码为多个区块特征，通过自注意力机制，在空间维度计算每个特征区块之间的注意力，加权融合，得到空间维度的融合特征；
(2)在模态维度，将编码器提取的多个模态的特征分别通过块嵌入层编码为多个模态的区块特征，利用(1)中得到的融合特征，与编码后不同模态的区块特征进行跨注意力运算，在模态维度计算融合特征区块与不同模态区块之间的注意力，加权融合，得到模态维度的融合特征。
4.根据权利要求1所述的多模态MRI多病灶分割方法，其特征在于，所述步骤三特征筛选，利用高层次融合特征对低层次不同尺度的多模态特征进行筛选，选择更有效的特征输入到解码器，提高特征的复用效果，具体方法包括：
(1)将融合特征Ffused通过带有可学习参数的卷积层降维到模态数量大小；
(2)通过激活函数构建模态敏感特征选择门，按比例选择多模态特征进行输出。
CN202210824312.9A 2022-07-14 2022-07-14 一种多模态mri多病灶分割方法 Pending CN115131328A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210824312.9A CN115131328A (zh) 2022-07-14 2022-07-14 一种多模态mri多病灶分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210824312.9A CN115131328A (zh) 2022-07-14 2022-07-14 一种多模态mri多病灶分割方法

Publications (1)

Publication Number Publication Date
CN115131328A true CN115131328A (zh) 2022-09-30

Family

ID=83383828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210824312.9A Pending CN115131328A (zh) 2022-07-14 2022-07-14 一种多模态mri多病灶分割方法

Country Status (1)

Country Link
CN (1) CN115131328A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116092673A (zh) * 2023-04-10 2023-05-09 华南理工大学 一种便携式多信息融合分析及干预评估系统及其方法
CN116704245A (zh) * 2023-06-01 2023-09-05 昆明理工大学 基于对比学习多模态的弱监督胃癌组织病理图像分类方法、系统
CN117351307A (zh) * 2023-12-06 2024-01-05 深圳市宗匠科技有限公司 一种模型训练方法、装置、设备及存储介质
WO2024103284A1 (zh) * 2022-11-16 2024-05-23 中国科学院深圳先进技术研究院 脑肿瘤患者生存分析方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024103284A1 (zh) * 2022-11-16 2024-05-23 中国科学院深圳先进技术研究院 脑肿瘤患者生存分析方法及系统
CN116092673A (zh) * 2023-04-10 2023-05-09 华南理工大学 一种便携式多信息融合分析及干预评估系统及其方法
CN116704245A (zh) * 2023-06-01 2023-09-05 昆明理工大学 基于对比学习多模态的弱监督胃癌组织病理图像分类方法、系统
CN117351307A (zh) * 2023-12-06 2024-01-05 深圳市宗匠科技有限公司 一种模型训练方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN115131328A (zh) 一种多模态mri多病灶分割方法
Dong et al. Solq: Segmenting objects by learning queries
Dolz et al. Multiregion segmentation of bladder cancer structures in MRI with progressive dilated convolutional networks
CN113888744A (zh) 一种基于Transformer视觉上采样模块的图像语义分割方法
Singhania et al. Coarse to fine multi-resolution temporal convolutional network
CN105427264B (zh) 一种基于群稀疏系数估计的图像重构方法
CN111179187B (zh) 基于循环生成对抗网络的单幅图像去雨方法
CN114119515B (zh) 一种基于注意力机制和mri多模态融合的脑肿瘤检测方法
CN114170244B (zh) 一种基于级联神经网络结构的脑胶质瘤分割方法
CN116188410A (zh) 基于多模态Trans-CNN UNet的3D脑胶质瘤MRI病灶分割方法、系统、设备及介质
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
Liu et al. Scale-adaptive super-feature based MetricUNet for brain tumor segmentation
Zhang et al. Cascaded volumetric convolutional network for kidney tumor segmentation from CT volumes
Li et al. TransBTSV2: towards better and more efficient volumetric segmentation of medical images
CN114972378A (zh) 一种基于掩码注意力机制的脑肿瘤mri图像分割方法
Zou et al. Joint wavelet sub-bands guided network for single image super-resolution
CN113744284B (zh) 脑肿瘤图像区域分割方法、装置、神经网络及电子设备
Ning et al. Trap attention: Monocular depth estimation with manual traps
Wang et al. A deep learning algorithm for fully automatic brain tumor segmentation
Ma et al. Position-based face hallucination method
Wang et al. AST-Net: Lightweight hybrid transformer for multimodal brain tumor segmentation
Ding et al. Cross-modality multi-atlas segmentation via deep registration and label fusion
CN117474866A (zh) 基于融合卷积与注意力机制的u型网络的医学图像自动分割方法
Xu et al. AS 3 ITransUNet: Spatial-Spectral Interactive Transformer U-Net with Alternating Sampling for Hyperspectral Image Super-Resolution
Li et al. Multiple self-attention network for intracranial vessel segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination