CN115984257A - 一种基于多尺度transformer的多模态医学图像融合方法 - Google Patents

一种基于多尺度transformer的多模态医学图像融合方法 Download PDF

Info

Publication number
CN115984257A
CN115984257A CN202310144532.1A CN202310144532A CN115984257A CN 115984257 A CN115984257 A CN 115984257A CN 202310144532 A CN202310144532 A CN 202310144532A CN 115984257 A CN115984257 A CN 115984257A
Authority
CN
China
Prior art keywords
medical image
scale
fusion
module
image fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310144532.1A
Other languages
English (en)
Inventor
方贤进
程颖
杨高明
张海永
赵婉婉
华楷文
李想
薛明均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University of Science and Technology
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Anhui University of Science and Technology
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University of Science and Technology, Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Anhui University of Science and Technology
Priority to CN202310144532.1A priority Critical patent/CN115984257A/zh
Publication of CN115984257A publication Critical patent/CN115984257A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于多尺度transformer的多模态医学图像融合方法，属于医学图像融合技术领域。本发明提出了一种新型高效的融合模型，设计多尺度transformer模型引入特征提取网络，使得特征提取网络可以有效地提取多尺度深度特征，并为融合任务保留更多有意义的信息；在网络训练的过程中自适应感受野和patch大小，并构建基于结构相似性优化目标函数来约束图像生成质量；利用卷积计算结合Transformer，为医学影像融合结果提供了更好的视觉效果和量化结果。

Description

一种基于多尺度transformer的多模态医学图像融合方法
技术领域
本发明涉及医学图像融合技术领域，具体涉及一种基于多尺度transformer的多模态医学图像融合方法。
背景技术
图像融合是将融合的图像中不同的信息融合到一起，得到一张拥有来自不同图像的各种复杂信息汇集在一起的新图像。图像融合在很多的领域，比如红外光图像和可见光图像可以应用在军事方面，提高系统的探测侦察能力。在医学影像领域，图像融合将不同模态的医学图像中的细节融合，例如将MRI图像与SPECT图像融合会获得同时保存SPECT图像的功能代谢功能和MRI的结构软组织信息的图像。多模态磁共振成像(MRI)扫描中的RAIN肿瘤分割是获取肿瘤二维直径、肿瘤体积等关键量化指标的基础，在疾病诊断和治疗效果评估中具有重要的临床意义。由于胶质瘤是最常见的脑原发恶性肿瘤，所以大部分的脑肿瘤分割研究都集中在胶质瘤上。胶质瘤分割的典型目标是在多模态MRI容积中定位多种类型的病理区域，包括水肿(ED)、坏死和非强化肿瘤(NCR/NET)和强化肿瘤(ET)，通常包括T1加权(T1)、对比增强T1加权(T1c)、T2加权(T2)。将不同序列的MRI图像融合在一起，包括不同模态特征的图像有助于后续医生的诊断或其他工作的处理。
基于深度学习的医学图像融合方式取得了不错的融合效果，但依旧存在很多问题：(1)融合的框架只使用于指定的任务，泛化性能低。例如用于融合PET和SPECT的框架因为两种图像的分辨率相差比较大，对输入网络图片分辨率有要求，难以用于其他工作的融合；(2)现有的基于深度学习的多模态医学图像融合方式都是两个模态图像的融合，并没有两个以上模态的图像融合；(3)医学图像融合技术目前在应用上尚且有些缺乏，只是两个图像的融合并不能对医疗诊断产生太大的作用，可以尝试能不能用于增广数据集；(4)现有的方法一般都是基于CNN的方法，能很好的捕捉局部信息，但对于全局信息难以捕捉。为了能够实现脑部胶质瘤医学影像病灶区域特性和共性的精准融合，提出一种基于多尺度transformer的多模态医学图像融合方法。
发明内容
本发明所要解决的技术问题在于：如何实现脑部胶质瘤医学影像病灶区域特性和共性的精准融合，以克服现有多模态医学影像融合处理时信息融合的不足，提供了一种基于多尺度transformer的多模态医学图像融合方法。
本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：
步骤S1：将脑部胶质瘤医学影像的数据集切片处理，去除没有病灶的区域；
步骤S2：对脑部胶质瘤切片进行数据预处理；
步骤S3：构建多尺度transformer模块；
步骤S4：构建融合网络机制，得到多尺度transformer融合网络，利用预处理后训练集中的数据优化训练多尺度transformer融合网络；
步骤S5：基于结构相似性度量，构建损失函数，约束图像的生成方向；
步骤S6：经过步骤S1-S5的处理后，得到基于多尺度transformer融合网络的医学图像融合模型，将待融合的脑部胶质瘤医学影像输入医学图像融合模型中进行融合处理，得到融合结果。
作为更进一步地，在所述步骤S1中，脑部胶质瘤医学影像的数据集中包括4个图像序列，分别为flair序列、T1加权序列、对比增强T1加权序列与T2加权序列；4个图像序列同步进行处理，将数据集随机打乱，抽取其中的30％作为验证集，其余70％作为训练集；在70％的训练集中按照设定的比例随机分为训练时的训练集xtraining和验证集xtest，其中xtraining,xtest∈X。
作为更进一步地，在所述步骤S2中，数据预处理公式如下：
xi_input＝normailze(corp(xi)),xi∈xtraining
其中，xi_input作为步骤S4中构建完成的多尺度transform融合网络的输入，corp(·)为采样函数，normailze(·)表示对采样后的数据进行归一化操作。
作为更进一步地，在所述步骤S3中，所述多尺度transformer模块包括4个依次连接的block，每个block由不同感受野大小的卷积计算和不同patch的transformer层次连接实现。
作为更进一步地，每个block的感受野和patch大小由该模块输入决定，根据输入大小的不同自适应调整感受野和patch的大小，xi作第i个block的输入，先经过感受野为p×p大小的卷积计算，再将特征分为h/p个patch，随后对每一个patch进行注意力机制变换，以此类推，经过4个block的计算后提取到feature map，再进行下一个步骤，其中，每个block的计算公式如下：
Vi＝conv2(wi,xi)+bi
Figure BDA0004088687800000021
FFZ(Z)＝max(0,ZW1,+b1)W2+b2
其中，conv2(·)表示卷积计算，wi和bi分别为迭代过程中产生的权重和偏置，softmax(·)为softmax激活函数，max(·)表示取其中的最大值。
作为更进一步地，所述多尺度transformer融合网络包括特征提取网络，融合模块和特征重建网络；其中，所述特征提取网络包括依次交错连接的3个卷积模块、3个多尺度transformer模块，卷积模块在前，多尺度transformer模块在后；所述特征重建网络包括依次连接的4个上采样模块，最后一个多尺度transformer模块通过融合模块与第一个上采样模块连接。
作为更进一步地，输入图像每经过一个卷积模块的处理后，输入到一个多尺度transformer模块中，每次经过多尺度transformer模块中一个block后feature map发生变化，通道数目转换为原来的1/2，feature map经过变化后用如下公式表示：
feature map＝FFZ(Attention(conv(xi)))
其中，conv(·)表示步幅为1、卷积核大小为3的卷积计算，xi是多尺度层次transformer模块的输入。
作为更进一步地，融合模块的计算公式如下所示：
Figure BDA0004088687800000031
其中，cat(·)表示将两个张量进行拼接，c、p、N、H和W分别指通道数、patch大小、patch数量、源图像的高和宽。
作为更进一步地，在所述步骤S5中，结构相似性度量指数SSIM的公式和结构相似性度量指数损失函数如下所示：
Figure BDA0004088687800000032
Figure BDA0004088687800000033
其中，μ(·)为计算平均值，σ(·)为计算方差，C1和C2是趋近于无穷小的数，G(I1,I2)为生成器G的生成结果。
作为更进一步地，在所述步骤S6中，在得到医学图像融合模型后，使用验证集xtest对医学图像融合模型进行测试。
本发明相比现有技术具有以下优点：该基于多尺度transformer的多模态医学图像融合方法，提出了一种新型高效的融合模型，设计多尺度transformer模型引入特征提取网络，使得特征提取网络可以有效地提取多尺度深度特征，并为融合任务保留更多有意义的信息；在网络训练的过程中自适应感受野和patch大小，并构建基于结构相似性优化目标函数来约束图像生成质量；利用卷积计算结合Transformer，为医学影像融合结果提供了更好的视觉效果和量化结果。
附图说明
图1是本发明实施例中医学图像融合模型的训练及测试流程示意图；
图2是本发明实施例中多尺度transformer融合网络的结构框架图；
图3是本发明实施例中多尺度transformer模块的结构框架图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本实施例提供一种技术方案：一种基于多尺度transformer的多模态医学图像融合方法，包括以下主要步骤：
步骤1：将脑部胶质瘤医学影像的数据集切片处理，去除没有病灶的区域；
步骤2：对脑部胶质瘤切片进行数据预处理；
步骤3：构建多尺度transformer模块；
步骤4：构建融合网络机制，得到多尺度transformer融合网络，利用预处理后训练集中的数据优化训练多尺度transformer融合网络；
步骤5：基于结构相似性度量，构建构建损失函数，约束图像的生成方向；
步骤6：经过步骤1-5的处理后，得到基于多尺度transformer融合网络的医学图像融合模型，利用预处理后测试集中的数据测试医学图像融合模型的融合效果。
详细步骤如下：
步骤1：脑部胶质瘤医学影像的数据集中包括flair序列、T1加权(T1)序列、对比增强T1加权(T1c)序列、T2加权(T2)序列这4个图像序列，尺寸大小为240×240×155的3D图像数据。四个图像序列同步进行处理，将数据集随机打乱，抽取其中的30％作为验证集，其余70％作为训练集。在这70％的训练集中按照一定的比例随机分为训练时的训练集和验证集(训练时进行二次划分，取一部分进行验证以达到约束训练结果的目的)。所有的3D图像数据经过切片转换为大小为160×160的2D图像数据。
步骤2：经过步骤1的处理，脑部胶质瘤医学影像数据集被分为训练集和验证集两个部分，训练集用于训练模型的参数以达到预期的效果，验证集用于验证训练集训练好的模型的泛化性。在训练集数据输入多尺度transformer融合网络前被分为训练集xtraining和验证集xtest，其中xtraining,xtest∈X。每个数据经过剪裁和归一化等操作计算，以保证每个特征被分类器平等对待，数据预处理可以用如下公式表示：
xi_input＝normailze(corp(xi)),xi∈xtraining
其中，xi_input作为步骤4中构建完成的多尺度transform融合网络的输入，corp(·)为采样函数，normailze(·)表示对采样后的数据进行归一化操作。
步骤3：构建多尺度层次transformer模块(多尺度transformer模块)，该模块包括4个block，每个block由不同感受野大小的卷积计算和不同patch的transformer层次连接组成，这个模块结合了卷积计算的局部特征提取能力和transformer的上下文长依赖关系学习，使模型更具可解释性，并且使用4个不同尺度的计算模式使得模型对局部和全局特征提取都得到了提升，提取到更多的图像质量特征。
更进一步的，每个block的感受野和patch大小由该模块输入决定，根据输入大小的不同自适应调整感受野和patch的大小。xi作第i个block的输入，先经过感受野为p×p大小的卷积计算，再将特征分为h/p个patch，随后对每一个patch进行注意力机制变换。以此类推，经过4个block的计算后提取到的高质量的feature map(特征图)进行下一个步骤。每个block的计算公式如下：
Vi＝conv2(wi,xi)+bi
Figure BDA0004088687800000051
FFZ(Z)＝max(0,ZW1,+b1)W2+b2
其中，conv2(·)表示卷积计算，wi和bi分别为迭代过程中产生的权重和偏置，softmax(·)是指softmax激活函数，max(·)表示取其中的最大值。
步骤4：步骤3中构建的多尺度层次transformer模块作为整个网络特征提取部分的一部分。多尺度transformer融合网络分为3个部分：特征提取部分，融合部分和特征重建部分。
更进一步的，特征提取部分通过3个卷积计算、reLU函数计算和最大池化实现，随后将feature map送进步骤3中构建的多尺度层次transformer模块中。每次经过一个block后feature map发生变化，通道数目转换为原来的1/2，feature map经过变化后可以用如下公式表示：
feature map＝FFZ(Attention(conv(xi)))
其中，conv(·)表示步幅为1、卷积核大小为3的卷积计算，xi是多尺度层次transformer模块的输入；
更进一步的，特征提取后的feature map包含了丰富的信息，在这个步骤中将需要融合的feature map进行融合,根据特征图上亮度和纹理的相似性，得到的fusion map更加关注典型目标和细节。fusion map计算公式如下所示：
Figure BDA0004088687800000061
其中，cat(·)表示将两个张量进行拼接，c、p、N、H和W分别指通道数、patch大小、patch数量、源图像的高和宽。
更进一步的，特征重建部分包括4个上采样的计算，fusion map包括了丰富的特征信息但都是轮廓信息，缺乏语义信息。通过上采样计算进行特征重建生成包含源图像丰富病灶细节的融合图片。每个上采样计算通过3×3大小的卷积核和设置为1的步幅的卷积计算和ReLU激活函数实现。4个block的计算原理(4个上采样的计算过程)相同，但计算得到的feature map大小翻倍，并且在4个block后经过一层线性化操作和Maxpooling归约。
步骤5：结构相似性度量指数作为构建目标优化函数的主要客观指标，在整个多尺度transformer融合网络的训练过程中，这些不同的损失函数由已设置超参数α作为权重因子，从而计算整个多尺度transformer融合网络的损失函数。结构相似性度量指数约束两个图像相似性的度量方式，结构相似性度量指数分别计算生成图像和两张源图的内容差距，从亮度、对比度和结构的角度约束生成图像的视觉感知质量，SSIM(结构相似性度量指数)的公式和结构相似性度量指数损失函数如下所示：
Figure BDA0004088687800000062
Figure BDA0004088687800000063
其中，μ(·)为计算平均值，σ(·)为计算方差，C1和C2是趋近于无穷小的数，为了避免出现计算异常的情况，G(I1,I2)为网络的生成结果。
步骤6：经过步骤1-5的数据预处理，多尺度transformer融合网络的构建以及目标函数的训练优化，获得了最优的融合模型，使用该模型对验证集xtest进行结果的预测，并验证模型的客观和主观效果，对该模型进行定性和定量的评估。该测试结果可作为其他下游任务例如医学影像的分割和分类的数据预处理部分同时作为医疗诊断的辅助性诊疗中。
综上所述，上述实施例的基于多尺度transformer的多模态医学图像融合方法，提出了一种新型高效的融合模型，设计多尺度transformer模型引入特征提取网络，使得特征提取网络可以有效地提取多尺度深度特征，并为融合任务保留更多有意义的信息；在网络训练的过程中自适应感受野和patch大小，并构建基于结构相似性优化目标函数来约束图像生成质量；利用卷积计算结合Transformer，为医学影像融合结果提供了更好的视觉效果和量化结果。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于多尺度transformer的多模态医学图像融合方法，其特征在于，包括以下步骤：
步骤S1：将脑部胶质瘤医学影像的数据集切片处理，去除没有病灶的区域；
步骤S2：对脑部胶质瘤切片进行数据预处理；
步骤S3：构建多尺度transformer模块；
步骤S4：构建融合网络机制，得到多尺度transformer融合网络，利用预处理后训练集中的数据优化训练多尺度transformer融合网络；
步骤S5：基于结构相似性度量，构建损失函数，约束图像的生成方向；
步骤S6：经过步骤S1-S5的处理后，得到基于多尺度transformer融合网络的医学图像融合模型，将待融合的脑部胶质瘤医学影像输入医学图像融合模型中进行融合处理，得到融合结果。
2.根据权利要求1所述的一种基于多尺度transformer的多模态医学图像融合方法，其特征在于：在所述步骤S1中，脑部胶质瘤医学影像的数据集中包括4个图像序列，分别为flair序列、T1加权序列、对比增强T1加权序列与T2加权序列；4个图像序列同步进行处理，将数据集随机打乱，抽取其中的30％作为验证集，其余70％作为训练集；在70％的训练集中按照设定的比例随机分为训练时的训练集xtraining和验证集xtest，其中xtraining,xtest∈X。
3.根据权利要求2所述的一种基于多尺度transformer的多模态医学图像融合方法，其特征在于：在所述步骤S2中，数据预处理公式如下：
xi_input＝normailze(corp(xi)),xi∈xtraining
其中，xi_input作为步骤S4中构建完成的多尺度transform融合网络的输入，corp(·)为采样函数，normailze(·)表示对采样后的数据进行归一化操作。
4.根据权利要求3所述的一种基于多尺度transformer的多模态医学图像融合方法，其特征在于：在所述步骤S3中，所述多尺度transformer模块包括4个依次连接的block，每个block由不同感受野大小的卷积计算和不同patch的transformer层次连接实现。
5.根据权利要求4所述的一种基于多尺度transformer的多模态医学图像融合方法，其特征在于：每个block的感受野和patch大小由该模块输入决定，根据输入大小的不同自适应调整感受野和patch的大小，xi作第i个block的输入，先经过感受野为p×p大小的卷积计算，再将特征分为h/p个patch，随后对每一个patch进行注意力机制变换，以此类推，经过4个block的计算后提取到feature map，再进行下一个步骤，其中，每个block的计算公式如下：
Vi＝conv2(wi,xi)+bi
Figure FDA0004088687790000021
FFZ(Z)＝max(0,ZW1,+b1)W2+b2
其中，conv2(·)表示卷积计算，wi和bi分别为迭代过程中产生的权重和偏置，softmax(·)为softmax激活函数，max(·)表示取其中的最大值。
6.根据权利要求5所述的一种基于多尺度transformer的多模态医学图像融合方法，其特征在于：所述多尺度transformer融合网络包括特征提取网络，融合模块和特征重建网络；其中，所述特征提取网络包括依次交错连接的3个卷积模块、3个多尺度transformer模块，卷积模块在前，多尺度transformer模块在后；所述特征重建网络包括依次连接的4个上采样模块，最后一个多尺度transformer模块通过融合模块与第一个上采样模块连接。
7.根据权利要求6所述的一种基于多尺度transformer的多模态医学图像融合方法，其特征在于：输入图像每经过一个卷积模块的处理后，输入到一个多尺度transformer模块中，每次经过多尺度transformer模块中一个block后feature map发生变化，通道数目转换为原来的1/2，feature map经过变化后用如下公式表示：
feature map＝FFZ(Attention(conv(xi)))
其中，conv(·)表示步幅为1、卷积核大小为3的卷积计算，xi是多尺度层次transformer模块的输入。
8.根据权利要求7所述的一种基于多尺度transformer的多模态医学图像融合方法，其特征在于：融合模块的计算公式如下所示：
Figure FDA0004088687790000022
其中，cat(·)表示将两个张量进行拼接，c、p、N、H和W分别指通道数、patch大小、patch数量、源图像的高和宽。
9.根据权利要求8所述的一种基于多尺度transformer的多模态医学图像融合方法，其特征在于：在所述步骤S5中，结构相似性度量指数SSIM的公式和结构相似性度量指数损失函数如下所示：
Figure FDA0004088687790000023
Figure FDA0004088687790000024
其中，μ(·)为计算平均值，σ(·)为计算方差，C1和C2是趋近于无穷小的数，G(I1,I2)为网络的生成结果。
10.根据权利要求2所述的一种基于多尺度transformer的多模态医学图像融合方法，其特征在于：在所述步骤S6中，在得到医学图像融合模型后，使用验证集xtest对医学图像融合模型进行测试。
CN202310144532.1A 2023-02-21 2023-02-21 一种基于多尺度transformer的多模态医学图像融合方法 Pending CN115984257A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310144532.1A CN115984257A (zh) 2023-02-21 2023-02-21 一种基于多尺度transformer的多模态医学图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310144532.1A CN115984257A (zh) 2023-02-21 2023-02-21 一种基于多尺度transformer的多模态医学图像融合方法

Publications (1)

Publication Number Publication Date
CN115984257A true CN115984257A (zh) 2023-04-18

Family

ID=85968243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310144532.1A Pending CN115984257A (zh) 2023-02-21 2023-02-21 一种基于多尺度transformer的多模态医学图像融合方法

Country Status (1)

Country Link
CN (1) CN115984257A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292232A (zh) * 2023-11-24 2023-12-26 烟台大学 T1加权成像的多维空间特征获取方法、系统和设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292232A (zh) * 2023-11-24 2023-12-26 烟台大学 T1加权成像的多维空间特征获取方法、系统和设备
CN117292232B (zh) * 2023-11-24 2024-02-06 烟台大学 T1加权成像的多维空间特征获取方法、系统和设备

Similar Documents

Publication Publication Date Title
Faragallah et al. A comprehensive survey analysis for present solutions of medical image fusion and future directions
Yu et al. Morphological feature visualization of Alzheimer’s disease via multidirectional perception GAN
Hu et al. Brain MR to PET synthesis via bidirectional generative adversarial network
Gu et al. MedSRGAN: medical images super-resolution using generative adversarial networks
JP2022518446A (ja) 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム
Azam et al. Multimodal medical image registration and fusion for quality enhancement
Zhou et al. Deep learning methods for medical image fusion: A review
Sathyan et al. Lung nodule classification using deep ConvNets on CT images
Liu et al. Multimodal MRI volumetric data fusion with convolutional neural networks
Nair et al. MAMIF: multimodal adaptive medical image fusion based on B-spline registration and non-subsampled shearlet transform
Zhou et al. Multi-modal medical image fusion based on densely-connected high-resolution CNN and hybrid transformer
Rajamani et al. Attention-augmented U-Net (AA-U-Net) for semantic segmentation
Yao et al. GeminiNet: combine fully convolution network with structure of receptive fields for object detection
CN115984257A (zh) 一种基于多尺度transformer的多模态医学图像融合方法
Li et al. An impulse noise removal model algorithm based on logarithmic image prior for medical image
Amirkolaee et al. Development of a GAN architecture based on integrating global and local information for paired and unpaired medical image translation
Li et al. TransU²-Net: An Effective Medical Image Segmentation Framework Based on Transformer and U²-Net
CN116030308B (zh) 基于图卷积神经网络的多模态医学图像分类方法及系统
Wang et al. SCGRFuse: An infrared and visible image fusion network based on spatial/channel attention mechanism and gradient aggregation residual dense blocks
Hu et al. AutoGAN-synthesizer: neural architecture search for cross-modality MRI synthesis
Huang et al. ADDNS: An asymmetric dual deep network with sharing mechanism for medical image fusion of CT and MR-T2
Verma et al. Role of deep learning in classification of brain MRI images for prediction of disorders: a survey of emerging trends
CN114066798A (zh) 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法
Yang et al. Dual-path network for liver and tumor segmentation in CT images using Swin Transformer encoding approach
Yuan et al. FM-Unet: Biomedical image segmentation based on feedback mechanism Unet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination