CN117876835A - 基于残差Transformer的医学图像融合方法 - Google Patents

基于残差Transformer的医学图像融合方法 Download PDF

Info

Publication number
CN117876835A
CN117876835A CN202410228939.7A CN202410228939A CN117876835A CN 117876835 A CN117876835 A CN 117876835A CN 202410228939 A CN202410228939 A CN 202410228939A CN 117876835 A CN117876835 A CN 117876835A
Authority
CN
China
Prior art keywords
medical image
fusion
feature
residual
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410228939.7A
Other languages
English (en)
Inventor
余磊
张伟豪
邵宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Normal University
Original Assignee
Chongqing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Normal University filed Critical Chongqing Normal University
Priority to CN202410228939.7A priority Critical patent/CN117876835A/zh
Publication of CN117876835A publication Critical patent/CN117876835A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了基于残差Transformer的医学图像融合方法,包括:获取待融合的源图像对,待融合的源图像对包括相互配准的第一解剖型医学图像和第二功能型医学图像;将第一解剖型医学图像和第二功能型医学图像分别输入至上下文动态提取模块中进行多尺度分解,获得特征图集,并基于特征图集提取浅层特征;将浅层特征输入至残差转换融合模块中进行深度融合,获得若干不同尺度的特征图;将若干不同尺度的特征图输入到卷积上采样重构模块中,获得融合结果。

Description

基于残差Transformer的医学图像融合方法
技术领域
本发明涉及医学图像处理技术领域,尤其涉及基于残差Transformer的医学图像融合方法。
背景技术
多模态医学融合图像是医生诊断和治疗各种疾病的重要辅助工具,在辅助诊断、指导治疗和进展检测方面发挥着不可或缺的作用。一般来说,医学图像根据成像特点分为功能图像和解剖图像。解剖图像显示有关人体结构和组成的详细解剖信息,通常具有高分辨率。磁共振成像(MRI)作为一种典型的解剖图像,可以清晰地显示软组织信息。另一方面,包括正电子发射断层扫描(PET)和单光子发射计算机断层扫描(SPECT)在内的功能图像被用于可视化特定组织或器官内的代谢和生化过程,因为它们能够显示器官或组织在分子水平上的功能。在进行临床诊断时,医生经常按照特定的顺序使用不同模式的图像。医学图像融合技术有望解决上述问题,因为它可以提高诊断的准确性,提高治疗的有效性。
在过去的几十年里,现有技术中提出了大量的医学图像融合方法。传统的融合方法通常使用特定的变换算法对图像进行分解,然后使用设计好的融合策略进行融合,最后使用逆变换得到最终的融合图像。这些方法一般分为基于空间域的方法和基于频率域的方法。在基于空间域的方法中,采用像素级策略对图像中的单个像素进行处理,可以得到具有低峰值信噪比的融合图像。沿着这个方向,大量的传统方法被提出。基于简单最小/最大、加权平均、简单平均、模糊逻辑运算和云模型的方法是常用的多模态医学图像空间域融合方法。频域法是指在应用融合策略之前,先使用金字塔变换或小波变换等变换方法将图像转换到频域,随后对变换后的不同频带图像应用不同的融合规则。
此外,基于字典学习和卷积稀疏表示的决策级域融合方法对医学图像融合的发展做出了显著贡献。传统的方法虽然可以在一定程度上达到图像融合的目的,但可能不能准确地捕捉细节,而且耗时长。此外,设计有效的融合策略是一项具有挑战性的任务,因为数学逻辑和基于先验知识的融合策略可能与网络不完全一致,从而导致信息保存不足。近年来,基于深度学习的融合方法不断被提出。卷积神经网络(CNN)以其优异的特征提取能力在图像融合中得到了广泛的应用。大多数基于CNN的融合方法将输入图像分解成多个尺度或频带,并利用CNN提取特征。然后根据所设计的融合策略对提取的特征进行融合,最后进行反变换得到融合后的图像。随着深度学习的不断发展,无监督融合方法因其强大的特征学习能力被越来越多地应用到图像融合中。无监督图像融合方法通常不需要先验知识或标记数据,并且无需人工干预即可完成图像融合任务。
基于深度学习的医学图像融合方法虽然显著改善了传统方法的局限性,但也面临着一些挑战。首先,基于CNN的方法仍然没有完全解决融合策略设计的难题。虽然无监督方法可以在不需要明确融合规则的情况下生成融合图像,但它也可能缺乏可解释性,导致融合图像的可靠性和可信度降低。其次,现有的深度学习方法基本都是基于卷积神经网络。卷积运算具有较强的局部特征提取能力,但其全局感知能力不足,可能导致融合不准确。此外,部分无监督方法,特别是基于生成对抗网络(GAN)的无监督方法,在训练阶段难以收敛,可能会产生一些严重的错误,如模式崩溃。最后,一些基于编码器的融合方法将编码器-解码器模块与融合模块分开训练,但这两个模块是相互依赖的。这种方法可能会降低模型的精度和稳定性。
发明内容
本发明提出了基于残差Transformer的医学图像融合方法,以解决上述现有技术中存在的问题。
为实现上述目的,本发明提供了基于残差Transformer的医学图像融合方法,包括:
获取待融合的源图像对,所述待融合的源图像对包括相互配准的第一解剖型医学图像和第二功能型医学图像;
将所述第一解剖型医学图像和所述第二功能型医学图像分别输入至上下文动态提取模块中进行多尺度分解,获得多尺度的特征图集,并基于所述特征图集提取浅层特征,其中,所述特征图集的尺度与所述浅层特征的尺度相同;
将所述浅层特征输入至残差转换融合模块中进行深度融合,获得若干不同尺度的特征图,其中,所述特征图的尺度与所述浅层特征的尺度相同;
将若干所述不同尺度的特征图输入到卷积上采样重构模块中,获得融合结果。
优选地,将所述第一解剖型医学图像和所述第二功能型医学图像分别输入至上下文动态提取模块中进行多尺度分解,包括:
将所述第一解剖型医学图像和所述第二功能型医学图像分别经过卷积核大小为3的标准卷积进行增维,获得16维的原始特征图,然后将所述16维的原始特征图输入到卷积核大小为3的标准卷积中进行维度和尺寸变换,得到所述特征图集。
优选地,提取特征图集中的所述浅层特征,包括:
基于所述上下文动态提取模块,将所述特征图集输入到卷积核大小为3的上下文门控卷积中,依据特征图中的上下文信息提取所述浅层特征。
优选地,所述浅层特征中的特征图的维度包括四个尺度,依次为以64的图片尺寸为基础,每个尺度增加58,即N×58+64,其中N=0、1、2、3,分别代表四个维度的尺寸和维度。
优选地,所述残差转换融合模块包括四个Focal Transformer单元,其中,第一Focal Transformer单元用于对所述浅层特征进行初步提取融合,第二Focal Transformer单元、第三Focal Transformer单元和第四Focal Transformer单元用于对初步融合后的特征图进行深度融合。
优选地,将所述浅层特征输入至残差转换融合模块中进行深度融合前包括:对所述浅层特征中的特征图按尺度进行拼接,获得尺寸为25+N×25+N的特征图,其中N=0、1、2、3,各层的维度为(N×58+64)×2,其中N的取值与各维度取值相同。
优选地,所述残差转换融合模块中的残差机制包括:
在尺寸为256×256的特征图的融合过程中,在第一、二、三个Focal Transformer单元后得到的特征图与最终融合的特征图之间加入残差跳越连接;
在尺寸为128×128的特征图的融合过程中,在第二个Focal Transformer单元后得到的特征图与最终融合的特征图之间加入残差跳越连接。
优选地,所述卷积上采样重构模块包括若干解码卷积块和一个通道变化卷积块,其中,所述解码卷积块用于处理不同尺度的多尺度特征图像并对尺寸进行统一,所述通道变化卷积块用于将统一后的特征图像变化为融合图像。
与现有技术相比,本发明具有如下优点和技术效果:
(1)相比于大部分传统的医学图像融合方法,本发明无需设计融合策略来整合不同模态间的互补特征以达到融合的目标,本发明通过设计残差转换融合模块来自主地学习合适的融合方法,将互补模态信息融合,节省了开发的时间消耗而且提升了融合效果;
(2)相比于大部分基于Transformer的融合方法,本发明所使用的FocalTransformer在不增加太多算力资源消耗的前提下,对长程和短程的信息均可以做到很好地提取和整合,最终获得的融合图像质量相比于对比的所有算法取得了最优的结果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明实施例的基于残差Transformer的医学图像融合方法流程图;
图2为本发明实施例的卷积上采样重构模块的网络结构图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
如图1-图2,本发明提出了基于残差Transformer的医学图像融合方法,包括:
获取待融合的源图像对,待融合的源图像对包括相互配准的第一解剖型医学图像和第二功能型医学图像;
将第一解剖型医学图像和第二功能型医学图像分别输入至上下文动态提取模块中进行多尺度分解,获得特征图集,并基于特征图集提取浅层特征;
具体的,分别将第一解剖型医学图像和第二功能型医学图像分别输入到上下文动态提取模块中进行多尺度分解,得到第一解剖型医学图像的在四个不同尺度上的特征图和第二功能型医学图像在四个不同尺度上的特征图,接着依据特征图中上下文信息提取第一解剖型医学图像和第二功能性医学图像在四个尺度上的浅层特征。
包括将第一解剖型医学图像和第二功能型医学图像经过卷积核大小为3的标准卷积进行增维,得到16维的原始特征图,接着将16维的原始特征图输入到卷积核大小为3的标准卷积中进行维度和尺寸变换,得到256×256、128×128、64×64、32×32四个尺寸的多尺度特征图,维度依次为64、112、160、208。
将浅层特征输入至残差转换融合模块中进行深度融合,获得若干不同尺度的特征图;
具体的,将第一解剖型医学图像和第二功能型医学图像的浅层特征输入到对应尺度的残差转换融合模块中,完成第一解剖型医学图像和第二功能型医学图像的浅层特征分别在四个尺度上的深度融合,得到融合后的四个尺度的特征图Fuse1、Fuse2、Fuse3、Fuse4
其中,残差转换融合模块共有四个,分别对四个尺度的包含浅层特征的特征图进行深度融合具体包括:将来自第一解剖型医学图像和第二功能型医学图像的四个尺度的特征图按尺度拼接,得到256×256、128×128、64×64、32×32四个尺寸的特征图,维度依次为128、224、320、416,接着输入到第一Focal Transformer单元中,得到256×256、128×128、64×64、32×32四个尺寸的包含浅层特征的特征图,维度依次为64、112、160、208,接着再通过三个Focal Transformer单元对初步融合后的特征图进行深度融合,最终得到256×256、128×128、64×64、32×32四个尺寸的融合后特征图Fuse1、Fuse2、Fuse3、Fuse4,维度依次为64、112、160、208。
残差转换融合模块中的残差机制只应用于256×256、128×128两个尺度的融合过程中,具体包括:在尺寸为256×256的特征图的融合过程中,在第一、二、三FocalTransformer单元后得到的特征图与最终融合的特征图之间加入了残差跳越连接;在尺寸为128×128的特征图的融合过程中在第二Focal Transformer单元后得到的特征图与最终融合的特征图之间加入了残差跳越连接。
将若干不同尺度的特征图输入到卷积上采样重构模块中,获得融合结果;
具体的,将四个尺度的特征图Fuse1、Fuse2、Fuse3、Fuse4输入到卷积上采样重构模块,得到与输入图像尺寸相同的融合结果。
卷积上采样重构模块由六个解码卷积块和一个通道变化卷积块组成,128×128尺寸的融合特征Fuse2进行上采样后与256×256尺寸的融合特征Fuse1拼接后输入到第一个解码卷积块中,得到64维的256×256尺寸的特征图;64×64尺寸的融合特征Fuse3进行上采样后与128×128尺寸的融合特征Fuse2拼接后输入到第二个解码卷积块中,得到112维的128×128尺寸的特征图;32×32尺寸的融合特征Fuse4进行上采样后与64×64尺寸的融合特征Fuse3拼接后输入到第三个解码卷积块中,得到160维的64×64尺寸的特征图;第二个解码卷积块得到的112维的128×128尺寸的特征图经过上采样后与第一个解码卷积块得到的64维的256×256尺寸的特征图以及256×256尺寸的融合特征Fuse1拼接后得到240维的256×256尺寸的特征图输入到第四个解码卷积块,得到64维的256×256尺寸的特征图;第二个解码卷积块得到的112维的128×128尺寸的特征图经过上采样后与第一个解码卷积块得到的64维的256×256尺寸的特征图以及256×256尺寸的融合特征Fuse1拼接后得到240维的256×256尺寸的特征图输入到第四个解码卷积块,得到64维的256×256尺寸的特征图;第三个解码卷积块得到的160维的64×64尺寸的特征图经过上采样后与第二个解码卷积块得到的112维的128×128尺寸的特征图以及128×128尺寸的融合特征Fuse2拼接后得到384维的128×128尺寸的特征图输入到第五个解码卷积块,得到112维的128×128尺寸的特征图;第五个解码卷积块得到的112维的128×128尺寸的特征图经过上采样后与第四个解码卷积块得到64维的256×256尺寸的特征图以及第一个解码卷积块得到64维的256×256尺寸的特征图以及融合特征Fuse1拼接后得到304维的256×256尺寸的特征图输入到第六个解码卷积块,得到64维的256×256尺寸的特征图;将上述步骤得到的64维的256×256尺寸的特征图经过通道变化卷积块得到尺寸为256×256的融合图像。
为了评估本发明的性能,选择了公开数据集进行实验,并将实验结果与其他11个图像融合算法进行了对比,如表1所示,表中CSMCA,LEGFF是传统算法,CNN,NSST-PAPCNN,EMFusion,U2Fusion,RFN-Nest,DSAGAN,CDRNet是基于卷积神经网络的算法,MATR,SwinFusion是基于Transformer的方法。SD、MI、VIF、QAB/F的值越大,则融合的图像质量越好。从表1可以看出,本方法在四个指标上都达到了最优值。
表1
以上,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.基于残差Transformer的医学图像融合方法,其特征在于,包括:
获取待融合的源图像对,所述待融合的源图像对包括相互配准的第一解剖型医学图像和第二功能型医学图像;
将所述第一解剖型医学图像和所述第二功能型医学图像分别输入至上下文动态提取模块中进行多尺度分解,获得多尺度的特征图集,并基于所述特征图集提取浅层特征,其中,所述特征图集的尺度与所述浅层特征的尺度相同;
将所述浅层特征输入至残差转换融合模块中进行深度融合,获得若干不同尺度的特征图,其中,所述特征图的尺度与所述浅层特征的尺度相同;
将若干所述不同尺度的特征图输入到卷积上采样重构模块中,获得融合结果。
2.根据权利要求1所述的基于残差Transformer的医学图像融合方法,其特征在于,将所述第一解剖型医学图像和所述第二功能型医学图像分别输入至上下文动态提取模块中进行多尺度分解,包括:
将所述第一解剖型医学图像和所述第二功能型医学图像分别经过卷积核大小为3的标准卷积进行增维,获得16维的原始特征图,然后将所述16维的原始特征图输入到卷积核大小为3的标准卷积中进行维度和尺寸变换,得到所述特征图集。
3.根据权利要求1所述的基于残差Transformer的医学图像融合方法,其特征在于,提取特征图集中的所述浅层特征,包括:
基于所述上下文动态提取模块,将所述特征图集输入到卷积核大小为3的上下文门控卷积中,依据特征图中的上下文信息提取所述浅层特征。
4.根据权利要求3所述的基于残差Transformer的医学图像融合方法,其特征在于,所述浅层特征中的特征图的维度包括四个尺度,依次为以64的图片尺寸为基础,每个尺度增加58,即N×58+64,其中N=0、1、2、3,分别代表四个维度的尺寸和维度。
5.根据权利要求1所述的基于残差Transformer的医学图像融合方法,其特征在于,所述残差转换融合模块包括四个Focal Transformer单元,其中,第一Focal Transformer单元用于对所述浅层特征进行初步提取融合,第二Focal Transformer单元、第三FocalTransformer单元和第四Focal Transformer单元用于对初步融合后的特征图进行深度融合。
6.根据权利要求5所述的基于残差Transformer的医学图像融合方法,其特征在于,将所述浅层特征输入至残差转换融合模块中进行深度融合前包括:对所述浅层特征中的特征图按尺度进行拼接,获得尺寸为25+N×25+N的特征图,其中N=0、1、2、3,各层的维度为(N×58+64)×2,N的取值与各维度取值相同。
7.根据权利要求6所述的基于残差Transformer的医学图像融合方法,其特征在于,所述残差转换融合模块中的残差机制包括:
在尺寸为256×256的特征图的融合过程中,在第一、二、三个Focal Transformer单元后得到的特征图与最终融合的特征图之间加入残差跳越连接;
在尺寸为128×128的特征图的融合过程中,在第二个Focal Transformer单元后得到的特征图与最终融合的特征图之间加入残差跳越连接。
8.根据权利要求1所述的基于残差Transformer的医学图像融合方法,其特征在于,所述卷积上采样重构模块包括若干解码卷积块和一个通道变化卷积块,其中,所述解码卷积块用于处理不同尺度的多尺度特征图像并对尺寸进行统一,所述通道变化卷积块用于将统一后的特征图像变化为融合图像。
CN202410228939.7A 2024-02-29 2024-02-29 基于残差Transformer的医学图像融合方法 Pending CN117876835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410228939.7A CN117876835A (zh) 2024-02-29 2024-02-29 基于残差Transformer的医学图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410228939.7A CN117876835A (zh) 2024-02-29 2024-02-29 基于残差Transformer的医学图像融合方法

Publications (1)

Publication Number Publication Date
CN117876835A true CN117876835A (zh) 2024-04-12

Family

ID=90590305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410228939.7A Pending CN117876835A (zh) 2024-02-29 2024-02-29 基于残差Transformer的医学图像融合方法

Country Status (1)

Country Link
CN (1) CN117876835A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128583A (zh) * 2021-04-15 2021-07-16 重庆邮电大学 基于多尺度机制和残差注意力的医学图像融合方法及介质
CN114708511A (zh) * 2022-06-01 2022-07-05 成都信息工程大学 基于多尺度特征融合和特征增强的遥感图像目标检测方法
CN117408916A (zh) * 2023-10-17 2024-01-16 深圳锐视智芯科技有限公司 基于多尺度残差Swin Transformer的图像去模糊方法及相关产品

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128583A (zh) * 2021-04-15 2021-07-16 重庆邮电大学 基于多尺度机制和残差注意力的医学图像融合方法及介质
CN114708511A (zh) * 2022-06-01 2022-07-05 成都信息工程大学 基于多尺度特征融合和特征增强的遥感图像目标检测方法
CN117408916A (zh) * 2023-10-17 2024-01-16 深圳锐视智芯科技有限公司 基于多尺度残差Swin Transformer的图像去模糊方法及相关产品

Similar Documents

Publication Publication Date Title
Guo et al. Dual attention enhancement feature fusion network for segmentation and quantitative analysis of paediatric echocardiography
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
CN112862805B (zh) 听神经瘤图像自动化分割方法及系统
Wang et al. Multiscale transunet++: dense hybrid u-net with transformer for medical image segmentation
CN114841320A (zh) 一种基于喉镜医学影像的器官自动分割方法
CN112488976A (zh) 一种基于darts网络的多模态医学图像融合方法
WO2023207743A1 (zh) 图像检测方法、装置、计算机设备、存储介质及程序产品
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
CN112150564A (zh) 基于深度卷积神经网络医学图像融合算法
CN115908800A (zh) 医学图像分割方法
CN115018728A (zh) 基于多尺度变换和卷积稀疏表示的图像融合方法及系统
Wang et al. MHAN: Multi-Stage Hybrid Attention Network for MRI reconstruction and super-resolution
CN114331849A (zh) 一种跨模态核磁共振超分网络及图像超分辨率方法
CN117333750A (zh) 空间配准与局部全局多尺度的多模态医学图像融合方法
Tran et al. Deep learning-based inpainting for chest X-ray image
CN117115184A (zh) 一种医疗图像分割模型的训练方法、分割方法及相关产品
CN116757982A (zh) 一种基于多尺度编解码器的多模态医学图像融合方法
Yuan et al. FM-Unet: Biomedical image segmentation based on feedback mechanism Unet
CN117876835A (zh) 基于残差Transformer的医学图像融合方法
CN115984257A (zh) 一种基于多尺度transformer的多模态医学图像融合方法
CN116258685A (zh) 全局和局部特征同时提取与融合的多器官分割方法及装置
Zhang et al. Multi-scale network with the deeper and wider residual block for MRI motion artifact correction
CN112967295B (zh) 一种基于残差网络和注意力机制的图像处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination