CN116757982A - 一种基于多尺度编解码器的多模态医学图像融合方法 - Google Patents
一种基于多尺度编解码器的多模态医学图像融合方法 Download PDFInfo
- Publication number
- CN116757982A CN116757982A CN202310742652.1A CN202310742652A CN116757982A CN 116757982 A CN116757982 A CN 116757982A CN 202310742652 A CN202310742652 A CN 202310742652A CN 116757982 A CN116757982 A CN 116757982A
- Authority
- CN
- China
- Prior art keywords
- scale
- fusion
- formula
- image
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 51
- 238000005070 sampling Methods 0.000 claims abstract description 33
- 230000003993 interaction Effects 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 238000010586 diagram Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000003759 clinical diagnosis Methods 0.000 abstract 1
- 230000002349 favourable effect Effects 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 abstract 1
- 230000001737 promoting effect Effects 0.000 abstract 1
- 108091006146 Channels Proteins 0.000 description 11
- 210000000056 organ Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002503 metabolic effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度编解码器的多模态医学图像融合方法，包括：1数据预处理；2构建多尺度编解码器网络，包括：多尺度编码器和解码器，其中，编码器结合卷积和视觉转换器，主要做多尺度特征提取；解码器为跨模态融合模块、多尺度特征融合模块以及上采样模块，主要对编码器提取的多尺度特征进行跨模态融合以及多尺度交互，最后上采样得到融合结果；3对多尺度编解码器网络进行训练，得到训练好的多尺度编解码器网络用于进行图像融合。本发明能充分利用不同模态医学图像中的互补信息和多尺度特征来融合出质量更好的医学图像，为人眼观察提供质量较好的图像，从而能促进后续计算机视觉任务的执行，为临床诊断和手术导航提供有利支持。
Description
技术领域
本发明涉及多模态医学图像融合技术领域，具体涉及一种基于多尺度的多模态医学图像融合方法。
背景技术
由于成像技术的物理限制，一个单独的成像模式只能在某些方面反映组织或器官的特征。不同的医学成像模式可以传达对身体结构和组织的独特和互补的对身体结构和组织的理解。例如解剖图像具有较高的空间分辨率，可以清晰地描绘出器官的解剖结构，但不能反映人体的代谢情况。磁共振成像(MRI)是典型的解剖学模式。它提供了丰富的软组织信息和高分辨率。相反，功能图像可以反映功能和代谢信息，但由于其分辨率低，无法描述器官的解剖细节。诸如正电子发射断层扫描(PET)和单光子发射断层扫描(Singlephotonemission tomography)等低分辨率图像。
考虑到单模态图像的局限性，多模态医学图像的融合的目的是将典型和互补的信息融合在一起，以得到高质量的医学图像。现有的方法存在的问题，一是以卷积为主的方法由于卷积提取特征的局部性，对于图像融合来说重要的全局信息没有得到有效的提取，对最后的融合结果造成影响；二是基于视觉变换器的模型虽然可以有效提取图像的全局信息，但是对局部特征的提取能力不足，此外由于其计算了和图像的尺寸成平方关系，存在计算量过大的问题；三是目前的多模态医学图像融合网络，缺少针对多尺度特征的有效融合和交互；另外，目前常用的损失函数大多基于结构相似度以及像素强度，这些都是从空域对模型进行约束，没有考虑到频域的约束，从而导致最后的融合效果不佳。
发明内容
本发明为克服现有图像融合在多模态医学图像融合存在的问题，提供一种基于多尺度编解码器的多模态医学图像融合方法，以期能充分利用不同模态的医学图像的互补与冗余信息提供更好的图像特征表达，并重建出质量更高的图像，从而为人眼观察提供质量较好的图像，同时给图像的分割、分类等计算机视觉任务提供支持。
本发明为解决上述问题采用如下技术方案：
本发明一种基于多尺度编解码器的多模态医学图像融合方法的特点在于，包括如下步骤：
步骤1：获取同一部位的两种不同模态的医学图像对进行灰度化处理，得到两种不同模态下的灰度图像；并将两种不同模态下的灰度图像分别划分T个图像块，得到两种不同模态下的图像块集合其中，/>表示结构成像模态下和功能成像模态下的第t对图像块；
步骤2、构建多尺度编解码器网络，包括：多尺度编码器和解码器；
步骤2.1：所述多尺度编码器包括：卷积块A和K个编码模块；每个编码模块包括卷积层、梯度层和视觉转换器层；
所述第t对灰度图像输入所述多尺度编码器中，并依次经过卷积块A和K个编码模块的处理后，得到多尺度特征图/>其中，表示两种不同模态下的第k个编码模块输出的一对特征图；
步骤2.2：所述解码器网络依次包括：K个跨模态融合模块、K-2个多尺度特征交互模块、K-3个上采样模块和一个卷积上采样模块，并对处理后，得到第t个融合结果It f；
步骤3：利用式(1)构建多尺度编解码器网络的总损失函数Ltotal：
Ltotal＝Lspa+λ·Lfre (1)
式(1)中，λ表频域损失的权重系数，Lspa表示空间的损失函数，并由式(2)得到，Lfre表示频域损失函数，并由式(7)得到；
Lspa＝Lssim+α·Lint (2)
式(2)得中，Lssim表示结构相似度损失，并由式(3)得到，Lint为损失像素强度损失，并由式(4)得到，α是损失对应的权重系数；
式(3)中，SSIM表示结构相似性：和/>为两种不同模态下的权重系数，并由式(5)得到：
式(5)中，和/>表示两种不同模态下的显著性测量值，并由式(6)得到：
式(6)中，H和W表示图像块的长和宽，x和y表示像素在图像块中的横、纵坐标；表示结构成像模态下的第t个图像块/>中(x,y)处的像素值，/>表示功能成像模态下的第t个图像块/>中(x,y)处的像素值；
式(7)中，β表示权重系数，Lffl为引入的聚焦频域损失，并由式(8)得到：
式(8)中，是结构成像模态下的第t个图像块/>中(x,y)处像素的频域表示，/>是结构成像模态下的第t个图像块/>中(x,y)处像素的频域表示，/>是第t对输入图像块的融合结果/>中(x,y)处像素的频域表示；
步骤4：采用反向传播算法对所述多尺度编解码器网络进行训练，并计算所述总损失函数Ltotal以调整网络参数，直到达到设置的最大迭代次数为止，从而得到训练好的多尺度编解码器融合网络，用于对待处理的多模态医学图像对进行融合，得到的融合图像再进行色域转换，从而最终得到彩色融合图像结果。
本发明所述的一种基于多尺度编解码器的多模态医学图像融合方法的特点也在于，所述步骤2.2包括：
步骤2.2.1：将输入第k个跨模态融合中进行处理，得到第k个跨模态特征图/>从而由K个跨模态融合模块对/>进行处理，相应得到不通尺度的跨模态特征图/>
步骤2.2.2：当k＝1,2,…,K-2时，将输入第k个多尺度特征交互模块中进行有效交互，得到第k个多尺度交互特征图/>从而得到K-2个多尺度交互特征图
步骤2.2.3：将第K-2个多尺度交互特征图和第K-3个多尺度交互特征图/>通过第K-3个上采样模块的处理后，得到第K-3个上采样特征图/>第K-4个多尺度交互特征图/>和第K-3个上采样特征图/>通过第K-4个上采样模块的处理后，得到第K-4个上采样特征图/>从而由K-3个上采样模块对/>进行处理后，得到上采样特征图/>
步骤2.2.4：所述卷积上采样模块对第1个上采样特征图进行线性插值上采样和卷积操作后，得到卷积特征，再通过Sigmoid函数的处理后得到一个权重矩阵，对所述权重矩阵进行加权平均操作后，得到第t个融合结果/>
本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述多模态医学图像融合方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述多模态医学图像融合方法的步骤。
与已有技术相比，本发明的有益效果体现在：
1、本发明提出了多尺度编解码器网络同时实现了多模态医学图像融合任务，充分利用了不同模态图像之间的冗余和互补信息，融合出高质量的图像，和现有方法比，在视觉效果以及评价指标上都获得了有竞争力的结果。
2、本发明设计了一种自上而下、自下而上的编码器结合了CNN和transformer的多尺度特征，有效提取局部和全局特征；模型设计成多尺度结构，它能较好的让各个不同尺度的特征都具有较强的语义信息，综合了底层的细节和高层语义信息，从而对融合结果带来更好的表现。
3、本发明设计了基于多尺度特征交互的解码器，可以有效融合多尺度特征，充分利用了深度特征，并保留了来编解码器网络提取的不同尺度的更多信息防止了网络在提取更深层特征的同时丢失浅层特征，使得网络提取的特征信息更加全面，进而可以充分利用解码器得到的多尺度特征，加强了融合的图像质量，此外还设计了跨模态特征融合模块以及多尺度特征交互模态，处理不同模态之间的互补信息，从而获得更好的融合结果。
4、本发明设计了结合空间域和频域的损失函数，以提高网络训练的效果，加强了融合的图像质量。
附图说明
图1为本发明的基于多尺度编解码器的多模态医学图像融合方法流程图；
图2为本发明的网络结构示意图；
图3为本发明的编码器模块结构示意图；
图4为本发明的跨模态融合模块结构示意图；
图5为本发明的多尺度融合模块结构示意图；
图6为本发明的聚合上采样模块结构示意图。
具体实施方式
本实施例中，一种基于多尺度编解码器的多模态医学图像融合方法的流程如图1所示，包括以下步骤：
步骤1：获取同一部位的两种不同模态的医学图像对进行灰度化处理，得到两种不同模态下的灰度图像；并将两种不同模态下的灰度图像分别划分T个图像块，得到两种不同模态下的图像块集合其中/>结构成像模态下和功能成像模态下的第t对图像块；
步骤2：构建采用如图2所示的多尺度编解码器网络，包括多尺度编码器和解码器；
步骤2.1：多尺度编码器包括卷积块A和K个编码模块，每一个编码模块都是由若干个卷积层、梯度层以及视觉转换器层并联的组合模块，同时在视觉转换器层和卷积层分支之间添加空间和通道的双向交互层，将视觉转换层分支和卷积层得到的特征沿通道拼接后经过前馈神经网络模块，并和梯度层得到的特征进行相加后传递到下一层，具体结构如图3所示。通道交互层由全局池化层GAP、1×1卷积层、BN层、GELU层、1×1卷积层以及Sigmoid层组成，空间交互层由1×1卷积层、BN层、GELU层、1×1卷积层以及sigmoid层组成。具体实施中，框架整体的层数K＝5，每一层的组合模块数量分别是{2,2,4,8,8}，卷积块A的输出通道数是8，第一层编码模块的输出通道数为16，第二层编码模块的输出通道数为32，第三层编码模块的输出通道数为64，第四层编码模块的输出通道数为128，第五层编码模块的输出通道数为256，编码模块中的视觉转换器层的窗口尺寸为7×7，卷积层的卷积核尺寸为3×3。
第t对灰度图像对输入多尺度编码器中，经过卷积块A的处理后连续经过K个Encoder处理，得到K组对应的多尺度特征图/>其中，/>两种不同模态下的第k个编码模块输出的一对特征图；
步骤2.2：的解码器网络包括K个跨模态融合模块，K-2个多尺度特征交互模块以及K-3个上采样模块以及一个卷积上采样模块；
步骤2.2.1：将输入第k个跨模态融合模块中进行处理，得到第k个跨模态特征图/>从而由K个跨模态融合模块对/>进行处理，相应得到不通尺度的跨模态特征图/>其中跨模态融合模块的具体结构如图4所示。具体实施中，特征对/>以及两者相加的融合特征分别经过一个1×1卷积和3×3卷积后通过一个Sigmoid得到两个单模态空间注意力矩阵以及一个跨模态空间注意力矩阵，之后将两个单一模态注意力矩阵分别和跨模态注意力矩阵以及对应的输入模态相乘，得到两个拥有互补信息的特征，和原始特征对分别进行相加，然后将特征对沿通道拼接，最后经过一个1×1卷积得到最后的跨模态特征/>本实例中的K取5。
步骤2.2.2：当k＝1,2,…,K-2时，将输入第k个多尺度特征交互模块中进行有效交互，得到第k个多尺度交互特征图/>从而得到K-2个多尺度交互特征图多尺度特征交互模块的结构如图5所示。具体实施中，先将第k+2层和第k+1层进行上采样和下采样使得空间尺寸和第k层保持一致，然后通过残卷积层进一步获取不同尺度的信息，后沿着通道拼接后使用一个1×1卷积得到最后的多尺度交互特征。
步骤2.2.3：将第K-2个多尺度交互特征图和第K-3个多尺度交互特征图/>通过第K-3个上采样模块的处理后，得到第K-3个上采样特征图/>第K-4个多尺度交互特征图/>和第K-3个上采样特征图/>通过第K-4个上采样模块的处理后，得到第K-4个上采样特征图/>从而由K-3个上采样模块对/>进行处理后，得到上采样特征图/>上采样模块的具体结构如图6所示。
步骤2.2.4：卷积上采样模块对第1个上采样特征图进行线性插值上采样和卷积操作后，得到卷积特征，再通过Sigmoid函数的处理后得到一个权重矩阵，对权重矩阵进行加权平均操作后，得到第t个融合结果/>
步骤3：多模态医学图像融合中缺乏基本事实，这对深度学习模型的训练提出了挑战。现有的方法通常在空间域中定义损失函数，而很少考虑频域中的优化，这可能导致融合图像和源图像在频域中存在很大差异。研究发现，缩小频域间隙可以有效提高图像重建和合成任务的质量。在本文中，我们将最近提出的一种称为聚焦频率损失(FFL)的频域损失引入图像融合的研究中为了保存更重要的信息，本发明设计了一个由空间域约束和频率域约束组成的损失函数。通过最小化以下损失函数来优化所提出的融合模型。式(1)为构建多尺度编解码器网络的总损失函数L：
Ltotal＝Lspa+λ·Lfre (1)
式(1)中，λ表频域损失的权重系数，本实例中λ取300，Lspa表示空间的损失函数，并由式(2)得到，Lfre表示频域损失函数，并由式(7)得到
Lspa＝Lssim+α·Lint (2)
式(2)得中，Lssim表示结构相似度损失，并由式(3)得到，Lint为损失像素强度损失，并由式(4)得到，α是损失对应的权重系数，本实例中设置为10；
式(3)中，SSIM表示结构相似性：和/>为两种不同模态下的权重系数，并由式(5)得到：
式(5)中，和/>表示两种不同模态下的显著性测量值，并由式(6)得到：
式(6)中，H和W表示图像块的长和宽，x和y表示像素在图像块中的横、纵坐标；表示结构成像模态下的第t个图像块/>中(x,y)处的像素值，/>表示功能成像模态下的第t个图像块/>中(x,y)处的像素值；
式(7)中，β表示权重系数，本实例中设置为0.1，Lffl为引入的聚焦频域损失，并由式(8)得到：
式(8)中，是结构成像模态下的第t个图像块/>中(x,y)处像素的频域表示，/>是结构成像模态下的第t个图像块/>中(x,y)处像素的频域表示，/>是第t对输入图像块的融合结果/>中(x,y)处像素的频域表示。
步骤4：采用反向传播算法对多尺度编解码器网络进行训练，并计算总损失函数Ltotal以调整网络参数，直到达到设置的最大迭代次数为止，从而得到训练好的多尺度编解码器融合网络，用于对待处理的多模态医学图像对进行融合，得到的融合图像再进行色域转换，从而最终得到彩色融合图像结果。
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
Claims (4)
1.一种基于多尺度编解码器的多模态医学图像融合方法，其特征在于，包括如下步骤：
步骤1：获取同一部位的两种不同模态的医学图像对进行灰度化处理，得到两种不同模态下的灰度图像；并将两种不同模态下的灰度图像分别划分T个图像块，得到两种不同模态下的图像块集合其中，/>表示结构成像模态下和功能成像模态下的第t对图像块；
步骤2、构建多尺度编解码器网络，包括：多尺度编码器和解码器；
步骤2.1：所述多尺度编码器包括：卷积块A和K个编码模块；每个编码模块包括卷积层、梯度层和视觉转换器层；
所述第t对灰度图像输入所述多尺度编码器中，并依次经过卷积块A和K个编码模块的处理后，得到多尺度特征图/>其中，表示两种不同模态下的第k个编码模块输出的一对特征图；
步骤2.2：所述解码器网络依次包括：K个跨模态融合模块、K-2个多尺度特征交互模块、K-3个上采样模块和一个卷积上采样模块，并对处理后，得到第t个融合结果/>
步骤3：利用式(1)构建多尺度编解码器网络的总损失函数Ltotal：
Ltotal＝Lspa+λ·Lfre (1)
式(1)中，λ表频域损失的权重系数，Lspa表示空间的损失函数，并由式(2)得到，Lfre表示频域损失函数，并由式(7)得到；
Lspa＝Lssim+α·Lint (2)
式(2)得中，Lssim表示结构相似度损失，并由式(3)得到，Lint为损失像素强度损失，并由式(4)得到，α是损失对应的权重系数；
式(3)中，SSIM表示结构相似性：和/>为两种不同模态下的权重系数，并由式(5)得到：
式(5)中，和/>表示两种不同模态下的显著性测量值，并由式(6)得到：
式(6)中，H和W表示图像块的长和宽，x和y表示像素在图像块中的横、纵坐标；表示结构成像模态下的第t个图像块/>中(x,y)处的像素值，/>表示功能成像模态下的第t个图像块/>中(x,y)处的像素值；
式(7)中，β表示权重系数，Lffl为引入的聚焦频域损失，并由式(8)得到：
式(8)中，是结构成像模态下的第t个图像块/>中(x,y)处像素的频域表示，是结构成像模态下的第t个图像块/>中(x,y)处像素的频域表示，/>是第t对输入图像块的融合结果/>中(x,y)处像素的频域表示；
步骤4：采用反向传播算法对所述多尺度编解码器网络进行训练，并计算所述总损失函数Ltotal以调整网络参数，直到达到设置的最大迭代次数为止，从而得到训练好的多尺度编解码器融合网络，用于对待处理的多模态医学图像对进行融合，得到的融合图像再进行色域转换，从而最终得到彩色融合图像结果。
2.根据权利要求1所述的一种基于多尺度编解码器的多模态医学图像融合方法，其特征在于，所述步骤2.2包括：
步骤2.2.1：将输入第k个跨模态融合中进行处理，得到第k个跨模态特征图从而由K个跨模态融合模块对/>进行处理，相应得到不通尺度的跨模态特征图/>
步骤2.2.2：当k＝1,2,…,K-2时，将输入第k个多尺度特征交互模块中进行有效交互，得到第k个多尺度交互特征图/>从而得到K-2个多尺度交互特征图
步骤2.2.3：将第K-2个多尺度交互特征图和第K-3个多尺度交互特征图/>通过第K-3个上采样模块的处理后，得到第K-3个上采样特征图/>第K-4个多尺度交互特征图和第K-3个上采样特征图/>通过第K-4个上采样模块的处理后，得到第K-4个上采样特征图/>从而由K-3个上采样模块对/>进行处理后，得到上采样特征图/>
步骤2.2.4：所述卷积上采样模块对第1个上采样特征图进行线性插值上采样和卷积操作后，得到卷积特征，再通过Sigmoid函数的处理后得到一个权重矩阵，对所述权重矩阵进行加权平均操作后，得到第t个融合结果/>
3.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1或2所述多模态医学图像融合方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
4.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1或2所述多模态医学图像融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310742652.1A CN116757982A (zh) | 2023-06-21 | 2023-06-21 | 一种基于多尺度编解码器的多模态医学图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310742652.1A CN116757982A (zh) | 2023-06-21 | 2023-06-21 | 一种基于多尺度编解码器的多模态医学图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116757982A true CN116757982A (zh) | 2023-09-15 |
Family
ID=87947528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310742652.1A Pending CN116757982A (zh) | 2023-06-21 | 2023-06-21 | 一种基于多尺度编解码器的多模态医学图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116757982A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710227A (zh) * | 2023-12-14 | 2024-03-15 | 北京长木谷医疗科技股份有限公司 | 一种基于多模态医学图像的模态融合方法及装置 |
-
2023
- 2023-06-21 CN CN202310742652.1A patent/CN116757982A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117710227A (zh) * | 2023-12-14 | 2024-03-15 | 北京长木谷医疗科技股份有限公司 | 一种基于多模态医学图像的模态融合方法及装置 |
| CN117710227B (zh) * | 2023-12-14 | 2024-06-11 | 北京长木谷医疗科技股份有限公司 | 一种基于多模态医学图像的模态融合方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111932550A (zh) | 一种基于深度学习的3d心室核磁共振视频分割系统 | |
| CN112488976B (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
| CN115511767B (zh) | 一种自监督学习的多模态图像融合方法及其应用 | |
| CN114565816B (zh) | 一种基于全局信息融合的多模态医学图像融合方法 | |
| CN116402865B (zh) | 一种利用扩散模型的多模态影像配准方法、装置和介质 | |
| CN116757982A (zh) | 一种基于多尺度编解码器的多模态医学图像融合方法 | |
| CN116823625B (zh) | 基于变分自编码器的跨对比度磁共振超分辨率方法和系统 | |
| CN114299185A (zh) | 磁共振图像生成方法、装置、计算机设备和存储介质 | |
| CN113744275A (zh) | 一种基于特征变换的三维cbct牙齿图像的分割方法 | |
| CN116258933A (zh) | 基于全局信息感知的医学图像分割装置 | |
| CN113269774B (zh) | 一种mri图像的帕金森病分类及标注病灶区域的方法 | |
| Zhao et al. | MPSHT: multiple progressive sampling hybrid model multi-organ segmentation | |
| CN112489048B (zh) | 一种基于深度网络的视神经自动分割方法 | |
| Tang et al. | MMMNA-net for overall survival time prediction of brain tumor patients | |
| CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
| CN112488971A (zh) | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 | |
| Yang et al. | Hierarchical progressive network for multimodal medical image fusion in healthcare systems | |
| CN116309754A (zh) | 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 | |
| CN114511602A (zh) | 基于图卷积Transformer的医学图像配准方法 | |
| CN110580728B (zh) | 基于结构特征自增强的ct-mr模态迁移方法 | |
| Chen et al. | Automatic segmentation of hippocampal subfields MRI based on FPN-DenseVoxNet | |
| CN113255794A (zh) | 一种基于GoogLeNet网络的医学图像分类方法 | |
| CN112837318A (zh) | 超声图像生成模型的生成方法、合成方法、介质及终端 | |
| CN113538238B (zh) | 一种高分辨率的光声图像成像方法、装置及电子设备 | |
| CN116012374A (zh) | 一种三维pet-ct头颈部肿瘤分割系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |