CN112488971A - 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 - Google Patents
基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 Download PDFInfo
- Publication number
- CN112488971A CN112488971A CN202011325256.1A CN202011325256A CN112488971A CN 112488971 A CN112488971 A CN 112488971A CN 202011325256 A CN202011325256 A CN 202011325256A CN 112488971 A CN112488971 A CN 112488971A
- Authority
- CN
- China
- Prior art keywords
- image
- medical image
- fusion
- input
- spatial attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 25
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 15
- 230000004927 fusion Effects 0.000 claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims abstract description 6
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 14
- 238000002600 positron emission tomography Methods 0.000 description 12
- 238000002595 magnetic resonance imaging Methods 0.000 description 11
- 238000007499 fusion processing Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明涉及一种基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法，其包括如下步骤：（1）将反映结构或者纹理细节信息的灰度医学图像和反映功能信息的彩色医学图像的Y通道图像输入到生成器中，对输入图像的特征进行提取；（2）选取融合规则；（3）特征融合；（4）重构融合图像；（5）通过在生成器和判别器之间建立一种对抗机制，来生成融合图像；（6）将融合图像再进一步与反映功能信息的彩色医学图像的U和V通道进行YUV到RGB的转换，在RGB通道中获得最终的彩色融合图像。本发明的算法简便，可以得到更真实、包含更丰富细节信息的融合医学图像。
Description
技术领域
本发明涉及一种基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法。
背景技术
图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，可克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性和差异性，提高图像清晰度和信息包含量，有利于更为准确、可靠、全面地获取目标或场景的信息，以获得更符合人类视觉感知的融合结果。
随着计算机视觉和传感器设备的不断进步，医学成像在临床应用中发挥着非常重要的作用，是医生诊断疾病的重要来源。为了给医疗从业者提供足够的临床信息，通常需要用多种方式获得医学图像，如计算机断层扫描(CT)、磁共振(MRI)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)等。由于成像机制的不同，不同模态的医学图像聚焦于不同类别的器官或组织信息。CT图像通常为密集结构提供精确的位置如骨骼，磁共振成像(MRI)可以提供高分辨率的软组织细节信息。正电子发射断层扫描和单光子发射计算机断层扫描图像提供一些功能信息，然而单一的医学成像模式，不能为其预期目的提供足够的信息。因此，通过医学图像的融合操作，可以生成包含不同模态特征的更丰富、更直观、更全面的融合图像，有助于医生准确识别疾病的空间位置、大小和几何形状，提高疾病诊断的准确性。
为此，已经提出了许多多模态图像融合方法，包括基于小波变换的方法，金字塔方法，显著特征方法，稀疏表示方法，基于神经网络的方法等。通常，在这些方法中，在融合过程中对不同的源医学图像使用相同的变换或表示。然而，结构信息和功能信息是两种不同现象的表现，因此它可能不适用于多模态医学图像的融合。此外，活动水平测量和融合规则的手工设计增加了算法的复杂性，降低了其实际应用价值。
发明内容
鉴于单一模态的医学图像不能为其预期的目的提供足够的信息，不利于医生对疾病的诊断，本发明针对含有结构信息或纹理细节信息的灰度医学图像以及可以提供功能信息的彩色医学图像提出了一种基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法。
本发明采用如下技术方案：
一种基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法，其包括如下步骤：
(1)将反映结构或者纹理细节信息的灰度医学图像和反映功能信息的彩色医学图像的Y通道图像输入到生成器中，对输入图像的特征进行提取；
(2)选取融合规则；
(3)特征融合：利用选取的融合规则对所提取的特征进行融合；
(4)重构融合图像：将融合的结果作为解码器的输入，得到重构融合图像；
(5)通过在生成器和判别器之间建立一种对抗机制，来生成相对更真实、包含更丰富细节信息的融合图像；
(6)将步骤(5)获得的质量更好、含有更丰富纹理细节信息的融合图像再进一步与反映功能信息的彩色医学图像的U和V通道进行YUV到RGB的转换，在RGB通道中获得最终的彩色融合图像。
步骤(1)中，所述反映结构或者纹理细节信息的灰度医学图像包括CT图像或MRI图像；所述反映功能信息的彩色医学图像包括SPECT图像或PET图像。
所述步骤(1)具体为，将反映功能信息的彩色医学图像进行RGB到YUV的转换，将得到的Y通道图像与反映结构或者纹理细节信息的灰度医学图像作为两个源输入图像输入到生成器网络中，采用包含两个分支的编码器来提取不同图像对应的特征；将图像输入网络后先进行卷积操作以提取图像的初始特征，并输入到后续的密集块dense block中，进行特征提取；把经过dense block提取的特征作为空间注意力模块的输入。
步骤(2)中，采用基于Lmax范数的融合规则。
所述步骤(3)具体为，用Lmax范数对提取的特征进行处理，并降维为2，然后对生成的显著特征进行归一化，生成不同图像对应的初始权重矩阵，并用高斯滤波对初始权重图进行平滑处理，然后再通过输入图像和权重映射的加权和得到融合图像。
所述步骤(4)具体为，将步骤(3)得到的融合图像作为解码器的输入，进行图像的重建，其中解码器包括四层卷积算子，从而使重建图像与原始图像具有相同的大小，得到重构融合图像。
所述步骤(5)具体为，将经解码器得到的重构融合图像和源反映结构或者纹理细节信息的灰度医学图像作为判别器的输入，在生成器和判别器之间建立一种对抗机制，并用判别器来区分这两个输入图像，直到产生的融合结果不能被判别器区分。
步骤(5)中，所述判别器中卷积算子的滤波器尺寸为3*3，步长为2，以取代CNN上的池化操作；卷积运算后使用批量归一化算子；对于激活函数，在其它层应用了Leaky ReLU，在最后一层使用线性分类器。
本发明的有益效果在于：
(a)使用深度卷积生成对抗网络，该网络包含两个模型，即生成器模型和判别器模型，利用生成器中的编码网络提取图像特征，解码网络重构图像，并通过在生成器和判别器之间建立一种对抗机制，来获取更高质量的融合结果。
(b)注意力机制可以帮助模型对输入的每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断，同时不会对模型的计算和存储带来更大的开销。本发明使用空间注意力机制对图像的特征进一步提取，以提取出用于融合的更加重要的特征。
(c)为了避免特征提取过程中中间层信息的丢失，本发明使用dense block来对源输入图像的特征进行提取，使得每一层提取的信息都能融合到显著特征中去。
(d)在进行灰度图像与彩色图像进行融合时。需要进行颜色的转换，颜色模型的选择对融合结果也有很大的影响。例如MRI和PET图像的融合，将PET图像从RGB空间转换到IHS空间，进行MRI图像与PET图像的I通道的融合处理，颜色信息严重失真。YUV模型可以有效解决上述问题，在本发明中予以采用。Y是亮度，可以表示结构细节和亮度变化。本发明只是致力于融合Y通道价值。U和V是反映颜色和饱和度的色度或彩度，不应该改变。
附图说明
图1为本发明医学图像融合过程示意图。
图2为本发明的技术路线示意图。
图3为空间注意力机制示意图。
具体实施方式
本发明针对反映结构或者纹理细节信息的医学图像和反映功能信息的医学图像的融合，适用于CT-SPECT、MRI-SPECT、MRI-PET几种类型的融合。下面，以MRI-PET为例，选用MRI和PET作为两个源输入图像，结合图1和图2，对本发明进行详细的说明。
步骤一
准备两幅用于医学图像融合的源图像，选用MRI和PET作为两个源输入图像，由于PET图像为彩色图像，需要对其进行颜色转换，将其从RGB转换为YUV类型。并选取其中的Y分量作为源输入之一。然后将获得的两个源输入图像输入到生成器网络中。由于图像融合算法是针对多对一的图像处理任务，因此采用包含两个分支的编码器来提取不同图像对应的特征。将图像输入生成器网络后先进行卷积操作，该操作用于提取图像的初始特征，并把初始特征输入到后续的密集块dense block中，进行特征提取，使得每一层的特征信息都能用于最终的特征融合过程。把经过dense block提取的特征作为空间注意力模块的输入(注意力机制示意图如图3所示)，对输入的每个部分赋予不同的权重，抽取出更加关键及重要的特征，并应用于最终的特征融合过程中。
步骤二
选取融合规则对提取的MRI和PET的Y通道的特征进行融合。传统的方法对提取的两个输入图像的特征进行直接连接，这可能会导致重建过程中特征信息的丢失，因此采用基于Lmax范数的融合规则，以满足显著特征的加权处理。
步骤三
特征融合。利用选取的基于Lmax范数的融合规则对所提取的特征进行融合。为了避免信息的冗余，用Lmax范数对提取的特征进行处理，并降维为2，然后对生成的显著特征进行归一化，生成不同图像对应的初始权重矩阵，并用高斯滤波对初始权重图进行平滑处理，然后再通过输入图像和权重映射的加权和得到融合图像。
具体融合过程为：
第一步：通过编码网络生成两个独立的具有64通道显著特征的分支。此外，为了避免信息冗余，使用Lmax范数对提取的显著特征进行处理，并将其降维为2，满足一对一的要求。
初始活动层表示如下：
其中，j∈{1,2}表示两个初始输入图像，i∈{1,...,M}表示特征通道数，M＝64，
表示图像j对应的不同通道特征。
第二步：对生成的显著特征进行归一化，生成不同图像对应的初始权重矩阵：
第三步：采用二值化方法构造的初始权重不能充分考虑空间一致性，可能会在融合图像中造成噪声或人为影响。为了避免这个问题，我们使用高斯滤波来平滑初始权重信息，这样可以使亮度相似的像素具有相似的权重：
fj(x,y)＝Gauss(Wj(x,y),σs)
其中，σs为图像的标准差。Gauss()代表高斯滤波操作。
第四步：通过输入图像和权重映射的加权和得到融合图像。
其中，If(x,y)为融合图像，IYPET(x,y)和IMRI(x,y)分别表示PET图像转换为YUV类型的Y分量和MRI图像。
步骤四
重构图像。将步骤三的融合结果作为解码器的输入，进行图像的重建，其中解码器包括四层卷积算子，从而使重建图像与原始图像具有相同的大小，此时两幅输入图像的融合图像产生。
步骤五
将经解码器得到的融合图像和源图像MRI作为判别器的输入，在生成器和判别器之间建立一种对抗机制，并用判别器来区分这两个输入图像，直到产生的融合结果不能被判别器区分。随后，生成器可以产生相对更真实、包含更丰富细节信息的融合图像。其中将判别器中卷积算子的滤波器尺寸设计为3*3并将步长设置为2，以取代CNN上的池化操作。卷积运算后使用批量归一化算子，避免了梯度离散的发生，有效提高了网络训练速度。另外，对于激活函数，我们在其它层应用了Leaky ReLU，在最后一层使用线性分类器来完成分类任务，以确定输入图像是生成图像还是真实图像。
步骤六
将步骤五获得的质量更好、含有更丰富纹理细节信息的融合图像，再进一步与PET图像的U和V通道进行YUV到RGB的逆变换，在RGB通道中获得最终的彩色融合图像。
以上实施方式仅为本发明的优选实施例，而并非本发明可行实施的穷举。对于本领域一般技术人员而言，在不背离本发明原理和精神的前提下对其所做出的任何显而易见的改动，都应当被认为包含在本发明的权利要求保护范围之内。
Claims (8)
1.一种基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法，其特征在于，其包括如下步骤：
（1）将反映结构或者纹理细节信息的灰度医学图像和反映功能信息的彩色医学图像的Y通道图像输入到生成器中，对输入图像的特征进行提取；
（2）选取融合规则；
（3）特征融合：利用选取的融合规则对所提取的特征进行融合；
（4）重构融合图像：将融合的结果作为解码器的输入，得到重构融合图像；
（5）通过在生成器和判别器之间建立一种对抗机制，来生成相对更真实、包含更丰富细节信息的融合图像；
（6）将步骤（5）获得的质量更好、含有更丰富纹理细节信息的融合图像再进一步与反映功能信息的彩色医学图像的U和V通道进行YUV到RGB的转换，在RGB通道中获得最终的彩色融合图像。
2.根据权利要求1所述的基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法，其特征在于，步骤（1）中，所述反映结构或者纹理细节信息的灰度医学图像包括CT图像或MRI图像；所述反映功能信息的彩色医学图像包括SPECT图像或PET图像。
3.根据权利要求2所述的基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法，其特征在于，所述步骤（1）为，将反映功能信息的彩色医学图像进行RGB到YUV的转换，将得到的Y通道图像与反映结构或者纹理细节信息的灰度医学图像作为两个源输入图像输入到生成器网络中，采用包含两个分支的编码器来提取不同图像对应的特征；将图像输入网络后先进行卷积操作以提取图像的初始特征，并输入到后续的密集块dense block中，进行特征提取；把经过dense block提取的特征作为空间注意力模块的输入。
4.根据权利要求3所述的基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法，其特征在于，所述步骤（2）中采用基于Lmax范数的融合规则。
5.根据权利要求4所述的基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法，其特征在于，所述步骤（3）为，用Lmax范数对提取的特征进行处理，并降维为2，然后对生成的显著特征进行归一化，生成不同图像对应的初始权重矩阵，并用高斯滤波对初始权重图进行平滑处理，然后再通过输入图像和权重映射的加权和得到融合图像。
6.根据权利要求5所述的基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法，其特征在于，所述步骤（4）为，将步骤（3）得到的融合图像作为解码器的输入，进行图像的重建，其中解码器包括四层卷积算子，从而使重建图像与原始图像具有相同的大小，得到重构融合图像。
7.根据权利要求6所述的基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法，其特征在于，所述步骤（5）为，将经解码器得到的重构融合图像和源反映结构或者纹理细节信息的灰度医学图像作为判别器的输入，在生成器和判别器之间建立一种对抗机制，并用判别器来区分这两个输入图像，直到产生的融合结果不能被判别器区分。
8.根据权利要求7所述的基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法，其特征在于，所述判别器中卷积算子的滤波器尺寸为3*3，步长为2，以取代CNN上的池化操作；卷积运算后使用批量归一化算子；对于激活函数，在其它层应用了Leaky ReLU，在最后一层使用线性分类器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011325256.1A CN112488971A (zh) | 2020-11-23 | 2020-11-23 | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011325256.1A CN112488971A (zh) | 2020-11-23 | 2020-11-23 | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112488971A true CN112488971A (zh) | 2021-03-12 |
Family
ID=74933241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011325256.1A Pending CN112488971A (zh) | 2020-11-23 | 2020-11-23 | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112488971A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113240606A (zh) * | 2021-05-24 | 2021-08-10 | 博奥生物集团有限公司 | 中医望诊图像颜色校正方法及系统 |
| CN115841681A (zh) * | 2022-11-01 | 2023-03-24 | 南通大学 | 一种基于通道注意力的行人再识别对抗攻击方法 |
| CN117115061A (zh) * | 2023-09-11 | 2023-11-24 | 北京理工大学 | 一种多模态图像融合方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211080A (zh) * | 2019-05-24 | 2019-09-06 | 南昌航空大学 | 一种解剖与功能医学图像融合方法 |
| CN110555458A (zh) * | 2019-07-24 | 2019-12-10 | 中北大学 | 基于注意力机制生成对抗网络的多波段图像特征级融合方法 |
| CN111429433A (zh) * | 2020-03-25 | 2020-07-17 | 北京工业大学 | 一种基于注意力生成对抗网络的多曝光图像融合方法 |
-
2020
- 2020-11-23 CN CN202011325256.1A patent/CN112488971A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211080A (zh) * | 2019-05-24 | 2019-09-06 | 南昌航空大学 | 一种解剖与功能医学图像融合方法 |
| CN110555458A (zh) * | 2019-07-24 | 2019-12-10 | 中北大学 | 基于注意力机制生成对抗网络的多波段图像特征级融合方法 |
| CN111429433A (zh) * | 2020-03-25 | 2020-07-17 | 北京工业大学 | 一种基于注意力生成对抗网络的多曝光图像融合方法 |
Non-Patent Citations (5)
| Title |
|---|
| CHENG ZHAO，ET AL.: "Medical image fusion method based on dense block and deep convolutional generative adversarial network", 《NEURAL COMPUTING AND APPLICATIONS》 * |
| DI GAI，ET AL.: "Medical Image Fusion via PCNN Based on Edge Preservation and Improved Sparse Representation in NSST Domain", 《IEEE》 * |
| MING YIN，ET AL.: "Medical Image Fusion With Parameter-Adaptive Pulse Coupled Neural Network in Nonsubsampled Shearlet Transform Domain", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 * |
| XU SONG，ET AL.: "MSDNet for Medical Image Fusion", 《SPRINGER》 * |
| 王国芬等: "基于细节增强和平行特征刺激脉冲耦合神经网络的医学图像融合算法", 《中国科学:信息科学》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113240606A (zh) * | 2021-05-24 | 2021-08-10 | 博奥生物集团有限公司 | 中医望诊图像颜色校正方法及系统 |
| CN115841681A (zh) * | 2022-11-01 | 2023-03-24 | 南通大学 | 一种基于通道注意力的行人再识别对抗攻击方法 |
| CN117115061A (zh) * | 2023-09-11 | 2023-11-24 | 北京理工大学 | 一种多模态图像融合方法、装置、设备及存储介质 |
| CN117115061B (zh) * | 2023-09-11 | 2024-04-09 | 北京理工大学 | 一种多模态图像融合方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liang et al. | MCFNet: Multi-layer concatenation fusion network for medical images fusion | |
| Alseelawi et al. | A Novel Method of Multimodal Medical Image Fusion Based on Hybrid Approach of NSCT and DTCWT. | |
| Zhou et al. | Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method | |
| CN113099208B (zh) | 基于神经辐射场的动态人体自由视点视频生成方法和装置 | |
| CN112488971A (zh) | 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法 | |
| CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| CN112598649B (zh) | 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法 | |
| CN115511767B (zh) | 一种自监督学习的多模态图像融合方法及其应用 | |
| CN114219719A (zh) | 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法 | |
| CN113112559A (zh) | 一种超声图像的分割方法、装置、终端设备和存储介质 | |
| Xu et al. | Infrared and visible image fusion using a deep unsupervised framework with perceptual loss | |
| CN112150564A (zh) | 基于深度卷积神经网络医学图像融合算法 | |
| CN114821259A (zh) | 一种基于孪生卷积神经网络的零学习医学图像融合方法 | |
| CN117422788B (zh) | 一种基于ct脑梗图像生成dwi图像的方法 | |
| Wen et al. | Short‐term and long‐term memory self‐attention network for segmentation of tumours in 3D medical images | |
| Chauhan et al. | Medical image fusion methods: Review and application in cardiac diagnosis | |
| Xie et al. | MRSCFusion: Joint Residual Swin Transformer and Multiscale CNN for Unsupervised Multimodal Medical Image Fusion | |
| CN114565624A (zh) | 基于多期立体图元生成器的肝脏病灶分割的图像处理方法 | |
| Fajar et al. | Color Mapping for Volume Rendering Using Digital Imaging and Communications in Medicine Images | |
| Gaasedelen et al. | Automated multiclass cardiac volume segmentation and model generation | |
| Jie et al. | Tri-Modal Medical Image Fusion and Denoising Based on BitonicX Filtering | |
| Liu et al. | Using CNN With Handcrafted Features for Prostate Cancer Classification | |
| CN112967295B (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
| CN114638745B (zh) | 一种基于多借鉴信息的医学影像智能转换方法 | |
| CN114155195B (zh) | 基于深度学习的脑肿瘤分割质量评估方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210312 |