CN115456927A - 一种脑部医学图像合成方法、系统、电子设备及存储介质 - Google Patents
一种脑部医学图像合成方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115456927A CN115456927A CN202211279681.0A CN202211279681A CN115456927A CN 115456927 A CN115456927 A CN 115456927A CN 202211279681 A CN202211279681 A CN 202211279681A CN 115456927 A CN115456927 A CN 115456927A
- Authority
- CN
- China
- Prior art keywords
- image
- attention
- fusion
- network
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 71
- 238000001308 synthesis method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 114
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 48
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 47
- 230000007246 mechanism Effects 0.000 claims abstract description 33
- 230000008878 coupling Effects 0.000 claims abstract description 32
- 238000010168 coupling process Methods 0.000 claims abstract description 32
- 238000005859 coupling reaction Methods 0.000 claims abstract description 32
- 239000013598 vector Substances 0.000 claims abstract description 26
- 239000013604 expression vector Substances 0.000 claims abstract description 16
- 230000008447 perception Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 42
- 238000000605 extraction Methods 0.000 claims description 25
- 238000011176 pooling Methods 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000007476 Maximum Likelihood Methods 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 abstract description 9
- 239000010410 layer Substances 0.000 description 33
- 238000004422 calculation algorithm Methods 0.000 description 5
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000002902 bimodal effect Effects 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种脑部医学图像合成方法、系统、电子设备及存储介质，首先利用多模态融合网络将两个源图像的同层次特征进行融合后相加，学习多模态数据之间的公共潜在表示向量，同层次特征可以为高层语义信息或低级细粒度特征，解决了现有双模态医学图像合成方法无法有效地提取融合多层次特征的问题；然后使用残差瓶颈注意力机制将公共潜在表示向量与注意力感知特征进行耦合，可以更好地保留原始图像中丰富的图像信息；最后使用多模态合成网络融合了耦合特征图和每个源图像的多层次特征，输出目标模态的脑部医学合成图像，充分利用多模态医学图像之间的互补信息，能够生成语义信息更丰富、细粒度特征更强、纹理细节更细腻的目标模态图像。
Description
技术领域
本发明涉及数值图像处理领域，特别是涉及一种脑部医学图像合成方法、系统、电子设备及存储介质。
背景技术
医学图像融合是指将不同成像设备或同一成像设备不同时间获得的多幅图像综合成一幅图像的图像处理技术。医学图像合成技术通过互补成像模式来显示人体组织结构的结构信息和功能信息，在各种医疗诊断和治疗中发挥着越来越重要的作用，有助于准确地做出早期医疗诊断，节省了核磁共振成像成本，能够提供多种模态医学图像之间的互补信息。
现有图像合成方法主要分为两类：基于配准的方法和基于学习的方法，成功地推动了图像合成技术的发展。现有的基于配准的方法是基于预配准的图像计算得到图集，然后使用相同的转换方法将源图像映射到目标图像。现有文献公开了一种结合了多参数图集配准及基于图像块的合成方法，基于多通道可变形配准将多参数图集MR(MagneticResonance，磁共振)图像与目标MR图像进行配准，并且利用结构相似性度量(Structuralsimilarity index，SSIM)对图集CT图像进行局部平均加权变形和融合。合成CT图像过程中所使用的权重也可以用于MR图像的合成。为了确保合成图像的保真度，使用基于图像块的方法细化保真度较低的区域，以达到准确合成正常和异常组织的目的。虽然该方法可以同时准确地合成MR或CT图像中异常和正常区域，但是由于其主要是基于图集的方法，其性能对于配准精度的依赖性很高，且运行时间较长，不易得到保真度较高的目标图像。
因此，为了解决上述问题，学者们提出了一种基于学习的方法，其主要建立了在像素层级上源图像和目标图像之间的非线性映射。现有技术公开了一种有监督的随机森林图像合成方法，命名为REPLICA。针对于医学中无法合成T2模态图像以及Flair模态图像的问题，学习非线性回归来预测特定输入组织对比度的交替组织对比度的强度。REPLICA方法计算时间短，并且性能较好。但是其仍存在一些未解决的问题，由于随机森林的预测值是所有树木分支结果的平均值，因此合成图像通常有较低的噪声，并且会产生比真实图像较平滑的情况。噪声的降低是一种有利情况，但是由于取平均值而带来的固有分辨率的缺失总是不可避免，会导致图像质量的降低。
上述基于学习的方法中手工所提取的特征忽略了多种模态之间的共有潜在表示。现有技术公开了一种基于顺序生成对抗网络和半监督学习的双模态医学图像合成方法，此方法中首先合成复杂度较低的模态图像，然后生成复杂度较高的目标图像。提出的顺序生成对抗网络以半监督的方式进行端到端训练，在监督训练中，通过最小化真实图像和合成图像之间的重建损失以从两种模态的真实配对图像中学习双模态图像的联合分布。为了避免出现过拟合的情况，在无监督训练中，通过最小化真实图像和合成图像之间的wasserstein距离，学习未配对图像每种模态的分布。尽管上述方法可以形成源图像和目标图像的映射，但是神经网络中多层次特征往往被忽略，图像高层次语义信息以及低层次细粒度特征得不到利用，进而导致图像可能发生畸变和细节纹理结构的缺失。
随着科学技术的发展，深度学习在医学图像合成领域的应用得到了广泛的应用，生成对抗网络(Generative Adversarial Network)作为图像合成领域的常用方法，在图像处理领域受到了相当大的关注。然而，由于多模态医学图像的特点，不同模态的医学图像可以提供一定的互补信息，有利于生成更加完整的目标图像。然而现有方法忽略了不同模态之间的多层次特征，高层次语义信息以及低层次细粒度信息无法同时得到利用。
基于上述，亟需提出一种新的脑部医学图像合成方法，在保证生成图像完整性的前提下，使合成的图像可以充分利用相关模态之间的互补信息。
发明内容
本发明的目的是提供一种脑部医学图像合成方法、系统、电子设备及存储介质，以充分利用多模态医学图像之间的互补信息，生成语义信息更丰富、细粒度特征更强、纹理细节更细腻的目标模态图像。
为实现上述目的，本发明提供了如下方案：
一种脑部医学图像合成方法，包括：
获取待合成的脑部医学源图像对；所述待合成的脑部医学源图像对包括互相配准的两个不同模态的源图像；
采用特定于模态的特征提取网络对每个源图像进行特征提取，获得每个源图像的多层次特征；
利用多模态融合网络将两个源图像的同层次特征进行融合后相加，获得多模态数据之间的公共潜在表示向量；所述多模态融合网络包括多个依次连接的第一混合注意力融合模块，所述第一混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特征；
使用残差瓶颈注意力机制将所述公共潜在表示向量与注意力感知特征进行耦合，获得耦合特征图；
根据所述耦合特征图和每个源图像的多层次特征，利用多模态合成网络输出目标模态的脑部医学合成图像；所述多模态合成网络包括多个依次连接的第二混合注意力融合模块，多个所述第二混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特征后与耦合特征图相加。
可选的，所述第一混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特征，具体包括：
根据两个源图像的同层次特征，利用公式
和
通过多种融合策略确定融合权重；式中，
Max分别为元素间相加、元素间相乘、元素间最大化，
为两个源图像第n-1层特征，
为元素间相加权重，
为元素间相乘权重，Fmax为元素间最大化权重，
为通道数3C，高H，宽W的张量形状；
利用公式W＝σ(C3C4F)计算软注意力机制权重W；式中，C3、C4为第三、第四卷积层，σ为Sigmod函数；
根据软注意力机制权重和融合权重，利用公式
确定混合注意力融合模块的最终输出FMAF；式中，C5为第五卷积层。
可选的，所述使用残差瓶颈注意力机制将所述公共潜在表示向量与注意力感知特征进行耦合，获得耦合特征图，具体包括：
利用公式mc(f)＝σ(MLP(AVGPOOL(f)))+MLP(MAXPOOL(f))确定公共潜在表示向量的通道注意力分量；式中，mc(f)为公共潜在表示向量的通道注意力分量，MLP为多层感知器，AVGPOOL为平均池化操作，MAXPOOL为最大池化操作，f为公共潜在表示向量，σ为Sigmod函数；
利用公式ms(f)＝σ(f7×7([AVGPOOL(f)；MAXPOOL(f)]))确定公共潜在表示向量的空间注意力分量；式中，ms(f)为公共潜在表示向量的空间注意力分量，f7×7为卷积核大小为7×7的卷积运算；
根据空间注意力分量、通道注意力分量和公共潜在表示向量，利用公式
确定最终输出分量f”'，构成耦合特征图；
其中，f'为通道注意力输出，f”为空间注意力输出，
为元素间相乘，
为元素间相加。
可选的，所述多模态合成网络还包括卷积层；
多个依次连接的第二混合注意力融合模块中位于末端的第二混合注意力融合模块输出端与卷积层的输入端连接；所述卷积层用于根据所有第二混合注意力融合模块最终输出的特征，获得目标模态的脑部医学合成图像。
可选的，所述获取待合成的脑部医学源图像对，之前还包括：
使用样本数据集对特定于模态的特征提取网络、多模态融合网络、残差瓶颈注意力机制和多模态合成网络进行训练；所述样本数据集由脑部医学源图像对样本和对应的脑部医学合成图像标签组成。
可选的，所述特定于模态的特征提取网络的训练过程为：
构建重构网络；所述重构网络包括反卷积层；
利用所述重构网络将每个源图像的多层次特征重建为图像；
根据每个源图像和对应重建后的图像，使用重建损失函数
对特定于模态的特征提取网络进行训练；
式中，
为第i个源图像，
为
的重建图像，||*||1为L1范数，
为
的均值，
为
的均值，
为
的方差，
为
的方差，
为协方差，LRS为重建损失函数，LR为L1-范数损失函数，Lssim为结构相似性损失函数。
可选的，所述多模态合成网络的训练过程为：
建立鉴别器，对目标模态图像与真实标签进行鉴别；
确定所述鉴别器的损失函数为
式中，LD为鉴别器的损失函数，D(x，y)为鉴别器对源图像和目标图像标签进行鉴别所得布尔值，
为最大似然估计，D(x，G(x))为鉴别器对源图像和生成的目标图像进行鉴别所得布尔值；
确定所述鉴别器的损失函数为
式中，LD为鉴别器的损失函数，D(x，y)为鉴别器对源图像x和目标图像标签y进行鉴别所得布尔值，
为对数据集pdata中源图像x进行最大似然估计，
为对数据集pdata中源图像x和目标图像标签y进行最大似然估计，D(x，G(x))为鉴别器对源图像和生成的目标图像进行鉴别所得布尔值；
建立SSIM-L1联合损失函数为
式中，LSSIM-L1为SSIM-L1联合损失函数，λ1、λSSIM为第一、第二超参数，μx、μy为源图像x和目标图像标签y的均值，σx、σy为源图像x和目标图像标签y的方差，σxy为源图像x和目标图像标签y的协方差，G(x)为生成的目标图像，c1、c2为第一、第二正常数；
根据SSIM-L1联合损失函数，确定多模态合成网络中生成器的损失函数为
式中，LG为多模态合成网络中生成器的损失函数；
利用多模态合成网络中生成器的损失函数、鉴别器的损失函数对多模态合成网络进行训练。
一种脑部医学图像合成系统，包括：
脑部医学源图像对获取模块，用于获取待合成的脑部医学源图像对；所述待合成的脑部医学源图像对包括互相配准的两个不同模态的源图像；
特征提取模块，用于采用特定于模态的特征提取网络对每个源图像进行特征提取，获得每个源图像的多层次特征；
多模态融合模块，用于利用多模态融合网络将两个源图像的同层次特征进行融合后相加，获得多模态数据之间的公共潜在表示向量；所述多模态融合网络包括多个依次连接的第一混合注意力融合模块，所述第一混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特征；
耦合模块，用于使用残差瓶颈注意力机制将所述公共潜在表示向量与注意力感知特征进行耦合，获得耦合特征图；
图像合成模块，用于根据所述耦合特征图和每个源图像的多层次特征，利用多模态合成网络输出目标模态的脑部医学合成图像；所述多模态合成网络包括多个依次连接的第二混合注意力融合模块，多个所述第二混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特征后与耦合特征图相加。
一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述的脑部医学图像合成方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如前述的脑部医学图像合成方法。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开一种脑部医学图像合成方法、系统、电子设备及存储介质，在提取每个源图像的多层次特征后，首先利用多模态融合网络将两个源图像的同层次特征进行融合后相加，学习多模态数据之间的公共潜在表示向量，多模态融合网络包括多个依次连接的第一混合注意力融合模块，第一混合注意力融合模块通过多种融合策略融合两个源图像的同层次特征，同层次特征可以为高层语义信息，也可以为低级细粒度特征，解决了基于顺序生成对抗网络和半监督学习的双模态医学图像合成方法无法有效地提取融合多层次特征的问题；然后使用残差瓶颈注意力机制将公共潜在表示向量与注意力感知特征进行耦合，可以更好地保留原始图像中丰富的图像信息，降低合成图像退化程度；最后使用多模态合成网络输出目标模态的脑部医学合成图像，多模态合成网络包括多个依次连接的第二混合注意力融合模块，第二混合注意力融合模块融合了耦合特征图和每个源图像的多层次特征，充分利用多模态医学图像之间的互补信息，能够生成语义信息更丰富、细粒度特征更强、纹理细节更细腻的目标模态图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的脑部医学图像合成方法的流程示意图；
图2为本发明实施例提供的脑部医学图像合成方法的原理示意图；
图3为本发明实施例提供的一种混合注意力融合模块原理示意图；
图4为本发明实施例提供的其他的脑部医学图像在本发明算法下的合成结果示意图；
图5为本发明实施例提供的其他的脑部医学图像在本发明算法下的合成结果差值示意图；图5中的(a)为Pix2Pix(T1)的合成结果差值示意图；图5中的(b)为Pix2Pix(T2)的合成结果差值示意图；图5中的(c)为Hi-Net的合成结果差值示意图；图5中的(d)为本发明的合成结果差值示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种脑部医学图像合成方法、系统、电子设备及存储介质，以充分利用多模态医学图像之间的互补信息，生成语义信息更丰富、细粒度特征更强、纹理细节更细腻的目标模态图像。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例提供的一种脑部医学图像合成方法流程示意图，图2为本发明实施例提供的一种脑部医学图像合成方法原理示意图。如图1和图2所示，本发明实施例提供的一种脑部医学图像合成方法，具体包括以下步骤：
步骤S1，获取待合成的脑部医学源图像对。待合成的脑部医学源图像对包括互相配准的两个不同模态的源图像。
图2中最左侧的两个不同的源图像构成待合成的脑部医学源图像对。
步骤S2，采用特定于模态的特征提取网络对每个源图像进行特征提取，获得每个源图像的多层次特征。
多层次特征包括高层语义信息和低级细粒度特征。
以图2所示的特定于模态的特征提取网络为例，特定于模态的特征提取网络从左至右依次包括通道数为32和32的卷积块、池化层、通道数为64和64的卷积块、池化层、通道数为128和128的卷积块、池化层、通道数为128的卷积块、池化层和通道数为128和64的卷积块。三个池化层可得到不同层次的特征。
多层次特征提取过程为：将两个源图像分别进行下采样，同时提取两个源图像的分层特征，之后进行上采样，提取两个源图像的分层特征。
特定于模态的特征提取网络的训练过程为：构建重构网络；重构网络包括反卷积层；利用重构网络将每个源图像的多层次特征重建为图像；根据每个源图像和对应重建后的图像，使用重建损失函数
对特定于模态的特征提取网络进行训练；式中，
为第i个源图像，
为
的重建图像，||*||1为L1范数，
为
的均值，
为
的均值，
为
的方差，
为
的方差，
为协方差，LRS为重建损失函数，LR为L1-范数损失函数，Lssim为结构相似性损失函数。
步骤S3，利用多模态融合网络将两个源图像的同层次特征进行融合后相加，获得多模态数据之间的公共潜在表示向量。
多模态融合网络包括多个依次连接的第一混合注意力融合模块，第一混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特征。如图3所示，每一个混合注意力融合模块内部的融合过程为：根据两个源图像的同层次特征，利用公式
和
通过多种融合策略确定融合权重；利用公式W＝σ(C3C4F)计算软注意力机制权重W；根据软注意力机制权重和融合权重，利用公式
确定混合注意力融合模块的最终输出FMAF；式中，
Max分别为元素间相加、元素间相乘、元素间最大化，
为两个源图像第n-1层特征，
为元素间相加权重，
为元素间相乘权重，Fmax为元素间最大化权重，
为；C3、C4为第三、第四卷积层，σ为Sigmod函数；C5为第五卷积层。
图2示出多模态融合网络由3个混合注意力融合模块(简称MAF)组成。将图2中的两个源图像分别命名为源图像A和源图像B。图2所示的多模态融合网络的工作过程为：
最左侧MAF输入的同层次特征为：源图像A对应的通道数为32和32的卷积块与通道数为64和64的卷积块之间的池化层得到的分层特征，以及源图像B对应的通道数为32和32的卷积块与通道数为64和64的卷积块之间的池化层得到的分层特征。这两个分层特征为同层次特征，二者通过多种融合策略融合后输入至中间MAF。
中间MAF输入的同层次特征为：源图像A对应的通道数为64和64的卷积块与通道数为128和128的卷积块之间的池化层，以及源图像B对应的通道数为64和64的卷积块与通道数为128和128的卷积块之间的池化层。这两个分层特征为同层次特征，二者通过多种融合策略融合后与最左侧MAF输入的融合特征相加，相加后输入至最右侧MAF。
最右侧MAF输入的同层次特征为：源图像A对应的通道数为128和128的卷积块与通道数为128的卷积块之间的池化层，以及源图像B对应的通道数为128和128的卷积块与通道数为128的卷积块之间的池化层。这两个分层特征为同层次特征，二者通过多种融合策略融合后与中间MAF输入的特征相加，相加后即可得到多模态数据之间的公共潜在表示向量。
步骤S4，使用残差瓶颈注意力机制将所述公共潜在表示向量与注意力感知特征进行耦合，获得耦合特征图。
利用残差瓶颈注意力机制，经通道注意力机制以及空间注意力机制并行处理，最后使用残差连接的方式，与公共潜在表示向量进行拼接。
在一个示例中，使用残差瓶颈注意力机制将所述公共潜在表示向量与注意力感知特征进行耦合，获得耦合特征图，具体包括：
利用公式
确定公共潜在表示向量的通道注意力分量；式中，mc(f)为公共潜在表示向量的通道注意力分量，MLP为多层感知器，AVGPOOL为平均池化操作，MAXPOOL为最大池化操作，f为公共潜在表示向量，σ为Sigmod函数；
利用公式
确定公共潜在表示向量的空间注意力分量；式中，ms(f)为公共潜在表示向量的空间注意力分量，f7×7为卷积核大小为7×7的卷积运算；
根据空间注意力分量、通道注意力分量和公共潜在表示向量，利用公式
确定最终输出分量f”'，构成耦合特征图；
其中，f'为通道注意力输出，f”为空间注意力输出，
为元素间相乘，
为元素间相加。
残差瓶颈注意力机制为图2中的Res-BAM。
步骤S5，根据耦合特征图和每个源图像的多层次特征，利用多模态合成网络输出目标模态的脑部医学合成图像。
多模态合成网络包括多个依次连接的第二混合注意力融合模块，多个第二混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特征后与耦合特征图相加。每个第二混合注意力融合模块内部的融合过程与第一混合注意力融合模块内部的融合过程相同，可参照第一混合注意力融合模块内部的融合步骤。
多模态合成网络将公共潜在特征表示向量与分层特征同多个混合注意力融合模块进行密集连接，作为生成对抗网络中的生成器，用于生成目标模态图像。
图2示出的多模态合成网络也包括3个混合注意力融合模块，图2所示的多模态合成网络的工作过程为：
最左侧MAF输入的同层次特征为：源图像A对应的通道数为32和32的卷积块与通道数为64和64的卷积块之间的池化层得到的分层特征，以及源图像B对应的通道数为32和32的卷积块与通道数为64和64的卷积块之间的池化层得到的分层特征。这两个分层特征为同层次特征，二者通过多种融合策略融合后与残差瓶颈注意力机制输出的耦合特征图相加，相加后输入至中间MAF。
中间MAF输入的同层次特征为：源图像A对应的通道数为64和64的卷积块与通道数为128和128的卷积块之间的池化层，以及源图像B对应的通道数为64和64的卷积块与通道数为128和128的卷积块之间的池化层。这两个分层特征为同层次特征，二者通过多种融合策略融合后与最左侧MAF输入的特征相加，相加后输入至最右侧MAF。
最右侧MAF输入的同层次特征为：源图像A对应的通道数为128和128的卷积块与通道数为128的卷积块之间的池化层，以及源图像B对应的通道数为128和128的卷积块与通道数为128的卷积块之间的池化层。这两个分层特征为同层次特征，二者通过多种融合策略融合后与中间MAF输入的特征相加。
多模态合成网络还包括卷积层。多个依次连接的第二混合注意力融合模块中位于末端的第二混合注意力融合模块输出端与卷积层的输入端连接，卷积层用于根据所有第二混合注意力融合模块最终输出的特征，获得目标模态的脑部医学合成图像。以图2所示的多模态合成网络为例，卷积层包括通道数为32和32的卷积块和1通道的卷积层。
训练时，根据生成对抗网络中的生成器，设计SSIM-L1联合损失函数，通过鉴别器对目标模态图像与真实标签进行鉴别，以增强所述生成图像的结构相似性、对比度，减少噪声干扰。
利用公式:
形成生成器损失函数，生成目标模态图像：
其中，μx，μy为源图像x和目标图像标签y的均值，σx，σy为源图像x和目标图像标签y的方差，σxy为源图像x和目标图像标签y的协方差，||*||1为L1范数，λ1，λSSIM为超参数。LG为生成器损失函数，
为对数据集pdata中源图像x进行最大似然估计。
鉴别器损失函数：
其中，通过鉴别器对目标模态图像与真实标签进行鉴别，以增强所述生成图像的结构相似性、对比度，减少噪声干扰。
特定于模态的特征提取网络、多模态融合网络、残差瓶颈注意力机制和多模态合成网络同时进行训练。
本发明利用多个混合注意力融合模块的优点，对不同模态图像利用多种融合策略确定融合权重，之后计算注意力模块权重，确定最终输出特征向量；利用残差瓶颈注意力模块获取多种模态图像之间互补信息，通过通道注意力机制和空间注意力机制串行获取通道注意力分量及空间注意力分量，利用残差连接方式将空间注意力输出分量与原始特征图进行拼接，以保留原始特征图中重要结构信息。本发明设计并提出了基于SSIM-L1联合损失函数的方法，定义一个兼顾结构相似性SSIM和L1范数两者的损失函数，在训练过程中，使用超参数进行优化，提高了生成目标模态图像的结构相似性和对比度，特别是病灶区域，实现更清晰的纹理结构和高频细节。
本发明提供的一种脑部医学图像合成方法，提高合成图像的抗噪能力，提升合成图像相似性、对比度，充分的反映图像中的细节信息。
为了验证本发明基于混合注意力融合模块生成对抗网络的脑部医学图像合成方法的性能，选取了多种合成图像如图4所示，对多种方法合成图像与目标图像进行差值提取，得到如图5所示差值图，其中图4中Real、Pix2Pix(T1)、Pix2Pix(T2)、CycleGAN(T1)、CycleGAN(T2)和Hi-Net分别代表真实图像、T1模态作为输入的条件生成对抗网络(cGAN)、T2模态作为输入的条件生成对抗网络(cGAN)、T1模态作为输入的循环生成对抗网络(CycleGAN)、T2模态作为输入的循环生成对抗网络(CycleGAN)、混合融合网络(Hi-Net)和本发明算法合成的结果。为了更好的对合成结果进行分析和对比，采用了峰值信噪比(PSNR)、均方误差(NMSE)和结构相似度(SSIM)等客观评价标准进行了计算，得到的结果如表1所示。本发明方法的合成结果在各项客观评价指标上均增加了，这也从客观角度有效地说明了本发明方法的融合性能要优于其它各种方法。从表1可知，本发明提出的算法在结构相似度和均方误差方面都优于其他算法，合成图像更加接近真实图像，其中包含了更多有效信息。
表1合成结果比较
| Methods | PSNR | NMSE | SSIM |
| Pix2Pix(T<sub>1</sub>→Flair) | 23.4287±0.8203 | 0.0062±0.0014 | 0.8377±0.0334 |
| Pix2Pix(T<sub>2</sub>→Flair) | 22.5352±0.9580 | 0.0074±0.0018 | 0.8276±0.0346 |
| CycleGAN(T<sub>1</sub>→Flair) | 12.3739±0.8014 | 0.0986±0.0094 | 0.6377±0.0544 |
| CycleGAN(T<sub>2</sub>→Flair) | 12.3945±0.8203 | 0.0986±0.0095 | 0.6361±0.0551 |
| Hi-Net | 23.6031±0.8316 | 0.0059±0.0010 | 0.8541±0.0298 |
| 本发明 | 25.1025±0.6371 | 0.0040±0.0005 | 0.8843±0.0252 |
本发明使用多个混合注意力融合模块和残差瓶颈注意力机制的合成策略，混合注意力模块同时使用加、乘和最大化三种自适应加权策略，结合自注意力机制，能够从A和B两幅源图像中自适应地提取融合层间特征，即高层语义信息和低级细粒度特征。进而解决了基于顺序生成对抗网络和半监督学习的双模态医学图像合成方法无法有效地提取融合多层次特征的问题。
目前研究中，注意力机制得到应用广泛，无论是并行通道空间注意力机制或者串行通道空间注意力机制都取得了良好的合成效果。可是，原始图像中丰富的结构信息往往被忽略，本发明提出一种残差瓶颈注意力机制，在串行通道注意力机制和通道注意力机制的基础上，使用残差连接的方式将原始特征图与空间注意力机制输出相耦合，可以更好地保留原始图像中丰富的图像信息，降低合成图像退化程度。此外，提出一种SSIM-L1联合损失函数，在网络训练过程中使用超参数进行调优，根据原始图像和合成图像特征信息，自适应的调整超参数数值，提高合成图像的结构相似性和对比度，最终获得了更丰富的细节信息，更完整的基础信息的合成图像。
本发明实施例还提供了一种脑部医学图像合成系统，包括：
脑部医学源图像对获取模块，用于获取待合成的脑部医学源图像对；所述待合成的脑部医学源图像对包括互相配准的两个不同模态的源图像；
特征提取模块，用于采用特定于模态的特征提取网络对每个源图像进行特征提取，获得每个源图像的多层次特征；
多模态融合模块，用于利用多模态融合网络将两个源图像的同层次特征进行融合后相加，获得多模态数据之间的公共潜在表示向量；所述多模态融合网络包括多个依次连接的第一混合注意力融合模块，所述第一混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特征；
耦合模块，用于使用残差瓶颈注意力机制将所述公共潜在表示向量与注意力感知特征进行耦合，获得耦合特征图；
图像合成模块，用于根据所述耦合特征图和每个源图像的多层次特征，利用多模态合成网络输出目标模态的脑部医学合成图像；所述多模态合成网络包括多个依次连接的第二混合注意力融合模块，多个所述第二混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特征后与耦合特征图相加。
本发明实施例提供的脑部医学图像合成系统与上述实施例所述的脑部医学图像合成方法，其工作原理和有益效果类似，故此处不再详述，具体内容可参见上述方法实施例的介绍。
此外，本发明实施例还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现如前述的脑部医学图像合成方法。
上述的存储器中的计算机程序通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被执行时实现如前述的脑部医学图像合成方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种脑部医学图像合成方法，其特征在于，包括：
获取待合成的脑部医学源图像对；所述待合成的脑部医学源图像对包括互相配准的两个不同模态的源图像；
采用特定于模态的特征提取网络对每个源图像进行特征提取，获得每个源图像的多层次特征；
利用多模态融合网络将两个源图像的同层次特征进行融合后相加，获得多模态数据之间的公共潜在表示向量；所述多模态融合网络包括多个依次连接的第一混合注意力融合模块，所述第一混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特征；
使用残差瓶颈注意力机制将所述公共潜在表示向量与注意力感知特征进行耦合，获得耦合特征图；
根据所述耦合特征图和每个源图像的多层次特征，利用多模态合成网络输出目标模态的脑部医学合成图像；所述多模态合成网络包括多个依次连接的第二混合注意力融合模块，多个所述第二混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特征后与耦合特征图相加。
2.根据权利要求1所述的脑部医学图像合成方法，其特征在于，所述第一混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特征，具体包括：
根据两个源图像的同层次特征，利用公式
和
通过多种融合策略确定融合权重；式中，
Max分别为元素间相加、元素间相乘、元素间最大化，
为两个源图像第n-1层特征，
为元素间相加权重，
为元素间相乘权重，Fmax为元素间最大化权重，
为通道数3C、高H、宽W的张量形状；
利用公式W＝σ(C3C4F)计算软注意力机制权重W；式中，C3、C4为第三、第四卷积层，σ为Sigmod函数；
根据软注意力机制权重和融合权重，利用公式
确定混合注意力融合模块的最终输出FMAF；式中，C5为第五卷积层。
3.根据权利要求1所述的脑部医学图像合成方法，其特征在于，所述使用残差瓶颈注意力机制将所述公共潜在表示向量与注意力感知特征进行耦合，获得耦合特征图，具体包括：
利用公式mc(f)＝σ(MLP(AVGPOOL(f)))+MLP(MAXPOOL(f))确定公共潜在表示向量的通道注意力分量；式中，mc(f)为公共潜在表示向量的通道注意力分量，MLP为多层感知器，AVGPOOL为平均池化操作，MAXPOOL为最大池化操作，f为公共潜在表示向量，σ为Sigmod函数；
利用公式ms(f)＝σ(f7×7([AVGPOOL(f)；MAXPOOL(f)]))确定公共潜在表示向量的空间注意力分量；式中，ms(f)为公共潜在表示向量的空间注意力分量，f7×7为卷积核大小为7×7的卷积运算；
根据空间注意力分量、通道注意力分量和公共潜在表示向量，利用公式
确定最终输出分量f”'，构成耦合特征图；
其中，f'为通道注意力输出，f”为空间注意力输出，
为元素间相乘，
为元素间相加。
4.根据权利要求1所述的脑部医学图像合成方法，其特征在于，所述多模态合成网络还包括卷积层；
多个依次连接的第二混合注意力融合模块中位于末端的第二混合注意力融合模块输出端与卷积层的输入端连接；所述卷积层用于根据所有第二混合注意力融合模块最终输出的特征，获得目标模态的脑部医学合成图像。
5.根据权利要求1所述的脑部医学图像合成方法，其特征在于，所述获取待合成的脑部医学源图像对，之前还包括：
使用样本数据集对特定于模态的特征提取网络、多模态融合网络、残差瓶颈注意力机制和多模态合成网络进行训练；所述样本数据集由脑部医学源图像对样本和对应的脑部医学合成图像标签组成。
6.根据权利要求5所述的脑部医学图像合成方法，其特征在于，所述特定于模态的特征提取网络的训练过程为：
构建重构网络；所述重构网络包括反卷积层；
利用所述重构网络将每个源图像的多层次特征重建为图像；
根据每个源图像和对应重建后的图像，使用重建损失函数
对特定于模态的特征提取网络进行训练；
式中，
为第i个源图像，
为
的重建图像，||*||1为L1范数，
为
的均值，
为
的均值，
为
的方差，
为
的方差，
为协方差，LRS为重建损失函数，LR为L1-范数损失函数，Lssim为结构相似性损失函数。
7.根据权利要求5所述的脑部医学图像合成方法，其特征在于，所述多模态合成网络的训练过程为：
建立鉴别器，对目标模态图像与真实标签进行鉴别；
确定所述鉴别器的损失函数为
式中，LD为鉴别器的损失函数，D(x，y)为鉴别器对源图像x和目标图像标签y进行鉴别所得布尔值，
为对数据集pdata中源图像x进行最大似然估计，
为对数据集pdata中源图像x和目标图像标签y进行最大似然估计，D(x，G(x))为鉴别器对源图像和生成的目标图像进行鉴别所得布尔值；
建立SSIM-L1联合损失函数为
式中，LSSIM-L1为SSIM-L1联合损失函数，λ1、λSSIM为第一、第二超参数，μx、μy为源图像x和目标图像标签y的均值，σx、σy为源图像x和目标图像标签y的方差，σxy为源图像x和目标图像标签y的协方差，G(x)为生成的目标图像，c1、c2为第一、第二正常数；
根据SSIM-L1联合损失函数，确定多模态合成网络中生成器的损失函数为
式中，LG为多模态合成网络中生成器的损失函数；
利用多模态合成网络中生成器的损失函数、鉴别器的损失函数对多模态合成网络进行训练。
8.一种脑部医学图像合成系统，其特征在于，包括：
脑部医学源图像对获取模块，用于获取待合成的脑部医学源图像对；所述待合成的脑部医学源图像对包括互相配准的两个不同模态的源图像；
特征提取模块，用于采用特定于模态的特征提取网络对每个源图像进行特征提取，获得每个源图像的多层次特征；
多模态融合模块，用于利用多模态融合网络将两个源图像的同层次特征进行融合后相加，获得多模态数据之间的公共潜在表示向量；所述多模态融合网络包括多个依次连接的第一混合注意力融合模块，所述第一混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特征；
耦合模块，用于使用残差瓶颈注意力机制将所述公共潜在表示向量与注意力感知特征进行耦合，获得耦合特征图；
图像合成模块，用于根据所述耦合特征图和每个源图像的多层次特征，利用多模态合成网络输出目标模态的脑部医学合成图像；所述多模态合成网络包括多个依次连接的第二混合注意力融合模块，多个所述第二混合注意力融合模块用于通过多种融合策略融合两个源图像的同层次特征后与耦合特征图相加。
9.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的脑部医学图像合成方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被执行时实现如权利要求1至7中任一项所述的脑部医学图像合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211279681.0A CN115456927A (zh) | 2022-10-19 | 2022-10-19 | 一种脑部医学图像合成方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211279681.0A CN115456927A (zh) | 2022-10-19 | 2022-10-19 | 一种脑部医学图像合成方法、系统、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115456927A true CN115456927A (zh) | 2022-12-09 |
Family
ID=84310380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211279681.0A Pending CN115456927A (zh) | 2022-10-19 | 2022-10-19 | 一种脑部医学图像合成方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115456927A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116128876A (zh) * | 2023-04-04 | 2023-05-16 | 中南大学 | 一种基于异构域的医学图像分类方法和系统 |
| CN116260969A (zh) * | 2023-05-15 | 2023-06-13 | 鹏城实验室 | 一种自适应的通道渐进式编解码方法、装置、终端及介质 |
| CN117635418A (zh) * | 2024-01-25 | 2024-03-01 | 南京信息工程大学 | 生成对抗网络的训练方法、双向图像风格转换方法和装置 |
| CN118071865A (zh) * | 2024-04-17 | 2024-05-24 | 英瑞云医疗科技(烟台)有限公司 | 一种脑梗ct到t1的医学图像跨模态合成方法及装置 |
| CN118334036A (zh) * | 2024-06-14 | 2024-07-12 | 重庆医科大学绍兴柯桥医学检验技术研究中心 | 基于深度学习的多模态医学影像质检系统 |
| CN118411443A (zh) * | 2024-07-02 | 2024-07-30 | 烟台大学 | 基于dr图像的ct图像生成方法、系统、装置、介质 |
-
2022
- 2022-10-19 CN CN202211279681.0A patent/CN115456927A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116128876A (zh) * | 2023-04-04 | 2023-05-16 | 中南大学 | 一种基于异构域的医学图像分类方法和系统 |
| CN116260969A (zh) * | 2023-05-15 | 2023-06-13 | 鹏城实验室 | 一种自适应的通道渐进式编解码方法、装置、终端及介质 |
| CN116260969B (zh) * | 2023-05-15 | 2023-08-18 | 鹏城实验室 | 一种自适应的通道渐进式编解码方法、装置、终端及介质 |
| CN117635418A (zh) * | 2024-01-25 | 2024-03-01 | 南京信息工程大学 | 生成对抗网络的训练方法、双向图像风格转换方法和装置 |
| CN117635418B (zh) * | 2024-01-25 | 2024-05-14 | 南京信息工程大学 | 生成对抗网络的训练方法、双向图像风格转换方法和装置 |
| CN118071865A (zh) * | 2024-04-17 | 2024-05-24 | 英瑞云医疗科技(烟台)有限公司 | 一种脑梗ct到t1的医学图像跨模态合成方法及装置 |
| CN118334036A (zh) * | 2024-06-14 | 2024-07-12 | 重庆医科大学绍兴柯桥医学检验技术研究中心 | 基于深度学习的多模态医学影像质检系统 |
| CN118411443A (zh) * | 2024-07-02 | 2024-07-30 | 烟台大学 | 基于dr图像的ct图像生成方法、系统、装置、介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115456927A (zh) | 一种脑部医学图像合成方法、系统、电子设备及存储介质 | |
| Yuan et al. | An effective CNN and Transformer complementary network for medical image segmentation | |
| CN114581662B (zh) | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 | |
| CN110288555B (zh) | 一种基于改进的胶囊网络的低照度增强方法 | |
| Ding et al. | FTransCNN: Fusing Transformer and a CNN based on fuzzy logic for uncertain medical image segmentation | |
| Li et al. | DFENet: A dual-branch feature enhanced network integrating transformers and convolutional feature learning for multimodal medical image fusion | |
| US11769237B2 (en) | Multimodal medical image fusion method based on darts network | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN116681679A (zh) | 基于双分支特征融合注意的医学图像小目标分割方法 | |
| Essa et al. | Neuro-fuzzy patch-wise R-CNN for multiple sclerosis segmentation | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN117333750A (zh) | 空间配准与局部全局多尺度的多模态医学图像融合方法 | |
| Song et al. | OAU-net: Outlined Attention U-net for biomedical image segmentation | |
| CN117974693B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN114242232A (zh) | 一种基于医学影像的疾病诊断装置及方法 | |
| CN116503668A (zh) | 一种基于小样本元学习的医学影像分类方法 | |
| CN117746045B (zh) | 一种Transformer和卷积融合的医学图像分割方法及系统 | |
| CN117475268A (zh) | 一种基于sgdd gan的多模态医学图像融合方法 | |
| CN117853547A (zh) | 一种多模态的医学图像配准方法 | |
| CN117633558A (zh) | 基于视觉语言模型的多激励融合零样本病变检测方法 | |
| Yu et al. | M3U-CDVAE: Lightweight retinal vessel segmentation and refinement network | |
| CN116739954A (zh) | 基于原语推理网络的三模态医学图像融合方法及系统 | |
| CN117058163A (zh) | 基于多尺度大卷积核的深度可分离医疗图像分割算法 | |
| CN116309754A (zh) | 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 | |
| Wang et al. | MAFUNet: Multi-Attention Fusion Network for Medical Image Segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |