CN115841591A - 一种跨模态医学图像合成系统、方法及计算机设备 - Google Patents

Abstract

本申请提供的跨模态医学图像合成系统、方法及计算机设备，包括：生成器和U型鉴别器，所述生成器用于将输入的图像合成为目标图像，并将所述目标图像输入到所述U型鉴别器中，所述U型鉴别器用于判断所述目标图像的真伪，所述生成器还用于通过训练合成图像企图骗过所述U型鉴别器，所述U型鉴别器还用于通过训练来以提高鉴别能力，本申请提出跨模态医学图像合成系统、方法及计算机设备，实现了全局特征和局部特征的提取，避免反卷积网络造成的黑白伪影现象从而提高鉴别能力。

Description

一种跨模态医学图像合成系统、方法及计算机设备

技术领域

本申请涉及图像处理技术领域，特别涉及一种跨模态医学图像合成系统、方法及计算机设备。

背景技术

多模态医学图像分别显示了相同器官的不同对比度的信息，这些信息能够为疾病诊断提供多种补充信息，帮助医生对疾病进行更好的诊断，临床检查中也常常需要同时获取多种模态的医学图像，例如，临床诊断中常会为脑部肿瘤获取T1加权MR、T2加权MR和CT等多种模态的图像。但是，为每位患者同时获取多种模态的图像需要昂贵的经济成本和时间成本。医学中有各种不同的模态图像，它们能给医生提供不同的信息，包括结构的和功能的，选不同的模态即得到不同的信息。但是获取不同的模态数据需要依靠不同的成像设备，如CT图像需要依赖X射线，MRI图像需要外部磁场，US需要超声换能器。本发明就是为了实现避免硬件设备，从已获得的某种模态来预测它对应的其他模态。这是因为在各个模态之间存在信息对应，如CT图像和MRI，虽然它们是不同的模态，如它们都是针对同一个病人的脑部图像，那么它们在形状，大小和结构上是有对应的，两者之间存在着潜在的非线性联系。如果我们可以直接从已经获得的一种模态数据信息预测出另一种模态的数据信息，那我们就可以帮助病人避免经历两次不同的成像扫描，一方面这大大提高了医院中扫描机器的效率，并且也减少了病人的痛苦和可能遭受的辐射风险，另一方面也节省了病人的开销，病人不需要承担两次的扫描费用。

放射治疗对脑癌等恶性肿瘤的治疗非常有效。然而，放射治疗计划需要拍摄患者病灶的CT图像以计算放射剂量。同时，还需要对MR图像对应的空间结构进行拍照，对肿瘤组织和健康器官进行分割。然而，在临床应用中，获取配对的MR-CT图像通常具有挑战性，例如：多次扫描增加了成本和辐射剂量并延迟了临床工作流程。这不可避免地导致数据集不完整，并对临床分析中的诊断和治疗质量产生不利影响。

因此，为解决数据不足的问题，跨模态医学图像合成得到了广泛的普及，从患者角度来看，跨模态图像意味着更少的扫描，更少的延迟，更低的剂量和更低的医疗费用。

目前已有大量的方法提出了多种跨模态医学图像转换模型。现有的跨模态医学图像转换模型可以大致分为基于特征匹配的跨模态图像转换算法和基于深度学习的跨模态图像转换算法。

目前最先进的方法是基于循环生成对抗网络实现跨模态转换。循环一致性的生成对抗网络用于实现2D的MR-CT图像转换，该方法可以在没有配对数据集的情况下进行训练。Hiasa等人从CT图像生成MR图像，并考虑到反向生成的问题，在循环生成对抗网络基础上增加了梯度一致性损失以实现可靠性跨模态合成。随后，Zhu等人发现使用循环一致性无法减轻图像估计中的几何损失，因此，他们还建议使用从两个生成器网络获得的形状一致性损失。但是，循环生成对抗网络生成的2D切片效果很好，当这些2D切片重新构建一个3D图像时，可以明显观察到空间不一致。

一些人试图开发用于图像转换的3D循环生成对抗网络，据我们所知，Wang等人首先通过使用3D卷积和转置卷积将循环生成对抗网络从2D扩展到3D，以实现低剂量PET图像的高质量PET图像估计。但由于大量参数和大量计算，三维模型的训练往往不稳定。为了解决二维模型在图像合成中的局限性，提出了三维网络。然而，由于特征分布的差异以及目标函数没有根据3D特征进行具体修改，3D循环生成对抗网络在训练3D图像时有时无法收敛。Euijin Jung等人使用2D生成器生成3D医学图像，但他们使用3D鉴别器，该鉴别器也依赖于3D卷积。

上述这些方法都是在生成器网络上进行改进，而鉴别器的鉴别能力并没有随之提高，会导致训练不稳定的情况。此外之前的循环生成对抗网络中上采样方法均采用的反转置卷积实现。该方法往往会因为卷积核不能被步长整除而导致在图像边缘处产生黑白伪影。

发明内容

鉴于此，有必要针对现有技术中存在的缺陷提供一种避免反卷积网络造成的黑白伪影现象以提高鉴别能力的跨模态医学图像合成系统、方法及计算机设备。

为解决上述问题，本申请采用下述技术方案：

本申请目的之一，提供了一种跨模态医学图像合成系统，包括：生成器和U型鉴别器，所述生成器用于将输入的图像合成为目标图像，并将所述目标图像输入到所述U型鉴别器中，所述U型鉴别器用于判断所述目标图像的真伪，所述生成器还用于通过训练合成图像企图骗过所述U型鉴别器，所述U型鉴别器还用于通过训练来以提高鉴别能力。

在其中一些实施例中，所述生成器包括第一编码器、第一解码器及残差块。

在其中一些实施例中，所述第一编码器包括卷积层、IN正则化层及Leaky ReLU激活层三层卷积构成，输入图像为[1,1,128,128]经过所述三层卷积后变成[1,256,32,32]，再经所述第一编码器输出的图像经过所述残差块来加深网络。

在其中一些实施例中，所述第一解码器使用上采样模块，以减小通道数的同时逐步增加对应图片尺寸，直至恢复到原图像大小。

在其中一些实施例中，所述鉴别器包括第二解码器和第二编码器，所述第二编码器为PatchGAN，所述PatchGAN由4层全卷积网络组成的一个链式结构，再通过池化平均将其展平为[batchsize,1]的格式，所述第二解码器采用上采样模块用于将低分辨率解码成高分辨率来进行特征融合使得在像素级别对输入图像进行分类。

在其中一些实施例中，所述生成器和U型鉴别器通过跳跃连接成U型网络。

在其中一些实施例中，所述上采样模块包括上采样核预测模块及特征重组模块，所述上采样核预测模块根据每个目标位置的内容预测其重组核，所述特征重组模块根据所述重组核预测核重组特征。

在其中一些实施例中，所述上采样核预测模块包括：

对于大小为C×H×W的输入图像，C表示通道，H和W是图像的长和宽的尺寸，首先用一个1×1卷积将它的通道数压缩到Cm×H×W；

对输出图像的每个位置使用不同的上采样核，则需要预测上采样核的形状为σH×σW×K_up×K_up，其中，σ为上采样率，Kup是上采样核的大小；

对于压缩后的输入特征图，利用一个K_encoder×K_encoder的卷积来预测上采样核K_up×K_up的大小，输入通道为Cm，输出通道数为σ²K_up ²，然后在空间维度上扩展通道维度，以获得形状为σH×σW×K_up ²的上采样核，其中，Kencoder×Kencoder是预测模块的卷积核大小；

将预测得到的上采样核利用softmax进行归一化，使得卷积核权重和为1。

在其中一些实施例中，所述特征重组模块包括：对于输出特征图中的每个位置，将其映射回输入特征，取出以其为中心的K_up×K_up区域，并在这一点上与预测的上采样核进行点积运算以获得输出值，相同位置的不同通道共享同一个上采样核。

在其中一些实施例中，还包括数据增强单元，所述数据增强单元用于在进行所述生成器训练的数据之前对所述数据进行预处理，以使所述数据捕获3维信息。

在其中一些实施例中，所述数据增强单元用于将相邻的3张2D切片合成2.5D切片。

在其中一些实施例中，还包括数据扩充单元，所述数据扩充单元用于在所述生成器生成的图像输入到所述U型鉴别器时使用CutMix进行数据扩充。

在其中一些实施例中，所述生成器用于将输入的MR图像合成G(MR)图像，再将CT图像和G(MR)图像输入到所述U型鉴别器中，其中：将CT和G(MR)与掩码M混合来合成用于鉴别器的新训练样本CT：

mix(CT,G(MR),M)＝M·CT+(1-M)·G(MR).

其中M_(i,j)∈{0,1}是与输入图像大小相同的掩码，如果M_(i,j)＝1，则为真实图像中的像素(i,j)否则为经过CutMix增强后的伪图像中的像素(i,j)，1是所有像素值都等于1的二进制掩码，⊙是元素相乘，鉴别器的编码器会将CutMix图像识别为假，否则生成器会将CutMix增强后图像添加到生成的样本，从而导致混淆结果。

本申请目的之二，提供了一种跨模态医学图像合成方法，包括下述步骤：

所述生成器将输入的图像合成为目标图像，并将所述目标图像输入到所述U型鉴别器中，所述U型鉴别器判断所述目标图像的真伪，所述生成器还用于通过训练合成图像企图骗过所述U型鉴别器，所述U型鉴别器还用于通过训练来以提高鉴别能力。

本申请目的之三，提供了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现所述的方法。

本申请采用上述技术方案，其有益效果如下：

本申请提供的跨模态医学图像合成系统、方法及计算机设备，包括：生成器和U型鉴别器，所述生成器用于将输入的图像合成为目标图像，并将所述目标图像输入到所述U型鉴别器中，所述U型鉴别器用于判断所述目标图像的真伪，所述生成器还用于通过训练合成图像企图骗过所述U型鉴别器，所述U型鉴别器还用于通过训练来以提高鉴别能力，本申请提出跨模态医学图像合成系统、方法及计算机设备，实现了全局特征和局部特征的提取，避免反卷积网络造成的黑白伪影现象从而提高鉴别能力。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例1提供的跨模态医学图像合成系统的结构示意图。

图2为本申请实施例1提供的跨模态医学图像合成系统的原理示意图。

图3为本申请实施例1提供的所述生成器的结构示意图。

图4为申请本实施例1提供的鉴别器的结构示意图。

图5为本申请实施例3提供的计算机设备结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

在本申请的描述中，需要理解的是，术语“上”、“下”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。

实施例1

请参阅图1及图2，为本实施例1提供的一种跨模态医学图像合成系统的结构示意图，包括：生成器110和U型鉴别器120。以下详细说明各个部件的具体实现方式。

所述生成器110用于将输入的图像合成为目标图像，并将所述目标图像输入到所述U型鉴别器120中。

在本实施例中，生成器110用于将输入图像合成目标图像，如G(MR)将输入的MRI图像合成为CT图像。

所述U型鉴别器120用于判断所述目标图像的真伪，所述生成器110还用于通过训练合成图像企图骗过所述U型鉴别器120，所述U型鉴别器120还用于通过训练来以提高鉴别能力。

可以理解，通过生成器110和鉴别器120的相互对抗，最终提高生成图像的精度。

请参阅图3，所述生成器110包括第一编码器111、第一解码器112及残差块113。

在本实施例中，第一编码器111由CIL组成，包括卷积层，IN正则化层及Leaky ReLU激活层。本实施例中第一编码器111共有三层卷积网络构成，输入图像为[1,1,128,128]经过三层卷积后变成[1,256,32,32]；再将第一编码器111输出的图像经过6个残差块来加深网络，解决梯度消失和梯度爆炸的问题，可以更好的训练网络。

在本实施例中，第一解码器112则是使用了上采样模块，减小通道数的同时逐步增加对应图片尺寸，直至恢复到原图像大小。

请参阅图4，所述鉴别器120包括第二解码器121和第二编码器122。

在本实施例中，所述第二编码器121为PatchGAN，所述PatchGAN由4层全卷积网络组成的一个链式结构，再通过池化平均将其展平为[batchsize,1]的格式。

可以理解，在所述第二编码器121的作用下，可以获取局部特征，并做图片级的分类；进一步地，用于将输入鉴别器的图像分割成8x8的图片，判断每一块的真实值，最后再取平均。

在本实施例中，所述第二解码器122采用上采样模块用于将低分辨率解码成高分辨率来进行特征融合使得在像素级别对输入图像进行分类。

进一步地，本实施例中，U型鉴别器由编码器和解码器及CutMix增强三部分组成，因此鉴别器损失函数由三部分组成：编码器损失函数，解码器损失函数，一致性正则化损失函数。

L_cons＝||D_dec(mix(CT,G(MR),M))-mix(D_dec(CT),D_dec(G(MR)),M)||²

其中L_Denc为编码器损失函数，L_Ddec为解码器损失函数，L_cons为一致性正则化损失函数。I_CT为输入的CT图像，I_MR为输入的MR图像，D_enc表示编码器判断为真的结果，G(I_MR)表示生成器生成的CT图像，D_dec表示解码器的判断结果，其结果是根据所以像素的平均判决计算。

可以理解，本实施例提出了由U-net和PatchGAN组成的U型鉴别器，可以从全局和局部像素对输入鉴别器的图像进行分类，并引入了新的损失函数来平衡鉴别器和生成器的能力。

在其中一些实施例中，所述生成器110和U型鉴别器120通过跳跃连接成U型网络。

可以理解，上述实施例提供的编码器逐渐对输入进行下采样，捕获全局信息。解码器执行上采样，将输出分辨率与输入图像相匹配，从而实现精确的像素定位。此外，通过拼接两个模块的匹配分辨率之间的连接数据，进一步提高网络准确分类精细细节的能力。

需要说明的是：当上采样是反卷积时，可以观察生成的图像是黑白伪影。当通过反卷积将低分辨率图像转换为高分辨率图像时，很容易导致不均匀重叠，在某些地方比其他地方更具隐喻性。特别是，当卷积核大小不能被步长整除时，反转置积具有不均匀重叠。为解决这一问题，本申请在生成器110和U型鉴别器120的上采样阶段使用动态特征上采样来解决这一问题。

在其中一些实施例中，所述上采样模块包括上采样核预测模块及特征重组模块，所述上采样核预测模块根据每个目标位置的内容预测其重组核，所述特征重组模块根据所述重组核预测核重组特征。

可以理解，上采样操作可以表示为每个位置的上采样核和输入特征图中对应邻域的像素做点积，我们称之为特征重组。本申请提出的上采样操作首先利用输入特征图来预测上采样核，每个位置的上采样核是不同的。然后基于预测的上采样核来进行特征重组。

具体地，所述上采样核预测模块包括：对于大小为C×H×W的输入图像，C表示通道，H和W是图像的长和宽的尺寸，首先用一个1X1卷积将它的通道数压缩到Cm×H×W；对输出图像的每个位置使用不同的上采样核，则需要预测上采样核的形状为σH×σW×K_up×K_up，其中，σ为上采样率，Kup是上采样核的大小；对于压缩后的输入特征图，利用一个K_encoder×K_encoder的卷积来预测上采样核K_up×K_up的大小，输入通道为Cm，输出通道数为σ²K_up ²，然后在空间维度上扩展通道维度，以获得形状为σH×σW×K_up ²的上采样核，其中，Kencoder×Kencoder是预测模块的卷积核大小；将预测得到的上采样核利用softmax进行归一化，使得卷积核权重和为1。

在本实施例中，上采样率σ是2。上采样核Kup的大小，对于图像不同的位置是动态变化的。

在本实施例中，K_encoder×K_encoder是预测模块的卷积核大小，本发明中为常数3。给定大小为Cm×H×W的特征图和上采样率σ，该卷积核与特征图进行卷积运算将生成大小为σ²K_up ²×H×W的特征图，σ²K_up ²为通道数的大小，即可得到Kup的大小。具体地，所述特征重组模块包括：对于输出特征图中的每个位置，将其映射回输入特征，取出以其为中心的K_up×K_up区域，并在这一点上与预测的上采样核进行点积运算以获得输出值，相同位置的不同通道共享同一个上采样核。

可以理解，本实施例在网络结构的上采样模块，使用动态特征上采样来根据输入图像特征预测相应的上采样核来避免产生伪影。

请再参阅图1，本申请提供的跨模态医学图像合成系统，还包括数据增强单元130，所述数据增强单元130用于在进行所述生成器训练的数据之前对所述数据进行预处理，以使所述数据捕获3维信息。

具体地，在进行所述生成器训练的数据之前对数据进行了预处理，将2D切片拼接成2.5D切片。由于2D生成器生成的图像在3维空间具有不连续性，并且3D模型将增加内存使用率和计算量。因此，本申请将3个相邻的2D切片组成一个厚的2.5D切片来保持其空间的连续性，这样就可以捕获3维信息，避免内存密集型3D卷积。

请再参阅图1，本申请提供的跨模态医学图像合成系统，还包括数据扩充单元140，所述数据扩充单元140用于在所述生成器110生成的图像输入到所述U型鉴别器120时使用CutMix进行数据扩充。

可以理解，本申请在将CT图像及生成器网络生成的图像G(MR)输入到鉴别器时使用CutMix进行数据扩充。CutMix增强通过切割MRI区域的一部分用CT图像的相应区域来填充而不是填充0像素来创建合成图像，从而在训练过程中不会出现非信息因素，从而提高训练效率并要求模型从局部视图识别对象，向切割区域添加其他样本信息，这样可以进一步增强模型的定位能力。

在本实施例中，所述生成器用于将G(MR)和MRI图像合成CT图像，再将CT图像输入到所述U型鉴别器中，其中：将CT和G(MR)与掩码M混合来合成用于鉴别器的新训练样本CT：

mix(CT,G(MR),M)＝M·CT+(1-M)·G(MR).

其中M_(i,j)∈{0,1}是与输入图像大小相同的掩码，如果M_(i,j)＝1，则为真实图像中的像素(i,j)否则为经过CutMix增强后的伪图像中的像素(i,j)，1是所有像素值都等于1的二进制掩码，⊙是元素相乘，鉴别器的编码器会将CutMix图像识别为假，否则生成器会将CutMix增强后图像添加到生成的样本，从而导致混淆结果。

本申请提供的跨模态医学图像合成系统，包括生成器和U型鉴别器，所述生成器用于将输入的图像合成为目标图像，并将所述目标图像输入到所述U型鉴别器中，所述U型鉴别器用于判断所述目标图像的真伪，所述生成器还用于通过训练合成图像企图骗过所述U型鉴别器，所述U型鉴别器还用于通过训练来以提高鉴别能力，本申请提出跨模态医学图像合成系统，实现了全局特征和局部特征的提取，避免反卷积网络造成的黑白伪影现象从而提高鉴别能力。

实施例2

本实施例还提供了一种跨模态医学图像合成方法，包括下述步骤：所述生成器将输入的图像合成为目标图像，并将所述目标图像输入到所述U型鉴别器中，所述U型鉴别器判断所述目标图像的真伪，所述生成器还用于通过训练合成图像企图骗过所述U型鉴别器，所述U型鉴别器还用于通过训练来以提高鉴别能力。

本实施例2提供的跨模态医学图像合成方法，其详细的工作方式，可以参见上述实施例1，这里不再赘述。

本申请提供的跨模态医学图像合成方法，所述生成器将输入的图像合成为目标图像，并将所述目标图像输入到所述U型鉴别器中，所述U型鉴别器判断所述目标图像的真伪，所述生成器还通过训练合成图像企图骗过所述U型鉴别器，所述U型鉴别器还通过训练来以提高鉴别能力，本申请提出跨模态医学图像合成系统，实现了全局特征和局部特征的提取，避免反卷积网络造成的黑白伪影现象从而提高鉴别能力。

实施例3

请参阅图5为本申请实施例的计算机设备结构示意图。该计算机设备50包括处理器51、与处理器51耦接的存储器52。

存储器52存储有用于实现上述跨模态医学图像合成系统的程序指令。

处理器51用于执行存储器52存储的程序指令以实现所述的跨模态医学图像合成方法。

其中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本申请上述实施例提供的跨模态合成医学图像合成系统及方法，已在公开数据集ABCs MICCAI 2020数据集上实现，并取得了目前最好的结果。

可以理解，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上仅为本申请的较佳实施例而已，仅具体描述了本申请的技术原理，这些描述只是为了解释本申请的原理，不能以任何方式解释为对本申请保护范围的限制。基于此处解释，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进，及本领域的技术人员不需要付出创造性的劳动即可联想到本申请的其他具体实施方式，均应包含在本申请的保护范围之内。

Claims (15)

1.一种跨模态医学图像合成系统，其特征在于，包括：生成器和U型鉴别器，所述生成器用于将输入的图像合成为目标图像，并将所述目标图像输入到所述U型鉴别器中，所述U型鉴别器用于判断所述目标图像的真伪，所述生成器还用于通过训练合成图像企图骗过所述U型鉴别器，所述U型鉴别器还用于通过训练来以提高鉴别能力。

2.如权利要求1所述的跨模态医学图像合成系统，其特征在于，所述生成器包括第一编码器、第一解码器及残差块。

3.如权利要求2所述的跨模态医学图像合成系统，其特征在于，所述第一编码器包括卷积层、IN正则化层及Leaky ReLU激活层三层卷积构成，输入图像为[1,1,128,128]经过所述三层卷积后变成[1,256,32,32]，再经所述第一编码器输出的图像经过所述残差块来加深网络。

4.如权利要求3所述的跨模态医学图像合成系统，其特征在于，所述第一解码器使用上采样模块，以减小通道数的同时逐步增加对应图片尺寸，直至恢复到原图像大小。

5.如权利要求1所述的跨模态医学图像合成系统，其特征在于，所述鉴别器包括第二解码器和第二编码器，所述第二编码器为PatchGAN，所述PatchGAN由4层全卷积网络组成的一个链式结构，再通过池化平均将其展平为[batchsize,1]的格式，所述第二解码器采用上采样模块用于将低分辨率解码成高分辨率来进行特征融合使得在像素级别对输入图像进行分类。

6.如权利要求1所述的跨模态医学图像合成系统，其特征在于，所述生成器和U型鉴别器通过跳跃连接成U型网络。

7.如权利要求4或5所述的跨模态医学图像合成系统，其特征在于，所述上采样模块包括上采样核预测模块及特征重组模块，所述上采样核预测模块根据每个目标位置的内容预测其重组核，所述特征重组模块根据所述重组核预测核重组特征。

8.如权利要求7所述的跨模态医学图像合成系统，其特征在于，所述上采样核预测模块包括：

对于大小为C×H×W的输入图像，C表示通道，H和W是图像的长和宽的尺寸，首先用一个1×1卷积将它的通道数压缩到Cm×H×W；

对输出图像的每个位置使用不同的上采样核，则需要预测上采样核的形状为σH×σW×K_up×K_up，其中，σ为上采样率，Kup是上采样核的大小；

对于压缩后的输入特征图，利用一个K_encoder×K_encoder的卷积来预测上采样核K_up×K_up的大小，输入通道为Cm，输出通道数为σ²K_up ²，然后在空间维度上扩展通道维度，以获得形状为σH×σW×K_up ²的上采样核，其中，Kencoder×Kencoder是预测模块的卷积核大小；

将预测得到的上采样核利用softmax进行归一化，使得卷积核权重和为1。

9.如权利要求8所述的跨模态医学图像合成系统，其特征在于，所述特征重组模块包括：对于输出特征图中的每个位置，将其映射回输入特征，取出以其为中心的K_up×K_up区域，并在这一点上与预测的上采样核进行点积运算以获得输出值，相同位置的不同通道共享同一个上采样核。

10.如权利要求1所述的跨模态医学图像合成系统，其特征在于，还包括数据增强单元，所述数据增强单元用于在进行所述生成器训练的数据之前对所述数据进行预处理，以使所述数据捕获3维信息。

11.如权利要求10所述的跨模态医学图像合成系统，其特征在于，所述数据增强单元用于将相邻的3张2D切片合成2.5D切片。

12.如权利要求1所述的跨模态医学图像合成系统，其特征在于，还包括数据扩充单元，所述数据扩充单元用于在所述生成器生成的图像输入到所述U型鉴别器时使用CutMix进行数据扩充。

13.如权利要求11所述的跨模态医学图像合成系统，其特征在于，所述生成器用于将输入的MR图像合成G(MR)图像，再将CT图像和G(MR)图像输入到所述U型鉴别器中，其中：将CT和G(MR)与掩码M混合来合成用于鉴别器的新训练样本CT：

mix(CT,G(MR),M)＝M·CT+(1-M)·G(MR).

其中M_(i,j)∈{0,1}是与输入图像大小相同的掩码，如果M_(i,j)＝1，则为真实图像中的像素(i,j)否则为经过CutMix增强后的伪图像中的像素(i,j)，1是所有像素值都等于1的二进制掩码，⊙是元素相乘，鉴别器的编码器会将CutMix图像识别为假，否则生成器会将CutMix增强后图像添加到生成的样本，从而导致混淆结果。

14.一种如权利要求1所述的跨模态医学图像合成方法，其特征在于，包括下述步骤：

所述生成器将输入的图像合成为目标图像，并将所述目标图像输入到所述U型鉴别器中，所述U型鉴别器判断所述目标图像的真伪，所述生成器还用于通过训练合成图像企图骗过所述U型鉴别器，所述U型鉴别器还用于通过训练来以提高鉴别能力。

15.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求14中所述的方法。

Images