CN115830163A - 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置 - Google Patents

基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置 Download PDF

Info

Publication number
CN115830163A
CN115830163A CN202211468324.9A CN202211468324A CN115830163A CN 115830163 A CN115830163 A CN 115830163A CN 202211468324 A CN202211468324 A CN 202211468324A CN 115830163 A CN115830163 A CN 115830163A
Authority
CN
China
Prior art keywords
region
image
cross
lesion
organ
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211468324.9A
Other languages
English (en)
Inventor
张楚杰
刘婧
杨玉林
赵嘉玥
陈延伟
童若锋
林兰芬
李劲松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211468324.9A priority Critical patent/CN115830163A/zh
Publication of CN115830163A publication Critical patent/CN115830163A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置，包括：获取对同一部位拍摄的真实CT图像和真实MR图像并构建样本数据，以CycleGAN为基准，通过增加多尺度MR器官区域判别器和/或多尺度MR病灶区域判别器，形成跨模态生成框架；构建损失函数时，增加基于MR器官区域的对抗损失函数和/或基于MR病灶区域的对抗损失函数，形成跨模态生成框架的总损失函数；利用总损失函数对跨模态生成框架进行参数优化，这样采用由单一判别器到多个不同复杂度的判别器的渐进式对抗生成网络，以确定性引导为目的，专注于器官区域和/或病灶区域等目标区域，生成更高质量的图像。

Description

基于深度学习的确定性引导的渐进式医学图像跨模态生成方 法和装置
技术领域
本发明属于计算机技术和医学影像跨模态生成的交叉技术领域，具体涉及一种基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置。
背景技术
医学成像是一种强大的诊断和研究工具，可创建解剖结构的视觉表示，已广泛用于疾病诊断和手术计划。在目前的临床实践中，最常用的是计算机断层扫描(CT)和磁共振成像(MR)，得到。由于CT和多种MR模式提供了互补信息，因此这些不同模式的有效整合可以帮助医生做出更明智的决定。由于很难获得成对的多模态图像，临床实践中，开发多模态图像生成以辅助临床诊断和治疗的需求日益增长。
医学影像生成分为传统的机器学习方法和深度学习方法。传统的机器学习方法依赖于显式特征表示。如随机森林，k邻近算法等，通过迭代的方法显式的优化特征表示。最近，卷积神经网络被广泛的应用于多种图像生成任务并且通过对抗生成网络实现了最先进的性能。
现有方法提出了具有确定性输出的条件对抗生成网络(GAN)架构，该架构通常使用基于L1/L2的损失函数，在没有明确建模对异常值或预测不确定性的鲁棒性的情况下学习确定性映射，从而在测试时遇到不可见的分布外模式时导致性能下降。虽然这些方法可以提供具有高视觉质量的合成图像，但图像内容仍可能与相应的真实值(ground-truth)有很大偏差。这会导致过度自信或误解并带来负面后果，尤其是在医学领域。
现有GAN架构通常都专注于整幅图像的生成，它们往往会导致目标区域在没有先验知识的情况下发生变形，局部目标区域的生成质量不佳，变得模糊甚至带有额外不合理的纹理。
现有方法提出的GAN架构中，判别器通常使用单尺度判别器(马尔科夫判别器)，这是因为在跨模态医学影像生成中，不同模态之间的数据分布差异大，自然图像中使用的多尺度判别器放到医学影像中，往往会导致模式崩塌或者梯度消失的现象。而更强的判别器也意味着更高质量的生成结果。
最近的研究表明，使用多判别器集成的思想可以产生更高质量的结果。然而，高质量图像的逐步生成仍然是没有指导的，没有特别注意生成结果较差的区域。
发明内容
鉴于上述，本发明的目的是提供一种基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置，采用由单一判别器到多个不同复杂度的判别器的渐进式对抗生成网络，以确定性引导为目的，专注于器官区域和/或病灶区域等目标区域，生成更高质量的图像。
为实现上述发明目的，实施例提供一种基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，包括由CT图像到MR图像生成过程的确定性引导，包括以下步骤：
获取对同一部位拍摄的真实CT图像和真实MR图像，并对真实CT图像和真实MR图像进行预处理以构建包含真实CT和真实MR的图像对、MR器官区域掩码、MR病灶区域掩码，并形成样本数据；
以CycleGAN为基准，通过增加用于鉴别MR器官区域的多尺度MR器官区域判别器和/或用于鉴别MR病灶区域的多尺度MR病灶区域判别器，形成跨模态生成框架；
在CycleGAN原有损失函数的基础上，增加基于MR器官区域的对抗损失函数和/或基于MR病灶区域的对抗损失函数，形成跨模态生成框架的总损失函数；
将样本数据输入至跨模态生成框架，利用总损失函数对跨模态生成框架进行参数优化，参数优化后，CycleGAN包含的生成器用于医学图像的跨模态生成。
在一个实施例中，所述对CT图像和MR图像进行预处理，包括：真实CT图像和真实MR图像的刚性配准、归一化处理。
在一个实施例中，所述CycleGAN包含第一生成器、第二生成器和第一整体判别器，其中，第一生成器用于根据真实CT得到生成MR，第二生成器用于根据生成MR得到重建CT，第一整体判别器用于根据输入的生成MR和真实MR进行MR的鉴别。
在一个实施例中，所述多尺度MR器官区域判别器的输入包括MR器官区域掩码、CycleGAN基于真实CT得到的生成MR、真实MR，用于依据MR器官区域掩码和生成MR对MR器官区域的鉴别，得到第一MR器官区域鉴别结果，还用于依据MR器官区域掩码和真实MR对MR器官区域的鉴别，得到第二MR器官区域鉴别结果。
在一个实施例中，所述基于MR器官区域的对抗损失函数包括：基于第一MR器官区域鉴别结果构建的L2损失，基于第一MR器官区域鉴别结果和第二MR器官区域鉴别结果构建的L2损失。
在一个实施例中，所述多尺度MR器官区域判别器依据不同图像尺度进行MR器官区域鉴别，并将不同图像尺度的鉴别结果做平均作为多尺度MR器官区域判别器输出的最终鉴别结果，其中，最终鉴别结果包括第一MR器官区域鉴别结果、第二MR器官区域鉴别结果。
在一个实施例中，所述多尺度MR器官区域判别器依据两个图像尺度进行MR器官区域鉴别，其中第一图像尺度为原图尺寸，第二图像尺度为对原图进行降采样得到原图的二分之一尺寸。
在一个实施例中，所述多尺度MR病灶区域判别器的输入包括MR病灶区域掩码、CycleGAN基于真实CT得到的生成MR、真实MR，用于依据MR病灶区域掩码和生成MR对MR病灶区域的鉴别，得到第一MR病灶区域鉴别结果，还用于依据MR病灶区域掩码和真实MR对MR病灶区域的鉴别，得到第二MR病灶区域鉴别结果。
在一个实施例中，所述基于MR病灶区域的对抗损失函数包括：基于第一MR病灶区域鉴别结果构建的L2损失，基于第一MR病灶区域鉴别结果和第二MR病灶区域鉴别结果构建的L2损失。
在一个实施例中，所述多尺度MR病灶区域判别器依据不同图像尺度进行MR病灶区域鉴别，并将不同图像尺度的鉴别结果做平均作为多尺度MR病灶区域判别器输出的最终鉴别结果，其中，最终鉴别结果包括第一MR病灶区域鉴别结果、第二MR病灶区域鉴别结果。
在一个实施例中，所述多尺度MR病灶区域判别器依据三个图像尺度进行MR病灶区域鉴别，其中第一图像尺度为原图尺寸，第二图像尺度为对原图进行降采样得到的原图的二分之一尺寸，第三图像尺度为对原图进行降采样得到的原图的四分之一尺寸。
在一个实施例中，所述方法还包括由MR图像到CT图像生成过程的确定性引导，包括以下步骤：
从CT图像中构建CT器官区域掩码、CT病灶区域掩码，补充到样本数据中；
在构建的跨模态生成框架中，还增加有用于鉴别CT器官区域的多尺度CT器官区域判别器和/或用于鉴别CT病灶区域的多尺度CT病灶区域判别器，形成新跨模态生成框架；
在跨模态生成框架原总损失函数的基础上，增加基于CT器官区域的对抗损失函数和/或基于CT病灶区域的对抗损失函数，形成新总损失函数；
将样本数据输入至新跨模态生成框架，利用新总损失函数对新跨模态生成框架进行参数优化，参数优化后，CycleGAN包含的生成器用于医学图像的跨模态生成。
在一个实施例中，所述CycleGAN还包含第二整体判别器，其中，第二生成器还用于根据真实MR得到生成CT，第一生成器还用于根据生成CT得到重建MR，第二整体判别器用于根据输入的生成CT和真实CT进行CT的鉴别。
在一个实施例中，所述多尺度CT器官区域判别器的输入包括CT器官区域掩码、CycleGAN基于真实MR得到的生成CT、真实CT，用于依据CT器官区域掩码和生成CT对CT器官区域的鉴别，得到第一CT器官区域鉴别结果，还用于依据CT器官区域掩码和真实CT对CT器官区域的鉴别，得到第二CT器官区域鉴别结果；
所述基于CT器官区域的对抗损失函数包括：基于第一CT器官区域鉴别结果构建的L2损失，基于第一CT器官区域鉴别结果和第二CT器官区域鉴别结果构建的L2损失。
在一个实施例中，所述多尺度CT病灶区域判别器的输入包括CT病灶区域掩码、CycleGAN基于真实MR得到的生成CT、真实CT，用于依据CT病灶区域掩码和生成CT对CT病灶区域的鉴别，得到第一CT病灶区域鉴别结果，还用于依据CT病灶区域掩码和真实CT对CT病灶区域的鉴别，得到第二CT病灶区域鉴别结果；
所述基于CT病灶区域的对抗损失函数包括：基于第一CT病灶区域鉴别结果构建的L2损失，基于第一CT病灶区域鉴别结果和第二CT病灶区域鉴别结果构建的L2损失。
在一个实施例中，所述多尺度CT器官区域判别器依据不同图像尺度进行CT器官区域鉴别，并将不同图像尺度的鉴别结果做平均作为多尺度CT器官区域判别器输出的最终鉴别结果，其中，最终鉴别结果包括第一CT器官区域鉴别结果、第二CT器官区域鉴别结果；
所述多尺度CT病灶区域判别器依据不同图像尺度进行CT病灶区域鉴别，并将不同图像尺度的鉴别结果做平均作为多尺度CT病灶区域判别器输出的最终鉴别结果，其中，最终鉴别结果包括第一CT病灶区域鉴别结果、第二CT病灶区域鉴别结果。
在一个实施例中，病灶区域掩码的计算方式为：
在原病灶区域掩码中找到最左边、最右边、最上边、最下边的四个点，并基于这四个点计算中心点，然后计算中心点到原病灶区域掩码边缘的最远距离，最后以中心点为圆点，以最远距离+调整参数为半径的圆形区域为新病灶区域掩码，其中，病灶区域掩码包括MR病灶区域掩码和CT病灶区域掩码。
为实现上述发明目的，实施例还提供一种基于深度学习的确定性引导的渐进式医学图像跨模态生成方法装置，包括数据获取和处理单元、跨模态生成框架构建单元、损失函数构建单元以及参数优化单元，
所述数据获取和处理单元用于获取对同一部位拍摄的真实CT图像和真实MR图像，并对真实CT图像和真实MR图像进行预处理以构建包含真实CT和真实MR的图像对、MR器官区域掩码、MR病灶区域掩码，并形成样本数据；
所述跨模态生成框架构建单元用于以CycleGAN为基准，通过增加用于鉴别MR器官区域的多尺度MR器官区域判别器和/或用于鉴别MR病灶区域的多尺度MR病灶区域判别器，形成跨模态生成框架；
所述损失函数构建单元用于在CycleGAN原有损失函数的基础上，增加基于MR器官区域的对抗损失函数和/或基于MR病灶区域的对抗损失函数，形成跨模态生成框架的总损失函数；
所述参数优化单元用于将样本数据输入至跨模态生成框架，利用总损失函数对跨模态生成框架进行参数优化，参数优化后，CycleGAN包含的生成器用于医学图像的跨模态生成。
为实现上述发明目的，实施例还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并在所述处理器上执行的计算机程序，所述处理器执行所述计算机程序时实现上述渐进式医学图像跨模态生成方法。
为实现上述发明目的，实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理执行时实现上述渐进式医学图像跨模态生成方法。
与现有技术相比，本发明具有的有益效果至少包括：
1.在不依赖配对数据的情况下学习多模态医学图像生成，提高器官区域和/或病灶区域等目标区域的局部生成质量。
2.通过逐级的包含不同数量判别器的对CycleGAN，在保证不发生梯度消失或者模式崩溃的情况下，使用了多尺度判别器引导生成器专注于目标区域，生成更高质量的图像，也可以更好的服务于下游任务。
3.同时，本发明所提出的方法可以简单的结合任何其他的医学影像生成算法并在不改变原本算法的网络结构的基础上来提升性能，提升目标区域的生成质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法的流程图；
图2是实施例提供的生成器的结构示意图；
图3是实施例提供的生成器中残差模块的网络结构示意图；
图4是实施例提供的CycleGAN由CT图像到MR图像生成过程示意图；
图5是实施例中提供的在CycleGAN中增加有多尺度MR器官区域判别器形成的跨模态生成框架示意图；
图6是实施例提供的在CycleGAN中同时增加有多尺度MR器官区域判别器和多尺度MR病灶区域判别器形成的跨模态生成框架示意图；
图7是实施例提供的另一基于深度学习的确定性引导的渐进式医学图像跨模态生成方法的流程图；
图8是实施例提供的基于深度学习的确定性引导的渐进式医学图像跨模态生成装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
实施例采用的是医院的私人数据，数据包含305个病人的真实MR图像、真实CT图像、真实MR图像中病灶区域的掩码(简称MR病灶区域掩码)和器官区域的掩码(简称MR器官区域掩码)、真实CT图像中病灶区域的掩码(简称CT病灶区域掩码)和器官区域的掩码(简称CT器官区域掩码)。这些掩码(mask)有医生标注得到。其中真实CT图像和MR图像都包含：平扫期(NC)，动脉期(ART)，门脉期(PV)，延迟期(DL)。MR图像和CT图像的数据格式为nii，掩码的数据格式为nrrd。
基于以上数据源，实施例提供了一种基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，包括由CT图像到MR图像生成过程的确定性引导，如图1所示，包括以下步骤：
S1，获取对同一部位拍摄的真实CT图像和真实MR图像，并对真实CT图像和真实MR图像进行预处理以构建包含真实CT和真实MR的图像对、MR器官区域掩码、MR病灶区域掩码，并形成样本数据。
实施例中，由于获得的数据是三维连续数据，因此在构建样本数据时，需要对CT图像和MR图像进行预处理，具体包括：调整窗宽窗位、刚性配准、归一化处理、数据选择。其中，调整窗宽窗位是指调整CT图像和MR图像的窗宽和窗位，以调整图像原始尺寸。优选地，对于CT图像，根据医生的先验知识，设置窗宽为(-110,190)，使用numpy库中np.clip的方法。对于MR图像，使用dipy库中的方法estimate_sigma和nlmeans获得去噪的图像。
刚性配准是将CT图像和MR图像进行配准，具体以同一个部位的CT图像作为未配准图像，MR图像作为目标图像，依据MR病变区域掩码和CT病变区域掩码，计算两个图像中病变区域之间的变换关系，再用得到的变换关系作用于整个CT图像，得到配准后的CT图像。具体可以采用dipy的仿射配准。
归一化处理是指对配准后CT图像和MR图像的归一化处理，具体针对CT图像，使用线性归一化将像素值归一化到[-1,1]。对于MR图像，先使用z-score，再使用线性归一化将像素值归一化到[-1,1]，经过归一化处理后的真实CT和真实MR组成图像对。
数据选择是指从众多图像中选择病灶区域明显的图像，可以以最大病灶区域掩码的切片为基准，选择与基准最接近的病灶区域掩码来构建样本数据。具体可以选择基准的上下各四个，总计9个切片作为构建样本数据的病灶区域掩码，需要说明的是，此处的病灶区域掩码包括MR病灶区域掩码和CT病灶区域掩码。
实施例中，病灶区域掩码是在医生标注的原病灶区域掩码中重新确定的，具体计算过程包括：在原病灶区域掩码中找到最左边、最右边、最上边、最下边的四个点，分别为A(Xleft,YA)，B(Xright,YB)，E(XE,Ytop)，F(XF,Ybottom)，并基于这四个点计算中心点
Figure BDA0003957340850000101
然后计算中心点C到原病灶区域掩码边缘的最远距离D，最后以中心点为圆点，以最远距离+调整参数γ为半径的圆形区域为新病灶区域掩码，实施例中，调整参数γ的取值范围为1-3个像素，优选为2个像素。
最远距离D的计算公式为：
D＝max(distance(C,A),distance(C,B),distance(C,E),distance(C,F))。
S2，以CycleGAN为基准，通过增加用于鉴别MR器官区域的多尺度MR器官区域判别器和/或用于鉴别MR病灶区域的多尺度MR病灶区域判别器，形成跨模态生成框架。
CycleGAN包括第一生成器和第二生成器、第一整体判别器和第二整体判别器，其中，第一生成器和第二生成器的结构相同，用于模态CT图像和MR图像的互相生成，两个判别器的结构一致，分别鉴别整幅CT图像和整幅MR图像的真假。
实施例中，第一生成器和第二生成器基于Unet构建而成，如图2所示，网络结构中的子模块分别为：ResConv，Down，Up，and OutConv。其中，残差网络ResConv如图3所示，其中卷积层所用的卷积核尺寸为3，填充(padding)是1。子模块Down包含一个最大池化(maxpool)和残差网络ResConv。子模块Up包含一个上采样层和ResConv。其中上采样层的输出为输入的两倍，使用的上采样算法为双线性(bilinear)，输入的角像素将与输出张量对齐。子模块Outconv包含一个卷积核尺寸为1的卷积层。两个生成器的最后一层包含三个检测头(head)，分别输出生成的图像，零均值广义高斯分布的损失函数所需要的α(scale map),β(shape map)。
第一整体判别器和第二整体判别器采用单尺度判别器，如马尔科夫判别器。其中，卷积层的卷积核尺寸为4，填充(padding)为1，步长为2，激活函数是LeakyReLU，负斜率的角度(negative_slope)是0.2。
当CycleGAN用于由CT图像到MR图像生成时，如图4所示，第一生成器(G：A→B)用于根据真实CT(xA)得到生成MR
Figure BDA0003957340850000111
第二生成器(G：B→A)用于根据生成MR得到重建CT
Figure BDA0003957340850000112
第一整体判别器(Dwhole)用于根据输入的生成MR和真实MR(xB)进行MR的鉴别。
如图5所示，在如图4所示的CycleGAN基础上，通过增加用于鉴别MR器官区域的多尺度MR器官区域判别器
Figure BDA0003957340850000121
形成跨模态生成框架，该跨模态生成框架通过训练专注MR于器官区域的生成。
其中，
Figure BDA0003957340850000122
的输入包括MR器官区域掩码
Figure BDA0003957340850000123
CycleGAN基于真实CT得到的生成MR
Figure BDA0003957340850000124
真实MR(xB)，用于依据
Figure BDA0003957340850000125
和
Figure BDA0003957340850000126
对MR器官区域的鉴别，得到第一MR器官区域鉴别结果
Figure BDA0003957340850000127
还用于依据
Figure BDA0003957340850000128
和xB对MR器官区域的鉴别，得到第二MR器官区域鉴别结果
Figure BDA0003957340850000129
实施例中，
Figure BDA00039573408500001210
的结构与Dwhole相同，不同的是
Figure BDA00039573408500001211
能够进行多尺度判别，即
Figure BDA00039573408500001212
依据不同图像尺度进行MR器官区域鉴别，并将不同图像尺度的鉴别结果做平均作为多尺度MR器官区域判别器输出的最终鉴别结果，其中，最终鉴别结果包括
Figure BDA00039573408500001213
在一个实施方式中，
Figure BDA00039573408500001214
依据两个图像尺度进行MR器官区域鉴别，其中第一图像尺度为原图尺寸，第二图像尺度为对原图进行降采样得到原图的二分之一尺寸。
如图6所示，在如图5所示的CycleGAN基础上，通过再增加用于鉴别MR病灶区域的多尺度MR病灶区域判别器
Figure BDA00039573408500001215
形成跨模态生成框架，该跨模态生成框架通过训练在专注于MR器官区域的同时更专注于MR病灶区域的生成。
其中，
Figure BDA00039573408500001216
的输入包括MR病灶区域掩码
Figure BDA00039573408500001217
CycleGAN基于真实CT得到的生成MR
Figure BDA00039573408500001218
真实MR(xB)，用于依据
Figure BDA00039573408500001219
和
Figure BDA00039573408500001220
对MR病灶区域的鉴别，得到第一MR病灶区域鉴别结果
Figure BDA00039573408500001221
还用于依据
Figure BDA00039573408500001222
和xB对MR病灶区域的鉴别，得到第二MR病灶区域鉴别结果
Figure BDA0003957340850000131
实施例中，
Figure BDA0003957340850000132
的结构与Dwhole相同，不同的是
Figure BDA0003957340850000133
能够进行多尺度判别，即
Figure BDA0003957340850000134
依据不同图像尺度进行MR病灶区域鉴别，并将不同图像尺度的鉴别结果做平均作为多尺度MR病灶区域判别器输出的最终鉴别结果，其中，最终鉴别结果包括
Figure BDA0003957340850000135
Figure BDA0003957340850000136
在一个实施方式中，
Figure BDA0003957340850000137
依据三个图像尺度进行MR病灶区域鉴别，其中第一图像尺度为原图尺寸，第二图像尺度为对原图进行降采样得到的原图的二分之一尺寸，第三图像尺度为对原图进行降采样得到的原图的四分之一尺寸。
当然，还可以在如图4所示的CycleGAN基础上，通过增加
Figure BDA0003957340850000138
形成跨模态生成框架，该跨模态生成框架通过训练在专注于MR病灶区域的生成，具体针对
Figure BDA0003957340850000139
的结构和用途详见上述说明，此处不再赘述。
S3，在CycleGAN原有损失函数的基础上，增加基于MR器官区域的对抗损失函数和/或基于MR病灶区域的对抗损失函数，形成跨模态生成框架的总损失函数。
实施例中，在由CT图像到MR图像生成过程中，CycleGAN原有损失函数包括零均值广义高斯分布的损失函数、循环一致性损失以及对抗损失函数，其中，零均值广义高斯分布的损失函数
Figure BDA00039573408500001310
表示为：
Figure BDA00039573408500001311
循环一致性损失表示为：
Figure BDA00039573408500001312
生成器和判别器的对抗损失函数表示为：
Figure BDA00039573408500001313
Figure BDA0003957340850000141
其中，K表示数据中所有像素点的总和，Γ表示伽玛函数。
原有损失函数
Figure BDA0003957340850000142
增加的基于MR器官区域的对抗损失函数包括：基于第一MR器官区域鉴别结果构建的L2损失
Figure BDA0003957340850000143
基于第一MR器官区域鉴别结果和第二MR器官区域鉴别结果构建的L2损失
Figure BDA0003957340850000144
分别表示为：
Figure BDA0003957340850000145
Figure BDA0003957340850000146
基于MR器官区域的对抗损失函数
Figure BDA0003957340850000147
增加的基于MR病灶区域的对抗损失函数包括：基于第一MR病灶区域鉴别结果构建的L2损失
Figure BDA0003957340850000148
基于第一MR病灶区域鉴别结果和第二MR病灶区域鉴别结果构建的L2损失
Figure BDA0003957340850000149
分别表示为：
Figure BDA00039573408500001410
Figure BDA00039573408500001411
基于MR病灶区域的对抗损失函数
Figure BDA00039573408500001412
总损失函数L＝L1+L2+L3。
S4，将样本数据输入至跨模态生成框架，利用总损失函数对跨模态生成框架进行参数优化，参数优化后，CycleGAN包含的生成器用于医学图像的跨模态生成。
具体在训练过程中，样本数据输入至跨模态生成框架，每个批次(batch size)的数量为1，采用自适应矩估计(Adam)优化器并通过S3构建的总损失函数L进行参数优化，参数优化后，CycleGAN包含的第一生成器和第二生成器用于医学图像的跨模态生成。
当然，具体训练时，可以采用渐进式训练，在采用L1对CycleGAN进行训练的基础上，再利用基于MR器官区域的对抗损失函数L2对多尺度MR器官区域判别器
Figure BDA0003957340850000151
训练，然后再使用基于MR病灶区域的对抗损失函数L3对多尺度MR病灶区域判别器
Figure BDA0003957340850000152
进行训练。
在实际应用中，往往会出现不配对的真实CT图像和真实MR图像，为了解决这个问题，在上述S1-4的基础上，还引入了由MR图像到CT图像生成过程的确定性引导过程，如图7所示，具体包括以下步骤：
S1’，从CT图像中构建CT器官区域掩码、CT病灶区域掩码，补充到样本数据中。
其中，CT器官区域掩码由医生标注得到，CT病灶区域掩码通过上述方法计算得到。
S2’，在构建的跨模态生成框架中，还增加有用于鉴别CT器官区域的多尺度CT器官区域判别器和/或用于鉴别CT病灶区域的多尺度CT病灶区域判别器，形成新跨模态生成框架。
当增加由MR图像到CT图像生成过程的确定性引导过程时，CycleGAN中，第二生成器还用于根据真实MR(xB)得到生成CT
Figure BDA0003957340850000153
第一生成器还用于根据生成CT得到重建MR
Figure BDA0003957340850000154
第二整体判别器用于根据输入的生成CT和真实CT(xA)进行CT的鉴别。
在如图5所示的跨模态生成框架中，通过增加用于鉴别CT器官区域的多尺度CT器官区域判别器
Figure BDA0003957340850000155
形成新新跨模态生成框架，该新跨模态生成框架通过训练专注于MR器官区域和CT器官区域的生成。
其中，
Figure BDA0003957340850000156
的输入包括CT器官区域掩码
Figure BDA0003957340850000157
CycleGAN基于真实MR得到的生成CT
Figure BDA00039573408500001512
真实CT(xA)，用于依据
Figure BDA0003957340850000158
和
Figure BDA0003957340850000159
对CT器官区域的鉴别，得到第一CT器官区域鉴别结果
Figure BDA00039573408500001510
还用于依据
Figure BDA00039573408500001511
和xA对MR器官区域的鉴别，得到第二CT器官区域鉴别结果
Figure BDA0003957340850000161
实施例中，
Figure BDA0003957340850000162
的结构与Dwhole相同，不同的是
Figure BDA0003957340850000163
能够进行多尺度判别，即依据不同图像尺度进行MR器官区域鉴别，并将不同图像尺度的鉴别结果做平均作为多尺度MR器官区域判别器输出的最终的
Figure BDA0003957340850000164
和
Figure BDA0003957340850000165
一个实施方式中，
Figure BDA0003957340850000166
可以采用两图像尺度进行CT器官区域鉴别，其中第一图像尺度为原图尺寸，第二图像尺度为对原图进行降采样得到原图的二分之一尺寸。
在如图6所示的跨模态生成框架中，通过同时增加
Figure BDA0003957340850000167
和用于鉴别CT病灶区域的多尺度CT病灶区域判别器
Figure BDA0003957340850000168
形成新跨模态生成框架，该新跨模态生成框架通过训练专注于MR器官区域、CT器官区域的同时更专注于MR病灶区域和CT病灶区域的生成。
其中，
Figure BDA0003957340850000169
的输入包括CT病灶区域掩码
Figure BDA00039573408500001610
CycleGAN基于真实MR得到的生成CT
Figure BDA00039573408500001611
真实CT(xA)，用于依据
Figure BDA00039573408500001612
和
Figure BDA00039573408500001613
对CT病灶区域的鉴别，得到第一CT病灶区域鉴别结果
Figure BDA00039573408500001614
还用于依据
Figure BDA00039573408500001615
和xA对CT病灶区域的鉴别，得到第二CT病灶区域鉴别结果
Figure BDA00039573408500001616
实施例中，
Figure BDA00039573408500001617
的结构与Dwhole相同，不同的是
Figure BDA00039573408500001618
能够进行多尺度判别，即依据不同图像尺度进行CT病灶区域鉴别，并将不同图像尺度的鉴别结果做平均作为多尺度CT病灶区域判别器输出的
Figure BDA00039573408500001619
和
Figure BDA00039573408500001620
一个实施方式中，
Figure BDA00039573408500001621
可以采用三个图像尺度进行CT病灶区域鉴别，其中第一图像尺度为原图尺寸，第二图像尺度为对原图进行降采样得到原图的二分之一尺寸，第三图像尺度为对原图进行降采样得到的原图的四分之一尺寸。
当然，还可以在CycleGAN基础上仅增加
Figure BDA00039573408500001622
形成的跨模态生成框架中，通过再增加用于鉴别CT病灶区域的
Figure BDA0003957340850000171
形成新跨模态生成框架，该跨模态生成框架通过训练在专注于MR病灶区域和CT病灶区域的生成，具体针对
Figure BDA0003957340850000172
的结构和用途详见上述说明，此处不再赘述。
S3’，在跨模态生成框架原总损失函数的基础上，增加基于CT器官区域的对抗损失函数和/或基于CT病灶区域的对抗损失函数，形成新总损失函数。
实施例中，在由MR图像到CT图像生成过程中，CycleGAN原有损失函数还包括零均值广义高斯分布的损失函数
Figure BDA0003957340850000173
循环一致性损失
Figure BDA0003957340850000174
以及对抗损失函数
Figure BDA0003957340850000175
和
Figure BDA0003957340850000176
Figure BDA0003957340850000177
Figure BDA0003957340850000178
Figure BDA0003957340850000179
Figure BDA00039573408500001710
原有损失函数还包括
Figure BDA00039573408500001711
实施例中，增加的基于CT器官区域的对抗损失函数包括：基于第一CT器官区域鉴别结果构建的L2损失
Figure BDA00039573408500001712
基于第一CT器官区域鉴别结果和第二CT器官区域鉴别结果构建的L2损失
Figure BDA00039573408500001713
分别表示为：
Figure BDA00039573408500001714
Figure BDA00039573408500001715
基于CT器官区域的对抗损失函数
Figure BDA00039573408500001716
实施例中，增加的基于CT病灶区域的对抗损失函数包括：基于第一CT病灶区域鉴别结果构建的L2损失
Figure BDA00039573408500001717
基于第一CT病灶区域鉴别结果和第二CT病灶区域鉴别结果构建的L2损失
Figure BDA00039573408500001718
分别表示为：
Figure BDA0003957340850000181
Figure BDA0003957340850000182
基于CT病灶区域的对抗损失函数
Figure BDA0003957340850000183
新总损失函数L’＝L+L′1+L′2+L3′。
S4’，将样本数据输入至新跨模态生成框架，利用新总损失函数对新跨模态生成框架进行参数优化，参数优化后，CycleGAN包含的生成器用于医学图像的跨模态生成。
具体在训练过程中，样本数据输入至新跨模态生成框架，即xA，
Figure BDA0003957340850000184
Figure BDA0003957340850000185
xB，
Figure BDA0003957340850000186
输入至新跨模态生成框架，每个批次(batchsize)的数量为1，采用自适应矩估计(Adam)优化器并通过S3’构建的新总损失函数L’进行参数优化，参数优化后，CycleGAN包含的第一生成器和第二生成器用于医学图像的跨模态生成。
当然，具体训练时，可以采用渐进式训练，在采用L1对CycleGAN进行训练的基础上，再利用L2和L2′对多尺度MR器官区域判别器
Figure BDA0003957340850000187
和对多尺度CT器官区域判别器
Figure BDA0003957340850000188
训练，然后再使用L3和L3′对多尺度MR病灶区域判别器
Figure BDA0003957340850000189
和
Figure BDA00039573408500001810
进行训练。
实施例还提供了对参数优化的第一生成器和第二生成器进行性能评估，具体包括以下四个评估指标，其中两个针对整幅图像，另外两个针对病变区域，分别是：基于病变区域的峰值信噪比(TPSNR)，基于病变区域的结构相似性(TSSIM)，基于学习的图像感知相似度(LPIPS)，Frechet Inception距离(FID)。
采用包含60个病人不同期相(ART,PV,NC)的样本数据，使用上述的四个评估指标，结果如下：
Figure BDA00039573408500001811
Figure BDA0003957340850000191
基于同样的发明构思，实施例还提供了一种基于深度学习的确定性引导的渐进式医学图像跨模态生成装置，如图7所示，包括数据获取和处理单元710、跨模态生成框架构建单元720、损失函数构建单元730以及参数优化单元740。
数据获取和处理单元710用于获取对同一部位拍摄的真实CT图像和真实MR图像，并对真实CT图像和真实MR图像进行预处理以构建包含真实CT和真实MR的图像对、MR器官区域掩码、MR病灶区域掩码，并形成样本数据；
跨模态生成框架构建单元720用于以CycleGAN为基准，通过增加用于鉴别MR器官区域的多尺度MR器官区域判别器和/或用于鉴别MR病灶区域的多尺度MR病灶区域判别器，形成跨模态生成框架；
损失函数构建单元730用于在CycleGAN原有损失函数的基础上，增加基于MR器官区域的对抗损失函数和/或基于MR病灶区域的对抗损失函数，形成跨模态生成框架的总损失函数；
参数优化单元740用于将样本数据输入至跨模态生成框架，利用总损失函数对跨模态生成框架进行参数优化，参数优化后，CycleGAN包含的生成器用于医学图像的跨模态生成。
实施例中，数据获取和处理单元710还用于从CT图像中构建CT器官区域掩码、CT病灶区域掩码，补充到样本数据中；
跨模态生成框架构建单元720还用于在构建的跨模态生成框架中，还增加有用于鉴别CT器官区域的多尺度CT器官区域判别器和/或用于鉴别CT病灶区域的多尺度CT病灶区域判别器，形成新跨模态生成框架；
损失函数构建单元730还用于在跨模态生成框架总损失函数的基础上，增加基于CT器官区域的对抗损失函数和/或基于CT病灶区域的对抗损失函数，形成新总损失函数；
参数优化单元740还用于将样本数据输入至新跨模态生成框架，利用新总损失函数对新跨模态生成框架进行参数优化，参数优化后，CycleGAN包含的生成器用于医学图像的跨模态生成。
需要说明的是，上述实施例提供的确定性引导的渐进式医学图像跨模态生成装置在进行渐进式医学图像跨模态生成时，应以上述各功能单元的划分进行举例说明，可以根据需要将上述功能分配由不同的功能单元完成，即在终端或服务器的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。另外，上述实施例提供的确定性引导的渐进式医学图像跨模态生成方法实施例属于同一构思，其具体实现过程详见确定性引导的渐进式医学图像跨模态生成方法实施例，这里不再赘述。
基于同样的发明构思，实施例还提供了一种计算设备，包括存储器、处理器以及存储在存储器中并在处理器上执行的计算机程序，处理器执行所述计算机程序时实现上述渐进式医学图像跨模态生成方法。
实际应用中，存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现渐进式医学图像跨模态生成方法步骤。
基于同样的发明构思，实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理执行时实现上述渐进式医学图像跨模态生成方法。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (21)

1.一种基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，包括由CT图像到MR图像生成过程的确定性引导，包括以下步骤：
获取对同一部位拍摄的真实CT图像和真实MR图像，并对真实CT图像和真实MR图像进行预处理以构建包含真实CT和真实MR的图像对、MR器官区域掩码、MR病灶区域掩码，并形成样本数据；
以CycleGAN为基准，通过增加用于鉴别MR器官区域的多尺度MR器官区域判别器和/或用于鉴别MR病灶区域的多尺度MR病灶区域判别器，形成跨模态生成框架；
在CycleGAN原有损失函数的基础上，增加基于MR器官区域的对抗损失函数和/或基于MR病灶区域的对抗损失函数，形成跨模态生成框架的总损失函数；
将样本数据输入至跨模态生成框架，利用总损失函数对跨模态生成框架进行参数优化，参数优化后，CycleGAN包含的生成器用于医学图像的跨模态生成。
2.根据权利要求1所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，所述对CT图像和MR图像进行预处理，包括：真实CT图像和真实MR图像的刚性配准、归一化处理。
3.根据权利要求1所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，所述CycleGAN包含第一生成器、第二生成器和第一整体判别器，其中，第一生成器用于根据真实CT得到生成MR，第二生成器用于根据生成MR得到重建CT，第一整体判别器用于根据输入的生成MR和真实MR进行MR的鉴别。
4.根据权利要求1所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，所述多尺度MR器官区域判别器的输入包括MR器官区域掩码、CycleGAN基于真实CT得到的生成MR、真实MR，用于依据MR器官区域掩码和生成MR对MR器官区域的鉴别，得到第一MR器官区域鉴别结果，还用于依据MR器官区域掩码和真实MR对MR器官区域的鉴别，得到第二MR器官区域鉴别结果。
5.根据权利要求4所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，所述基于MR器官区域的对抗损失函数包括：基于第一MR器官区域鉴别结果构建的L2损失，基于第一MR器官区域鉴别结果和第二MR器官区域鉴别结果构建的L2损失。
6.根据权利要求4所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，所述多尺度MR器官区域判别器依据不同图像尺度进行MR器官区域鉴别，并将不同图像尺度的鉴别结果做平均作为多尺度MR器官区域判别器输出的最终鉴别结果，其中，最终鉴别结果包括第一MR器官区域鉴别结果、第二MR器官区域鉴别结果。
7.根据权利要求6所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，所述多尺度MR器官区域判别器依据两个图像尺度进行MR器官区域鉴别，其中第一图像尺度为原图尺寸，第二图像尺度为对原图进行降采样得到原图的二分之一尺寸。
8.根据权利要求1所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，所述多尺度MR病灶区域判别器的输入包括MR病灶区域掩码、CycleGAN基于真实CT得到的生成MR、真实MR，用于依据MR病灶区域掩码和生成MR对MR病灶区域的鉴别，得到第一MR病灶区域鉴别结果，还用于依据MR病灶区域掩码和真实MR对MR病灶区域的鉴别，得到第二MR病灶区域鉴别结果。
9.根据权利要求8所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，所述基于MR病灶区域的对抗损失函数包括：基于第一MR病灶区域鉴别结果构建的L2损失，基于第一MR病灶区域鉴别结果和第二MR病灶区域鉴别结果构建的L2损失。
10.根据权利要求8所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，所述多尺度MR病灶区域判别器依据不同图像尺度进行MR病灶区域鉴别，并将不同图像尺度的鉴别结果做平均作为多尺度MR病灶区域判别器输出的最终鉴别结果，其中，最终鉴别结果包括第一MR病灶区域鉴别结果、第二MR病灶区域鉴别结果。
11.根据权利要求9所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，所述多尺度MR病灶区域判别器依据三个图像尺度进行MR病灶区域鉴别，其中第一图像尺度为原图尺寸，第二图像尺度为对原图进行降采样得到的原图的二分之一尺寸，第三图像尺度为对原图进行降采样得到的原图的四分之一尺寸。
12.根据权利要求1所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，还包括由MR图像到CT图像生成过程的确定性引导，包括以下步骤：
从CT图像中构建CT器官区域掩码、CT病灶区域掩码，补充到样本数据中；
在构建的跨模态生成框架中，还增加有用于鉴别CT器官区域的多尺度CT器官区域判别器和/或用于鉴别CT病灶区域的多尺度CT病灶区域判别器，形成新跨模态生成框架；
在跨模态生成框架原总损失函数的基础上，增加基于CT器官区域的对抗损失函数和/或基于CT病灶区域的对抗损失函数，形成新总损失函数；
将样本数据输入至新跨模态生成框架，利用新总损失函数对新跨模态生成框架进行参数优化，参数优化后，CycleGAN包含的生成器用于医学图像的跨模态生成。
13.根据权利要求12所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，所述CycleGAN还包含第二整体判别器，其中，第二生成器还用于根据真实MR得到生成CT，第一生成器还用于根据生成CT得到重建MR，第二整体判别器用于根据输入的生成CT和真实CT进行CT的鉴别。
14.根据权利要求12所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，所述多尺度CT器官区域判别器的输入包括CT器官区域掩码、CycleGAN基于真实MR得到的生成CT、真实CT，用于依据CT器官区域掩码和生成CT对CT器官区域的鉴别，得到第一CT器官区域鉴别结果，还用于依据CT器官区域掩码和真实CT对CT器官区域的鉴别，得到第二CT器官区域鉴别结果；
所述基于CT器官区域的对抗损失函数包括：基于第一CT器官区域鉴别结果构建的L2损失，基于第一CT器官区域鉴别结果和第二CT器官区域鉴别结果构建的L2损失。
15.根据权利要求12所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，所述多尺度CT病灶区域判别器的输入包括CT病灶区域掩码、CycleGAN基于真实MR得到的生成CT、真实CT，用于依据CT病灶区域掩码和生成CT对CT病灶区域的鉴别，得到第一CT病灶区域鉴别结果，还用于依据CT病灶区域掩码和真实CT对CT病灶区域的鉴别，得到第二CT病灶区域鉴别结果；
所述基于CT病灶区域的对抗损失函数包括：基于第一CT病灶区域鉴别结果构建的L2损失，基于第一CT病灶区域鉴别结果和第二CT病灶区域鉴别结果构建的L2损失。
16.根据权利要求12所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，所述多尺度CT器官区域判别器依据不同图像尺度进行CT器官区域鉴别，并将不同图像尺度的鉴别结果做平均作为多尺度CT器官区域判别器输出的最终鉴别结果，其中，最终鉴别结果包括第一CT器官区域鉴别结果、第二CT器官区域鉴别结果；
所述多尺度CT病灶区域判别器依据不同图像尺度进行CT病灶区域鉴别，并将不同图像尺度的鉴别结果做平均作为多尺度CT病灶区域判别器输出的最终鉴别结果，其中，最终鉴别结果包括第一CT病灶区域鉴别结果、第二CT病灶区域鉴别结果。
17.根据权利要求1或12所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成方法，其特征在于，病灶区域掩码的计算方式为：
在原病灶区域掩码中找到最左边、最右边、最上边、最下边的四个点，并基于这四个点计算中心点，然后计算中心点到原病灶区域掩码边缘的最远距离，最后以中心点为圆点，以最远距离+调整参数为半径的圆形区域为新病灶区域掩码，其中，病灶区域掩码包括MR病灶区域掩码和CT病灶区域掩码。
18.一种基于深度学习的确定性引导的渐进式医学图像跨模态生成装置，其特征在于，包括数据获取和处理单元、跨模态生成框架构建单元、损失函数构建单元以及参数优化单元，
所述数据获取和处理单元用于获取对同一部位拍摄的真实CT图像和真实MR图像，并对真实CT图像和真实MR图像进行预处理以构建包含真实CT和真实MR的图像对、MR器官区域掩码、MR病灶区域掩码，并形成样本数据；
所述跨模态生成框架构建单元用于以CycleGAN为基准，通过增加用于鉴别MR器官区域的多尺度MR器官区域判别器和/或用于鉴别MR病灶区域的多尺度MR病灶区域判别器，形成跨模态生成框架；
所述损失函数构建单元用于在CycleGAN原有损失函数的基础上，增加基于MR器官区域的对抗损失函数和/或基于MR病灶区域的对抗损失函数，形成跨模态生成框架的总损失函数；
所述参数优化单元用于将样本数据输入至跨模态生成框架，利用总损失函数对跨模态生成框架进行参数优化，参数优化后，CycleGAN包含的生成器用于医学图像的跨模态生成。
19.如权利要求18所述的基于深度学习的确定性引导的渐进式医学图像跨模态生成装置，其特征在于，所述数据获取和处理单元还用于从CT图像中构建CT器官区域掩码、CT病灶区域掩码，补充到样本数据中；
所述跨模态生成框架构建单元还用于在构建的跨模态生成框架中，还增加有用于鉴别CT器官区域的多尺度CT器官区域判别器和/或用于鉴别CT病灶区域的多尺度CT病灶区域判别器，形成新跨模态生成框架；
所述损失函数构建单元还用于在跨模态生成框架总损失函数的基础上，增加基于CT器官区域的对抗损失函数和/或基于CT病灶区域的对抗损失函数，形成新总损失函数；
所述参数优化单元还用于将样本数据输入至新跨模态生成框架，利用新总损失函数对新跨模态生成框架进行参数优化，参数优化后，CycleGAN包含的生成器用于医学图像的跨模态生成。
20.一种计算设备，包括存储器、处理器以及存储在所述存储器中并在所述处理器上执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-17任一项所述的渐进式医学图像跨模态生成方法。
21.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理执行时实现权利要求1-17任一项所述的渐进式医学图像跨模态生成方法。
CN202211468324.9A 2022-11-22 2022-11-22 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置 Pending CN115830163A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211468324.9A CN115830163A (zh) 2022-11-22 2022-11-22 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211468324.9A CN115830163A (zh) 2022-11-22 2022-11-22 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置

Publications (1)

Publication Number Publication Date
CN115830163A true CN115830163A (zh) 2023-03-21

Family

ID=85530346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211468324.9A Pending CN115830163A (zh) 2022-11-22 2022-11-22 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置

Country Status (1)

Country Link
CN (1) CN115830163A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128876A (zh) * 2023-04-04 2023-05-16 中南大学 一种基于异构域的医学图像分类方法和系统
CN116402865A (zh) * 2023-06-06 2023-07-07 之江实验室 一种利用扩散模型的多模态影像配准方法、装置和介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128876A (zh) * 2023-04-04 2023-05-16 中南大学 一种基于异构域的医学图像分类方法和系统
CN116402865A (zh) * 2023-06-06 2023-07-07 之江实验室 一种利用扩散模型的多模态影像配准方法、装置和介质
CN116402865B (zh) * 2023-06-06 2023-09-15 之江实验室 一种利用扩散模型的多模态影像配准方法、装置和介质

Similar Documents

Publication Publication Date Title
Yi et al. Generative adversarial network in medical imaging: A review
US11379985B2 (en) System and computer-implemented method for segmenting an image
RU2677764C2 (ru) Координатная привязка медицинских изображений
CN115830163A (zh) 基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置
Jyothi et al. Deep learning models and traditional automated techniques for brain tumor segmentation in MRI: a review
JP2018139693A (ja) 画像分類装置、方法およびプログラム
WO2004013811A2 (en) Image segmentation using jensen-shannon divergence and jensen-renyi divergence
CN112348908A (zh) 用于医学成像中分段的基于形状的生成对抗网络
CN110559009A (zh) 基于gan的多模态低剂量ct转换高剂量ct的方法、系统及介质
Angkoso et al. Multiplane Convolutional Neural Network (Mp-CNN) for Alzheimer’s Disease Classification.
Boutillon et al. Combining shape priors with conditional adversarial networks for improved scapula segmentation in MR images
CN116612174A (zh) 软组织的三维重建方法、系统及计算机存储介质
Zhou et al. 3D segmentation guided style-based generative adversarial networks for pet synthesis
CN116452618A (zh) 一种三输入脊柱ct图像分割方法
Yang et al. An effective MR-guided CT network training for segmenting prostate in CT images
Wang et al. IGNFusion: an unsupervised information gate network for multimodal medical image fusion
Yin et al. CoT-UNet++: A medical image segmentation method based on contextual Transformer and dense connection
Wang et al. Accurate lung nodule segmentation with detailed representation transfer and soft mask supervision
Song et al. A survey of deep learning based methods in medical image processing
Rastgarpour et al. The status quo of artificial intelligence methods in automatic medical image segmentation
Liu et al. Multiple organ localization in dual-modality pet/ct images based on transformer network with one-to-one object query
Chen et al. Deep learning-based tooth segmentation methods in medical imaging: A review
Zhou et al. GMRE-iUnet: Isomorphic Unet fusion model for PET and CT lung tumor images
Vlontzos et al. 3D probabilistic segmentation and volumetry from 2D projection images
CN115578360B (zh) 一种针对超声心动图像的多目标语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination