CN115587924A - 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法 - Google Patents

一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法 Download PDF

Info

Publication number
CN115587924A
CN115587924A CN202211220715.9A CN202211220715A CN115587924A CN 115587924 A CN115587924 A CN 115587924A CN 202211220715 A CN202211220715 A CN 202211220715A CN 115587924 A CN115587924 A CN 115587924A
Authority
CN
China
Prior art keywords
images
network
mask
training
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211220715.9A
Other languages
English (en)
Inventor
文颖
王梓成
王雯
李占领
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AVCON INFORMATION TECHNOLOGY CO LTD
East China Normal University
Original Assignee
AVCON INFORMATION TECHNOLOGY CO LTD
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AVCON INFORMATION TECHNOLOGY CO LTD, East China Normal University filed Critical AVCON INFORMATION TECHNOLOGY CO LTD
Priority to CN202211220715.9A priority Critical patent/CN115587924A/zh
Publication of CN115587924A publication Critical patent/CN115587924A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明揭示了一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，包括如下步骤：图像划分，随机选取第一比例的原图组成训练集，其余第二比例的原图组成带有真值的测试集；图像预处理，将训练集和测试集中所有图像的灰度归一化；网络构建，选择循环生成对抗网络作为整体网络架构,构建自适应掩膜网络；网络训练，利用训练集中预处理后的图像进行网络训练；质量测试，将测试集中预处理后的图像输入至上述训练好的网络，对测试集中的图像进行模态转换，得到转换后的图像，并与真值进行比较。本发明能够实现模态转换后的结果可以同时拥有目标域的模态属性和参考图的外观灰度属性，同时保证图像转换前后拓扑结构的一致性。

Description

一种基于循环生成对抗网络的自适应掩膜引导的图像模态转 换方法
技术领域
本发明涉及图像处理领域，特别是涉及一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法。
背景技术
图像之间的模态转换是现阶段深度学习领域重点研究的任务之一。在该任务中我们将一幅图像从一个模态映射到该图像对应的另一个模态，例如通过MR脑图像的T1模态得到该脑图像的T2模态图。Zhu等人在2017年提出了图像到图像的转换网络，将条件生成对抗网络运用在图像转换任务中；同年Zhu等人在此基础上提出了循环生成对抗网络(CycleGAN)，通过额外添加一对生成器和判别器构成循环一致结构并在训练阶段增加循环一致损失，彻底解决了图像到图像转换任务需要真值的问题，做到了无监督的图像模态转换。
然而，现有的利用CycleGAN等生成对抗网络模型做医学图像模态转换的工作往往不能保证转换前后的医学图像拓扑结构严格一致，而且转换结果只有一种灰度特征，但是真实情况是不同的设备和参数可能会产生多种多样的灰度特征，存在一定的缺陷。
发明内容
本发明的目的在于，提供一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，以实现模态转换后的结果可以同时拥有目标域的模态属性和参考图的外观灰度属性，同时保证图像转换前后拓扑结构的一致性。
为解决上述技术问题，本发明提供一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，包括如下步骤：
图像划分，随机选取第一比例的原图组成训练集，其余第二比例的原图组成带有真值的测试集；
图像预处理，将训练集和测试集中所有图像的灰度归一化；
网络构建，网络构建，选择循环生成对抗网络作为整体网络架构,构建自适应掩膜网络；
网络训练，利用训练集中预处理后的图像进行网络训练；
质量测试，将测试集中预处理后的图像输入至上述训练好的网络，对测试集中的图像进行模态转换，得到转换后的图像，并与真值进行比较。
进一步的，所述整体网络架构包括掩膜特征生成模块、Unet编解码器以及PatchGAN判别器。
进一步的，所述网络训练的具体步骤包括：
将训练集输入到Unet编解码器做特征提取，在跳跃连接处得到多尺度特征图；
将掩膜特征生成模块插入到Unet编解码器的跳跃连接处对测试集的多尺度特征图进行调制，获得多尺度掩膜特征图；
将得到的多尺度掩膜特征图在Unet编解码器的解码阶段逐步融合，并通过卷积变成单通道的自适应掩膜，将其与原图直接相加得到转换图；
将生成的转换图作为假样本，从测试集中随机选择一张图作为真样本，固定生成器的同时训练判别器，使其能判断输入图像的真假；然后固定判别器，训练生成器使其生成的转换图无法被判别器判断真假，按照生成对抗网络训练方式重复以上步骤。
进一步的，所述训练集以及所述测试集数据包括两个模态，同一个数据的两个模态之间的差异只存在与外观灰度，且拓扑结构一致。
进一步的，所述掩膜特征生成模块有三个输入，分别是：输入待调制特征图、待转换原图和参考图。
进一步的，所述掩膜特征生成模块根据输入待调制特征图的尺度对待转换原图做插值操作并在相同尺度做特征提取。
进一步的，所述多尺度特征图调制步骤包括如下步骤：
根据输入的待调制特征图尺度将原图插值到与输入向量相同尺度然后送入CNN提取该尺度的调制掩膜特征图，并通过卷积调制掩膜特征图分别得到均值、方差矩阵；
将参考图输入预训练的VGG网络得到相同尺度的参考特征图，并计算其均值和方差；
利用得到的均值、方差对均值方差矩阵做自适应实例归一化；
最后将均值、方差矩阵与调制掩膜特征图做空间自适应归一化得到多尺度掩膜特征图。
进一步的，所述转换图是由掩膜与原图直接相加得到的。
相比于现有技术，本发明至少具有以下有益效果：
本发明提出的自适应掩膜生成模块使构建的掩膜可以自适应地根据特定的参考图对医学图像进行外观调整，使模态转换后的结果可以同时拥有目标域的模态属性和参考图的外观灰度属性，该模块可以灵活地嵌入任意特征提取网络中工作。另外通过掩膜引导的医学图像模态转换方法可以使医学图像完成模态转换的同时保持解剖结构严格一致。
附图说明
图1为本发明基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法的流程图；
图2为本发明基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法的模态转换网络结构示意图；
图3为本发明基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法的模态转换网络中MFGM模块示意图；
图4为本发明基于循环生成对抗网络的自适应掩膜引导的循环对抗网络架构图；
图5为本发明基于循环生成对抗网络的自适应掩膜引导的转换结果对比示意图；
图6为本发明基于循环生成对抗网络的自适应掩膜引导的不同参考图对应得转换结果示意图。
具体实施方式
下面将结合示意图对本发明的基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
如图1所示，本发明实施例提出了一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，包括如下步骤：
图像划分，随机选取第一比例的原图组成训练集，其余第二比例的原图组成带有真值的测试集；
图像预处理，将训练集和测试集中所有图像的灰度归一化；
网络构建，网络构建，选择循环生成对抗网络作为整体网络架构,构建自适应掩膜网络；
网络训练，利用训练集中预处理后的图像进行网络训练；
质量测试，将测试集中预处理后的图像输入至上述训练好的网络，对测试集中的图像进行模态转换，得到转换后的图像，并与真值进行比较。
以下列举所述基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法的在医学图像处理中的较优实施例，以清楚的说明本发明的内容，应当明确的是，本发明的内容并不限制于以下实施例，其他通过本领域普通技术人员的常规技术手段的改进亦在本发明的思想范围之内。
S100、将图像划分成训练集和测试集。
具体的，以第一比例60％为例，则第二比例为40％，随机选取60％待转换图像组成训练集，其余40％组成有真值的测试集，真值是目标域中待转换图像的对应图像。可以理解的是，所述第一比例和第二比例还可以是其他值，例如第一比例可以介于50％以上。
S200、预处理所有图像。
具体的，由于MR图像在采集的过程中存在设备不同，设备参数不同，受到的光照不同等问题导致图像的灰度不均匀，较大的灰度差异将会影响特征的提取和识别，所以在预处理阶段需要将所有图像的灰度做归一化处理。假设I图像(x,y)为其中的像素点，利用灰度拉伸的方法按照下述a式将其中每个像素点变换到0～1之间，得到归一化后的图像I′：
Figure BDA0003877944340000051
式中：max(I)和min(I)分别表示计算图像I中所有像素点中的最大灰度值和最小灰度值。
S300、构建一个编码-解码结构的分割网络。
具体的，选择Unet结合掩膜特征生成模块(MFGM)作为循环生成对抗网络的生成器，在Unet的跳跃连接处嵌入我们提出掩膜特征生成模块(MFGM)。广泛应用于医学图像深度学习领域的Unet具有多级跳跃连接的编解码结构，能够融合多尺度特征，因此它更适合生成与待转换图像解剖结构一致的掩膜。选择PatchGAN结构作为判别器，该判别器由3个由卷积层、实例归一化层、激活层按序组成的卷积块构成，激活层使用LeakyReLU激活函数。输出是一个N×N×1的张量，其中N＝16，通过这个张量的均值来判断图像是否为真实图像。
S400、利用训练集中预处理后的图像训练网络。具体训练步骤如下：
S401、模态转换网络中的生成器采用Unet编解码结构做基础特征提取网络，将掩膜特征生成模块插入到编码器的跳跃连接结构处对待转换图的多尺度特征进行处理，假定Unet的跳跃连接层数为L，则在编码阶段可以得到L个跳跃连接特征图
Figure BDA0003877944340000061
S402、将在编码阶段得到的L个特征图分别输入MFGM模块，在模块中融合待转换原图的解剖结构特征和参考图的灰度特征从而得到不同尺度的编码跳跃连接掩膜特征图
Figure BDA0003877944340000062
其计算如下述b式：
Figure BDA0003877944340000063
式中：I是待转换的原图，R是任意选取的目标域中的参考图。
参阅图2，Unet中嵌入了多个MFGM模块，每个模块可以共用相同的I和R。编码阶段产生的L个跳跃连接掩膜特征图将会从解码部分的底端逐步解码并叠加产生最后的掩膜特征图
Figure BDA0003877944340000064
其中
Figure BDA0003877944340000065
计算如下述c式：
Figure BDA0003877944340000066
式中：up表示插值上采样，conv表示3×3卷积，
Figure BDA0003877944340000067
表示张量在通道维度进行拼接，上式中缺少的
Figure BDA0003877944340000068
其中
Figure BDA0003877944340000069
为Unet底部提取的特征图。
参阅图3，MFGM模块需要对一张特征图进行空间自适应归一化调制，使其既能拥有待转换原图的拓扑结构又能融合参考图的灰度特征，因此在该模块的输入中除了有输入的待调制特征图，还有待转换的原图I和参考图R。假设一个输入特征张量Fn,c,y,x，在MFGM中的计算过程如下d式：
Figure BDA00038779443400000610
式中：N表示输入特征图的批数量，C表示通道数，H，W表示高度和宽度。γn,c,y,x(I,R)和βn,c,y,x(I,R)是通过待转换图和参考图学习得到的调制参数，他们与待调制特征图具有相同的尺度，μc和σc是输入特征图按通道c计算的均值和方差。均值方差的计算过程如下e，f式：
Figure BDA0003877944340000071
Figure BDA0003877944340000072
γn,c,y,x和βn,c,y,x是空间自适应归一化调制需要用到的两个参量。一方面，由于他们是通过将待转换的原图卷积得到的张量，因此包含原图的拓扑信息。另一方面，在其计算过程中通过自适应实例归一化方法(Adain)将参考图的风格属性融合到这两个参量中，因此包含参考图的灰度属性。他们的计算过程如下g，h式：
Figure BDA0003877944340000073
Figure BDA0003877944340000074
Iγk,Iβk＝conv(reshape(I))
Rfi＝VGG(R),i＝1,2,…,L
式中Iγk,Iβk分别是通过将待转换图I通过双线性插值变成与输入待调制特征图相同的尺度然后卷积得到得均值、方差矩阵；μn,c和σn,c表示Iγk,Iβk按批数量n和通道c计算的均值和方差，他们的计算过程类似于式e、f；Rfi表示将参考图通过预训练的VGG网络得到的L个特征图中的第i个，要求他的尺度同样与待调制特征图相同βn,c和σn,c表示按批数量n和通道c计算的均值和方差，他们的计算过程类似于式e、f。
S403、：当得到编码端和解码端的掩膜特征图
Figure BDA0003877944340000075
和
Figure BDA0003877944340000076
后，将其按通道拼接并输入1×1卷积生成通道数为1的掩膜，最后将其与待转换的原图I直接相加就生成了模态转换图I′,计算过程如下I式：
Figure BDA0003877944340000077
式中conv表示1×1卷积，
Figure BDA0003877944340000078
表示张量拼接操作。
参阅图4，循环生成对抗网络由两个生成器，两个判别器组成，其中的生成器就是模态转换网络，交替式地训练生成器和判别器。
S404、：将生成的转换后图像作为假样本，从目标域中随机选择一张图作为真样本，固定生成器的同时训练判别器，使其能判断输入图像的真假；然后固定判别器，训练生成器使其生成的图像无法被判别器判断真假。按照传统的生成对抗网络训练方式重复以上步骤。训练过程中主要优化的目标函数是生成对抗损失、循环一致损失和风格相似度损失。生成对抗损失如下j，k式：
Figure BDA0003877944340000081
Figure BDA0003877944340000082
式中：GX→Y表示X模态到Y模态的转换网络，GY→X同理；DY表示判别器，判断图片是否属于Y模态，DX同理。
循环一致损失如下l式：
Figure BDA0003877944340000083
风格相似度损失是通过约束生成图和参考图通过VGG网络生成特征图的均值、方差相似度构成的，如下n，m式：
Figure BDA0003877944340000084
Figure BDA0003877944340000085
式中μn,c表示计算张量的均值；σn,c表示计算张量的方差；VGG表示用预训练的VGG网络做特征提取。
总的损失函数是以上损失函数的和，如下o式：
Figure BDA0003877944340000086
式中的λ为各部分损失函数的权重值，λ1取10，λ2取5，λ3取0.5。
通过前向传播计算Lall，并通过反向传播更新模型参数，直到目标函数收敛才停止训练。
S405、：利用训练好的网络对测试集中的图像进行模态转换。
将测试集中预处理后的图像输入上述训练好的网络，重复S401～S403步骤，对测试集中的图像进行模态转换，得到转后的图像与真值进行比较，测试MAE，SSIM，PSNR等指标。
参阅图5，其中图5(a)为Brats18数据库中T1模态待转换图像；图5(b)是用CycleGAN(Zhu等人在ICCV2017发表)得到的转换结果；图5(c)是用Drit(Lee等人在IJCV2019发表)得到的转换结果；图5(d)是用本发明得到的转换结果；图5(e)是带转换图的T2模态真值，可以看出本发明的转换结果与真实结果更加接近，并且拓扑结构保持的更好。
参阅图6，其中示意图第1行为具有不同灰度特征的T2模态参考图；示意图第2行第1张图为待转换图原图；示意图第2行第2～5是利用本发明的模型，并根据第1行的不同参考图生成的对应T2模态转换图，他们既属于T2模态，又与参考图的灰度属性保持一致。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，其特征在于，包括如下步骤：
图像划分，随机选取第一比例的原图组成训练集，其余第二比例的原图组成带有真值的测试集；
图像预处理，将训练集和测试集中所有图像的灰度归一化；
网络构建，选择循环生成对抗网络作为整体网络架构,构建自适应掩膜网络；
网络训练，利用训练集中预处理后的图像进行网络训练；
质量测试，将测试集中预处理后的图像输入至上述训练好的网络，对测试集中的图像进行模态转换，得到转换后的图像，并与真值进行比较。
2.如权利要求1所述的基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，其特征在于，所述整体网络架构包括掩膜特征生成模块、Unet编解码器以及PatchGAN判别器。
3.如权利要求1所述的基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，其特征在于，所述网络训练的具体步骤包括：
将训练集输入到Unet编解码器做特征提取，在跳跃连接处得到多尺度特征图；
将掩膜特征生成模块插入到Unet编解码器的跳跃连接处对测试集的多尺度特征图进行调制，获得多尺度掩膜特征图；
将得到的多尺度掩膜特征图在Unet编解码器的解码阶段逐步融合，并通过卷积变成单通道的自适应掩膜，将其与原图直接相加得到转换图；
将生成的转换图作为假样本，从测试集中随机选择一张图作为真样本，固定生成器的同时训练判别器，使其能判断输入图像的真假；然后固定判别器，训练生成器使其生成的转换图无法被判别器判断真假，按照生成对抗网络训练方式重复以上步骤。
4.如权利要求1所述的基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，其特征在于，所述训练集以及所述测试集数据包括两个模态，同一个数据的两个模态之间的差异只存在与外观灰度，且拓扑结构一致。
5.如权利要求3所述的基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，其特征在于，所述掩膜特征生成模块有三个输入，分别是：输入待调制特征图、待转换原图和参考图。
6.如权利要求3所述的基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，其特征在于，所述掩膜特征生成模块根据输入待调制特征图的尺度对待转换原图做插值操作并在相同尺度做特征提取。
7.如权利要求3所述的基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，其特征在于，所述多尺度特征图调制步骤包括如下步骤：
根据输入的待调制特征图尺度将原图插值到与输入向量相同尺度然后送入CNN提取该尺度的调制掩膜特征图，并通过卷积调制掩膜特征图分别得到均值、方差矩阵；
将参考图输入预训练的VGG网络得到相同尺度的参考特征图，并计算其均值和方差；
利用得到的均值、方差对均值方差矩阵做自适应实例归一化；
最后将均值、方差矩阵与调制掩膜特征图做空间自适应归一化得到多尺度掩膜特征图。
8.如权利要求3所述的基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法，其特征在于，所述转换图是由掩膜与原图直接相加得到的。
CN202211220715.9A 2022-10-08 2022-10-08 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法 Pending CN115587924A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211220715.9A CN115587924A (zh) 2022-10-08 2022-10-08 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211220715.9A CN115587924A (zh) 2022-10-08 2022-10-08 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法

Publications (1)

Publication Number Publication Date
CN115587924A true CN115587924A (zh) 2023-01-10

Family

ID=84773415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211220715.9A Pending CN115587924A (zh) 2022-10-08 2022-10-08 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法

Country Status (1)

Country Link
CN (1) CN115587924A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012258A (zh) * 2023-02-14 2023-04-25 山东大学 一种基于循环生成对抗网络的图像和谐化方法
CN117437514A (zh) * 2023-12-22 2024-01-23 南昌航空大学 一种基于CycleGan的阴道镜图像模态转换方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012258A (zh) * 2023-02-14 2023-04-25 山东大学 一种基于循环生成对抗网络的图像和谐化方法
CN116012258B (zh) * 2023-02-14 2023-10-13 山东大学 一种基于循环生成对抗网络的图像和谐化方法
CN117437514A (zh) * 2023-12-22 2024-01-23 南昌航空大学 一种基于CycleGan的阴道镜图像模态转换方法
CN117437514B (zh) * 2023-12-22 2024-04-05 南昌航空大学 一种基于CycleGan的阴道镜图像模态转换方法

Similar Documents

Publication Publication Date Title
CN115587924A (zh) 一种基于循环生成对抗网络的自适应掩膜引导的图像模态转换方法
CN113240580A (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN108629291B (zh) 一种抗网格效应的人脸深度预测方法
CN112233012B (zh) 一种人脸生成系统及方法
CN110136122B (zh) 一种基于注意力深度特征重建的脑mr图像分割方法
CN110853110A (zh) 一种基于生成对抗网络的图片自动调色方法
CN112991371B (zh) 一种基于着色溢出约束的图像自动着色方法及系统
CN111210382A (zh) 图像处理方法、装置、计算机设备和存储介质
CN117079105B (zh) 遥感图像空谱融合方法、装置、电子设备及存储介质
CN113822953A (zh) 图像生成器的处理方法、图像生成方法及装置
CN114820871A (zh) 字体生成方法、模型的训练方法、装置、设备和介质
KR102537207B1 (ko) 머신 러닝에 기반한 이미지 처리 방법 및 장치
CN118015283B (zh) 图像分割方法、装置、设备和存储介质
CN112580728A (zh) 一种基于强化学习的动态链路预测模型鲁棒性增强方法
CN114037770B (zh) 一种基于离散傅里叶变换的注意力机制的图像生成方法
CN113888399B (zh) 一种基于风格融合与域选结构的人脸年龄合成方法
CN111564205A (zh) 一种病理图像染色归一化方法及装置
CN113160041A (zh) 一种模型训练方法及模型训练装置
CN115860113B (zh) 一种自对抗神经网络模型的训练方法及相关装置
KR102228128B1 (ko) 자기조직 생성망 학습 방법 및 시스템
CN113538254A (zh) 图像恢复方法、装置、电子设备及计算机可读存储介质
CN111275751A (zh) 一种无监督绝对尺度计算方法及系统
CN115100435B (zh) 基于有限数据多尺度目标学习的图像着色方法及其系统
Molnár et al. Representation learning for point clouds with variational autoencoders
CN115688234A (zh) 一种基于条件卷积的建筑布局生成方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination