CN113807497A - 一种增强纹理细节的非配对图像翻译方法 - Google Patents

一种增强纹理细节的非配对图像翻译方法 Download PDF

Info

Publication number
CN113807497A
CN113807497A CN202111025168.4A CN202111025168A CN113807497A CN 113807497 A CN113807497 A CN 113807497A CN 202111025168 A CN202111025168 A CN 202111025168A CN 113807497 A CN113807497 A CN 113807497A
Authority
CN
China
Prior art keywords
image
generator
translation
image translation
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111025168.4A
Other languages
English (en)
Other versions
CN113807497B (zh
Inventor
解梅
段国祯
马争
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111025168.4A priority Critical patent/CN113807497B/zh
Publication of CN113807497A publication Critical patent/CN113807497A/zh
Application granted granted Critical
Publication of CN113807497B publication Critical patent/CN113807497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种增强纹理细节的非配对图像翻译方法，属于计算机图像处理技术领域。本发明首先构建图像翻译的生成对抗网络模型，并对所述生成对抗网络模型进行网络参数训练；其中，生成对抗网络模型包括两个生成器和两个鉴别器，构成循环一致性生成对抗网络，而生成器依次包括编码器、转换器和解码器，该编码器依次包括卷积堆叠结构和空洞卷积堆叠结构，转换器为若干个残差块构成的堆叠结构，解码器包括若干反卷积层和一层全连接层。对待翻译图像进行图像预处理再输入对应的生成器中获取图像翻译结果。本发明可以在完成图像翻译任务的基础上有效改善生成目标域图像的纹理细节，实现更加逼真的非配对图像翻译。

Description

一种增强纹理细节的非配对图像翻译方法
技术领域
本发明涉及计算机图像处理技术，具体涉及一种增强纹理细节的非配对图像翻译方法。
背景技术
图像翻译广泛应用于超分辨率、图像修复、图像风格迁移等领域，其旨在学习源域输入图像与目标域输出图像之间的映射关系，从而将一个物体的图像表征转换为该物体的另一种图像表征。传统方法要求手工设计图像的特征，例如形状、纹理和边缘。当数据量较大时，手工设计图像特征的工作强度非常大，导致效率低下。此外，采用传统方法建立的数学模型基本上只能用于某一特定场景，这给实际应用带来了很大的局限性。
由于深度学习的发展，采用生成对抗网络来实现图像翻译成为一个热门的研究方向。通过训练，生成对抗网络可以自动学习训练图像的数据分布特征，并生成具有相似特征的目标域图像。然而，在许多图像翻译任务中，需要处理的图像不是成对的。例如，如果想把马转换成斑马，在现实生活中很难获得配对的真实照片。
研究人员提出了许多非配对的图像翻译方法，例如通过加入循环一致损失解决图像翻译任务中的解空间过大的问题，强制要求源域图像与目标域图像能够互相转换，从而不需要二者一一对应。但由于配对关系的缺失，主要关注图像的整体翻译导致了图像的真实性降低。
发明内容
本发明所要解决的技术问题是，提出一种通过改善图像翻译过程中所得目标域图像的真实性来提高非配对图像翻译质量的方法。
本发明采用的技术方案为：
一种增强纹理细节的非配对图像翻译方法，包括下列步骤：
步骤1：构建图像翻译的生成对抗网络模型，并对所述生成对抗网络模型进行网络参数训练；
所述生成对抗网络模型包括两个生成器和两个鉴别器，构成循环一致性生成对抗网络CycleGAN，其中，生成器包括依次连接的编码器、转换器和解码器；
所述编码器用于图像的下采样处理，依次包括：若干层标准卷积层构成的卷积堆叠结构和若干层空洞卷积层构成的空洞卷积堆叠结构；
所述转换器为若干个残差块构成的堆叠结构；
所述解码器用于图像的上采样处理，依次包括若干反卷积层和一层全连接层，其中，反卷积层的层数与编码器的标准卷积层的层数相对应，所述全连接层采用双曲正切激活函数；
步骤2：从训练后的两个生成器中选择与翻译目标对应的生成器作为图像翻译生成器，对待翻译图像进行图像预处理以使得待翻译图像与所述图像翻译生成器的输入相匹配，再将图像预处理后的待翻译图像输入图像翻译生成器，基于其输出得到图像翻译结果。
进一步的，所述空洞卷积堆叠结构为锯齿形空洞卷积堆叠结构。
进一步的，步骤1中，对所述生成对抗网络模型进行网络参数训练时，采用的损失函数为：
Figure BDA0003243084430000021
其中，
Figure BDA0003243084430000022
表示生成对抗网络模型的总损失，
Figure BDA0003243084430000023
表示循环一致损失，
Figure BDA0003243084430000024
表示身份映射损失，
Figure BDA0003243084430000025
表示对抗性损失，λM表示循环一致损失
Figure BDA0003243084430000026
的系数，λi表示身份映射损失
Figure BDA0003243084430000027
的系数，X表示源域，Y表示目标域，G、F分别表示第一生成器和第二生成器的映射，DX，DY分别表示关于X、Y的鉴别器。
且有：
Figure BDA0003243084430000028
Figure BDA0003243084430000029
Figure BDA00032430844300000210
Figure BDA00032430844300000211
其中，x表示源域X的个体，y表示目标域Y的个体，G()、F()分别表示第一生成器的输出，即生成器输出的生成图像，
Figure BDA00032430844300000212
表示MS-SSIM损失，
Figure BDA00032430844300000213
表示高斯分布参数，α表示比例系数，
Figure BDA00032430844300000214
表示L1损失(即将目标值与估计值的绝对差值的总和最小化)；
Figure BDA00032430844300000215
表示数学期望，pdata()表示括号中对象的分布，||||1表示L1范数；DX()、DY()分别表示第一鉴别器和第二鉴别器的输出，其中，鉴别器的输入为生成器输出的生成图像，以及该生成图像所对应的真实图像。
本发明提供的技术方案至少带来如下有益效果：相比于主要关注图像整体翻译的方案，本发明可以在完成图像翻译任务的基础上有效改善生成目标域图像的纹理细节，实现更加逼真的非配对图像翻译。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的增强纹理细节的非配对图像翻译方法的网络整体框架示意图。
图2为本发明实施例提供的增强纹理细节的非配对图像翻译方法的生成器结构图。
图3为本发明实施例提供的增强纹理细节的非配对图像翻译方法的空洞卷积示意图。
图4为现有非配对图像翻译模型与本发明方法在Monet→Photo(油画→照片)数据集上的效果对比图(从上至下依次为输入图像，CycleGAN(循环一致性生成对抗网络)，MUNIT(多模态无监督)，DRIT(多模态解纠缠)，GcGAN(几何一致性生成对抗网络)以及本发明的生成图像)。
图5为现有非配对图像翻译模型与本发明方法在Cat→Dog(猫→狗)数据集上的效果对比图。
图6为现有非配对图像翻译模型与本发明方法在Label→Facade(标签→建筑物正面)数据集上的效果对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种增强纹理细节的非配对图像翻译方法，是一种将非配对的源域图像通过生成对抗网络模型转换为具有丰富纹理细节的目标域图像的图像处理技术。本发明实施例提供的增强纹理细节的非配对图像翻译方法，基于所构建的生成对抗网络模型实现非配对图像翻译方法，该生成对抗网络模型包括两个生成器与两个鉴别器，构成循环一致性生成对抗网络，如图1所示，其中，将源域到目标域的生成器定义为生成器_AB，将目标域到源域的的生成器定义为生成器_BA，两个生成器的结构相同；两个鉴别器的结构相同，并将对源域的鉴别器定义为鉴别器A，对目标域的鉴别器定义为鉴别器B。其中，生成器包括编码器(Encoder)、转换器(Converter)与解码器(Decoder)三部分，且所述编码器包括若干标准卷积层(Convolution)以及空洞卷积层(Dilated Convolution)，使输出特征图的大小保持不变，并且采用改进的循环一致损失作为损失函数，从而防止空间分辨率下降，更好地保留图像的纹理细节。图1中，图像A和B分别表示源域和目标域的图像。
参见图1，所构建的生成对抗网络模型的主体网络仍采用CycleGAN(循环一致性生成对抗网络)，但本发明实施例中，对传统生成器进行了改造，改进的生成器结构如图2所示，并提出了一种改进的循环一致损失函数用于训练。
其中，改进的生成器包括三个模块：编码器、转换器和解码器，经过下采样、转换然后上采样的过程实现对输入图像的整体翻译。其中，编码器包含若干标准卷积层以及空洞卷积层，每层卷积之后均采用批归一化处理并连接ReLU(分段线性)激活函数。编码器前部为若干标准卷积层，用于输入图像的下采样。其目标是使生成器在训练过程中保留更多的图像纹理细节，因此需要在不降低分辨率的情况下扩大感受野，故在标准卷积层下采样之后添加一系列(若干个)空洞卷积层，即多个空洞卷积层的堆叠结构构成空洞卷积块(Dilated Convolution block)。与普通卷积相比，空洞卷积层的卷积核增加了一个扩张率参数，使得相同大小的卷积核具有更大的感受野。同时，空洞卷积可以保持输出特征图的大小不变，从而防止空间分辨率下降，更好地保留图像的纹理细节。示例性的，可将空洞卷积层的层数设置为4层，如图2所示。
空洞卷积层的示意图如图3所示。同时，为了避免空洞卷积带来的网格效应问题，在一种可能的实现方式中，可采用锯齿形空洞卷积结构，例如，若采用三层空洞卷积层构型可将空洞率设置为1、2和5，若采用四层空洞卷积层构型则可将空洞率分别设置为1、2、5和9。
需要注意的是，空洞卷积层数并非越多越好，当采用过多的空洞卷积层时效果反而下降，生成图像丢失大量纹理细节。原因在于，较大的感受野适合检测和识别大型物体，但是，当图像中含有丰富的纹理时，必须保持分辨率并避免丢失细节，过大的感受野反而会降低模型的性能，并增加过拟合的风险。
转换器由一系列残差块组成，即若干个残差块的堆叠结构，用于将图像在源域中的特征向量转换为目标域中的特征向量。残差块数目由实际输入图像尺寸确定，当输入图像分辨率为128×128时优选采用6个残差块，当输入图像分辨率为256×256或更高时优选采用9个残差块。
解码器包含若干反卷积层及一层全连接层，用于从特征向量中还原出低级特征。反卷积层数与编码器中标准卷积层数相对应，每层反卷积之后同样采用批归一化处理并连接ReLU激活函数。最后跟随一层全连接层并采用Tanh(双曲正切)激活函数，从而输出生成图像。
对所构建的生成对抗网络模型进行训练网络参数训练，当满足预设的训练结束条件时，保存训练后的两个生成器。
从训练后的两个生成器中选择与翻译目标对应的生成器作为图像翻译生成器，对待翻译图像进行图像预处理(例如尺寸归一化处理)，以使得待翻译图像与所述图像翻译生成器的输入相匹配，再将图像预处理后的待翻译图像输入图像翻译生成器，基于其输出得到图像翻译结果。例如，当前需求时需要获得从对象A→B的翻译，则将训练后的生成器_AB作为图像翻译生成器，例如，训练时，生成器_AB是用于将猫转换为狗，则当需要获取“Cat→Dog”的翻译结果时，将生成器_AB作为图像翻译生成器。而当需要获取“Dog→Cat”的翻译结果时，则将生成器_BA作为图像翻译生成器。
为了进一步增强生成图像的纹理细节，在本发明实施例公开的增强纹理细节的非配对图像翻译方法中，提出了一种改进的循环一致损失，通过引入MS-SSIM(多尺度结构相似性指数)，综合比较生成图像与输入图像之间的亮度、对比度和结构差异，使生成图像更好地满足人类视觉感知。
其中，循环一致损失的表达式为：
Figure BDA0003243084430000051
其中，G:X→Y和F:Y→X为源域(X)与目标域(Y)之间的相互映射，x表示源域的个体，y表示目标域的个体，G()表示生成器_AB的输出，F()表示生成器_BA的输出，
Figure BDA0003243084430000052
表示数学期望，pdata()表示括号中对象的分布，||||1表示L1范数；
而改进的循环一致损失表达式为：
Figure BDA0003243084430000053
其中，G:X→Y和F:Y→X为源域(X)与目标域(Y)之间的相互映射，x表示源域的个体，
Figure BDA0003243084430000054
为高斯分布参数，α为比例系数，
Figure BDA0003243084430000055
为MS-SSIM损失，
Figure BDA0003243084430000056
为L_1损失(即将目标值与估计值的绝对差值的总和最小化)。优选的，将α设为0.84时性能最佳。
除改进的循环一致损失外，总损失函数还包括对抗性损失
Figure BDA0003243084430000057
与身份映射损失
Figure BDA0003243084430000058
其表达式分别为：
Figure BDA0003243084430000059
Figure BDA00032430844300000510
即在训练时，将目标域的个体y(图像)输入到生成器_AB中，得到G(y)，以及将源域的个体x输入到生成器_BA中，
因而，总损失函数可表示为：
Figure BDA00032430844300000511
其中，λM和λi为比例系数。由于本发明实施例的目标是在实现非配对图像翻译的同时保持更多的图像纹理细节，故而
Figure BDA00032430844300000512
最重要，可采用与CycleGAN相同的比例设置，将λM设为10，λi设为5。
为了进一步验证本发明实施例提供的增强纹理细节的非配对图像翻译方法的图像处理性能，通过测试对比进行说明。
如图4、图5和图6所示，将现有非配对图像翻译模型与本发明实施例提供的增强纹理细节的非配对图像翻译方法的翻译结果进行定性对比，图中虚线上方为输入图像，虚线下方从上至下依次为不同模型(最下方为本发明实施例的图像翻译方法)的测试结果及相应的放大的纹理细节图。
将现有非配对图像翻译模型与本发明网络翻译结果进行定量对比，评价指标采用FID(Fréchet Inception Distance)，所得结果为：
方法 Monet→Photo Cat→Dog Label→Facade
CycleGAN 139.38 95.70 166.20
MUNIT 163.70 113.14 135.08
DRIT 172.39 134.47 155.09
GcGAN 147.16 94.77 125.04
本发明 134.13 82.52 134.66
结果表明，通过使用本发明实施例提供的增强纹理细节的非配对图像翻译方法的网络进行非配对图像的训练，训练出的识别模型可以有效改善生成图像的纹理细节，实现更加逼真的非配对图像翻译。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (7)

1.一种增强纹理细节的非配对图像翻译方法，其特征在于，包括下列步骤：
步骤1：构建图像翻译的生成对抗网络模型，并对所述生成对抗网络模型进行网络参数训练；
所述生成对抗网络模型包括两个结构相同的生成器和两个鉴别器，第一生成器、第二生成器、第一鉴别器和第二鉴别器构成循环一致性生成对抗网络CycleGAN，其中，生成器包括依次连接的编码器、转换器和解码器；
所述编码器用于图像的下采样处理，依次包括：若干层标准卷积层构成的卷积堆叠结构和若干层空洞卷积层构成的空洞卷积堆叠结构；
所述转换器为若干个残差块构成的堆叠结构；
所述解码器用于图像的上采样处理，依次包括若干反卷积层和一层全连接层，其中，反卷积层的层数与编码器的标准卷积层的层数相对应，所述全连接层采用双曲正切激活函数；
步骤2：从训练后的两个生成器中选择与翻译目标对应的生成器作为图像翻译生成器，对待翻译图像进行图像预处理以使得待翻译图像与所述图像翻译生成器的输入相匹配，再将图像预处理后的待翻译图像输入图像翻译生成器，基于其输出得到图像翻译结果。
2.如权利要求1所述的方法，其特征在于，所述空洞卷积堆叠结构为锯齿形空洞卷积堆叠结构。
3.如权利要求2所述的方法，其特征在于，所述空洞卷积堆叠结构为：
对于三层的空洞卷积堆叠结构，各层的空洞率按照前向传播方向依次为：1、2和5；
对于四层的空洞卷积堆叠结构，各层的空洞率按照前向传播方向依次为：1、2、5和9。
4.如权利要求1至3任一项所述的方法，其特征在于，步骤1中，对所述生成对抗网络模型进行网络参数训练时，采用的损失函数为：
Figure FDA0003243084420000011
其中，
Figure FDA0003243084420000012
表示生成对抗网络模型的总损失，
Figure FDA0003243084420000013
表示循环一致损失，
Figure FDA0003243084420000014
表示身份映射损失，
Figure FDA0003243084420000015
表示对抗性损失，λM表示循环一致损失
Figure FDA0003243084420000016
的系数，λi表示身份映射损失
Figure FDA0003243084420000017
的系数，X表示源域，Y表示目标域，G、F分别表示第一生成器和第二生成器的映射，DX，DY分别表示关于X、Y的鉴别器。
5.如权利要求4所述的方法，其特征在于，循环一致损失
Figure FDA0003243084420000018
为：
Figure FDA0003243084420000019
其中，x表示源域X的个体，y表示目标域Y的个体，G()表示第一生成器的输出，F()表示第二生成器的输出，
Figure FDA0003243084420000021
表示MS-SSIM损失，
Figure FDA0003243084420000022
表示高斯分布参数，α表示比例系数，
Figure FDA0003243084420000023
表示L1损失。
6.如权利要求5所述的方法，其特征在于，系数λM和λi的的取值分别为10和5。
7.如权利要求1所述的方法，其特征在于，所述转换器包括的残差块的数量为：
当输入图像分辨率为128×128时，将残差块的数量设置为6；
当输入图像分辨率高于或等于256×256时，将残差块的数量设置为9。
CN202111025168.4A 2021-09-02 2021-09-02 一种增强纹理细节的非配对图像翻译方法 Active CN113807497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111025168.4A CN113807497B (zh) 2021-09-02 2021-09-02 一种增强纹理细节的非配对图像翻译方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111025168.4A CN113807497B (zh) 2021-09-02 2021-09-02 一种增强纹理细节的非配对图像翻译方法

Publications (2)

Publication Number Publication Date
CN113807497A true CN113807497A (zh) 2021-12-17
CN113807497B CN113807497B (zh) 2023-09-15

Family

ID=78942173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111025168.4A Active CN113807497B (zh) 2021-09-02 2021-09-02 一种增强纹理细节的非配对图像翻译方法

Country Status (1)

Country Link
CN (1) CN113807497B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511475A (zh) * 2022-04-21 2022-05-17 天津大学 一种基于改进Cycle GAN的图像生成方法
CN115797216A (zh) * 2022-12-14 2023-03-14 齐鲁工业大学 一种基于自编码网络的碑文文字修复模型及修复方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220929A (zh) * 2017-06-23 2017-09-29 深圳市唯特视科技有限公司 一种使用循环一致对抗网络的非成对图像转化方法
CN109064423A (zh) * 2018-07-23 2018-12-21 福建帝视信息科技有限公司 一种基于非对称循环生成对抗损失的智能修图方法
US20190259153A1 (en) * 2018-02-22 2019-08-22 Siemens Healthcare Gmbh Cross domain medical image segmentation
CN111091493A (zh) * 2019-12-24 2020-05-01 北京达佳互联信息技术有限公司 图像翻译模型训练方法、图像翻译方法及装置和电子设备
CN111429340A (zh) * 2020-03-25 2020-07-17 山东大学 一种基于自注意力机制的循环图像翻译方法
CN111784560A (zh) * 2019-04-04 2020-10-16 复旦大学 基于级联残差生成对抗网络的sar和光学图像双向翻译方法
CN112258438A (zh) * 2020-10-28 2021-01-22 清华大学深圳国际研究生院 一种基于非配对数据的ldct图像恢复算法
CN112488243A (zh) * 2020-12-18 2021-03-12 北京享云智汇科技有限公司 一种图像翻译方法
CN113191969A (zh) * 2021-04-17 2021-07-30 南京航空航天大学 一种基于注意力对抗生成网络的无监督图像除雨方法
CN113283444A (zh) * 2021-03-30 2021-08-20 电子科技大学 一种基于生成对抗网络的异源图像迁移方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220929A (zh) * 2017-06-23 2017-09-29 深圳市唯特视科技有限公司 一种使用循环一致对抗网络的非成对图像转化方法
US20190259153A1 (en) * 2018-02-22 2019-08-22 Siemens Healthcare Gmbh Cross domain medical image segmentation
CN109064423A (zh) * 2018-07-23 2018-12-21 福建帝视信息科技有限公司 一种基于非对称循环生成对抗损失的智能修图方法
CN111784560A (zh) * 2019-04-04 2020-10-16 复旦大学 基于级联残差生成对抗网络的sar和光学图像双向翻译方法
CN111091493A (zh) * 2019-12-24 2020-05-01 北京达佳互联信息技术有限公司 图像翻译模型训练方法、图像翻译方法及装置和电子设备
CN111429340A (zh) * 2020-03-25 2020-07-17 山东大学 一种基于自注意力机制的循环图像翻译方法
CN112258438A (zh) * 2020-10-28 2021-01-22 清华大学深圳国际研究生院 一种基于非配对数据的ldct图像恢复算法
CN112488243A (zh) * 2020-12-18 2021-03-12 北京享云智汇科技有限公司 一种图像翻译方法
CN113283444A (zh) * 2021-03-30 2021-08-20 电子科技大学 一种基于生成对抗网络的异源图像迁移方法
CN113191969A (zh) * 2021-04-17 2021-07-30 南京航空航天大学 一种基于注意力对抗生成网络的无监督图像除雨方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HAO DOU等: "Asymmetric CycleGAN for image-to-image translations with uneven complexities" *
LONG TENG等: "Interactive Translation in Echocardiography Training System With Enhanced Cycle-GAN" *
X G TU等: "Face Attribute Invertion" *
卢鹏等: "无监督图像翻译的个性化手写汉字生成方法" *
马永杰等: "生成式对抗网络及其在图像生成中的研究进展" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511475A (zh) * 2022-04-21 2022-05-17 天津大学 一种基于改进Cycle GAN的图像生成方法
CN114511475B (zh) * 2022-04-21 2022-08-02 天津大学 一种基于改进Cycle GAN的图像生成方法
CN115797216A (zh) * 2022-12-14 2023-03-14 齐鲁工业大学 一种基于自编码网络的碑文文字修复模型及修复方法
CN115797216B (zh) * 2022-12-14 2024-05-24 齐鲁工业大学 一种基于自编码网络的碑文文字修复模型及修复方法

Also Published As

Publication number Publication date
CN113807497B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN113221969A (zh) 一种基于物联网感知的双特征融合的语义分割系统及方法
CN113807497A (zh) 一种增强纹理细节的非配对图像翻译方法
CN111986075B (zh) 一种目标边缘清晰化的风格迁移方法
CN110880165A (zh) 一种基于轮廓和颜色特征融合编码的图像去雾方法
CN112329780B (zh) 一种基于深度学习的深度图像语义分割方法
CN111862294A (zh) 基于ArcGAN网络的手绘3D建筑自动上色网络结构及方法
CN110222837A (zh) 一种基于CycleGAN的图片训练的网络结构ArcGAN及方法
CN112348033B (zh) 一种协同显著性目标检测方法
CN113628201A (zh) 基于深度学习的病理切片分析方法、电子设备及可读存储介质
CN112991371B (zh) 一种基于着色溢出约束的图像自动着色方法及系统
CN115601282A (zh) 基于多判别器生成对抗网络的红外与可见光图像融合方法
CN117173024B (zh) 一种基于整体注意力的矿井图像超分辨率重建系统及方法
CN111986085A (zh) 一种基于深度反馈注意力网络系统的图像超分辨率方法
CN116844004A (zh) 一种面向数字孪生场景的点云自动语义化建模方法
CN118350984A (zh) 基于多层次级联结构的图像风格迁移方法
CN114219701A (zh) 敦煌壁画艺术风格转换方法、系统、计算机设备及存储介质
CN113269702A (zh) 基于跨尺度特征融合的低曝光静脉图像增强方法
CN109982095B (zh) 基于cnn与gep的分形图像压缩编码方法
CN112767402B (zh) 一种基于三维卷积神经网络的图像分割方法及系统
CN114022371B (zh) 基于空间和通道注意力残差网络的去雾装置及其去雾方法
CN113658323A (zh) 一种基于图卷积的三维重建网络模型的方法及计算机设备
CN110991540B (zh) 一种面向机箱装配质量快速检测的轻量化图像分类方法
CN113240589A (zh) 一种多尺度特征融合的图像去雾方法及系统
CN111401141B (zh) 一种基于骨架的3d手势估计方法
CN117253012B (zh) 一种还原平面建筑自由曲面网格结构至三维空间的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant