CN110335193A - 一种基于生成对抗网络的目标域导向的无监督图像转换方法 - Google Patents
一种基于生成对抗网络的目标域导向的无监督图像转换方法 Download PDFInfo
- Publication number
- CN110335193A CN110335193A CN201910516012.2A CN201910516012A CN110335193A CN 110335193 A CN110335193 A CN 110335193A CN 201910516012 A CN201910516012 A CN 201910516012A CN 110335193 A CN110335193 A CN 110335193A
- Authority
- CN
- China
- Prior art keywords
- image
- source domain
- network
- true
- indicate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000009826 distribution Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 9
- 238000012512 characterization method Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 5
- 230000004438 eyesight Effects 0.000 abstract description 5
- 238000002474 experimental method Methods 0.000 abstract description 4
- 238000005520 cutting process Methods 0.000 abstract description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 7
- 210000004209 hair Anatomy 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- GMBQZIIUCVWOCD-WWASVFFGSA-N Sarsapogenine Chemical compound O([C@@H]1[C@@H]([C@]2(CC[C@@H]3[C@@]4(C)CC[C@H](O)C[C@H]4CC[C@H]3[C@@H]2C1)C)[C@@H]1C)[C@]11CC[C@H](C)CO1 GMBQZIIUCVWOCD-WWASVFFGSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于生成对抗网络的目标域导向的无监督图像转换方法，属于计算机视觉领域。本发明用来实现无监督的跨领域图像到图像的转换任务，属于计算机视觉领域。本方法设计了一个自编码重构网络，通过最小化源域图像的重构损失来提取源域图像的分层表征。同时，通过权值共享策略，共享网络模型中的两组生成对抗网络中编码和解码高层语义信息的网络层的权值，以保证输出图像能够保留输入图像的基本结构和特征。然后，两个判别器分别用来区分输入图像是各自领域的真实图像还是生成的图像。本方法能够有效进行无监督的跨域图像转换，生成高质量的图像。实验证明所提方法在CelebA等标准数据集上取得了很好的结果。
Description
技术领域
本发明属于计算机视觉领域，涉及一种基于生成对抗网络的无监督图像转换方法。
背景技术
随着移动设备的普及以及互联网带宽的快速增长，图形图像数据呈现爆炸式地增长，它们承载着海量待挖掘的信息。近年来，计算机视觉领域的研究迅速发展，特别是随着生成对抗网络的发展，图像转换问题也引起了广泛的关注。
图像转换是指将图像从一种表示场景转换到另一种表示场景，同时保持图像的内容不发生改变。很多计算机视觉、计算机图形学和图像处理领域的问题其实都可以理解为是图像转换问题，例如，图像着色可以看做是将灰度图转换为其对应的彩色图；图像修复可以看做是将有缺失的图像补全到其对应的完整图像；图像高分辨率可以看做是将低分辨率的图像转换为其相对应的高分辨率的图像，图像风格转换则可以看做是在保留原图像基本特征的情况下，将图像转化为另一种风格的图像等等，诸如此类的工作还有很多。而这些任务，在我们的生产生活中都是广泛存在的。
传统的算法大多是针对特定的问题而设计，并且只能用于特定的应用场景。后来，随着卷积神经网络(Convolutional Neural Networks，CNNs)的发展，越来越多的图像转换问题得以解决。但由于不同任务的建模方式以及其优化设计都不尽相同，这使得图像转换问题的任务负担仍十分巨大。
一种解决图像转换任务的方法是训练一个有监督的前向卷积神经网络，通过使用像素损失函数来测量输出图像与真实图像之间的差异，这也是最直观的方法之一。例如Dong等人提出了一种深度卷积神经网络模型来学习低分辨率图像和高分辨率图像之间的一个端到端映射，从而实现图像从低分辨率到高分辨率的转换(Dong C,Chen C L,He K,etal.Image super-resolution using deep convolutional networks[J].IEEETransactions on Pattern Analysis and Machine Intelligence,2016,38(2):295-307.)。该模型通过最小化输出图像与其对应的真实的高分辨率图像间的均方误差，来优化模型。但通过最小化输出图像与真实图像之间的均方误差很可能会使模型输出模糊的结果，因为最小化均方误差输出的是所有可能的输出结果的平均值。
使用像素级损失函数的方法可以生成合理的图像，但是这些损失函数在很多情况下不能够捕获输出图像和真实图像之间的感知差异。最近的一些理论分析和实验结果表明，从预训练好的分类网络中提取的高层特征可以捕获真实图像的感知信息，而使用感知信息可以生成更高质的图像。特别是，这些从预训练好的网络的隐藏层中提取的特征有助于解读输入图像的语义信息，而且隐藏特征的格拉姆矩阵可以捕获图像风格的分布。
Mahendran和Vedaldi通过最小化特征重建损失来反演卷积网络的特征，以便理解由不同的网络层保留的图像信息(Mahendran A,Vedaldi A:Understanding deep imagerepresentations by inverting them[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.2015.)。这种优化方法还可以通过生成图像以最大化类预测分数或单个特征，以便理解在训练的网络中编码的功能，解决特征可视化问题。Gatys等人则用该方法来处理风格迁移和纹理合成问题(Gatys L A,Ecker AS,Bethge M:Texture synthesis using convolutional neural networks[C]//Proceedings of the Neural Information Processing Systems Conference.2015.)。这些能够方法生成高质量的图像，但是由于推理需要解决优化问题，所以速度很慢。
近几年，生成对抗网络(Generative Adversarial Networks,GANs)相关的研究呈现出蓬勃的发展态势(Goodfellow I J,Pouget-Abadie J,Mirza M,et al.Generativeadversarial nets[C]//Proceedings of the Conference on Neural InformationProcessing Systems.2014,2672-2680.)。鉴于GAN具有很好的生成能力以及其灵活的设计，GAN及其衍生模型被广泛地用于图像转换问题，并且已在图像转换问题上取得了显著的成绩。很多实验研究表明，融入GAN可以生成更加真实的图像。
Pix2pix为图像转换任务提供了一个通用的框架，该框架可以解决许多在过去需要使用不同损失函数才能解决的问题(Isola P,Zhu J Y,Zhou T,et al.Image-to-imagetranslation with conditional adversarial networks[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.2017,5967-5976.)。Pix2pix使用两个配对的数据集，数据集A是一种样式的图像的集合，数据集B是数据集A中图像的另一种样式的集合。Pix2pix学习两个数据集之间的映射并生成图像。生成的图像和目标之间的误差通过损失函数计算，进一步调整参数以生成与目标图像类似的逼真图像。而在Pix2pix模型的基础之上，又有许多新的衍生模型被提出，在提升转换图像质量的同时，能够解决更多的图像转换问题。
这些方法可以生成很优秀的图像，但存在一个关键的问题，即需要配对数据来提供有监督的学习，然而，配对数据在很多问题上很难获得，因为人工标注的代价高昂。
为了解决这一问题，CycleGAN直接使用两组生成器和判别器来学习源域和目标域之间的映射和逆映射(Zhu J Y,Park T,Isola P,et al.Unpaired image-to-imagetranslation using cycle-consistent adversarial networks[C]//Proceedings ofthe IEEE International Conference on Computer Vision.2017,2242-2251.)。两个生成器分别将各自领域的输入图像转换为对应领域的输出图像，两个判别器则在各自的领域内判断输入图像是真实图像还是由生成器生成的图像。此外，CycleGAN提出了一种循环一致性损失，即通过双向转换来进行图像重构。这种循环一致性可以减少可能的映射空间，不仅能够让模型生成更高质量的图像，还可以减轻GAN模型的崩溃问题。
CoGAN则是考虑到两个域的图像具有相同的基本特征，提出了一种权重共享策略，通过共享生成器和判别器中与高级语义信息相对应的权重，可以学习不同域中的一个联合分布，从而实现跨领域图像到图像的转换(Liu M Y,Tuzel O.Coupled generativeadversarial networks[C]//Proceedings of the Conference on Neural InformationProcessing Systems.2016,469-477.)。然而，在CoGAN中使用随机向量z作为输入来生成高分辨率图像时，很可能遇到模型崩溃问题。
使用GAN来进行图像转换有两个问题需要注意：(1)虽然采用配对数据来进行此类任务能够取得很好的结果，但是，在许多任务中，配对的训练数据很难获得。(2)由于GAN自身的问题，训练过程中可能会出现训练不稳定、模型塌陷的问题。
针对上述问题，本发明提出了一种基于GAN的目标域导向的无监督转换网络(UTN-GAN)，用于实现无监督的图像转换任务。UTN-GAN采用了分层表征和权值共享机制，将图像从源域转换到目标域而不需要配对图像。在UTN-GAN中，我们设计了一个自编码重构网络，通过最小化源域图像的重构损失来提取源域图像中的分层表征。同时，UTN-GAN还共享了两个GAN中编码和解码高层语义信息的网络层的权值，用来保证输入图像和输出图像在不同域中的匹配。我们在几个图像转换任务上进行了定性和定量的实验研究，并与一些最先进的算法进行相比，实验证明提出的UTN-GAN算法是有效的且具有竞争力的。
发明内容
针对传统的方法需要配对数据和GAN自身训练困难等问题，本发明提出一种基于GAN的目标域导向的无监督图像转换方法，用于实现无监督的图像转换。该方法借助分层表征和权值共享的理论，充分发挥了GAN的优势，在无监督的情况下，提升了模型训练的稳定性，生成高质量的图像。
本发明的技术方案：
一种基于生成对抗网络的无监督图像转换方法，包括如下步骤：
步骤一图像的预处理：从真实的源域数据分布pdata(x)中采样得到真实的源域图像x，从真实的目标域数据分布pdata(y)中采样得到真实的目标域图像y，对真实的源域图像x和真实的目标域图像y进行统一的处理，把它们缩放为统一的像素大小，同时对图像像素值进行归一化处理；
步骤二生成图像：将归一化处理好的真实的源域图像x分别输入到两个生成器中，两个生成器为自编码重构网络Gr和转换网络Gt。其中，Gr通过重构输入的真实的源域图像x，来获得源域图像的分层表征。Gt则将输入的真实的源域图像x转换为目标域的图像。通过共享Gr与Gt中与高层语义信息相关的层级的参数，以保证源域图像和目标域图像的语义信息一致；
其中，pdata(x)表示真实的源域数据分布，x表示真实的源域图像，Gr表示重构网络，Gt表示转换网络，Dr与Dt表示相应的判别器，L(Gr)表示Gr的生成对抗损失，Lre(Gr)表示重构损失，L(Gt)表示Gt的生成对抗损失；
步骤三判别图像：Gr与Gt生成的图像被分别输入到两个判别器Dr与Dt中进行判别。Dr判别输入图像是真实的源域图像x还是Gr重构后的图像Gr(x)，而Dt则区分输入的图像是真实的目标域图像y还是Gt转换后的图像Gt(x)；
其中，L(Dr)表示Dr的生成对抗损失，L(Dt)表示Dt的生成对抗损失；
步骤四网络优化参数调整：通过联合损失函数，采用Adam优化算法进行模型训练，更新生成器和判别器的网络参数；
其中，L(Gr,Gt,Dr,Dt)表示联合损失函数，λ为超参数；
步骤五重复T次步骤二至步骤四；
步骤六在测试阶段，将真实的源域图像x直接输入到Gt中，经过Gt的转换后，输出结果Gt(x)。
本发明的有益效果：基于GAN的目标域导向的无监督图像转换方法充分利用图像的分层表征，使模型训练无需任何配对数据，并使模型能够稳定地进行训练，而且在对抗损失的约束下，该方法能够生产接近真实的图像。
附图说明
图1是基于生成对抗网络的目标域导向的无监督图像转换方法示意图；
图2是自编码重构网络的结构示意图；
图3是判别器的结构示意图；
图4基于生成对抗网络的目标域导向的无监督图像转换方法在人脸属性转换任务上的结果样例。其中，(a-1)到(a-10)为输入的金发女性的照片，(b-1)到(b-10)为转换后对应输出的黑发女性的照片；(c-1)到(c-10)为输入的嘴巴闭合的照片，(d-1)到(d-10)为转换后对应输出的微笑的照片；(e-1)到(e-10)为输入的平眉女性的照片，(f-1)到(f-10)为转换后对应输出的柳叶眉女性的照片。
具体实施方式
本发明提供一种基于生成对抗网络的目标域导向的无监督图像转换方法。所论述的具体实施例仅用于说明本发明的实现方式，而不限制本发明的范围。下面结合附图对本发明的实施方式进行详细说明，具体包括以下步骤：
1.图像的预处理。以人脸面部属性转换实验为例。从真实的源域数据分布pdata(x)中采样得到真实的源域图像x，像素大小为178*178的黑发女性照片，从真实的目标域数据分布pdata(y)中采样得到真实的目标域图像y，像素大小为178*178的金发女性照片。使用Python的图像处理模块，对真实的源域图像x和真实的目标域图像y进行统一的处理。首先将它们中心裁剪为128*128大小，接着缩放为统一的64*64大小，同时对图像像素值进行了归一化处理。
2.生成图像。将归一化好的真实的源域图像x分别输入到两个生成器中，两个生成器为编码重构网络Gr和转换网络Gt，如图1中所示。Gr通过重构输入的真实的源域图像x，来获得源域图像的分层表征，其中Gr(x)为x重构后的结果，大小为64*64。Gr的生成对抗损失函数L(Gr)如公式(1)所示。
其中，pdata(x)表示真实的源域数据分布，x表示真实的源域图像，Gr表示重构网络，Dr表示判别器，L(Gr)表示Gr的生成对抗损失。
此外，除了生成对抗损失外，我们还设计了一个重构损失，来辅助Gr提取更加准确的分层表征。这是因为Gr是通过判别器Dr的反馈来进行学习的，一旦Dr的训练出现问题，将直接影响Gr的学习。而添加了重构损失后，可以在一定程度上避免在特征提取过程中，由于判别器Dr引发的错误。该策略可以让生成器Gr能够更有效地学习，并有助于提升图像转换的效果。重构损失Lre(Gr)如公式(2)所示。
其中，pdata(x)表示真实的源域数据分布，x表示真实的源域图像，Gr表示重构网络，Lre(Gr)表示重构损失。
Gt的主要任务是将输入的源域图像x转换为目标域的图像Gt(x)，Gt(x)是与x相对应的金发的女性图像，像素大小为64*64。Gt的生成对抗损失函数L(Gt)如公式(3)所示。考虑到源域图像和目标域图像有着相同的语义信息，我们共享Gr与Gt中那些与高层语义信息相关的层级的参数，以保证源域图像和目标域图像的语义信息一致，图1中的虚线表示权重共享。
其中，pdata(x)表示真实的源域数据分布，x表示真实的源域图像，Gt表示转换网络，Dt表示判别器，L(Gt)表示Gt的生成对抗损失。
尽管Gr和Gt扮演着不同的角色，但它们的网络结构是相同的编码器-解码器网络。生成器首先使用一系列Convolution-BatchNorm-LeakyReLU层，将输入图像编码为高维特征，然后这些特征又通过一系列Deconvolution-BatchNorm-ReLU层，最终解码为输出图像。生成器Gr的结构如图2所示。BN代表是Batch Normalization，每层的通道数如图2中所示，步长为2。编码器的激活函数使用LeakyReLU，其斜率设为0.2。解码器最后一层之后，再加一个Convolution-Tanh层将结果映射到输出通道数。
随着编码器逐渐从输入样本中提取抽象信息，而在解码器中解码信息，我们在这些对高层语义信息进行编码和解码的层级中应用权重共享策略，连接两个生成器并共享双方共同的表征，以保持基础信息的一致性。然后，解码低层细节的层级将这个信息映射到各自领域，反映不同领域各自的特征。
3.判别图像。两个生成器生成的图像被分别输入两个判别器中进行判别。Dr用于判别输入图像是真实的源域图像x还是Gr重构后的图像Gr(x)，而Dt则旨在区分输入的图像是真实的目标域图像y还是Gt转换后的图像Gt(x)。Dr与Dt的目标函数如公式(4)和公式(5)所示。
其中，pdata(x)表示真实的源域数据分布，pdata(y)表示真实的目标域数据分布，x表示真实的源域图像，y表示真实的目标域图像，Gr表示重构网络，Gt表示转换网络，Dr与Dt表示相应的判别器，L(Dr)表示Dr的生成对抗损失，L(Dt)表示Dt的生成对抗损失。
Dr和Dt的网络结构也是相同的，由类似于生成器中编码器部分的CNN网络层Convolution-BatchNorm-LeakyReLU构成。具体的网络结构如图3所示。其中，每层的通道数如图3中所示，步长为2。激活函数LeakyReLU的斜率设为0.2。此外，判别器的最后一层之后，一个带有Sigmoid函数的卷积层将输出映射到1维。由于判别器的前几层提取细节特征，后几层提取高层语义特征，我们同样在Dr和Dt的后几层中使用权重共享机制，这样能够减少网络中的参数总数。
4.网络优化参数调整。我们通过联合损失函数，采用Adam优化算法进行模型训练，更新生成器和判别器的网络参数。其中，学习率设为0.0002，指数衰减率β1＝0.5，β2＝0.999。损失函数如公式(6)所示。
其中，L(Gr,Gt,Dr,Dt)表示联合损失函数，λ是控制重构损失相比于对抗损失的重要性的超参数，在全部是实验中设置为100。
5.重复T次步骤2至步骤4。
6.在测试阶段，将真实的源域图像x，如图4中的(a-1)金发女性照片，直接输入到Gt中，经过Gt的转换后，输出结果Gt(x)即可，如图4中的(b-1)即为(a-1)转换后的黑发女性图像。
Claims (1)
1.一种基于生成对抗网络的目标域导向的无监督图像转换方法，其特征在于，包括如下步骤：
步骤一图像的预处理：从真实的源域数据分布pdata(x)中采样得到真实的源域图像x，从真实的目标域数据分布pdata(y)中采样得到真实的目标域图像y，对真实的源域图像x和真实的目标域图像y进行统一的处理，把它们缩放为统一的像素大小，同时对图像像素值进行归一化处理；
步骤二生成图像：将归一化处理好的真实的源域图像x分别输入到两个生成器中，两个生成器为自编码重构网络Gr和转换网络Gt；其中，Gr通过重构输入的真实的源域图像x，来获得源域图像的分层表征；Gt则将输入的真实的源域图像x转换为目标域的图像；通过共享Gr与Gt中与高层语义信息相关的层级的参数，以保证源域图像和目标域图像的语义信息一致；
其中，pdata(x)表示真实的源域数据分布，x表示真实的源域图像，Gr表示重构网络，Gt表示转换网络，Dr与Dt表示相应的判别器，L(Gr)表示Gr的生成对抗损失，Lre(Gr)表示重构损失，L(Gt)表示Gt的生成对抗损失；
步骤三判别图像：Gr与Gt生成的图像被分别输入到两个判别器Dr与Dt中进行判别；Dr判别输入图像是真实的源域图像x还是Gr重构后的图像Gr(x)，而Dt则区分输入的图像是真实的目标域图像y还是Gt转换后的图像Gt(x)；
其中，L(Dr)表示Dr的生成对抗损失，L(Dt)表示Dt的生成对抗损失；
步骤四网络优化参数调整：通过联合损失函数，采用Adam优化算法进行模型训练，更新生成器和判别器的网络参数；
其中，L(Gr,Gt,Dr,Dt)表示联合损失函数，λ为超参数；
步骤五重复T次步骤二至步骤四；
步骤六在测试阶段，将真实的源域图像x直接输入到Gt中，经过Gt的转换后，输出结果Gt(x)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910516012.2A CN110335193B (zh) | 2019-06-14 | 2019-06-14 | 一种基于生成对抗网络的目标域导向的无监督图像转换方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910516012.2A CN110335193B (zh) | 2019-06-14 | 2019-06-14 | 一种基于生成对抗网络的目标域导向的无监督图像转换方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110335193A true CN110335193A (zh) | 2019-10-15 |
| CN110335193B CN110335193B (zh) | 2022-09-20 |
Family
ID=68142446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910516012.2A Active CN110335193B (zh) | 2019-06-14 | 2019-06-14 | 一种基于生成对抗网络的目标域导向的无监督图像转换方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110335193B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110853012A (zh) * | 2019-11-11 | 2020-02-28 | 苏州锐一仪器科技有限公司 | 获得心脏参数的方法、装置及计算机存储介质 |
| CN110910486A (zh) * | 2019-11-28 | 2020-03-24 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
| CN111260620A (zh) * | 2020-01-14 | 2020-06-09 | 三峡大学 | 图像异常检测方法、装置和电子设备 |
| CN111292384A (zh) * | 2020-01-16 | 2020-06-16 | 西安交通大学 | 基于生成式对抗网络的跨域多样性图像生成方法及系统 |
| CN111489287A (zh) * | 2020-04-10 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 图像转换方法、装置、计算机设备和存储介质 |
| CN111539287A (zh) * | 2020-04-16 | 2020-08-14 | 北京百度网讯科技有限公司 | 训练人脸图像生成模型的方法和装置 |
| CN111860618A (zh) * | 2020-07-01 | 2020-10-30 | 杭州健培科技有限公司 | 用于病理数据转换的双向gan模型及其构建和应用方法 |
| CN111882055A (zh) * | 2020-06-15 | 2020-11-03 | 电子科技大学 | 一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法 |
| CN112001839A (zh) * | 2020-07-23 | 2020-11-27 | 浙江大学 | 基于语义特征变换的跨域图像转换方法、计算机设备和存储介质 |
| CN112001838A (zh) * | 2020-07-23 | 2020-11-27 | 浙江大学 | 基于自交叉编码器的跨域图像转换方法、装置、计算机设备和存储介质 |
| CN113628103A (zh) * | 2021-08-26 | 2021-11-09 | 深圳万兴软件有限公司 | 基于多级损失的高细粒度卡通人脸生成方法及其相关组件 |
| CN114092610A (zh) * | 2021-11-22 | 2022-02-25 | 哈尔滨工业大学（深圳） | 一种基于生成对抗网络的人物视频生成方法 |
| CN115797611A (zh) * | 2023-02-10 | 2023-03-14 | 真健康（北京）医疗科技有限公司 | 三维医学图像模态转换模型训练方法及设备 |
| CN118334458A (zh) * | 2024-06-14 | 2024-07-12 | 中国海洋大学 | 一种通用跨域图像转换方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统 |
| CN109753992A (zh) * | 2018-12-10 | 2019-05-14 | 南京师范大学 | 基于条件生成对抗网络的无监督域适应图像分类方法 |
-
2019
- 2019-06-14 CN CN201910516012.2A patent/CN110335193B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062753A (zh) * | 2017-12-29 | 2018-05-22 | 重庆理工大学 | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 |
| CN109753992A (zh) * | 2018-12-10 | 2019-05-14 | 南京师范大学 | 基于条件生成对抗网络的无监督域适应图像分类方法 |
| CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 曹仰杰等: "生成式对抗网络及其计算机视觉应用研究综述", 《中国图象图形学报》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110853012A (zh) * | 2019-11-11 | 2020-02-28 | 苏州锐一仪器科技有限公司 | 获得心脏参数的方法、装置及计算机存储介质 |
| CN110910486A (zh) * | 2019-11-28 | 2020-03-24 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
| CN110910486B (zh) * | 2019-11-28 | 2021-11-19 | 浙江大学 | 室内场景光照估计模型、方法、装置、存储介质以及渲染方法 |
| CN111260620A (zh) * | 2020-01-14 | 2020-06-09 | 三峡大学 | 图像异常检测方法、装置和电子设备 |
| CN111260620B (zh) * | 2020-01-14 | 2023-08-18 | 三峡大学 | 图像异常检测方法、装置和电子设备 |
| CN111292384A (zh) * | 2020-01-16 | 2020-06-16 | 西安交通大学 | 基于生成式对抗网络的跨域多样性图像生成方法及系统 |
| CN111489287B (zh) * | 2020-04-10 | 2024-02-09 | 腾讯科技（深圳）有限公司 | 图像转换方法、装置、计算机设备和存储介质 |
| CN111489287A (zh) * | 2020-04-10 | 2020-08-04 | 腾讯科技（深圳）有限公司 | 图像转换方法、装置、计算机设备和存储介质 |
| CN111539287A (zh) * | 2020-04-16 | 2020-08-14 | 北京百度网讯科技有限公司 | 训练人脸图像生成模型的方法和装置 |
| CN111539287B (zh) * | 2020-04-16 | 2023-04-07 | 北京百度网讯科技有限公司 | 训练人脸图像生成模型的方法和装置 |
| CN111882055A (zh) * | 2020-06-15 | 2020-11-03 | 电子科技大学 | 一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法 |
| CN111882055B (zh) * | 2020-06-15 | 2022-08-05 | 电子科技大学 | 一种基于CycleGAN与伪标签的目标检测自适应模型的构建方法 |
| CN111860618B (zh) * | 2020-07-01 | 2024-05-14 | 杭州健培科技有限公司 | 用于病理数据转换的双向gan模型及其构建和应用方法 |
| CN111860618A (zh) * | 2020-07-01 | 2020-10-30 | 杭州健培科技有限公司 | 用于病理数据转换的双向gan模型及其构建和应用方法 |
| CN112001838B (zh) * | 2020-07-23 | 2022-09-20 | 浙江大学 | 基于自交叉编码器的跨域图像转换方法、装置、计算机设备和存储介质 |
| CN112001839B (zh) * | 2020-07-23 | 2022-09-13 | 浙江大学 | 基于语义特征变换的跨域图像转换方法、计算机设备和存储介质 |
| CN112001838A (zh) * | 2020-07-23 | 2020-11-27 | 浙江大学 | 基于自交叉编码器的跨域图像转换方法、装置、计算机设备和存储介质 |
| CN112001839A (zh) * | 2020-07-23 | 2020-11-27 | 浙江大学 | 基于语义特征变换的跨域图像转换方法、计算机设备和存储介质 |
| CN113628103A (zh) * | 2021-08-26 | 2021-11-09 | 深圳万兴软件有限公司 | 基于多级损失的高细粒度卡通人脸生成方法及其相关组件 |
| CN113628103B (zh) * | 2021-08-26 | 2023-09-29 | 深圳万兴软件有限公司 | 基于多级损失的高细粒度卡通人脸生成方法及其相关组件 |
| CN114092610A (zh) * | 2021-11-22 | 2022-02-25 | 哈尔滨工业大学（深圳） | 一种基于生成对抗网络的人物视频生成方法 |
| CN115797611A (zh) * | 2023-02-10 | 2023-03-14 | 真健康（北京）医疗科技有限公司 | 三维医学图像模态转换模型训练方法及设备 |
| CN118334458A (zh) * | 2024-06-14 | 2024-07-12 | 中国海洋大学 | 一种通用跨域图像转换方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110335193B (zh) | 2022-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110335193A (zh) | 一种基于生成对抗网络的目标域导向的无监督图像转换方法 | |
| CN110310221B (zh) | 一种基于生成对抗网络的多域图像风格迁移方法 | |
| Royer et al. | Xgan: Unsupervised image-to-image translation for many-to-many mappings | |
| CN111798369B (zh) | 一种基于循环条件生成对抗网络的人脸衰老图像合成方法 | |
| CN109816593B (zh) | 一种基于注意力机制的生成对抗网络的超分辨率图像重建方法 | |
| Dong et al. | Semantic image synthesis via adversarial learning | |
| CN113205096B (zh) | 一种基于注意力的联合图像与特征自适应的语义分割方法 | |
| CN112837224A (zh) | 一种基于卷积神经网络的超分辨率图像重建方法 | |
| Akten et al. | Learning to see: you are what you see | |
| Hui et al. | Unsupervised multi-domain image translation with domain-specific encoders/decoders | |
| CN110135574A (zh) | 神经网络训练方法、图像生成方法及计算机存储介质 | |
| CN113140023B (zh) | 一种基于空间注意力的文本到图像生成方法及系统 | |
| CN109903238A (zh) | 一种细粒度图片处理方法、装置和存储介质 | |
| Jia et al. | Generative adversarial network for future hand segmentation from egocentric video | |
| Yang et al. | A multi-domain and multi-modal representation disentangler for cross-domain image manipulation and classification | |
| Han et al. | Gan based three-stage-training algorithm for multi-view facial expression recognition | |
| CN117196959A (zh) | 基于自注意力的红外图像超分辨率方法、装置及可读介质 | |
| Sun et al. | ESinGAN: Enhanced single-image GAN using pixel attention mechanism for image super-resolution | |
| Wang et al. | High-resolution point cloud reconstruction from a single image by redescription | |
| Li et al. | Facial attribute editing by latent space adversarial variational autoencoders | |
| Khan et al. | Face recognition via multi-level 3D-GAN colorization | |
| Lv et al. | DomainForensics: Exposing Face Forgery across Domains via Bi-directional Adaptation | |
| Brownlee et al. | Building Transformer Models with Attention: Implementing a Neural Machine Translator from Scratch in Keras | |
| CN104966276B (zh) | 一种图像视频场景内容的保角映射稀疏表达方法 | |
| Kuang | Single image super resolution reconstruction algorithm based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |