CN108182657A - 一种基于循环生成对抗网络的面部图像转换方法 - Google Patents
一种基于循环生成对抗网络的面部图像转换方法 Download PDFInfo
- Publication number
- CN108182657A CN108182657A CN201810077756.4A CN201810077756A CN108182657A CN 108182657 A CN108182657 A CN 108182657A CN 201810077756 A CN201810077756 A CN 201810077756A CN 108182657 A CN108182657 A CN 108182657A
- Authority
- CN
- China
- Prior art keywords
- loss
- gan
- ssim
- image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000006870 function Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000001815 facial effect Effects 0.000 claims abstract description 15
- 230000008921 facial expression Effects 0.000 claims abstract description 8
- 238000011410 subtraction method Methods 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims abstract description 3
- 230000014509 gene expression Effects 0.000 claims description 14
- 125000004122 cyclic group Chemical group 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims 1
- 230000004075 alteration Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000011840 criminal investigation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明中提出的一种基于循环生成对抗网络的面部图像转换方法,其主要内容包括:沃瑟斯坦生成对抗网络(WGAN)、结构相似性(SSIM)损失、背景减除法和面部掩码、生成对抗网络(GAN),其过程为,使用生成器网络和鉴别器网络进行相互对抗,利用传统的GAN损失函数和新的循环一致性损失函数组成循环GAN,接着改进WGAN,并通过其损失改善GAN的训练,然后SSIM损失匹配生成的图像和输入图像的亮度、对比度和结构信息,在训练期间将二进制掩码与图像一起输入,并应用元素乘积重建损失。本发明使用了循环生成对抗网络,在转换面部表情时具有更高的一致性和稳定性,还可以更好的处理面部细节和边缘细节,使转换后的图像更加自然、更加真实。
Description
技术领域
本发明涉及图像转换领域,尤其是涉及了一种基于循环生成对抗网络的面部图像转换方法。
背景技术
随着深度学习在图像分类、物体检测、图像分割等计算机视觉问题上都取得重大进展,深度学习被认为可以提取图像高层语义特征。因此,逐渐衍生出了许多很有意思的图像应用,其中一个近年来兴起的图像转换应用最受人们欢迎。图像转换即将一类图片转换成另一类图片或将两个面部图像进行交换,简称“换脸”。“换脸”技术受到当今年轻人的广泛应用,其可以将男人的面部转换成女人的面部或将女人的面部转换成男人的面部,也可以为面部匹配各种不同的表情,还可以将人的面部表情转化成各种流行的表情包中的表情等。而在公安刑侦领域,通过“换脸”来模拟犯罪嫌疑人或可疑分子的表情和神态,可以帮助公安刑侦人员快速辨认嫌疑人或可疑分子,从而帮助案件侦破或及时制止危险行为。然而,原有的面部图像转换技术在处理边缘细节时精度不够,稳定性不佳,整体转换效果较差。
本发明提出了一种基于循环生成对抗网络的面部图像转换方法,使用生成器网络和鉴别器网络进行相互对抗,利用传统的GAN损失函数和新的循环一致性损失函数组成循环GAN,接着改进WGAN,并通过其损失改善GAN的训练,然后SSIM损失匹配生成的图像和输入图像的亮度、对比度和结构信息,在训练期间将二进制掩码与图像一起输入,并应用元素乘积重建损失。本发明使用了循环生成对抗网络,在转换面部表情时具有更高的一致性和稳定性,还可以更好地处理面部细节和边缘细节,使转换后的图像更自然、更真实。
发明内容
针对处理边缘细节时精度不够、稳定性不佳的问题,本发明的目的在于提供一种基于循环生成对抗网络的面部图像转换方法,使用生成器网络和鉴别器网络进行相互对抗,利用传统的GAN损失函数和新的循环一致性损失函数组成循环GAN,接着改进WGAN,并通过其损失改善GAN的训练,然后SSIM损失匹配生成的图像和输入图像的亮度、对比度和结构信息,在训练期间将二进制掩码与图像一起输入,并应用元素乘积重建损失。
为解决上述问题,本发明提供一种基于循环生成对抗网络的面部图像转换方法,其主要内容包括:
(一)沃瑟斯坦生成对抗网络(WGAN);
(二)结构相似性(SSIM)损失(二);
(三)背景减除法和面部掩码(三);
(四)生成对抗网络(GAN)。
其中,所述的循环生成对抗网络(CycleGAN),CycleGAN的损失函数由传统的GAN损失函数和新的循环一致性损失函数两部分组成,共同推动循环一致性:
L(G,F,DX,DY)=LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F) (1)
其中,循环一致性损失函数表示G(F(X))与X、F(G(Y))与Y之间的相似性:
因此需要在未对齐的数据集上产生更好的对齐序列。
其中,所述的沃瑟斯坦生成对抗网络(WGAN),从测试中发现,人物A的一些表情被转移到了人物B的相同姿势和表情;标准的鉴别器损失使用了交叉熵损失,并且渐变消失;为了解决这个问题,根据WGAN采取了以下改进措施:
(1)损失中没有log;D的输出不再是一个概率问题,因此不在D的输出处应用S形函数;
(2)在D中减少权重;
(3)比训练生成器G更多地训练鉴别器D;
(4)使用RMSProp算法而不是ADAM优化算法;
(5)降低学习率,使学习率α=0.00005。
进一步地,所述的WGAN损失,通过WGAN损失改善GAN的训练;然而,即使调整学习速度并限制梯度,训练也非常不稳定;使用WGAN的故障率很高,训练速度也很慢;可以看到与WGAN损失相比,最小二乘GAN损失有助于产生更好的结果。
其中,所述的结构相似性(SSIM)损失,SSIM损失匹配生成的图像和输入图像的亮度(l)、对比度(c)和结构信息(s),并且能有效提高图像的质量;多尺度SSIM损失考虑M尺度上的SSIM损失如下:
其中,
在循环GAN中添加SSIM损失,以便强化恢复的图像和原始图像之间的相似性;SSIM的权重范围应该在0.0001到0.01之间。
进一步地,所述的权重,SSIM的权重不应该太大,否则它可能会主导重建损失;添加权重为0.01的SSIM损失,可以很好地帮助学习人物姿势,但是仍然需要更多的调整来恢复更多的面部细节。
其中,所述的背景减除法和面部掩码,由于循环GAN不是将前景和背景明确分开,而是将整个图像作为一个对象进行处理,并隐式转移该域,因此视频中的背景受到严重损坏;通过处理前景和背景,获得更加清晰的目标边界;通过分割输入的面部,将掩码作为像素重建误差的权重;提取面部标志,然后将面部多边形转换成掩码,使用掩码更有助于专注于面部表情,可以通过以下两种方法来平衡掩码:
(1)只为网络输入裁剪脸部,忽略所有其他部分;
(2)基于分段掩模,将逐像素权重应用于原始循环一致性损失。
进一步地,所述的掩码,为了保持更好的背景,更重要的是增加面部的权重;因此,在训练期间将二进制掩码与图像一起输入,并应用wmaskImask+1的元素乘积和L1重建损失;随着人脸上更高的梯度流,网络学习更多关注面部细节。
其中,所述的生成对抗网络(GAN),使用一个生成器网络和一个鉴别器网络进行相互对抗;生成器采用UNet,具有跳跃层;使用三层卷积DX和DY作为鉴别器,将这个子网的深度扩展到五层卷积;或者可以在每边使用两个不同的鉴别器,并使用给定的权重λ来平均损失;在实验中,将λ设置为0.5;
LGAN(G,DY1,DY2)=λLGAM(G,DY1)+(1-λ)LGAN(G,DY2) (7)
修改损失函数,如上式所示。
进一步地,所述的鉴别器,当鉴别层的数量增加时,接受域尺寸减小,迫使模型学习从一个域到另一个域的更详细的转化;结果表明,利用五层鉴别器的模型在模拟输入的面部表情方面做得比较好,但是头肩比等全局结构的结果较差;
多重鉴别器GAN与单个鉴别器一样,放大了模型的容量并减少随机噪声;当遇到一个看不见的姿势图像时,它明显优于其他设置;通过从不同的接受领域中学习的模式之间进行合理的折中,生成器完美地结合了人的微妙表情,而不会绕过目标人物的特征。
附图说明
图1是本发明一种基于循环生成对抗网络的面部图像转换方法的系统框架图。
图2是本发明一种基于循环生成对抗网络的面部图像转换方法的循环生成对抗网络。
图3是本发明一种基于循环生成对抗网络的面部图像转换方法的结构相似性(SSIM)损失。
图4是本发明一种基于循环生成对抗网络的面部图像转换方法的深度鉴别器和多重鉴别器。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于循环生成对抗网络的面部图像转换方法的系统框架图。主要包括沃瑟斯坦生成对抗网络(WGAN),结构相似性(SSIM)损失,背景减除法和面部掩码,生成对抗网络(GAN)。
沃瑟斯坦生成对抗网络(WGAN),从测试中发现,人物A的一些表情被转移到了人物B的相同姿势和表情;标准的鉴别器损失使用了交叉熵损失,并且渐变消失;为了解决这个问题,根据WGAN采取了以下改进措施:
(1)损失中没有log;D的输出不再是一个概率问题,因此不在D的输出处应用S形函数;
(2)在D中减少权重;
(3)比训练生成器G更多地训练鉴别器D;
(4)使用RMSProp算法而不是ADAM优化算法;
(5)降低学习率,使学习率α=0.00005。
通过WGAN损失改善GAN的训练;然而,即使调整学习速度并限制梯度,训练也非常不稳定;使用WGAN的故障率很高,训练速度也很慢;可以看到与WGAN损失相比,最小二乘GAN损失有助于产生更好的结果。
背景减除法和面部掩码,由于循环GAN不是将前景和背景明确分开,而是将整个图像作为一个对象进行处理,并隐式转移该域,因此视频中的背景受到严重损坏;通过处理前景和背景,获得更加清晰的目标边界;通过分割输入的面部,将掩码作为像素重建误差的权重;提取面部标志,然后将面部多边形转换成掩码,使用掩码更有助于专注于面部表情,可以通过以下两种方法来平衡掩码:
(1)只为网络输入裁剪脸部,忽略所有其他部分;
(2)基于分段掩模,将逐像素权重应用于原始循环一致性损失。
为了保持更好的背景,更重要的是增加面部的权重;因此,在训练期间将二进制掩码与图像一起输入,并应用wmaskImask+1的元素乘积和L1重建损失;随着人脸上更高的梯度流,网络学习更多关注面部细节。
生成对抗网络(GAN),使用一个生成器网络和一个鉴别器网络进行相互对抗;生成器采用UNet,具有跳跃层;使用三层卷积DX和DY作为鉴别器,将这个子网的深度扩展到五层卷积;或者可以在每边使用两个不同的鉴别器,并使用给定的权重λ来平均损失;在实验中,将λ设置为0.5;
LGAN(G,DY1,DY2)=λLGAN(G,DY1)+(1-λ)LGAN(G,DY2) (1)
修改损失函数,如上式所示。
图2是本发明一种基于循环生成对抗网络的面部图像转换方法的循环生成对抗网络。CycleGAN的损失函数由传统的GAN损失函数和新的循环一致性损失函数两部分组成,共同推动循环一致性:
L(G,F,DX,DY)=LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F) (2)
其中,循环一致性损失函数表示G(F(X))与X、F(G(Y))与Y之间的相似性:
因此需要在未对齐的数据集上产生更好的对齐序列。
图3是本发明一种基于循环生成对抗网络的面部图像转换方法的结构相似性(SSIM)损失。SSIM损失匹配生成的图像和输入图像的亮度(l)、对比度(c)和结构信息(s),并且能有效提高图像的质量;多尺度SSIM损失考虑M尺度上的SSIM损失如下:
其中,
在循环GAN中添加SSIM损失,以便强化恢复的图像和原始图像之间的相似性;SSIM的权重范围应该在0.0001到0.01之间。
SSIM的权重不应该太大,否则它可能会主导重建损失;添加权重为0.01的SSIM损失,可以很好地帮助学习人物姿势,但是仍然需要更多的调整来恢复更多的面部细节。
图4是本发明一种基于循环生成对抗网络的面部图像转换方法的深度鉴别器和多重鉴别器。当鉴别层的数量增加时,接受域尺寸减小,迫使模型学习从一个域到另一个域的更详细的转化;结果表明,利用五层鉴别器的模型在模拟输入的面部表情方面做得比较好,但是头肩比等全局结构的结果较差;
多重鉴别器GAN与单个鉴别器一样,放大了模型的容量并减少随机噪声;当遇到一个看不见的姿势图像时,它明显优于其他设置;通过从不同的接受领域中学习的模式之间进行合理的折中,生成器完美地结合了人的微妙表情,而不会绕过目标人物的特征。
对于本领域技术人员,本发明不限制于上述实施例的细节,在不背离本发明的精神和范围的情况下,能够以其他具体形式实现本发明。此外,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围,这些改进和变型也应视为本发明的保护范围。因此,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于循环生成对抗网络的面部图像转换方法,其特征在于,主要包括沃瑟斯坦生成对抗网络(WGAN)(一);结构相似性(SSIM)损失(二);背景减除法和面部掩码(三);生成对抗网络(GAN)(四)。
2.基于权利要求书1所述的循环生成对抗网络(CycleGAN),其特征在于,CycleGAN的损失函数由传统的GAN损失函数和新的循环一致性损失函数两部分组成,共同推动循环一致性:
L(G,F,DX,DY)=LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F) (1)
其中,循环一致性损失函数表示G(F(X))与X、F(G(Y))与Y之间的相似性:
因此需要在未对齐的数据集上产生更好的对齐序列。
3.基于权利要求书1所述的沃瑟斯坦生成对抗网络(WGAN)(一),其特征在于,从测试中发现,人物A的一些表情被转移到了人物B的相同姿势和表情;标准的鉴别器损失使用了交叉熵损失,并且渐变消失;为了解决这个问题,根据WGAN采取了以下改进措施:
(1)损失中没有log;D的输出不再是一个概率问题,因此不在D的输出处应用S形函数;
(2)在D中减少权重;
(3)比训练生成器G更多地训练鉴别器D;
(4)使用RMSProp算法而不是ADAM优化算法;
(5)降低学习率,使学习率α=0.00005。
4.基于权利要求书3所述的WGAN损失,其特征在于,通过WGAN损失改善GAN的训练;然而,即使调整学习速度并限制梯度,训练也非常不稳定;使用WGAN的故障率很高,训练速度也很慢;可以看到与WGAN损失相比,最小二乘GAN损失有助于产生更好的结果。
5.基于权利要求书1所述的结构相似性(SSIM)损失(二),其特征在于,SSIM损失匹配生成的图像和输入图像的亮度(l)、对比度(c)和结构信息(s),并且能有效提高图像的质量;多尺度SSIM损失考虑M尺度上的SSIM损失如下:
其中,
在循环GAN中添加SSIM损失,以便强化恢复的图像和原始图像之间的相似性;SSIM的权重范围应该在0.0001到0.01之间。
6.基于权利要求书5所述的权重,其特征在于,SSIM的权重不应该太大,否则它可能会主导重建损失;添加权重为0.01的SSIM损失,可以很好地帮助学习人物姿势,但是仍然需要更多的调整来恢复更多的面部细节。
7.基于权利要求书1所述的背景减除法和面部掩码(三),其特征在于,由于循环GAN不是将前景和背景明确分开,而是将整个图像作为一个对象进行处理,并隐式转移该域,因此视频中的背景受到严重损坏;通过处理前景和背景,获得更加清晰的目标边界;通过分割输入的面部,将掩码作为像素重建误差的权重;提取面部标志,然后将面部多边形转换成掩码,使用掩码更有助于专注于面部表情,可以通过以下两种方法来平衡掩码:
(1)只为网络输入裁剪脸部,忽略所有其他部分;
(2)基于分段掩模,将逐像素权重应用于原始循环一致性损失。
8.基于权利要求书7所述的掩码,其特征在于,为了保持更好的背景,更重要的是增加面部的权重;因此,在训练期间将二进制掩码与图像一起输入,并应用wmaskImask+1的元素乘积和L1重建损失;随着人脸上更高的梯度流,网络学习更多关注面部细节。
9.基于权利要求书1所述的生成对抗网络(GAN)(四),其特征在于,使用一个生成器网络和一个鉴别器网络进行相互对抗;生成器采用UNet,具有跳跃层;使用三层卷积DX和DY作为鉴别器,将这个子网的深度扩展到五层卷积;或者可以在每边使用两个不同的鉴别器,并使用给定的权重λ来平均损失;在实验中,将λ设置为0.5;
LGAN(G,DY1,DY2)=λLGAN(G,DY1)+(1-λ)LGAN(G,DY2) (7)
修改损失函数,如上式所示。
10.基于权利要求书9所述的鉴别器,其特征在于,当鉴别层的数量增加时,接受域尺寸减小,迫使模型学习从一个域到另一个域的更详细的转化;结果表明,利用五层鉴别器的模型在模拟输入的面部表情方面做得比较好,但是头肩比等全局结构的结果较差;
多重鉴别器GAN与单个鉴别器一样,放大了模型的容量并减少随机噪声;当遇到一个看不见的姿势图像时,它明显优于其他设置;通过从不同的接受领域中学习的模式之间进行合理的折中,生成器完美地结合了人的微妙表情,而不会绕过目标人物的特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810077756.4A CN108182657A (zh) | 2018-01-26 | 2018-01-26 | 一种基于循环生成对抗网络的面部图像转换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810077756.4A CN108182657A (zh) | 2018-01-26 | 2018-01-26 | 一种基于循环生成对抗网络的面部图像转换方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108182657A true CN108182657A (zh) | 2018-06-19 |
Family
ID=62551468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810077756.4A Withdrawn CN108182657A (zh) | 2018-01-26 | 2018-01-26 | 一种基于循环生成对抗网络的面部图像转换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108182657A (zh) |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109064423A (zh) * | 2018-07-23 | 2018-12-21 | 福建帝视信息科技有限公司 | 一种基于非对称循环生成对抗损失的智能修图方法 |
CN109064422A (zh) * | 2018-07-17 | 2018-12-21 | 中国海洋大学 | 一种基于融合对抗网络的水下图像复原方法 |
CN109064389A (zh) * | 2018-08-01 | 2018-12-21 | 福州大学 | 一种手绘线条画生成现实感图像的深度学习方法 |
CN109166144A (zh) * | 2018-07-20 | 2019-01-08 | 中国海洋大学 | 一种基于生成对抗网络的图像深度估计方法 |
CN109190620A (zh) * | 2018-09-03 | 2019-01-11 | 苏州科达科技股份有限公司 | 车牌样本生成方法、系统、设备及存储介质 |
CN109377520A (zh) * | 2018-08-27 | 2019-02-22 | 西安电子科技大学 | 基于半监督循环gan的心脏图像配准系统及方法 |
CN109376582A (zh) * | 2018-09-04 | 2019-02-22 | 电子科技大学 | 一种基于生成对抗网络的交互式人脸卡通方法 |
CN109544442A (zh) * | 2018-11-12 | 2019-03-29 | 南京邮电大学 | 基于双重对抗的生成式对抗网络的图像局部风格迁移方法 |
CN109584325A (zh) * | 2018-10-30 | 2019-04-05 | 河北科技大学 | 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法 |
CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统 |
CN109784349A (zh) * | 2018-12-25 | 2019-05-21 | 东软集团股份有限公司 | 图像目标检测模型建立方法、装置、存储介质及程序产品 |
CN109840926A (zh) * | 2018-12-29 | 2019-06-04 | 中国电子科技集团公司信息科学研究院 | 一种图像生成方法、装置及设备 |
CN109919831A (zh) * | 2019-02-13 | 2019-06-21 | 广州视源电子科技股份有限公司 | 一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质 |
CN110189272A (zh) * | 2019-05-24 | 2019-08-30 | 北京百度网讯科技有限公司 | 用于处理图像的方法、装置、设备和存储介质 |
CN110222837A (zh) * | 2019-04-28 | 2019-09-10 | 天津大学 | 一种基于CycleGAN的图片训练的网络结构ArcGAN及方法 |
CN110276811A (zh) * | 2019-07-02 | 2019-09-24 | 厦门美图之家科技有限公司 | 图像转换方法、装置、电子设备及可读存储介质 |
CN110349240A (zh) * | 2019-06-26 | 2019-10-18 | 华中科技大学 | 一种无监督下基于姿势转换的行人图片合成方法和系统 |
CN110415261A (zh) * | 2019-08-06 | 2019-11-05 | 山东财经大学 | 一种分区域训练的表情动画转换方法及系统 |
CN110458786A (zh) * | 2019-07-31 | 2019-11-15 | 重庆邮电大学 | 一种先验gan模型医学影像生成方法 |
CN110503626A (zh) * | 2019-07-09 | 2019-11-26 | 上海交通大学 | 基于空间-语义显著性约束的ct图像模态对齐方法 |
CN110660128A (zh) * | 2019-09-23 | 2020-01-07 | 云南电网有限责任公司电力科学研究院 | 一种基于生成对抗网络的三维语义场景重建方法 |
CN110782397A (zh) * | 2018-12-13 | 2020-02-11 | 北京嘀嘀无限科技发展有限公司 | 一种图像处理方法、生成式对抗网络、电子设备及存储介质 |
CN111080511A (zh) * | 2019-11-18 | 2020-04-28 | 杭州时光坐标影视传媒股份有限公司 | 一种端到端的高分辨率多特征提取的人脸交换方法 |
CN111429340A (zh) * | 2020-03-25 | 2020-07-17 | 山东大学 | 一种基于自注意力机制的循环图像翻译方法 |
CN111639518A (zh) * | 2020-03-06 | 2020-09-08 | 上海卓繁信息技术股份有限公司 | 一种满意度测评方法,装置及存储设备 |
CN111652233A (zh) * | 2020-06-03 | 2020-09-11 | 哈尔滨工业大学(威海) | 一种针对复杂背景的文本验证码自动识别方法 |
CN111754389A (zh) * | 2019-03-27 | 2020-10-09 | 通用汽车环球科技运作有限责任公司 | 保留语义的风格转移 |
CN111951199A (zh) * | 2019-05-16 | 2020-11-17 | 武汉Tcl集团工业研究院有限公司 | 一种图像融合方法及设备 |
CN111986114A (zh) * | 2020-08-21 | 2020-11-24 | 南京理工大学 | 一种基于自监督约束的双尺度图像盲去噪方法及系统 |
CN112016412A (zh) * | 2020-08-13 | 2020-12-01 | 上海薇艾信息科技有限公司 | 人物头像元素及区域数字化存储和相似度分析方法和系统 |
CN112085677A (zh) * | 2020-09-01 | 2020-12-15 | 深圳先进技术研究院 | 一种图像处理方法、系统和计算机存储介质 |
CN112541566A (zh) * | 2020-09-17 | 2021-03-23 | 中国石油大学(华东) | 一种基于重构损失的图像翻译方法 |
CN112633306A (zh) * | 2019-09-24 | 2021-04-09 | 杭州海康威视数字技术股份有限公司 | 对抗图像的生成方法及装置 |
CN112767519A (zh) * | 2020-12-30 | 2021-05-07 | 电子科技大学 | 结合风格迁移的可控表情生成方法 |
CN113016005A (zh) * | 2018-11-13 | 2021-06-22 | 三星电子株式会社 | 联合无监督对象分割与修复 |
CN113039561A (zh) * | 2018-11-21 | 2021-06-25 | 渊慧科技有限公司 | 通过生成数据项的编码表示来对齐序列 |
CN113728353A (zh) * | 2018-11-15 | 2021-11-30 | 巴黎欧莱雅 | 使用条件循环一致性生成图像至图像转换模型的用于增强现实的系统和方法 |
US11475608B2 (en) | 2019-09-26 | 2022-10-18 | Apple Inc. | Face image generation with pose and expression control |
WO2023001089A1 (en) * | 2021-07-20 | 2023-01-26 | Versitech Limited | Generative adversarial network-based lossless image compression model for cross-sectional imaging |
CN116386122A (zh) * | 2023-06-02 | 2023-07-04 | 中国科学技术大学 | 高保真换脸方法、系统、设备及存储介质 |
CN117037255A (zh) * | 2023-08-22 | 2023-11-10 | 北京中科深智科技有限公司 | 基于有向图的3d表情合成方法 |
-
2018
- 2018-01-26 CN CN201810077756.4A patent/CN108182657A/zh not_active Withdrawn
Non-Patent Citations (1)
Title |
---|
XIAOHAN JIN 等: "CycleGAN Face-off", 《网页在线公开:HTTPS://ARXIV.ORG/ABS/1712.03451》 * |
Cited By (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109064422A (zh) * | 2018-07-17 | 2018-12-21 | 中国海洋大学 | 一种基于融合对抗网络的水下图像复原方法 |
CN109166144A (zh) * | 2018-07-20 | 2019-01-08 | 中国海洋大学 | 一种基于生成对抗网络的图像深度估计方法 |
CN109166144B (zh) * | 2018-07-20 | 2021-08-24 | 中国海洋大学 | 一种基于生成对抗网络的图像深度估计方法 |
CN109064423A (zh) * | 2018-07-23 | 2018-12-21 | 福建帝视信息科技有限公司 | 一种基于非对称循环生成对抗损失的智能修图方法 |
CN109064423B (zh) * | 2018-07-23 | 2022-04-08 | 福建帝视信息科技有限公司 | 一种基于非对称循环生成对抗损失的智能修图方法 |
CN109064389A (zh) * | 2018-08-01 | 2018-12-21 | 福州大学 | 一种手绘线条画生成现实感图像的深度学习方法 |
CN109064389B (zh) * | 2018-08-01 | 2023-04-18 | 福州大学 | 一种手绘线条画生成现实感图像的深度学习方法 |
CN109377520B (zh) * | 2018-08-27 | 2021-05-04 | 西安电子科技大学 | 基于半监督循环gan的心脏图像配准系统及方法 |
CN109377520A (zh) * | 2018-08-27 | 2019-02-22 | 西安电子科技大学 | 基于半监督循环gan的心脏图像配准系统及方法 |
CN109190620A (zh) * | 2018-09-03 | 2019-01-11 | 苏州科达科技股份有限公司 | 车牌样本生成方法、系统、设备及存储介质 |
CN109376582A (zh) * | 2018-09-04 | 2019-02-22 | 电子科技大学 | 一种基于生成对抗网络的交互式人脸卡通方法 |
CN109376582B (zh) * | 2018-09-04 | 2022-07-29 | 电子科技大学 | 一种基于生成对抗网络的交互式人脸卡通方法 |
CN109584325B (zh) * | 2018-10-30 | 2020-01-07 | 河北科技大学 | 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法 |
CN109584325A (zh) * | 2018-10-30 | 2019-04-05 | 河北科技大学 | 一种基于u型周期一致对抗网络的动漫图像的双向色彩化方法 |
CN109544442B (zh) * | 2018-11-12 | 2023-05-23 | 南京邮电大学 | 基于双重对抗的生成式对抗网络的图像局部风格迁移方法 |
CN109544442A (zh) * | 2018-11-12 | 2019-03-29 | 南京邮电大学 | 基于双重对抗的生成式对抗网络的图像局部风格迁移方法 |
CN113016005A (zh) * | 2018-11-13 | 2021-06-22 | 三星电子株式会社 | 联合无监督对象分割与修复 |
CN113016005B (zh) * | 2018-11-13 | 2024-09-06 | 三星电子株式会社 | 联合无监督对象分割与修复 |
CN113728353A (zh) * | 2018-11-15 | 2021-11-30 | 巴黎欧莱雅 | 使用条件循环一致性生成图像至图像转换模型的用于增强现实的系统和方法 |
CN113039561A (zh) * | 2018-11-21 | 2021-06-25 | 渊慧科技有限公司 | 通过生成数据项的编码表示来对齐序列 |
CN109671018A (zh) * | 2018-12-12 | 2019-04-23 | 华东交通大学 | 一种基于生成式对抗网络和ResNets技术的图像转换方法及系统 |
CN110782397A (zh) * | 2018-12-13 | 2020-02-11 | 北京嘀嘀无限科技发展有限公司 | 一种图像处理方法、生成式对抗网络、电子设备及存储介质 |
CN110782397B (zh) * | 2018-12-13 | 2020-08-28 | 北京嘀嘀无限科技发展有限公司 | 一种图像处理方法、生成式对抗网络、电子设备及存储介质 |
CN109784349A (zh) * | 2018-12-25 | 2019-05-21 | 东软集团股份有限公司 | 图像目标检测模型建立方法、装置、存储介质及程序产品 |
CN109784349B (zh) * | 2018-12-25 | 2021-02-19 | 东软集团股份有限公司 | 图像目标检测模型建立方法、装置、存储介质及程序产品 |
CN109840926A (zh) * | 2018-12-29 | 2019-06-04 | 中国电子科技集团公司信息科学研究院 | 一种图像生成方法、装置及设备 |
CN109840926B (zh) * | 2018-12-29 | 2023-06-20 | 中国电子科技集团公司信息科学研究院 | 一种图像生成方法、装置及设备 |
CN109919831B (zh) * | 2019-02-13 | 2023-08-25 | 广州视源电子科技股份有限公司 | 一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质 |
CN109919831A (zh) * | 2019-02-13 | 2019-06-21 | 广州视源电子科技股份有限公司 | 一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质 |
CN111754389B (zh) * | 2019-03-27 | 2024-04-19 | 通用汽车环球科技运作有限责任公司 | 保留语义的风格转移 |
CN111754389A (zh) * | 2019-03-27 | 2020-10-09 | 通用汽车环球科技运作有限责任公司 | 保留语义的风格转移 |
CN110222837A (zh) * | 2019-04-28 | 2019-09-10 | 天津大学 | 一种基于CycleGAN的图片训练的网络结构ArcGAN及方法 |
CN111951199A (zh) * | 2019-05-16 | 2020-11-17 | 武汉Tcl集团工业研究院有限公司 | 一种图像融合方法及设备 |
CN110189272B (zh) * | 2019-05-24 | 2022-11-01 | 北京百度网讯科技有限公司 | 用于处理图像的方法、装置、设备和存储介质 |
CN110189272A (zh) * | 2019-05-24 | 2019-08-30 | 北京百度网讯科技有限公司 | 用于处理图像的方法、装置、设备和存储介质 |
CN110349240A (zh) * | 2019-06-26 | 2019-10-18 | 华中科技大学 | 一种无监督下基于姿势转换的行人图片合成方法和系统 |
CN110276811B (zh) * | 2019-07-02 | 2022-11-01 | 厦门美图之家科技有限公司 | 图像转换方法、装置、电子设备及可读存储介质 |
CN110276811A (zh) * | 2019-07-02 | 2019-09-24 | 厦门美图之家科技有限公司 | 图像转换方法、装置、电子设备及可读存储介质 |
CN110503626A (zh) * | 2019-07-09 | 2019-11-26 | 上海交通大学 | 基于空间-语义显著性约束的ct图像模态对齐方法 |
CN110503626B (zh) * | 2019-07-09 | 2021-11-23 | 上海交通大学 | 基于空间-语义显著性约束的ct图像模态对齐方法 |
CN110458786A (zh) * | 2019-07-31 | 2019-11-15 | 重庆邮电大学 | 一种先验gan模型医学影像生成方法 |
CN110458786B (zh) * | 2019-07-31 | 2022-05-17 | 重庆邮电大学 | 一种先验gan模型医学影像生成方法 |
CN110415261A (zh) * | 2019-08-06 | 2019-11-05 | 山东财经大学 | 一种分区域训练的表情动画转换方法及系统 |
CN110660128A (zh) * | 2019-09-23 | 2020-01-07 | 云南电网有限责任公司电力科学研究院 | 一种基于生成对抗网络的三维语义场景重建方法 |
CN110660128B (zh) * | 2019-09-23 | 2023-08-11 | 云南电网有限责任公司电力科学研究院 | 一种基于生成对抗网络的三维语义场景重建方法 |
CN112633306B (zh) * | 2019-09-24 | 2023-09-22 | 杭州海康威视数字技术股份有限公司 | 对抗图像的生成方法及装置 |
CN112633306A (zh) * | 2019-09-24 | 2021-04-09 | 杭州海康威视数字技术股份有限公司 | 对抗图像的生成方法及装置 |
US11475608B2 (en) | 2019-09-26 | 2022-10-18 | Apple Inc. | Face image generation with pose and expression control |
CN111080511A (zh) * | 2019-11-18 | 2020-04-28 | 杭州时光坐标影视传媒股份有限公司 | 一种端到端的高分辨率多特征提取的人脸交换方法 |
CN111080511B (zh) * | 2019-11-18 | 2020-12-25 | 杭州时光坐标影视传媒股份有限公司 | 一种端到端的高分辨率多特征提取的人脸交换方法 |
CN111639518A (zh) * | 2020-03-06 | 2020-09-08 | 上海卓繁信息技术股份有限公司 | 一种满意度测评方法,装置及存储设备 |
CN111429340A (zh) * | 2020-03-25 | 2020-07-17 | 山东大学 | 一种基于自注意力机制的循环图像翻译方法 |
CN111652233A (zh) * | 2020-06-03 | 2020-09-11 | 哈尔滨工业大学(威海) | 一种针对复杂背景的文本验证码自动识别方法 |
CN111652233B (zh) * | 2020-06-03 | 2023-04-25 | 哈尔滨工业大学(威海) | 一种针对复杂背景的文本验证码自动识别方法 |
CN112016412A (zh) * | 2020-08-13 | 2020-12-01 | 上海薇艾信息科技有限公司 | 人物头像元素及区域数字化存储和相似度分析方法和系统 |
CN111986114A (zh) * | 2020-08-21 | 2020-11-24 | 南京理工大学 | 一种基于自监督约束的双尺度图像盲去噪方法及系统 |
CN112085677A (zh) * | 2020-09-01 | 2020-12-15 | 深圳先进技术研究院 | 一种图像处理方法、系统和计算机存储介质 |
CN112085677B (zh) * | 2020-09-01 | 2024-06-28 | 深圳先进技术研究院 | 一种图像处理方法、系统和计算机存储介质 |
CN112541566B (zh) * | 2020-09-17 | 2023-07-04 | 中国石油大学(华东) | 一种基于重构损失的图像翻译方法 |
CN112541566A (zh) * | 2020-09-17 | 2021-03-23 | 中国石油大学(华东) | 一种基于重构损失的图像翻译方法 |
CN112767519B (zh) * | 2020-12-30 | 2022-04-19 | 电子科技大学 | 结合风格迁移的可控表情生成方法 |
CN112767519A (zh) * | 2020-12-30 | 2021-05-07 | 电子科技大学 | 结合风格迁移的可控表情生成方法 |
WO2023001089A1 (en) * | 2021-07-20 | 2023-01-26 | Versitech Limited | Generative adversarial network-based lossless image compression model for cross-sectional imaging |
CN116386122A (zh) * | 2023-06-02 | 2023-07-04 | 中国科学技术大学 | 高保真换脸方法、系统、设备及存储介质 |
CN116386122B (zh) * | 2023-06-02 | 2023-08-29 | 中国科学技术大学 | 高保真换脸方法、系统、设备及存储介质 |
CN117037255A (zh) * | 2023-08-22 | 2023-11-10 | 北京中科深智科技有限公司 | 基于有向图的3d表情合成方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108182657A (zh) | 一种基于循环生成对抗网络的面部图像转换方法 | |
Hu et al. | Learning supervised scoring ensemble for emotion recognition in the wild | |
Wang et al. | Action recognition based on joint trajectory maps using convolutional neural networks | |
CN108537743B (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
Liu et al. | A cross-modal adaptive gated fusion generative adversarial network for RGB-D salient object detection | |
Tu et al. | Spatial-temporal data augmentation based on LSTM autoencoder network for skeleton-based human action recognition | |
Kim et al. | Cored: Generalizing fake media detection with continual representation using distillation | |
CN111127308A (zh) | 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法 | |
CN106650617A (zh) | 一种基于概率潜在语义分析的行人异常识别方法 | |
CN111489405B (zh) | 基于条件增强生成对抗网络的人脸草图合成系统 | |
Suri et al. | On matching faces with alterations due to plastic surgery and disguise | |
CN110533578A (zh) | 一种基于条件对抗神经网络的图像翻译方法 | |
Baek et al. | Generative adversarial ensemble learning for face forensics | |
Cao et al. | Metric learning for anti-compression facial forgery detection | |
Du et al. | Age factor removal network based on transfer learning and adversarial learning for cross-age face recognition | |
Zhang et al. | 3D-GAT: 3D-guided adversarial transform network for person re-identification in unseen domains | |
Satapathy et al. | A lite convolutional neural network built on permuted Xceptio-inception and Xceptio-reduction modules for texture based facial liveness recognition | |
CN111860266B (zh) | 基于深度特征的伪装人脸识别方法 | |
Tu et al. | Clothing-change person re-identification based on fusion of RGB modality and gait features | |
Zheng et al. | Template‐Aware Transformer for Person Reidentification | |
Chang et al. | Cyber Vaccine for Deepfake Immunity | |
Teng et al. | Unimodal face classification with multimodal training | |
Xu et al. | Isolated Word Sign Language Recognition Based on Improved SKResNet‐TCN Network | |
Liu et al. | 3D action recognition using multi-temporal skeleton visualization | |
Zhong et al. | Digital recognition of street view house numbers based on DCGAN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180619 |
|
WW01 | Invention patent application withdrawn after publication |