CN112818820B - 图像生成模型训练方法、图像生成方法、装置及电子设备 - Google Patents
图像生成模型训练方法、图像生成方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112818820B CN112818820B CN202110118319.4A CN202110118319A CN112818820B CN 112818820 B CN112818820 B CN 112818820B CN 202110118319 A CN202110118319 A CN 202110118319A CN 112818820 B CN112818820 B CN 112818820B
- Authority
- CN
- China
- Prior art keywords
- image
- generator
- sub
- loss
- discrimination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims abstract description 68
- 239000013598 vector Substances 0.000 claims abstract description 54
- 238000002372 labelling Methods 0.000 claims description 93
- 230000037308 hair color Effects 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Abstract
本公开关于一种图像生成模型训练方法、图像生成方法、装置及电子设备,其中,包括:获取相同的第一原始图像生成器和第二原始图像生成器,获取图像风格不同的第一样本图像和第二样本图像,生成随机向量,将随机向量分别输入第一原始图像生成器和第二原始图像生成器,得到第一输出图像和第二输出图像,根据第一输出图像、第二输出图像、第一样本图像和第二样本图像训练第一原始图像生成器、第一判别器、第二原始图像生成器和第二判别器,得到第一图像生成器和第二图像生成器,第一图像生成器生成的第一图像和第一样本图像风格相同,第二图像生成器生成的第二图像和第二样本图像风格相同。可以方便得到配对图像,且保证了配对图像较高的生成效率。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及一种图像生成模型训练方法、图像生成方法、装置及电子设备。
背景技术
风格化转换可以在保留图像主要内容的情况下,将图像细节和风格进行变化,如改变人像的年龄,改变照片中人像的肤色或者将照片转化为动画(二次元)风格。
常用的风格转化方法通过神经卷积网络对输入图片进行拟合,并输出目标风格转化后的图片,在完成风格转化的同时保持图片的大致细节不变,如人物脸型,五官轮廓在转化前后保持基本不变。
训练网络需要大量的配对数据,比如头发颜色由黑变白的变换任务中,需要大量黑色和白色头发配对的图片。然而,获取大量配对图片有以下两个难点:
1)大量原始图片难以获得:网上下载的图片参差不齐、获取成本高、有版权风险;找模特拍照成本高;许多风格图片本身非常少见,比如手绘风格、绿色头发等;
2)难以获取配对图片:比如发色转换任务中,黑色和白色头发的同一个人在同样场景保持同样姿势难度较高。手绘风格转换中只能找设计师按照原始人像照片手工绘制成本太高。
发明内容
本公开提供一种图像生成模型训练方法、图像生成方法、装置及电子设备,以至少解决相关技术中配对图像获取难度大的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种图像生成模型训练方法,包括:
获取相同的第一原始图像生成器和第二原始图像生成器;
获取图像风格不同的第一样本图像和第二样本图像;
生成随机向量,将所述随机向量分别输入所述第一原始图像生成器和所述第二原始图像生成器,得到第一输出图像和第二输出图像;
根据所述第一输出图像、所述第二输出图像、所述第一样本图像和所述第二样本图像训练所述第一原始图像生成器、第一判别器、所述第二原始图像生成器和第二判别器,得到所述第一图像生成器和所述第二图像生成器;所述第一图像生成器生成的第一图像和所述第一样本图像风格相同,所述第二图像生成器生成的第二图像和所述第二样本图像风格相同。
在一个可选的实施例中,所述训练所述第一原始图像生成器、第一判别器、所述第二原始图像生成器和第二判别器,得到所述第一图像生成器和所述第二图像生成器包括:
将所述第一输出图像和所述第一样本图像输入第一判别器,得到所述第一输出图像对应的第一子判别结果和所述第一样本图像对应的第二子判别结果;
将所述第二输出图像和所述第二样本图像输入第二判别器,得到所述第二输出图像对应的第三子判别结果和所述第二样本图像对应的第四子判别结果;
基于所述第一输出图像、所述第二输出图像、所述第一子判别结果、所述第二子判别结果、所述第三子判别结果和所述第四子判别结果训练所述第一原始图像生成器、所述第一判别器、所述第二原始图像生成器和所述第二判别器,得到所述第一图像生成器和所述第二图像生成器。
在一个可选的实施例中,所述基于所述第一输出图像、所述第二输出图像、所述第一子判别结果、所述第二子判别结果、所述第三子判别结果和所述第四子判别结果训练所述第一原始图像生成器、所述第一判别器、所述第二原始图像生成器和所述第二判别器,得到所述第一图像生成器和所述第二图像生成器包括:
根据所述第一子判别结果、所述第二子判别结果、所述第一输出图像的对应于所述第一判别器的第一标注信息和第一样本图像的标注信息确定第一目标损失;
根据所述第三子判别结果、所述第四子判别结果、所述第二输出图像的对应于所述第二判别器的第一标注信息和第二样本图像的标注信息确定第二目标损失;
根据所述第一目标损失训练所述第一判别器,且根据所述第二目标损失训练所述第二判别器;
基于所述第一子判别结果和所述第一输出图像的对应于所述第一原始图像生成器的第二标注信息确定第五判别损失;
基于所述第三子判别结果和所述第二输出图像的对应于所述第二原始图像生成器的第二标注信息确定第六判别损失;
基于所述约束损失函数确定所述第一输出图像和所述第二输出图像的之间的图像内容损失;
根据所述第五判别损失、所述第六判别损失和所述图像内容损失训练所述第一原始图像生成器和所述第二原始图像生成器,
在满足迭代终止条件的情况下,得到所述第一图像生成器和所述第二图像生成器。
在一个可选的实施例中,所述在满足迭代终止条件的情况下,得到所述第一图像生成器和所述第二图像生成器包括:
循环训练所述第一判别器、所述第二判别器、所述第一原始图像生成器和所述第二原始图像生成器,直至满足迭代终止条件;
将训练后的所述第一原始图像生成器确定为所述第一图像生成器,将训练后的所述第二原始图像生成器确定为所述第二图像生成器。
在一个可选的实施例中,所述根据所述第一子判别结果、所述第二子判别结果、所述第一输出图像的对应于所述第一判别器的第一标注信息和第一样本图像的标注信息确定第一目标损失包括:
基于所述第一子判别结果和所述第一输出图像的对应于所述第一判别器的第一标注信息确定第一判别损失;
基于所述第二子判别结果和所述第一样本图像的标注信息确定第二判别损失;
根据所述第一判别损失和所述第二判别损失确定第一目标损失;
所述根据所述第三子判别结果、所述第四子判别结果、所述第二输出图像的对应于所述第二判别器的第一标注信息和第二样本图像的标注信息确定第二目标损失包括:
基于所述第三子判别结果和所述第二输出图像的对应于所述第二判别器的第一标注信息确定第三判别损失;
基于所述第四子判别结果和所述第二样本图像的标注信息确定第四判别损失;
根据所述第三判别损失和所述第四判别损失确定第二目标损失。
在一个可选的实施例中,在所述第一图像生成器和所述第二图像生成器都为人脸图像生成器的情况下,所述图像风格不同包括图像头发颜色不同,所述图像内容损失至少包括人脸属性信息损失。
根据本公开实施例的第二方面,提供一种图像生成方法,包括:
生成多个随机向量;
将所述多个随机向量中的每个随机向量输入根据权利要求1至6任一图像生成模型训练方法训练得到的第一图像生成器和第二图像生成器,得到每个所述随机向量对应的风格不同的第一目标图像和第二目标图像;将所述第一目标图像和所述第二目标图像作为目标配对图像。
根据本公开实施例的第三方面,提供一种图像生成模型的训练装置,包括:
原始生成器获取模块,被配置为执行获取相同的第一原始图像生成器和第二原始图像生成器;
样本图像获取模块,被配置为执行获取图像风格不同的第一样本图像和第二样本图像;
输出图像生成模块,被配置为执行生成随机向量,将所述随机向量分别输入所述第一原始图像生成器和所述第二原始图像生成器,得到第一输出图像和第二输出图像;
生成器确定模块,被配置为执行根据所述第一输出图像、所述第二输出图像、所述第一样本图像和所述第二样本图像训练所述第一原始图像生成器、第一判别器、所述第二原始图像生成器和第二判别器,得到所述第一图像生成器和所述第二图像生成器;所述第一图像生成器生成的第一图像和所述第一样本图像风格相同,所述第二图像生成器生成的第二图像和所述第二样本图像风格相同。
在一个可选的实施例中,所述生成器确定模块包括:
第一判别结果获取模块,被配置为执行将所述第一输出图像和所述第一样本图像输入第一判别器,得到所述第一输出图像对应的第一子判别结果和所述第一样本图像对应的第二子判别结果;
第二判别结果获取模块,被配置为执行将所述第二输出图像和所述第二样本图像输入第二判别器,得到所述第二输出图像对应的第三子判别结果和所述第二样本图像对应的第四子判别结果;
生成器确定子模块,被配置为执行基于所述第一输出图像、所述第二输出图像、所述第一子判别结果、所述第二子判别结果、所述第三子判别结果和所述第四子判别结果训练所述第一原始图像生成器、所述第一判别器、所述第二原始图像生成器和所述第二判别器,得到所述第一图像生成器和所述第二图像生成器。
在一个可选的实施例中,所述生成器确定子模块包括:
第一损失确定模块,被配置为执行根据所述第一子判别结果、所述第二子判别结果、所述第一输出图像的对应于所述第一判别器的第一标注信息和第一样本图像的标注信息确定第一目标损失;
第二损失确定模块,被配置为执行根据所述第三子判别结果、所述第四子判别结果、所述第二输出图像的对应于所述第二判别器的第一标注信息和第二样本图像的标注信息确定第二目标损失;
判别器训练模块,被配置为执行根据所述第一目标损失训练所述第一判别器,且根据所述第二目标损失训练所述第二判别器;
第三损失确定模块,被配置为执行基于所述第一子判别结果和所述第一输出图像的对应于所述第一原始图像生成器的第二标注信息确定第五判别损失;
第四损失确定模块,被配置为执行基于所述第三子判别结果和所述第二输出图像的对应于所述第二原始图像生成器的第二标注信息确定第六判别损失;
内容损失确定模块,被配置为执行基于所述约束损失函数确定所述第一输出图像和所述第二输出图像的之间的图像内容损失;
生成器训练模块,被配置为执行根据所述第五判别损失、所述第六判别损失和所述图像内容损失训练所述第一原始图像生成器和所述第二原始图像生成器,
生成器获取模块,被配置为执行在满足迭代终止条件的情况下,得到所述第一图像生成器和所述第二图像生成器。
在一个可选的实施例中,所述生成器获取模块,被配置为执行:
循环训练所述第一判别器、所述第二判别器、所述第一原始图像生成器和所述第二原始图像生成器,直至满足迭代终止条件;
将训练后的所述第一原始图像生成器确定为所述第一图像生成器,将训练后的所述第二原始图像生成器确定为所述第二图像生成器。
在一个可选的实施例中,所述第一损失确定模块,被配置为执行:
基于所述第一子判别结果和所述第一输出图像的对应于所述第一判别器的第一标注信息确定第一判别损失;
基于所述第二子判别结果和所述第一样本图像的标注信息确定第二判别损失;
根据所述第一判别损失和所述第二判别损失确定第一目标损失;
所述第二损失确定模块,被配置为执行:
基于所述第三子判别结果和所述第二输出图像的对应于所述第二判别器的第一标注信息确定第三判别损失;
基于所述第四子判别结果和所述第二样本图像的标注信息确定第四判别损失;
根据所述第三判别损失和所述第四判别损失确定第二目标损失。
在一个可选的实施例中,在所述第一图像生成器和所述第二图像生成器都为人脸图像生成器的情况下,所述图像风格不同包括图像头发颜色不同,所述图像内容损失至少包括人脸属性信息损失。
根据本公开实施例的第四方面,提供一种图像生成装置,包括:
向量生成模块,被配置为执行生成多个随机向量;
目标图像获取模块,被配置为执行将所述多个随机向量中的每个随机向量输入图像生成模型训练方法训练得到的第一图像生成器和第二图像生成器,得到每个所述随机向量对应的风格不同的第一目标图像和第二目标图像;将所述第一目标图像和所述第二目标图像作为目标配对图像。
根据本公开实施例的第五方面,提供一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现如上述的图像生成模型训练方法,或图像生成方法。
根据本公开实施例的第六方面,提供一种存储介质,当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行图像生成模型训练方法,或图像生成方法。
根据本公开实施例的第七方面,提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像生成模型训练方法,或图像生成方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
获取相同的第一原始图像生成器和第二原始图像生成器,获取图像风格不同的第一样本图像和第二样本图像,生成随机向量,将随机向量分别输入第一原始图像生成器和第二原始图像生成器,得到第一输出图像和第二输出图像,根据第一输出图像、第二输出图像、第一样本图像和第二样本图像训练第一原始图像生成器、第一判别器、第二原始图像生成器和第二判别器,得到第一图像生成器和第二图像生成器,第一图像生成器生成的第一图像和第一样本图像风格相同,第二图像生成器生成的第二图像和第二样本图像风格相同。通过上述方法,可以获取风格不同的第一图像和第二图像,解决了配对图像获取难度问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用环境的示意图;
图2是根据一示例性实施例示出的一种图像生成模型训练方法的流程图;
图3是根据一示例性实施例示出的一种对抗网络的结构示意图;
图4是根据一示例性实施例示出的一种确定第一图像生成器和所述第二图像生成器的流程图;
图5是根据一示例性实施例示出的一种确定第一图像生成器和所述第二图像生成器的流程图;
图6是根据一示例性实施例示出的一种图像生成方法的流程图;
图7是根据一示例性实施例示出的一种图像生成模型训练装置框图;
图8是根据一示例性实施例示出的一种图像生成装置框图;
图9是根据一示例性实施例示出的一种用于图像生成模型训练方法或者图像生成方法的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1,图1根据一示例性实施例示出的一种应用环境的示意图,如图1所示,包括服务器01和终端02。可选的,服务器01和终端02可以通过无线链路连接,也可以通过有线链路连接,本公开在此不做限定。
在一个可选的实施例中,服务器01可以基于获取的训练好的第一图像生成器、训练好的第二图像生成器以及多个图像随机向量生成每个图像随机向量对应的第一图像和第二图像,该第一图像和第二图像就是一对配对图像。具体的,服务器01可以包含第一图像生成器和第二图像生成器,其可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选的,该服务器01上运行的操作系统可以包括但是不限于IOS、Linux、Windows、Unix、Android系统等。
在一个可选的实施例中,终端02可以接收服务器01得到的多对配对图像(第一图像和第二图像)。终端02在接收到多对配对图像后,可以基于需求对配对图像进行处理终端02可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、智能可穿戴设备等类型的电子设备。可选的,电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
此外,需要说明的是,图1所示的仅仅是本公开提供的图像处理方法的一种应用环境,在实际应用中,还可以包括其他应用环境,例如第一图像和第二图像的生成,也可以在终端02上实现。
图2是根据一示例性实施例示出的一种图像生成模型训练方法的流程图,如图2所示,该图像生成模型训练方法适用于服务器、终端等电子设备中,包括以下步骤:
在步骤S201中,获取相同的第一原始图像生成器和第二原始图像生成器。
在一个可选的实施例中,上述的第一原始图像生成器和第二原始图像生成器都是对抗网络中的一部分,比如包含有第一原始图像生成器的第一对抗网络除了该第一原始图像生成器之外,还可以包括第一判别器。同样的,包含有第二原始图像生成器的第二对抗网络除了该第二原始图像生成器之外,还可以包括第二判别器。
在一个可选的实施例中,可以对一个原始图像生成器进行复制,得到上述相同的第一原始图像生成器和第二原始图像生成器。
在一个可选的实施例中,为了节省训练时间,该原始图像生成器可以是经过一定训练的生成器。或者,还可以是新构建的未经过训练的生成器。
图3是根据一示例性实施例示出的一种对抗网络的结构示意图,如图3所示,包括原始图像生成器300、第一原始图像生成器301,第二原始图像生成器302,第一判别器303和第二判别器304。
在一个可选的实施例中,第一原始图像生成器301和第二原始图像生成器302可以是通过对同一个原始图像生成器300进行复制得到的。
在另一个可选的实施例中,第一原始图像生成器和第二原始图像生成器还可以是分别构建的。
在步骤S203中,获取图像风格不同的第一样本图像和第二样本图像。
本公开实施例中,由于在第一原始图像生成器和第二原始图像生成器被训练好之后,得到的第一图像生成器和第二图像生成器分别生成的第一图像和第二图像是一对配对图像,该对配对图像是图像风格不同的图像,其中,图像风格不同是指配对图像中某个特征是不同的。
可选的,在第一原始图像生成器和第二原始图像生成器都为人脸图像生成器的情况下,即训练得到的第一图像生成器和第二图像生成器都是人来你图像生成器的情况下,配对图像是人脸图像,在一个可选的实施例中,图像风格可以是指头发颜色,图像风格不同可以是指配对图像中头发颜色不同,除了头发颜色不同之外,其他特征是一样的。比如说,第一图像中头发颜色是深色的,第二图像中头发颜色是浅色的,其他包括头发纹理、人脸标识、背景和姿态在第一图像和第二图像上都是一样的或者相近的。在另一个可选的实施例中,挑选风格可以是衣服颜色,除衣服颜色之外的其他特征是一样的,比如,头发颜色,头发纹理,人脸标识,背景和姿态等等。下面将以图像风格是头发颜色,其他特征是头发纹理、人脸标识、背景和姿态等进行举例说明,其他实施例请参考具体说明的实施例,不在赘述。
可选的,在配对图像中,图像风格可以是一个,比如说头发颜色。可选的,在配对图像中,图像风格的数量可以是多个,比如说头发颜色和衣服颜色。
在步骤S205中,生成随机向量,将所述随机向量分别输入所述第一原始图像生成器和所述第二原始图像生成器,得到第一输出图像和第二输出图像。
基于图3所示的结构示意图进行阐述,随机向量可以是随机向量生成方法随机生成的,将随机向量分别输入第一原始图像生成器301和第二原始图像生成器302后,可以得到第一原始图像生成器301输出的第一输出图像401和第二原始图像生成器302输出的第二输出图像403。
在一个可选的实施例中,若第一原始图像生成器301和第二原始图像生成器302是通过对同一个原始图像生成器300进行复制得到的,又因为输入的是同一个随机向量,因此,在第一轮训练中,得到的第一输出图像401和第二输出图像403是一样的(此时,输出的并不是如图3所示的第一输出图片和第二输出图像,图3所示的第一输出图片和第二输出图片是训练好之后才能呈现的效果,即第一输出图片和第一样本图片的头发颜色的风格是一样的,第二输出图片和第二样本图片的头发颜色的风格是一样的,网格可以表示浅色,条纹表示深色)。
在步骤S207中,根据所述第一输出图像、所述第二输出图像、所述第一样本图像和所述第二样本图像训练所述第一原始图像生成器、第一判别器、所述第二原始图像生成器和第二判别器,得到所述第一图像生成器和所述第二图像生成器;所述第一图像生成器生成的第一图像和所述第一样本图像风格相同,所述第二图像生成器生成的第二图像和所述第二样本图像风格相同。
图4是根据一示例性实施例示出的一种确定第一图像生成器和所述第二图像生成器的流程图,包括:
在步骤S2071中,将第一输出图像和第一样本图像输入第一判别器,得到第一输出图像对应的第一子判别结果和第一样本图像对应的第二子判别结果。
基于图3所示的结构示意图进行阐述,将第一输出图像401和第一样本图像402输入第一判别器303,得到第一输出图像对应的第一子判别结果和第一样本图像对应的第二子判别结果。可选的,判别器通常以0-1来表示图像真假的概率。按照实际来说,由于第一输出图像是第一原始图像生成器生成的,且此时该第一原始图像生成器还没有训练好,因此,第一输出图像的第一子判别结果更趋向于0(越接近于0表示越假),而真实的第一样本图像的第二子判别结果更趋向于1(越接近于1表示越真)。举个例子,假设第一子判别结果为0.3,第二子判别结果为0.85。
在步骤S2073中,将第二输出图像和第二样本图像输入第二判别器,得到第二输出图像对应的第三子判别结果和第二样本图像对应的第四子判别结果。
基于图3所示的结构示意图进行阐述,将第二输出图像403和第二样本图像404输入第二判别器304,可以得到第二输出图像对应的第三子判别结果和第二样本图像对应的第四子判别结果。按照实际来说,由于第二输出图像是第二原始图像生成器生成的,且此时该第二原始图像生成器还没有训练好,因此,第二输出图像的第一子判别结果更趋向于0(越接近于0表示越假),而真实的第二样本图像的第二子判别结果更趋向于1(越接近于1表示越真)。举个例子,假设第三子判别结果为0.25,第四子判别结果为0.8。
在步骤S2075中,基于第一输出图像、第二输出图像、第一子判别结果、第二子判别结果、第三子判别结果和第四子判别结果训练第一原始图像生成器、第一判别器、第二原始图像生成器和第二判别器,得到第一图像生成器和第二图像生成器。
其中,第一原始图像生成器和第一判别器组成第一对抗网络,第二原始图像生成器和第二判别器组成第二对抗网络。
图5是根据一示例性实施例示出的一种确定第一图像生成器和第二图像生成器的流程图,步骤S2073的技术方案可以包括:
在步骤S501中,根据第一子判别结果、第二子判别结果、第一输出图像的对应于第一判别器的第一标注信息和第一样本图像的标注信息确定第一目标损失。
在一个可选的实施例中,可以先获取第一输出图像的对应于第一判别器的第一标注信息和第一样本图像的标注信息,第一输出图像的对应于第一判别器的第一标注信息和第一样本图像的标注信息是根据实际情况预设的,由于第一输出图像相对于判别器为假,因此,第一输出图像的对应于第一判别器的第一标注信息为0,由于第一样本图像相对于判别器为真,因此,第一样本图像的标注信息为1。
可选的,可以基于第一子判别结果和第一输出图像的对应于第一判别器的第一标注信息确定第一判别损失,基于第二子判别结果和第一样本图像的标注信息确定第二判别损失,根据第一判别损失和第二判别损失确定第一目标损失。具体的,可以基于第一子判别结果和第一输出图像的对应于第一判别器的第一标注信息之间的差值确定第一判别损失,基于第二子判别结果和第一样本图像的标注信息之间的差值确定第二判别损失,根据第一判别损失和第二判别损失确定第一目标损失。
在步骤S503中,根据第三子判别结果、第四子判别结果、第二输出图像的对应于第二判别器的第一标注信息和第二样本图像的标注信息确定第二目标损失。
在一个可选的实施例中,可以先获取第二输出图像的对应于第二判别器的第一标注信息和第二样本图像的标注信息,第二输出图像的对应于第二判别器的第一标注信息和第二样本图像的标注信息是根据实际情况预设的,由于第二输出图像相对于判别器为假,因此,第二输出图像的对应于第二判别器的第一标注信息为0,由于第二样本图像相对于判别器为真,因此,第二样本图像的标注信息为1。
可选的,可以基于第三子判别结果和第二输出图像的对应于第二判别器的第一标注信息确定第三判别损失,基于第四子判别结果和第二样本图像的标注信息确定第四判别损失,根据第三判别损失和第四判别损失确定第二目标损失。具体的,可以基于第三子判别结果和第二输出图像的对应于第二判别器的第一标注信息之间的差值确定第三判别损失,基于第四子判别结果和第二样本图像的标注信息之间的差值确定第四判别损失,根据第三判别损失和第四判别损失确定第二目标损失。
在步骤S505中,根据第一目标损失训练第一判别器,且根据第二目标损失训练第二判别器。
训练第一判别器和第二判别器是指在第一目标损失不满足第一预设条件的情况下,更新第一判别器的网络参数;在第二目标损失不满足第二预设条件的情况下,更新第二判别器的网络参数。
通过上述S501-S503的训练步骤,已经完成的一轮训练中,固定住原始图像生成器,对判别器的迭代更新,下面可以对两个原始图像生成器做迭代更新。
在步骤S507中,基于第一子判别结果和第一输出图像的对应于第一原始图像生成器的第二标注信息确定第五判别损失。
在一个可选的实施例中,可以获取第一输出图像的对应于第一原始图像生成器的第二标注信息,第一输出图像的对应于第以原始图像生成器的第二标注信息是根据实际情况预设的,由于第一输出图像的对应于第一原始图像生成器的第二标注信息是用来调节第一原始图像生成器的网络参数的,而第一原始图像生成器的训练目的就是要使得生成得到的第一输出图像在第一原始图像生成器这里更趋近为真,即数值为1,因此,第一输出图像的对应于第一原始图像生成器的第二标注信息为1。
可选的,可以基于第一子判别结果和第一输出图像的对应于第一原始图像生成器的第二标注信息的差值确定第五判别损失。
在步骤S509中,基于第三子判别结果和第二输出图像的对应于第二原始图像生成器的第二标注信息确定第六判别损失。
在一个可选的实施例中,可以获取第二输出图像的对应于第二原始图像生成器的第二标注信息,第二输出图像的对应于第二原始图像生成器的第二标注信息是根据实际情况预设的,由于第二输出图像的对应于第二原始图像生成器的第二标注信息是用来调节第二原始图像生成器的网络参数的,而第二原始图像生成器的训练目的就是要使得生成得到的第二输出图像在第二原始图像生成器这里更趋近为真,即数值为1,因此,第二输出图像的对应于第二原始图像生成器的第二标注信息为1。
可选的,可以基于第三子判别结果和第二输出图像的对应于第二原始图像生成器的第二标注信息的差值确定第六判别损失。
在步骤S511中,基于约束损失函数确定第一输出图像和第二输出图像的之间的图像内容损失。
本公开实施例中,由于要保证最终配对图像(第一图像和第二图像)中除了头发颜色的风格不同,其他特征是相同的,因此,必须要增加一致性约束,来保证第一输出图像和第二输出图像的之间的图像内容损失尽可能小。
在一个可选的实施例中,图像内容损失至少可以包括人脸属性信息损失。
举个例子,若图像内容(其他特征)包括头发纹理,背景,人脸标识,衣服,则可以在头发区域采集得到高频信息之后,利用绝对平均值误差或者均方误差去约束第一输出图像和第二输出图像在头发纹理上相近或者一样。
可选的,利用绝对平均值误差或者均方误差去约束第一输出图像和第二输出图像在背景和衣服上相近或者一样。
可选的,将第一输出图像和第二输出图像输入人脸标识(人脸id)网络,提取出两个特征向量做误差来约束第一输出图像和第二输出图像在人脸标识上一样。其中,人脸标识一样可以意味着两个输出图像中的人是同一个人。该误差可以是余弦误差、绝对平均值误差和交叉熵误差。
在步骤S513中,根据第五判别损失、第六判别损失和图像内容损失训练第一原始图像生成器和第二原始图像生成器。
可选的,可以在第五判别损失不满足第三预设条件、第六判别损失不满足第四预设条件和图像内容损失不满足第五预设条件中存在至少一个条件不成立时,更新第一原始图像生成器和第二原始图像生成器的网络参数。
到此时,一轮训练中的两个图像生成器已经完成迭代更新,得到更新后的第一原始图像生成器和第二原始图像生成器。或者说,得到更新后的第二对抗网络和第二对抗网络。
随后,利用更新后的第一原始图像生成器和第二原始图像生成器根据再次生成的随机向量重新生成当前的第一输出图像和当前的第二输出图像;基于更新后的第一判别器和第二判别器重新确定当前的第一判别子结果、当前的第二判别子结果、当前的第三判别子结果和当前的第四判别子结果;基于当前的第一输出图像、当前的第二输出图像、当前的第一判别子结果、当前的第二判别子结果、当前的第三判别子结果和当前的第四判别子结果确定当前的第一目标损失、当前的第二目标损失、当前的第五判别损失、当前的第六判别损失和当前的图像内容损失;直至当前的第一目标损失满足第一预设条件,当前的第二目标损失满足第二预设条件,当前的第五判别损失满足第三预设条件、当前的第六判别损失满足第四预设条件和当前的图像内容损失满足第五预设条件,或者;更新第一对抗网络的网络参数的次数和更新第二对抗网络的网路参数的次数大于预设次数;确定第一对抗网络和第二对抗网络训练完成。
可选的,上述的随机向量是随机生成的,随机向量就是完全的随机数,随机数怎么转化为各种特征是神经网络自我学习的。
在一个可选的实施例中,确定第一对抗网络和第二对抗网络训练完成的条件可以包括两个:第一个条件为:当前的第一目标损失满足第一预设条件,当前的第二目标损失满足第二预设条件,当前的第五判别损失满足第三预设条件、当前的第六判别损失满足第四预设条件和当前的图像内容损失满足第五预设条件。第二个条件为:更新第一对抗网络的网络参数的次数和更新第二对抗网络的网路参数的次数大于预设次数,也就是说,网络迭代次数满足预设的最大迭代次数,就不再进行迭代了,此时,也就默认第一对抗网络和第二对抗网络已经训练好了。综上,在训练过程中,只要上述两个条件中任一个条件被满足了,就可以停止训练了。
在步骤S515中,在满足迭代终止条件的情况下,得到第一图像生成器和第二图像生成器。
在一个可选的实施例中,可以循环训练第一判别器、第二判别器、第一原始图像生成器和第二原始图像生成器,直至满足迭代终止条件,将训练后的第一原始图像生成器确定为第一图像生成器,将训练后的第二原始图像生成器确定为第二图像生成器。
在一个可选的实施例中,在上述步骤S203中,第一样本图像和第二样本图像可以通过如下方法获取。获取第一样本图像集和第二样本图像集,第一样本图像集中的每个第一样本图像的图像风格是一样的,比如说头发颜色都是浅色的。第二样本图像集中的每个第二样本图像的图像风格是一样的,比如说头发颜色都是深色的。
举个例子,第一样本图像集中有100张第一样本图像,每张第一样本图像的头发颜色是属于同一风格的,比如说都是浅色的,其他的,比如头发长短,肤色,人脸都可以是不同的。第二样本图像集中有100张第二样本图像,每张第二样本图像的头发颜色是属于同一风格的,比如说都是深色的,其他的,比如头发长短,肤色,人脸都可以是不同的。将第一样本图像集中的任一张图像确定为第一样本图像;将第二样本图像集中的任一张图像确定为第二样本图像。
在一个可选的实施例中,每一轮训练中,第一样本图像可以从第一样本图像集中获取,第二样本图像可以从第二样本图像集中获取。可选的,每一轮,对第一对抗网络和第二对抗网络的任两轮训练过程中,输入第一原始图像生成器的第一样本图像是不同的图像;输入第二原始图像生成器的第二样本图像是不同的图像。即可以通过不同的第一样本图像来训练第一判别器,通过不同的第二样本图像来训练第二判别器。以使最终训练后的第一图像生成器生成的第一图像的头发颜色可以是不同的浅色,比如灰色,银色等。第二图像生成器生成的第二图像的头发颜色可以是不同的身色,比如棕色,黑色等。
在一个可选的实施例中,上述第一图像生成器、第二图像生成器、第一判别器和第二判别器可以是各种各样的神经网络,比如神经卷积网络等。
基于上述图像生成模型训练方法的实施例,以下介绍本公开一种图像生成方法的实施例中,图6是根据一示例性实施例示出的一种图像生成方法的流程图,参照图6,该方法可以应用于服务器、终端、边缘计算节点等电子设备中,包括以下步骤。
在步骤S601中,生成多个随机向量;
在步骤S603中,将所述多个随机向量中的每个随机向量输入图像生成模型训练方法训练得到的第一图像生成器和第二图像生成器,得到每个所述随机向量对应的风格不同的第一目标图像和第二目标图像;将所述第一目标图像和所述第二目标图像作为目标配对图像。
综上,本公开通过上述方法,可以基于多个图像随机生成多对配对图像(第一图像和第二图像),如此,可以得到较高质量的配对图像,避免了版权风险,可以生成风格不同的配对图像。
图7是根据一示例性实施例示出的一种图像生成模型训练装置框图。参照图7,该装置包生成器原始生成器获取模块701,样本图像获取模块702、输出图像生成模块703和生成器确定模块704。
原始生成器获取模块701,被配置为执行获取相同的第一原始图像生成器和第二原始图像生成器;
样本图像获取模块702,被配置为执行获取图像风格不同的第一样本图像和第二样本图像;
输出图像生成模块703,被配置为执行生成随机向量,将所述随机向量分别输入所述第一原始图像生成器和所述第二原始图像生成器,得到第一输出图像和第二输出图像;
生成器确定模块704,被配置为执行根据所述第一输出图像、所述第二输出图像、所述第一样本图像和所述第二样本图像训练所述第一原始图像生成器、第一判别器、所述第二原始图像生成器和第二判别器,得到所述第一图像生成器和所述第二图像生成器;所述第一图像生成器生成的第一图像和所述第一样本图像风格相同,所述第二图像生成器生成的第二图像和所述第二样本图像风格相同。
在一个可选的实施例中,所述生成器确定模块包括:
第一判别结果获取模块,被配置为执行将所述第一输出图像和所述第一样本图像输入第一判别器,得到所述第一输出图像对应的第一子判别结果和所述第一样本图像对应的第二子判别结果;
第二判别结果获取模块,被配置为执行将所述第二输出图像和所述第二样本图像输入第二判别器,得到所述第二输出图像对应的第三子判别结果和所述第二样本图像对应的第四子判别结果;
生成器确定子模块,被配置为执行基于所述第一输出图像、所述第二输出图像、所述第一子判别结果、所述第二子判别结果、所述第三子判别结果和所述第四子判别结果训练所述第一原始图像生成器、所述第一判别器、所述第二原始图像生成器和所述第二判别器,得到所述第一图像生成器和所述第二图像生成器。
在一个可选的实施例中,所述生成器确定子模块包括:
第一损失确定模块,被配置为执行根据所述第一子判别结果、所述第二子判别结果、所述第一输出图像的对应于所述第一判别器的第一标注信息和第一样本图像的标注信息确定第一目标损失;
第二损失确定模块,被配置为执行根据所述第三子判别结果、所述第四子判别结果、所述第二输出图像的对应于所述第二判别器的第一标注信息和第二样本图像的标注信息确定第二目标损失;
判别器训练模块,被配置为执行根据所述第一目标损失训练所述第一判别器,且根据所述第二目标损失训练所述第二判别器;
第三损失确定模块,被配置为执行基于所述第一子判别结果和所述第一输出图像的对应于所述第一原始图像生成器的第二标注信息确定第五判别损失;
第四损失确定模块,被配置为执行基于所述第三子判别结果和所述第二输出图像的对应于所述第二原始图像生成器的第二标注信息确定第六判别损失;
内容损失确定模块,被配置为执行基于所述约束损失函数确定所述第一输出图像和所述第二输出图像的之间的图像内容损失;
生成器训练模块,被配置为执行根据所述第五判别损失、所述第六判别损失和所述图像内容损失训练所述第一原始图像生成器和所述第二原始图像生成器,
生成器获取模块,被配置为执行在满足迭代终止条件的情况下,得到所述第一图像生成器和所述第二图像生成器。
在一个可选的实施例中,所述生成器获取模块,被配置为执行:
循环训练所述第一判别器、所述第二判别器、所述第一原始图像生成器和所述第二原始图像生成器,直至满足迭代终止条件;
将训练后的所述第一原始图像生成器确定为所述第一图像生成器,将训练后的所述第二原始图像生成器确定为所述第二图像生成器。
在一个可选的实施例中,所述第一损失确定模块,被配置为执行:
基于所述第一子判别结果和所述第一输出图像的对应于所述第一判别器的第一标注信息确定第一判别损失;
基于所述第二子判别结果和所述第一样本图像的标注信息确定第二判别损失;
根据所述第一判别损失和所述第二判别损失确定第一目标损失;
所述第二损失确定模块,被配置为执行:
基于所述第三子判别结果和所述第二输出图像的对应于所述第二判别器的第一标注信息确定第三判别损失;
基于所述第四子判别结果和所述第二样本图像的标注信息确定第四判别损失;
根据所述第三判别损失和所述第四判别损失确定第二目标损失。
在一个可选的实施例中,在所述第一图像生成器和所述第二图像生成器都为人脸图像生成器的情况下,所述图像风格不同包括图像头发颜色不同,所述图像内容损失至少包括人脸属性信息损失。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种图像生成装置框图。参照图8,该装置包括向量生成模块801和目标图像获取模块802。
向量生成模块801,被配置为执行生成多个随机向量;
目标图像获取模块802,被配置为执行将所述多个随机向量中的每个随机向量输入图像生成模型训练方法训练得到的第一图像生成器和第二图像生成器,得到每个所述随机向量对应的风格不同的第一目标图像和第二目标图像;将所述第一目标图像和所述第二目标图像作为目标配对图像。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种用于图像生成模型训练方法或者图像生成方法的电子设备900的框图。
该电子设备可以是服务器,还可以是具有服务器同样功能的其他设备,其内部结构图可以如图9所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种对象生成方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在示例性实施例中,还提供了一种服务器,包括:处理器;用于存储该处理器可执行指令的存储器;其中,该处理器被配置为执行该指令,以实现如本公开实施例中的图像生成模型训练方法或者图像生成方法。
在示例性实施例中,还提供了一种存储介质,当该存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例中的图像生成模型训练方法或者图像生成方法。
在示例性实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本公开实施例中的图像生成模型训练方法或者图像生成方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (14)
1.一种图像生成模型训练方法,其特征在于,包括:
获取相同的第一原始图像生成器和第二原始图像生成器;
获取图像风格不同的第一样本图像和第二样本图像;
生成随机向量,将所述随机向量分别输入所述第一原始图像生成器和所述第二原始图像生成器,得到第一输出图像和第二输出图像;
根据所述第一输出图像、所述第二输出图像、所述第一样本图像和所述第二样本图像训练所述第一原始图像生成器、第一判别器、所述第二原始图像生成器和第二判别器,得到第一图像生成器和第二图像生成器;所述第一图像生成器生成的第一图像和所述第一样本图像风格相同,所述第二图像生成器生成的第二图像和所述第二样本图像风格相同;
所述训练所述第一原始图像生成器、第一判别器、所述第二原始图像生成器和第二判别器,得到第一图像生成器和第二图像生成器包括:
将所述第一输出图像和所述第一样本图像输入第一判别器,得到所述第一输出图像对应的第一子判别结果和所述第一样本图像对应的第二子判别结果;
将所述第二输出图像和所述第二样本图像输入第二判别器,得到所述第二输出图像对应的第三子判别结果和所述第二样本图像对应的第四子判别结果;
基于所述第一输出图像、所述第二输出图像、所述第一子判别结果、所述第二子判别结果、所述第三子判别结果和所述第四子判别结果训练所述第一原始图像生成器、所述第一判别器、所述第二原始图像生成器和所述第二判别器,得到所述第一图像生成器和所述第二图像生成器。
2.根据权利要求1所述的图像生成模型训练方法,其特征在于,所述基于所述第一输出图像、所述第二输出图像、所述第一子判别结果、所述第二子判别结果、所述第三子判别结果和所述第四子判别结果训练所述第一原始图像生成器、所述第一判别器、所述第二原始图像生成器和所述第二判别器,得到所述第一图像生成器和所述第二图像生成器包括:
根据所述第一子判别结果、所述第二子判别结果、所述第一输出图像的对应于所述第一判别器的第一标注信息和第一样本图像的标注信息确定第一目标损失;
根据所述第三子判别结果、所述第四子判别结果、所述第二输出图像的对应于所述第二判别器的第一标注信息和第二样本图像的标注信息确定第二目标损失;
根据所述第一目标损失训练所述第一判别器,且根据所述第二目标损失训练所述第二判别器;
基于所述第一子判别结果和所述第一输出图像的对应于所述第一原始图像生成器的第二标注信息确定第五判别损失;
基于所述第三子判别结果和所述第二输出图像的对应于所述第二原始图像生成器的第二标注信息确定第六判别损失;
基于约束损失函数确定所述第一输出图像和所述第二输出图像的之间的图像内容损失;
根据所述第五判别损失、所述第六判别损失和所述图像内容损失训练所述第一原始图像生成器和所述第二原始图像生成器,
在满足迭代终止条件的情况下,得到所述第一图像生成器和所述第二图像生成器。
3.根据权利要求2所述的图像生成模型训练方法,其特征在于,所述在满足迭代终止条件的情况下,得到所述第一图像生成器和所述第二图像生成器包括:
循环训练所述第一判别器、所述第二判别器、所述第一原始图像生成器和所述第二原始图像生成器,直至满足迭代终止条件;
将训练后的所述第一原始图像生成器确定为所述第一图像生成器,将训练后的所述第二原始图像生成器确定为所述第二图像生成器。
4.根据权利要求2所述的图像生成模型训练方法,其特征在于,所述根据所述第一子判别结果、所述第二子判别结果、所述第一输出图像的对应于所述第一判别器的第一标注信息和第一样本图像的标注信息确定第一目标损失包括:
基于所述第一子判别结果和所述第一输出图像的对应于所述第一判别器的第一标注信息确定第一判别损失;
基于所述第二子判别结果和所述第一样本图像的标注信息确定第二判别损失;
根据所述第一判别损失和所述第二判别损失确定第一目标损失;
所述根据所述第三子判别结果、所述第四子判别结果、所述第二输出图像的对应于所述第二判别器的第一标注信息和第二样本图像的标注信息确定第二目标损失包括:
基于所述第三子判别结果和所述第二输出图像的对应于所述第二判别器的第一标注信息确定第三判别损失;
基于所述第四子判别结果和所述第二样本图像的标注信息确定第四判别损失;
根据所述第三判别损失和所述第四判别损失确定第二目标损失。
5.根据权利要求2所述的图像生成模型训练方法,其特征在于,
在所述第一图像生成器和所述第二图像生成器都为人脸图像生成器的情况下,所述图像风格不同包括图像头发颜色不同,所述图像内容损失至少包括人脸属性信息损失。
6.一种图像生成方法,其特征在于,包括:
生成多个随机向量;
将所述多个随机向量中的每个随机向量输入根据权利要求1至5任一图像生成模型训练方法训练得到的第一图像生成器和第二图像生成器,得到每个所述随机向量对应的风格不同的第一目标图像和第二目标图像;将所述第一目标图像和所述第二目标图像作为目标配对图像。
7.一种图像生成模型训练装置,其特征在于,包括:
原始生成器获取模块,被配置为执行获取相同的第一原始图像生成器和第二原始图像生成器;
样本图像获取模块,被配置为执行获取图像风格不同的第一样本图像和第二样本图像;
输出图像生成模块,被配置为执行生成随机向量,将所述随机向量分别输入所述第一原始图像生成器和所述第二原始图像生成器,得到第一输出图像和第二输出图像;
生成器确定模块,被配置为执行根据所述第一输出图像、所述第二输出图像、所述第一样本图像和所述第二样本图像训练所述第一原始图像生成器、第一判别器、所述第二原始图像生成器和第二判别器,得到第一图像生成器和第二图像生成器;所述第一图像生成器生成的第一图像和所述第一样本图像风格相同,所述第二图像生成器生成的第二图像和所述第二样本图像风格相同;
所述生成器确定模块包括:
第一判别结果获取模块,被配置为执行将所述第一输出图像和所述第一样本图像输入第一判别器,得到所述第一输出图像对应的第一子判别结果和所述第一样本图像对应的第二子判别结果;
第二判别结果获取模块,被配置为执行将所述第二输出图像和所述第二样本图像输入第二判别器,得到所述第二输出图像对应的第三子判别结果和所述第二样本图像对应的第四子判别结果;
生成器确定子模块,被配置为执行基于所述第一输出图像、所述第二输出图像、所述第一子判别结果、所述第二子判别结果、所述第三子判别结果和所述第四子判别结果训练所述第一原始图像生成器、所述第一判别器、所述第二原始图像生成器和所述第二判别器,得到所述第一图像生成器和所述第二图像生成器。
8.根据权利要求7所述的图像生成模型训练装置,其特征在于,所述生成器确定子模块包括:
第一损失确定模块,被配置为执行根据所述第一子判别结果、所述第二子判别结果、所述第一输出图像的对应于所述第一判别器的第一标注信息和第一样本图像的标注信息确定第一目标损失;
第二损失确定模块,被配置为执行根据所述第三子判别结果、所述第四子判别结果、所述第二输出图像的对应于所述第二判别器的第一标注信息和第二样本图像的标注信息确定第二目标损失;
判别器训练模块,被配置为执行根据所述第一目标损失训练所述第一判别器,且根据所述第二目标损失训练所述第二判别器;
第三损失确定模块,被配置为执行基于所述第一子判别结果和所述第一输出图像的对应于所述第一原始图像生成器的第二标注信息确定第五判别损失;
第四损失确定模块,被配置为执行基于所述第三子判别结果和所述第二输出图像的对应于所述第二原始图像生成器的第二标注信息确定第六判别损失;
内容损失确定模块,被配置为执行基于约束损失函数确定所述第一输出图像和所述第二输出图像的之间的图像内容损失;
生成器训练模块,被配置为执行根据所述第五判别损失、所述第六判别损失和所述图像内容损失训练所述第一原始图像生成器和所述第二原始图像生成器,
生成器获取模块,被配置为执行在满足迭代终止条件的情况下,得到所述第一图像生成器和所述第二图像生成器。
9.根据权利要求8所述的图像生成模型训练装置,其特征在于,所述生成器获取模块,被配置为执行:
循环训练所述第一判别器、所述第二判别器、所述第一原始图像生成器和所述第二原始图像生成器,直至满足迭代终止条件;
将训练后的所述第一原始图像生成器确定为所述第一图像生成器,将训练后的所述第二原始图像生成器确定为所述第二图像生成器。
10.根据权利要求8所述的图像生成模型训练装置,其特征在于,
所述第一损失确定模块,被配置为执行:
基于所述第一子判别结果和所述第一输出图像的对应于所述第一判别器的第一标注信息确定第一判别损失;
基于所述第二子判别结果和所述第一样本图像的标注信息确定第二判别损失;
根据所述第一判别损失和所述第二判别损失确定第一目标损失;
所述第二损失确定模块,被配置为执行:
基于所述第三子判别结果和所述第二输出图像的对应于所述第二判别器的第一标注信息确定第三判别损失;
基于所述第四子判别结果和所述第二样本图像的标注信息确定第四判别损失;
根据所述第三判别损失和所述第四判别损失确定第二目标损失。
11.根据权利要求8所述的图像生成模型训练装置,其特征在于,
在所述第一图像生成器和所述第二图像生成器都为人脸图像生成器的情况下,所述图像风格不同包括图像头发颜色不同,所述图像内容损失至少包括人脸属性信息损失。
12.一种图像生成装置,其特征在于,包括:
向量生成模块,被配置为执行生成多个随机向量;
目标图像获取模块,被配置为执行将所述多个随机向量中的每个随机向量输入根据权利要求1至5任一图像生成模型训练方法训练得到的第一图像生成器和第二图像生成器,得到每个所述随机向量对应的风格不同的第一目标图像和第二目标图像;将所述第一目标图像和所述第二目标图像作为目标配对图像。
13.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至5中任一项所述的图像生成模型训练方法,或实现如权利要求6所述的图像生成方法。
14.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至5中任一项所述的图像生成模型训练方法,或实现如权利要求6所述的图像生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110118319.4A CN112818820B (zh) | 2021-01-28 | 2021-01-28 | 图像生成模型训练方法、图像生成方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110118319.4A CN112818820B (zh) | 2021-01-28 | 2021-01-28 | 图像生成模型训练方法、图像生成方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112818820A CN112818820A (zh) | 2021-05-18 |
CN112818820B true CN112818820B (zh) | 2024-03-19 |
Family
ID=75859868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110118319.4A Active CN112818820B (zh) | 2021-01-28 | 2021-01-28 | 图像生成模型训练方法、图像生成方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112818820B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115937020B (zh) * | 2022-11-08 | 2023-10-31 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备、介质和程序产品 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108615073A (zh) * | 2018-04-28 | 2018-10-02 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
CN110135574A (zh) * | 2018-02-09 | 2019-08-16 | 北京世纪好未来教育科技有限公司 | 神经网络训练方法、图像生成方法及计算机存储介质 |
CN111047507A (zh) * | 2019-11-29 | 2020-04-21 | 北京达佳互联信息技术有限公司 | 图像生成模型的训练方法、图像生成方法及装置 |
KR20200046163A (ko) * | 2018-10-17 | 2020-05-07 | 한국항공우주연구원 | 딥러닝 기반 영상 처리 시스템 및 그 방법 |
CN111242850A (zh) * | 2020-03-06 | 2020-06-05 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 一种广域眼底光学相干血流成像分辨率提升方法 |
CN111985608A (zh) * | 2019-05-23 | 2020-11-24 | 宏达国际电子股份有限公司 | 训练生成对抗网络的方法及生成图像的方法 |
CN112258381A (zh) * | 2020-09-29 | 2021-01-22 | 北京达佳互联信息技术有限公司 | 模型训练方法、图像处理方法、装置、设备及存储介质 |
-
2021
- 2021-01-28 CN CN202110118319.4A patent/CN112818820B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110135574A (zh) * | 2018-02-09 | 2019-08-16 | 北京世纪好未来教育科技有限公司 | 神经网络训练方法、图像生成方法及计算机存储介质 |
CN108615073A (zh) * | 2018-04-28 | 2018-10-02 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、计算机可读存储介质、电子设备 |
KR20200046163A (ko) * | 2018-10-17 | 2020-05-07 | 한국항공우주연구원 | 딥러닝 기반 영상 처리 시스템 및 그 방법 |
CN111985608A (zh) * | 2019-05-23 | 2020-11-24 | 宏达国际电子股份有限公司 | 训练生成对抗网络的方法及生成图像的方法 |
CN111047507A (zh) * | 2019-11-29 | 2020-04-21 | 北京达佳互联信息技术有限公司 | 图像生成模型的训练方法、图像生成方法及装置 |
CN111242850A (zh) * | 2020-03-06 | 2020-06-05 | 中国科学院宁波工业技术研究院慈溪生物医学工程研究所 | 一种广域眼底光学相干血流成像分辨率提升方法 |
CN112258381A (zh) * | 2020-09-29 | 2021-01-22 | 北京达佳互联信息技术有限公司 | 模型训练方法、图像处理方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于多层次判别器的图像翻译模型;向晴;袁健华;;软件(03);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112818820A (zh) | 2021-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022022154A1 (zh) | 脸部图像处理方法、装置、设备及存储介质 | |
CN113838176B (zh) | 模型的训练方法、三维人脸图像生成方法及设备 | |
US20220222892A1 (en) | Normalized three-dimensional avatar synthesis and perceptual refinement | |
CN108694719B (zh) | 图像输出方法和装置 | |
CN111383232B (zh) | 抠图方法、装置、终端设备及计算机可读存储介质 | |
WO2022179401A1 (zh) | 图像处理方法、装置、计算机设备、存储介质和程序产品 | |
CN110490959B (zh) | 三维图像处理方法及装置、虚拟形象生成方法以及电子设备 | |
CN111476216A (zh) | 人脸识别方法、装置、计算机设备和可读存储介质 | |
CN115239861A (zh) | 人脸数据增强方法、装置、计算机设备和存储介质 | |
CN112818820B (zh) | 图像生成模型训练方法、图像生成方法、装置及电子设备 | |
CN112699791A (zh) | 虚拟对象的脸部生成方法、装置、设备和可读存储介质 | |
CN117036184A (zh) | 图像合成方法、装置、电子设备及存储介质 | |
CN115147261A (zh) | 图像处理方法、装置、存储介质、设备及产品 | |
CN114612595A (zh) | 视频生成方法、装置、计算机设备和存储介质 | |
CN112819687B (zh) | 基于无监督神经网络的跨域图像转换方法、装置、计算机设备和存储介质 | |
CN116485944A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN113947568B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN114841851A (zh) | 图像生成方法、装置、电子设备及存储介质 | |
CN115018978A (zh) | 三维人脸生成方法、装置、存储介质及计算机设备 | |
CN114627211A (zh) | 视频名片生成方法、装置、计算机设备和存储介质 | |
CN112862733A (zh) | 一种图像生成方法、装置、电子设备和存储介质 | |
CN110381374B (zh) | 图像处理方法和装置 | |
CN111527518B (zh) | 基于超射线表示的使用来处理光场视频的方法 | |
CN113947606B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
RU2817316C2 (ru) | Способ и устройство для обучения модели генерирования изображений, способ и устройство для генерирования изображений и их устройства |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |