CN113822953A - 图像生成器的处理方法、图像生成方法及装置 - Google Patents
图像生成器的处理方法、图像生成方法及装置 Download PDFInfo
- Publication number
- CN113822953A CN113822953A CN202110706137.9A CN202110706137A CN113822953A CN 113822953 A CN113822953 A CN 113822953A CN 202110706137 A CN202110706137 A CN 202110706137A CN 113822953 A CN113822953 A CN 113822953A
- Authority
- CN
- China
- Prior art keywords
- image
- attribute
- target
- loss
- discriminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像生成器的处理方法、图像生成方法及装置，应用于机器学习领域，该图像生成器的处理方法包括：通过图像生成器将原始数据映射为隐编码向量；基于当前的属性编辑参数和隐编码向量获得携带目标属性的目标隐编码向量后，通过图像生成器生成目标图像；基于待训练的图像属性判别器所确定的样本图像与目标图像各自对应的目标属性相关程度，构建目标属性损失；根据目标属性损失更新图像属性判别器的网络参数和属性编辑参数后，返回获取目标属性的样本图像的步骤继续训练，直至训练结束时，根据图像生成器与训练结束时获得的与目标属性对应的属性编辑参数，获得对应目标属性的图像属性转换器。采用本方法能够提高图像属性转换准确性。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像生成器的处理方法、图像生成方法及装置。
背景技术
随着人工智能的发展，出现了图像属性转换技术，图像属性转换技术可对输入图像的属性进行转换，例如修改输入图像的风格、将输入图像中人物的表情修改为微笑、将输入图像中人物的头发颜色修改为粉色，等等。图像属性转换技术广泛应用于社交、图像编辑等领域，另外也应用于构建图像样本库，等等。
但是，目前的图像属性转换技术不够成熟，导致转换后的图像属性表现不佳，例如修改输入图像中人物的表情，还会同时将输入图像中人物的面部年龄进行更改，导致图像属性转换不准确。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高图像属性转换准确性的图像生成器的处理方法、图像生成方法及装置。
一种图像生成器的处理方法，所述方法包括：
获取目标属性的样本图像和已训练的图像生成器；
通过所述图像生成器，将用于生成图像的原始数据映射为隐编码向量；
基于当前的属性编辑参数将所述隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过所述图像生成器，生成与所述目标隐编码向量对应的目标图像；
基于待训练的图像属性判别器所确定的所述样本图像与所述目标图像各自对应的目标属性相关程度，构建目标属性损失；
根据所述目标属性损失更新所述图像属性判别器的网络参数和所述属性编辑参数后，返回所述获取目标属性的样本图像的步骤继续训练，直至训练结束时，根据所述图像生成器与训练结束时获得的与目标属性对应的属性编辑参数，获得对应目标属性的图像属性转换器。
一种图像生成器的处理装置，所述装置包括：
获取模块，用于获取目标属性的样本图像和已训练的图像生成器；
特征映射模块，用于通过所述图像生成器，将用于生成图像的原始数据映射为隐编码向量；
属性转换模块，用于基于当前的属性编辑参数将所述隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过所述图像生成器，生成与所述目标隐编码向量对应的目标图像；
损失构建模块，用于基于待训练的图像属性判别器所确定的所述样本图像与所述目标图像各自对应的目标属性相关程度，构建目标属性损失；
训练模块，用于根据所述目标属性损失更新所述图像属性判别器的网络参数和所述属性编辑参数后，返回所述获取目标属性的样本图像的步骤继续训练，直至训练结束时，根据所述图像生成器与训练结束时获得的与目标属性对应的属性编辑参数，获得对应目标属性的图像属性转换器。
在一个实施例中，所述特征映射模块还用于：初始化隐向量空间；从所述隐向量空间中的隐向量随机采样，获得用于生成图像的原始隐向量；将所述原始隐向量输入所述图像生成器中的特征映射网络；通过所述特征映射网络将所述原始隐向量映射为所述隐编码向量。
在一个实施例中，所述属性转换模块还用于：读取当前的属性编辑参数；从属性转换幅度集合中的属性转换幅度随机采样，获得属性转换幅度；根据所述当前的属性编辑参数和所述属性转换幅度，将所述隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量。
在一个实施例中，所述属性转换模块还用于：将所述目标隐编码向量输入所述图像生成器中的特征合成网络；通过所述特征合成网络输出与所述目标隐编码向量对应的目标图像。
在一个实施例中，所述损失构建模块还用于：通过所述图像属性判别器，确定所述样本图像的目标属性相关程度相对于所述目标图像的目标属性相关程度的第一偏移程度，以及所述目标图像的目标属性相关程度相对于所述样本图像的目标属性相关程度的第二偏移程度；基于所述第一偏移程度以及所述第二偏移程度，构建所述目标属性损失。
在一个实施例中，所述训练模块还用于：根据所述目标属性损失更新所述图像属性判别器的网络参数；通过所述图像生成器的图像真伪判别器，确定所述样本图像与所述目标图像各自对应的图像真伪程度，基于所述样本图像与所述目标图像各自对应的图像真伪程度，构建图像真伪损失；根据所述图像真伪损失与所述目标属性损失所确定的目标损失，更新所述属性编辑参数。
在一个实施例中，所述训练模块还用于：根据所述目标属性损失更新所述图像属性判别器的网络参数；通过待训练的图像身份判别器，确定所述目标图像与所述原始数据对应的原始图像各自对应的身份类别，基于所述目标图像与所述原始图像各自对应的身份类别，构建身份分类损失；根据所述身份分类损失更新所述图像身份判别器的网络参数；根据所述身份分类损失与所述目标属性损失所确定的目标损失，更新所述属性编辑参数。
在一个实施例中，所述身份分类损失包括第一身份分类损失和第二身份分类损失；所述训练模块还用于：根据所述第一身份分类损失更新所述图像身份判别器的网络参数；根据所述第二身份分类损失与所述目标属性损失所确定的目标损失，更新所述属性编辑参数。
在一个实施例中，所述损失构建模块还用于：通过所述图像生成器的图像真伪判别器，确定所述样本图像与所述目标图像各自对应的图像真伪程度，基于所述样本图像与所述目标图像各自对应的图像真伪程度，构建图像真伪损失；所述训练模块还用于：根据所述身份分类损失、所述图像真伪损失与所述目标属性损失所确定的目标损失，更新所述属性编辑参数。
在一个实施例中，所述损失构建模块还用于：通过所述图像真伪判别器，确定所述样本图像的图像真伪程度相对于所述目标图像的图像真伪程度的第三偏移程度，以及所述目标图像的图像真伪程度相对于所述样本图像的图像真伪程度的第四偏移程度；基于所述第三偏移程度以及所述第四偏移程度，构建所述图像真伪损失。
在一个实施例中，所述特征映射模块还用于：将所述原始数据输入所述图像生成器中的特征映射网络；通过所述特征映射网络，将所述原始数据映射成隐编码向量；所述图像生成器的处理装置还包括特征合成模块，所述特征合成模块用于：通过所述图像生成器中的特征合成网络，根据所述隐编码向量输出与所述原始数据对应的原始图像。
在一个实施例中，所述目标属性为第一目标属性，所述样本图像为第一目标属性的第一样本图像，所述属性编辑参数为使用所述第一样本图像对所述图像生成器进行模型训练获得的第一属性编辑参数；所述获取模块还用于：获取第二目标属性的第二样本图像，所述第二目标属性与所述第一目标属性是非二元属性；所述训练模块还用于：通过所述第二目标属性的第二样本图像与所述图像生成器，对属性编辑参数进行模型训练，确定与所述第二目标属性对应的第二属性编辑参数；根据所述图像生成器与所述第一属性编辑参数、所述第二属性编辑参数，获得对应所述第一目标属性与所述第二目标属性的图像属性转换器。
在一个实施例中，所述获取模块还用于：获取待转换至目标属性的待处理图像；所述特征映射模块还用于：确定与所述待处理图像对应的隐编码向量；所述属性转换模块还用于：通过所述图像属性转换器中与目标属性对应的属性编辑参数，将所述待处理图像对应的隐编码向量朝目标属性的方向进行转换，获得携带目标属性的、与所述待处理图像对应的目标隐编码向量；所述图像生成器的处理装置还包括图像生成模块，所述图像生成模块还用于：通过所述图像属性转换器中的图像生成器，根据与所述待处理图像对应的目标隐编码向量生成与所述待处理图像对应的、且携带目标属性的目标图像。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述图像生成器的处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述图像生成器的处理方法的步骤。
一种计算机程序，计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取计算机指令，处理器执行计算机指令，使得计算机设备执行上述图像生成器的处理方法的步骤。
上述图像生成器的处理方法、装置、计算机设备和存储介质，通过图像生成器将用于生成图像的原始数据映射为隐编码向量，基于当前的属性编辑参数将所述隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过所述图像生成器生成与所述目标隐编码向量对应的目标图像，基于待训练的图像属性判别器所确定的所述样本图像与所述目标图像各自对应的目标属性相关程度，构建目标属性损失，根据所述目标属性损失更新所述图像属性判别器的网络参数和所述属性编辑参数后，返回所述获取目标属性的样本图像的步骤继续训练，这样，通过图像生成器与图像属性判别器迭代地对抗训练，由图像属性判别器对图像生成器基于属性编辑参数生成的目标图像的属性进行约束，使得最终训练得到的属性编辑参数具有准确的目标属性编辑能力，在通过图像生成器和训练后的属性编辑参数进行图像属性转换时，能够提高图像属性转换的准确性。
一种图像生成方法，所述方法包括：
获取待转换至目标属性的待处理图像；
确定与所述待处理图像对应的隐编码向量；
通过训练好的图像属性转换器中与目标属性对应的属性编辑参数，将所述隐编码向量朝目标属性的方向进行转换，获得携带目标属性的、与所述待处理图像对应的目标隐编码向量；
其中，所述图像属性转换器中的与目标属性对应的属性编辑参数，是根据目标属性的样本图像与已训练的图像生成器对属性编辑参数进行模型训练时所构建的目标属性损失确定的；所述目标属性损失是基于待训练的图像属性判别器所确定的所述样本图像与目标图像各自对应的目标属性相关程度构建的；所述目标图像是通过所述图像生成器将用于生成图像的原始数据映射为隐编码向量后，基于当前的属性编辑参数将所述隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过所述图像生成器根据所述目标隐编码向量生成的；
通过所述图像属性转换器中的图像生成器，根据与所述待处理图像对应的目标隐编码向量生成与所述待处理图像对应的、且携带目标属性的目标图像。
一种图像生成装置，所述装置包括：
获取模块，用于获取待转换至目标属性的待处理图像；
特征映射模块，用于确定与所述待处理图像对应的隐编码向量；
属性转换模块，用于通过训练好的图像属性转换器中与目标属性对应的属性编辑参数，将所述隐编码向量朝目标属性的方向进行转换，获得携带目标属性的、与所述待处理图像对应的目标隐编码向量；
其中，所述图像属性转换器中的与目标属性对应的属性编辑参数，是根据目标属性的样本图像与已训练的图像生成器对属性编辑参数进行模型训练时所构建的目标属性损失确定的；所述目标属性损失是基于待训练的图像属性判别器所确定的所述样本图像与目标图像各自对应的目标属性相关程度构建的；所述目标图像是通过所述图像生成器将用于生成图像的原始数据映射为隐编码向量后，基于当前的属性编辑参数将所述隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过所述图像生成器根据所述目标隐编码向量生成的；
图像生成模块，用于通过所述图像属性转换器中的图像生成器，根据与所述待处理图像对应的目标隐编码向量生成与所述待处理图像对应的、且携带目标属性的目标图像。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述图像生成方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述图像生成方法的步骤。
一种计算机程序，计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取计算机指令，处理器执行计算机指令，使得计算机设备执行上述图像生成方法的步骤。
上述图像生成方法、装置、计算机设备和存储介质，获取待转换至目标属性的待处理图像，确定与待处理图像对应的隐编码向量，通过训练好的图像属性转换器中与目标属性对应的属性编辑参数，将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的、与待处理图像对应的目标隐编码向量，通过图像属性转换器中的图像生成器，根据与待处理图像对应的目标隐编码向量生成与待处理图像对应的、且携带目标属性的目标图像，由于本申请实施例训练得到的属性编辑参数具有准确的目标属性编辑能力，因此能够提高图像属性转换的准确性。
附图说明
图1为一个实施例中图像生成器的处理方法的应用环境图；
图2为一个实施例中图像生成器的处理方法的流程框图；
图3为一个实施例中图像生成器的处理网络的结构框图；
图4为一个实施例中属性转换效果的示意图；
图5为另一个实施例中图像生成器的处理网络的结构框图；
图6为又一个实施例中图像生成器的处理网络的结构框图；
图7为再一个实施例中图像生成器的处理网络的结构框图；
图8为另一个实施例中图像生成器的处理方法的流程框图；
图9为一个实施例中图像生成方法的流程框图；
图10为一个实施例中不同风格图像的示意图；
图11为一个实施例中属性转换效果的对比示意图；
图12为另一个实施例中属性转换效果的对比示意图；
图13为又一个实施例中属性转换效果的对比示意图；
图14为一个实施例中图像生成器的处理装置的结构框图；
图15为一个实施例中图像生成装置的结构框图；
图16为一个实施例中图像生成装置的结构框图；
图17为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像生成器的处理方法和图像生成方法，涉及人工智能(Artificial Intelligence,AI)技术，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的图像生成器的处理方法，主要涉及人工智能的机器学习技术(Machine Learning,ML)。机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
例如，在本申请实施例中，通过目标属性的样本图像和图像生成器对属性编辑参数进行模型训练，根据图像生成器与训练得到的属性编辑参数，获得对应目标属性的图像属性转换器。
本申请实施例提供的图像生成方法，主要涉及人工智能的计算机视觉技术(Computer Vision，CV)。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像生成、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的图像生成方法，主要涉及计算机视觉技术领域的图像生成技术。例如，在本申请实施例中，通过训练得到的、对应目标属性的图像属性转换器，将待处理图像转换为目标属性的目标图像。
本申请提供的图像生成器的处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以但不限于是各种智能手机、平板电脑、笔记本电脑、台式计算机、便携式可穿戴设备等。服务器104可以是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个实施例中，终端102获取目标属性的样本图像和已训练的图像生成器，将样本图像和图像生成器发送给服务器104，服务器104通过图像生成器，将用于生成图像的原始数据映射为隐编码向量，基于当前的属性编辑参数将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过图像生成器，生成与目标隐编码向量对应的目标图像，基于待训练的图像属性判别器所确定的样本图像与目标图像各自对应的目标属性相关程度，构建目标属性损失，根据目标属性损失更新图像属性判别器的网络参数和属性编辑参数后，返回获取目标属性的样本图像的步骤继续训练，直至训练结束时，根据图像生成器与训练结束时获得的与目标属性对应的属性编辑参数，获得对应目标属性的图像属性转换器。
本申请实施例提供的图像生成器的处理方法，其执行主体可以是本申请实施例提供的图像生成器的处理装置，或者集成了该图像生成器的处理装置的计算机设备，其中该图像生成器的处理装置可以采用硬件或软件的方式实现。计算机设备可以是图1中所示的终端102或者服务器104。
本申请实施例提供的图像生成器的处理方法，可应用于属性编辑参数的训练场景，不同的属性编辑参数对应不同的属性，通过特定的属性编辑参数，可将图像转换为特定的属性。属性是图像所具有的特性，按照属性的性质，可将属性划分为二元属性和非二元属性，二元属性例如图像中人物的二元特性，比如头发长短、皱眉/不皱眉、戴/不戴眼镜、睁眼/闭眼、嘴巴张合、性别，等等；非二元属性例如图像中人物的非二元特性，比如瞳孔颜色、面部表情、刘海样式、人物姿势等，再例如图像风格，比如漫画风格、动漫风格、超模风格、明星风格，等等。
在一个实施例中，计算机设备获取目标属性的样本图像和已训练的图像生成器；通过图像生成器，将用于生成图像的原始数据映射为隐编码向量；基于当前的属性编辑参数将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过图像生成器，生成与目标隐编码向量对应的目标图像；基于待训练的图像属性判别器所确定的样本图像与目标图像各自对应的目标属性相关程度，构建目标属性损失；根据目标属性损失更新图像属性判别器的网络参数和属性编辑参数后，返回获取目标属性的样本图像的步骤继续训练，直至训练结束时，根据图像生成器与训练结束时获得的与目标属性对应的属性编辑参数，获得对应目标属性的图像属性转换器。
可以理解，通过图像生成器和不同属性的样本图像对属性编辑参数进行模型训练，根据图像生成器与训练得到的属性编辑参数，获得对应多于一种属性的图像属性转换器。
本申请提供的图像生成方法，也可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。
在一个实施例中，终端102获取待转换至目标属性的待处理图像，将待转换至目标属性的待处理图像发送给服务器104，服务器104确定与待处理图像对应的隐编码向量，通过训练好的图像属性转换器中与目标属性对应的属性编辑参数，将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的、与待处理图像对应的目标隐编码向量，通过图像属性转换器中的图像生成器，根据与待处理图像对应的目标隐编码向量生成与待处理图像对应的、且携带目标属性的目标图像；其中，图像属性转换器中的与目标属性对应的属性编辑参数，是根据目标属性的样本图像与已训练的图像生成器对属性编辑参数进行模型训练时所构建的目标属性损失确定的；目标属性损失是基于待训练的图像属性判别器所确定的样本图像与目标图像各自对应的目标属性相关程度构建的；目标图像是通过图像生成器将用于生成图像的原始数据映射为隐编码向量后，基于当前的属性编辑参数将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过图像生成器根据目标隐编码向量生成的。
本申请实施例提供的图像生成方法，其执行主体可以是本申请实施例提供的图像生成装置，或者集成了该图像生成装置的计算机设备，其中该图像生成装置可以采用硬件或软件的方式实现。计算机设备可以是图1中所示的终端102 或者服务器104。
本申请实施例提供的图像生成方法，可应用于图像属性转换场景。本申请实施例可实现二元属性的转换，例如将图像中人物的性别由男性转换为女性；本申请实施例还可实现非二元属性的转换，例如将图像的风格由素人风格转换为明星风格，再例如将图像中人物的头发颜色由黑色转换为有棕色，同时将图像的风格由素人风格转换为超模风格；本申请实施例还可实现多属性的转换，例如将图像中人物的嘴巴由张开转换为闭合，将人物的性别由男性转换为女性，同时将图像的风格由素人风格转换为超模风格。本申请实施例可对动漫图像、漫画图像和真人图像等多种类型的图像进行属性转换。
在一个实施例中，计算机设备获取待转换至目标属性的待处理图像；确定与待处理图像对应的隐编码向量；通过训练好的图像属性转换器中与目标属性对应的属性编辑参数，将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的、与待处理图像对应的目标隐编码向量；通过图像属性转换器中的图像生成器，根据与待处理图像对应的目标隐编码向量生成与待处理图像对应的、且携带目标属性的目标图像。
在一个实施例中，如图2所示，提供了一种图像生成器的处理方法，本实施例主要以该方法应用于上述图1中的计算机设备(终端102或者服务器104) 来举例说明，包括以下步骤：
步骤S202，获取目标属性的样本图像和已训练的图像生成器。
本申请中，发明人设计了一种主动学习网络，参照图3，该主动学习网络可包括图像生成器和图像属性判别器。其中，图像生成器用于生成图像，在图像生成器生成图像的过程中，计算机设备利用属性编辑参数进行属性编辑操作，使得图像生成器生成的目标图像携带属性编辑参数对应的属性。图像属性判别器用于与图像生成器形成对抗框架，以对图像生成器生成的目标图像的属性进行约束，使得目标图像与样本图像的属性保持一致。这样，通过图像属性判别器与图像生成器的对抗训练，使得属性编辑参数学习到样本图像所携带属性的编辑能力。
其中，图像生成器是具备图像生成能力的网络结构。图像属性判别器是具有识别不同属性图像能力的网络结构。目标属性是待通过本申请实施例的方法进行学习的属性。属性是图像所具有的特性，按照属性的性质，可将属性划分为二元属性和非二元属性，二元属性例如图像中人物的二元特性，比如皱眉/不皱眉、戴/不戴眼镜、睁眼/闭眼、嘴巴张合、头发长短、性别，等等；非二元属性例如图像中人物的非二元特性，比如瞳孔颜色、面部表情、刘海样式、人物姿势等，再例如图像风格，比如漫画风格、动漫风格、超模风格、明星风格，等等。可以理解，二元属性可细分为两个属性，比如性别可细分为男性和女性，非二元属性可细分为多于两个属性，比如头发颜色可细分为黑发/黄发/棕发，刘海样式可细分为齐刘海/斜刘海/无刘海，瞳孔颜色可细分为黑色/棕色/蓝色，等等。
在一个实施例中，图像生成器可采用通用的图像生成模型，例如 GAN(GenerativeAdversarial Network，生成对抗网络)模型，具体可以是StyleGAN 的预训练模型、StyleGAN2的预训练模型、ProgressGAN的预训练模型，等等。
在一个实施例中，样本图像可以是通过图像采集设备采集的图像，也可以是通过图像生成模型生成的图像，还可以是来自目前机器学习领域公开的训练集图像，从视频中抽取的视频帧，从网站上下载的图像，通过具有绘画功能的终端输出的图像，等等。样本图像可以是真实的图像，也可以是动漫等虚拟的图像。
在一个实施例中，样本图像可以是人脸图像。样本图像可以是真实的人脸图像，也可以是动漫等虚拟的人脸图像。
在一个实施例中，计算机设备利用目标属性的样本图像，通过图像生成器与图像属性判别器迭代地对抗训练来优化属性编辑参数，使得训练后的属性编辑参数具有目标属性的编辑能力。
步骤S204，通过图像生成器，将用于生成图像的原始数据映射为隐编码向量。
其中，原始数据是用于图像生成器生成图像的向量，例如符合均匀分布、正态分布或者标准正态分布的向量。向量是以数值的方式表示数据。隐编码向量是对原始数据进行特征提取所得到的、用于描述原始数据特征的向量。
在一个实施例中，通过图像生成器，将用于生成图像的原始数据映射为隐编码向量，包括：初始化隐向量空间；从隐向量空间中的隐向量随机采样，获得用于生成图像的原始隐向量；将原始隐向量输入图像生成器中的特征映射网络；通过特征映射网络将原始隐向量映射为隐编码向量。
其中，隐向量空间是原始数据所在的向量空间。
在一个实施例中，计算机设备从隐向量空间随机采样，获得用于生成图像的原始隐向量，将原始隐向量作为原始数据。计算机设备将原始隐向量输入图像生成器中的特征映射网络，通过特征映射网络将原始隐向量映射为隐编码向量。
在一个实施例中，图像生成器可包括特征映射网络和特征合成网络，计算机设备通过图像生成器生成图像的步骤包括：计算机设备通过特征映射网络将原始数据映射为隐编码向量，通过特征合成网络输出隐编码向量对应的原始图像，原始图像即为图像生成器基于原始数据生成的图像。这个过程可通过以下公式进行表示：
w＝Gmap(z)
xr＝Gsyn(w)
其中，Gmap表示特征映射网络；Gsyn表示特征合成网络；z表示用于生成图像的原始数据；w表示编码向量；xr表示根据原始数据生成的原始图像。
本申请的目标是在图像生成器的隐编码向量空间中找到目标属性方向，因此需要在隐编码向量空间中对隐编码向量进行属性编辑操作。隐编码向量空间是隐编码向量所在的向量空间。
步骤S206，基于当前的属性编辑参数将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过图像生成器，生成与目标隐编码向量对应的目标图像。
其中，属性编辑参数用于对隐编码向量进行属性编辑操作。
在一个实施例中，计算机设备通过特征映射网络将原始数据映射为隐编码向量，通过属性编辑参数在隐编码向量空间中对隐编码向量进行属性编辑操作，获得携带目标属性的目标隐编码向量后，将目标隐编码向量输入图像生成器中的特征合成网络，通过特征合成网络输出与目标隐编码向量对应的目标图像。这个过程可通过以下公式进行表示：
xf＝Gsyn(w+θ)
其中，θ表示属性编辑参数；w+θ表示携带目标属性的目标隐编码向量； xf表示目标图像。
步骤S208，基于待训练的图像属性判别器所确定的样本图像与目标图像各自对应的目标属性相关程度，构建目标属性损失。
其中，目标属性相关程度用于描述符合目标属性的程度。
在一个实施例中，计算机设备通过图像属性判别器分别预测样本图像与目标图像各自对应的目标属性相关程度，基于样本图像与目标图像各自对应的目标属性相关程度之间的差异，构建目标属性损失。
步骤S210，根据目标属性损失更新图像属性判别器的网络参数和属性编辑参数后，返回获取目标属性的样本图像的步骤继续训练，直至训练结束时，根据图像生成器与训练结束时获得的与目标属性对应的属性编辑参数，获得对应目标属性的图像属性转换器。
在一个实施例中，计算机设备根据目标属性损失更新图像属性判别器的网络参数和属性编辑参数，具体是通过降低目标属性损失来更新图像属性判别器的网络参数和属性编辑参数。随着图像属性判别器的网络参数和属性编辑参数不断被优化，属性编辑参数越来越具备目标属性编辑能力，图像生成器基于属性编辑参数生成的目标图像越来越符合目标属性，图像属性判别器对不同属性图像的识别准确性也越来越高，这样通过图像生成器与图像属性判别器迭代地对抗训练，最终训练得到的属性编辑参数具备准确的目标属性编辑能力。
在一个实施例中，计算机设备基于待训练的图像属性判别器所确定的样本图像与目标图像各自对应的目标属性相关程度，构建第一目标属性损失和第二目标属性损失，根据第一目标属性损失更新图像属性判别器的网络参数，同时根据第二目标属性损失更新属性编辑参数。可以理解，通用的损失函数即可满足本申请实施例中对第一目标属性损失和第二目标属性损失的需求，本申请实施例不对第一目标属性损失和第二目标属性损失所采用的损失函数类型进行限定。
在一个实施例中，当训练次数达到指定次数，或者，目标属性损失的变化量小于指定阈值等，训练结束。
在一个实施例中，计算机设备根据图像生成器与训练结束时获得的与目标属性对应的属性编辑参数，获得对应目标属性的图像属性转换器，该图像属性转换器可将待处理图像的属性转换为目标属性。可以理解，通过图像生成器，利用多于一个、不同属性的样本图像分别对属性编辑参数进行模型训练，根据图像生成器与分别利用不同属性的样本图像训练得到的属性编辑参数，可获得对应多于一种属性的图像属性转换器。
参照图4，图4中示出了通过本申请实施例训练得到的图像属性转换器的属性转换效果。可以看到，通过本实施例训练得到的图像属性转换器，不论是对图像进行非二元属性转换、二元属性转换还是多属性转换，均有优越的属性转换效果。
本实施例所提供的训练方式，减少了对训练数据的依赖，只需要目标属性的正样本，无需负样本；本实施例所提供的训练方式可轻松地实现多属性学习，例如多于一个二元属性的学习，对多于一个非二元属性的学习，对多于一个二元属性和非二元属性的学习，提高了属性编辑任务的适用性；本实施例所提供的训练方式能够减少多个属性之间的纠缠，提高图像属性转换的准确性。
上述图像生成器的处理方法中，通过图像生成器将用于生成图像的原始数据映射为隐编码向量，基于当前的属性编辑参数将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过图像生成器生成与目标隐编码向量对应的目标图像，基于待训练的图像属性判别器所确定的样本图像与目标图像各自对应的目标属性相关程度，构建目标属性损失，根据目标属性损失更新图像属性判别器的网络参数和属性编辑参数后，返回获取目标属性的样本图像的步骤继续训练，这样，通过图像生成器与图像属性判别器迭代地对抗训练，由图像属性判别器对图像生成器基于属性编辑参数生成的目标图像的属性进行约束，使得最终训练得到的属性编辑参数具有准确的目标属性编辑能力，在通过图像生成器和训练后的属性编辑参数进行图像属性转换时，能够提高图像属性转换的准确性。
在一个实施例中，基于当前的属性编辑参数将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量，包括：读取当前的属性编辑参数；从属性转换幅度集合中的属性转换幅度随机采样，获得属性转换幅度；根据当前的属性编辑参数和属性转换幅度，将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量。
其中，属性转换幅度用于控制目标属性变化的幅度。
在一个实施例中，计算机设备通过特征映射网络将原始数据映射为隐编码向量，从属性转换幅度集合中的属性转换幅度随机采样，获得属性转换幅度，通过当前的属性编辑参数和属性转换幅度，在隐编码向量空间中对隐编码向量进行属性编辑操作，获得携带目标属性的目标隐编码向量后，通过特征合成网络生成与目标隐编码向量对应的目标图像。这个过程可通过以下公式进行表示：
其中，θ表示属性编辑参数；
表示携带目标属性的目标隐编码向量； xf表示目标图像；
表示属性转换幅度，
本实施例中，通过属性转换幅度参与属性编辑参数的训练过程，有助于提升属性编辑参数的训练效果和训练效率。
在一个实施例中，基于待训练的图像属性判别器所确定的样本图像与目标图像各自对应的目标属性相关程度，构建目标属性损失，包括：通过图像属性判别器，确定样本图像的目标属性相关程度相对于目标图像的目标属性相关程度的第一偏移程度，以及目标图像的目标属性相关程度相对于样本图像的目标属性相关程度的第二偏移程度；基于第一偏移程度以及第二偏移程度，构建目标属性损失。
在一个实施例中，用于优化属性编辑参数的目标损失中的目标属性损失项，与用于更新图像属性判别器的网络参数的目标属性损失，可采用相同或不同的损失函数。可以理解，通用的损失函数即可满足本申请实施例中对目标属性损失项和目标属性损失的需求，本申请实施例不对目标属性损失项和目标属性损失所采用的损失函数类型进行限定。
例如，可采用相对平均损失函数(RaHingeGAN)来构建目标属性损失项和目标属性损失，通过以下公式进行表示：
其中，Ladv表示目标属性损失或者目标损失中的目标属性损失项；x表示样本图像；xf表示目标图像；E表示对一组训练数据求均值；xf～Q用于表示xf的分布服从Q；x～R用于表示x的分布服从R；Dadv(xf)表示图像属性判别器对目标图像具有目标属性程度的评价分数；Dadv(x)表示图像属性判别器对样本图像具有目标属性程度的评价分数；
表示属性转换幅度；f(γ)表示标量到标量函数，比如f1(γ)＝ReLU(1+γ)，f2(γ)＝ReLU(1-γ)。
参照上述公式，其中
可表示样本图像的目标属性相关程度相对于目标图像的目标属性相关程度的第一偏移程度，也即是样本图像比目标图像更具有目标属性的可能性；
可表示目标图像的目标属性相关程度相对于样本图像的目标属性相关程度的第二偏移程度，也即是目标图像比样本图像更具有目标属性的可能性。
本实施例中，通过降低目标损失来更新属性编辑参数，其中目标属性损失项的值也随之降低，使得属性编辑参数的更新考虑到倾向于目标属性；通过降低目标属性损失来更新图像属性判别器的网络参数，使得由图像属性判别器对图像生成器基于属性编辑参数生成的目标图像的属性进行约束，使得基于最终训练得到的属性编辑参数转换得到的目标图像具有准确的目标属性。
在一个实施例中，根据目标属性损失更新图像属性判别器的网络参数和属性编辑参数，包括：根据目标属性损失更新图像属性判别器的网络参数；通过图像生成器的图像真伪判别器，确定样本图像与目标图像各自对应的图像真伪程度，基于样本图像与目标图像各自对应的图像真伪程度，构建图像真伪损失；根据图像真伪损失与目标属性损失所确定的目标损失，更新属性编辑参数。
其中，图像真伪判别器用于识别输入图像的真实程度。可选地，可采用图像生成器自带的判别器作为图像真伪判别器。例如，图像生成器是用于生成漫画图像的网络结构，图像真伪判别器可对输入图像是漫画图像的可能性进行判断。
在一个实施例中，参照图5，可以看到，图像生成器与图像真伪判别器以及图像属性判别器形成对抗框架，图像属性判别器对图像生成器基于属性编辑参数生成的目标图像的属性进行约束，图像真伪判别器对图像生成器基于属性编辑参数生成的目标图像的真实性进行约束，以保证目标图像的图像质量。
在一个实施例中，计算机设备根据目标属性损失更新图像属性判别器的网络参数，根据图像真伪损失更新图像真伪判别器的网络参数，并根据图像真伪损失与目标属性损失所确定的目标损失更新属性编辑参数。
在一个实施例中，图像生成器及图像生成器自带的图像真伪判别器的网络参数不参与更新。计算机设备根据通过图像属性判别器确定的目标属性损失更新图像属性判别器的网络参数，同时通过图像真伪判别器确定图像真伪损失，根据图像真伪损失与目标属性损失构建目标损失，并根据目标损失更新属性编辑参数。本实施例的训练过程可通过以下公式进行表示：
ρ(θ,Dattr)＝argminL(θ,Dattr)
其中，ρ(θ,Dattr)表示优化函数；L(θ)表示用于优化属性编辑参数的损失函数；L(Dattr)表示用于优化图像属性判别器的网络参数的损失函数。
在一个实施例中，用于更新属性编辑参数的损失可包括：由图像真伪判别器提供的图像真伪损失项以及由图像属性判别器提供的目标属性损失项。目标损失可通过以下公式进行表示：
L(θ)＝λ1Ladv+λ3Ldis
其中，L(θ)表示用于优化属性编辑参数的损失函数；Ladv表示由图像属性判别器提供的目标属性损失项；Ldis表示由图像真伪判别器提供的图像真伪损失项；λ1、λ3分别表示目标属性损失项和图像真伪损失项的权重。
在训练过程中，通过降低L(θ)和L(Dattr)的值，来更新属性编辑参数以及图像属性判别器的网络参数，随着训练的进行，属性编辑参数越来越具有目标属性编辑能力，图像生成器基于属性编辑参数生成的目标图像越来越符合目标属性，图像属性判别器对不同属性图像的识别准确性越来越高。这样，通过图像生成器与图像属性判别器以及图像真伪判别器迭代地对抗训练，最终训练得到的属性编辑参数具有准确的目标属性编辑能力，且基于属性编辑参数转换得到的目标图像的真实性和图像质量也有保证。
本实施例中，由图像生成器与图像属性判别器以及图像真伪判别器形成对抗框架，对属性编辑参数进行训练，由图像属性判别器对图像生成器基于属性编辑参数生成的目标图像的属性进行约束，图像真伪判别器对图像生成器基于属性编辑参数生成的目标图像的真实性进行约束，使得最终训练得到的属性编辑参数具有准确的目标属性编辑能力，且基于属性编辑参数转换得到的目标图像的真实性和图像质量也有保证。
在一个实施例中，根据目标属性损失更新图像属性判别器的网络参数和属性编辑参数，包括：根据目标属性损失更新图像属性判别器的网络参数；通过待训练的图像身份判别器，确定目标图像与原始数据对应的原始图像各自对应的身份类别，基于目标图像与原始图像各自对应的身份类别，构建身份分类损失；根据身份分类损失更新图像身份判别器的网络参数；根据身份分类损失与目标属性损失所确定的目标损失，更新属性编辑参数。
其中，图像身份判别器用于识别输入图像中人物的身份类别。
在一个实施例中，参照图6，可以看到，图像生成器与图像身份判别器以及图像属性判别器形成对抗框架，图像属性判别器对图像生成器基于属性编辑参数生成的目标图像的属性进行约束，图像身份判别器对图像生成器基于属性编辑参数生成的目标图像中人物的身份进行约束，以保证目标图像中人物的身份在属性转换前后保持一致。例如，待处理图像中人物的身份为A明星，通过训练后的图像属性转换器更改了待处理图像中人物的性别和面部表情，得到目标图像，但是由于属性编辑参数的训练过程中有图像身份判别器的约束，使得目标图像中人物的身份仍旧为A明星。
在一个实施例中，计算机设备根据目标属性损失更新图像属性判别器的网络参数，根据身份分类损失更新图像身份判别器的网络参数，并根据身份分类损失与目标属性损失所确定的目标损失更新属性编辑参数。本实施例的训练过程可通过以下公式进行表示：
ρ(θ,Dattr,Cid)＝argminL(θ,Dattr,Cid)
其中，ρ(θ,Dattr,Cid)表示优化函数；L(θ)表示用于优化属性编辑参数的损失函数；L(Dattr)表示用于优化图像属性判别器的网络参数的损失函数；L(Cid) 表示用于优化图像身份判别器的网络参数的损失函数。
在一个实施例中，用于更新属性编辑参数的损失可包括：由图像身份判别器提供的身份分类损失项以及由图像属性判别器提供的目标属性损失项。目标损失可通过以下公式进行表示：
L(θ)＝λ1Ladv+λ2Lid
其中，L(θ)表示用于优化属性编辑参数的损失函数；Ladv表示由图像属性判别器提供的目标属性损失项；Lid表示由图像身份判别器提供的身份分类损失项；λ1、λ2分别表示目标属性损失项和身份分类损失项的权重。
在训练过程中，通过降低L(θ)、L(Cid)和L(Dattr)的值，来更新属性编辑参数、图像属性判别器的网络参数以及图像身份判别器的网络参数。随着训练的进行，属性编辑参数越来越具有目标属性编辑能力，图像生成器基于属性编辑参数生成的目标图像越来越符合目标属性，图像属性判别器对不同属性图像的识别准确性越来越高，图像身份判别器对不同图像中人物身份类别的识别准确性越来越高。这样，通过图像生成器与图像身份判别器以及图像属性判别器迭代地对抗训练，最终训练得到的属性编辑参数具有准确的目标属性编辑能力，且基于属性编辑参数转换得到的目标图像中人物的身份与原始图像中人物的身份保持一致。
在一个实施例中，该方法还包括：将原始数据输入图像生成器中的特征映射网络；通过特征映射网络，将原始数据映射成隐编码向量；通过图像生成器中的特征合成网络，根据隐编码向量输出与原始数据对应的原始图像。
具体地，计算机设备将原始数据输入图像生成器中的特征映射网络，通过特征映射网络将原始数据映射成隐编码向量，通过特征合成网络输出与隐编码向量相对应的原始图像。由于隐编码向量未经过属性编辑操作，因此原始图像中人物的身份具有参照意义。通过图像身份判别器对图像生成器基于属性编辑参数生成的目标图像中人物的身份进行约束，使得利用属性编辑参数转换后的目标图像仍保留原始图像中人物的身份特征。
本实施例中，由图像生成器与图像属性判别器以及图像身份判别器形成对抗框架，对属性编辑参数进行训练，由图像属性判别器对图像生成器基于属性编辑参数生成的目标图像的属性进行约束，由图像身份判别器对图像生成器基于属性编辑参数生成的目标图像中人物的身份进行约束，使得最终训练得到的属性编辑参数具有准确的目标属性编辑能力，且基于属性编辑参数转换得到的目标图像中人物的身份与原始图像中人物的身份保持一致。
在一个实施例中，身份分类损失包括第一身份分类损失和第二身份分类损失；根据身份分类损失更新图像身份判别器的网络参数，包括：根据第一身份分类损失更新图像身份判别器的网络参数；根据身份分类损失与目标属性损失所确定的目标损失，更新属性编辑参数，包括：根据第二身份分类损失与目标属性损失所确定的目标损失，更新属性编辑参数。
在一个实施例中，目标损失中的身份分类损失项与用于更新图像身份判别器的网络参数的身份分类损失可采用相同或不同的损失函数。可以理解，通用的损失函数即可满足本申请实施例中对身份分类损失项和身份分类损失的需求，本申请实施例不对身份分类损失项和身份分类损失所采用的损失函数类型进行限定。
在一个实施例中，计算机设备根据第一身份分类损失更新图像身份判别器的网络参数，根据第二身份分类损失与目标属性损失所确定的目标损失，更新属性编辑参数。
例如，可采用交叉熵损失函数来构建第一身份分类损失，通过以下公式进行表示：
L(Cid)＝φ(xr,k)+λφ(xf,k)
其中：
其中，L(Cid)表示用于优化图像身份判别器的网络参数的损失函数；xr表示原始图像；λ为损失权重系数，用于平衡不同生成图像的权重；xf表示目标图像；x表示目标图像或者原始图像；Cid(x)j表示图像身份判别器对输入图像x属于第j类的预测概率；本申请实施例的训练目标是将目标图像和原始图像中人物的身份预测为相同的类别，这里用k进行表示，若输入图像x的预测类别为k，则{yx}j为1，否则为0。
本实施例中，通过降低第一身份分类损失来更新图像身份判别器的网络参数，使得图像身份判别器对目标图像中人物的身份类别进行约束，使得基于最终训练得到的属性编辑参数转换得到的目标图像中人物的身份与原始图像中人物的身份保持一致。
例如，可采用余弦函数来构建第二身份分类损失，通过以下公式进行表示：
Lid＝dcos(fr id,ff id)
其中，Lid表示目标损失中的身份分类损失项；fr id表示原始图像的高维特征；ff id表示目标图像的高维特征。
本实施例中，通过降低目标损失来更新属性编辑参数，其中第二身份分类损失的值也随之降低，使得属性编辑参数的更新考虑到保留原始图像中的身份特征。
在一个实施例中，该方法还包括：通过图像生成器的图像真伪判别器，确定样本图像与目标图像各自对应的图像真伪程度，基于样本图像与目标图像各自对应的图像真伪程度，构建图像真伪损失；根据身份分类损失与目标属性损失所确定的目标损失，更新属性编辑参数，包括：根据身份分类损失、图像真伪损失与目标属性损失所确定的目标损失，更新属性编辑参数。
具体地，参照图7，可以看到，图像生成器与图像身份判别器、图像真伪判别器以及图像属性判别器形成对抗框架，图像身份判别器对图像生成器基于属性编辑参数生成的目标图像的属性进行约束，图像真伪判别器对图像生成器基于属性编辑参数生成的目标图像的真实性进行约束，图像身份判别器对图像生成器基于属性编辑参数生成的目标图像中人物的身份进行约束。
在一个实施例中，计算机设备根据目标属性损失更新图像属性判别器的网络参数，根据图像真伪损失更新图像真伪判别器的网络参数，根据身份分类损失更新图像身份判别器的网络参数，并根据图像真伪损失、身份分类损失以及目标属性损失所确定的目标损失更新属性编辑参数。
在一个实施例中，图像生成器及图像生成器自带的图像真伪判别器的网络参数不参与更新。计算机设备根据目标属性损失更新图像属性判别器的网络参数，根据身份分类损失更新图像身份判别器的网络参数，并根据身份分类损失与目标属性损失所确定的目标损失更新属性编辑参数。本实施例的训练过程可通过以下公式进行表示：
ρ(θ,Cid,Dattr)＝argminL(θ,Cid,Dattr)
其中，ρ(θ,Dattr,Cid)表示优化函数；L(θ)表示用于优化属性编辑参数的损失函数；L(Dattr)表示用于优化图像属性判别器的网络参数的损失函数；L(Cid) 表示用于优化图像身份判别器的网络参数的损失函数。
在一个实施例中，用于更新属性编辑参数的损失可包括：由图像身份判别器提供的身份分类损失项、由图像真伪判别器提供的图像真伪损失项以及由图像属性判别器提供的目标属性损失项。目标损失可通过以下公式进行表示：
L(θ)＝λ1Ladv+λ2Lid+λ3Ldis
其中，L(θ)表示用于优化属性编辑参数的损失函数；Ladv表示由图像属性判别器提供的目标属性损失项；Lid表示由图像身份判别器提供的身份分类损失项； Ldis表示由图像真伪判别器提供的图像真伪损失项；λ1、λ2、λ3分别表示目标属性损失项、身份分类损失项和图像真伪损失项的权重。
在训练过程中，通过降低L(θ)、L(Cid)和L(Dattr)的值，来更新属性编辑参数、图像属性判别器的网络参数以及图像身份判别器的网络参数。随着训练的进行，属性编辑参数越来越具有目标属性编辑能力，图像生成器基于属性编辑参数生成的目标图像越来越符合目标属性，图像属性判别器对不同属性图像的识别准确性越来越高，图像身份判别器对不同图像中人物身份类别的识别准确性越来越高。这样，通过图像生成器与图像身份判别器、图像真伪判别器以及图像属性判别器迭代地对抗训练，最终训练得到的属性编辑参数具有准确的目标属性编辑能力，且基于属性编辑参数转换得到的目标图像中人物的身份与原始图像中人物的身份保持一致、目标图像的真实性也有保证。
在一个实施例中，通过图像生成器的图像真伪判别器，确定样本图像与目标图像各自对应的图像真伪程度，基于样本图像与目标图像各自对应的图像真伪程度，构建图像真伪损失，包括：通过图像真伪判别器，确定样本图像的图像真伪程度相对于目标图像的图像真伪程度的第三偏移程度，以及目标图像的图像真伪程度相对于样本图像的图像真伪程度的第四偏移程度；基于第三偏移程度以及第四偏移程度，构建图像真伪损失。
其中，图像真伪程度可以是图像真实程度，也可以是图像虚假程度。本实施例以图像真实程度进行举例说明。
在一个实施例中，目标损失中的图像真伪损失项与用于更新图像真伪判别器的网络参数的图像真伪损失可采用相同或不同的损失函数。可以理解，通用的损失函数即可满足本申请实施例中对图像真伪损失项和图像真伪损失的需求，本申请实施例不对图像真伪损失项和图像真伪损失所采用的损失函数类型进行限定。
例如，可采用相对平均损失函数(RaHingeGAN)来构建图像真伪损失项，通过以下公式进行表示：
其中，Ldis表示目标损失中的图像真伪损失项；x表示样本图像；xf表示目标图像；E表示对一组训练数据求均值；xf～Q用于表示xf的分布服从Q； x～R用于表示x的分布服从R；Dsyn(xf)表示图像真伪判别器对目标图像的真实程度评价分数；Dsyn(x)表示图像真伪判别器对样本图像的真实程度评价分数；g(γ)表示标量到标量函数，例如g1(γ)＝ReLU(1+γ)，g2(γ)＝ReLU(1-γ)。
参照上述公式，其中
可表示样本图像的图像真实程度相对于目标图像的图像真实程度的第三偏移程度，也即是样本图像比目标图像更真实的可能性；g2(Dsyn(xf)-Ex～R(Dsyn(x)))可表示目标图像的图像真实程度相对于样本图像的图像真实程度的第四偏移程度，也即是目标图像比样本图像更真实的可能性。
本实施例中，通过降低目标损失来更新属性编辑参数，其中图像真伪损失项的值也随之降低，使得属性编辑参数的更新考虑到保留图像的原始分布，从而保证图像的真实性。
在一个实施例中，目标属性为第一目标属性，样本图像为第一目标属性的第一样本图像，属性编辑参数为使用第一样本图像对图像生成器进行模型训练获得的第一属性编辑参数，该方法还包括：获取第二目标属性的第二样本图像；通过第二目标属性的第二样本图像与图像生成器，对属性编辑参数进行模型训练，确定与第二目标属性对应的第二属性编辑参数；根据图像生成器与第一属性编辑参数、第二属性编辑参数，获得对应第一目标属性与第二目标属性的图像属性转换器。
具体地，计算机设备通过图像生成器，利用多于一个、不同属性的样本图像分别对属性编辑参数进行模型训练，根据图像生成器与分别利用不同属性的样本图像训练得到的属性编辑参数，可获得对应多于一种属性的图像属性转换器。
可以理解，对属性编辑参数进行训练的多于一个样本图像的属性可以是二元属性，也可以是非二元属性。计算机设备利用二元属性样本图像对属性编辑参数进行模型训练，可获得具有二元属性编辑能力的属性编辑参数；利用非二元属性样本图像对属性编辑参数进行模型训练，可获得具有非二元属性编辑能力的属性编辑参数；利用二元属性样本图像和非二元属性样本图像对属性编辑参数进行模型训练，可获得同时具有二元属性编辑能力和非二元属性编辑能力的属性编辑参数。
举例说明，计算机设备通过图像生成器，利用二元属性“女性”、“睁眼”以及非二元属性“超模风格”分别对属性编辑参数进行模型训练，最终训练得到的属性编辑参数具有“女性”、“睁眼”以及“超模风格”的属性编辑能力，通过图像生成器和最终训练得到的属性编辑参数，能够将输入图像转换为女性、睁眼和/或超模风格。
本实施例中，通过图像生成器，利用多于一个、不同属性的样本图像分别对属性编辑参数进行模型训练，获得对应多于一种属性的图像属性转换器，该种训练方式减弱了属性之间的纠缠，能够轻松地实现多属性学习，例如对二元属性和/或非二元属性的学习，从而提高了属性编辑任务的适用性。
在一个实施例中，该方法还包括：获取待转换至目标属性的待处理图像；确定与待处理图像对应的隐编码向量；通过图像属性转换器中与目标属性对应的属性编辑参数，将待处理图像对应的隐编码向量朝目标属性的方向进行转换，获得携带目标属性的、与待处理图像对应的目标隐编码向量；通过图像属性转换器中的图像生成器，根据与待处理图像对应的目标隐编码向量生成与待处理图像对应的、且携带目标属性的目标图像。
其中，待处理图像是待通过本申请实施例提供的方法进行属性转换的图像。待处理图像可以是通过图像采集设备采集的图像，也可以是通过图像生成模型生成的图像，还可以是从视频中提取的视频帧，从网站上下载的图像，通过具有绘画功能的终端输出的图像，等等。待处理图像可以是真实的图像，也可以是动漫等虚拟的图像。
在一个实施例中，计算机设备获取待转换至目标属性的待处理图像，确定待处理图像的类别，按照待处理图像的类别，将待处理图像转换为隐编码向量。可选地，按照图像的获取方式来区分图像的类别。例如，图像的类别可包括第一类别和第二类别，其中第一类别是通过图像生成模型生成的图像，第二类别是通过除第一类别的获取方式以外其它方式获取的图像。图像生成模型比如 GAN(Generative Adversarial Network，生成对抗网络)模型。
在一个实施例中，当待处理图像的类别为第一类别，计算机设备可直接获取待处理图像对应的隐编码向量。当待处理图像的类别为第二类别，计算机设备按照逆映射策略，确定待处理图像对应的隐编码向量。其中，逆映射(GAN inversion)是将输入图像转换至预训练GAN模型的隐编码向量空间。可以理解，通用的逆映射策略即可满足本申请实施例对逆映射的需求，因此可采用通用的逆映射策略确定第二类别的待处理图像所对应的隐编码向量。
在一个实施例中，计算机设备在获取到与待处理图像对应的隐编码向量后，通过图像属性转换器中与目标属性对应的属性编辑参数，将待处理图像对应的隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量，通过图像属性转换器中的图像生成器，根据与待处理图像对应的目标隐编码向量生成与待处理图像对应的、且携带目标属性的目标图像。
本实施例中，由于本申请实施例训练得到的属性编辑参数具有准确的目标属性编辑能力，因此能够提高目标图像中目标属性的准确性。
在一个实施例中，参照图8，提供了一种图像生成器的处理方法，该图像生成器的处理方法可应用于属性编辑参数的训练场景，包括以下步骤：
步骤S802，获取目标属性的样本图像和已训练的图像生成器。
步骤S804，初始化隐向量空间，从隐向量空间中的隐向量随机采样，获得用于生成图像的原始隐向量，将原始隐向量输入图像生成器中的特征映射网络，通过特征映射网络将原始隐向量映射为隐编码向量。
步骤S806，通过图像生成器中的特征合成网络，根据隐编码向量输出与原始数据对应的原始图像。
步骤S808，读取当前的属性编辑参数，从属性转换幅度集合中的属性转换幅度随机采样，获得属性转换幅度，根据当前的属性编辑参数和属性转换幅度，将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量。
步骤S810，将目标隐编码向量输入图像生成器中的特征合成网络，通过特征合成网络输出与目标隐编码向量对应的目标图像。
步骤S812，基于待训练的图像属性判别器所确定的样本图像与目标图像各自对应的目标属性相关程度，构建目标属性损失。
在一个实施例中，通过图像属性判别器，确定样本图像的目标属性相关程度相对于目标图像的目标属性相关程度的第一偏移程度，以及目标图像的目标属性相关程度相对于样本图像的目标属性相关程度的第二偏移程度；基于第一偏移程度以及第二偏移程度，构建目标属性损失。
步骤S814，通过待训练的图像身份判别器，确定目标图像与原始数据对应的原始图像各自对应的身份类别，基于目标图像与原始图像各自对应的身份类别，构建第一身份分类损失和第二身份分类损失。
步骤S816，通过图像生成器的图像真伪判别器，确定样本图像与目标图像各自对应的图像真伪程度，基于样本图像与目标图像各自对应的图像真伪程度，构建图像真伪损失。
在一个实施例中，通过图像真伪判别器，确定样本图像的图像真伪程度相对于目标图像的图像真伪程度的第三偏移程度，以及目标图像的图像真伪程度相对于样本图像的图像真伪程度的第四偏移程度；基于第三偏移程度以及第四偏移程度，构建图像真伪损失。
步骤S818，根据第二身份分类损失、图像真伪损失与目标属性损失所确定的目标损失，更新属性编辑参数，根据目标属性损失更新图像属性判别器的网络参数，根据第一身份分类损失更新图像身份判别器的网络参数。
步骤S820，返回获取目标属性的样本图像的步骤继续训练，直至训练结束时，根据图像生成器与训练结束时获得的与目标属性对应的属性编辑参数，获得对应目标属性的图像属性转换器。
上述图像生成器的处理方法，由图像生成器与图像属性判别器、图像真伪判别器以及图像身份判别器形成对抗框架，对属性编辑参数进行训练，由图像属性判别器对图像生成器基于属性编辑参数生成的目标图像的属性进行约束，由图像属性判别器对图像生成器基于属性编辑参数生成的目标图像的属性进行约束，由图像身份判别器对图像生成器基于属性编辑参数生成的目标图像中人物的身份进行约束，使得最终训练得到的属性编辑参数具有准确的目标属性编辑能力，且基于属性编辑参数转换得到的目标图像中人物的身份与原始图像中人物的身份保持一致，基于属性编辑参数转换得到的目标图像的真实性和图像质量也有保证。
在一个实施例中，如图9所示，提供了一种图像生成方法，本实施例主要以该方法应用于上述图1中的计算机设备(终端102或者服务器104)来举例说明，包括以下步骤：
步骤S902，获取待转换至目标属性的待处理图像。
其中，待处理图像是待通过本申请实施例提供的方法进行属性转换的图像。待处理图像可以是通过图像采集设备采集的图像，也可以是通过图像生成模型生成的图像，还可以是从视频中提取的视频帧，从网站上下载的图像，通过具有绘画功能的终端输出的图像，等等。待处理图像可以是真实的图像，也可以是动漫等虚拟的图像。
可以理解，本申请实施例的方法可应用于对视频进行编辑。计算机设备获取待处理视频的各个视频帧，利用本申请实施例的方法，通过图像属性转换器生成与各视频帧对应的、且携带目标属性的目标图像。
在一个实施例中，计算机设备获取待转换至多于一个目标属性的待处理图像，通过对应多于一种属性的图像属性转换器，将待处理图像转换为多于一种目标属性。
步骤S904，确定与待处理图像对应的隐编码向量。
在一个实施例中，计算机设备获取待转换至目标属性的待处理图像，确定待处理图像的类别，按照待处理图像的类别，将待处理图像转换为隐编码向量。可选地，按照图像的获取方式来区分图像的类别。例如，图像的类别可包括第一类别和第二类别，其中第一类别是通过图像生成模型生成的图像，第二类别是通过除第一类别的获取方式以外其它方式获取的图像。图像生成模型比如 GAN(Generative Adversarial Network，生成对抗网络)模型。
在一个实施例中，当待处理图像的类别为第一类别，计算机设备可直接获取待处理图像对应的隐编码向量。当待处理图像的类别为第二类别，计算机设备按照逆映射策略，确定待处理图像对应的隐编码向量。其中，逆映射(GAN inversion)是将输入图像转换至预训练GAN模型的隐编码向量空间。可以理解，通用的逆映射策略即可满足本申请实施例对逆映射的需求，因此可采用通用的逆映射策略确定第二类别的待处理图像所对应的隐编码向量。
步骤S906，通过训练好的图像属性转换器中与目标属性对应的属性编辑参数，将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的、与待处理图像对应的目标隐编码向量；其中，图像属性转换器中的与目标属性对应的属性编辑参数，是根据目标属性的样本图像与已训练的图像生成器对属性编辑参数进行模型训练时所构建的目标属性损失确定的；目标属性损失是基于待训练的图像属性判别器所确定的样本图像与目标图像各自对应的目标属性相关程度构建的；目标图像是通过图像生成器将用于生成图像的原始数据映射为隐编码向量后，基于当前的属性编辑参数将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过图像生成器根据目标隐编码向量生成的。
在一个实施例中，计算机设备在获取到与待处理图像对应的隐编码向量后，通过图像属性转换器中与目标属性对应的属性编辑参数，将待处理图像对应的隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量。
关于属性编辑参数的训练步骤，可参照上述实施例，本实施例不再赘述。
步骤S908，通过图像属性转换器中的图像生成器，根据与待处理图像对应的目标隐编码向量生成与待处理图像对应的、且携带目标属性的目标图像。
在一个实施例中，计算机设备通过图像属性转换器中的图像生成器，根据与待处理图像对应的目标隐编码向量生成与待处理图像对应的、且携带目标属性的目标图像。
上述图像生成方法中，获取待转换至目标属性的待处理图像，确定与待处理图像对应的隐编码向量，通过训练好的图像属性转换器中与目标属性对应的属性编辑参数，将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的、与待处理图像对应的目标隐编码向量，通过图像属性转换器中的图像生成器，根据与待处理图像对应的目标隐编码向量生成与待处理图像对应的、且携带目标属性的目标图像，由于本申请实施例训练得到的属性编辑参数具有准确的目标属性编辑能力，因此能够提高图像属性转换的准确性。
通过本申请实施例的方法训练得到的属性编辑参数，具有优越的属性编辑能力。本申请实施例采用9个动漫属性和7个人脸属性进行实验，其中9个动漫属性分别为：张嘴、齐刘海、头发长度、黑发、金发、粉发、Itomugi-Kun风格、漫画风格和樱桃小丸子风格，7个人脸属性分别为：姿势、年龄、性别、微笑、戴/不戴眼镜、超模风格和中国明星风格。为了方便理解，参照图10，图10 中示出了Itomugi-Kun风格、漫画风格和樱桃小丸子风格。
本申请实施例与传统技术中的图像属性转换方式进行了对比。参照图11，图11中示出了对二元属性进行属性转换效果的对比。其中，每组图像的第一排为本申请实施例的图像属性转换效果，每组图像的第二排为传统的图像属性转换方式的图像属性转换效果。同一排左右图像分别表示减弱属性和加强属性。例如，图11中，传统的图像属性转换方式使得衰老属性与戴眼镜属性纠缠，而本申请实施例针对性地对衰老这一属性进行了更改。由此可见，在二元属性转换上，本申请实施例能够减少属性之间的纠缠，针对性实现对二元属性的转换，且能够保持图像中人物的身份不发生改变。
参照图12，图12中示出了对非二元属性进行属性转换效果的对比。其中，每组图像的第一排为本申请实施例的图像属性转换效果，每组图像的第二排为传统的图像属性转换方式的图像属性转换效果。同一排左右图像分别表示减弱属性和加强属性。例如，传统的图像属性转换方式未捕捉到风格的独特特征，而本申请实施例可以同时捕捉动漫和真实人脸的风格的代表性特征。由此可见，在非二元属性转换上，本申请实施例能够捕捉到非二元属性的独特特征，且能够保持图像中人物的身份不发生改变。
参照图13，图13中示出了对真实图片进行属性转换效果的对比。其中，最后一排为本申请实施例的图像属性转换效果，其它排为传统的图像属性转换方式的图像属性转换效果。可以看出，在对真实图像进行属性转换时，本申请实施例能够减少属性之间的纠缠，针对性实现对属性的转换，且能够保持图像中人物的身份不发生改变。
应该理解的是，虽然图2、8-9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、8-9中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图14所示，提供了一种图像生成器的处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块1402、特征映射模块1404、属性转换模块1406、损失构建模块1408和训练模块1410，其中：
获取模块1402，用于获取目标属性的样本图像和已训练的图像生成器；
特征映射模块1404，用于通过图像生成器，将用于生成图像的原始数据映射为隐编码向量；
属性转换模块1406，用于基于当前的属性编辑参数将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过图像生成器，生成与目标隐编码向量对应的目标图像；
损失构建模块1408，用于基于待训练的图像属性判别器所确定的样本图像与目标图像各自对应的目标属性相关程度，构建目标属性损失；
训练模块1410，用于根据目标属性损失更新图像属性判别器的网络参数和属性编辑参数后，返回获取目标属性的样本图像的步骤继续训练，直至训练结束时，根据图像生成器与训练结束时获得的与目标属性对应的属性编辑参数，获得对应目标属性的图像属性转换器。
在一个实施例中，特征映射模块1404还用于：初始化隐向量空间；从隐向量空间中的隐向量随机采样，获得用于生成图像的原始隐向量；将原始隐向量输入图像生成器中的特征映射网络；通过特征映射网络将原始隐向量映射为隐编码向量。
在一个实施例中，属性转换模块1406还用于：读取当前的属性编辑参数；从属性转换幅度集合中的属性转换幅度随机采样，获得属性转换幅度；根据当前的属性编辑参数和属性转换幅度，将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量。
在一个实施例中，属性转换模块1406还用于：将目标隐编码向量输入图像生成器中的特征合成网络；通过特征合成网络输出与目标隐编码向量对应的目标图像。
在一个实施例中，损失构建模块1408还用于：通过图像属性判别器，确定样本图像的目标属性相关程度相对于目标图像的目标属性相关程度的第一偏移程度，以及目标图像的目标属性相关程度相对于样本图像的目标属性相关程度的第二偏移程度；基于第一偏移程度以及第二偏移程度，构建目标属性损失。
在一个实施例中，训练模块1410还用于：根据目标属性损失更新图像属性判别器的网络参数；通过图像生成器的图像真伪判别器，确定样本图像与目标图像各自对应的图像真伪程度，基于样本图像与目标图像各自对应的图像真伪程度，构建图像真伪损失；根据图像真伪损失与目标属性损失所确定的目标损失，更新属性编辑参数。
在一个实施例中，训练模块1410还用于：根据目标属性损失更新图像属性判别器的网络参数；通过待训练的图像身份判别器，确定目标图像与原始数据对应的原始图像各自对应的身份类别，基于目标图像与原始图像各自对应的身份类别，构建身份分类损失；根据身份分类损失更新图像身份判别器的网络参数；根据身份分类损失与目标属性损失所确定的目标损失，更新属性编辑参数。
在一个实施例中，身份分类损失包括第一身份分类损失和第二身份分类损失；训练模块1410还用于：根据第一身份分类损失更新图像身份判别器的网络参数；根据第二身份分类损失与目标属性损失所确定的目标损失，更新属性编辑参数。
在一个实施例中，损失构建模块1408还用于：通过图像生成器的图像真伪判别器，确定样本图像与目标图像各自对应的图像真伪程度，基于样本图像与目标图像各自对应的图像真伪程度，构建图像真伪损失；训练模块1410还用于：根据身份分类损失、图像真伪损失与目标属性损失所确定的目标损失，更新属性编辑参数。
在一个实施例中，损失构建模块1408还用于：通过图像真伪判别器，确定样本图像的图像真伪程度相对于目标图像的图像真伪程度的第三偏移程度，以及目标图像的图像真伪程度相对于样本图像的图像真伪程度的第四偏移程度；基于第三偏移程度以及第四偏移程度，构建图像真伪损失。
在一个实施例中，特征映射模块1404还用于：将原始数据输入图像生成器中的特征映射网络；通过特征映射网络，将原始数据映射成隐编码向量；图像生成器的处理装置还包括特征合成模块，特征合成模块用于：通过图像生成器中的特征合成网络，根据隐编码向量输出与原始数据对应的原始图像。
在一个实施例中，目标属性为第一目标属性，样本图像为第一目标属性的第一样本图像，属性编辑参数为使用第一样本图像对图像生成器进行模型训练获得的第一属性编辑参数；获取模块1402还用于：获取第二目标属性的第二样本图像，第二目标属性与第一目标属性是非二元属性；训练模块1410还用于：通过第二目标属性的第二样本图像与图像生成器，对属性编辑参数进行模型训练，确定与第二目标属性对应的第二属性编辑参数；根据图像生成器与第一属性编辑参数、第二属性编辑参数，获得对应第一目标属性与第二目标属性的图像属性转换器。
在一个实施例中，获取模块1402还用于：获取待转换至目标属性的待处理图像；特征映射模块1404还用于：确定与待处理图像对应的隐编码向量；属性转换模块1406还用于：通过图像属性转换器中与目标属性对应的属性编辑参数，将待处理图像对应的隐编码向量朝目标属性的方向进行转换，获得携带目标属性的、与待处理图像对应的目标隐编码向量；图像生成器的处理装置还包括图像生成模块，图像生成模块还用于：通过图像属性转换器中的图像生成器，根据与待处理图像对应的目标隐编码向量生成与待处理图像对应的、且携带目标属性的目标图像。
关于图像生成器的处理装置的具体限定可以参见上文中对于图像生成器的处理方法的限定，在此不再赘述。上述图像生成器的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
上述图像生成器的处理装置中，通过图像生成器将用于生成图像的原始数据映射为隐编码向量，基于当前的属性编辑参数将所述隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过所述图像生成器生成与所述目标隐编码向量对应的目标图像，基于待训练的图像属性判别器所确定的所述样本图像与所述目标图像各自对应的目标属性相关程度，构建目标属性损失，根据所述目标属性损失更新所述图像属性判别器的网络参数和所述属性编辑参数后，返回所述获取目标属性的样本图像的步骤继续训练，这样，通过图像生成器与图像属性判别器迭代地对抗训练，由图像属性判别器对图像生成器基于属性编辑参数生成的目标图像的属性进行约束，使得最终训练得到的属性编辑参数具有准确的目标属性编辑能力，在通过图像生成器和训练后的属性编辑参数进行图像属性转换时，能够提高图像属性转换的准确性。
在一个实施例中，如图15所示，提供了一种图像生成装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块1502、特征映射模块1504、属性转换模块1506和图像生成模块1508，其中：
获取模块1502，用于获取待转换至目标属性的待处理图像；
特征映射模块1504，用于确定与待处理图像对应的隐编码向量；
属性转换模块1506，用于通过训练好的图像属性转换器中与目标属性对应的属性编辑参数，将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的、与待处理图像对应的目标隐编码向量；
其中，图像属性转换器中的与目标属性对应的属性编辑参数，是根据目标属性的样本图像与已训练的图像生成器对属性编辑参数进行模型训练时所构建的目标属性损失确定的；目标属性损失是基于待训练的图像属性判别器所确定的样本图像与目标图像各自对应的目标属性相关程度构建的；目标图像是通过图像生成器将用于生成图像的原始数据映射为隐编码向量后，基于当前的属性编辑参数将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过图像生成器根据目标隐编码向量生成的；
图像生成模块1508，用于通过图像属性转换器中的图像生成器，根据与待处理图像对应的目标隐编码向量生成与待处理图像对应的、且携带目标属性的目标图像。
关于图像生成装置的具体限定可以参见上文中对于图像生成方法的限定，在此不再赘述。上述图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
上述图像生成装置中，获取待转换至目标属性的待处理图像，确定与待处理图像对应的隐编码向量，通过训练好的图像属性转换器中与目标属性对应的属性编辑参数，将隐编码向量朝目标属性的方向进行转换，获得携带目标属性的、与待处理图像对应的目标隐编码向量，通过图像属性转换器中的图像生成器，根据与待处理图像对应的目标隐编码向量生成与待处理图像对应的、且携带目标属性的目标图像，由于本申请实施例训练得到的属性编辑参数具有准确的目标属性编辑能力，因此能够提高图像属性转换的准确性。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图16所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像生成器的处理数据和/或图像生成数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像生成器的处理方法和/或图像生成方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，也可以是人脸采集设备，其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口和图像采集装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像生成器的处理方法和/或图像生成方法。
本领域技术人员可以理解，图16和图17中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory， SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种图像生成器的处理方法，其特征在于，所述方法包括：
获取目标属性的样本图像和已训练的图像生成器；
通过所述图像生成器，将用于生成图像的原始数据映射为隐编码向量；
基于当前的属性编辑参数将所述隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过所述图像生成器，生成与所述目标隐编码向量对应的目标图像；
基于待训练的图像属性判别器所确定的所述样本图像与所述目标图像各自对应的目标属性相关程度，构建目标属性损失；
根据所述目标属性损失更新所述图像属性判别器的网络参数和所述属性编辑参数后，返回所述获取目标属性的样本图像的步骤继续训练，直至训练结束时，根据所述图像生成器与训练结束时获得的与目标属性对应的属性编辑参数，获得对应目标属性的图像属性转换器。
2.根据权利要求1所述的方法，其特征在于，所述通过所述图像生成器，将用于生成图像的原始数据映射为隐编码向量，包括：
初始化隐向量空间；
从所述隐向量空间中的隐向量随机采样，获得用于生成图像的原始隐向量；
将所述原始隐向量输入所述图像生成器中的特征映射网络；
通过所述特征映射网络将所述原始隐向量映射为所述隐编码向量。
3.根据权利要求1所述的方法，其特征在于，所述基于当前的属性编辑参数将所述隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量，包括：
读取当前的属性编辑参数；
从属性转换幅度集合中的属性转换幅度随机采样，获得属性转换幅度；
根据所述当前的属性编辑参数和所述属性转换幅度，将所述隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量。
4.根据权利要求1所述的方法，其特征在于，所述通过所述图像生成器，生成与所述目标隐编码向量对应的目标图像，包括：
将所述目标隐编码向量输入所述图像生成器中的特征合成网络；
通过所述特征合成网络输出与所述目标隐编码向量对应的目标图像。
5.根据权利要求1所述的方法，其特征在于，所述基于待训练的图像属性判别器所确定的所述样本图像与所述目标图像各自对应的目标属性相关程度，构建目标属性损失，包括：
通过所述图像属性判别器，确定所述样本图像的目标属性相关程度相对于所述目标图像的目标属性相关程度的第一偏移程度，以及所述目标图像的目标属性相关程度相对于所述样本图像的目标属性相关程度的第二偏移程度；
基于所述第一偏移程度以及所述第二偏移程度，构建所述目标属性损失。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标属性损失更新所述图像属性判别器的网络参数和所述属性编辑参数，包括：
根据所述目标属性损失更新所述图像属性判别器的网络参数；
通过所述图像生成器的图像真伪判别器，确定所述样本图像与所述目标图像各自对应的图像真伪程度，基于所述样本图像与所述目标图像各自对应的图像真伪程度，构建图像真伪损失；
根据所述图像真伪损失与所述目标属性损失所确定的目标损失，更新所述属性编辑参数。
7.根据权利要求1所述的方法，其特征在于，所述根据所述目标属性损失更新所述图像属性判别器的网络参数和所述属性编辑参数，包括：
根据所述目标属性损失更新所述图像属性判别器的网络参数；
通过待训练的图像身份判别器，确定所述目标图像与所述原始数据对应的原始图像各自对应的身份类别，基于所述目标图像与所述原始图像各自对应的身份类别，构建身份分类损失；
根据所述身份分类损失更新所述图像身份判别器的网络参数；
根据所述身份分类损失与所述目标属性损失所确定的目标损失，更新所述属性编辑参数。
8.根据权利要求7所述的方法，其特征在于，所述身份分类损失包括第一身份分类损失和第二身份分类损失；
所述根据所述身份分类损失更新所述图像身份判别器的网络参数，包括：
根据所述第一身份分类损失更新所述图像身份判别器的网络参数；
所述根据所述身份分类损失与所述目标属性损失所确定的目标损失，更新所述属性编辑参数，包括：
根据所述第二身份分类损失与所述目标属性损失所确定的目标损失，更新所述属性编辑参数。
9.根据权利要求7所述的方法，其特征在于，所述方法还包括：
通过所述图像生成器的图像真伪判别器，确定所述样本图像与所述目标图像各自对应的图像真伪程度，基于所述样本图像与所述目标图像各自对应的图像真伪程度，构建图像真伪损失；
所述根据所述身份分类损失与所述目标属性损失所确定的目标损失，更新所述属性编辑参数，包括：
根据所述身份分类损失、所述图像真伪损失与所述目标属性损失所确定的目标损失，更新所述属性编辑参数。
10.根据权利要求9所述的方法，其特征在于，所述通过所述图像生成器的图像真伪判别器，确定所述样本图像与所述目标图像各自对应的图像真伪程度，基于所述样本图像与所述目标图像各自对应的图像真伪程度，构建图像真伪损失，包括：
通过所述图像真伪判别器，确定所述样本图像的图像真伪程度相对于所述目标图像的图像真伪程度的第三偏移程度，以及所述目标图像的图像真伪程度相对于所述样本图像的图像真伪程度的第四偏移程度；
基于所述第三偏移程度以及所述第四偏移程度，构建所述图像真伪损失。
11.根据权利要求7或9所述的方法，其特征在于，所述方法还包括：
将所述原始数据输入所述图像生成器中的特征映射网络；
通过所述特征映射网络，将所述原始数据映射成隐编码向量；
通过所述图像生成器中的特征合成网络，根据所述隐编码向量输出与所述原始数据对应的原始图像。
12.根据权利要求1所述的方法，其特征在于，所述目标属性为第一目标属性，所述样本图像为第一目标属性的第一样本图像，所述属性编辑参数为使用所述第一样本图像对所述图像生成器进行模型训练获得的第一属性编辑参数，所述方法还包括：
获取第二目标属性的第二样本图像，所述第二目标属性与所述第一目标属性是非二元属性；
通过所述第二目标属性的第二样本图像与所述图像生成器，对属性编辑参数进行模型训练，确定与所述第二目标属性对应的第二属性编辑参数；
根据所述图像生成器与所述第一属性编辑参数、所述第二属性编辑参数，获得对应所述第一目标属性与所述第二目标属性的图像属性转换器。
13.根据权利要求1至11任一项所述的方法，其特征在于，所述方法还包括：
获取待转换至目标属性的待处理图像；
确定与所述待处理图像对应的隐编码向量；
通过所述图像属性转换器中与目标属性对应的属性编辑参数，将所述待处理图像对应的隐编码向量朝目标属性的方向进行转换，获得携带目标属性的、与所述待处理图像对应的目标隐编码向量；
通过所述图像属性转换器中的图像生成器，根据与所述待处理图像对应的目标隐编码向量生成与所述待处理图像对应的、且携带目标属性的目标图像。
14.一种图像生成方法，其特征在于，所述方法包括：
获取待转换至目标属性的待处理图像；
确定与所述待处理图像对应的隐编码向量；
通过训练好的图像属性转换器中与目标属性对应的属性编辑参数，将所述隐编码向量朝目标属性的方向进行转换，获得携带目标属性的、与所述待处理图像对应的目标隐编码向量；
其中，所述图像属性转换器中的与目标属性对应的属性编辑参数，是根据目标属性的样本图像与已训练的图像生成器对属性编辑参数进行模型训练时所构建的目标属性损失确定的；所述目标属性损失是基于待训练的图像属性判别器所确定的所述样本图像与目标图像各自对应的目标属性相关程度构建的；所述目标图像是通过所述图像生成器将用于生成图像的原始数据映射为隐编码向量后，基于当前的属性编辑参数将所述隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过所述图像生成器根据所述目标隐编码向量生成的；
通过所述图像属性转换器中的图像生成器，根据与所述待处理图像对应的目标隐编码向量生成与所述待处理图像对应的、且携带目标属性的目标图像。
15.一种图像生成器的处理装置，其特征在于，所述装置包括：
获取模块，用于获取目标属性的样本图像和已训练的图像生成器；
特征映射模块，用于通过所述图像生成器，将用于生成图像的原始数据映射为隐编码向量；
属性转换模块，用于基于当前的属性编辑参数将所述隐编码向量朝目标属性的方向进行转换，获得携带目标属性的目标隐编码向量后，通过所述图像生成器，生成与所述目标隐编码向量对应的目标图像；
损失构建模块，用于基于待训练的图像属性判别器所确定的所述样本图像与所述目标图像各自对应的目标属性相关程度，构建目标属性损失；
训练模块，用于根据所述目标属性损失更新所述图像属性判别器的网络参数和所述属性编辑参数后，返回所述获取目标属性的样本图像的步骤继续训练，直至训练结束时，根据所述图像生成器与训练结束时获得的与目标属性对应的属性编辑参数，获得对应目标属性的图像属性转换器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110706137.9A CN113822953A (zh) | 2021-06-24 | 2021-06-24 | 图像生成器的处理方法、图像生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110706137.9A CN113822953A (zh) | 2021-06-24 | 2021-06-24 | 图像生成器的处理方法、图像生成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113822953A true CN113822953A (zh) | 2021-12-21 |
Family
ID=78924032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110706137.9A Pending CN113822953A (zh) | 2021-06-24 | 2021-06-24 | 图像生成器的处理方法、图像生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113822953A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612290A (zh) * | 2022-03-11 | 2022-06-10 | 北京百度网讯科技有限公司 | 图像编辑模型的训练方法和图像编辑方法 |
| CN115393183A (zh) * | 2022-10-28 | 2022-11-25 | 腾讯科技（深圳）有限公司 | 图像编辑方法、装置、计算机设备和存储介质 |
| CN116631042A (zh) * | 2023-07-25 | 2023-08-22 | 数据空间研究院 | 表情图像生成、表情识别模型、方法、系统和存储器 |
| WO2023179075A1 (zh) * | 2022-03-22 | 2023-09-28 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备、存储介质和程序产品 |
-
2021
- 2021-06-24 CN CN202110706137.9A patent/CN113822953A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612290A (zh) * | 2022-03-11 | 2022-06-10 | 北京百度网讯科技有限公司 | 图像编辑模型的训练方法和图像编辑方法 |
| CN114612290B (zh) * | 2022-03-11 | 2023-07-21 | 北京百度网讯科技有限公司 | 图像编辑模型的训练方法和图像编辑方法 |
| WO2023179075A1 (zh) * | 2022-03-22 | 2023-09-28 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备、存储介质和程序产品 |
| CN115393183A (zh) * | 2022-10-28 | 2022-11-25 | 腾讯科技（深圳）有限公司 | 图像编辑方法、装置、计算机设备和存储介质 |
| CN116631042A (zh) * | 2023-07-25 | 2023-08-22 | 数据空间研究院 | 表情图像生成、表情识别模型、方法、系统和存储器 |
| CN116631042B (zh) * | 2023-07-25 | 2023-10-13 | 数据空间研究院 | 表情图像生成、表情识别模型、方法、系统和存储器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zeng et al. | Srnet: Improving generalization in 3d human pose estimation with a split-and-recombine approach | |
| Zheng et al. | T2net: Synthetic-to-realistic translation for solving single-image depth estimation tasks | |
| CN111754596B (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
| CN111401216B (zh) | 图像处理、模型训练方法、装置、计算机设备和存储介质 | |
| CN113822953A (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
| CN112991160B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN111553267B (zh) | 图像处理方法、图像处理模型训练方法及设备 | |
| CN110569795A (zh) | 一种图像识别方法、装置以及相关设备 | |
| CN110555896B (zh) | 一种图像生成方法、装置以及存储介质 | |
| CN115565238B (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| US11823490B2 (en) | Non-linear latent to latent model for multi-attribute face editing | |
| CN112633425B (zh) | 图像分类方法和装置 | |
| KR102427484B1 (ko) | 이미지 생성 시스템 및 이를 이용한 이미지 생성 방법 | |
| CN113011387B (zh) | 网络训练及人脸活体检测方法、装置、设备及存储介质 | |
| CN111210382A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113641797A (zh) | 数据处理方法、装置、设备、存储介质及计算机程序产品 | |
| CN114549291A (zh) | 图像处理方法、装置、设备以及存储介质 | |
| CN113822790B (zh) | 一种图像处理方法、装置、设备及计算机可读存储介质 | |
| CN117011449A (zh) | 三维面部模型的重构方法和装置、存储介质及电子设备 | |
| CN113010772B (zh) | 一种数据处理方法、相关设备及计算机可读存储介质 | |
| CN117093733A (zh) | 媒体分类模型的训练方法、媒体数据分类方法和装置 | |
| CN115708135A (zh) | 人脸识别模型的处理方法、人脸识别方法及装置 | |
| Fan et al. | Facial expression animation through action units transfer in latent space | |
| CN117711001B (zh) | 图像处理方法、装置、设备和介质 | |
| CN116645700B (zh) | 特征提取模型处理方法、装置和特征提取方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |