CN115393183A - 图像编辑方法、装置、计算机设备和存储介质 - Google Patents

图像编辑方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115393183A
CN115393183A CN202211330943.1A CN202211330943A CN115393183A CN 115393183 A CN115393183 A CN 115393183A CN 202211330943 A CN202211330943 A CN 202211330943A CN 115393183 A CN115393183 A CN 115393183A
Authority
CN
China
Prior art keywords
image
initial
target
generation model
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211330943.1A
Other languages
English (en)
Other versions
CN115393183B (zh
Inventor
陈浩锟
申瑞雪
王锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211330943.1A priority Critical patent/CN115393183B/zh
Publication of CN115393183A publication Critical patent/CN115393183A/zh
Application granted granted Critical
Publication of CN115393183B publication Critical patent/CN115393183B/zh
Priority to PCT/CN2023/119716 priority patent/WO2024087946A1/zh
Priority to US18/584,777 priority patent/US20240193822A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像编辑方法、装置、计算机设备、存储介质和计算机程序产品。本申请涉及人工智能。所述方法包括：将第一随机变量输入初始图像生成模型和特征图像生成模型；基于目标属性所属的属性类型在对象图像中对应的图像区域，获取初始图像生成模型中第一网络层输出的第一初始对象图像和特征图像生成模型中第二网络层输出的第一特征对象图像分别对应的属性遮罩图像；基于由属性遮罩图像确定的目标联合遮罩图像，将初始图像生成模型和特征图像生成模型中匹配的目标网络层输出的第二初始对象图像和第二特征对象图像进行融合，得到参考对象图像；参考对象图像用于表征对第二初始对象图像进行目标属性编辑得到的图像。本方法可提高图像编辑效率。

Description

图像编辑方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像编辑方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着图像处理技术的发展，出现了针对图像属性的图像编辑技术，针对图像属性的图像编辑技术用于在原始图像上对图像的局部属性进行编辑从而得到新图像。以针对人脸图像的人脸属性编辑为例，人脸属性编辑是指在原有的人脸图片上对人脸的属性进行单个或至少两个属性的编辑产生新的人脸图像，即在不改变原有人脸图片其它属性的情况下，实现对局部属性的修改。
传统技术中，针对图像属性的图像编辑技术通常是使用PhotoShop等图像编辑软件，人工精确地编辑图像，例如，使用PhotoShop的融合工具将其它人脸的目标属性区域剪切到当前人脸图像上。然而，该方法需要专业人士精心编辑，图像编辑效率低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高图像编辑效率的图像编辑方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
本申请提供了一种图像编辑方法。所述方法包括：
获取第一随机变量，将所述第一随机变量分别输入初始图像生成模型和特征图像生成模型；所述初始图像生成模型是基于第一训练图像集训练得到的，所述特征图像生成模型是基于第二训练图像集对所述初始图像生成模型进行训练得到的；所述第一训练图像集和所述第二训练图像集包括目标类别对象对应的对象图像，所述第二训练图像集中的对象图像为包含目标属性的对象图像，所述特征图像生成模型输出的图像具有目标属性；
获取所述初始图像生成模型中第一网络层输出的图像，得到第一初始对象图像，获取所述特征图像生成模型中第二网络层输出的图像，得到第一特征对象图像；
基于所述目标属性所属的属性类型在对象图像中对应的图像区域，获取所述第一初始对象图像和所述第一特征对象图像分别对应的属性遮罩图像，基于各个所述属性遮罩图像得到目标联合遮罩图像；
获取所述初始图像生成模型和所述特征图像生成模型中匹配的目标网络层输出的图像，得到第二初始对象图像和第二特征对象图像；
基于所述目标联合遮罩图像将所述第二初始对象图像和所述第二特征对象图像进行融合，得到参考对象图像；所述参考对象图像用于表征对所述第二初始对象图像进行目标属性编辑得到的图像。
本申请还提供了一种图像编辑装置。所述装置包括：
随机变量获取模块，用于获取第一随机变量，将所述第一随机变量分别输入初始图像生成模型和特征图像生成模型；所述初始图像生成模型是基于第一训练图像集训练得到的，所述特征图像生成模型是基于第二训练图像集对所述初始图像生成模型进行训练得到的；所述第一训练图像集和所述第二训练图像集包括目标类别对象对应的对象图像，所述第二训练图像集中的对象图像为包含目标属性的对象图像，所述特征图像生成模型输出的图像具有目标属性；
第一图像获取模块，用于获取所述初始图像生成模型中第一网络层输出的图像，得到第一初始对象图像，获取所述特征图像生成模型中第二网络层输出的图像，得到第一特征对象图像；
遮罩图像获取模块，用于基于所述目标属性所属的属性类型在对象图像中对应的图像区域，获取所述第一初始对象图像和所述第一特征对象图像分别对应的属性遮罩图像，基于各个所述属性遮罩图像得到目标联合遮罩图像；
第二图像获取模块，用于获取所述初始图像生成模型和所述特征图像生成模型中匹配的目标网络层输出的图像，得到第二初始对象图像和第二特征对象图像；
图像融合模块，用于基于所述目标联合遮罩图像将所述第二初始对象图像和所述第二特征对象图像进行融合，得到参考对象图像；所述参考对象图像用于表征对所述第二初始对象图像进行目标属性编辑得到的图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像编辑方法所述的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像编辑方法所述的步骤。
一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述图像编辑方法所述的步骤。
上述图像编辑方法、装置、计算机设备、存储介质和计算机程序产品，通过获取第一随机变量，将第一随机变量分别输入初始图像生成模型和特征图像生成模型；初始图像生成模型是基于第一训练图像集训练得到的，特征图像生成模型是基于第二训练图像集对初始图像生成模型进行训练得到的；第一训练图像集和第二训练图像集包括目标类别对象对应的对象图像，第二训练图像集中的对象图像为包含目标属性的对象图像，特征图像生成模型输出的图像具有目标属性；获取初始图像生成模型中第一网络层输出的图像，得到第一初始对象图像，获取特征图像生成模型中第二网络层输出的图像，得到第一特征对象图像；基于目标属性所属的属性类型在对象图像中对应的图像区域，获取第一初始对象图像和第一特征对象图像分别对应的属性遮罩图像，基于各个属性遮罩图像得到目标联合遮罩图像；获取初始图像生成模型和特征图像生成模型中匹配的目标网络层输出的图像，得到第二初始对象图像和第二特征对象图像；基于目标联合遮罩图像将第二初始对象图像和第二特征对象图像进行融合，得到参考对象图像；参考对象图像用于表征对第二初始对象图像进行目标属性编辑得到的图像。这样，初始图像生成模型是基于目标类别对象对应的对象图像训练得到的，在接收输入数据后，初始图像生成模型可以输出目标类别对象对应的对象图像。特征图像生成模型是基于目标类别对象对应的、且包含目标属性的对象图像，对初始图像生成模型训练得到的，在接收输入数据后，特征图像生成模型可以输出目标类别对象对应的、且包含目标属性的对象图像。将第一随机变量分别输入初始图像生成模型和特征图像生成模型，初始图像生成模型和特征图像生成模型分别输出的对象图像具有一定的相似性，并且特征图像生成模型输出的对象图像包含目标属性。属性遮罩图像可以反映目标属性所属的属性类型在对象图像中对应的图像区域，目标联合遮罩图像可以反映目标属性所属的属性类型在第一初始对象图像和第一特征对象图像中的联合图像区域。基于目标联合遮罩图像将第二初始对象图像和第二特征对象图像进行融合，可以将第二特征对象图像中目标属性对应的图像区域融合至第二初始对象图像中，从而融合得到的参考对象图像相当于在不改变第二初始对象图像其它属性的情况下使其具有目标属性，即参考对象图像相当于是对第二初始对象图像进行目标属性编辑得到的图像。无需人工精细编辑，基于初始图像生成模型、特征图像生成模型和目标联合遮罩图像可以快速实现对初始图像生成模型输出图像的目标属性编辑，提高了图像编辑效率，并且也可以保障图像编辑准确性。
附图说明
图1为一个实施例中图像编辑方法的应用环境图；
图2为一个实施例中图像编辑方法的流程示意图；
图3为另一个实施例中图像编辑方法的流程示意图；
图4为又一个实施例中图像编辑方法的流程示意图；
图5为一个实施例中训练图像属性编辑模型的流程示意图；
图6为一个实施例中应用于人像图片的图像编辑方法的流程示意图；
图7为一个实施例中特征融合的示意图；
图8为一个实施例中人脸背头编辑的效果示意图；
图9为一个实施例中人脸属性编辑的效果示意图；
图10为一个实施例中图像编辑装置的结构框图；
图11为另一个实施例中图像编辑装置的结构框图；
图12为一个实施例中计算机设备的内部结构图；
图13为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的方案涉及人工智能的计算机视觉技术、机器学习等技术，具体通过如下实施例进行说明：
本申请实施例提供的图像编辑方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。终端102可以但不限于是各种台式计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群或者云服务器来实现。
终端和服务器均可单独用于执行本申请实施例中提供的图像编辑方法。
例如，服务器获取第一随机变量，将第一随机变量分别输入初始图像生成模型和特征图像生成模型。其中，初始图像生成模型是基于第一训练图像集训练得到的，特征图像生成模型是基于第二训练图像集对初始图像生成模型进行训练得到的，第一训练图像集和第二训练图像集包括目标类别对象对应的对象图像，第二训练图像集中的对象图像为包含目标属性的对象图像，特征图像生成模型输出的图像具有目标属性。服务器获取初始图像生成模型中第一网络层输出的图像得到第一初始对象图像，获取特征图像生成模型中第二网络层输出的图像得到第一特征对象图像，基于目标属性所属的属性类型在对象图像中对应的图像区域，获取第一初始对象图像和第一特征对象图像分别对应的属性遮罩图像，基于各个属性遮罩图像得到目标联合遮罩图像。服务器获取初始图像生成模型和特征图像生成模型中匹配的目标网络层输出的图像，得到第二初始对象图像和第二特征对象图像。服务器基于目标联合遮罩图像将第二初始对象图像和第二特征对象图像进行融合，得到参考对象图像，参考对象图像用于表征对第二初始对象图像进行目标属性编辑得到的图像。
终端和服务器也可协同用于执行本申请实施例中提供的图像编辑方法。
例如，终端从服务器获取第一随机变量，将第一随机变量分别输入初始图像生成模型和特征图像生成模型，获取初始图像生成模型中第一网络层输出的图像得到第一初始对象图像，获取特征图像生成模型中第二网络层输出的图像得到第一特征对象图像，获取初始图像生成模型和特征图像生成模型中匹配的目标网络层输出的图像，得到第二初始对象图像和第二特征对象图像。服务器基于目标属性所属的属性类型在对象图像中对应的图像区域，获取第一初始对象图像和第一特征对象图像分别对应的属性遮罩图像，基于各个属性遮罩图像得到目标联合遮罩图像。服务器基于目标联合遮罩图像将第二初始对象图像和第二特征对象图像进行融合，得到参考对象图像。服务器将参考对象图像发送至终端。终端可以将参考对象图像进行展示。
在一个实施例中，如图2所示，提供了一种图像编辑方法，以该方法应用于计算机设备来举例说明，计算机设备可以是终端或服务器，由终端或服务器自身单独执行，也可以通过终端和服务器之间的交互来实现。参考图2，图像编辑方法包括以下步骤：
步骤S202，获取第一随机变量，将第一随机变量分别输入初始图像生成模型和特征图像生成模型；初始图像生成模型是基于第一训练图像集训练得到的，特征图像生成模型是基于第二训练图像集对初始图像生成模型进行训练得到的；第一训练图像集和第二训练图像集包括目标类别对象对应的对象图像，第二训练图像集中的对象图像为包含目标属性的对象图像，特征图像生成模型输出的图像具有目标属性。
其中，变量是指数值可以变的数据。随机变量是指随机生成的变量。例如，随机变量可以是从高斯分布中随机采样得到的数据；随机变量可以是从均匀分布中随机采样得到的数据；等等。第一随机变量是指某一个随机变量。
图像生成模型是指用于生成图像的机器学习模型。图像生成模型的输入数据为随机变量，输出数据为图像。图像生成模型通常是基于训练图像集训练得到的。训练图像集包括属于同一类别的多个对象的对象图像，从而基于训练图像集训练得到的图像生成模型可以用于生成特定类别对象的对象图像。例如，用于生成人脸图像的图像生成模型是基于人脸图像集训练得到的，用于生成猫图像的图像生成模型是基于猫图像训练集训练得到的，用于生成车辆图像的图像生成模型是基于车辆图像训练集训练得到的。可以理解，对象可以是物体，例如，汽车、桌子等，对象也可以是活体，例如，动物、植物等。
初始图像生成模型是基于第一训练图像集训练得到的图像生成模型，第一训练图像集包括目标类别对象对应的对象图像，初始图像生成模型用于生成属于目标类别对象的对象图像。目标类别对象用于指代某一类对象，例如，若目标类别对象为人脸，那么初始图像生成模型可以是用于生成人脸图像；若目标类别对象为狗，那么初始图像生成模型用于生成狗图像；若目标类别对象为猫，那么初始图像生成模型用于生成猫图像，若目标类别对象为车辆，那么初始图像生成模型用于生成车辆图像。
特征图像生成模型是基于第二训练图像集训练得到的图像生成模型，第二训练图像集中的对象图像不仅属于目标类别对象而且还包含目标属性，特征图像生成模型用于生成属于目标类别对象、且包含目标属性的对象图像，即特征图像生成模型用于生成属于目标类别对象、且具有特定特征的对象图像。对象图像存在各类对象属性，一类对象属性（即一个属性类型）在对象图像中存在对应的图像区域，一类对象属性用于表征对象的一类特征、特性。一类对象属性是针对同一类型的多个具体对象属性的总称，属于同一类型的多个具体对象属性之间存在共性。属于同一类型的多个具体对象属性用于描述对象的同一部位，属于同一类型的不同具体对象属性可以使得同一部位具有不同的形态。例如，人脸图像包括头发类属性，头发类属性用于表征、描述对象的头发，头发类属性可以包括用于表征不同发型的各个头发属性，具体可以是背头属性、短发属性、长发属性、卷发属性等。猫图像包括猫腿类属性，猫腿类属性用于表征、描述猫的腿部，猫腿类属性可以包括用于表征猫不同腿部的各个腿部属性，具体可以是长腿属性、短腿属性等。目标属性是指某一具体对象属性，例如，背头属性、长腿属性。目标属性也可以是指属于不同属性类型的至少两个具体对象属性，例如，背头属性+络腮胡属性。
举例说明，若目标类别对象为车辆，第一训练图像集具体包括各种车辆图像，初始图像生成模型用于生成车辆图像。若目标属性为天窗属性，第二训练图像集具体包括车辆顶部具有天窗的车辆图像，特征图像生成模型用于生成车辆顶部具有天窗的车辆图像。
进一步的，特征图像生成模型是在初始图像生成模型的基础上，基于第二训练图像集进一步训练得到的，也就是，特征图像生成模型是基于第二训练图像集对初始图像生成模型进行微调得到的，若特征图像生成模型和初始图像生成模型的输入数据一致，那么特征图像生成模型和初始图像生成模型输出的图像是具有一定的相似性的。相较于初始图像生成模型输出的图像，特征图像生成模型输出的图像和它的主要区别在于特征图像生成模型输出的图像具有目标属性。例如，初始图像生成模型用于生成人脸图像，特征图像生成模型用于生成具有背头特征的人脸图像，将同一随机变量分别输入特征图像生成模型和初始图像生成模型，特征图像生成模型和初始图像生成模型输出的人脸图像具有相似的五官，特征图像生成模型输出的人脸图像中的发型为背头。
具体地，可以预先训练得到初始图像生成模型和特征图像生成模型，计算机设备在本地或从其他设备上获取初始图像生成模型和特征图像生成模型，基于初始图像生成模型和特征图像生成模型来快速实现针对图像的目标属性编辑。
步骤S204，获取初始图像生成模型中第一网络层输出的图像，得到第一初始对象图像，获取特征图像生成模型中第二网络层输出的图像，得到第一特征对象图像。
其中，图像生成模型包括依次连接的多个网络层，各个网络层可以输出相应的对象图像。可以理解，图像生成模型的结尾网络层输出的图像为所有网络层输出的图像中图像质量最高的图像。初始对象图像为初始图像生成模型经过数据处理得到的对象图像。特征对象图像为特征图像生成模型经过数据处理得到的对象图像。第一初始对象图像是初始图像生成模型中第一网络层输出的图像，第一特征对象图像是特征图像生成模型中第二网络层输出的图像。特征图像生成模型是对初始图像生成模型进行微调得到的，特征图像生成模型和初始图像生成模型包括相同的模型结构，只是模型参数不同，即特征图像生成模型和初始图像生成模型具有相同数量的网络层。第一网络层和第二网络层可以是两个模型中层数一致的网络层，例如，第一网络层为初始图像生成模型中的结尾网络层，第二网络层为特征图像生成模型中的结尾网络层。第一网络层和第二网络层也可以是两个模型中层数不一致的网络层，例如，第一网络层为初始图像生成模型中的第七层，第二网络层为特征图像生成模型中的第十一层。
具体地，计算机设备获取第一随机变量，将第一随机变量分别输入初始图像生成模型和特征图像生成模型，获取初始图像生成模型中第一网络层输出的图像作为第一初始对象图像，获取特征图像生成模型中第二网络层输出的图像作为第一特征对象图像。
步骤S206，基于目标属性所属的属性类型在对象图像中对应的图像区域，获取第一初始对象图像和第一特征对象图像分别对应的属性遮罩图像，基于各个属性遮罩图像得到目标联合遮罩图像。
其中，一个属性类型用于指代一类对象属性。目标属性所属的属性类型在对象图像中存在对应的图像区域。例如，针对人脸图像，若目标属性为背头属性，背头属性所属的属性类型为头发类属性，头发类属性对应的图像区域为图像中的头发区域；针对车辆图像，若目标属性为敞篷属性，敞篷属性所属的属性类型为车顶类属性，车顶类属性对应的图像区域为图像中的车顶区域。
遮罩用于遮挡图像中的一部分，显示图像中的另一部分。属性遮罩图像用于确定某一类对象属性在对象图像中的位置。为了后续实现目标属性编辑，在属性遮罩图像中，目标属性所属的属性类型在对象图像中对应的图像区域为显示部分，对象图像的其他图像区域为遮挡部分。属性遮罩图像包括遮挡区域和非遮挡区域。非遮挡区域是指对象图像中的显示部分，即非遮挡区域是目标属性所属的属性类型在对象图像中对应的图像区域。遮挡区域是指对象图像中的遮挡部分，即遮挡区域是对象图像中除目标属性所属的属性类型对应的图像区域之外的其他图像区域。在一个实施例中，属性遮罩图像为二值图像，遮挡部分用像素值0表示，非遮挡部分用像素值1表示。
目标联合遮罩图像是基于第一初始对象图像和第一特征对象图像分别对应的属性遮罩图像得到的，用于确定某一类对象属性在第一初始对象图像和第一特征对象图像中的联合位置。
具体地，在获取到第一初始对象图像和第一特征对象图像后，计算机设备可以基于目标属性所属的属性类型在对象图像中对应的图像区域，获取第一初始对象图像和第一特征对象图像分别对应的属性遮罩图像。基于目标属性所属的属性类型在第一初始对象图像中对应的图像区域生成第一初始对象图像对应的属性遮罩图像，基于目标属性所属的属性类型在第一特征对象图像中对应的图像区域生成第一特征对象图像对应的属性遮罩图像。然后，计算机设备基于第一初始对象图像和第一特征对象图像对应的属性遮罩图像得到目标联合遮罩图像，例如，对第一初始对象图像和第一特征对象图像对应的属性遮罩图像求交集得到目标联合遮罩图像；对第一初始对象图像和第一特征对象图像对应的属性遮罩图像求并集得到目标联合遮罩图像；等等。
可以理解，计算机设备可以通过机器学习模型获取对象图像对应的属性遮罩图像，也可以通过其他手段获取对象图像对应的属性遮罩图像，本申请不限制获取属性遮罩图像的手段。
步骤S208，获取初始图像生成模型和特征图像生成模型中匹配的目标网络层输出的图像，得到第二初始对象图像和第二特征对象图像。
其中，第二初始对象图像是初始图像生成模型中的网络层输出的图像，第二特征对象图像是特征图像生成模型中的网络层输出的图像，第二初始对象图像和第二特征对象图像是初始图像生成模型和特征图像生成模型中匹配的目标网络层分别输出的图像。初始图像生成模型和特征图像生成模型中匹配的目标网络层可以是初始图像生成模型和特征图像生成模型中层数相同的网络层。图像生成模型包括依次连接的多个网络层，各个网络层可以输出相应的对象图像，目标网络层可以是各个网络层中的任意网络层。
可以理解，在初始图像生成模型中，输出第一初始对象图像的网络层和输出第二初始对象图像的网络层可以是相同的网络层，也可以是不同的网络层。在特征图像生成模型中，输出第一特征对象图像的网络层和输出第二特征对象图像的网络层可以是相同的网络层，也可以是不同的网络层。
具体地，计算机设备将第一随机变量分别输入初始图像生成模型和特征图像生成模型，获取初始图像生成模型和特征图像生成模型中匹配的目标网络层输出的图像，得到第二初始对象图像和第二特征对象图像。
可以理解，获取第二初始对象图像和第二特征对象图像的操作可以和获取第一初始对象图像和第一特征对象图像的操作同步进行，也可以非同步进行。
步骤S210，基于目标联合遮罩图像将第二初始对象图像和第二特征对象图像进行融合，得到参考对象图像；参考对象图像用于表征对第二初始对象图像进行目标属性编辑得到的图像。
其中，目标属性编辑是指对图像进行编辑使得编辑后的图像具有目标属性。
具体地，计算机设备可以基于目标联合遮罩图像将第二初始对象图像和第二特征对象图像进行融合，将目标联合遮罩图像中非遮挡区域在第二特征对象图像中对应的图像区域融合至第二初始对象图像中，从而得到参考对象图像。参考对象图像用于表征对第二初始对象图像进行目标属性编辑得到的图像，即参考对象图像相当于在不改变第二初始对象图像的其他图像区域的情况下将目标属性所属的属性类型对应的图像区域修改为目标属性。例如，针对人脸图像，目标属性可以是背头属性，参考对象图像相当于将第二初始人脸图像中的头发区域修改为背头属性，也就是第二初始人脸图像中人脸的发型为背头；针对车辆图像，目标属性可以是天窗属性，参考对象图像相当于将第二初始车辆图像中的车顶区域修改为天窗属性，也就是第二初始车辆图像中车顶具有天窗。
基于目标联合遮罩图像将第二初始对象图像和第二特征对象图像进行融合来实现目标属性编辑，可以在不改变第二初始对象图像中其他非相干区域的情况下实现对目标属性相干区域的精确编辑。
可以理解，若需要进行其他属性编辑，则需要获取新的目标属性对应的第二训练图像集，基于新的第二训练图像集对初始图像生成模型进行微调得到新的特征图像生成模型，基于初始图像生成模型和新的特征图像生成模型来实现对图像进行针对新的目标属性的编辑。例如，若需要对人脸图像进行络腮胡编辑，则需要获取包含络腮胡的人脸图像作为第二训练图像集，基于该第二训练图像集对初始人脸图像生成模型进行微调得到用于生成包含络腮胡的人脸图像的特征人脸图像生成模型；若需要对人脸图像进行背头编辑，则需要获取包含背头的人脸图像作为第二训练图像集，基于该第二训练图像集对初始人脸图像生成模型进行微调得到用于生成包含背头的人脸图像的特征人脸图像生成模型。
可以理解，若需要同时对至少两个属性进行编辑，可以获取相应的第二训练图像集对初始图像生成模型进行微调得到用于生成同时包含至少两个属性的对象图像的特征图像生成模型。例如，若需要对人脸图像同时进行络腮胡编辑和背头编辑，则可以获取同时包含络腮胡和背头的人脸图像作为第二训练图像集，基于该第二训练图像集对初始人脸图像生成模型进行微调得到用于生成同时包含络腮胡和背头的人脸图像的特征人脸图像生成模型。
上述图像编辑方法中，初始图像生成模型是基于目标类别对象对应的对象图像训练得到的，在接收输入数据后，初始图像生成模型可以输出目标类别对象对应的对象图像。特征图像生成模型是基于目标类别对象对应的、且包含目标属性的对象图像，对初始图像生成模型训练得到的，在接收输入数据后，特征图像生成模型可以输出目标类别对象对应的、且包含目标属性的对象图像。将第一随机变量分别输入初始图像生成模型和特征图像生成模型，初始图像生成模型和特征图像生成模型分别输出的对象图像具有一定的相似性，并且特征图像生成模型输出的对象图像包含目标属性。属性遮罩图像可以反映目标属性所属的属性类型在对象图像中对应的图像区域，目标联合遮罩图像可以反映目标属性所属的属性类型在第一初始对象图像和第一特征对象图像中的联合图像区域。基于目标联合遮罩图像将第二初始对象图像和第二特征对象图像进行融合，可以将第二特征对象图像中目标属性对应的图像区域融合至第二初始对象图像中，从而融合得到的参考对象图像相当于在不改变第二初始对象图像其它属性的情况下使其具有目标属性，即参考对象图像相当于是对第二初始对象图像进行目标属性编辑得到的图像。无需人工精细编辑，基于初始图像生成模型、特征图像生成模型和目标联合遮罩图像可以快速实现对初始图像生成模型输出图像的目标属性编辑，提高了图像编辑效率，并且也可以保障图像编辑准确性。
在一个实施例中，步骤S202之前，图像编辑方法还包括：
基于第一训练图像集，对初始图像生成网络和初始图像判别网络进行对抗学习，得到中间图像生成网络和中间图像判别网络；基于中间图像生成网络得到初始图像生成模型；基于第二训练图像集，对中间图像生成网络和中间图像判别网络进行对抗学习，得到目标图像生成网络和目标图像判别网络；基于目标图像生成网络得到特征图像生成模型。
其中，图像生成网络和图像判别网络也是机器学习模型。图像生成网络的输入数据为随机变量，输出数据为图像。图像判别网络的输入数据为图像，输出数据为用于表示输入图像真假的图像标签。图像生成网络也可以称为图像生成器，图像判别网络也可以称为图像判别器。
初始图像生成网络为待训练的图像生成网络，初始图像判别网络为待训练的图像生成网络。中间图像生成网络为基于第一训练图像集训练得到的图像生成网络，中间图像判别网络为基于第一训练图集训练得到的图像判别网络。目标图像生成网络为基于第二训练图像集微调得到的图像生成网络，目标图像判别网络为基于第二训练图像集微调得到的图像判别网络。
对抗学习是指通过让不同网络以相互博弈的方式进行学习，从而训练得到期望的网络。将初始图像生成网络和初始图像判别网络进行对抗学习，初始图像生成网络的目标是根据随机变量生成能够以假乱真的图像。初始图像判别网络的目标是将初始图像生成网络输出的伪造图像从真实图像中尽可能分辨出来。初始图像生成网络和初始图像判别网络相互对抗学习、不断调整参数，最终目的是让图像生成网络要尽可能地蒙蔽过图像判别网络，使图像判别网络无法判断图像生成网络的输出图像是否真实。
具体地，图像生成模型可以是生成对抗网络，通过对抗学习的方式训练得到。在模型训练阶段，计算机设备可以基于第一训练图像集，对初始图像生成网络和初始图像判别网络进行对抗学习，生成器尽力使输出的图片骗过判别器的判断，而判别器则尽力区分由生成器输出的伪造图片和真实图片，以此互相对抗，从而训练得到中间图像生成网络和中间图像判别网络。在模型应用阶段时，计算机设备可以基于中间图像生成网络得到初始图像生成模型。可以理解，判别器是为了帮助模型训练，模型应用时主要应用的还是生成器。
进一步的，为了快速训练得到特征图像生成模型，计算机设备可以基于第二训练图像集，对中间图像生成网络和中间图像判别网络进行对抗学习，生成器尽力使输出的图片骗过判别器的判断，而判别器则尽力区分生成器输出的伪造图片和真实图片，以此互相对抗，从而得到目标图像生成网络和目标图像判别网络，基于目标图像生成网络得到特征图像生成模型。由于第二训练图像集中的对象图像包含目标属性，基于第二训练图像集训练得到的中间图像生成网络可以生成包含目标属性的对象图像。由于中间图像生成网络和中间图像判别网络已经经过一定的模型训练，具有相对较好的模型参数，在基于第二训练图像集对中间图像生成网络和中间图像判别网络进行对抗学习时，对中间图像生成网络和中间图像判别网络进行微调即可快速得到目标图像生成网络和目标图像判别网络，从而快速得到特征图像生成模型。
可以理解，对图像生成网络和图像判别网络进行对抗学习的训练方式可以是先固定初始图像生成网络，基于初始图像生成网络输出的虚假图像和真实图像对初始图像判别网络进行训练，得到更新图像判别网络，使得更新图像判别网络具有一定的图像判别能力，再固定更新图像判别网络，基于更新图像判别网络针对初始图像生成网络输出图像的预测判别结果和真实判别结果对初始图像生成网络进行训练，得到更新图像生成网络，使得更新图像生成网络具有一定的图像生成能力，将更新图像生成网络和更新图像判别网络作为初始图像生成网络和初始图像判别网络来进行前述迭代训练，如此循环往复，直到满足收敛条件，得到中间图像生成网络和中间图像判别网络。可以理解，对图像生成网络和图像判别网络进行对抗学习的训练方式可以是各种常用的对抗学习训练方式，本申请对此不作限制。
上述实施例中，基于第一训练图像集，对初始图像生成网络和初始图像判别网络进行对抗学习，得到中间图像生成网络和中间图像判别网络；基于中间图像生成网络得到初始图像生成模型；基于第二训练图像集，对中间图像生成网络和中间图像判别网络进行对抗学习，得到目标图像生成网络和目标图像判别网络；基于目标图像生成网络得到特征图像生成模型。这样，通过对抗学习可以快速训练得到可生成以假乱真的图像的图像生成网络，从而快速得到初始图像生成模型，基于特定的训练图像集通过进一步的对抗学习可以快速训练得到可生成包含特定属性的图像的图像生成网络，从而快速得到特征图像生成模型。
在一个实施例中，步骤S202之前，图像编辑方法还包括：获取第一候选图像集；第一候选图像集中的各个第一候选图像为目标类别对象对应的对象图像；基于目标类别对象的参考对象部位在第一候选图像中的位置，对各个第一候选图像进行图像对齐；基于图像对齐后的各个第一候选图像，得到第一训练图像集。
图像编辑方法还包括：获取第二候选图像集；第二候选图像集中的各个第二候选图像为目标类别对象对应的对象图像，第二候选图像为包含目标属性的对象图像；基于目标类别对象的参考对象部位在第二候选图像中的位置，对各个第二候选图像进行图像对齐；基于图像对齐后的各个第二候选图像，得到第二训练图像集。
其中，第一候选图像集用于生成第一训练图像集，第一候选图像集包括多个第一候选图像，第一候选图像为目标类别对象对应的对象图像。第二候选图像集用于生成第二训练图像集，第二候选图像集包括多个第二候选图像，第二候选图像为目标类别对象对应的、且包含目标属性的对象图像。
图像对齐用于将对象图像中对象主体部分进行位置对齐。在图像对齐后的对象图像中，对象主体部分位于图像中的相同位置。经过图像对齐得到的训练集有助于提高模型的训练速度。例如，图像对齐用于将人脸图像中的人脸五官进行位置对齐；图像对齐用于将车辆图像中的车身进行位置对齐。
目标类别对象的参考对象部位是预先设置的对象部位，是在图像对齐时需要对齐位置的对象部分。
具体地，训练图像集中的对象图像可以是目标类别对象对应的原始图像，然而为了进一步降低训练难度、提高训练速度，训练图像集中的对象图像可以是经过图像对齐得到的图像。
针对第一训练图像集，可以获取由目标类别对象对应的原始对象图像组成的第一候选图像集，基于目标类别对象的参考对象部位在第一候选图像中的位置，对第一候选图像集中各个第一候选图像进行图像对齐，将经过图像对齐的各个第一候选图像组成第一训练图像集。
针对第二训练图像集，可以获取由目标类别对象对应的、且包含目标属性的原始对象图像组成的第二候选图像集，基于目标类别对象的参考对象部位在第一候选图像中的位置，对第二候选图像集中各个第二候选图像进行图像对齐，将经过图像对齐的各个第二候选图像组成第二训练图像集。
在图像对齐时，可以将参考对象部位对应的预设位置作为参考位置，以参考位置作为基准，基于参考位置对各个候选图像中参考对象部位的位置进行调整，将各个候选图像中参考对象部位的位置向参考位置对齐，将各个候选图像中参考对象部位的位置固定在参考位置上，从而完成图像对齐。预设位置是指预先设置的位置。也可以从各个候选图像中获取任意的候选图像作为参考图像，将其他候选图像向参考图像对齐，将参考图像中参考对象部位对应的位置作为参考位置，以参考位置为基准，将其他候选图像中参考对象部位的位置固定在参考位置上，从而完成图像对齐。
以人脸图像为例，可以将一批人脸图像组成第一候选图像集，利用人脸图像中的眼睛位置或五官位置对齐每一张人脸图像，利用对齐后的人脸图像组成第一训练图像集。可以将一批具有背头属性的人脸图像组成第二候选图像集，利用人脸图像中的眼睛位置或五官位置对齐每一张人脸图像，利用对齐后的人脸图像组成第二训练图像集。可以利用仿射变换算法变形人脸，使得人脸的五官固定到某个特定位置。
上述实施例中，第一训练图像集和第二训练图像集是经过图像对齐得到的，能够有效降低模型的训练难度、提高训练效率。
在一个实施例中，第一初始对象图像和第一特征对象图像为不同尺寸的图像，第一初始对象图像和第一特征对象图像分别对应的属性遮罩图像为不同尺寸的图像。基于各个属性遮罩图像得到目标联合遮罩图像，包括：
将第一初始对象图像对应的属性遮罩图像作为第一遮罩图像，将第一特征对象图像对应的属性遮罩图像作为第二遮罩图像；将第一遮罩图像和第二遮罩图像进行尺寸对齐，基于尺寸对齐后的第一遮罩图像和第二遮罩图像得到目标联合遮罩图像。
其中，第一初始对象图像和第一特征对象图像可以对应不同的尺寸。例如，将第一随机变量输入初始图像生成模型和特征图像生成模型，第一初始对象图像是初始图像生成模型中第六层输出的图像，第一特征对象图像是特征图像生成模型中第八层输出的图像。第一遮罩图像为第一初始对象图像对应的属性遮罩图像，第二遮罩图像为第一特征对象图像对应的属性遮罩图像。若第一初始对象图像和第一特征对象图像是不同尺寸的对象图像，那么第一遮罩图像和第二遮罩图像也是不同尺寸的属性遮罩图像。
尺寸对齐用于将不同图像的尺寸统一为相同尺寸，以便进行数据处理。对两个图像进行尺寸对齐，可以是将其中一个图像进行放大或缩小使其尺寸与另一个图像的尺寸一致。
具体地，若第一遮罩图像和第二遮罩图像是不同尺寸的属性遮罩图像。那么在生成目标联合遮罩图像时，可以将第一遮罩图像和第二遮罩图像先转换为相同尺寸的属性遮罩图像再进行融合，从而得到最终的目标联合遮罩图像。例如，可以对第一遮罩图像进行尺寸变换，得到与第二遮罩图像对应相同尺寸的变换遮罩图像，融合变换遮罩图像和第二遮罩图像得到目标联合遮罩图像。
可以理解，若第一初始对象图像和第一特征对象图像为相同尺寸的对象图像，则可以直接融合第一初始对象图像和第一特征对象图像分别对应的属性遮罩图像得到目标联合遮罩图像，无需进行尺寸变换。
上述实施例中，在第一初始对象图像对应的第一遮罩图像和第一特征对象图像对应的第二遮罩图像为不同尺寸的图像时，先将第一初始对象图像对应的第一遮罩图像和第一特征对象图像对应的第二遮罩图像进行尺寸对齐，再基于尺寸对齐后的第一遮罩图像和第二遮罩图像得到目标联合遮罩图像，从而可以快速得到准确的目标联合遮罩图像。
在一个实施例中，基于目标联合遮罩图像将第二初始对象图像和第二特征对象图像进行融合，得到参考对象图像，包括：
从第二初始对象图像中，获取与目标联合遮罩图像中遮挡区域匹配的图像区域作为第一图像区域；将第二初始对象图像和第二特征对象图像进行融合，得到融合对象图像；从融合对象图像中，获取与目标联合遮罩图像中非遮挡区域匹配的图像区域作为第二图像区域；基于第一图像区域和第二图像区域，得到参考对象图像。
具体地，在基于目标联合遮罩图像融合第二初始对象图像和第二特征对象图像时，可以将第二初始对象图像中与目标联合遮罩图像中遮挡区域匹配的图像区域作为第一图像区域，第一图像区域用于保留第二初始对象图像中与目标属性非相干区域的图像信息。将第二初始对象图像和第二特征对象图像进行融合，从融合得到的融合对象图像中获取与目标联合遮罩图像中非遮挡区域匹配的图像区域作为第二图像区域，第二图像区域为对象图像中与目标属性相干区域，并且在一定程度上相当于具有目标属性。最终，结合第一图像区域和第二图像区域得到参考对象图像。从融合对象图像中确定的第二图像区域不仅具有目标属性，而且与第一图像区域结合后可以得到图像区域之间衔接更自然的参考对象图像。
上述实施例中，从第二初始对象图像中，获取与目标联合遮罩图像中遮挡区域匹配的图像区域作为第一图像区域，第一图像区域用于保障在目标属性编辑时保持第二初始对象图像中与目标属性非相干区域的图像信息不变。将第二初始对象图像和第二特征对象图像进行融合，得到融合对象图像，从融合对象图像中，获取与目标联合遮罩图像中非遮挡区域匹配的图像区域作为第二图像区域，第二图像区域用于保障在目标属性编辑时将第二初始对象图像中与目标属性相干区域的图像信息具有目标属性。最终基于第一图像区域和第二图像区域得到的参考对象图像可以呈现精确的目标属性编辑效果。
在一个实施例中，从第二初始对象图像中，获取与目标联合遮罩图像中遮挡区域匹配的图像区域作为第一图像区域，包括：对目标联合遮罩图像进行尺寸变换，得到与第二初始对象图像对应相同尺寸的变换联合遮罩图像；对变换联合遮罩图像进行反遮罩处理，得到反联合遮罩图像；将第二初始对象图像和反联合遮罩图像进行融合，得到第一图像区域。
从融合对象图像中，获取与目标联合遮罩图像中非遮挡区域匹配的图像区域作为第二图像区域，包括：将融合对象图像和变换联合遮罩图像进行融合，得到第二图像区域。
其中，反遮罩处理用于将遮罩图像中原有的遮挡区域转换为非遮挡区域，将遮罩图像中原有的非遮挡区域转换为遮挡区域。例如，第一遮罩图像中遮挡部分用像素值0表示，非遮挡部分用像素值1表示，对第一遮罩图像进行反遮罩处理后，第一遮罩图像中原来的遮挡部分用像素值1表示，原来的非遮挡部分用像素值0表示。
具体地，为了便于后续数据处理，可以先对目标联合遮罩图像进行尺寸变换，得到与第二初始对象图像对应相同尺寸的变换联合遮罩图像。在从第二初始对象图像中获取第一图像区域时，先对变换联合遮罩图像进行反遮罩处理得到反联合遮罩图像，然后融合第二初始对象图像和反联合遮罩图像得到第一图像区域。例如，将第二初始对象图像和反联合遮罩图像中位置一致的像素点的像素值相乘，得到第一图像区域。可以理解，此时的第一图像区域相当于是和第二初始对象图像尺寸一致的图像，第一图像区域中与目标属性非相干区域为非遮挡部分，与目标属性相干区域为遮挡部分。例如，以背头属性为例，第一图像区域相当于是将第二初始对象图像中头发部分遮挡，非头发部分显示的图像。
在从融合对象图像中获取第二图像区域时，将第一融合图像和变换联合遮罩图像进行融合就可以得到第二图像区域。可以理解，此时的第二图像区域相当于是和第二初始对象图像尺寸一致的图像，第二图像区域中与目标属性相干区域为非遮挡部分，与目标属性非相干区域为遮挡部分。例如，以背头属性为例，第二图像区域相当于是将融合对象图像中头发部分显示，非头发部分遮挡的图像。
在基于第一图像区域和第二图像区域得到参考对象图像时，将第一图像区域和第二图像区域进行相加融合即可得到参考对象图像。
上述实施例中，对目标联合遮罩图像进行尺寸变换，得到与第二初始对象图像对应相同尺寸的变换联合遮罩图像，对尺寸相同的图像进行数据处理可以降低数据处理难度、提高数据处理效率。对变换联合遮罩图像进行反遮罩处理，得到反联合遮罩图像，反遮罩处理可以明确在目标属性编辑时第二初始对象图像中需要保持不变的区域。融合第二初始对象图像和反联合遮罩图像可以快速得到第一图像区域。
在一个实施例中，如图3所示，图像编辑方法还包括：
步骤S302，将参考对象图像替换第二初始对象图像输入初始图像生成模型中目标网络层的后向网络层，获取结尾网络层输出的图像作为目标对象图像；其中，目标对象图像用于表征对原始对象图像进行目标属性编辑得到的图像，原始对象图像是将第一随机变量输入初始图像生成模型，结尾网络层直接输出的图像。
其中，后向网络层是指连接在目标网络层之后的网络层。结尾网络层是指模型中最后的网络层。
原始对象图像是指将第一随机变量输入初始图像生成模型，初始图像生成模型的结尾网络层直接输出的图像。也就是，将第一随机变量输入初始图像生成模型后，不干涉模型，将初始图像生成模型的结尾网络层输出的图像作为原始对象图像。与原始对象图像不同，目标对象图像是将第一随机变量输入初始图像生成模型后，对模型进行干涉，获取初始图像生成模型中目标网络层输出的第二初始对象图像进行处理得到参考对象图像，将参考对象图像替换第二初始对象图像输入初始图像生成模型中目标网络层的后向网络层，将初始图像生成模型的结尾网络层输出的图像作为目标对象图像。目标对象图像用于表征对原始对象图像进行目标属性编辑得到的图像。
具体地，为了提高目标属性编辑的质量，计算机设备得到参考对象图像后，可以将参考对象图像替换第二初始对象图像输入初始图像生成模型中目标网络层的后向网络层，在模型中继续进行前向计算，最终将初始图像生成模型的结尾网络层输出的图像作为目标对象图像。可以理解，在模型中通过后向网络层的数据处理，可以增加图像中的细节信息以及平滑图像中不和谐的地方，最终结尾网络层可以输出质量更高的图像。
上述实施例中，将参考对象图像替换第二初始对象图像输入初始图像生成模型中目标网络层的后向网络层进行前向计算，初始图像生成模型的结尾网络层可以输出图像质量更高的目标对象图像。目标对象图像可以表示对原始对象图像进行目标属性编辑得到的高质量图像，原始对象图像是将第一随机变量输入初始图像生成模型，初始图像生成模型的结尾网络层直接输出的图像。
在一个实施例中，如图4所示，将参考对象图像替换第二初始对象图像输入初始图像生成模型中目标网络层的后向网络层，获取结尾网络层输出的图像作为目标对象图像，包括：
步骤S402，将参考对象图像替换第二初始对象图像输入初始图像生成模型中目标网络层的后向网络层，获取后向网络层中第三网络层输出的图像作为第三初始对象图像。
步骤S404，获取特征图像生成模型中与第三网络层匹配的第四网络层输出的图像作为第三特征对象图像。
其中，第三网络层是初始图像生成模型中目标网络层的后向网络层中的任意一个网络层。与第三网络层匹配的第四网络层是特征图像生成模型中目标网络层的后向网络层中与第三网络层匹配的网络层。第三网络层和第四网络层可以是两个模型中层数相同的网络层。
例如，初始图像生成模型和特征图像生成模型中匹配的目标网络层为两个模型中的第十一层，第三网络层可以是初始图像生成模型中的第十三层，与第三网络层匹配的第四网络层可以是特征图像生成模型中的第十三层。
可以理解，第三网络层和第一网络层无绝对的前后关系，第三网络层可以是第一网络层的前向网络层，也可以是第一网络层的后向网络层。第四网络层和第二网络层无绝对的前后关系，可以是第二网络层的前向网络层，也可以是第二网络层的后向网络层。
步骤S406，基于当前联合遮罩图像将第三初始对象图像和第三特征对象图像进行融合，得到更新对象图像；当前联合遮罩图像为目标联合遮罩图像或更新联合遮罩图像，更新联合遮罩图像是基于初始图像生成模型中第五网络层输出的图像和特征图像生成模型中第六网络层输出的图像得到的。
步骤S408，将更新对象图像替换第三初始对象图像输入初始图像生成模型中第三网络层的后向网络层，获取结尾网络层输出的图像作为目标对象图像。
其中，更新联合遮罩图像是指与目标联合遮罩图像不同的联合遮罩图像，是新的联合遮罩图像。更新联合遮罩图像的生成方式与目标联合遮罩图像的生成方式类似。将第一随机变量输入初始图像生成模型和特征图像生成模型，获取初始图像生成模型中第五网络层输出的图像作为第三初始对象图像，获取特征图像生成模型中第六网络层输出的图像作为第三特征对象图像，基于目标属性所属的属性类型在对象图像中对应的图像区域，获取第三初始对象图像和第三特征对象图像分别对应的属性遮罩图像，基于获取到的属性遮罩图像得到更新联合遮罩图像。
可以理解，第五网络层和第一网络层可以是相同的网络层，也可以是不同的网络层。第六网络层和第二网络层可以是相同的网络层，也可以是不同的网络层。第五网络层和第六网络层可以是相同的网络层，也可以不同的网络层。
具体地，在从将参考对象图像替换第二初始对象图像输入初始图像生成模型中目标网络层的后向网络层之后至初始图像生成模型输出目标对象图像之前的过程中，可以参考得到参考对象图像的方式，基于同一或不同联合遮罩图像再次进行融合操作，以提高初始图像生成模型最终输出的目标对象图像的质量，提高目标属性编辑的质量。
在经过第一次融合得到参考对象图像后，计算机设备将参考对象图像替换第二初始对象图像输入初始图像生成模型中目标网络层的后向网络层，以继续进行模型的前向计算，可以获取后向网络层中第三网络层输出的图像作为第三初始对象图像。相应的，从特征图像生成模型中，获取与第三网络层匹配的网络层输出的图像作为第三特征对象图像。计算机设备可以基于同一联合遮罩图像或新的联合遮罩图像将第三初始对象图像和第三特征对象图像进行融合得到更新对象图像，将更新对象图像替换第三初始对象图像输入初始图像生成模型中第三网络层的后向网络层，获取结尾网络层输出的图像作为目标对象图像。
在每次融合时，可以基于同一联合遮罩图像，例如，都基于目标联合遮罩图像进行融合，也可以基于不同的联合遮罩图像，例如，第一次融合基于目标联合遮罩图像，第二次融合基于更新联合遮罩图像。
可以理解，在初始图像生成模型输出目标对象图像之前，可以进行至少一次的融合操作，目标对象图像的质量随着融合次数的增加而提升。
在一个实施例中，若目标属性对应的属性编辑复杂度大于或等于预设复杂度，则进行第一预设数目的融合操作，若目标属性对应的属性编辑复杂度小于预设复杂度，则进行第二预设数目的融合操作，第一预设数目大于第二预设数目。这样，在目标属性比较难编辑时，进行较多次的融合操作以保障目标属性编辑质量，在目标属性比较容易编辑时，进行较少次的融合操作以保障目标属性编辑效率。属性编辑复杂度用于表征属性编辑的复杂程度、精细程度。可以是根据目标属性包含的属性数量、目标属性对应的图像区域尺寸等数据中的至少一者确定的，例如，同时编辑三个属性需要比只编辑一个属性进行更多次融合操作，由于头发区域所占面积比络腮胡大，编辑头发属性需要比编辑络腮胡进行更多次融合操作。
上述实施例中，将参考对象图像替换第二初始对象图像输入初始图像生成模型中目标网络层的后向网络层进行前向计算的过程中，可以再次进行基于联合遮罩图像将初始对象图像和特征对象图像进行融合的操作，以进一步提高初始图像生成模型的结尾网络层最终输出的目标对象图像的图像质量，提高目标属性编辑的精细度。
在一个实施例中，如图5所示，图像编辑方法还包括：
步骤S502，将原始对象图像和目标对象图像作为训练图像对。
步骤S504，基于训练图像对，对初始图像属性编辑模型进行模型训练，得到目标图像属性编辑模型；目标图像属性编辑模型用于对模型的输入图像进行目标属性编辑。
其中，图像属性编辑模型的输入数据为图像，输出数据为经过属性编辑的图像。例如，图像属性编辑模型为背头发型编辑模型，发型编辑模型用于将输入图像中的发型编辑为背头发型。初始图像属性编辑模型为待训练的图像属性编辑模型，目标图像属性编辑模型为训练完成的图像属性编辑模型。
具体地，通过本申请的图像编辑方法可以生成大量成对的对象图像，成对的对象图像用于作为图像属性编辑模型的训练数据。计算机设备可以将原始对象图像和目标对象图像作为训练图像对，训练图像对用于作为图像属性编辑模型的训练数据，基于训练图像对对初始图像属性编辑模型进行模型训练，可以训练得到用于对模型的输入图像进行目标属性编辑的目标图像属性编辑模型。
在模型训练时，训练图像对中的原始对象图像用于作为初始图像属性编辑模型的输入数据，训练图像对中的目标对象图像用于作为初始图像属性编辑模型的期望输出数据，通过有监督训练，使得将原始对象图像输入模型，模型可以输出与目标对象图像非常接近的图像，也就是使得模型具备对输入图像进行目标属性编辑的能力，从而得到目标图像属性编辑模型。
可以理解，通过不同的随机变量，可以得到不同的训练图像对，一个随机变量对应一个训练图像对，将各个训练图像对组成训练图像对集合，基于训练图像对集合对初始图像属性编辑模型进行模型训练得到目标图像属性编辑模型。
在一个实施例中，图像属性编辑模型也可以是生成对抗网络。
上述实施例中，原始对象图像和目标对象图像能够作为训练图像对来训练得到目标图像属性编辑模型，目标图像属性编辑模型用于对模型的输入图像进行目标属性编辑。
在一个实施例中，初始图像生成模型和特征图像生成模型中依次连接的网络层用于输出尺寸依次递增的图像，在初始图像生成模型和特征图像生成模型中，排序一致的网络层输出的图像对应相同的尺寸。
其中，初始图像生成模型包括依次连接的网络层，依次连接的网络层用于输出尺寸依次递增的图像。在初始图像生成模型中，当前网络层的输出图像用于作为下一网络层的输入数据，下一网络层可以对当前网络层的输出图像进行进一步的数据处理来提高图像质量，输出尺寸更大的图像。可以理解，初始图像生成模型的结尾网络层输出的图像的尺寸最大、分辨率最大、图像细节最丰富和和谐、图像质量最高。同理，特征图像生成模型也包括依次连接的网络层，依次连接的网络层用于输出尺寸依次递增的图像。初始图像生成模型和特征图像生成模型包括相同数量的网络层。在初始图像生成模型和特征图像生成模型中，排序一致的网络层输出的图像对应相同的尺寸。
上述实施例中，初始图像生成模型和特征图像生成模型中依次连接的网络层用于输出尺寸依次递增的图像，初始图像生成模型和特征图像生成模型最终可以输出高分辨率的高质量图像。在初始图像生成模型和特征图像生成模型中，排序一致的网络层输出的图像对应相同的尺寸，在基于联合遮罩图像对初始图像生成模型和特征图像生成模型中排序一致的网络层输出的图像进行融合时，可以实现准确的目标属性编辑，保障编辑效果。
在一个实施例中，目标类别对象为人脸，初始图像生成模型为初始人脸图像生成模型，特征图像生成模型为特征人脸图像生成模型，目标属性为目标局部人脸属性。
其中，若目标类别对象为人脸，则第一训练图像集中的图像为人脸图像，第二训练图像集中的图像为具备目标属性的人脸图像。基于第一训练图像集训练得到的初始图像生成模型为初始人脸图像生成模型，初始人脸图像生成模型用于生成人脸图像。将随机变量输入初始人脸图像生成模型，初始人脸图像生成模型就可以输出能够以假乱真的人脸图像。基于第二训练图像集对初始人脸图像生成模型进行训练得到的特征图像生成模型为特征人脸图像生成模型，特征人脸图像生成模型用于生成具有目标属性的人脸图像。将随机变量输入特征人脸图像生成模型，特征人脸图像生成模型就可以输出具有目标属性的人脸图像。
若目标类别对象为人脸，则目标属性为目标局部人脸属性。目标局部人脸属性是从大量的局部人脸属性中确定的局部人脸属性。局部人脸属性用于描述人脸的局部信息，例如，局部人脸属性可以是各种头发属性，局部人脸属性可以是各种人脸表情，局部人脸属性可以是各种胡子属性。目标局部人脸属性是局部人脸属性中的一个或两个或多个。
具体地，本申请的图像编辑方法具体可以应用在人脸图像中。获取第一随机变量，将第一随机变量分别输入初始人脸图像生成模型和特征人脸图像生成模型，获取初始人脸图像生成模型中第一网络层输出的图像，得到第一初始人脸图像，获取特征人脸图像生成模型中第二网络层输出的图像，得到第一特征人脸图像，基于目标属性所属的属性类型在人脸图像中对应的图像区域，获取第一初始人脸图像和第一特征人脸图像分别对应的属性遮罩图像，基于各个属性遮罩图像得到目标联合遮罩图像，获取初始人脸图像生成模型和特征人脸图像生成模型中匹配的目标网络层输出的图像，得到第二初始人脸图像和第二特征人脸图像，基于目标联合遮罩图像将第二初始人脸图像和第二特征人脸图像进行融合，得到参考人脸图像，参考人脸图像用于表征对第二初始人脸图像进行目标属性编辑得到的图像。
进一步的，将参考人脸图像替换第二初始人脸图像输入初始人脸图像生成模型中目标网络层的后向网络层，获取结尾网络层输出的图像作为目标人脸图像。原始人脸图像是将第一随机变量输入初始人脸图像生成模型，模型的结尾网络层直接输出的图像。将原始人脸图像和目标人脸图像作为训练人脸图像对，基于训练人脸图像对，对初始人脸图像属性编辑模型进行模型训练，得到目标人脸图像属性编辑模型，目标人脸图像属性编辑模型用于对模型的输入人脸图像进行目标属性编辑。
上述实施例中，目标类别对象为人脸，初始图像生成模型为初始人脸图像生成模型，特征图像生成模型为特征人脸图像生成模型，目标属性为目标局部人脸属性，本申请的图像编辑方法可以实现针对初始图像生成模型输出的初始人脸图像的目标属性编辑。
在一个具体的实施例中，本申请的图像编辑方法可以应用于人脸图片局部属性编辑。人脸图片局部属性具体是指针对性地改变一张人脸图片的某个局部属性，同时维持其它属性不发生任何变化。例如，改变人物的发型为背头，但五官不发生任何改变。本申请的图像编辑方法是一种简单高效的方法，可以完成对人脸局部属性的非二分的精确编辑。主要收集一批具有相同目标属性的人脸图片数据，即可实现对该目标属性的人脸语义区域进行对应的属性编辑。
参考图6，本申请的图像编辑方法包括以下步骤：
1、训练得到原始网络
收集一批不需要任何标注的高清人脸图片作为人脸训练数据，然后利用眼睛的位置对齐每一张人脸图片中人脸的位置，利用对齐好的人脸图片训练一个生成对抗网络，该网络记为原始网络（即初始图像生成模型）。
2、对原始网络进行微调得到特征网络
收集一批少量除拥有统一特征（即目标属性）外没有其他任何标注的高清人脸图片作为人脸训练数据，例如都是背头，然后利用眼睛的位置对齐每一张人脸图片中人脸的位置，利用对齐好的人脸图片对原始网络微调训练，获得一个新的生成对抗网络，记为特征网络（即特征图像生成模型）。
在一个实施例中，生成对抗网络包括噪声转换网络和图片合成网络，噪声转换网络的输入数据为噪声，输出数据为中间隐编码，图片合成网络的输入数据为中间隐编码，输出数据为图片。从高斯噪声中采样得到的噪声向量z首先被噪声转换网络转换为中间隐编码w，继而中间隐编码w被图片合成网络中的每层中的仿射变换层转换为每一层使用的调制参数，网络最终可以输出一张高清的人脸图片。可以认为不同的中间隐编码w对应了不同的高清人脸图片。在一个实施例中，生成对抗网络可以是StyleGAN2。在训练得到原始网络的过程中，噪声转换网络需要调整，在微调原始网络得到特征网络的过程中，噪声转换网络可以不需要调整。
3、获取联合遮罩
对原始网络和特征网络进行同步推理获得人脸图片，使用遮罩模型或者其他自定义的方式获取对应特定特征区域（即与目标属性相干区域）的遮罩，进而生成联合遮罩图像。
例如，可以对原始网络和特征网络输入同一个噪声向量z（输入噪声转换网络）或输入同一中间隐编码w（输入图片合成网络），即可分别获取初始人像图片和特征人像图片，例如，将原始网络和特征网络的结尾网络层输出的图像作为初始人像图片和特征人像图片。由于特征网络是由原始网络微调得来，这两张图片的人脸朝向等信息大致一致。使用遮罩模型或者其他自定义的手段分别获取初始人像图片和特征人像图片的目标特征区域的遮罩，例如若目标属性为背头，则遮罩具体可以是头发遮罩，最终基于这两个遮罩得到联合遮罩，记为mask。
4、基于联合遮罩完成属性编辑
对原始网络和特征网络进行同步推理，推理过程中将特征网络目标层联合遮罩对应区域的特征融合进原始网络中，然后原始网络继续进行推理，最终原始网络推理完成，获得最终人像图片。
例如，可以对原始网络和特征网络输入同一个噪声向量z（输入噪声转换网络）或输入同一中间隐编码w（输入图片合成网络），在这过程中，对于特定层的联合遮罩指定区域的特征按照系数进行融合。例如，生成对抗网络为金字塔型结构，参考图7，网络从较小分辨率一层一层地慢慢生成更大尺寸的图片。生成对抗网络第11层的输出特征尺寸为64x64。原始网络第11层的输出将记为
Figure 563148DEST_PATH_IMAGE002
，特征网络第11层的输出将记为
Figure 36855DEST_PATH_IMAGE004
，将mask的分辨率使用双线性插值等尺寸调整算法调整为64x64，记为
Figure 756680DEST_PATH_IMAGE006
。设定一个融合系数a，融合之后的特征图计算公式如下：
Figure 974035DEST_PATH_IMAGE008
其中，a的取值范围在0~1之间。在一个实施例中，1-a大于a，这样可以将目标属性的信息更多地融合到图像中，以进一步保障
Figure 712184DEST_PATH_IMAGE010
具有与目标属性更接近或一致的属性，
Figure 356792DEST_PATH_IMAGE012
具有与目标属性更接近或一致的属性。在一个实施例中，a的取值范围在0~0.3之间。
将融合后的特征
Figure 563913DEST_PATH_IMAGE012
代替
Figure 319380DEST_PATH_IMAGE002
进行原始网络的进一步前向。最终可获得完成属性编辑的高清图片，将原始网络的结尾网络层输出的图像作为最终完成属性编辑的高清图片，即最终人像图片。例如，原始网络的结尾网络层可输出分辨率1024 x1024的图像，本申请最终实现可控编辑生成1024*1024像素级别的高清人脸图片。
可以理解，对于特定层的遮罩指定区域的特征按照系数进行融合的操作可以执行至少一次。例如，基于同一或不同的联合遮罩在第11层、第12层均进行融合。图7中的702表示
Figure 646456DEST_PATH_IMAGE014
。
参考图8，图8为初始人像图片、特征人像图片和最终人像图片的示意图。图8中同一列中的人像图片是基于不同的中间隐编码得到的，图8中同一行中的人像图片是基于同一中间隐编码得到的。
可以理解，本方法可以实现多种局部区域的多种局部属性编辑。对于不同人脸属性，只需要重复第二、三、四步，即可完成不同特定的人脸属性编辑。参考图9，图9包括背头编辑、络腮胡编辑和利落短发编辑的示意图。
目前收集成对的真实人脸图片比较困难，但是通过本申请的图像编辑方法可以生成大量成对的人脸属性编辑训练样本，用于支持其它生成对抗网络训练的数据。例如，初始人像图片和最终人像图片组成一对人脸属性编辑训练样本。用大量成对的人脸属性编辑训练样本可以训练人脸属性编辑网络，人脸属性编辑网络可用于前端的各种人脸属性编辑任务，例如，应用于应用程序中的表情编辑功能，发型编辑功能等。
当然，本申请的图像编辑方法还可以应用于其他图片局部属性编辑中，例如，应用于其他动物图像局部属性编辑中、应用于物体图像局部属性编辑中等。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像编辑方法的图像编辑装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像编辑装置实施例中的具体限定可以参见上文中对于图像编辑方法的限定，在此不再赘述。
在一个实施例中，如图10所示，提供了一种图像编辑装置，包括：随机变量获取模块1002、第一图像获取模块1004、遮罩图像获取模块1006、第二图像获取模块1008和图像融合模块1010，其中：
随机变量获取模块1002，用于获取第一随机变量，将第一随机变量分别输入初始图像生成模型和特征图像生成模型；初始图像生成模型是基于第一训练图像集训练得到的，特征图像生成模型是基于第二训练图像集对初始图像生成模型进行训练得到的；第一训练图像集和第二训练图像集包括目标类别对象对应的对象图像，第二训练图像集中的对象图像为包含目标属性的对象图像，特征图像生成模型输出的图像具有目标属性。
第一图像获取模块1004，用于获取初始图像生成模型中第一网络层输出的图像，得到第一初始对象图像，获取特征图像生成模型中第二网络层输出的图像，得到第一特征对象图像。
遮罩图像获取模块1006，用于基于目标属性所属的属性类型在对象图像中对应的图像区域，获取第一初始对象图像和第一特征对象图像分别对应的属性遮罩图像，基于各个属性遮罩图像得到目标联合遮罩图像。
第二图像获取模块1008，用于获取初始图像生成模型和特征图像生成模型中匹配的目标网络层输出的图像，得到第二初始对象图像和第二特征对象图像。
图像融合模块1010，用于基于目标联合遮罩图像将第二初始对象图像和第二特征对象图像进行融合，得到参考对象图像；参考对象图像用于表征对第二初始对象图像进行目标属性编辑得到的图像。
上述图像编辑装置，初始图像生成模型是基于目标类别对象对应的对象图像训练得到的，在接收输入数据后，初始图像生成模型可以输出目标类别对象对应的对象图像。特征图像生成模型是基于目标类别对象对应的、且包含目标属性的对象图像，对初始图像生成模型训练得到的，在接收输入数据后，特征图像生成模型可以输出目标类别对象对应的、且包含目标属性的对象图像。将第一随机变量分别输入初始图像生成模型和特征图像生成模型，初始图像生成模型和特征图像生成模型分别输出的对象图像具有一定的相似性，并且特征图像生成模型输出的对象图像包含目标属性。属性遮罩图像可以反映目标属性所属的属性类型在对象图像中对应的图像区域，目标联合遮罩图像可以反映目标属性所属的属性类型在第一初始对象图像和第一特征对象图像中的联合图像区域。基于目标联合遮罩图像将第二初始对象图像和第二特征对象图像进行融合，可以将第二特征对象图像中目标属性对应的图像区域融合至第二初始对象图像中，从而融合得到的参考对象图像相当于在不改变第二初始对象图像其它属性的情况下使其具有目标属性，即参考对象图像相当于是对第二初始对象图像进行目标属性编辑得到的图像。无需人工精细编辑，基于初始图像生成模型、特征图像生成模型和目标联合遮罩图像可以快速实现对初始图像生成模型输出图像的目标属性编辑，提高了图像编辑效率，并且也可以保障图像编辑准确性。
在一个实施例中，如图11所示，图像编辑装置还包括：
第一模型训练模块1102，用于基于第一训练图像集，对初始图像生成网络和初始图像判别网络进行对抗学习，得到中间图像生成网络和中间图像判别网络；基于中间图像生成网络得到初始图像生成模型；基于第二训练图像集，对中间图像生成网络和中间图像判别网络进行对抗学习，得到目标图像生成网络和目标图像判别网络；基于目标图像生成网络得到特征图像生成模型。
在一个实施例中，如图11所示，图像编辑装置还包括：
训练图像集获取模块1100，用于获取第一候选图像集；第一候选图像集中的各个第一候选图像为目标类别对象对应的对象图像；基于目标类别对象的参考对象部位在第一候选图像中的位置，对各个第一候选图像进行图像对齐；基于图像对齐后的各个第一候选图像，得到第一训练图像集；获取第二候选图像集；第二候选图像集中的各个第二候选图像为目标类别对象对应的对象图像，第二候选图像为包含目标属性的对象图像；基于目标类别对象的参考对象部位在第二候选图像中的位置，对各个第二候选图像进行图像对齐；基于图像对齐后的各个第二候选图像，得到第二训练图像集。
在一个实施例中，第一初始对象图像和第一特征对象图像为不同尺寸的图像，第一初始对象图像和第一特征对象图像分别对应的属性遮罩图像为不同尺寸的图像。遮罩图像获取模块还用于将第一初始对象图像对应的属性遮罩图像作为第一遮罩图像，将第一特征对象图像对应的属性遮罩图像作为第二遮罩图像；将第一遮罩图像和第二遮罩图像进行尺寸对齐，基于尺寸对齐后的第一遮罩图像和第二遮罩图像得到目标联合遮罩图像。
在一个实施例中，图像融合模块还用于从第二初始对象图像中，获取与目标联合遮罩图像中遮挡区域匹配的图像区域作为第一图像区域；将第二初始对象图像和第二特征对象图像进行融合，得到融合对象图像；从融合对象图像中，获取与目标联合遮罩图像中非遮挡区域匹配的图像区域作为第二图像区域；基于第一图像区域和第二图像区域，得到参考对象图像。
在一个实施例中，图像融合模块还用于对目标联合遮罩图像进行尺寸变换，得到与第二初始对象图像对应相同尺寸的变换联合遮罩图像；对变换联合遮罩图像进行反遮罩处理，得到反联合遮罩图像；将第二初始对象图像和反联合遮罩图像进行融合，得到第一图像区域。图像融合模块还用于将融合对象图像和变换联合遮罩图像进行融合，得到第二图像区域。
在一个实施例中，如图11所示，图像编辑装置还包括：
目标对象图像确定模块1104，用于将参考对象图像替换第二初始对象图像输入初始图像生成模型中目标网络层的后向网络层，获取结尾网络层输出的图像作为目标对象图像；其中，目标对象图像用于表征对原始对象图像进行目标属性编辑得到的图像，原始对象图像是将第一随机变量输入初始图像生成模型，结尾网络层直接输出的图像。
在一个实施例中，目标对象图像确定模块还用于将参考对象图像替换第二初始对象图像输入初始图像生成模型中目标网络层的后向网络层，获取后向网络层中第三网络层输出的图像作为第三初始对象图像；获取特征图像生成模型中与第三网络层匹配的第四网络层输出的图像作为第三特征对象图像；基于当前联合遮罩图像将第三初始对象图像和第三特征对象图像进行融合，得到更新对象图像；当前联合遮罩图像为目标联合遮罩图像或更新联合遮罩图像，更新联合遮罩图像是基于初始图像生成模型中第五网络层输出的图像和特征图像生成模型中第六网络层输出的图像得到的；将更新对象图像替换第三初始对象图像输入初始图像生成模型中第三网络层的后向网络层，获取结尾网络层输出的图像作为目标对象图像。
在一个实施例中，如图11所示，图像编辑装置还包括：
第二模型训练模块1106，用于将原始对象图像和目标对象图像作为训练图像对；基于训练图像对，对初始图像属性编辑模型进行模型训练，得到目标图像属性编辑模型；目标图像属性编辑模型用于对模型的输入图像进行目标属性编辑。
在一个实施例中，初始图像生成模型和特征图像生成模型中依次连接的网络层用于输出尺寸依次递增的图像，在初始图像生成模型和特征图像生成模型中，排序一致的网络层输出的图像对应相同的尺寸。
在一个实施例中，目标类别对象为人脸，初始图像生成模型为初始人脸图像生成模型，特征图像生成模型为特征人脸图像生成模型，目标属性为目标局部人脸属性。
上述图像编辑装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储初始图像生成模型、特征图像生成模型、参考对象图像、目标对象图像等数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像编辑方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种图像编辑方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12、13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像编辑方法，其特征在于，所述方法包括：
获取第一随机变量，将所述第一随机变量分别输入初始图像生成模型和特征图像生成模型；所述初始图像生成模型是基于第一训练图像集训练得到的，所述特征图像生成模型是基于第二训练图像集对所述初始图像生成模型进行训练得到的；所述第一训练图像集和所述第二训练图像集包括目标类别对象对应的对象图像，所述第二训练图像集中的对象图像为包含目标属性的对象图像，所述特征图像生成模型输出的图像具有目标属性；
获取所述初始图像生成模型中第一网络层输出的图像，得到第一初始对象图像，获取所述特征图像生成模型中第二网络层输出的图像，得到第一特征对象图像；
基于所述目标属性所属的属性类型在对象图像中对应的图像区域，获取所述第一初始对象图像和所述第一特征对象图像分别对应的属性遮罩图像，基于各个所述属性遮罩图像得到目标联合遮罩图像；
获取所述初始图像生成模型和所述特征图像生成模型中匹配的目标网络层输出的图像，得到第二初始对象图像和第二特征对象图像；
基于所述目标联合遮罩图像将所述第二初始对象图像和所述第二特征对象图像进行融合，得到参考对象图像；所述参考对象图像用于表征对所述第二初始对象图像进行目标属性编辑得到的图像。
2.根据权利要求1所述的方法，其特征在于，所述获取第一随机变量，将所述第一随机变量分别输入初始图像生成模型和特征图像生成模型之前，所述方法还包括：
基于所述第一训练图像集，对初始图像生成网络和初始图像判别网络进行对抗学习，得到中间图像生成网络和中间图像判别网络；
基于所述中间图像生成网络得到所述初始图像生成模型；
基于所述第二训练图像集，对中间图像生成网络和中间图像判别网络进行对抗学习，得到目标图像生成网络和目标图像判别网络；
基于所述目标图像生成网络得到所述特征图像生成模型。
3.根据权利要求1所述的方法，其特征在于，所述获取第一随机变量，将所述第一随机变量分别输入初始图像生成模型和特征图像生成模型之前，所述方法还包括：
获取第一候选图像集；所述第一候选图像集中的各个第一候选图像为所述目标类别对象对应的对象图像；
基于所述目标类别对象的参考对象部位在第一候选图像中的位置，对各个第一候选图像进行图像对齐；
基于图像对齐后的各个第一候选图像，得到所述第一训练图像集；
获取第二候选图像集；所述第二候选图像集中的各个第二候选图像为所述目标类别对象对应的对象图像，所述第二候选图像为包含目标属性的对象图像；
基于所述目标类别对象的参考对象部位在第二候选图像中的位置，对各个第二候选图像进行图像对齐；
基于图像对齐后的各个第二候选图像，得到所述第二训练图像集。
4.根据权利要求1所述的方法，其特征在于，所述第一初始对象图像和所述第一特征对象图像为不同尺寸的图像，所述第一初始对象图像和所述第一特征对象图像分别对应的属性遮罩图像为不同尺寸的图像；
所述基于各个所述属性遮罩图像得到目标联合遮罩图像，包括：
将所述第一初始对象图像对应的属性遮罩图像作为第一遮罩图像，将所述第一特征对象图像对应的属性遮罩图像作为第二遮罩图像；
将所述第一遮罩图像和所述第二遮罩图像进行尺寸对齐，基于尺寸对齐后的第一遮罩图像和第二遮罩图像得到所述目标联合遮罩图像。
5.根据权利要求1所述的方法，其特征在于，所述基于所述目标联合遮罩图像将所述第二初始对象图像和所述第二特征对象图像进行融合，得到参考对象图像，包括：
从所述第二初始对象图像中，获取与所述目标联合遮罩图像中遮挡区域匹配的图像区域作为第一图像区域；
将所述第二初始对象图像和所述第二特征对象图像进行融合，得到融合对象图像；
从所述融合对象图像中，获取与所述目标联合遮罩图像中非遮挡区域匹配的图像区域作为第二图像区域；
基于所述第一图像区域和所述第二图像区域，得到所述参考对象图像。
6.根据权利要求5所述的方法，其特征在于，所述从所述第二初始对象图像中，获取与所述目标联合遮罩图像中遮挡区域匹配的图像区域作为第一图像区域，包括：
对所述目标联合遮罩图像进行尺寸变换，得到与所述第二初始对象图像对应相同尺寸的变换联合遮罩图像；
对所述变换联合遮罩图像进行反遮罩处理，得到反联合遮罩图像；
将所述第二初始对象图像和所述反联合遮罩图像进行融合，得到所述第一图像区域；
所述从所述融合对象图像中，获取与所述目标联合遮罩图像中非遮挡区域匹配的图像区域作为第二图像区域，包括：
将所述融合对象图像和所述变换联合遮罩图像进行融合，得到所述第二图像区域。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述参考对象图像替换所述第二初始对象图像输入所述初始图像生成模型中目标网络层的后向网络层，获取结尾网络层输出的图像作为目标对象图像；
其中，所述目标对象图像用于表征对原始对象图像进行目标属性编辑得到的图像，所述原始对象图像是将所述第一随机变量输入所述初始图像生成模型，所述结尾网络层直接输出的图像。
8.根据权利要求7所述的方法，其特征在于，所述将所述参考对象图像替换所述第二初始对象图像输入所述初始图像生成模型中目标网络层的后向网络层，获取结尾网络层输出的图像作为目标对象图像，包括：
将所述参考对象图像替换所述第二初始对象图像输入所述初始图像生成模型中目标网络层的后向网络层，获取后向网络层中第三网络层输出的图像作为第三初始对象图像；
获取所述特征图像生成模型中与所述第三网络层匹配的第四网络层输出的图像作为第三特征对象图像；
基于当前联合遮罩图像将所述第三初始对象图像和所述第三特征对象图像进行融合，得到更新对象图像；所述当前联合遮罩图像为所述目标联合遮罩图像或更新联合遮罩图像，所述更新联合遮罩图像是基于所述初始图像生成模型中第五网络层输出的图像和所述特征图像生成模型中第六网络层输出的图像得到的；
将所述更新对象图像替换所述第三初始对象图像输入所述初始图像生成模型中第三网络层的后向网络层，获取结尾网络层输出的图像作为目标对象图像。
9.根据权利要求7所述的方法，其特征在于，所述方法还包括：
将所述原始对象图像和所述目标对象图像作为训练图像对；
基于所述训练图像对，对初始图像属性编辑模型进行模型训练，得到目标图像属性编辑模型；所述目标图像属性编辑模型用于对模型的输入图像进行目标属性编辑。
10.根据权利要求1所述的方法，其特征在于，所述初始图像生成模型和所述特征图像生成模型中依次连接的网络层用于输出尺寸依次递增的图像，在所述初始图像生成模型和所述特征图像生成模型中，排序一致的网络层输出的图像对应相同的尺寸。
11.根据权利要求1至10任一项所述的方法，其特征在于，所述目标类别对象为人脸，所述初始图像生成模型为初始人脸图像生成模型，所述特征图像生成模型为特征人脸图像生成模型，所述目标属性为目标局部人脸属性。
12.一种图像编辑装置，其特征在于，所述装置包括：
随机变量获取模块，用于获取第一随机变量，将所述第一随机变量分别输入初始图像生成模型和特征图像生成模型；所述初始图像生成模型是基于第一训练图像集训练得到的，所述特征图像生成模型是基于第二训练图像集对所述初始图像生成模型进行训练得到的；所述第一训练图像集和所述第二训练图像集包括目标类别对象对应的对象图像，所述第二训练图像集中的对象图像为包含目标属性的对象图像，所述特征图像生成模型输出的图像具有目标属性；
第一图像获取模块，用于获取所述初始图像生成模型中第一网络层输出的图像，得到第一初始对象图像，获取所述特征图像生成模型中第二网络层输出的图像，得到第一特征对象图像；
遮罩图像获取模块，用于基于所述目标属性所属的属性类型在对象图像中对应的图像区域，获取所述第一初始对象图像和所述第一特征对象图像分别对应的属性遮罩图像，基于各个所述属性遮罩图像得到目标联合遮罩图像；
第二图像获取模块，用于获取所述初始图像生成模型和所述特征图像生成模型中匹配的目标网络层输出的图像，得到第二初始对象图像和第二特征对象图像；
图像融合模块，用于基于所述目标联合遮罩图像将所述第二初始对象图像和所述第二特征对象图像进行融合，得到参考对象图像；所述参考对象图像用于表征对所述第二初始对象图像进行目标属性编辑得到的图像。
13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202211330943.1A 2022-10-28 2022-10-28 图像编辑方法、装置、计算机设备和存储介质 Active CN115393183B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202211330943.1A CN115393183B (zh) 2022-10-28 2022-10-28 图像编辑方法、装置、计算机设备和存储介质
PCT/CN2023/119716 WO2024087946A1 (zh) 2022-10-28 2023-09-19 图像编辑方法、装置、计算机设备和存储介质
US18/584,777 US20240193822A1 (en) 2022-10-28 2024-02-22 Local attribute image editing using an image generation model and a feature image generation model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211330943.1A CN115393183B (zh) 2022-10-28 2022-10-28 图像编辑方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN115393183A true CN115393183A (zh) 2022-11-25
CN115393183B CN115393183B (zh) 2023-02-07

Family

ID=84115282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211330943.1A Active CN115393183B (zh) 2022-10-28 2022-10-28 图像编辑方法、装置、计算机设备和存储介质

Country Status (3)

Country Link
US (1) US20240193822A1 (zh)
CN (1) CN115393183B (zh)
WO (1) WO2024087946A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024087946A1 (zh) * 2022-10-28 2024-05-02 腾讯科技（深圳）有限公司 图像编辑方法、装置、计算机设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197525A (zh) * 2017-11-20 2018-06-22 中国科学院自动化研究所 人脸图像生成方法及装置
CN111553267A (zh) * 2020-04-27 2020-08-18 腾讯科技（深圳）有限公司 图像处理方法、图像处理模型训练方法及设备
CN112001983A (zh) * 2020-10-30 2020-11-27 深圳佑驾创新科技有限公司 生成遮挡图像的方法、装置、计算机设备和存储介质
CN112734873A (zh) * 2020-12-31 2021-04-30 北京深尚科技有限公司 对抗生成网络的图像属性编辑方法、装置、设备及介质
CN113327221A (zh) * 2021-06-30 2021-08-31 北京工业大学 融合roi区域的图像合成方法、装置、电子设备及介质
CN113570684A (zh) * 2021-01-22 2021-10-29 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
US20210383154A1 (en) * 2019-05-24 2021-12-09 Shenzhen Sensetime Technology Co., Ltd. Image processing method and apparatus, electronic device and storage medium
CN113822953A (zh) * 2021-06-24 2021-12-21 华南理工大学 图像生成器的处理方法、图像生成方法及装置
WO2022135013A1 (zh) * 2020-12-24 2022-06-30 百果园技术(新加坡)有限公司 一种人脸属性编辑方法、系统、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941986B (zh) * 2019-10-10 2023-08-01 平安科技（深圳）有限公司 活体检测模型的训练方法、装置、计算机设备和存储介质
CN115223013A (zh) * 2022-07-04 2022-10-21 深圳万兴软件有限公司 基于小数据生成网络的模型训练方法、装置、设备及介质
CN115393183B (zh) * 2022-10-28 2023-02-07 腾讯科技（深圳）有限公司 图像编辑方法、装置、计算机设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197525A (zh) * 2017-11-20 2018-06-22 中国科学院自动化研究所 人脸图像生成方法及装置
US20210383154A1 (en) * 2019-05-24 2021-12-09 Shenzhen Sensetime Technology Co., Ltd. Image processing method and apparatus, electronic device and storage medium
CN111553267A (zh) * 2020-04-27 2020-08-18 腾讯科技（深圳）有限公司 图像处理方法、图像处理模型训练方法及设备
CN112001983A (zh) * 2020-10-30 2020-11-27 深圳佑驾创新科技有限公司 生成遮挡图像的方法、装置、计算机设备和存储介质
WO2022135013A1 (zh) * 2020-12-24 2022-06-30 百果园技术(新加坡)有限公司 一种人脸属性编辑方法、系统、电子设备及存储介质
CN112734873A (zh) * 2020-12-31 2021-04-30 北京深尚科技有限公司 对抗生成网络的图像属性编辑方法、装置、设备及介质
CN113570684A (zh) * 2021-01-22 2021-10-29 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN113822953A (zh) * 2021-06-24 2021-12-21 华南理工大学 图像生成器的处理方法、图像生成方法及装置
CN113327221A (zh) * 2021-06-30 2021-08-31 北京工业大学 融合roi区域的图像合成方法、装置、电子设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹帅康: "基于深度神经网络的人脸属性编辑算法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024087946A1 (zh) * 2022-10-28 2024-05-02 腾讯科技（深圳）有限公司 图像编辑方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US20240193822A1 (en) 2024-06-13
WO2024087946A1 (zh) 2024-05-02
CN115393183B (zh) 2023-02-07

Similar Documents

Publication Publication Date Title
Zhu et al. Barbershop: Gan-based image compositing using segmentation masks
CN111160085A (zh) 一种人体图像关键点姿态估计方法
KR102602112B1 (ko) 얼굴 이미지 생성을 위한 데이터 프로세싱 방법 및 디바이스, 및 매체
CN112215050A (zh) 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备
WO2022022043A1 (zh) 人脸图像生成方法、装置、服务器及存储介质
US20240193822A1 (en) Local attribute image editing using an image generation model and a feature image generation model
Yang et al. Controllable sketch-to-image translation for robust face synthesis
CN116385667B (zh) 三维模型的重建方法、纹理重构模型的训练方法以及装置
CN117218300B (zh) 三维模型的构建方法、三维构建模型的训练方法及装置
CN117078790B (zh) 图像生成方法、装置、计算机设备和存储介质
CN116091630A (zh) 用于训练图像生成模型的方法及装置
CN118298127B (zh) 三维模型重建与图像生成方法、设备、存储介质及程序产品
Ardino et al. Semantic-guided inpainting network for complex urban scenes manipulation
CN115272082A (zh) 模型训练、视频质量提升方法、装置和计算机设备
CN116912148A (zh) 图像增强方法、装置、计算机设备及计算机可读存储介质
Cheng et al. TC-GAN: Triangle cycle-consistent gans for face frontalization with facial features preserved
CN115546011A (zh) 图像处理方法、装置、计算机设备和存储介质
Jiang et al. Tcgan: Semantic-aware and structure-preserved gans with individual vision transformer for fast arbitrary one-shot image generation
CN112561784B (zh) 图像合成方法、装置、电子设备及存储介质
CN116883524A (zh) 图像生成模型训练、图像生成方法、装置和计算机设备
Huang et al. StyleTerrain: A novel disentangled generative model for controllable high-quality procedural terrain generation
CN116344004B (zh) 一种影像样本数据扩增方法及装置
CN116168137B (zh) 一种基于神经辐射场的新视角合成方法、装置及存储器
CN116309021A (zh) 毛发图像处理方法、装置、计算机设备和存储介质
CN117974708A (zh) 图像分割模型的训练方法、图像分割方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant