CN110321849A - 图像数据处理方法、装置以及计算机可读存储介质 - Google Patents

图像数据处理方法、装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN110321849A
CN110321849A CN201910603362.2A CN201910603362A CN110321849A CN 110321849 A CN110321849 A CN 110321849A CN 201910603362 A CN201910603362 A CN 201910603362A CN 110321849 A CN110321849 A CN 110321849A
Authority
CN
China
Prior art keywords
image
sample
key point
source object
virtual objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910603362.2A
Other languages
English (en)
Other versions
CN110321849B (zh
Inventor
吴锐正
陶鑫
沈小勇
戴宇榮
賈佳亞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910603362.2A priority Critical patent/CN110321849B/zh
Publication of CN110321849A publication Critical patent/CN110321849A/zh
Application granted granted Critical
Publication of CN110321849B publication Critical patent/CN110321849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种图像数据处理方法、装置以及计算机可读存储介质，该方法包括：获取第一样本图像和第二样本图像；第一样本图像中包含样本源对象；第二样本图像中包含样本虚拟对象；获取样本源对象的关键点位置信息，基于初始图像生成模型、第一样本图像和样本源对象的关键点位置信息生成第一样本图像对应的待判别图像；待判别图像中包括样本源对象对应的待判别虚拟对象；基于样本源对象、样本虚拟对象和待判别虚拟对象修正初始图像生成模型的网络参数；将包含修正后的网络参数的初始图像生成模型确定为图像生成模型。采用本申请，可丰富待判别图像的图像内容，可提高待判别图像与第一样本图像之间的匹配性，同时还可提升待判别图像的展示效果。

Description

图像数据处理方法、装置以及计算机可读存储介质
技术领域
本申请涉及数据处理的技术领域，尤其涉及一种图像数据处理方法、装置以及计算机可读存储介质。
背景技术
随着各种类型的应用不断涌现，应用所能提供给用户的功能也在不断丰富。其中，不乏有根据真实人脸类型的图像转换生成卡通人脸类型的图像的应用，但是，用户对应用所生成的卡通人脸图像的展示效果的要求也越来越高。
现有技术中，可以对录入的真实人脸图像进行畸变进而生成该真实人脸图像对应的卡通人脸图像，但是，此间过程中，畸变的程度难以把控，导致畸变生成的卡通人脸图像展示效果差。
由此，现有技术中，若对卡通人脸图像直接进行畸变，会导致畸变所生成的卡通人脸图像的展示效果差。
发明内容
本申请提供了一种图像数据处理方法、装置以及计算机可读存储介质，可在图像转换时，提升转换后的图像的展示效果。
本申请一方面提供了一种图像数据处理方法，包括：
获取包含源对象的第一图像；所述第一图像中包括所述源对象的关键点位置信息；
获取所述第一图像对应的第一特征图和所述源对象的关键点位置信息对应的第二特征图，根据所述第二梯度图确定所述源对象对应的虚拟对象的关键点位置信息；
根据所述第一特征图和所述虚拟对象的关键点位置信息，生成所述第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。
其中，还包括：
基于回归网络确定所述第一图像中的所述源对象对应的图像关键点；
确定所述图像关键点在所述第一图像中的坐标信息，作为所述源对象的关键点位置信息。
其中，所述根据所述第一特征图和所述虚拟对象的关键点位置信息，生成所述第一图像对应的第二图像，包括：
将包含所述源对象对应的关键点位置信息的第一图像输出至应用界面；
响应针对所述应用界面的所述第一图像中的所述源对象的关键点位置信息的调整操作，对所述源对象的关键点位置信息进行调整，得到调整后的关键点位置信息；
根据所述调整后的关键点位置信息更新所述虚拟对象的关键点位置信息，得到所述虚拟对象的更新后的关键点位置信息，根据所述第一特征图和所述更新后的关键点位置信息，生成所述第一图像对应的第二图像。
本申请另一方面提供了一种图像数据处理方法，包括：
获取第一样本图像和第二样本图像；所述第一样本图像中包含样本源对象；所述第二样本图像中包含样本虚拟对象；
获取所述样本源对象的关键点位置信息，基于初始图像生成模型、所述第一样本图像和所述样本源对象的关键点位置信息生成所述第一样本图像对应的待判别图像；所述待判别图像中包括所述样本源对象对应的待判别虚拟对象；
基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象修正所述初始图像生成模型的网络参数；
将包含修正后的网络参数的初始图像生成模型确定为图像生成模型；所述图像生成模型用于生成包含源对象的第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。
其中，所述初始图像生成模型的网络参数包括生成网络的第一网络参数和判别网络的第二网络参数；
所述基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象修正所述初始图像生成模型的网络参数，包括：
基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象和所述判别网络对应的损失函数，获取用于修正所述第一网络参数的第一梯度图以及用于修正所述第二网络参数的第二梯度图；
基于所述样本源对象、所述待判别虚拟对象、所述生成网络对应的损失函数和所述第一梯度图修正所述第一网络参数，基于所述第二梯度图修正所述第二网络参数。
其中，所述判别网络包括无条件判别器；
所述基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象和所述判别网络对应的损失函数，获取用于修正所述第一网络参数的第一梯度图以及用于修正所述第二网络参数的第二梯度图，包括：
将所述样本虚拟对象对应的特征图和所述待判别虚拟对象对应的特征图，确定为所述无条件判别器对应的损失函数中的输入数据；
当所述无条件判别器对应的损失函数达到最小值时，获取所述第一梯度图；
当所述无条件判别器对应的损失函数达到最大值时，获取所述第二梯度图。
其中，所述判别网络包括有条件判别器；
所述基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象和所述判别网络对应的损失函数，获取用于修正所述第一网络参数的第一梯度图以及用于修正所述第二网络参数的第二梯度图，包括：
将所述样本源对象的关键点位置信息对应的特征图、所述待判别虚拟对象对应的特征图和所述样本虚拟对象对应的特征图，确定为所述有条件判别器对应的损失函数中的输入数据；
当所述有条件判别器对应的损失函数达到最小值时，获取所述第一梯度图；
当所述有条件判别器对应的损失函数达到最大值时，获取所述第二梯度图。
其中，所述判别网络包括局部判别器；
所述基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象和所述判别网络对应的损失函数，获取用于修正所述第一网络参数的第一梯度图以及用于修正所述第二网络参数的第二梯度图，包括：
获取所述待判别虚拟对象的关键点位置信息，根据所述待判别虚拟对象的关键点位置信息截取所述待判别虚拟对象中的关键点局部图像；
在所述样本虚拟对象中，截取与所述关键点局部图像为同类型局部图像的样本关键点局部图像；
将所述关键点局部图像对应的特征图和所述样本关键点局部图像对应的特征图，确定为所述局部判别器对应的损失函数中的输入数据；
当所述局部判别器对应的损失函数达到最小值时，获取所述第一梯度图；
当所述局部判别器对应的损失函数达到最大值时，获取所述第二梯度图。
其中，所述基于所述样本源对象、所述待判别虚拟对象、所述生成网络对应的损失函数和所述第一梯度图修正所述第一网络参数，包括：
获取所述待判别虚拟对象的关键点位置信息，将所述待判别虚拟对象的关键点位置信息对应的特征图和所述样本源对象的关键点位置信息对应的特征图，确定为所述生成网络对应的损失函数中的输入数据；
当所述生成网络对应的损失函数达到最小值时，获取用于修正所述生成网络的第三梯度图；
将所述第三梯度图与所述第一梯度图进行像素合并，得到合并梯度图；
基于所述合并梯度图修正所述生成网络的网络参数。
本申请一方面提供了一种图像数据处理装置，包括：
第一获取模块，用于获取包含源对象的第一图像；所述第一图像中包括所述源对象的关键点位置信息；
位置确定模块，获取所述第一图像对应的第一特征图和所述源对象的关键点位置信息对应的第二特征图，根据所述第二特征图确定所述源对象对应的虚拟对象的关键点位置信息；
第一生成模块，用于根据所述第一特征图和所述虚拟对象的关键点位置信息，生成所述第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。
其中，所述图像数据处理装置，还包括：
关键点确定模块，用于基于回归网络确定所述第一图像中的所述源对象对应的图像关键点；
坐标确定模块，用于确定所述图像关键点在所述第一图像中的坐标信息，作为所述源对象的关键点位置信息。
其中，所述第一生成模块，包括：
输出单元，用于将包含所述源对象对应的关键点位置信息的第一图像输出至应用界面；
调整单元，用于响应针对所述应用界面的所述第一图像中的所述源对象的关键点位置信息的调整操作，对所述源对象的关键点位置信息进行调整，得到调整后的关键点位置信息；
第一生成单元，用于根据所述调整后的关键点位置信息更新所述虚拟对象的关键点位置信息，得到所述虚拟对象的更新后的关键点位置信息，根据所述第一特征图和所述更新后的关键点位置信息，生成所述第一图像对应的第二图像。
本申请另一方面提供了一种图像数据处理装置，包括：
第二获取模块，用于获取第一样本图像和第二样本图像；所述第一样本图像中包含样本源对象；所述第二样本图像中包含样本虚拟对象；
第二生成模块，用于获取所述样本源对象的关键点位置信息，基于初始图像生成模型、所述第一样本图像和所述样本源对象的关键点位置信息生成所述第一样本图像对应的待判别图像；所述待判别图像中包括所述样本源对象对应的待判别虚拟对象；
修正模块，用于基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象修正所述初始图像生成模型的网络参数；
模型确定模块，用于将包含修正后的网络参数的初始图像生成模型确定为图像生成模型；所述图像生成模型用于生成包含源对象的第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。
其中，所述初始图像生成模型的网络参数包括生成网络的第一网络参数和判别网络的第二网络参数；
所述修正模块，包括：
梯度图获取单元，用于基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象和所述判别网络对应的损失函数，获取用于修正所述第一网络参数的第一梯度图以及用于修正所述第二网络参数的第二梯度图；
修正单元，用于基于所述样本源对象、所述待判别虚拟对象、所述生成网络对应的损失函数和所述第一梯度图修正所述第一网络参数，基于所述第二梯度图修正所述第二网络参数。
其中，所述判别网络包括无条件判别器；
所述梯度图获取单元，包括：
第一确定子单元，用于将所述样本虚拟对象对应的特征图和所述待判别虚拟对象对应的特征图，确定为所述无条件判别器对应的损失函数中的输入数据；
第一获取子单元，用于当所述无条件判别器对应的损失函数达到最小值时，获取所述第一梯度图；
第二获取子单元，用于当所述无条件判别器对应的损失函数达到最大值时，获取所述第二梯度图。
其中，所述判别网络包括有条件判别器；
所述梯度图获取单元，包括：
第二确定子单元，用于将所述样本源对象的关键点位置信息对应的特征图、所述待判别虚拟对象对应的特征图和所述样本虚拟对象对应的特征图，确定为所述有条件判别器对应的损失函数中的输入数据；
第三获取子单元，用于当所述有条件判别器对应的损失函数达到最小值时，获取所述第一梯度图；
第四获取子单元，用于当所述有条件判别器对应的损失函数达到最大值时，获取所述第二梯度图。
其中，所述判别网络包括局部判别器；
所述梯度图获取单元，包括：
第一截取子单元，用于获取所述待判别虚拟对象的关键点位置信息，根据所述待判别虚拟对象的关键点位置信息截取所述待判别虚拟对象中的关键点局部图像；
第二截取子单元，用于在所述样本虚拟对象中，截取与所述关键点局部图像为同类型局部图像的样本关键点局部图像；
第三确定子单元，用于将所述关键点局部图像对应的特征图和所述样本关键点局部图像对应的特征图，确定为所述局部判别器对应的损失函数中的输入数据；
第五获取子单元，用于当所述局部判别器对应的损失函数达到最小值时，获取所述第一梯度图；
第六获取子单元，用于当所述局部判别器对应的损失函数达到最大值时，获取所述第二梯度图。
其中，所述修正单元，包括：
第四确定子单元，用于获取所述待判别虚拟对象的关键点位置信息，将所述待判别虚拟对象的关键点位置信息对应的特征图和所述样本源对象的关键点位置信息对应的特征图，确定为所述生成网络对应的损失函数中的输入数据；
第七获取子单元，用于当所述生成网络对应的损失函数达到最小值时，获取用于修正所述生成网络的第三梯度图；
合并子单元，用于将所述第三梯度图与所述第一梯度图进行像素合并，得到合并梯度图；
修正子单元，用于基于所述合并梯度图修正所述生成网络的网络参数。
本申请一方面提供了一种图像数据处理装置，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如本申请中一方面/另一方面中的方法。
本申请一方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令当被处理器执行时使该处理器执行上述一方面/另一方面中的方法。
本申请首先获取需要转换的源对象图像，并基于该源对象图像以及该源对象图像中的关键点图像的关键点位置信息，转换生成源对象图像对应的虚拟对象图像。由于考虑到了源对象图像中的关键点位置信息，因此，提升了畸变生成的虚拟对象图像的展示效果，且保证了畸变之后的虚拟对象图像与源对象图像之间的匹配性，同时通过畸变丰富了生成的虚拟对象图像的图像内容。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种系统的架构示意图；
图2是本申请提供的一种生成第二图像的场景示意图；
图3是本申请提供的一种图像数据处理方法的流程示意图；
图4是本申请提供的另一种图像数据处理方法的流程示意图；
图5a是本申请提供的另一种图像数据处理方法的流程示意图；
图5b是本申请提供的另一种图像数据处理方法的流程示意图；
图6是本申请提供的一种生成网络的结构示意图；
图7是本申请提供的一种模型训练的框架示意图；
图8是本申请提供的一种训练过程的场景示意图；
图9是本申请提供的一种修正网络参数的场景示意图；
图10是本申请提供的一种图像数据处理装置的结构示意图；
图11是本申请提供的另一种图像数据处理装置的结构示意图；
图12是本申请提供的另一种图像数据处理装置的结构示意图。
具体实施方式
下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参见图1，是本申请提供的一种系统的架构示意图。如图1所示，该系统结构示意图包括服务器100、终端200a、终端200b和终端200c，服务器100可以和终端200a、终端200b和终端200c之间相互通信。此处以终端200a与服务器100之间的通信为例进行本申请的说明。终端200a可以获取用户录入的第一图像，该第一图像为包含真实人脸的图像。其中，第一图像中的真实人脸是在真实环境中采集到的真人的人脸。例如，第一图像中的真实人脸可以是通过拍摄设备拍摄的包含人物人脸的相片或者是在录像中截取得到的包含人物人脸的图像，还可以是在网络上获取的包含真人人脸的图像，第一图像的具体来源根据实际应用场景决定，这里不做限制。终端200a可以在应用界面中显示获取到的第一图像，支持用户在终端200a的应用界面中对第一图像中的关键点位置进行标记。例如，将第一图像中的真实人脸的五官(可以包括眼睛、鼻子、嘴巴和眉毛，还可以包括人脸轮廓和发际线)作为图像关键点，对第一图像中的真实人脸的五官位置进行标记。可以通过用户对第一图像中的图像关键点所在位置的标记，得到第一图像中的图像关键点的坐标信息。可以称第一图像中的图像关键点的坐标信息为第一图像中的关键点位置信息，即第一图像中的真实人脸的关键点位置信息。终端200a可以向服务器100发送包括真实人脸的关键点位置信息的第一图像。请一并参见图2，是本申请提供的一种生成第二图像的场景示意图。如图2所示，图像a1为服务器100接收到的包含真实人脸的关键点位置信息的第一图像，其中，信息a2是根据第一图像中的关键点位置信息得到的真实人脸中的图像关键点的坐标信息。此处以第一图像中的真实人脸的眼睛、鼻子和嘴巴作为图像关键点为例进行说明，即信息a2中包括图像a1中的真实人脸的左眼的坐标信息、右眼的坐标、鼻子的坐标信息和嘴巴的坐标信息(此处以左嘴角的坐标信息和右嘴角的坐标信息表征嘴巴的坐标信息)。服务器100中还包括图像生成模型，服务器100可以将获取到的图像a1输入图像生成模型。其中，图像生成模型为根据人脸的图像关键点的位置(例如眼睛、鼻子、嘴巴和眉毛、人脸轮廓和发际线在人脸中的位置)训练完成的模型，且该图像生成模型可以根据输入的包含真实人脸的第一图像以及真实人脸中的关键点位置信息，对应生成包含真实人脸对应的虚拟人脸的第二图像。其中，虚拟人脸可以是真实人脸对应的卡通类型的人脸，还可以是真实人脸对应的蜡像类型的人脸或者是真实人脸对应的动漫类型的人脸，虚拟人脸的人脸类型可以根据实际应用场景决定，这里不做限制。上述虚拟人脸中的关键点位置信息与真实人脸中的关键点位置信息一致。上述图像生成模型可以通过信息a2得到需要生成的第二图像中的虚拟人脸的关键点位置信息。例如，可以直接将信息a2作为第二图像中的关键点位置信息，即将信息a2直接作为信息a3，通过第一图像与第二图像中的关键点位置信息的点到点的对齐，生成第一图像对应的第二图像a4。其中，第二图像a4中的虚拟人脸相较于第一图像a1中的真实人脸，脸部进行了畸变(包括五官的畸变)，例如将眼睛进行了夸张化(包括将眼睛放大)，但是在虚拟人脸的五官进行畸变的过程中，又保证了虚拟人脸中的眼睛位置、鼻子位置和嘴巴位置与真实人脸中的眼睛位置、鼻子位置和嘴巴位置一致，提高了真实人脸与虚拟人脸的匹配性，同时，通过畸变又丰富了生成的虚拟人脸的多样性。服务器100可以将生成的包含虚拟人脸的第二图像发送给终端200a，终端200a可以在应用界面中展示接收到的第二图像，使得用户可以在终端200a的应用界面中查看基于其向终端录入的第一图像生成的第二图像。通过上述过程，就实现了针对用户录入的包含真实人脸的图像a1，对应生成包含该真实人脸对应的虚拟人脸的图像a4。本申请所提供的方法，可适用于根据用户的人脸图像为用户设计专属于自己的卡通人物形象，可适用于根据用户的人脸图像为用户设计专属于自己的游戏角色形象，还可适用于根据用户的人脸图像为用户生成自己的专属头像。
可选的，上述通过第一图像a1生成第二图像a4的过程也可由终端200a独立完成，即不需要服务器100生成第一图像对应的第二图像，再将生成的第一图像发送给终端200a。终端200a可以根据获取到的第一图像直接生成第二图像，并在应用界面中展示生成的第二图像。其中，第二图像的生成位置根据实际应用场景决定，这里不做限制。
采用本申请所提供的方法，可以根据用户的真实人脸图像生成其对应的虚拟人脸图像，且在生成虚拟人脸图像时，考虑了用户的人脸图像中的脸部关键点的位置信息，提高了生成的虚拟人脸图像与用户的真实人脸图像之间的匹配性(也可称之为相似性)。同时，支持生成的虚拟人脸图像在用户的真实人脸图像的基础上发生畸变，丰富了生成的虚拟人脸图像的图像内容。即通过本申请提供的方法，在保证了生成的虚拟人脸图像的图像内容的多样性的同时，又保证了生成得到的虚拟人脸图像与所对应的真实人脸图像中的关键点位置的一致性，提高了生成的虚拟人脸图像的展示效果。
请参见图3，是本申请提供的一种图像数据处理方法的流程示意图，如图3所示，所述方法可以包括：
步骤S101，获取包含源对象的第一图像；所述第一图像中包括所述源对象的关键点位置信息；
具体的，获取包含源对象的第一图像，其中，第一图像可以是包含真实人脸的图像，则源对象对应为第一图像中的真实人脸。第一图像还可以是包含真实动物的脸部的图像，则源对象对应为第一图像中的真实动物的脸部。第一图像还可以包含真实花朵或真实花束的图像，则源对象对应为第一图像中的真实花朵或真实花束。上述第一图像可以是通过摄像设备拍摄的相片，还可以在网络上爬取的包含源对象的图像。上述第一图像中还包括源对象的关键点位置信息，该关键点位置信息为第一图像中包含的源对象的关键点的在第一图像中的坐标信息。当上述第一图像为包含真实人脸的图像时，源对象的关键点位置信息可以是真实人脸中的人脸关键点(可以包括眼睛、鼻子、嘴巴、眉毛、发际线和脸部轮廓)的位置信息，该位置信息可以是人脸关键点在第一图像中的坐标信息(也可称之为像素坐标信息)。当上述第一图像为包含真实动物的脸部的图像时，源对象的关键点位置信息可以是真实动物的脸部中的脸部关键点(可以包括眼睛、鼻子、嘴巴、耳朵、头上的角和脸部轮廓)的位置信息。当上述第一图像为包含真实花朵或真实花束的图像时，源对象的关键点位置信息可以是真实花朵或真实花束中的关键点(可以包括花心、花束结和花瓣轮廓)的位置信息。上述源对象的关键点位置信息可以通过训练好的Regressor(回归网络)获取，该回归网络可以根据输入的相片或者图像对应输出图像中的关键点位置信息。例如，当该回归网络通过人脸关键点训练完成，则可以获取输入的人脸图像中的图像关键点，将该图像关键点在输入的人脸图像中的位置坐标作为人脸图像的关键点位置信息，并输出该关键点位置信息；当该回归网络通过动物脸部关键点训练完成，则可以获取输入的动物脸部图像中的图像关键点，将该图像关键点在输入的动物脸部图像中的位置坐标作为动物脸部图像的关键点位置信息，并输出该关键点位置信息；当该回归网络通过花朵或花束的关键点训练完成，则可以获取输入的花朵或花束图像中的图像关键点，将该图像关键点在输入的花朵或花束图像中的位置坐标作为花朵或花束图像的关键点位置信息，并输出该关键点位置信息。
步骤S102，获取所述第一图像对应的第一特征图和所述源对象的关键点位置信息对应的第二特征图，根据所述第二梯度图确定所述源对象对应的虚拟对象的关键点位置信息；
具体的，可以对第一图像进行图像识别，并得到第一图像对应的第一特征图，第一特征图中包括了第一图像的图像特征。同时，还可以根据源对象的关键点位置信息，得到源对象的关键点位置信息对应的第二特征图，该第二特征图中包含了源对象的关键点位置信息。将上述第一特征图和第二特征图输入到图像生成模型中，图像生成模型可以根据上述第二特征图中所包含的源对象的关键点位置信息，得到源对象对应的虚拟对象的关键点位置信息，例如，根据源对象对应的关键点位置信息所指向的图像关键点之间的分布位置，得到指向与源对象对应的图像关键点的分布位置一致的虚拟对象的关键点位置信息，该分布位置可以指图像关键点之间的分布比例。也可以直接将第二特征图中所包含的源对象的关键点位置信息，作为源对象对应的虚拟对象的关键点位置信息。
步骤S103，根据所述第一特征图和所述虚拟对象的关键点位置信息，生成所述第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象；
具体的，以上述第一图像为包含真实人脸的图像，以及第二图像中包括第一图像中的真实人脸对应的卡通人脸为例进行说明。上述图像生成模型是根据大量样本真实人脸图像以及样本卡通人脸图像训练完成的模型，且样本真实人脸图像与样本卡通人脸图像之间可以没有映射关系。上述图像生成模型可以根据输入的真实人脸图像(例如第一图像，由于第一图像是以特征图的形式输入到图像生成模型的，因此真实人脸图像也可以指上述第一特征图)以及上述得到的虚拟对象的关键点位置信息，对应生成真实人脸图像对应的卡通人脸图像(例如第二图像)。第二图像中包括源对象对应的虚拟对象，即第二图像中包括第一图像中的真实人脸对应的卡通人脸，且第二图像中的卡通人脸与第一图像中的真实人脸的关键点位置信息一致。
本申请首先获取包含源对象的第一图像；所述第一图像中包括所述源对象的关键点位置信息；获取所述第一图像对应的第一特征图和所述源对象的关键点位置信息对应的第二特征图，根据所述第二特征图确定所述源对象对应的虚拟对象的关键点位置信息；根据所述第一特征图和所述虚拟对象的关键点位置信息，生成所述第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。由此可见，本申请提出的方法可根据第一图像中的源对象的关键点位置信息，生成包含上述源对象对应的虚拟对象的第二图像，从而提升了畸变生成的虚拟对象的展示效果，且保证了畸变之后的虚拟对象与源对象之间的匹配性，同时通过畸变丰富了生成的虚拟对象的图像内容。
请参见图4，是本申请提供的一种图像数据处理方法的流程示意图，如图4所示，所述方法可以包括：
步骤S201，获取包含源对象的第一图像；所述第一图像中包括所述源对象的关键点位置信息；获取所述第一图像对应的第一特征图和所述源对象的关键点位置信息对应的第二特征图，根据所述第二特征图确定所述源对象对应的虚拟对象的关键点位置信息；
其中，步骤S201的具体实现过程可以参见上述图3对应的实施例中对步骤S101-步骤S102的描述，这里不再进行赘述。
步骤S202，将包含所述源对象对应的关键点位置信息的第一图像输出至应用界面；
具体的，可以根据源对象对应的关键点位置信息，将第一图像中的关键点对应的图像标记出来。例如，通过一个可以调节大小的矩形框，在第一图像中框住关键点处的图像，可以将第一图像中的源对象的眼睛、鼻子和嘴巴分别用矩形框框出来。再例如，可以通过一个“点”，标记第一图像中的关键点处的图像，可以在第一图像中的源对象的眼睛的中心点处、鼻子的中心点处、左嘴角处和右嘴角处显示一个“小红点”，用以标记鼻子、眼睛和嘴巴三个关键点对应的图像。终端可以将已经完成关键点图像位置标记的第一图像输出至应用界面。其中，上述用于对关键点处的图像进行标记的矩形框或者“点”可以称之为第一图像中的图像关键点的标记信息。由上可知，关键点位置信息中的图像关键点的坐标信息可以通过图像关键点的标记信息进行体现，即上述“小红点”处的坐标信息即为图像关键点的坐标信息，可以将图像关键点的坐标信息作为上述“矩形框”的中心点处的坐标信息。可以通过调节图像关键点的标记信息进而调节图像关键点的坐标信息，即通过调节图像关键点的标记信息进而调节第一图像中的关键点位置信息。
步骤S203，响应针对所述应用界面的所述第一图像中的所述源对象的关键点位置信息的调整操作，对所述源对象的关键点位置信息进行调整，得到调整后的关键点位置信息；
具体的，用户可以在应用界面中查看包含图像关键点的标记信息的第一图像，当用户认为图像关键点的标记信息不够准确时，还支持用户对第一图像中的图像关键点的标记信息进行调整。例如，当标记信息为矩形框时，支持用户通过移动矩形框(可以通过按住并拖动矩形框实现)、调节矩形框的长和调节矩形框的宽等操作实现对矩形框的尺寸以及位置的调整。可以将调节之后的矩形框的中心点的坐标信息作为调节之后的图像关键点的坐标信息，即将调节之后的矩形框的中心点的坐标信息作为调节之后的关键点位置信息。可以将上述移动矩形框、调节矩形框的长和调节矩形框的宽等操作称之为上述调整操作。当标记信息为“小红点”时，支持用户移动“小红点”((可以通过按住并拖动“小红点”实现))实现对“小红点”的位置的调整。可以将调整之后的“小红点”的坐标信息作为调节之后的图像关键点的坐标信息，即将调节之后的“小红点”的坐标信息作为调节之后的关键点位置信息。可以将移动“小红点”的操作称之为上述调整操作。
可选的，可以不通过回归网络预先获取第一图像中的图像关键点的坐标信息，即不预先获取第一图像中的关键点位置信息。可以直接将不包含关键点位置信息的第一图像输出至应用界面，响应用户在第一图像中添加图像关键点的关键点位置信息的操作。例如，支持用户在第一图像中添加矩形框或者“小红点”用以标记图像关键点的坐标信息，得到第一图像中的图像关键点的标记信息。可以直接获取用户添加的标记信息对应的坐标信息作为第一图像中的关键点位置信息，并根据该关键点位置信息和第一图像生成第二图像。
步骤S204，根据所述调整后的关键点位置信息更新所述虚拟对象的关键点位置信息，得到所述虚拟对象的更新后的关键点位置信息，根据所述第一特征图和所述更新后的关键点位置信息，生成所述第一图像对应的第二图像；
具体的，通过上述调整操作即可实现对第一图像中通过回归网络得到的关键点位置信息的调整。可以根据调整后的关键点位置信息，更新步骤S201中得到的虚拟对象的关键点位置信息，例如，将调整后的关键点位置信息直接作为更新之后的虚拟对象的关键点位置信息。图像生成模型可以根据更新后的关键点位置信息以及第一特征图，生成第一图像对应的第二图像。通过支持用户对第一图像中的关键点位置信息进行调整，可以进一步提高生成的第二图像中的图像关键点之于第一图像中的图像关键点的位置的准确性。
本申请首先获取包含源对象的第一图像；所述第一图像中包括所述源对象的关键点位置信息；获取所述第一图像对应的第一特征图和所述源对象的关键点位置信息对应的第二特征图，根据所述第二特征图确定所述源对象对应的虚拟对象的关键点位置信息；根据所述第一特征图和所述虚拟对象的关键点位置信息，生成所述第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。由此可见，本申请提出的方法可根据第一图像中的源对象的关键点位置信息，生成包含上述源对象对应的虚拟对象的第二图像，从而提升了畸变生成的虚拟对象的展示效果，且保证了畸变之后的虚拟对象与源对象之间的匹配性，同时通过畸变丰富了生成的虚拟对象的图像内容。
请参见图5a，是本申请提供的另一种图像数据处理方法的流程示意图，如图5a所示，所述方法可以包括：
步骤S401，获取第一样本图像和第二样本图像；所述第一样本图像中包含样本源对象；所述第二样本图像中包含样本虚拟对象；
具体的，获取多个第一样本图像和多个第二样本图像，第一样本图像中包含样本源对象，第二样本图像中包含样本虚拟对象。以样本源对象为样本真实人脸，样本虚拟对象为样本卡通人脸为例进行说明。其中，第一样本图像可以是通过摄像设备拍摄的照片，第二样本图像可以是截取得到的卡通人物图像，第二样本图像还可以是画出来的卡通人脸图像，第一样本图像和第二样本图像还可以是在网络上爬取的图像或者从知名图像数据集中获取到的图像，第一样本图像和第二样本图像的具体来源根据实际应用场景决定，此处不作限制。上述第一样本图像与第二样本图像之间可以没有映射关系，降低了获取训练样本图像的难度。
步骤S402，获取所述样本源对象的关键点位置信息，基于初始图像生成模型、所述第一样本图像和所述样本源对象的关键点位置信息生成所述第一样本图像对应的待判别图像；所述待判别图像中包括所述样本源对象对应的待判别虚拟对象；
具体的，可以通过训练好的回归网络获取样本源对象的关键点位置信息。将上述获取到的第一样本图像、第二样本图像和样本源对象的关键点位置信息输入初始图像生成模型。其中，第一样本图像、第二样本图像和样本源对象的关键点位置信息以特征图的形式输入初始图像生模型。初始图像生成模型中具有初始化的网络参数，可以通过初始图像生成模型根据样本源对象的关键点位置信息，生成第一样本图像对应的待判别图像。该待判别图像中包括样本源对象对应的待判别虚拟对象，该待判别虚拟对象为样本真实人脸对应的待判别卡通人脸。其中，上述初始图像生成模型可以是生成式对抗网络(GAN,GenerativeAdversarial Networks)，生成式对抗网络是一种无监督学习的深度学习模型。该生成式对抗网络中包括两个模块，分别为生成网络和判别网络，即对初始图像生成模型进行训练，即是指对模型中的生成网络与判别网络的训练。生成网络可以生成待判别图像，判别网络可以对生成网络生成的待判别图像进行判别，并得到针对待判别图像为真实图像的判别概率。其中，本申请中需要生成网络根据第一样本图像尽可能地生成卡通类型的人脸图像，而判别网络是尽可能要判别出生成网络生成的卡通类型的图像为根据第一样本图像仿真得到的图像，而非是真实采集到的卡通类型的图像。因此，对生成式对抗网络进行训练的过程实际是生成网络与判别网络之间的博弈学习过程，训练过程就是在生成网络生成的图像的真实性和判别网络判别生成网络生成的图像的准确性之间寻找一个平衡。在生成网络尽可能生成卡通类型的人脸图像，而判别网络判别不出生成网络生成的图像是仿真得到的卡通图像还是真实采集到的卡通图像时，对抗式生成网络的效果达到最好。由上可知，初始图像生成模型的网络参数包括生成网络的网络参数和判别网络的网络参数，可以将生成网络的网络参数称之为第一网络参数，将判别网络的网络参数称之为第二网络参数。
步骤S403，基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象修正所述初始图像生成模型的网络参数；
具体的，初始图像生成模型中包括生成网络的网络参数(可以称之为第一网络参数)和判别网络的网络参数(可以称之为第二网络参数)。可以通过生成网络对应的损失函数，以样本源对象和样本虚拟对象为依据，对待判别虚拟对象进行判别。可以通过判别网络对应的损失函数，以样本源对象和样本虚拟对象为依据，对待判别虚拟对象进行判别。通过生成网络对待判别虚拟对象的判别结果和判别网络对待判别虚拟对象的判别结果，修正上述第一网络参数和第二网络参数。具体的参数修正过程可以参见下述图5b对应的实施例。
步骤S404，将包含修正后的网络参数的初始图像生成模型确定为图像生成模型；所述图像生成模型用于生成包含源对象的第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象；
具体的，将通过上述第一梯度图与第二梯度图，对初始图像生成模型中的第一网络参数和第二网络参数修正完成之后的初始图像生成模型，称之为图像生成模型。修正完成的依据可以是对初始图像生成模型的训练次数，即当训练次数达到预设的次数值时，可以判定初始图像生成模型中的第一网络参数和第二网络参数修正完成。该图像生成模型可以用于生成包含源对象的第一图像对应的第二图像，即图像生成模型可以根据输入的包含真实人脸的第一图像，生成包含第一图像中的真实人脸对应的卡通人脸的第二图像。
本申请首先获取第一样本图像和第二样本图像；所述第一样本图像中包含样本源对象；所述第二样本图像中包含样本虚拟对象；获取所述样本源对象的关键点位置信息，基于初始图像生成模型、所述第一样本图像和所述样本源对象的关键点位置信息生成所述第一样本图像对应的待判别图像；所述待判别图像中包括所述样本源对象对应的待判别虚拟对象；基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象修正所述初始图像生成模型的网络参数；将包含修正后的网络参数的初始图像生成模型确定为图像生成模型；所述图像生成模型用于生成包含源对象的第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。由此可见，本申请提出的方法可根据第一样本图像中的样本源对象的关键点位置信息，生成包含上述样本源对象对应的待判别虚拟对象的待判别图像，从而提升了畸变生成的待判别对象的展示效果，且保证了畸变之后的待判别虚拟对象与样本源对象之间的匹配性，同时通过畸变丰富了生成的待判别虚拟对象的图像内容。
请参见图5b，是本申请提供的另一种图像数据处理方法的流程示意图，如图5b所示，所述方法可以包括：
步骤S301，获取第一样本图像和第二样本图像；所述第一样本图像中包含样本源对象；所述第二样本图像中包含样本虚拟对象；
步骤S302，获取所述样本源对象的关键点位置信息，基于初始图像生成模型、所述第一样本图像和所述样本源对象的关键点位置信息生成所述第一样本图像对应的待判别图像；所述待判别图像中包括所述样本源对象对应的待判别虚拟对象；
其中，上述步骤S301-步骤S302的具体实现过程可以参见上述图5对应的实施例中对步骤S401-步骤S402的描述，这里不再进行赘述。
步骤S303，基于所述样本虚拟对象、所述待判别虚拟对象和无条件判别器对应的损失函数，获取用于修正第一网络参数的第一梯度图以及用于修正第二网络参数的第二梯度图；
具体的，可以从多个第二样本图像中随机选择一个第二样本图像作为判别图像，通过该判别图像对上述待判别图像进行判别。其中，初始图像生成网络的判别网络中包括无条件判别器，可以将选出的判别图像和待判别图像输入判别网络中的无条件判别器，作为无条件判别器对应的损失函数中的输入数据。其中，可以先生成判别图像对应的特征图与待判别图像对应的特征图，以特征图的形式将判别图像和待判别图像输入判别网络中的无条件判别器，作为无条件判别器对应的损失函数中的输入数据。其中，判别图像中包括真实卡通类型的样本卡通人脸(即样本虚拟对象)，待判别图像中包括生成器生成的仿真卡通类型的待判别卡通人脸(即待判别虚拟对象)。无条件判别器可以通过判别图像中的样本卡通人脸，判别待判别图像中的待判别卡通人脸为卡通类型人脸的概率。其中，无条件判别器通过自身的损失函数对待判别卡通人脸的卡通类型进行判别，无条件判别器的损失函数如公式(1)所示：
其中，x表示输入的待判别图像，y表示输入的判别图像，G表示生成网络，用于生成待判别图像。D表示无条件判别器对应的判别器网络，用于判别待判别图像属于卡通类型图像的概率。θg表示生成网络的网络参数，θd表示无条件判别器的网络参数。E代表对于所有y的输入，函数f(y)得到的期望值(或者可以理解为平均值)。
当无条件判别器对应的损失函数达到最小值时，可以获取到用于修正初始图像生成模型的第一网络参数的第一梯度图，该第一梯度图表征了无条件判别器判别出的第一网络参数θg需要修正的方向，且该第一梯度图与输入模型的待判别图像的尺寸大小一致。例如，需要生成网络生成的图像更亮或者色彩对比度更高等，则可以根据第一梯度图修正第一网络参数，使得生成网络生成的图像更亮或者色彩对比度更高等。当无条件判别器对应的损失函数达到最大值时，可以获取到用于修正初始图像生成模型的第二网络参数的第二梯度图，该第二梯度图表征了无条件判别器的网络参数θd需要修正的方向，且该第二梯度图与输入模型的待判别图像的尺寸大小一致。通过无条件判别器可以在整体上对生成网络生成的待判别图像中的待判别虚拟对象为卡通类型图像的概率进行判别。
步骤S304，基于所述样本源对象、所述样本虚拟对象、所述待判别虚拟对象和有条件判别器对应的损失函数，获取用于修正第一网络参数的第一梯度图以及用于修正第二网络参数的第二梯度图；
具体的，上述判别网络中包括有条件判别器，首先，可以获取第一样本图像中的样本源对象的关键点位置信息，进而得到样本源对象的关键点位置信息对应的特征图、第二样本图像对应的特征图和待判别图像对应的特征图，将第一样本图像的特征图、第二样本图像的特征图和待判别图像的特征图输入判别网络中的有条件判别器，作为有条件判别器对应的损失函数中的输入数据。有条件判别器可以在考虑样本源对象对应的关键点位置信息的基础上，在整体上对待判别图像为卡通类型图像的概率进行判别。即在整体上对待判别图像的卡通图像类型进行判别时，还会通过样本源对象的关键点位置信息判别待判别虚拟对象中的关键点位置信息是否准确，判别的方向即是希望样本源对象中的关键点位置信息与待判别虚拟对象中的关键点位置信息一致。通过有条件判别器的判别结果可以使得生成网络生成的待判别图像与第一样本图像更加匹配。其中，有条件判别器的损失函数如公式(2)所示：
其中，为有条件判别器的损失函数，x表示输入的待判别图像，y表示输入的判别图像，l表示第一样本图像中的样本源对象的关键点位置信息对应的特征图，X表示输入的图像集合(包括多个第一样本图像与多个第二样本图像)，Y表示生成的图像集合(包括多个第一样本图像对应的多个待判别图像)，L表示关键点集合(即多个第一样本图像对应的多个图像关键点的集合)。G表示生成网络，用于生成待判别图像。DY表示有条件判别器对应的判别器网络，用于判别待判别图像属于卡通类型图像的概率以及待判别图像中的关键点位置信息的准确性。θg表示生成网络的网络参数，表示有条件判别器的网络参数。Ex代表对于所有x的输入，函数f(x)＝log(1-DY(G(X,L)→Y(x,l),l))得到的期望值(或者可以理解为平均值)，Ey代表对于所有y的输入，函数f(y)＝logDY(y,l)得到的期望值(或者可以理解为平均值)。
当有条件判别器对应的损失函数达到最小值时，可以获取到用于修正初始图像生成模型的第一网络参数的第一梯度图，该第一梯度图表征了有条件判别器判别出的第一网络参数θg需要修正的方向，且该第一梯度图与输入模型的待判别图像的尺寸大小一致。例如，需要生成网络生成的图像更亮或者色彩对比度更高等，则可以根据第一梯度图修正第一网络参数，使得生成网络生成的图像更亮或者色彩对比度更高等。当有条件判别器对应的损失函数达到最大值时，可以获取到用于修正初始图像生成模型的第二网络参数的第二梯度图，该第二梯度图表征了有条件判别器的网络参数需要修正的方向，且该第二梯度图与输入模型的待判别图像的尺寸大小一致。通过有条件判别器可以在整体上对生成网络生成的待判别图像中的待判别虚拟对象为卡通类型图像的概率进行判别，还可以对待判别图像中的关键点位置信息与其对应的第一样本图像中的关键点位置信息是否一致进行判别。
步骤S305，基于所述样本虚拟对象、所述待判别虚拟对象和局部判别器对应的损失函数，获取用于修正第一网络参数的第一梯度图以及用于修正第二网络参数的第二梯度图；
具体的，上述判别网络包括局部判别器，该局部判别器为针对待判别图像中的图像关键点处的图像进行判别，此处以对待判别图像中的待判别卡通人脸的眼睛、鼻子和嘴巴进行判别为例。则判别网络中包括眼睛对应的局部判别器、鼻子对应的局部判别器和嘴巴对应的局部判别器。可以在多个第一样本图像中随机选择用于对局部图像(包括眼睛对应的局部图像、鼻子对应的局部图像和嘴巴对应的局部图像)进行判别的判别图像。可以截取选出的判别图像中的样本关键点局部图像(包括判别图像中的样本眼部图像、样本鼻部图像和样本嘴巴图像)，同时截取待判别图像中的关键点局部图像(包括待判别图像中的眼部图像、鼻部图像和嘴部图像)。上述关键点局部图像与样本关键点局部图像为同类型局部图像，即关键点局部图像与样本关键点局部图像中包含同为眼睛对应的局部图像、同为鼻子对应的局部图像和同为嘴巴对应的局部图像。可以通过上述截取得到的样本眼部图像以及眼睛对应的局部判别器，判别截取到的眼部图像为眼部类型的概率；可以通过上述截取得到的样本鼻部图像以及鼻子对应的局部判别器，判别截取到的鼻部图像为鼻部类型的概率；可以通过上述截取得到的样本嘴部图像以及嘴巴对应的局部判别器，判别截取到的嘴部图像为嘴部类型的概率。其中，局部判别器的损失函数如公式(3)所示：
其中，代表上述三个局部判别器(包括眼睛对应的局部判别器、鼻子对应的局部判别器和嘴巴对应的局部判别器)的损失函数之和。i代表第几个局部判别器，i的取值可以是1，2和3。i取1可以代表是眼睛对应的局部判别器，i取2可以代表是鼻子对应的局部判别器，i取3可以代表是嘴巴对应的局部判别器。其中，i的不同取值分别代表哪个局部判别器根据实际应用场景决定，这里不作限制。根据i不同的取值，表示不同的局部判别器的损失函数。λli代表根据i不同的取值每个局部判别器损失函数占三个损失函数的权重。P指图像块(patch)，yp代表从判别图像中截取的样本关键点局部图像(包括样本眼部图像，样本鼻部图像和样本嘴部图像)，代表从待判别图像中截取的关键点局部图像。根据i不同的取值，表示不同的局部判别器。表示根据i不同的取值，上述三个局部判别器分别对应的网络参数，θg表示生成网络的网络参数。Ex代表对于所有x的输入，函数得到的期望值(或者可以理解为平均值)，Ey代表对于所有y的输入，函数得到的期望值(或者可以理解为平均值)。
通过上述三个局部判别器分别对在待判别图像中截取得到的眼部图像、鼻部图像和嘴部图像进行判别。当局部判别器对应的损失函数达到最小值时，可以获取到用于修正初始图像生成模型的第一网络参数的第一梯度图，该第一梯度图的尺寸与输入的关键点局部图像的尺寸一致，该第一梯度图表征了局部判别器判别出的第一网络参数θg需要修正的方向。当局部判别器对应的损失函数达到最大值时，可以获取到用于修正初始图像生成模型的第二网络参数的第二梯度图，该第二梯度图的尺寸与输入的关键点局部图像的尺寸一致，该第二梯度图表征了局部判别器的网络参数需要修正的方向。通过局部判别器可以对生成网络生成的待判别图像中的关键点局部图像进行判别，通过局部判别器的判别结果，可以鼓励生成网络生成更逼真的局部图像，包括更逼真的眼睛、鼻子和嘴巴。可以将上述三个局部判别器分别得到的三个第一梯度图进行合并，基于合并之后的第一梯度图修正生成网络的网络参数。
步骤S306，基于所述样本源对象、所述待判别虚拟对象、所述生成网络对应的损失函数和所述第一梯度图修正所述第一网络参数，基于所述第二梯度图修正所述第二网络参数；
具体的，生成网络中包含关键点一致性损失函数，该关键点一致性损失函数可以监督生成网络的学习，生成网络的关键点一致性损失函数如公式(4)所示：
其中，LC(G(X,L)→Y)为关键点一致性损失函数的表示形式，G(X,L)→Y表示从第一样本图像生成待判别图像的生成网络，RY表示脸部关键点回归网络，用于获取待判别图像中的关键点位置信息。xlm表示输入生成网络的第一样本图像中的关键点位置信息，θg表示生成网络的网络参数。通过上述关键点一致性损失函数，希望训练生成网络至，生成网络生成的待判别图像中的关键点位置信息与第一样本图像中的关键点位置信息保持一致。
当上述关键点一致性损失函数取得最小值时，可以获取用户修正生成网络的网络参数的第三梯度图，通过第三梯度图修正生成网络的网络参数，使得生成网络生成的卡通人脸图像可以与所对应的真实人脸图像中的关键点位置信息保持一致。
可以将判别网络得到的第一梯度图反向传播给生成网络，使得可以通过判别网络得到的第一梯度图对生成网络的网络参数进行修正。其中，可以将上述得到的第三梯度图与上述得到的第一梯度图进行合并，合并的方式可以是将梯度图中对应位置处的像素值相加，得到合并梯度图，可以通过该合并梯度图修正图像生成模型的网络参数。可以通过上述每个判别器得到的第二梯度图分别对应修正判别器自己的网络参数，即通过无条件判别器得到的第二梯度图修正无条件判别器的网络参数，通过有条件判别器得到的第二梯度图修正有条件判别器的网络参数，通过眼睛对应的局部判别器得到的第二梯度图修正眼睛对应的局部判别器的网络参数，通过鼻子对应的局部判别器得到的第二梯度图修正鼻子对应的局部判别器的网络参数，通过嘴巴对应的局部判别器得到的第二梯度图修正嘴巴对应的局部判别器的网络参数。
步骤S307，将包含修正后的网络参数的初始图像生成模型确定为图像生成模型；所述图像生成模型用于生成包含源对象的第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象；
其中，上述步骤S307的具体实现过程可以参见上述图5a对应的实施例中对步骤S404的描述，这里不再进行赘述。
本申请首先获取第一样本图像和第二样本图像；所述第一样本图像中包含样本源对象；所述第二样本图像中包含样本虚拟对象；获取所述样本源对象的关键点位置信息，基于初始图像生成模型、所述第一样本图像和所述样本源对象的关键点位置信息生成所述第一样本图像对应的待判别图像；所述待判别图像中包括所述样本源对象对应的待判别虚拟对象；基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象修正所述初始图像生成模型的网络参数；将包含修正后的网络参数的初始图像生成模型确定为图像生成模型；所述图像生成模型用于生成包含源对象的第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。由此可见，本申请提出的方法可根据第一样本图像中的样本源对象的关键点位置信息，生成包含上述样本源对象对应的待判别虚拟对象的待判别图像，从而提升了畸变生成的待判别对象的展示效果，且保证了畸变之后的待判别虚拟对象与样本源对象之间的匹配性，同时通过畸变丰富了生成的待判别虚拟对象的图像内容。
请参见图6，是本申请提供的一种生成网络的结构示意图。如图6所示，初始图像生成模型可以是生成式对抗网络，生成式对抗网络采用了双生成网络的设计，该双生成网络包括正向的生成网络和反向的生成网络。其中，正向的生成网络用于根据输入的包含真实人脸的图像t1，对应生成包含该真实人脸对应的卡通人脸的图像t2。反向的生成网络用于根据正向的生成网络生成的包含卡通人脸的图像t2对称生成该卡通人脸对应的真实人脸的图像t3。通过正向的生成网络与反向的生成网络的生成结果之间的相互约束，可以有效提高初始图像生成模型的收敛效果。其中，初始图像生成模型的收敛与否的判断，可以根据样本对初始图像生成模型的训练次数判断。即可以设置一个次数阈值，当通过大量样本对初始图像生成模型的训练次数达到该次数阈值时，则可以认为初始图像生成模型已经训练至收敛状态。例如，设置次数阈值为2000次，则当通过大量样本对初始图像生成模型训练2000次时，则可以判定初始图像生成模型已经训练至收敛状态，可以将此时训练至收敛状态的初始图像生成模型称之为上述图像生成模型。
其中，上述正向的生成网络与反向的生成网络的训练过程是一致的，只是两个生成网络的输入与输出不同。正向的生成网络的输入为包含真实人脸的图像t1，输出为包含卡通人脸的图像t2，因此，判别网络是对图像t2进行判别的，判别的内容包括上述五种判别器对图像t2的判别内容，包括判别图像t2为卡通人脸类型图像的概率、判别图像t2中的关键点位置信息是否准确、判别图像t2中的关键点局部图像是否逼真。反向的生成网络的输入为包含卡通人脸的图像t2，输出为包含真实人脸的图像t3，因此，判别网络是对图像t3是否为真实类型图像进行判别，判别的内容包括上述五种判别器对图像t3的判别内容，包括判别图像t3为真实人脸类型图像的概率、判别图像t3中的关键点位置信息是否准确、判别图像t3中的关键点局部图像是否逼真。可以分别训练两个判别网络，一个判别网络用于对正向的生成网络的数据进行判别，即对初始图像生成模型中，正向的生成网络所生成的卡通图像(例如待判别图像)是否为卡通类型图像进行判别，正向的判别网络可以同时包含上述5个判别器(即上述3个局部判别器、有条件判别器和无条件判别器)，通过此5个判别器可以以样本卡通图像(例如第二样本图像)为判别依据，对正向的生成网络生成的卡通图像进行判别；另一个判别网络用于对反向的生成网络的数据进行判别，即对初始图像生成模型中，反向的生成网络所生成的真实图像是否为真实类型图像(指包含真实人脸的图像)进行判别，反向的判别网络也可以同时包含上述5个判别器，只是此时反向的判别网络是以样本真实图像(例如第一样本图像)为判别依据，对反向的生成网络生成的真实图像进行判别。上述正向的判别网络与反向的判别网络的训练与判别过程一致，只是，判别对象的图像类型与判别依据的图像类型相反。由于一个判别网络或者一个生成网络中往往会包含若干个子网络层，上述在对判别网络以及生成网络进行网络参数的修正的目的，就是得到网络中每个子网络层分别对应的不同权重值，使得最后网络中的所有子网络层的共同作用效果最佳。
初始图像生成模型的训练目的就是想要将模型中正向的生成网络的网络参数训练至最优的结果，因此，上述判别网络的训练、正向的生成网络的训练和反向的生成网络的训练都是旨在通过训练结果不断修正正向的生成网络的网络参数，使得正向的生成网络根据向其输入的包含真实人脸的图像，生成的包含该真实人脸对应的卡通人脸的图像的图像展示效果更好，匹配度更高。在应用图像生成模型时，由于图像生成模型中的第一网络参数(即生成网络的网络参数)和第二网络参数(即判别网络的网络参数)都已被训练完成，因此，在向图像生成模型中输入第一图像时，只需要使用图像生成模型中正向的生成网络生成第一图像对应的第二图像。
可选的，图像生成模型中可以同时包括上述5个判别器，即图像生成模型中可以包括无条件判别器、有条件判别器、眼睛对应的局部判别器、鼻子对应的局部判别器和嘴巴对应的局部判别器。请参见图7，是本申请提供的一种模型训练的框架示意图。如图7所示，图像c1为向初始图像生成模型输入的第一样本图像，图像c1中包含真实人脸图像。信息c2为图像c1中的关键点位置信息，该关键点位置信息中包括图像c1中的图像关键点处的坐标信息，此处以图像c1中的图像关键点为其所包含的真实人脸的左眼睛的中心点、右眼睛的中心点、鼻子的中心点、左嘴角和右嘴角为例进行说明。即信息c1中包括图像c1中的左眼睛的中心点的坐标信息、右眼睛的中心点的坐标信息、鼻子的中心点的坐标信息、左嘴角的坐标信息以及右嘴角的坐标信息。将图像c1与信息c2输入初始图像生成模型正向的生成网络c3中，通过网络c3可以生成图像c1对应的图像c4(可以称之为待判别图像)，图像c4中包含的卡通人脸与图像c1中包含的真实人脸相对应。可以通过回归网络得到图像c4中的关键点位置信息c5，图像c4中的关键点位置信息c5与图像c1中的关键点位置信息c2相对应，即信息c5中也包括图像c4中所包含的卡通人脸的左眼睛的中心点的坐标信息、右眼睛的中心点的坐标信息、鼻子的中心点的坐标信息、左嘴角的坐标信息以及右嘴角的坐标信息。可以通过信息c5所指向的图像关键点位置，在图像c4中截取关键点局部图像，该关键点局部图像包括左眼图像d1、右眼图像d2、鼻子图像d3和嘴巴图像d4，可以基于得到的关键点局部图像训练局部判别器。其中，可以将图像c1和信息c2输入判别网络w中，作为判别网络w中的判别器对图像进行判别的依据(也可称之为判别的条件信息)。将上述图像c4、信息c5、左眼图像d1、右眼图像d2、鼻子图像d3和嘴巴图像d4输入判别网络w，作为判别网络w中的判别器判别的对象。其中，无条件判别器p1判别的对象为图像c4，即无条件判别器p1需要对图像c4为卡通类型图像的概率进行判别。有条件判别器p2判别的对象为图像c4和信息c5，即有条件判别器p2需要在判断c5中的关键点位置信息是否准确的前提下，再从整体上对图像c4为卡通类型图像的概率进行判别。请参见图8，是本申请提供的一种训练过程的场景示意图。如图8所示，需要将信息c2作为条件输入，与图像c4一起输入有条件判别器p2中进行判别。眼部判别器p3(即眼睛对应的局部判别器)判别的对象为图像d1和图像d2，即眼部判别器p3需要对图像d1和图像d2为眼睛这一器官的的概率进行判别。鼻部判别器p4(即鼻部对应的局部判别器)判别的对象为图像d3，即鼻部判别器p4需要对图像d3为鼻子这一器官的的概率进行判别。嘴部判别器p5(即嘴部对应的局部判别器)判别的对象为图像d4，即嘴部判别器p5需要对图像d4为嘴巴这一器官的的概率进行判别。上述生成网络的关键点一致性损失函数就是针对信息c2和信息c5的损失函数，该关键点一致性损失函数的目的就是监督生成网络生成的图像c4中的关键点位置信息要与输入的图像c1中的关键点位置信息一致，即保持信息c2与信息c5一致。其中，由于上述无条件判别器p1和有条件判别器p2都是从整体上对图像c4进行判别，因此，可以将无条件判别器p1和有条件判别器p2统称为全局判别器j1。由于上述眼部判别器p3、鼻部判别器p4和嘴部判别器p5是从局部对图像c4进行判别，因此，可以将眼部判别器p3、鼻部判别器p4和嘴部判别器p5统称为局部判别器j2。通过上述全局判别器可以引导生成网络生成逼真的色彩和纹理，且可以保持生成的卡通人脸与所对应的真实人脸之间的位置关键点信息一致。通过上述三个局部判别器可以引导生成网络生成的待判别图像中的卡通人脸的眼睛、鼻子和嘴巴更加逼真，进而可以提升图像生模型生成的第二图像的展示效果。其中，上述图像c1中的关键点位置信息与图像c4中的关键点位置信息，可以分别通过预先学习得到的两个回归网络获取。即可以学习两个回归网络，一个回归网络用于提取包含真实人脸的图像的关键点位置信息，另一个回归网络用于提取包含卡通人脸的图像的关键点位置信息，两个回归网络的网络结构可以相同，只需要根据获取关键点位置信息的对象(包括样本源对象和样本虚拟对象)分别设置不同的网络参数。
请参见图9，是本申请提供的一种修正网络参数的场景示意图。如图9所示，梯度图t1为通过无条件判别器得到的第一梯度图，梯度图t2为通过有条件判别器得到的第一梯度图，梯度图t3为通过眼部判别器得到的第一梯度图，梯度图t4为通过鼻部判别器得到的第一梯度图，梯度图t5为通过嘴部判别器得到的第一梯度图。可以将上述5个梯度图(包括梯度图t1、梯度图t2、梯度图t3、梯度图t4和梯度图t5)进行合并，即，将五个梯度图中对应位置的像素值相加，得到5个第一梯度图对应的合并梯度图。其中，无条件判别器与有条件判别器对应的第一梯度图的尺寸相同，可以将梯度图t1与梯度图t2中相同像素坐标位置处的像素值相加，得到无条件判别器与有条件判别器对应的合并梯度图。将上述三个局部判别器得到的三个局部图像的第一梯度图中的像素值，对应与无条件判别器与有条件判别器对应的合并梯度图中的局部位置的像素值相加，即将梯度图t3中的像素值与无条件判别器与有条件判别器对应的合并梯度图中眼睛处对应的像素值相加，将梯度图t4中的像素值与无条件判别器与有条件判别器对应的合并梯度图中鼻子处对应的像素值相加，将梯度图t5中的像素值与无条件判别器与有条件判别器对应的合并梯度图中嘴巴处对应的像素值相加。通过上述合并梯度图的过程，可以得到上述五个判别器对应的合并梯度图t6。可以将合并梯度图t6返回输入到生成网络，生成网络可以通过该合并梯度图t6修正第一网络参数(即生成网络的网络参数)。可选的，生成网络本身也具有损失函数，该损失函数可以是上述描述的关键点一致性损失函数，通过该关键点一致性损失函数可以得到第三梯度图t7，第三梯度图t7也是用于修正第一网络参数的梯度图。可以将梯度图t7与上述合并梯度图t6进行合并，合并的方式与上述多个第一梯度图的合并方式相同，也是将梯度图t7与合并梯度图t6中对应位置处的像素相加，得到梯度图t7与合并梯度图t6对应的合并梯度图t8。可以通过此时得到的梯度图t8修正初始图像生成模型c3的第一网络参数，当初始图像生成模型c3的第一网络参数与第二网络参数均已修正完成，则可以将此时的初始图像生成模型c3称之为图像生成模型m，该图像生成模型m可以根据向其输入的包含真实人脸的第一图像对应生成包含卡通人脸的第二图象。其中，可以分别设置上述每一个判别器(包括判别器p1、判别器p2、判别器p3、判别器p4、判别器p5)对应的损失函数占所有判别器对应的损失函数中的权重值，根据权重值得到每个判别器最终的损失函数值。例如，将每个判别器判别得到的损失函数值(例如判别出待判别图像为卡通人脸图像的概率)分别与其对应的权重值相乘，得到每个判别器最终的损失函数值，根据每个判别器最终的损失函数值分别得到每个判别器对应的第一梯度图。将每个判别器对应的第一梯度图进行合并，得到合并梯度图，进而可以将该合并梯度图反向传播给生成网络，以根据该合并梯度图修正生成网络的网络参数。通过设置不同判别器的损失函数的不同权重值，可以更加有效地实现多个判别器判别的共同结果作用于生成网络的效果。
可选的，判别网络中的判别器的类型和个数可以根据实际应用场景决定。可以在上述五个判别器(包括判别器p1、判别器p2、判别器p3、判别器p4、判别器p5)中选择用于进行图像判别的判别器。即可以在上述判别器p1、判别器p2、判别器p3、判别器p4、判别器p5中选择其中一个判别器作为上述初始图像生成模型中的判别器。例如，可以选择判别器p1作为初始图像生成模型中的判别器，或者可以选择判别器p2作为初始图像生成模型中的判别器，或者可以选择判别器p3作为初始图像生成模型中的判别器，或者可以选择判别器p4作为初始图像生成模型中的判别器，或者可以选择判别器p5作为初始图像生成模型中的判别器。可以在上述判别器p1、判别器p2、判别器p3、判别器p4、判别器p5中选择其中两个判别器作为上述初始图像生成模型中的判别器。例如，可以选择判别器p1和判别器p2作为初始图像生成模型中的判别器，或者可以选择判别器p1和判别器p3作为初始图像生成模型中的判别器，或者可以选择判别器p1和判别器p4作为初始图像生成模型中的判别器，或者可以选择判别器p1和判别器p5作为初始图像生成模型中的判别器，或者可以选择判别器p2和判别器p3作为初始图像生成模型中的判别器，或者可以选择判别器p2和判别器p4作为初始图像生成模型中的判别器，或者可以选择判别器p2和判别器p5作为初始图像生成模型中的判别器，或者可以选择判别器p3和判别器p4作为初始图像生成模型中的判别器，或者可以选择判别器p3和判别器p5作为初始图像生成模型中的判别器，或者可以选择判别器p4和判别器p5作为初始图像生成模型中的判别器。可以在上述判别器p1、判别器p2、判别器p3、判别器p4、判别器p5中选择其中三个判别器作为上述初始图像生成模型中的判别器。例如，可以选择判别器p1、判别器p2和判别器p3作为初始图像生成模型中的判别器，或者可以选择判别器p1、判别器p2和判别器p4作为初始图像生成模型中的判别器，或者可以选择判别器p1、判别器p2和判别器p5作为初始图像生成模型中的判别器，或者可以选择判别器p2、判别器p3和判别器p4作为初始图像生成模型中的判别器，或者可以选择判别器p2、判别器p3和判别器p5作为初始图像生成模型中的判别器，或者可以选择判别器p3、判别器p4和判别器p5作为初始图像生成模型中的判别器，或者可以选择判别器p1、判别器p3和判别器p4作为初始图像生成模型中的判别器，或者可以选择判别器p1、判别器p3和判别器p5作为初始图像生成模型中的判别器，或者可以选择判别器p2、判别器p4和判别器p5作为初始图像生成模型中的判别器，或者可以选择判别器p1、判别器p4和判别器p5作为初始图像生成模型中的判别器。可以在上述判别器p1、判别器p2、判别器p3、判别器p4、判别器p5中选择其中四个判别器作为上述初始图像生成模型中的判别器。例如，可以选择判别器p2、判别器p3、判别器p4和判别器p5作为初始图像生成模型中的判别器，或者可以选择判别器p1、判别器p3、判别器p4和判别器p5作为初始图像生成模型中的判别器，或者可以选择判别器p1、判别器p2、判别器p4和判别器p5作为初始图像生成模型中的判别器，或者可以选择判别器p1、判别器p2、判别器p3和判别器p5作为初始图像生成模型中的判别器，或者可以选择判别器p1、判别器p2、判别器p3和判别器p4作为初始图像生成模型中的判别器。还可以直接将上述五个判别器一起作为初始图像生成模型中的判别器。通过选择不同类型以及数量的判别器作为初始图像生成模型的判别器，可以使得初始图像生成模型生成图像的效果不同，具体选择什么类型的判别器以及选择几个判别器根据实际应用场景决定，这里不做限制。在实际应用场景中，也可根据图像需要进行判别的侧重点，选择不同类型以及不同数量的判别器作为模型中的判别器。
请参见图10，是本申请提供的一种图像数据处理装置的结构示意图。如图10所示，该图像数据处理装置1可以包括：第一获取模块11、位置确定模块12和第一生成模块13。
第一获取模块11，用于获取包含源对象的第一图像；所述第一图像中包括所述源对象的关键点位置信息；
位置确定模块12，获取所述第一图像对应的第一特征图和所述源对象的关键点位置信息对应的第二特征图，根据所述第二特征图确定所述源对象对应的虚拟对象的关键点位置信息；
第一生成模块13，用于根据所述第一特征图和所述虚拟对象的关键点位置信息，生成所述第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。
其中，所述第一获取模块11、位置确定模块12和第一生成模块13的具体功能实现方式请参见图3对应的实施例中的步骤S101-步骤S103，这里不再进行赘述。
其中，所述图像数据处理装置1，还包括：关键点确定模块14和坐标确定模块15。
关键点确定模块14，用于基于回归网络确定所述第一图像中的所述源对象对应的图像关键点；
坐标确定模块15，用于确定所述图像关键点在所述第一图像中的坐标信息，作为所述源对象的关键点位置信息。
其中，所述关键点确定模块13和坐标确定模块14的具体功能实现方式请参见图3对应的实施例中的步骤S101，这里不再进行赘述。
其中，所述第一生成模块13，包括：输出单元131、调整单元132和第一生成单元133。
输出单元131，用于将包含所述源对象对应的关键点位置信息的第一图像输出至应用界面；
调整单元132，用于响应针对所述应用界面的所述第一图像中的所述源对象的关键点位置信息的调整操作，对所述源对象的关键点位置信息进行调整，得到调整后的关键点位置信息；
第一生成单元133，用于根据所述调整后的关键点位置信息更新所述虚拟对象的关键点位置信息，得到所述虚拟对象对应的更新后的关键点位置信息，根据所述第一特征图和所述更新后的关键点位置信息，生成所述第一图像对应的第二图像。
其中，所述输出单元131、调整单元132和第一生成单元133的具体功能实现方式请参见图4对应的实施例中的步骤S202-步骤S204，这里不再进行赘述。
本申请首先获取包含源对象的第一图像；所述第一图像中包括所述源对象的关键点位置信息；获取所述第一图像对应的第一特征图和所述源对象的关键点位置信息对应的第二特征图，根据所述第二特征图确定所述源对象对应的虚拟对象的关键点位置信息；根据所述第一特征图和所述虚拟对象的关键点位置信息，生成所述第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。由此可见，本申请提出的方法可根据第一图像中的源对象的关键点位置信息，生成包含上述源对象对应的虚拟对象的第二图像，从而提升了畸变生成的虚拟对象的展示效果，且保证了畸变之后的虚拟对象与源对象之间的匹配性，同时通过畸变丰富了生成的虚拟对象的图像内容。
请参见图11，是本申请提供的另一种图像数据处理装置的结构示意图。如图11所示，该图像数据处理装置2可以包括：第二获取模块21、第二生成模块22、修正模块23和模型确定模块24。
第二获取模块21，用于获取第一样本图像和第二样本图像；所述第一样本图像中包含样本源对象；所述第二样本图像中包含样本虚拟对象；
第二生成模块22，用于获取所述样本源对象的关键点位置信息，基于初始图像生成模型、所述第一样本图像和所述样本源对象的关键点位置信息生成所述第一样本图像对应的待判别图像；所述待判别图像中包括所述样本源对象对应的待判别虚拟对象；
修正模块23，用于基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象修正所述初始图像生成模型的网络参数；
模型确定模块24，用于将包含修正后的网络参数的初始图像生成模型确定为图像生成模型；所述图像生成模型用于生成包含源对象的第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。
其中，所述第二获取模块21和第二生成模块22的具体功能实现方式请参见图5b对应的实施例中的步骤S301-步骤S302，所述修正模块23的具体功能实现方式请参见图5b对应的实施例中的步骤S303-步骤S306，所述模型确定模块24的具体功能实现方式请参见图5b对应的实施例中的步骤S307，这里不再进行赘述。
其中，所述初始图像生成模型的网络参数包括生成网络的第一网络参数和判别网络的第二网络参数；
所述修正模块23，包括：梯度图获取单元231和修正单元232。
梯度图获取单元231，用于基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象和所述判别网络对应的损失函数，获取用于修正所述第一网络参数的第一梯度图以及用于修正所述第二网络参数的第二梯度图；
修正单元232，用于基于所述样本源对象、所述待判别虚拟对象、所述生成网络对应的损失函数和所述第一梯度图修正所述第一网络参数，基于所述第二梯度图修正所述第二网络参数。
其中，所述梯度图获取单元231的具体功能实现方式请参见图5b对应的实施例中的步骤S303-步骤S305，所述修正单元232的具体功能实现方式请参见图5b对应的实施例中的步骤S306，这里不再进行赘述。
其中，所述判别网络包括无条件判别器；
所述梯度图获取单元231，包括：第一确定子单元23101、第一获取子单元23102和第二获取子单元23103。
第一确定子单元23101，用于将所述样本虚拟对象对应的特征图和所述待判别虚拟对象对应的特征图，确定为所述无条件判别器对应的损失函数中的输入数据；
第一获取子单元23102，用于当所述无条件判别器对应的损失函数达到最小值时，获取所述第一梯度图；
第二获取子单元23103，用于当所述无条件判别器对应的损失函数达到最大值时，获取所述第二梯度图。
其中，所述第一确定子单元23101、第一获取子单元23102和第二获取子单元23103的具体功能实现方式请参见图5b对应的实施例中的步骤S303，这里不再进行赘述。
其中，所述判别网络包括有条件判别器；
所述梯度图获取单元231，包括：第二确定子单元23104、第三获取子单元23105和第四获取子单元23106。
第二确定子单元23104，用于将所述样本源对象的关键点位置信息对应的特征图、所述待判别虚拟对象对应的特征图和所述样本虚拟对象对应的特征图，确定为所述有条件判别器对应的损失函数中的输入数据；
第三获取子单元23105，用于当所述有条件判别器对应的损失函数达到最小值时，获取所述第一梯度图；
第四获取子单元23106，用于当所述有条件判别器对应的损失函数达到最大值时，获取所述第二梯度图。
其中，所述第二确定子单元23104、第三获取子单元23105和第四获取子单元23106的具体功能实现方式请参见图5b对应的实施例中的步骤S304，这里不再进行赘述。
其中，所述判别网络包括局部判别器；
所述梯度图获取单元231，包括：第一截取子单元23107、第二截取子单元23108、第三确定子单元23109、第五获取子单元23110和第六获取子单元23111；
第一截取子单元23107，用于获取所述待判别虚拟对象的关键点位置信息，根据所述待判别虚拟对象的关键点位置信息截取所述待判别虚拟对象中的关键点局部图像；
第二截取子单元23108，用于在所述样本虚拟对象中，截取与所述关键点局部图像为同类型局部图像的样本关键点局部图像；
第三确定子单元23109，用于将所述关键点局部图像对应的特征图和所述样本关键点局部图像对应的特征图，确定为所述局部判别器对应的损失函数中的输入数据；
第五获取子单元23110，用于当所述局部判别器对应的损失函数达到最小值时，获取所述第一梯度图；
第六获取子单元23111，用于当所述局部判别器对应的损失函数达到最大值时，获取所述第二梯度图。
其中，所述第一截取子单元23107、第二截取子单元23108、第三确定子单元23109、第五获取子单元23110和第六获取子单元23111的具体功能实现方式请参见图5b对应的实施例中的步骤S305，这里不再进行赘述。
其中，所述修正单元232，包括：第四确定子单元2321、第七获取子单元2322、合并子单元2323和修正子单元2324。
第四确定子单元2321，用于获取所述待判别虚拟对象的关键点位置信息，将所述待判别虚拟对象的关键点位置信息对应的特征图和所述样本源对象的关键点位置信息对应的特征图，确定为所述生成网络对应的损失函数中的输入数据；
第七获取子单元2322，用于当所述生成网络对应的损失函数达到最小值时，获取用于修正所述生成网络的第三梯度图；
合并子单元2323，用于将所述第三梯度图与所述第一梯度图进行像素合并，得到合并梯度图；
修正子单元2324，用于基于所述合并梯度图修正所述生成网络的网络参数。
其中，所述第四确定子单元2321、第七获取子单元2322、合并子单元2323和修正子单元2324的具体功能实现方式请参见图5b对应的实施例中的步骤S306，这里不再进行赘述。
本申请首先获取第一样本图像和第二样本图像；所述第一样本图像中包含样本源对象；所述第二样本图像中包含样本虚拟对象；获取所述样本源对象的关键点位置信息，基于初始图像生成模型、所述第一样本图像和所述样本源对象的关键点位置信息生成所述第一样本图像对应的待判别图像；所述待判别图像中包括所述样本源对象对应的待判别虚拟对象；基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象修正所述初始图像生成模型的网络参数；将包含修正后的网络参数的初始图像生成模型确定为图像生成模型；所述图像生成模型用于生成包含源对象的第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。由此可见，本申请提出的方法可根据第一样本图像中的样本源对象的关键点位置信息，生成包含上述样本源对象对应的待判别虚拟对象的待判别图像，从而提升了畸变生成的待判别对象的展示效果，且保证了畸变之后的待判别虚拟对象与样本源对象之间的匹配性，同时通过畸变丰富了生成的待判别虚拟对象的图像内容。
请参见图12，是本申请提供的另一种图像数据处理装置的结构示意图。如图12所示，所述图像数据处理装置1000可以包括：处理器1001，网络接口1004和存储器1005，此外，所述图像数据处理装置1000还可以包括：用户接口1003，和至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。其中，用户接口1003可以包括显示屏(Display)、键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图12所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
在图12所示的图像数据处理装置1000中，网络接口1004可提供网络通讯功能；而用户接口1003主要用于为用户提供输入的接口；而处理器1001可以用于调用存储器1005中存储的设备控制应用程序，以实现前文图3、图4、图5a和图5b中任一个所对应实施例中对所述图像数据处理方法的描述。
应当理解，本申请中所描述的图像数据处理装置1000可执行前文图3、图4、图5a和图5b中任一个所对应实施例中对所述图像数据处理方法的描述，也可执行前文图10所对应实施例中对所述图像数据处理装置1的描述，以及前文图11所对应实施例中对所述图像数据处理装置2的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本申请还提供了一种计算机可读存储介质，且所述计算机可读存储介质中存储有前文提及的图像数据处理装置1和图像数据处理装置2所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图3、图4、图5a和图5b中任一个所对应实施例中对所述图像数据处理方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖范围。

Claims (15)

1.一种图像数据处理方法，其特征在于，包括：
获取第一样本图像和第二样本图像；所述第一样本图像中包含样本源对象；所述第二样本图像中包含样本虚拟对象；
获取所述样本源对象的关键点位置信息，基于初始图像生成模型、所述第一样本图像和所述样本源对象的关键点位置信息生成所述第一样本图像对应的待判别图像；所述待判别图像中包括所述样本源对象对应的待判别虚拟对象；
基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象修正所述初始图像生成模型的网络参数；
将包含修正后的网络参数的初始图像生成模型确定为图像生成模型；所述图像生成模型用于生成包含源对象的第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。
2.根据权利要求1所述的方法，其特征在于，所述初始图像生成模型的网络参数包括生成网络的第一网络参数和判别网络的第二网络参数；
所述基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象修正所述初始图像生成模型的网络参数，包括：
基于所述样本源对象、所述样本虚拟对象、所述待判别虚拟对象和所述判别网络对应的损失函数，获取用于修正所述第一网络参数的第一梯度图以及用于修正所述第二网络参数的第二梯度图；
基于所述样本源对象、所述待判别虚拟对象、所述生成网络对应的损失函数和所述第一梯度图修正所述第一网络参数，基于所述第二梯度图修正所述第二网络参数。
3.根据权利要求2所述的方法，其特征在于，所述判别网络包括无条件判别器；
所述基于所述样本源对象、所述样本虚拟对象、所述待判别虚拟对象和所述判别网络对应的损失函数，获取用于修正所述第一网络参数的第一梯度图以及用于修正所述第二网络参数的第二梯度图，包括：
将所述样本虚拟对象对应的特征图和所述待判别虚拟对象对应的特征图，确定为所述无条件判别器对应的损失函数中的输入数据；
当所述无条件判别器对应的损失函数达到最小值时，获取所述第一梯度图；
当所述无条件判别器对应的损失函数达到最大值时，获取所述第二梯度图。
4.根据权利要求2所述的方法，其特征在于，所述判别网络包括有条件判别器；
所述基于所述样本源对象、所述样本虚拟对象、所述待判别虚拟对象和所述判别网络对应的损失函数，获取用于修正所述第一网络参数的第一梯度图以及用于修正所述第二网络参数的第二梯度图，包括：
将所述样本源对象的关键点位置信息对应的特征图、所述待判别虚拟对象对应的特征图和所述样本虚拟对象对应的特征图，确定为所述有条件判别器对应的损失函数中的输入数据；
当所述有条件判别器对应的损失函数达到最小值时，获取所述第一梯度图；
当所述有条件判别器对应的损失函数达到最大值时，获取所述第二梯度图。
5.根据权利要求2所述的方法，其特征在于，所述判别网络包括局部判别器；
所述基于所述样本源对象、所述样本虚拟对象、所述待判别虚拟对象和所述判别网络对应的损失函数，获取用于修正所述第一网络参数的第一梯度图以及用于修正所述第二网络参数的第二梯度图，包括：
获取所述待判别虚拟对象的关键点位置信息，根据所述待判别虚拟对象的关键点位置信息截取所述待判别虚拟对象中的关键点局部图像；
在所述样本虚拟对象中，截取与所述关键点局部图像为同类型局部图像的样本关键点局部图像；
将所述关键点局部图像对应的特征图和所述样本关键点局部图像对应的特征图，确定为所述局部判别器对应的损失函数中的输入数据；
当所述局部判别器对应的损失函数达到最小值时，获取所述第一梯度图；
当所述局部判别器对应的损失函数达到最大值时，获取所述第二梯度图。
6.根据权利要求2所述的方法，其特征在于，所述基于所述样本源对象、所述待判别虚拟对象、所述生成网络对应的损失函数和所述第一梯度图修正所述第一网络参数，包括：
获取所述待判别虚拟对象的关键点位置信息，将所述待判别虚拟对象的关键点位置信息对应的特征图和所述样本源对象的关键点位置信息对应的特征图，确定为所述生成网络对应的损失函数中的输入数据；
当所述生成网络对应的损失函数达到最小值时，获取用于修正所述生成网络的第三梯度图；
将所述第三梯度图与所述第一梯度图进行像素合并，得到合并梯度图；
基于所述合并梯度图修正所述生成网络的网络参数。
7.一种图像数据处理方法，其特征在于，包括：
获取包含源对象的第一图像；所述第一图像中包括所述源对象的关键点位置信息；
获取所述第一图像对应的第一特征图和所述源对象的关键点位置信息对应的第二特征图，根据所述第二特征图确定所述源对象对应的虚拟对象的关键点位置信息；
根据所述第一特征图和所述虚拟对象的关键点位置信息，生成所述第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。
8.根据权利要求7所述的方法，其特征在于，还包括：
基于回归网络确定所述第一图像中的所述源对象对应的图像关键点；
确定所述图像关键点在所述第一图像中的坐标信息，作为所述源对象的关键点位置信息。
9.根据权利要求8所述的方法，其特征在于，所述根据所述第一特征图和所述虚拟对象的关键点位置信息，生成所述第一图像对应的第二图像，包括：
将包含所述源对象对应的关键点位置信息的第一图像输出至应用界面；
响应针对所述应用界面的所述第一图像中的所述源对象的关键点位置信息的调整操作，对所述源对象的关键点位置信息进行调整，得到调整后的关键点位置信息；
根据所述调整后的关键点位置信息更新所述虚拟对象的关键点位置信息，得到所述虚拟对象对应的更新后的关键点位置信息，根据所述第一特征图和所述更新后的关键点位置信息，生成所述第一图像对应的第二图像。
10.一种图像数据处理装置，其特征在于，包括：
第二获取模块，用于获取第一样本图像和第二样本图像；所述第一样本图像中包含样本源对象；所述第二样本图像中包含样本虚拟对象；
第二生成模块，用于获取所述样本源对象的关键点位置信息，基于初始图像生成模型、所述第一样本图像和所述样本源对象的关键点位置信息生成所述第一样本图像对应的待判别图像；所述待判别图像中包括所述样本源对象对应的待判别虚拟对象；
修正模块，用于基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象修正所述初始图像生成模型的网络参数；
模型确定模块，用于将包含修正后的网络参数的初始图像生成模型确定为图像生成模型；所述图像生成模型用于生成包含源对象的第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。
11.根据权利要求10所述的装置，其特征在于，所述修正模块，包括：
梯度图获取单元，用于基于所述样本源对象、所述样本虚拟对象和所述待判别虚拟对象和所述判别网络对应的损失函数，获取用于修正所述第一网络参数的第一梯度图以及用于修正所述第二网络参数的第二梯度图；
修正单元，用于基于所述样本源对象、所述待判别虚拟对象、所述生成网络对应的损失函数和所述第一梯度图修正所述第一网络参数，基于所述第二梯度图修正所述第二网络参数。
12.一种图像数据处理装置，其特征在于，包括：
第一获取模块，用于获取包含源对象的第一图像；所述第一图像中包括所述源对象的关键点位置信息；
位置确定模块，获取所述第一图像对应的第一特征图和所述源对象的关键点位置信息对应的第二特征图，根据所述第二特征图确定所述源对象对应的虚拟对象的关键点位置信息；
第一生成模块，用于根据所述第一特征图和所述虚拟对象的关键点位置信息，生成所述第一图像对应的第二图像；所述第二图像中包含所述源对象对应的虚拟对象。
13.根据权利要求12所述的装置，其特征在于，还包括：
关键点确定模块，用于基于回归网络确定所述第一图像中的所述源对象对应的图像关键点；
坐标确定模块，用于确定所述图像关键点在所述第一图像中的坐标信息，作为所述源对象的关键点位置信息。
14.一种图像数据处理装置，其特征在于，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如权利要求1-9任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-9任一项所述的方法。
CN201910603362.2A 2019-07-05 2019-07-05 图像数据处理方法、装置以及计算机可读存储介质 Active CN110321849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910603362.2A CN110321849B (zh) 2019-07-05 2019-07-05 图像数据处理方法、装置以及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910603362.2A CN110321849B (zh) 2019-07-05 2019-07-05 图像数据处理方法、装置以及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110321849A true CN110321849A (zh) 2019-10-11
CN110321849B CN110321849B (zh) 2023-12-22

Family

ID=68122772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910603362.2A Active CN110321849B (zh) 2019-07-05 2019-07-05 图像数据处理方法、装置以及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110321849B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111589156A (zh) * 2020-05-20 2020-08-28 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111709875A (zh) * 2020-06-16 2020-09-25 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
WO2022099613A1 (zh) * 2020-11-13 2022-05-19 华为技术有限公司 图像生成模型的训练方法、新视角图像生成方法及装置
WO2024099319A1 (zh) * 2022-11-11 2024-05-16 广州视源电子科技股份有限公司 虚拟视频图像生成方法、装置、设备和介质

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080037836A1 (en) * 2006-08-09 2008-02-14 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
CN102929524A (zh) * 2012-09-20 2013-02-13 东莞宇龙通信科技有限公司 一种页面内容的选取方法和装置
CN104899825A (zh) * 2014-03-06 2015-09-09 腾讯科技（深圳）有限公司 一种对图片人物造型的方法和装置
CN107423689A (zh) * 2017-06-23 2017-12-01 中国科学技术大学 智能交互式人脸关键点标注方法
CN107680170A (zh) * 2017-10-12 2018-02-09 北京奇虎科技有限公司 基于虚拟世界的图像实时处理方法及装置、计算设备
CN108171206A (zh) * 2018-01-17 2018-06-15 百度在线网络技术（北京）有限公司 信息生成方法和装置
CN108334816A (zh) * 2018-01-15 2018-07-27 桂林电子科技大学 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
CN108711180A (zh) * 2018-05-02 2018-10-26 北京市商汤科技开发有限公司 美妆/换脸特效程序文件包的生成及美妆/换脸特效生成方法与装置
CN108765273A (zh) * 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 人脸拍照的虚拟整容方法和装置
WO2018218839A1 (zh) * 2017-06-02 2018-12-06 广州视源电子科技股份有限公司 一种活体识别方法和系统
US20180356492A1 (en) * 2015-06-16 2018-12-13 Michael Hamilton Vision based location estimation system
CN109190503A (zh) * 2018-08-10 2019-01-11 珠海格力电器股份有限公司 美颜方法、装置、计算装置和存储介质
CN109241921A (zh) * 2018-09-17 2019-01-18 北京字节跳动网络技术有限公司 用于检测人脸关键点的方法和装置
CN109241835A (zh) * 2018-07-27 2019-01-18 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109599113A (zh) * 2019-01-22 2019-04-09 北京百度网讯科技有限公司 用于处理信息的方法和装置
CN109800675A (zh) * 2018-12-29 2019-05-24 上海依图网络科技有限公司 一种确定人脸对象的识别图像的方法及装置
CN109858402A (zh) * 2019-01-16 2019-06-07 腾讯科技（深圳）有限公司 一种图像检测方法、装置、终端以及存储介质
CN109903363A (zh) * 2019-01-31 2019-06-18 天津大学 条件生成对抗网络三维人脸表情运动单元合成方法
CN109903242A (zh) * 2019-02-01 2019-06-18 深兰科技（上海）有限公司 一种图像生成方法及装置
CN109948796A (zh) * 2019-03-13 2019-06-28 腾讯科技（深圳）有限公司 自编码器学习方法、装置、计算机设备及存储介质
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080037836A1 (en) * 2006-08-09 2008-02-14 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
CN102929524A (zh) * 2012-09-20 2013-02-13 东莞宇龙通信科技有限公司 一种页面内容的选取方法和装置
CN104899825A (zh) * 2014-03-06 2015-09-09 腾讯科技（深圳）有限公司 一种对图片人物造型的方法和装置
US20180356492A1 (en) * 2015-06-16 2018-12-13 Michael Hamilton Vision based location estimation system
WO2018218839A1 (zh) * 2017-06-02 2018-12-06 广州视源电子科技股份有限公司 一种活体识别方法和系统
CN107423689A (zh) * 2017-06-23 2017-12-01 中国科学技术大学 智能交互式人脸关键点标注方法
CN107680170A (zh) * 2017-10-12 2018-02-09 北京奇虎科技有限公司 基于虚拟世界的图像实时处理方法及装置、计算设备
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108334816A (zh) * 2018-01-15 2018-07-27 桂林电子科技大学 基于轮廓对称约束生成式对抗网络的多姿态人脸识别方法
CN108171206A (zh) * 2018-01-17 2018-06-15 百度在线网络技术（北京）有限公司 信息生成方法和装置
CN108711180A (zh) * 2018-05-02 2018-10-26 北京市商汤科技开发有限公司 美妆/换脸特效程序文件包的生成及美妆/换脸特效生成方法与装置
CN108765273A (zh) * 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 人脸拍照的虚拟整容方法和装置
CN109241835A (zh) * 2018-07-27 2019-01-18 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109190503A (zh) * 2018-08-10 2019-01-11 珠海格力电器股份有限公司 美颜方法、装置、计算装置和存储介质
CN109241921A (zh) * 2018-09-17 2019-01-18 北京字节跳动网络技术有限公司 用于检测人脸关键点的方法和装置
CN109800675A (zh) * 2018-12-29 2019-05-24 上海依图网络科技有限公司 一种确定人脸对象的识别图像的方法及装置
CN109858402A (zh) * 2019-01-16 2019-06-07 腾讯科技（深圳）有限公司 一种图像检测方法、装置、终端以及存储介质
CN109599113A (zh) * 2019-01-22 2019-04-09 北京百度网讯科技有限公司 用于处理信息的方法和装置
CN109903363A (zh) * 2019-01-31 2019-06-18 天津大学 条件生成对抗网络三维人脸表情运动单元合成方法
CN109903242A (zh) * 2019-02-01 2019-06-18 深兰科技（上海）有限公司 一种图像生成方法及装置
CN109948796A (zh) * 2019-03-13 2019-06-28 腾讯科技（深圳）有限公司 自编码器学习方法、装置、计算机设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CASSIEPYTHON: ""CVPR：Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial networks"", 《HTTPS://BLOG.CSDN.NET/CASSIEPYTHON/ARTICLE/DETAILS/80942899》 *
CASSIEPYTHON: ""CVPR：Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial networks"", 《HTTPS://BLOG.CSDN.NET/CASSIEPYTHON/ARTICLE/DETAILS/80942899》, 6 July 2018 (2018-07-06), pages 1 - 6 *
RUIZHENG WU等: ""Landmark Assisted CycleGAN for Cartoon Face Generation"", 《ARXIV》 *
RUIZHENG WU等: ""Landmark Assisted CycleGAN for Cartoon Face Generation"", 《ARXIV》, 2 July 2019 (2019-07-02), pages 2 - 8 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111589156A (zh) * 2020-05-20 2020-08-28 北京字节跳动网络技术有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111709875A (zh) * 2020-06-16 2020-09-25 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
CN111709875B (zh) * 2020-06-16 2023-11-14 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
WO2022099613A1 (zh) * 2020-11-13 2022-05-19 华为技术有限公司 图像生成模型的训练方法、新视角图像生成方法及装置
WO2024099319A1 (zh) * 2022-11-11 2024-05-16 广州视源电子科技股份有限公司 虚拟视频图像生成方法、装置、设备和介质

Also Published As

Publication number Publication date
CN110321849B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN110321849A (zh) 图像数据处理方法、装置以及计算机可读存储介质
US11790589B1 (en) System and method for creating avatars or animated sequences using human body features extracted from a still image
US11270489B2 (en) Expression animation generation method and apparatus, storage medium, and electronic apparatus
CN107343211B (zh) 视频图像处理方法、装置和终端设备
CN109376582A (zh) 一种基于生成对抗网络的交互式人脸卡通方法
CN108537152A (zh) 用于检测活体的方法和装置
CN107341434A (zh) 视频图像的处理方法、装置和终端设备
CN107610209A (zh) 人脸表情合成方法、装置、存储介质和计算机设备
CN106355629A (zh) 一种虚拟形象的配置方法及装置
CN108229269A (zh) 人脸检测方法、装置和电子设备
CN107340852A (zh) 手势控制方法、装置和终端设备
CN107341435A (zh) 视频图像的处理方法、装置和终端设备
CN109325469A (zh) 一种基于深度神经网络的人体姿态识别方法
CN108197618A (zh) 用于生成人脸检测模型的方法和装置
CN106682632A (zh) 用于处理人脸图像的方法和装置
CN108236784A (zh) 模型的训练方法和装置、存储介质、电子装置
CN115914505A (zh) 基于语音驱动数字人模型的视频生成方法及系统
KR102247481B1 (ko) 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법
CN114373034A (zh) 图像处理方法、装置、设备、存储介质及计算机程序
WO2024069944A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109799975A (zh) 一种基于神经网络的动作游戏制作方法和系统
JP2024052519A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20170099632A (ko) 유전자 정보를 이용한 게임 캐릭터 생성시스템
Qian et al. Overlap Makes Perfect: Designing a Meta-Tutor With Live Corrective Feedback for Ubiquitous Motion Learning
CN118155252A (zh) 表情驱动模型的训练方法、表情驱动方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant