CN115311127A - 一种脸部处理方法、装置、计算机设备及存储介质 - Google Patents

一种脸部处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN115311127A
CN115311127A CN202210180995.9A CN202210180995A CN115311127A CN 115311127 A CN115311127 A CN 115311127A CN 202210180995 A CN202210180995 A CN 202210180995A CN 115311127 A CN115311127 A CN 115311127A
Authority
CN
China
Prior art keywords
face
image
sample
trained
parameter information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210180995.9A
Other languages
English (en)
Inventor
温琦
温翔
蒋昊
周佳庆
杨司琪
熊峰
李宏亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210180995.9A priority Critical patent/CN115311127A/zh
Publication of CN115311127A publication Critical patent/CN115311127A/zh
Priority to PCT/CN2023/074288 priority patent/WO2023160350A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/822—Strategy games; Role-playing games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/807—Role playing or strategy games
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种脸部处理方法、装置、计算机设备及存储介质，其中，该方法包括：将获取的真实人脸的人脸图像样本以及虚拟角色对应的角色脸截图样本分别输入至待训练的脸部处理模型中，得到人脸图像样本对应的第一图像特征和第一捏脸参数信息、角色脸截图样本对应的第二图像特征和第二捏脸参数信息；基于第一图像特征和第二图像特征，确定图像特征损失信息；基于第一捏脸参数信息和第二捏脸参数信息，确定捏脸参数损失信息；基于图像特征损失信息和捏脸参数损失信息，得到训练好的脸部处理模型。本公开实施例将图像特征损失信息和捏脸参数损失信息作为域损失，可以缩小虚拟角色与真实人脸图像的域差异，虚拟角色与真实人脸图像的相似度更高。

Description

一种脸部处理方法、装置、计算机设备及存储介质
技术领域
本公开涉及计算机技术领域，具体而言，涉及一种脸部处理方法、装置、计算机设备及存储介质。
背景技术
随着网络游戏的快速发展，为了满足用户对个性化游戏角色的定制需求，出现了越来越多的角色扮演游戏(Role Playing Game，RPG)。在RPG中通常会通过捏脸功能来创建游戏角色，从而帮助用户根据真人的设定得到相应的游戏角色样貌。
在基于真实人脸图像创建相应的游戏角色时候，如何使得通过捏脸功能创建的游戏角色与真实人脸更像，是值得研究的问题。
发明内容
本公开实施例至少提供一种脸部处理方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种脸部处理方法，包括：
获取真实人脸的人脸图像样本以及虚拟角色对应的角色脸截图样本；
将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型中，得到所述人脸图像样本对应的第一图像特征和第一捏脸参数信息、所述角色脸截图样本对应的第二图像特征和第二捏脸参数信息；
基于所述第一图像特征和所述第二图像特征，确定图像特征损失信息；以及基于所述第一捏脸参数信息和所述第二捏脸参数信息，确定捏脸参数损失信息；
基于所述图像特征损失信息和所述捏脸参数损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型；所述训练好的脸部处理模型用于在输入真实人脸的待处理人脸图像后，得到对应虚拟角色的捏脸参数信息。
一种可选的实施方式中，将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型中，得到所述人脸图像样本对应的第一捏脸参数信息之后，所述方法还包括：
将所述角色脸截图样本的第二捏脸参数信息输入至预先训练的模仿器中，得到第一人脸生成图像；
基于所述角色脸截图样本的第一图像信息和所述第一人脸生成图像的第二图像信息，得到人脸恢复损失信息；
所述基于所述图像特征损失信息和所述捏脸参数损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型，包括：
基于所述图像特征损失信息、所述捏脸参数损失信息和所述人脸恢复损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型。
一种可选的实施方式中，将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型中，得到所述人脸图像样本对应的第一捏脸参数信息之后，所述方法还包括：
将所述人脸图像样本的第一捏脸参数信息输入至预先训练的模仿器中，得到第二人脸生成图像；
将所述人脸图像样本和所述第二人脸生成图像输入至预先训练的第一人脸识别模型中，分别得到所述人脸图像样本的第三图像特征和所述第二人脸生成图像的第四图像特征；以及，将所述人脸图像样本和所述第二人脸生成图像输入至预先训练的第二人脸识别模型中，分别得到所述人脸图像样本的第五图像特征和所述第二人脸生成图像的第六图像特征；
基于所述第三图像特征和所述第四图像特征，确定第一人脸一致性损失信息；以及，基于所述第五图像特征和所述第六图像特征，确定第二人脸一致性损失信息；
所述基于所述图像特征损失信息和所述捏脸参数损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型，包括：
基于所述图像特征损失信息、所述捏脸参数损失信息、所述第一人脸一致性损失信息和所述第二人脸一致性损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型。
一种可选的实施方式中，所述人脸图像样本包括多个人脸图像对；每个所述人脸图像对中包含同一人的两张不同人脸图像；
针对每个人脸图像对，所述人脸图像样本对应的第一捏脸参数信息包括所述人脸图像样本对中两张人脸图像分别对应的第三捏脸参数信息和第四捏脸参数信息，以及所述其他任一人脸图像对应的第五捏脸参数信息；
将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型中，得到所述人脸图像样本对应的第一捏脸参数信息之后，所述方法还包括：
基于所述第三捏脸参数信息、所述第四捏脸参数信息以及所述第五捏脸参数信息，确定人脸对比损失信息；
所述基于所述图像特征损失信息和所述捏脸参数损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型，包括：
基于所述图像特征损失信息、所述捏脸参数损失信息和所述人脸对比损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型。
一种可选的实施方式中，所述基于所述图像特征损失信息和所述捏脸参数损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型，包括：
对所述图像特征损失信息和所述捏脸参数损失信息的和求导，得到所述待训练的脸部处理模型中的权重参数的梯度函数；
将当前的权重参数信息代入至所述梯度函数中，得到迭代后的梯度向量；
基于所述迭代后的梯度向量，对所述当前的权重参数信息进行更新，得到更新后的权重参数信息。
一种可选的实施方式中，所述将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型中，得到所述人脸图像样本对应的第一图像特征和第一捏脸参数信息、所述角色脸截图样本对应的第二图像特征和第二捏脸参数信息，包括：
将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型的编码器中，分别对所述人脸图像样本和所述角色脸截图样本进行下采样，得到所述人脸图像样本和所述角色脸截图样本分别在第一预设维度下的第七图像特征和第八图像特征；
将所述第七图像特征和所述第八图像特征分别输入至所述待训练的脸部处理模型的解码器中，对所述第七图像特征和所述第八图像特征进行上采样，得到所述人脸图像样本和所述角色脸截图样本分别在第二预设维度下的第九图像特征和第十图像特征；
将所述第七图像特征和所述第九图像特征、所述第八图像特征和所述第十图像特征分别输入至所述待训练的脸部处理模型的回归器中，得到所述人脸图像样本对应的第一图像特征和第一捏脸参数信息、所述角色脸截图样本对应的第二图像特征和第二捏脸参数信息。
一种可选的实施方式中，将所述角色脸截图样本的第二捏脸参数信息输入至预先训练的模仿器中，得到第一人脸生成图像之前，所述方法还包括：
获取所述角色脸截图样本的第六捏脸参数信息；
将所述角色脸截图样本的第六捏脸参数信息作为输入、所述角色脸截图样本作为输出，对待训练的模仿器进行训练，得到训练好的模仿器。
第二方面，本公开实施例还提供一种脸部处理方法，包括：
获取真实人脸的待处理人脸图像；
将所述待处理人脸图像输入至按照第一方面，或第一方面中任一种可能的实施方式中的步骤训练后得到的脸部处理模型中，得到所述待处理人脸图像的捏脸参数信息；所述捏脸参数信息用于渲染得到虚拟场景中的虚拟角色。
第三方面，本公开实施例还提供一种脸部处理装置，包括：
第一获取模块，用于获取真实人脸的人脸图像样本以及虚拟角色对应的角色脸截图样本；
第一输入模块，用于将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型中，得到所述人脸图像样本对应的第一图像特征和第一捏脸参数信息、所述角色脸截图样本对应的第二图像特征和第二捏脸参数信息；
第一确定模块，用于基于所述第一图像特征和所述第二图像特征，确定图像特征损失信息；以及基于所述第一捏脸参数信息和所述第二捏脸参数信息，确定捏脸参数损失信息；
调整模块，用于基于所述图像特征损失信息和所述捏脸参数损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型；所述训练好的脸部处理模型用于在输入真实人脸的待处理人脸图像后，得到对应虚拟角色的捏脸参数信息。
第四方面，本公开实施例还提供一种脸部处理装置，包括：
获取模块，用于获取真实人脸的待处理人脸图像；
输入模块，用于将所述待处理人脸图像输入至按照第一方面，或第一方面中任一种可能的实施方式中的步骤训练后得到的脸部处理模型中，得到所述待处理人脸图像的捏脸参数信息；所述捏脸参数信息用于渲染得到虚拟场景中的虚拟角色。
第五方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤或执行上述第二方面中的步骤。
第六方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤或执行上述第二方面中的步骤。
本公开实施例提供的一种脸部处理方法，在训练过程中，结合了图像特征损失信息和捏脸参数损失信息对脸部处理模型进行训练，其中，图像特征损失信息是基于来自真实域中的第一图像特征与来自虚拟域中的第二图像特征确定的，捏脸参数损失信息是基于来自真实域中的第一捏脸参数信息与来自虚拟域中的第二捏脸参数信息确定的，将图像特征损失信息和捏脸参数损失信息作为域损失，基于域损失调整脸部处理模型的权重参数信息，能够在一定程度上缩小渲染的虚拟角色与真实人脸图像之间的域差异，如此，将真实人脸的待处理人脸图像输入至训练好的脸部处理模型后，基于得到的捏脸参数信息渲染出的虚拟角色与待处理人脸图像之间能够具有较高的相似性。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种脸部处理方法的流程图；
图2示出了本公开实施例所提供的另一种脸部处理方法的流程图；
图3示出了本公开实施例所提供的另一种脸部处理方法的流程图；
图4示出了本公开实施例所提供的一种脸部处理装置的示意图；
图5示出了本公开实施例所提供的另一种脸部处理装置的示意图；
图6示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
在相关通过捏脸功能创建游戏角色的方案中，通常是将真实人脸图像输入至预先训练好的人脸识别网络或人脸分割网络中，得到捏脸参数，然后通过调整捏脸参数，渲染得到游戏角色。但是上述方案中，并未基于真实人脸图像所在的真实域与游戏角色所在的虚拟域之间的差异对人脸识别网络或人脸分割网络进行训练，导致基于得到的捏脸参数渲染出来的游戏角色与真实人脸图像存在明显的域差异。
基于此，本公开提供了一种脸部处理方法，在训练过程中，结合了图像特征损失信息和捏脸参数损失信息对脸部处理模型进行训练，其中，图像特征损失信息是基于来自真实域中的第一图像特征与来自虚拟域中的第二图像特征确定的，捏脸参数损失信息是基于来自真实域中的第一捏脸参数信息与来自虚拟域中的第二捏脸参数信息确定的，将图像特征损失信息和捏脸参数损失信息作为域损失，基于域损失调整脸部处理模型的权重参数信息，能够在一定程度上缩小渲染的虚拟角色与真实人脸图像之间的域差异，如此，将真实人脸的待处理人脸图像输入至训练好的脸部处理模型后，基于得到的捏脸参数信息渲染出的虚拟角色与待处理人脸图像之间能够具有较高的相似性。
针对以上方案所存在的缺陷以及所提出的解决方案，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种脸部处理方法进行详细介绍，本公开实施例所提供的脸部处理方法的执行主体一般为具有一定计算能力的计算机设备。
下面以执行主体为服务器为例对本公开实施例提供的脸部处理方法加以说明。
参见图1所示，为本公开实施例提供的一种脸部处理方法的流程图，所述方法包括S101～S104，其中：
S101：获取真实人脸的人脸图像样本以及虚拟角色对应的角色脸截图样本。
这里，在进行脸部处理模型的训练之前，需要准备训练样本，也就是真实人脸的人脸图像样本以及虚拟角色对应的角色脸截图样本。其中，真实人脸的人脸图像样本可以指包含现实世界中存在的真实人物的脸部照片、帧图像、视频截图等，例如明星的脸部照片、用户自己的脸部照片。虚拟角色对应的角色脸截图样本可以指对虚拟场景中虚拟角色的脸部进行截图得到的图像，例如包含游戏角色的脸部截图。
S102：将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型中，得到所述人脸图像样本对应的第一图像特征和第一捏脸参数信息、所述角色脸截图样本对应的第二图像特征和第二捏脸参数信息。
第一图像特征可以指人脸图像样本中人脸的特征；第一捏脸参数信息可以对应人脸图像样本中人脸的多维信息，具体可以包括眼睛、鼻子、嘴、眉毛等面部信息。第二图像特征可以指角色脸截图样本中人脸的特征；第二捏脸参数信息可以对应角色脸截图样本中人脸的多维信息，具体可以包括眼睛、鼻子、嘴、眉毛等面部信息。
将人脸图像样本输入至待训练的脸部处理模型中，待训练的脸部处理模型中的编码模型可以提取人脸图像样本对应的第一图像特征和第一捏脸参数信息；以及将角色脸截图样本输入至待训练的脸部处理模型中，待训练的脸部处理模型中的编码模型可以提取角色脸截图样本对应的第二图像特征和第二捏脸参数信息。
为了能够更清楚、更全面地获取到人脸图像样本和角色脸截图样本中的图像特征和捏脸参数信息，在一种实施方式中，可以将人脸图像样本和角色脸截图样本分别输入至待训练的脸部处理模型的编码器中，分别对人脸图像样本和角色脸截图样本进行下采样，得到人脸图像样本和角色脸截图样本分别在第一预设维度下的第七图像特征和第八图像特征；然后，将第七图像特征和第八图像特征分别输入至待训练的脸部处理模型的解码器中，对第七图像特征和第八图像特征进行上采样，得到人脸图像样本和角色脸截图样本分别在第二预设维度下的第九图像特征和第十图像特征；然后，将第七图像特征和第九图像特征、第八图像特征和第十图像特征分别输入至所述待训练的脸部处理模型的回归器中，得到人脸图像样本对应的第一图像特征和第一捏脸参数信息、角色脸截图样本对应的第二图像特征和第二捏脸参数信息。
其中，编码器和解码器组成的编解码器结构可以作为待训练的脸部处理模型中的发生器，得到人脸图像样本的第一图像特征和角色脸截图样本的第二图像特征。示例性地，编解码器结构可以为VQVAE或VQ-VAE-2结构。
编码器可以对人脸图像样本和角色脸截图样本分别进行下采样，对人脸图像样本或角色脸截图样本进行降维处理，得到人脸图像样本在第一预设维度下的第七图像特征、角色脸截图样本在第一预设维度下的第八图像特征。在一种实施方式中，还可以对第七图像特征进行量化处理，得到离散化的第七图像特征；同时，对第八图像特征进行量化处理，得到离散化的第八图像特征。
解码器是与编码器类似的对称结构，可以对降维处理之后的人脸图像样本和角色脸截图样本分别进行上采样，使得降维处理之后的人脸图像样本和角色脸截图样本回到原始大小，也就是人脸图像样本和角色脸截图样本分别在第二预设维度下的第九图像特征和第十图像特征。在一种实施方式中，还可以对第九图像特征进行量化处理，得到离散化的第九图像特征；对第十图像特征进行量化处理，得到离散化的第十图像特征。
将七图像特征和第九图像特征进行连接得到第一连接后的图像特征、将第八图像特征和第十图像特征进行连接得到第二连接后的图像特征。这里，第一连接后的图像特征和第二连接后的图像特征可以为立体的多维图像特征。
回归器可以位于解码器的最后一层，回归器可以有预设层数的卷积层组成。基于第一连接后的图像特征，在回归器的倒数第二层可以得到人脸图像样本的第一图像特征，在回归器的倒数第一层可以得到人脸图像样本对应的第一捏脸参数信息。基于第二连接后的图像特征，在回归器的倒数第二层可以得到角色脸截图样本的第二图像特征，在回归器的倒数第一层可以得到角色脸截图样本对应的第二捏脸参数信息。
S103：基于所述第一图像特征和所述第二图像特征，确定图像特征损失信息；以及基于所述第一捏脸参数信息和所述第二捏脸参数信息，确定捏脸参数损失信息。
这里，可以利用最大平均差异(Maximum Mean Discrepancy，MMD)，确定第一图像特征的向量均值与第二图像特征之间的向量均值之间的差值，并基于该差值确定图像特征损失信息。并且，可以利用MMD确定第一捏脸参数信息的向量均值与第二捏脸参数信息之间的向量均值之间的差值，并基于该差值确定捏脸参数损失信息。
S104：基于所述图像特征损失信息和所述捏脸参数损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型；所述训练好的脸部处理模型用于在输入真实人脸的待处理人脸图像后，得到对应虚拟角色的捏脸参数信息。
在本公开实施例中的权重参数信息可以指编解码器结构中的权重参数。通过最小化图像特征损失信息的平方与捏脸参数损失信息的平方之和，可以调整权重参数信息。具体地，在一种实施方式中，可以对图像特征损失信息和捏脸参数损失信息的和求导，得到待训练的脸部处理模型中的权重参数信息的梯度函数。然后将当前的权重参数信息代入至梯度函数中，得到迭代后的梯度向量；其中，梯度向量可以表示损失信息在该点处的方向导数沿着该方向取得最大值。最后，基于迭代后的梯度向量，对当前的权重参数信息进行更新，得到更新后的权重参数信息。
每次迭代中均按照上述实施过程执行，以此类推，直至达到预设训练截止条件时停止迭代，得到最终更新后的权重参数信息，以使得第一图像特征和第二图像特征之间的距离足够小、第一捏脸参数信息和第二捏脸参数信息之间的距离足够小。其中，预设训练截止条件可以是预设迭代次数，也可以是相邻两次迭代之间的损失信息差值小于设定阈值，这里可以不做具体限定。
在达到预设训练截止条件时，可以得到训练好的脸部处理模型。将真实人脸的待处理人脸图像输入至训练好的脸部处理模型之后，可以得到对应虚拟角色的捏脸参数信息。基于虚拟角色的捏脸参数信息，可以渲染出对应的虚拟角色。
通过使用上述实施例中训练好的脸部处理模型得到的捏脸参数信息，渲染出来的虚拟角色与真实人脸差异较小，具有较高的相似性，用户的游戏体验更好。
为了保证在利用训练好的脸部处理模型得到角色脸截图的捏脸参数信息，并利用角色脸截图的捏脸参数信息渲染出来的虚拟角色与输入的角色脸截图是无差别的，在一种实施方式中，可以在训练待训练的脸部处理模型的过程中，通过加入人脸恢复损失信息，调整待训练的脸部处理模型中的权重参数信息的方式得以实现。
具体地，在得到角色脸截图样本对应的第二捏脸参数信息之后，可以将角色脸截图样本的第二捏脸参数信息输入至预先训练的模仿器中，得到第一人脸生成图像；然后，基于角色脸截图样本的第一图像信息和第一人脸生成图像的第二图像信息，得到人脸恢复损失信息；最后，基于图像特征损失信息、捏脸参数损失信息和人脸恢复损失信息，调整待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型。
其中，预先训练的模仿器可以实现游戏引擎的功能，基于第二捏脸参数信息，渲染得到第一人脸生成图像。
角色脸截图样本的第一图像信息可以指角色脸截图样本在红、绿、蓝三个通道下的颜色信息；第一人脸生成图像的第二图像信息可以指第一人脸生成图像在红、绿、蓝三个通道下的颜色信息。
基于角色脸截图样本在向量形式下的第一图像信息和第一人脸生成图像在向量形式下的第二图像信息，可以确定两个向量之间的差值的平方和，即人脸恢复损失信息。通过最小化这两个向量之间的差值的平方和，调整待训练的脸部处理模型中的权重参数信息，可以实现角色脸截图的捏脸参数信息渲染出来的虚拟角色与输入的角色脸截图之间的差异更小。
其中，在一种实施方式中，模仿器可以是通过以下步骤训练得到的：
获取角色脸截图样本的第六捏脸参数信息；将角色脸截图样本的第六捏脸参数信息作为输入、角色脸截图样本作为输出，对待训练的模仿器进行训练，得到训练好的模仿器。
第六捏脸参数信息可以对应角色脸截图样本中人脸的多维向量，具体可以包括鼻子、眼睛、嘴等面部信息。这里，第六捏脸参数信息可以是从角色脸截图样本对应的虚拟角色所在的客户端导出来的；还可以是通过前述待训练的脸部处理模型得到的，即与第二捏脸参数信息相同。其中，通过待训练的脸部处理模型得到的第六捏脸参数信息可能会由于待训练的脸部处理模型不够完善，存在第六捏脸参数信息与角色脸截图样本不匹配的问题，导致对模仿器的训练效果不好。
为了保证同一张真实人脸的不同人脸图像样本，得到捏脸参数信息后，基于捏脸参数信息渲染出来的虚拟角色是相似的，在一种实施方式中，可以在训练待训练的脸部处理模型的过程中，通过加入人脸一致性损失信息，调整待训练的脸部处理模型中的权重参数信息的方式得以实现。
具体地，在得到角色人脸图像样本对应的第一捏脸参数信息之后，可以将人脸图像样本的第一捏脸参数信息输入至预先训练的模仿器中，得到第二人脸生成图像；然后，将人脸图像样本和第二人脸生成图像输入至预先训练的第一人脸识别模型中，分别得到人脸图像样本的第三图像特征和第二人脸生成图像的第四图像特征；以及将人脸图像样本和第二人脸生成图像输入至预先训练的第二人脸识别模型中，分别得到人脸图像样本的第五图像特征和第二人脸生成图像的第六图像特征；接下来，基于第三图像特征和第四图像特征，确定第一人脸一致性损失信息；以及，基于第五图像特征和第六图像特征，确定第二人脸一致性损失信息；最后，基于图像特征损失信息、捏脸参数损失信息、第一人脸一致性损失信息和第二人脸一致性损失信息，调整待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型。
其中，这里用到的预先训练的模仿器中前述模仿器可以是相同的，因此这里对模仿器的训练过程不再进行赘述，具体训练过程可以参见前文。
这里用到了两个人脸识别模型，即第一人脸识别模型和第二人脸识别模型。这两个人脸识别模型可以为不同的人脸识别模型。例如，第一人脸识别模型可以为网格渲染器，第二人脸识别模型可以为人脸识别网络LightCNN-29v2。
第一人脸一致性损失信息可以表示人脸图像样本的第三图像特征和第二人脸生成图像的第四图像特征之间的损失，基于向量形式下的第三图像特征和向量形式下的第四图像特征，可以确定两个向量之间的差值的平方和，即第一人脸一致性损失信息。第二人脸一致性损失信息可以表示人脸图像样本的第五图像特征和第二人脸生成图像的第六图像特征之间的损失，基于向量形式下的第五图像特征和向量形式下的第六图像特征，可以确定两个向量之间的差值的平方和，即第二人脸一致性损失信息。
通过最小化第一人脸一致性损失信息与第二人脸一致性损失信息之和，调整待训练的脸部处理模型中的权重参数信息，可以使得基于同一张真实人脸的不同人脸图像样本，渲染出来的虚拟角色之间的相似度更高。
为了保证基于同一张真实人脸得到捏脸参数信息后渲染的虚拟角色更相似，不同真实人脸得到捏脸参数信息后渲染的虚拟角色更不相似，在一种实施方式中，可以在训练待训练的脸部处理模型的过程中，通过加入人脸对比损失信息，调整待训练的脸部处理模型中的权重参数信息的方式得以实现。
其中，人脸图像样本可以包括多个人脸图像对；每个人脸图像对中可以包含同一人的两张不同人脸图像。
针对每个人脸图像对，人脸图像样本对应的第一捏脸参数信息包括人脸图像样本对中两张人脸图像分别对应的第三捏脸参数信息和第四捏脸参数信息，以及其他任一人脸图像对应的第五捏脸参数信息。
在得到人脸图像样本对应的第一捏脸参数信息之后，可以基于第三捏脸参数信息、第四捏脸参数信息以及第五捏脸参数信息，确定人脸对比损失信息；然后，基于图像特征损失信息、捏脸参数损失信息和人脸对比损失信息，调整待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型。
这里，可以先分别计算第三捏脸参数信息与第四捏脸参数信息的第一乘积、第三捏脸参数信息与第五捏脸参数信息的第二乘积；然后计算第一乘积与第二乘积之和；然后计算第一乘积与第一乘积与第二乘积之和的比值；最后对该比值取对数的负值，即人脸对比损失信息。
通过最小化人脸对比损失信息，调整待训练的脸部处理模型中的权重参数信息，可以实现同一张真实人脸得到捏脸参数信息后渲染的虚拟角色更相似，不同真实人脸得到捏脸参数信息后渲染的虚拟角色更不相似。
进一步地，为了保证基于真实人脸得到捏脸参数信息后渲染的虚拟角色与真实人脸的相似程度更高，在一种实施方式中，可以在训练待训练的脸部处理模型的过程中，同时使用图像特征损失信息、捏脸参数损失信息、人脸恢复损失信息、人脸一致性损失信息和人脸对比损失信息，来调整待训练的脸部处理模型中的权重参数信息。
参见图2所示，为本公开实施例提供的另一种脸部处理方法的流程图，所述方法包括S201～S202，其中：
S201：获取真实人脸的待处理人脸图像。
S202：将所述待处理人脸图像输入至按照上述实施例所述的脸部处理方法训练后得到的脸部处理模型中，得到所述待处理人脸图像的捏脸参数信息；所述捏脸参数信息用于渲染得到虚拟场景中的虚拟角色。
其中，脸部处理模型的训练过程可以参照前述实施例，这里不再赘述。
参见图3所示，为本公开实施例提供的另一种脸部处理方法的流程图，在图3所示的脸部处理方法中，同时使用了图像特征损失信息、捏脸参数损失信息、人脸恢复损失信息、人脸一致性损失信息和人脸对比损失信息，对脸部处理模型进行训练。脸部处理模型中包含编解码器，这里以编解码器为VQ-VAE-2模型为例进行描述。编解码器中包含编码器和解码器，可以定义编码器(Encoder)用符号E表示，解码器(Decoder)用符号D表示。
步骤1：获取训练样本。
训练样本中包含真实人脸的多个人脸图像对和虚拟角色对应的角色脸截图样本。真实人脸的多个人脸图像对包括源域(Source Domain)(即真实域)里无标签的图像。每个人脸图像对中包含同一人的两张不同人脸图像样本。虚拟角色对应的角色脸截图样本包括目标域(Target Domain)(即虚拟域)里有标签的图像。在每轮训练中，可以将任一人脸图像对、其他任一人脸图像以及任一虚拟角色对应的角色脸截图样本作为输入。这里，可以将人脸图像对中的任一人脸图像样本标记为
Figure RE-GDA0003755850870000151
将人脸图像对中的另一人脸图像样本标记为
Figure RE-GDA0003755850870000152
将其他任一人脸图像标记为
Figure RE-GDA0003755850870000153
将任一虚拟角色对应的角色脸截图样本标记为It。
步骤2：将训练样本输入至编码器中，得到训练样本中各个图像分别对应的第一图像特征。
以训练样本中的各个图像对应256×256维的原始图像特征为例。编码器E可以将各个图像进行下采样，得到64×64维的底层潜映射，然后对64×64维的底层潜映射进行进一步缩小，得到量化后的32×32维的顶层潜映射，即第一图像特征。
通过上述下采样过程，可以分别得到任一人脸图像对、其他任一人脸图像以及任一虚拟角色对应的角色脸截图样本对应的32×32维的第一图像特征。
步骤3：将训练样本中各个图像分别对应的第一图像特征输入至解码器中，得到训练样本中各个图像分别对应的第二图像特征。
解码器D是与编码器E类似的对称结构，可以先对各个图像分别对应的第一图像特征进行上采样，得到原始维度的图像特征，即256×256维的图像特征。然后，进行量化处理，得到量化后的64×64维的顶层潜映射，即第二图像特征，与前面64×64维的底层潜映射的维度相同。
步骤4：将第二图像特征输入至脸部处理模型中的回归器中，得到训练样本中各个图像分别对应的第三图像特征以及各个图像分别对应的捏脸参数信息。
这里，定义回归器(Regressor)用符号R表示。回归器R设置在解码器D的最后一层。回归器R是由6层卷积层组成的。
这里，将步骤2得到的32×32维的顶层潜映射与步骤3得到的64×64维的顶层潜映射进行连接，可以得到64×64×128维的立体潜映射。如表1所示，将64×64×128 维的立体潜映射作为输入，输入到回归器R中，经过回归器R中各个卷积层对立体潜映射的处理，可以在回归器R的L5层，也就是回归器R的第五层，得到2×2×256维的第三图像特征，然后在回归器R的最后一层，得到1×1×267维的捏脸参数信息。
表1
Figure RE-GDA0003755850870000161
这里，人脸图像样本
Figure RE-GDA0003755850870000162
对应的第三图像特征可以表示为fS，任一虚拟角色对应的角色脸截图样本It对应的第三图像特征可以表示为ft。人脸图像样本
Figure RE-GDA0003755850870000163
对应的捏脸参数信息可以表示为P，人脸图像样本
Figure RE-GDA0003755850870000164
对应的捏脸参数信息可以表示为P+，其他任一人脸图像
Figure RE-GDA0003755850870000165
对应的捏脸参数信息可以表示为P-，任一虚拟角色对应的角色脸截图样本 It对应的捏脸参数信息可以表示为Pt。
步骤5：将人脸图像对中的人脸图像样本
Figure RE-GDA0003755850870000166
对应的捏脸参数信息P以及角色脸截图样本It对应的捏脸参数信息Pt分别输入至利用预先训练好的模拟器，生成人脸图像样本
Figure RE-GDA0003755850870000167
对应的第一人脸生成图像Is'以及角色脸截图样本It对应的第二人脸生成图像It'。
这里，定义模拟器(Imitator)用符号G表示。定义第二人脸生成图像It'的图像信息表示为G(Pt)，以及角色脸截图样本It的图像信息表示为It。这里的图像信息可以为红、绿、蓝的颜色通道信息。
在对模拟器G进行训练的时候，可以计算第二人脸生成图像It'的图像信息G(Pt)与角色脸截图样本It的图像信息It之间的损失，然后利用该损失对对模拟器进行训练。具体地，可以计算第二人脸生成图像It'的图像信息G(Pt)与角色脸截图样本It的图像信息It差值的平方。
第二人脸生成图像It'的图像信息G(Pt)与角色脸截图样本It的图像信息It之间的损失Limitation可以为：
Figure RE-GDA0003755850870000171
通过最小化损失Limitation对模拟器G进行训练，训练好的模拟器G可以使得生成的第二人脸生成图像It'与角色脸截图样本It更相似。
步骤6：基于人脸图像样本
Figure RE-GDA0003755850870000172
对应的第三图像特征fS以及角色脸截图样本It对应的第三图像特征ft，确定图像特征损失信息；基于人脸图像样本
Figure RE-GDA0003755850870000173
对应的捏脸参数信息P以及角色脸截图样本It对应的捏脸参数信息Pt，确定捏脸参数损失信息；以及，基于图像特征损失信息和捏脸参数损失信息，确定第一损失信息。
这里可以使用最大平均差异MMD确定人脸图像样本
Figure RE-GDA0003755850870000174
与角色脸截图样本It之间的距离，这里得到第一损失信息为
Figure RE-GDA0003755850870000175
也就是域损失信息。
其中，
Figure RE-GDA0003755850870000176
对应图像特征损失信息，
Figure RE-GDA0003755850870000177
对应捏脸参数损失信息，Hk为具有核函数的核希尔伯特空间，核函数可以为高斯核函数
Figure RE-GDA0003755850870000178
σ为带宽，用于控制高斯核函数的局部作用范围。
步骤7：基于角色脸截图样本It的图像信息It和第二人脸生成图像It'的图像信息It'，确定第二损失信息。
基于角色脸截图样本It的图像信息和第二人脸生成图像It'的图像信息，可以先确定第一子损失：
Figure RE-GDA0003755850870000179
这里沿用VQ-VAE-2模型中的损失，定义为第二子损失，第二子损失可以为：
Figure RE-GDA00037558508700001710
其中，e是角色脸截图样本It的量化编码； sg为操作符，用于指示停止梯度的操作；α是超参数，这里可以设α＝0.25。
第二损失信息为：Lprestored＝Lparam+βLdiffer，即人脸恢复损失信息；其中β为权重系数，这里可以设β＝0.25。
步骤8：将人脸图像样本
Figure RE-GDA0003755850870000181
和第一人脸生成图像Is'输入至预先训练的人脸重建模型中，分别得到人脸图像样本
Figure RE-GDA0003755850870000182
的第四图像特征和第一人脸生成图像Is'的第五图像特征；以及，将人脸图像样本
Figure RE-GDA0003755850870000183
和第一人脸生成图像Is'输入至预先训练的人脸识别模型中，分别得到人脸图像样本
Figure RE-GDA0003755850870000184
的第六图像特征和第一人脸生成图像Is'的第七图像特征；基于第四图像特征和第五图像特征，确定第一人脸一致性损失信息；以及，基于第六图像特征和第七图像特征，确定第二人脸一致性损失信息；以及，基于第一人脸一致性损失信息和第二人脸一致性损失信息，确定第三损失信息。
人脸重建模型可以标记为F3d，人脸识别模型可以标记为Fid。
人脸图像样本
Figure RE-GDA0003755850870000185
的第四图像特征可以表示为F3d(IS)，第一人脸生成图像Is'的第五图像特征可以表示为F3d(IS')，可以得到第一人脸一致性损失信息为：
Figure RE-GDA0003755850870000186
人脸图像样本
Figure RE-GDA0003755850870000187
的第六图像特征可以表示为Fid(IS)，第一人脸生成图像Is'的第七图像特征可以表示为Fid(IS')，可以得到第二人脸一致性损失信息为：
Figure RE-GDA0003755850870000188
将第一人脸一致性损失信息和第二人脸一致性损失信息相加，可以得到第三损失信息：Lconsistency＝L3d+Lid，即人脸一致性损失信息。
步骤9：基于人脸图像样本
Figure RE-GDA0003755850870000189
对应的捏脸参数信息P+，人脸图像样本
Figure RE-GDA00037558508700001810
对应的捏脸参数信息P-，角色脸截图样本It对应的捏脸参数信息Pt，确定第四损失信息。
这里，第四损失信息可以为：
Figure RE-GDA00037558508700001811
即人脸对比损失信息；其中，τ为预设系数。
步骤10：基于第一损失信息、第二损失信息、第三损失信息、第四损失信息，可以确定总损失信息。
总损失信息为：L＝λ1Ldomain+λ2Lprestored+λ3Lconsistency+λ4Lcontrastive；其中，λ1＝1，λ2＝0.01，λ3＝0.02，λ4＝0.02。
步骤11：基于总损失信息，调整待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型。
调整待训练的脸部处理模型中的权重参数信息可以参照前述的调整过程，这里不再赘述。利用训练好的脸部处理模型，可以用于在输入真实人脸的待处理人脸图像后，得到对应虚拟角色的捏脸参数信息。得到的虚拟角色的捏脸参数信息可以在游戏引擎中渲染得到虚拟角色。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与脸部处理方法对应的脸部处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述脸部处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图4所示，为本公开实施例提供的一种脸部处理装置的架构示意图，所述装置包括：第一获取模块401、第一输入模块402、第一确定模块403、调整模块404；其中，
第一获取模块401，用于获取真实人脸的人脸图像样本以及虚拟角色对应的角色脸截图样本；
第一输入模块402，用于将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型中，得到所述人脸图像样本对应的第一图像特征和第一捏脸参数信息、所述角色脸截图样本对应的第二图像特征和第二捏脸参数信息；
第一确定模块403，用于基于所述第一图像特征和所述第二图像特征，确定图像特征损失信息；以及基于所述第一捏脸参数信息和所述第二捏脸参数信息，确定捏脸参数损失信息；
调整模块404，用于基于所述图像特征损失信息和所述捏脸参数损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型；所述训练好的脸部处理模型用于在输入真实人脸的待处理人脸图像后，得到对应虚拟角色的捏脸参数信息。
一种可选的实施方式中，所述装置还包括：
第二输入模块，用于将所述角色脸截图样本的第二捏脸参数信息输入至预先训练的模仿器中，得到第一人脸生成图像；
第二确定模块，用于基于所述角色脸截图样本的第一图像信息和所述第一人脸生成图像的第二图像信息，得到人脸恢复损失信息；
调整模块404，具体用于：
基于所述图像特征损失信息、所述捏脸参数损失信息和所述人脸恢复损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型。
一种可选的实施方式中，所述装置还包括：
第三输入模块，用于将所述人脸图像样本的第一捏脸参数信息输入至预先训练的模仿器中，得到第二人脸生成图像；
第三确定模块，用于将所述人脸图像样本和所述第二人脸生成图像输入至预先训练的第一人脸识别模型中，分别得到所述人脸图像样本的第三图像特征和所述第二人脸生成图像的第四图像特征；以及，将所述人脸图像样本和所述第二人脸生成图像输入至预先训练的第二人脸识别模型中，分别得到所述人脸图像样本的第五图像特征和所述第二人脸生成图像的第六图像特征；
第四确定模块，用于基于所述第三图像特征和所述第四图像特征，确定第一人脸一致性损失信息；以及，基于所述第五图像特征和所述第六图像特征，确定第二人脸一致性损失信息；
调整模块404，具体用于：
基于所述图像特征损失信息、所述捏脸参数损失信息、所述第一人脸一致性损失信息和所述第二人脸一致性损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型。
一种可选的实施方式中，所述人脸图像样本包括多个人脸图像对；每个所述人脸图像对中包含同一人的两张不同人脸图像；
针对每个人脸图像对，所述人脸图像样本对应的第一捏脸参数信息包括所述人脸图像样本对中两张人脸图像分别对应的第三捏脸参数信息和第四捏脸参数信息，以及所述其他任一人脸图像对应的第五捏脸参数信息；
所述装置还包括：
第五确定模块，用于基于所述第三捏脸参数信息、所述第四捏脸参数信息以及所述第五捏脸参数信息，确定人脸对比损失信息；
调整模块404，具体用于：
基于所述图像特征损失信息、所述捏脸参数损失信息和所述人脸对比损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型。
一种可选的实施方式中，调整模块404，具体用于：
对所述图像特征损失信息和所述捏脸参数损失信息的和求导，得到所述待训练的脸部处理模型中的权重参数的梯度函数；
将当前的权重参数信息代入至所述梯度函数中，得到迭代后的梯度向量；
基于所述迭代后的梯度向量，对所述当前的权重参数信息进行更新，得到更新后的权重参数信息。
一种可选的实施方式中，第一输入模块402，具体用于：
将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型的编码器中，分别对所述人脸图像样本和所述角色脸截图样本进行下采样，得到所述人脸图像样本和所述角色脸截图样本分别在第一预设维度下的第七图像特征和第八图像特征；
将所述第七图像特征和所述第八图像特征分别输入至所述待训练的脸部处理模型的解码器中，对所述第七图像特征和所述第八图像特征进行上采样，得到所述人脸图像样本和所述角色脸截图样本分别在第二预设维度下的第九图像特征和第十图像特征；
将所述第七图像特征和所述第九图像特征、所述第八图像特征和所述第十图像特征分别输入至所述待训练的脸部处理模型的回归器中，得到所述人脸图像样本对应的第一图像特征和第一捏脸参数信息、所述角色脸截图样本对应的第二图像特征和第二捏脸参数信息。
一种可选的实施方式中，所述装置还包括：
第二获取模块，用于获取所述角色脸截图样本的第六捏脸参数信息；
训练模块，用于将所述角色脸截图样本的第六捏脸参数信息作为输入、所述角色脸截图样本作为输出，对待训练的模仿器进行训练，得到训练好的模仿器。
参照图5所示，为本公开实施例提供的另一种脸部处理装置的架构示意图，所述装置包括：获取模块501、输入模块502；其中，
获取模块501，用于获取真实人脸的待处理人脸图像；
输入模块502，用于将所述待处理人脸图像输入至按照如图1所述的脸部处理方法训练后得到的脸部处理模型中，得到所述待处理人脸图像的捏脸参数信息；所述捏脸参数信息用于渲染得到虚拟场景中的虚拟角色。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图6所示，为本公开实施例提供的计算机设备600的结构示意图，包括处理器601、存储器602、和总线603。其中，存储器602用于存储执行指令，包括内存6021和外部存储器6022；这里的内存6021也称内存储器，用于暂时存放处理器601中的运算数据，以及与硬盘等外部存储器6022交换的数据，处理器601通过内存6021与外部存储器6022进行数据交换，当计算机设备600运行时，处理器601与存储器602之间通过总线603通信，使得处理器601在执行以下指令：
获取真实人脸的人脸图像样本以及虚拟角色对应的角色脸截图样本；
将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型中，得到所述人脸图像样本对应的第一图像特征和第一捏脸参数信息、所述角色脸截图样本对应的第二图像特征和第二捏脸参数信息；
基于所述第一图像特征和所述第二图像特征，确定图像特征损失信息；以及基于所述第一捏脸参数信息和所述第二捏脸参数信息，确定捏脸参数损失信息；
基于所述图像特征损失信息和所述捏脸参数损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型；所述训练好的脸部处理模型用于在输入真实人脸的待处理人脸图像后，得到对应虚拟角色的捏脸参数信息。
或，处理器601在执行以下指令：
获取真实人脸的待处理人脸图像；
将所述待处理人脸图像输入至按照上述脸部处理方法训练后得到的脸部处理模型中，得到所述待处理人脸图像的捏脸参数信息；所述捏脸参数信息用于渲染得到虚拟场景中的虚拟角色。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的脸部处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的脸部处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种脸部处理方法，其特征在于，包括：
获取真实人脸的人脸图像样本以及虚拟角色对应的角色脸截图样本；
将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型中，得到所述人脸图像样本对应的第一图像特征和第一捏脸参数信息、所述角色脸截图样本对应的第二图像特征和第二捏脸参数信息；
基于所述第一图像特征和所述第二图像特征，确定图像特征损失信息；以及基于所述第一捏脸参数信息和所述第二捏脸参数信息，确定捏脸参数损失信息；
基于所述图像特征损失信息和所述捏脸参数损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型；所述训练好的脸部处理模型用于在输入真实人脸的待处理人脸图像后，得到对应虚拟角色的捏脸参数信息。
2.根据权利要求1所述的方法，其特征在于，将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型中，得到所述人脸图像样本对应的第一捏脸参数信息之后，所述方法还包括：
将所述角色脸截图样本的第二捏脸参数信息输入至预先训练的模仿器中，得到第一人脸生成图像；
基于所述角色脸截图样本的第一图像信息和所述第一人脸生成图像的第二图像信息，得到人脸恢复损失信息；
所述基于所述图像特征损失信息和所述捏脸参数损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型，包括：
基于所述图像特征损失信息、所述捏脸参数损失信息和所述人脸恢复损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型。
3.根据权利要求1所述的方法，其特征在于，将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型中，得到所述人脸图像样本对应的第一捏脸参数信息之后，所述方法还包括：
将所述人脸图像样本的第一捏脸参数信息输入至预先训练的模仿器中，得到第二人脸生成图像；
将所述人脸图像样本和所述第二人脸生成图像输入至预先训练的第一人脸识别模型中，分别得到所述人脸图像样本的第三图像特征和所述第二人脸生成图像的第四图像特征；以及，将所述人脸图像样本和所述第二人脸生成图像输入至预先训练的第二人脸识别模型中，分别得到所述人脸图像样本的第五图像特征和所述第二人脸生成图像的第六图像特征；
基于所述第三图像特征和所述第四图像特征，确定第一人脸一致性损失信息；以及，基于所述第五图像特征和所述第六图像特征，确定第二人脸一致性损失信息；
所述基于所述图像特征损失信息和所述捏脸参数损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型，包括：
基于所述图像特征损失信息、所述捏脸参数损失信息、所述第一人脸一致性损失信息和所述第二人脸一致性损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型。
4.根据权利要求1所述的方法，其特征在于，所述人脸图像样本包括多个人脸图像对；每个所述人脸图像对中包含同一人的两张不同人脸图像；
针对每个人脸图像对，所述人脸图像样本对应的第一捏脸参数信息包括所述人脸图像样本对中两张人脸图像分别对应的第三捏脸参数信息和第四捏脸参数信息，以及所述其他任一人脸图像对应的第五捏脸参数信息；
将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型中，得到所述人脸图像样本对应的第一捏脸参数信息之后，所述方法还包括：
基于所述第三捏脸参数信息、所述第四捏脸参数信息以及所述第五捏脸参数信息，确定人脸对比损失信息；
所述基于所述图像特征损失信息和所述捏脸参数损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型，包括：
基于所述图像特征损失信息、所述捏脸参数损失信息和所述人脸对比损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型。
5.根据权利要求1所述的方法，其特征在于，所述基于所述图像特征损失信息和所述捏脸参数损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型，包括：
对所述图像特征损失信息和所述捏脸参数损失信息的和求导，得到所述待训练的脸部处理模型中的权重参数的梯度函数；
将当前的权重参数信息代入至所述梯度函数中，得到迭代后的梯度向量；
基于所述迭代后的梯度向量，对所述当前的权重参数信息进行更新，得到更新后的权重参数信息。
6.根据权利要求1所述的方法，其特征在于，所述将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型中，得到所述人脸图像样本对应的第一图像特征和第一捏脸参数信息、所述角色脸截图样本对应的第二图像特征和第二捏脸参数信息，包括：
将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型的编码器中，分别对所述人脸图像样本和所述角色脸截图样本进行下采样，得到所述人脸图像样本和所述角色脸截图样本分别在第一预设维度下的第七图像特征和第八图像特征；
将所述第七图像特征和所述第八图像特征分别输入至所述待训练的脸部处理模型的解码器中，对所述第七图像特征和所述第八图像特征进行上采样，得到所述人脸图像样本和所述角色脸截图样本分别在第二预设维度下的第九图像特征和第十图像特征；
将所述第七图像特征和所述第九图像特征、所述第八图像特征和所述第十图像特征分别输入至所述待训练的脸部处理模型的回归器中，得到所述人脸图像样本对应的第一图像特征和第一捏脸参数信息、所述角色脸截图样本对应的第二图像特征和第二捏脸参数信息。
7.根据权利要求2所述的方法，其特征在于，将所述角色脸截图样本的第二捏脸参数信息输入至预先训练的模仿器中，得到第一人脸生成图像之前，所述方法还包括：
获取所述角色脸截图样本的第六捏脸参数信息；
将所述角色脸截图样本的第六捏脸参数信息作为输入、所述角色脸截图样本作为输出，对待训练的模仿器进行训练，得到训练好的模仿器。
8.一种脸部处理方法，其特征在于，包括：
获取真实人脸的待处理人脸图像；
将所述待处理人脸图像输入至按照权利要求1～7任一项所述的脸部处理方法训练后得到的脸部处理模型中，得到所述待处理人脸图像的捏脸参数信息；所述捏脸参数信息用于渲染得到虚拟场景中的虚拟角色。
9.一种脸部处理装置，其特征在于，包括：
第一获取模块，用于获取真实人脸的人脸图像样本以及虚拟角色对应的角色脸截图样本；
第一输入模块，用于将所述人脸图像样本和所述角色脸截图样本分别输入至待训练的脸部处理模型中，得到所述人脸图像样本对应的第一图像特征和第一捏脸参数信息、所述角色脸截图样本对应的第二图像特征和第二捏脸参数信息；
第一确定模块，用于基于所述第一图像特征和所述第二图像特征，确定图像特征损失信息；以及基于所述第一捏脸参数信息和所述第二捏脸参数信息，确定捏脸参数损失信息；
调整模块，用于基于所述图像特征损失信息和所述捏脸参数损失信息，调整所述待训练的脸部处理模型中的权重参数信息，得到训练好的脸部处理模型；所述训练好的脸部处理模型用于在输入真实人脸的待处理人脸图像后，得到对应虚拟角色的捏脸参数信息。
10.一种脸部处理装置，其特征在于，包括：
获取模块，用于获取真实人脸的待处理人脸图像；
输入模块，用于将所述待处理人脸图像输入至按照权利要求1～7任一项所述的脸部处理方法训练后得到的脸部处理模型中，得到所述待处理人脸图像的捏脸参数信息；所述捏脸参数信息用于渲染得到虚拟场景中的虚拟角色。
11.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一项所述的脸部处理方法的步骤或执行如权利要求8所述的脸部处理方法的步骤。
12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一项所述的脸部处理方法的步骤或执行如权利要求8所述的脸部处理方法的步骤。
CN202210180995.9A 2022-02-25 2022-02-25 一种脸部处理方法、装置、计算机设备及存储介质 Pending CN115311127A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210180995.9A CN115311127A (zh) 2022-02-25 2022-02-25 一种脸部处理方法、装置、计算机设备及存储介质
PCT/CN2023/074288 WO2023160350A1 (zh) 2022-02-25 2023-02-02 一种脸部处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210180995.9A CN115311127A (zh) 2022-02-25 2022-02-25 一种脸部处理方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN115311127A true CN115311127A (zh) 2022-11-08

Family

ID=83855745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210180995.9A Pending CN115311127A (zh) 2022-02-25 2022-02-25 一种脸部处理方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN115311127A (zh)
WO (1) WO2023160350A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160350A1 (zh) * 2022-02-25 2023-08-31 北京字跳网络技术有限公司 一种脸部处理方法、装置、计算机设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116884077B (zh) * 2023-09-04 2023-12-08 上海任意门科技有限公司 一种人脸图像类别确定方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241855A (zh) * 2018-01-04 2018-07-03 百度在线网络技术（北京）有限公司 图像生成方法和装置
CN109636886A (zh) * 2018-12-19 2019-04-16 网易（杭州）网络有限公司 图像的处理方法、装置、存储介质和电子装置
CN109902767A (zh) * 2019-04-11 2019-06-18 网易（杭州）网络有限公司 模型训练方法、图像处理方法及装置、设备和介质
CN110717977A (zh) * 2019-10-23 2020-01-21 网易（杭州）网络有限公司 游戏角色脸部处理的方法、装置、计算机设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111632374B (zh) * 2020-06-01 2023-04-18 网易（杭州）网络有限公司 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN111729314A (zh) * 2020-06-30 2020-10-02 网易（杭州）网络有限公司 一种虚拟角色的捏脸处理方法、装置及可读存储介质
CN113052962B (zh) * 2021-04-02 2022-08-19 北京百度网讯科技有限公司 模型训练、信息输出方法，装置，设备以及存储介质
CN113409437B (zh) * 2021-06-23 2023-08-08 北京字节跳动网络技术有限公司 一种虚拟角色捏脸的方法、装置、电子设备及存储介质
CN115311127A (zh) * 2022-02-25 2022-11-08 北京字跳网络技术有限公司 一种脸部处理方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241855A (zh) * 2018-01-04 2018-07-03 百度在线网络技术（北京）有限公司 图像生成方法和装置
CN109636886A (zh) * 2018-12-19 2019-04-16 网易（杭州）网络有限公司 图像的处理方法、装置、存储介质和电子装置
CN109902767A (zh) * 2019-04-11 2019-06-18 网易（杭州）网络有限公司 模型训练方法、图像处理方法及装置、设备和介质
CN110717977A (zh) * 2019-10-23 2020-01-21 网易（杭州）网络有限公司 游戏角色脸部处理的方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160350A1 (zh) * 2022-02-25 2023-08-31 北京字跳网络技术有限公司 一种脸部处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2023160350A1 (zh) 2023-08-31

Similar Documents

Publication Publication Date Title
CN110717977B (zh) 游戏角色脸部处理的方法、装置、计算机设备及存储介质
CN109902767B (zh) 模型训练方法、图像处理方法及装置、设备和介质
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
US11741668B2 (en) Template based generation of 3D object meshes from 2D images
CN111632374B (zh) 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN113822437B (zh) 深度分层的变分自动编码器
CN111542861A (zh) 利用深度外观模型渲染化身的系统和方法
CN115311127A (zh) 一种脸部处理方法、装置、计算机设备及存储介质
CN116109798B (zh) 图像数据处理方法、装置、设备及介质
CN110288697A (zh) 基于多尺度图卷积神经网络的3d人脸表示与重建方法
CN111881926A (zh) 图像生成、图像生成模型的训练方法、装置、设备及介质
US11514638B2 (en) 3D asset generation from 2D images
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN111402394B (zh) 三维夸张漫画人脸生成方法及装置
US20220156987A1 (en) Adaptive convolutions in neural networks
CN111598979A (zh) 虚拟角色的面部动画生成方法、装置、设备及存储介质
CN114202615A (zh) 人脸表情的重建方法、装置、设备和存储介质
CN109636867B (zh) 图像处理方法、装置及电子设备
KR102470866B1 (ko) 3d 캐릭터의 얼굴 표정 리타게팅 방법 및 이를 위해 신경망을 학습하는 방법
EP4261770A1 (en) Image processing method, apparatus and device, and computer-readable storage medium
US20220101145A1 (en) Training energy-based variational autoencoders
CN114373033A (zh) 图像处理方法、装置、设备、存储介质及计算机程序
CN115984094B (zh) 基于多损失约束视角一致性保持人脸安全生成方法及设备
US20230274502A1 (en) Methods and systems for 3d modeling of a human subject having hair based on 2d imagery
US20230154051A1 (en) Systems and Methods for Compression of Three-Dimensional Volumetric Representations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination