CN111389008B - 虚拟角色的面部生成方法、自动捏脸方法及装置 - Google Patents

虚拟角色的面部生成方法、自动捏脸方法及装置 Download PDF

Info

Publication number
CN111389008B
CN111389008B CN202010184367.9A CN202010184367A CN111389008B CN 111389008 B CN111389008 B CN 111389008B CN 202010184367 A CN202010184367 A CN 202010184367A CN 111389008 B CN111389008 B CN 111389008B
Authority
CN
China
Prior art keywords
face
pinching
matrix
parameter
virtual character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010184367.9A
Other languages
English (en)
Other versions
CN111389008A (zh
Inventor
石天阳
袁燚
范长杰
胡志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202010184367.9A priority Critical patent/CN111389008B/zh
Publication of CN111389008A publication Critical patent/CN111389008A/zh
Application granted granted Critical
Publication of CN111389008B publication Critical patent/CN111389008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/825—Fostering virtual characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种虚拟角色的面部生成方法、自动捏脸方法及装置，涉及图像处理的技术领域，该虚拟角色的面部生成方法包括：响应针对于虚拟角色的面部随机生成指令，生成符合预定分布规律的随机变量组；将随机变量组输入至预设的人脸先验模型，得到人脸先验模型输出的虚拟角色的捏脸参数组；基于捏脸参数组对虚拟角色的面部进行渲染。本发明实施例提供的虚拟角色的面部生成方法、自动捏脸方法及装置，可以通过该人脸先验矩阵得出符合面部规律的捏脸参数组，避免出现面部畸形的情况，不仅增加了整个捏脸系统的鲁棒性，也有效提高了玩家的游戏体验。

Description

虚拟角色的面部生成方法、自动捏脸方法及装置
技术领域
本发明涉及图像处理的技术领域，尤其是涉及一种虚拟角色的面部生成方法、自动捏脸方法及装置。
背景技术
RPG(Role-playing game，角色扮演游戏)游戏中的捏脸系统提供给了玩家按照自己喜好创建他们角色的机会。为了提高玩家的沉浸感和游戏的交互性，捏脸系统也变地越来越复杂。例如，玩家可以精确地操纵角色的每一个部位，如眼角、鼻尖等，但这也耗费了玩家大量的时间和精力。为了创造一个满意的角色，玩家往往需要花费数个小时来调整上百个参数。自动捏脸技术的出现则大大减轻了玩家的负担，现在玩家可以通过上传单张照片就获得令人满意的游戏角色，以便快速加入到游戏中去。
但是，部分RPG游戏的捏脸系统仅支持玩家从一系列模板中进行选择(如选择眼睛形状、鼻子形状、发型等)，因此，捏脸系统可以同步提供随机组合这些模板的功能。而对于更复杂的捏脸系统，由于其捏脸参数维度过高，完全随机生成会的角色会出现面部畸形等情况，降低了玩家的游戏体验。
发明内容
有鉴于此，本发明的目的在于提一种虚拟角色的面部生成方法、自动捏脸方法及装置，以缓解上述技术问题。
第一方面，本发明实施例提供了一种虚拟角色生成方法，该方法包括：响应针对于虚拟角色的面部随机生成指令，生成符合预定分布规律的随机变量组；其中，随机变量组中的随机变量与虚拟角色的面部特征维度相对应；将随机变量组输入至预设的人脸先验模型，得到人脸先验模型输出的虚拟角色的捏脸参数组；其中，人脸先验模型包括人脸先验矩阵，人脸先验矩阵为基于实际人脸图像集中的面部特征分布规律生成的用于表征随机变量组与捏脸参数组的对应关系的矩阵；基于捏脸参数组对虚拟角色的面部进行渲染。
在一种可能的实施方式中，上述符合预定分布规律的随机变量组为符合标准高斯分布的随机变量组。
在一种可能的实施方式中，上述随机变量组与捏脸参数组的对应关系表示为：x＝(PTP)-1PTz+m；其中，x为捏脸参数组，P为人脸先验矩阵；z为随机变量组；m为预设的均值。
在一种可能的实施方式中，上述人脸先验矩阵的生成方法包括：获取人脸图像集，其中，人脸图像集中包括多个人脸图像；遍历人脸图像集，对每个人脸图像提取样本捏脸参数组，并基于样本捏脸参数组生成捏脸参数矩阵；对捏脸参数矩阵进行统计分析，得到捏脸参数矩阵的协方差矩阵，以及，协方差矩阵的特征值和特征向量矩阵；基于协方差矩阵的特征值和特征向量矩阵构造人脸先验矩阵；其中，人脸先验矩阵表示为：
Figure BDA0002413065540000021
其中，∑为捏脸参数矩阵的协方差矩阵的特征值；V为协方差矩阵的特征向量矩阵；P为人脸先验矩阵，T表示特征向量矩阵V的转置。
在一种可能的实施方式中，上述对捏脸参数矩阵进行统计分析的步骤包括：对捏脸参数矩阵进行去均值操作，得到去均值的捏脸参数矩阵；对去均值的捏脸参数矩阵进行统计分析。
在一种可能的实施方式中，上述对每个人脸图像提取样本捏脸参数的组步骤包括：将每个人脸图像输入至预先设置的参数提取器，通过参数提取器逐个提取每个人脸图像的样本捏脸参数组。
在一种可能的实施方式中，上述基于样本捏脸参数组生成捏脸参数矩阵的步骤包括：将样本捏脸参数组按照预设的人脸部位进行分组，生成多个预设的人脸部位对应的子样本捏脸参数组；其中，预设的人脸部位包括面部特征对应的人脸部位；根据子样本捏脸参数组生成人脸部位对应的捏脸参数矩阵。
第二方面，本发明实施例还提供一种自动捏脸方法，该方法包括：响应针对于虚拟场景中的目标虚拟角色的捏脸指令，获取真实场景中的第一面部图像和虚拟场景中的第二面部图像；其中，第二面部图像为预先为虚拟场景配置的可选面部图像；基于第一面部图像和第二面部图像构造优化目标函数，通过优化目标函数输出随机输入参数组；将随机输入参数组输入至人脸先验网络层，通过人脸先验网络层中嵌入的人脸先验模型输出目标虚拟角色的捏脸参数组，其中，人脸先验模型包括人脸先验矩阵，人脸先验矩阵为基于实际人脸图像集中的面部特征分布规律生成的用于表征随机变量组与捏脸参数组的对应关系的矩阵；基于捏脸参数组对目标虚拟角色的面部进行渲染，以使目标虚拟角色的面部图像与第一面部图像匹配。
在一种可能的实施方式中，上述优化目标函数表示为：
minz||f(Y)-f(I)||1；
其中，f()代表特征提取器，Y表示第二面部图像，I表示第一面部图像，z表示随机输入参数组。
在一种可能的实施方式中，上述基于捏脸参数组对目标虚拟角色的面部进行渲染的步骤包括：将捏脸参数组输入至预设的捏脸算法，通过预设的捏脸算法对捏脸参数组进行渲染，并输出目标虚拟角色的面部图像。
第三方面，本发明实施例还提供一种虚拟角色的面部生成装置，该装置包括：生成模块，用于响应针对于虚拟角色的面部随机生成指令，生成符合预定分布规律的随机变量组；其中，随机变量组中的随机变量与虚拟角色的面部特征维度相对应；第一输出模块，用于将随机变量组输入至预设的人脸先验模型，得到人脸先验模型输出的虚拟角色的捏脸参数组；其中，人脸先验模型包括人脸先验矩阵，人脸先验矩阵为基于实际人脸图像集中的面部特征分布规律生成的用于表征随机变量组与捏脸参数组的对应关系的矩阵；第一渲染模块，用于基于捏脸参数组对虚拟角色的面部进行渲染。
第四方面，本发明实施例还提供一种自动捏脸装置，该装置包括：获取模块，用于响应针对于虚拟场景中的目标虚拟角色的捏脸指令，获取真实场景中的第一面部图像和虚拟场景中的第二面部图像；其中，第二面部图像为预先为虚拟场景配置的可选面部图像；构造模块，用于基于第一面部图像和第二面部图像构造优化目标函数，通过优化目标函数输出随机输入参数组；第二输出模块，用于将随机输入参数组输入至人脸先验网络层，通过人脸先验网络层中嵌入的人脸先验模型输出目标虚拟角色的捏脸参数组，其中，人脸先验模型包括人脸先验矩阵，人脸先验矩阵为基于实际人脸图像集中的面部特征分布规律生成的用于表征随机变量组与捏脸参数组的对应关系的矩阵；第二渲染模块，用于基于捏脸参数组对目标虚拟角色的面部进行渲染，以使目标虚拟角色的面部图像与第一面部图像匹配。
第五方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一至第二方面所述方法的步骤。
第六方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一至第二方面所述方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供的一种虚拟角色的面部生成方法、自动捏脸方法及装置，能够响应针对于虚拟角色的面部随机生成指令，并生成符合预定分布规律的随机变量组，然后将该随机变量组输入至预设的人脸先验模型，得到人脸先验模型输出的虚拟角色的捏脸参数组，进而基于该捏脸参数组对虚拟角色的面部进行渲染，得到虚拟角色，由于上述人脸先验模型包括人脸先验矩阵，且，人脸先验矩阵为基于实际人脸图像集中的面部特征分布规律生成的用于表征随机变量组与捏脸参数组的对应关系的矩阵，因此，可以通过该人脸先验矩阵得出符合面部规律的捏脸参数组，避免出现面部畸形的情况，不仅增加了整个捏脸系统的鲁棒性，也有效提高了玩家的游戏体验。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种虚拟角色的面部生成方法的流程图；
图2为本发明实施例提供的一种自动捏脸方法的流程图；
图3为本发明实施例提供的一种虚拟角色的面部生成装置的结构示意图；
图4为本发明实施例提供的另一种虚拟角色的面部生成装置的结构示意图；
图5为本发明实施例提供的一种自动捏脸装置的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
捏脸技术可以使玩家按照自己的喜好创建相应的游戏角色，以便让玩家快速加入到游戏中去。
目前的捏脸技术多采用基于迭代优化的自动捏脸方法和基于身份信息的鲁棒自动捏脸方法，其中，基于迭代优化的自动捏脸方法，首先需要准备一个预训练的生成器g和一个预训练的特征提取器f。生成器用于拟合游戏角色在引擎中的行为，即根据输入的捏脸参数生成对应游戏角色的正脸图像。特征提取器f则用于提取目标图像I与生成器生成图像Y的特征并据此来定义内容损失函数。准备好上述模型后即可开始自动捏脸，通过优化生成器g的输入端参数x，使得生成器g的输出Y＝g(x)与I的特征f(Y)和f(I)尽可能小，就可以得到所需的捏脸参数x。
而基于身份信息的鲁棒自动捏脸方法，则是基于迭代优化的自动捏脸方法的改进版本。两者采用了同样的生成器和特征提取器，前者用于将捏脸参数转换为游戏角色的正脸图像，后者用于提取面部的细节纹理特征。不同的是，基于身份信息的鲁棒自动捏脸方法可以额外引入了一个人脸识别器和一个可训练的编码器，用于直接基于输入图像预测捏脸参数而无需迭代优化，因此大幅度提高了部署阶段的运行效率。进一步，由于人脸识别器本身对头部姿态具有很好的鲁棒性，而捏脸参数是由该识别器的输出转换而来的，所以也具有相同的鲁棒性。
此外，早期游戏的角色创建功能，则可以提供肤色、脸型、发型等部位的一系列模板供玩家选择。由于这些模板都是确定的，因此玩家可以利用“随机选择”功能为自己反复生成角色，直到满意为止。
但是，在实际使用时，为了给玩家提供更好的游戏体验，捏脸系统往往会被赋予较高的自由度，甚至经常会超出真实人脸的分布范围，这意味着基于真实人脸生成的游戏角色其捏脸参数实际上是分布于一个更低维度的流形上。
然而，上述方案并未考虑这一点，导致优化/预测的捏脸参数处于更高维度的空间中，进而影响生成角色的鲁棒性，即，可能生成超出正常人脸范围的角色。另一方面，这种较高的自由度也导致难以开发相应的虚拟角色生成功能，仅对参数进行随机将产生一系列比较畸形的游戏角色。
基于此，本发明实施例提供了一种虚拟角色的面部生成方法、自动捏脸方法及装置，以缓解上述问题。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种虚拟角色的面部生成方法进行详细介绍。
在一种可能的实施例中，本发明实施例提供了一种虚拟角色的面部生成方法，如图1所示的一种虚拟角色生成方法的流程图，其中，本发明实施例提供的虚拟角色的面部生成方法，可以应用于电子设备，如服务器，或者客户端等等，图1所示的各个步骤，可以均在服务器或者客户端上执行，也可以采用服务器与客户端的交互执行，如，前两个步骤在服务器执行，最后一个步骤在客户端执行等等，具体可以根据实际使用情况进行设置，本发明实施例对此不进行限制，具体地，该方法包括以下步骤：
步骤S102，响应针对于虚拟角色的面部随机生成指令，生成符合预定分布规律的随机变量组；
其中，上述随机变量组中的随机变量与虚拟角色的面部特征维度相对应；
具体实现时，上述电子设备通常是安装有游戏客户端的终端设备，游戏客户端可以提供相应的“虚拟角色”的控件，如“虚拟角色”的生成按钮等，当用户点击或者触控该控件，以触发面部随机生成指令时，上述电子设备可以响应该面部随机生成指令，进而生成一组与虚拟角色的面部特征维度相对应的，且，符合预定分布规律的随机变量组。
步骤S104，将随机变量组输入至预设的人脸先验模型，得到人脸先验模型输出的虚拟角色的捏脸参数组；
其中，上述人脸先验模型包括人脸先验矩阵，该人脸先验矩阵为基于实际人脸图像集中的面部特征分布规律生成的用于表征随机变量组与捏脸参数组的对应关系的矩阵。
步骤S106，基于捏脸参数组对虚拟角色的面部进行渲染。
在实际使用时，该步骤中的渲染过程，实际得到的是一个虚拟角色的面部图像，上述人脸先验模型可以与游戏客户端同时配置在电子设备上，这样电子设备既可以输出捏脸参数组，也可以根据捏脸参数组进行虚拟角色的渲染。
进一步，上述游戏客户端和人脸先验模型可以设置在不同的电子设备，例如，游戏客户端可以设备在移动终端上，人脸先验模型设置在后台服务器，且，移动终端与后台服务器通信，此时，游戏客户端可以生成符合预定分布规律的随机变量组，将该随机变量组发送至后台服务器，并发送请求，由后台服务器通过人脸先验模型输出捏脸参数组，然后向游戏客户端返回该捏脸参数组，由客户端进行虚拟角色的渲染过程。此时，可以有效降低移动终端的硬件需求，以及运算量，有助于提高游戏客户端的运行速度。具体的实施方式可以根据实际使用情况进行设置，本发明实施例对此不进行限制。
本发明实施例提供的一种虚拟角色的面部生成方法，能够响应针对于虚拟角色的面部随机生成指令，并生成符合预定分布规律的随机变量组，然后将该随机变量组输入至预设的人脸先验模型，得到人脸先验模型输出的虚拟角色的捏脸参数组，进而基于该捏脸参数组对虚拟角色的面部进行渲染，得到虚拟角色，由于上述人脸先验模型包括人脸先验矩阵，且，人脸先验矩阵为基于实际人脸图像集中的面部特征分布规律生成的用于表征随机变量组与捏脸参数组的对应关系的矩阵，因此，可以通过该人脸先验矩阵得出符合面部规律的捏脸参数组，避免出现面部畸形的情况，不仅增加了整个捏脸系统的鲁棒性，也有效提高了玩家的游戏体验。
在实际使用时，上述符合预定分布规律的随机变量组为符合标准高斯分布的随机变量组，并且，上述随机变量组与捏脸参数组的对应关系表示为：
x＝(PTP)-1PTz+m；
其中，x为捏脸参数组，P为人脸先验矩阵；z为随机变量组；m为预设的均值。
具体实现时，为了能够提取到较为准确的捏脸参数组，上述基于人脸先验矩阵构造的用于表征随机变量组与捏脸参数组的对应关系是基于一个较大的人脸图像集实现的，并进一步利用统计分析的方法来提取上述捏脸参数组的统计特性。
通常，本发明实施例中，采用的是能够提供清晰明确的人脸图像的人脸图像集，如CelebA人脸图像集等。
具体地，上述人脸先验矩阵的生成方法包括以下步骤：
(1)获取人脸图像集，其中，该人脸图像集中包括多个人脸图像；
具体地，为了满足虚拟角色的清晰度的需求，在准备人脸图像集中，通常选用高清的人脸子集，例如，对于上述CelebA人脸图像集，可以从CelebA人脸图像集中分离出高清正脸子集，并基于该高清正脸子集生成人脸先验矩阵。
其中，该高清正脸子集可以通过手动分离的方式实现，如，人脸所占图像大小超过160像素*160像素，则认为该图像为高清图像，以CelebA人脸图像集为例，该数据集包含202599张人脸图像，分离后的高清正脸子集约含17000张图片。
(2)遍历上述人脸图像集，对每个人脸图像提取样本捏脸参数组，并基于样本捏脸参数组生成捏脸参数矩阵；
具体地，在提取样本捏脸参数组时，可以将每个人脸图像输入至预先设置的参数提取器，通过参数提取器逐个提取每个人脸图像的样本捏脸参数组，然后再根据样本捏脸参数组生成捏脸参数矩阵。
其中，上述预先设置的参数提取器可以使用前述预设的捏脸算法，例如基于迭代优化的自动捏脸方法和基于身份信息的鲁棒自动捏脸方法等等实现，以根据输入的人脸图像自动提出去捏脸参数组，具体的参数提取器可以根据实际使用情况进行设置，本发明实施例对此不进行限制。
(3)对捏脸参数矩阵进行统计分析，得到捏脸参数矩阵的协方差矩阵，以及，协方差矩阵的特征值和特征向量矩阵；
(4)基于协方差矩阵的特征值和特征向量矩阵构造人脸先验矩阵；
其中，人脸先验矩阵表示为：
Figure BDA0002413065540000101
其中，∑为捏脸参数矩阵的协方差矩阵的特征值；V为协方差矩阵的特征向量矩阵；P为人脸先验矩阵，T表示特征向量矩阵V的转置。
通常，捏脸参数本质上包含了人脸的结构信息，因此，通常在对一个人脸图像提取捏脸参数时，提取的结果是一个捏脸参数组，具体地，人脸图像集一般用D表示，上述捏脸参数矩阵可以表示为：X∈RM×N，其中，R表示样本捏脸参数组；M为人脸图像集D中的样本数目，N为自动捏脸方法所能够产生的捏脸参数维度(连续参数部分)。在实际使用时，构造人脸先验矩阵时，使用的是去均值化的捏脸参数矩阵，因此，上述(3)中对捏脸参数矩阵进行统计分析时，需要对捏脸参数矩阵进行去均值操作，得到去均值的捏脸参数矩阵；然后再对去均值的捏脸参数矩阵进行统计分析。
具体地，是将上述捏脸参数矩阵X进一步进行去均值操作，得到均值m和去均值后的捏脸参数矩阵
Figure BDA0002413065540000111
具体实现时，上述样本捏脸参数组与游戏中骨骼驱动的人脸模型所含骨骼参数相对应，在游戏中，这些骨骼参数会按照一定形式对玩家开放，例如，人脸模型的鼻子上有一个骨骼节点，则玩家可以通过调整骨骼节点的平移、旋转、缩放等参数来控制角色鼻子的位置、形状、大小。一般来说捏脸参数在开放给玩家时已归一化到0～1之间。以“逆水寒”虚拟角色为例，该游戏的虚拟角色开放给玩家208维捏脸参数，代表了面部、眼睛、鼻子、嘴巴、下颌等面部特征。
进一步，上述去均值操作是统计分析的一般预处理步骤，为的是将数据的中心与坐标系原点对齐。因此，根据捏脸参数矩阵构造人脸先验矩阵的过程，实际是对捏脸参数矩阵的统计分析过程，这是因为捏脸系统所提供的自由度往往超出真实人脸的范围，即，真实人脸的捏脸参数实际上分布于M维空间中的低维流形上，且该流形维度N'<<N。为了得到该低维流形，本发明实施例利用统计分析的手段对捏脸参数矩阵
Figure BDA0002413065540000112
进行处理。其中，本发明实施例中，以主成分分析技术为例进行说明，其他如线性判别分析LDA(Linear discriminantAnalysis，LDA线性判别分析)等具有降维功能的统计分析工具同样可以应用于本发明实施例中，具体可以根据实际使用情况进行设置，本发明实施例对此不进行限制。
因此，上述对捏脸参数矩阵进行统计分析的过程，实际是对捏脸参数矩阵进行降维处理的过程，进而得到捏脸参数矩阵的协方差矩阵，以及，该协方差矩阵的特征值和特征向量矩阵。
通常，协方差矩阵用C表示，对捏脸参数矩阵
Figure BDA0002413065540000121
进行主成分分析时，需要对捏脸参数矩阵
Figure BDA0002413065540000122
的协方差矩阵C进行特征值分解，以获得协方差矩阵的特征值∑和特征向量矩阵V，其中，协方差矩阵C表示为：
Figure BDA0002413065540000123
其中，N为自动捏脸方法所能够产生的捏脸参数维度，T表示特征向量矩阵V的转置，特征值∑表示特征向量矩阵V所代表的正交空间中每个维度的能量可以得到上述人脸先验矩阵，表示为：
Figure BDA0002413065540000124
其中，∑为协方差矩阵的特征值；V为协方差矩阵的特征向量矩阵；P为先验矩阵，T表示特征向量矩阵V的转置；
需要说明的是，上述人脸先验矩阵P可以对矩阵
Figure BDA0002413065540000125
去相关，
Figure BDA0002413065540000126
服从N元标准高斯分布，
Figure BDA0002413065540000127
在每一个维度上的数值代表了该维度的权重。
进一步，本发明实施例中，还可以进一步根据特征值∑对协方差矩阵V进行降维，即按照能量比例提取前k<N维度的数据组成先验矩阵
Figure BDA0002413065540000128
此时，人脸先验矩阵还可以表示为：
Figure BDA0002413065540000129
且，
Figure BDA00024130655400001210
服从k元标准高斯分布。
具体地，上述降维过程可以降低模型复杂度，减少噪声对模型的干扰。例如，原先输入变量需要是208维，通过降维就可以只输入50维左右的参数达到同样的效果，复杂度大大降低。因此，上述对先验矩阵进行降维的过程也可以进一步提高模型的鲁棒性。
此外，在根据样本捏脸参数生组成捏脸参数矩阵时，还可以将样本捏脸参数组按照预设的人脸部位进行分组，生成多个预设的人脸部位对应的子样本捏脸参数组；然后再根据子样本捏脸参数组生成人脸部位对应的捏脸参数矩阵。
例如，本发明实施例中，还可以先对
Figure BDA0002413065540000131
进行分组，如，根据所属捏脸参数部位(眼睛、鼻子等)，得到
Figure BDA0002413065540000132
其中
Figure BDA0002413065540000133
且有∑pNp＝N；再对每一组数据进行统计分析操作，得到一系列先验子矩阵Pp或
Figure BDA0002413065540000134
最后组合成人脸先验矩阵P或
Figure BDA0002413065540000135
具体地，人脸模型一般包含鼻子、嘴巴、眼睛等部位。从统计上来说，这些部位的参数是相互独立的，因此可以依据每一维参数所属的面部位置进行分组，以降低不同部位之间的干扰。例如，可以将仅属于鼻子的参数分为一组，仅属于眼睛的分为另一组等等，最终实际上可以分成7组，具体分组情况可以根据实际使用情况进行设置，本发明实施例对此不进行限制。
进一步，得到人脸先验矩阵P或
Figure BDA0002413065540000136
后，对于任意服从标准高斯分布的输入z～N(0，1)，都可以根据该人脸先验矩阵计算出对应的捏脸参数组x，且该捏脸参数组符合真实人脸的分布，以人脸先验矩阵P为例：可以通过上述随机变量组与捏脸参数组的对应关系x＝(PTP)-1PTz+m来得出捏脸参数组x。经由游戏客户端对该捏脸参数组渲染后，即可提供给玩家随机生成的角色。上述流程玩家也可以反复调用，直至获得满意的虚拟角色，经由上述虚拟角色生成方法随机产生的游戏角色，相比完全随机参数的角色在相貌上得到了极大的提升。
此外，在实际使用时，上述用于表征随机变量组与捏脸参数组的对应关系的人脸先验矩阵还可以以多种形式嵌入到神经网络层中，如，可嵌入全连接层、卷积层中等，如，以PyTorch中的全连接层等等，以构成人脸先验网络层。基于此，在上述实施例的基础上，本发明实施例还提供了一种自动捏脸方法，具体地，该自动捏脸方法应用于配置有图像生成器的电子设备，该图像生成器的输入端设置有人脸先验网络层，该人脸先验网络层嵌入有人脸先验模型。
具体地，如图2所示的一种自动捏脸方法的流程图，包括以下步骤：
步骤S202，响应针对于虚拟场景中的目标虚拟角色的捏脸指令，获取真实场景中的第一面部图像和虚拟场景中的第二面部图像；
其中，第二面部图像为预先为虚拟场景配置的可选面部图像；
步骤S204，基于第一面部图像和第二面部图像构造优化目标函数，通过该优化目标函数输出随机输入参数组；
步骤S206，将随机输入参数组输入至人脸先验网络层，通过人脸先验网络层中嵌入的人脸先验模型输出目标虚拟角色的捏脸参数组；
其中，该人脸先验模型包括人脸先验矩阵，人脸先验矩阵为基于实际人脸图像集中的面部特征分布规律生成的用于表征随机变量组与捏脸参数组的对应关系的矩阵。
步骤S208，基于捏脸参数组对目标虚拟角色的面部进行渲染，以使目标虚拟角色的面部图像与第一面部图像匹配。
具体地，可以将上述捏脸参数组输入至预设的捏脸算法，通过预设的捏脸算法对捏脸参数组进行渲染，并输出目标虚拟角色的面部图像。
其中，上述随机输入参数组中的随机参数，是符合预定的分布规律的参数，如，符合标准高斯分布等等。
具体地，自动捏脸过程是自动地将输入人像转换成与之相像的目标虚拟角色的过程，通常，可以通过图像生成器实现。上述通过步骤S202和步骤S206获得捏脸参数组的过程，则是获取图像生成器的输入的过程，将上述捏脸参数组输入至预先训练好的图像生成器，则可以使图像生成器继续执行步骤S208，基于捏脸参数组对目标虚拟角色的面部进行渲染，以使目标虚拟角色的面部图像与第一面部图像匹配。
在实际使用时，上述虚拟场景中的第二面部图像通常作为基准脸使用，真实场景中的第一面部图像通常作为目标图像使用，通过人脸先验网络层优化图像生成器的输入参数，即捏脸参数组，可以使图像生成器输出与目标图像特征差异尽可能小的目标虚拟角色的面部图像，同时，也可以大幅度改善模型的鲁棒性，降低参数学习的难度。
对于全连接层而言，其标准形式可以表示为：
y＝xWT+b
将该公式与随机变量组与捏脸参数组的对应关系：x＝(PTP)-1PTz+m的形式相对应，可得W＝(PTP)-1PT，b＝mT。其中x为全连接层的输入，应当服从标准高斯分布；y为全连接层的输出，代表捏脸参数，且服从真实人脸分布。此外，由于W和b均已指定，该全连接层可以看作是已经经过了预训练的神经网络层，在运行时只需固定该层的参数即可使用。
进一步，上述优化目标函数表示为：
minz||f(Y)-f(I)||1；
其中，f()代表特征提取器，Y表示第二面部图像，I表示第一面部图像，z表示随机输入参数组。
具体地，上述优化目标函数中，随机输入参数组z为自变量，通过最小化||f(Y)-f(I)||1，可以得到随机输入参数组z，然后再将该随机输入参数组z输入至人脸先验网络层，以通过人脸先验网络层输出目标虚拟角色的捏脸参数组；
为了便于理解，以上述预设的捏脸算法为基于迭代优化的自动捏脸方法为例进行说明，其生成器g可以表示为Y＝g(x)，其中为x捏脸参数组，Y为目标虚拟角色的正脸图像。为了提高自动捏脸方法的鲁棒性，使用本发明实施例提供的自动捏脸方法，可以对生成器g进行扩展，即在其输入端引入前述人脸先验网络层，因此扩展后的生成器如下式所示：
Y＝g((PTP)-1PTz+m)；
在进行自动捏脸时，优化目标函数可由下式表示：
minz||f(Y)-f(I)||1；
在该优化目标函数中，自变量为z与捏脸参数组呈函数关系，即，x＝(PTP)-1PTz+m。通过最小化||f(Y)-f(I)||1可以首先得到z，再通过上述公式换算得到捏脸参数组x，进而基于捏脸参数组对目标虚拟角色的面部进行渲染。
综上，上述包括人脸先验矩阵的人脸先验模型，既可以单独作为一个算法随机生成游戏角色，以保证该角色属于正常人脸范围；又可以作为一个子模块，放置于图像生成器的输入端，来改善图像生成器的性能，以提高整个模型的鲁棒性，也填补了相关领域的空白。
在上述图1所示实施例的基础上，本发明实施例还提供了一种虚拟角色的面部生成装置，具体地，如图3所示的一种虚拟角色的面部生成装置的结构示意图，该装置包括：
生成模块30，用于响应针对于虚拟角色的面部随机生成指令，生成符合预定分布规律的随机变量组；其中，随机变量组中的随机变量与虚拟角色的面部特征维度相对应；
第一输出模块32，用于将随机变量组输入至预设的人脸先验模型，得到人脸先验模型输出的虚拟角色的捏脸参数组；其中，人脸先验模型包括人脸先验矩阵，人脸先验矩阵为基于实际人脸图像集中的面部特征分布规律生成的用于表征随机变量组与捏脸参数组的对应关系的矩阵；
第一渲染模块34，用于基于捏脸参数组对虚拟角色的面部进行渲染。
具体地，上述符合预定分布规律的随机变量组为符合标准高斯分布的随机变量组。上述随机变量组与捏脸参数组的对应关系表示为：
x＝(PTP)-1PTz+m；
其中，x为捏脸参数组，P为人脸先验矩阵；z为随机变量组；m为预设的均值。
进一步，在图3的基础上，图4还示出了另一种虚拟角色的面部生成装置的结构示意图，除图3所示的结构外，上述装置还包括矩阵生成模块40，以生成上述人脸先验矩阵。
具体地，矩阵生成模块，用于获取人脸图像集，其中，人脸图像集中包括多个人脸图像；遍历人脸图像集，对每个人脸图像提取样本捏脸参数组，并基于样本捏脸参数组生成捏脸参数矩阵；对捏脸参数矩阵进行统计分析，得到捏脸参数矩阵的协方差矩阵，以及，协方差矩阵的特征值和特征向量矩阵；基于协方差矩阵的特征值和特征向量矩阵构造人脸先验矩阵；其中，人脸先验矩阵表示为：
Figure BDA0002413065540000171
其中，∑为捏脸参数矩阵的协方差矩阵的特征值；V为协方差矩阵的特征向量矩阵；P为人脸先验矩阵，T表示特征向量矩阵V的转置。
具体地，矩阵生成模块还用于：对捏脸参数矩阵进行去均值操作，得到去均值的捏脸参数矩阵；对去均值的捏脸参数矩阵进行统计分析，以及，将每个人脸图像输入至预先设置的参数提取器，通过参数提取器逐个提取每个人脸图像的样本捏脸参数组。
进一步，矩阵生成模块还用于：将样本捏脸参数组按照预设的人脸部位进行分组，生成多个预设的人脸部位对应的子样本捏脸参数组；其中，预设的人脸部位包括面部特征对应的人脸部位；根据子样本捏脸参数组生成人脸部位对应的捏脸参数矩阵。
本发明实施例提供的虚拟角色的面部生成装置，其实现原理及产生的技术效果和前述虚拟角色的面部生成方法实施例相同，为简要描述，装置的实施例部分未提及之处，可参考前述方法实施例中相应内容，在此不再赘述。
在上述图2所示实施例的基础上，本发明实施例还提供了一种自动捏脸装置，应用于配置有图像生成器的电子设备，该图像生成器的输入端设置有人脸先验网络层，人脸先验网络层嵌入有人脸先验模型。
具体地，如图5所示的一种自动捏脸装置的结构示意图，该装置包括：
获取模块50，用于响应针对于虚拟场景中的目标虚拟角色的捏脸指令，获取真实场景中的第一面部图像和虚拟场景中的第二面部图像；其中，第二面部图像为预先为虚拟场景配置的可选面部图像；
构造模块52，用于基于第一面部图像和第二面部图像构造优化目标函数，通过优化目标函数输出随机输入参数组；
第二输出模块54，用于将随机输入参数组输入至人脸先验网络层，通过人脸先验网络层中嵌入的人脸先验模型输出目标虚拟角色的捏脸参数组，其中，人脸先验模型包括人脸先验矩阵，人脸先验矩阵为基于实际人脸图像集中的面部特征分布规律生成的用于表征随机变量组与捏脸参数组的对应关系的矩阵；
第二渲染模块56，用于基于捏脸参数组对目标虚拟角色的面部进行渲染，以使目标虚拟角色的面部图像与第一面部图像匹配。
具体地，上述优化目标函数表示为：
minz||f(Y)-f(I)||1；
其中，f()代表特征提取器，Y表示第二面部图像，I表示第一面部图像，z表示随机输入参数组。
进一步，上述第二渲染模块用于将捏脸参数组输入至预设的捏脸算法，通过预设的捏脸算法对捏脸参数组进行渲染，并输出目标虚拟角色的面部图像。
本发明实施例提供的自动捏脸装置，其实现原理及产生的技术效果和前述自动捏脸方法实施例相同，为简要描述，装置的实施例部分未提及之处，可参考前述方法实施例中相应内容，在此不再赘述。
本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图1和图2所示方法的步骤。
本发明实施例还提供了一种电子设备的结构示意图，如图6所示，为该电子设备的结构示意图，其中，该电子设备包括处理器61和存储器60，该存储器60存储有能够被该处理器61执行的计算机可执行指令，该处理器61执行该计算机可执行指令以实现上述图1和图2所示方法。
在图6示出的实施方式中，该电子设备还包括总线62和通信接口63，其中，处理器61、通信接口63和存储器60通过总线62连接。
其中，存储器60可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线62可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线62可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器61可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器61读取存储器中的信息，结合其硬件完成前述图1和图2所示方法的步骤。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述图1和图2所示方法的步骤。
本发明实施例所提供的虚拟角色的面部生成方法、自动捏脸方法及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种虚拟角色的面部生成方法，其特征在于，所述方法包括：
响应针对于虚拟角色的面部随机生成指令，生成符合预定分布规律的随机变量组；其中，所述随机变量组中的随机变量与所述虚拟角色的面部特征维度相对应；
将所述随机变量组输入至预设的人脸先验模型，得到所述人脸先验模型输出的所述虚拟角色的捏脸参数组；其中，所述人脸先验模型包括人脸先验矩阵，所述人脸先验矩阵为基于实际人脸图像集中的面部特征分布规律生成的用于表征随机变量组与捏脸参数组的对应关系的矩阵；
基于所述捏脸参数组对所述虚拟角色的面部进行渲染。
2.根据权利要求1所述的方法，其特征在于，所述符合预定分布规律的随机变量组为符合标准高斯分布的随机变量组。
3.根据权利要求1所述的方法，其特征在于，所述随机变量组与捏脸参数组的对应关系表示为：
x＝(PTP)-1PTz+m；
其中，x为捏脸参数组，P为人脸先验矩阵；z为随机变量组；m为预设的均值。
4.根据权利要求3所述的方法，其特征在于，所述人脸先验矩阵的生成方法包括：
获取人脸图像集，其中，所述人脸图像集中包括多个人脸图像；
遍历所述人脸图像集，对每个所述人脸图像提取样本捏脸参数组，并基于所述样本捏脸参数组生成捏脸参数矩阵；
对所述捏脸参数矩阵进行统计分析，得到所述捏脸参数矩阵的协方差矩阵，以及，所述协方差矩阵的特征值和特征向量矩阵；
基于所述协方差矩阵的特征值和特征向量矩阵构造所述人脸先验矩阵；
其中，所述人脸先验矩阵表示为：
Figure FDA0002413065530000021
其中，∑为所述捏脸参数矩阵的协方差矩阵的特征值；V为所述协方差矩阵的特征向量矩阵；P为人脸先验矩阵，T表示所述特征向量矩阵V的转置。
5.根据权利要求4所述的方法，其特征在于，对所述捏脸参数矩阵进行统计分析的步骤包括：
对所述捏脸参数矩阵进行去均值操作，得到去均值的捏脸参数矩阵；
对所述去均值的捏脸参数矩阵进行统计分析。
6.根据权利要求4所述的方法，其特征在于，对每个所述人脸图像提取样本捏脸参数的组步骤包括：
将每个所述人脸图像输入至预先设置的参数提取器，通过所述参数提取器逐个提取每个所述人脸图像的样本捏脸参数组。
7.根据权利要求4所述的方法，其特征在于，基于所述样本捏脸参数组生成捏脸参数矩阵的步骤包括：
将所述样本捏脸参数组按照预设的人脸部位进行分组，生成多个预设的人脸部位对应的子样本捏脸参数组；其中，预设的所述人脸部位包括面部特征对应的人脸部位；
根据所述子样本捏脸参数组生成所述人脸部位对应的捏脸参数矩阵。
8.一种自动捏脸方法，其特征在于，所述方法包括：
响应针对于虚拟场景中的目标虚拟角色的捏脸指令，获取真实场景中的第一面部图像和所述虚拟场景中的第二面部图像；其中，所述第二面部图像为预先为所述虚拟场景配置的可选面部图像；
基于所述第一面部图像和所述第二面部图像构造优化目标函数，通过所述优化目标函数输出随机输入参数组；
将所述随机输入参数组输入至人脸先验网络层，通过所述人脸先验网络层中嵌入的人脸先验模型输出所述目标虚拟角色的捏脸参数组；其中，所述人脸先验模型包括人脸先验矩阵，所述人脸先验矩阵为基于实际人脸图像集中的面部特征分布规律生成的用于表征随机变量组与捏脸参数组的对应关系的矩阵；
基于所述捏脸参数组对所述目标虚拟角色的面部进行渲染，以使所述目标虚拟角色的面部图像与所述第一面部图像匹配。
9.根据权利要求8所述的方法，其特征在于，所述优化目标函数表示为：
minz||f(Y)-f(I)||1；
其中，f()代表特征提取器，Y表示所述第二面部图像，I表示所述第一面部图像，z表示随机输入参数组。
10.根据权利要求8所述的方法，其特征在于，基于所述捏脸参数组对所述目标虚拟角色的面部进行渲染的步骤包括：
将所述捏脸参数组输入至预设的捏脸算法，通过预设的所述捏脸算法对所述捏脸参数组进行渲染，并输出所述目标虚拟角色的面部图像。
11.一种虚拟角色的面部生成装置，其特征在于，所述装置包括：
生成模块，用于响应针对于虚拟角色的面部随机生成指令，生成符合预定分布规律的随机变量组；其中，所述随机变量组中的随机变量与所述虚拟角色的面部特征维度相对应；
第一输出模块，用于将所述随机变量组输入至预设的人脸先验模型，得到所述人脸先验模型输出的所述虚拟角色的捏脸参数组；其中，所述人脸先验模型包括人脸先验矩阵，所述人脸先验矩阵为基于实际人脸图像集中的面部特征分布规律生成的用于表征随机变量组与捏脸参数组的对应关系的矩阵；
第一渲染模块，用于基于所述捏脸参数组对所述虚拟角色的面部进行渲染。
12.一种自动捏脸装置，其特征在于，所述装置包括：
获取模块，用于响应针对于虚拟场景中的目标虚拟角色的捏脸指令，获取真实场景中的第一面部图像和所述虚拟场景中的第二面部图像；其中，所述第二面部图像为预先为所述虚拟场景配置的可选面部图像；
构造模块，用于基于所述第一面部图像和所述第二面部图像构造优化目标函数，通过所述优化目标函数输出随机输入参数组；
第二输出模块，用于将所述随机输入参数组输入至人脸先验网络层，通过所述人脸先验网络层中嵌入的人脸先验模型输出所述目标虚拟角色的捏脸参数组，其中，所述人脸先验模型包括人脸先验矩阵，所述人脸先验矩阵为基于实际人脸图像集中的面部特征分布规律生成的用于表征随机变量组与捏脸参数组的对应关系的矩阵；
第二渲染模块，用于基于所述捏脸参数组对所述目标虚拟角色的面部进行渲染，以使所述目标虚拟角色的面部图像与所述第一面部图像匹配。
13.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1-10任一项所述方法的步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述权利要求1-10任一项所述方法的步骤。
CN202010184367.9A 2020-03-16 2020-03-16 虚拟角色的面部生成方法、自动捏脸方法及装置 Active CN111389008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010184367.9A CN111389008B (zh) 2020-03-16 2020-03-16 虚拟角色的面部生成方法、自动捏脸方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010184367.9A CN111389008B (zh) 2020-03-16 2020-03-16 虚拟角色的面部生成方法、自动捏脸方法及装置

Publications (2)

Publication Number Publication Date
CN111389008A CN111389008A (zh) 2020-07-10
CN111389008B true CN111389008B (zh) 2023-03-31

Family

ID=71416256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010184367.9A Active CN111389008B (zh) 2020-03-16 2020-03-16 虚拟角色的面部生成方法、自动捏脸方法及装置

Country Status (1)

Country Link
CN (1) CN111389008B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111991808A (zh) * 2020-07-31 2020-11-27 完美世界(北京)软件科技发展有限公司 人脸模型的生成方法及装置、存储介质、计算机设备
CN112337092B (zh) * 2020-12-01 2021-10-26 腾讯科技（深圳）有限公司 一种云游戏处理方法、装置、设备及存储介质
CN112807688A (zh) * 2021-02-08 2021-05-18 网易（杭州）网络有限公司 游戏内表情设置方法、装置、处理器及电子装置
CN113052962B (zh) * 2021-04-02 2022-08-19 北京百度网讯科技有限公司 模型训练、信息输出方法，装置，设备以及存储介质
CN113332726B (zh) * 2021-06-11 2024-07-02 网易（杭州）网络有限公司 虚拟角色的处理方法、装置、电子设备和存储介质
CN113426128B (zh) * 2021-06-24 2024-04-30 网易（杭州）网络有限公司 自定义角色的相貌调节方法、装置、终端和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110141857A (zh) * 2019-04-26 2019-08-20 腾讯科技（深圳）有限公司 虚拟角色的面部显示方法、装置、设备及存储介质
WO2019237299A1 (en) * 2018-06-14 2019-12-19 Intel Corporation 3d facial capture and modification using image and temporal tracking neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019237299A1 (en) * 2018-06-14 2019-12-19 Intel Corporation 3d facial capture and modification using image and temporal tracking neural networks
CN110141857A (zh) * 2019-04-26 2019-08-20 腾讯科技（深圳）有限公司 虚拟角色的面部显示方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111389008A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111389008B (zh) 虚拟角色的面部生成方法、自动捏脸方法及装置
CN109657554B (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN110322416B (zh) 图像数据处理方法、装置以及计算机可读存储介质
CN111476709B (zh) 人脸图像处理方法、装置及电子设备
WO2022179401A1 (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN110555896B (zh) 一种图像生成方法、装置以及存储介质
CN111191599A (zh) 姿态识别方法、装置、设备及存储介质
CN111723687A (zh) 基于神经网路的人体动作识别方法和装置
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN111062362B (zh) 人脸活体检测模型、方法、装置、设备及存储介质
CN112581518A (zh) 基于三维卡通模型的眼球配准方法、装置、服务器和介质
CN114202615A (zh) 人脸表情的重建方法、装置、设备和存储介质
CN112102468B (zh) 模型训练、虚拟人物图像生成方法和装置以及存储介质
CN113255788A (zh) 基于两阶段掩码指导的生成对抗网络人脸校正方法及系统
CN111368763A (zh) 基于头像的图像处理方法、装置及计算机可读存储介质
CN113077379A (zh) 特征潜码的提取方法及装置、设备及存储介质
WO2023185398A1 (zh) 一种脸部处理方法、装置、计算机设备及存储介质
CN116959073A (zh) 一种方向自适应的多姿态点云人脸识别方法及系统
CN114862716B (zh) 人脸图像的图像增强方法、装置、设备及存储介质
CN113613070B (zh) 一种人脸视频处理方法、装置、电子设备及存储介质
CN117422797A (zh) 表情特征的提取方法、装置、设备及计算机可读存储介质
CN110717928B (zh) 人脸运动单元AUs的参数估计方法、装置和电子设备
CN112132107A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111008577A (zh) 一种基于虚拟人脸的评分方法、系统、装置和存储介质
CN112288861A (zh) 一种基于单张照片的人脸三维模型自动构建方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant