CN111632374B - 游戏中虚拟角色的脸部处理方法、装置及可读存储介质 - Google Patents

游戏中虚拟角色的脸部处理方法、装置及可读存储介质 Download PDF

Info

Publication number
CN111632374B
CN111632374B CN202010486946.9A CN202010486946A CN111632374B CN 111632374 B CN111632374 B CN 111632374B CN 202010486946 A CN202010486946 A CN 202010486946A CN 111632374 B CN111632374 B CN 111632374B
Authority
CN
China
Prior art keywords
face
parameters
image
pinching
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010486946.9A
Other languages
English (en)
Other versions
CN111632374A (zh
Inventor
石天阳
袁燚
范长杰
胡志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202010486946.9A priority Critical patent/CN111632374B/zh
Publication of CN111632374A publication Critical patent/CN111632374A/zh
Application granted granted Critical
Publication of CN111632374B publication Critical patent/CN111632374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种游戏中虚拟角色的脸部处理方法、装置及可读存储介质，获取真实场景中的脸部图像，并从所述脸部图像中获取所述脸部图像的捏脸参数、相机参数和表情参数；将所述捏脸参数、所述相机参数和所述表情参数输入至可微捏脸模型中，得到游戏虚拟角色的捏脸图像；基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数；基于所述联合损失函数和所述捏脸参数，确定所述脸部图像的目标捏脸参数；根据所述目标捏脸参数确定游戏场景中虚拟角色的脸部模型，从而能够根据用户输入的脸部图像，自动生成用户喜欢的游戏角色样貌，降低用户操作的复杂程度，提高用户的体验感。

Description

游戏中虚拟角色的脸部处理方法、装置及可读存储介质
技术领域
本申请涉及游戏渲染技术领域，具体而言，涉及一种游戏中虚拟角色的脸部处理方法、装置及可读存储介质。
背景技术
随着移动终端和计算机技术的发展，出现越来越多的角色扮演游戏，为了满足不同玩家的个性化定制需求，在创建玩家对应的虚拟游戏角色时，通常会为玩家增加一些捏脸功能，在基础虚拟游戏角色的基础上，接受玩家对虚拟游戏角色进行更改以及调整，从而使得玩家能够根据自己的喜好创建相应的虚拟游戏角色。
目前，玩家捏脸过程中通常是选择已经设定好的各个捏脸素材，更改基础虚拟游戏角色的五官，对基础虚拟游戏角色的面部进行调整。然而，设定好的捏脸素材是有限的，并且在捏脸素材数量较多的时候，大多数的玩家为了得到自己喜欢的游戏角色样貌，不得不反复的更改捏脸素材，一个素材一个素材的尝试，从而使得玩家的捏脸过程较为繁琐、复杂，玩家要花费大量的时间创建相应的虚拟游戏角色。
发明内容
有鉴于此，本申请的目的在于提供一种游戏中虚拟角色的脸部处理方法、装置及可读存储介质，在根据用户输入的脸部图像生成捏脸参数的过程中不仅考虑脸部图像的捏脸参数，还可以进一步的考虑脸部图像的相机参数以及表情参数，自动生成用户喜欢的游戏角色样貌，降低了用户操作的复杂程度，有助于提高用户的体验感。
本申请实施例提供了一种游戏中虚拟角色的脸部处理方法，所述脸部处理方法包括：
获取真实场景中的脸部图像，并从所述脸部图像中获取所述脸部图像的捏脸参数、相机参数和表情参数；
将所述捏脸参数、所述相机参数和所述表情参数输入至可微捏脸模型中，得到游戏虚拟角色的捏脸图像；
基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数；
基于所述联合损失函数和所述捏脸参数，确定所述脸部图像的目标捏脸参数；
根据所述目标捏脸参数确定游戏场景中虚拟角色的脸部模型。
进一步的，当基于梯度下降法对所述联合损失函数进行求解时，所述基于所述联合损失函数和所述捏脸参数，确定所述脸部图像的目标捏脸参数，包括：
对所述联合损失函数求导，得到待训练的捏脸参数的第一梯度函数；
将预设的初始捏脸参数作为所述捏脸参数代入至所述第一梯度函数中，得到迭代后的梯度向量；
基于迭代后的梯度向量，对所述初始捏脸参数进行更新，得到更新后的捏脸参数；
将所述更新后的捏脸参数再次代入至所述第一梯度函数，经过预设次数的迭代更新，得到目标捏脸参数。
进一步的，当使用神经网络对所述联合损失函数进行求解时，通过以下步骤从所述脸部图像中获取所述脸部图像的捏脸参数、相机参数和表情参数：
获取脸部样本图像集，以及构建好的深度学习网络模型；
对所述联合损失函数求导，得到待训练的模型参数的第二梯度函数；
遍历所述脸部样本图像集，基于第二梯度函数对模型参数进行更新，直至经过预设次数的迭代更新，得到目标模型参数，并确定所述深度学习网络模型训练完毕，得到训练完毕的用于提取图像参数的神经网络模型；
将所述脸部图像输入至所述神经网络模型中，得到所述脸部图像的捏脸参数、相机参数和表情参数。
进一步的，当基于神经网络对所述联合损失函数进行求解时，所述基于所述联合损失函数和所述捏脸参数，确定所述脸部图像的目标捏脸参数，包括：
基于所述捏脸参数和所述联合损失函数，计算所述捏脸图像相对于所述脸部图像的联合损失值；
若所述联合损失值大于预设损失值，对所述捏脸参数进行更新，直至所述脸部图像和所述捏脸图像之间的联合损失值小于预设损失值，得到目标捏脸参数。
进一步的，所述可微捏脸模型包括所述虚拟角色的可微骨骼驱动模型和三维脸部模型；
所述将所述捏脸参数、所述相机参数和所述表情参数输入至可微捏脸模型中，得到游戏场景中虚拟角色的捏脸图像，包括：
基于所述捏脸参数，确定游戏场景中虚拟角色的可微骨骼驱动模型的骨骼参数；
根据所述骨骼参数、所述表情参数和所述相机参数，得到所述虚拟角色的捏脸图像。
进一步的，所述基于所述捏脸参数，确定游戏场景中虚拟角色的可微骨骼驱动模型的骨骼参数，包括：
确定所述捏脸参数和游戏场景中虚拟角色的可微骨骼驱动模型中骨骼参数的映射关系，其中，所述映射关系包括线性描述关系和非线性描述关系；
通过所述映射关系对所述捏脸参数进行参数转换处理，得到所述骨骼参数。
进一步的，所述根据所述骨骼参数、所述表情参数和所述相机参数，得到所述虚拟角色的捏脸图像，包括：
基于所述骨骼参数和所述表情参数，确定与所述虚拟角色对应的三维脸部模型中顶点的模型顶点数据；
根据所述相机参数和所述三维脸部模型中顶点的模型顶点数据进行渲染，确定所述捏脸图像。
进一步的，所述基于所述骨骼参数和所述表情参数，确定与所述虚拟角色对应的三维脸部模型中顶点的模型顶点数据，包括：
基于所述骨骼参数，确定所述虚拟角色的三维脸部模型中顶点的初始顶点数据；
基于顶点的初始顶点数据和所述表情参数，确定所述三维脸部模型中顶点的模型顶点数据。
进一步的，所述基于所述骨骼参数，确定所述虚拟角色的三维脸部模型中顶点的初始顶点数据，包括：
基于所述骨骼参数，确定骨骼节点在所述三维脸部模型所属模型空间的世界变换矩阵；
基于所述三维脸部模型的骨骼树，确定与所述人脸模型中顶点绑定的骨骼节点；
基于与顶点绑定的骨骼节点的世界变换矩阵，确定顶点的初始顶点数据。
进一步的，所述基于所述骨骼参数，确定骨骼节点在所述三维脸部模型所属模型空间的世界变换矩阵，包括：
基于所述骨骼参数，确定骨骼节点在各自部位空间的局部变换矩阵；
基于骨骼节点的局部变换矩阵和所述三维脸部模型的骨骼树，对骨骼节点进行空间变换处理，得到骨骼节点在所述三维脸部模型所属模型空间的世界变换矩阵。
进一步的，所述基于顶点的初始顶点数据和所述表情参数，确定所述三维脸部模型中顶点的模型顶点数据，包括：
基于所述表情参数，确定顶点的表情基和表情强度；
基于顶点的初始顶点数据、表情基和表情强度，确定顶点的模型顶点数据。
进一步的，所述基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数，包括：
基于所述脸部图像和所述捏脸图像中的多个特征维度，分别确定所述脸部图像和所述捏脸图像之间的人脸关键点损失函数、人脸属性损失函数、稀疏度约束损失函数；
基于所述人脸关键点损失函数、所述人脸属性损失函数和所述稀疏度约束损失函数，以及每种损失函数对图像损失的调节权重，构建所述联合损失函数。
进一步的，所述基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数，还包括：
基于所述脸部图像和所述捏脸图像中的多个特征维度，分别确定所述脸部图像和所述捏脸图像之间的内容损失函数、身份损失函数；
所述基于所述人脸关键点损失函数、所述人脸属性损失函数和所述稀疏度约束损失函数，以及每种损失函数对图像损失的调节权重，构建所述联合损失函数，包括：
基于所述人脸关键点损失函数、所述人脸属性损失函数、所述稀疏度约束损失函数、所述内容损失函数和所述身份损失函数，以及每种损失函数对图像损失的调节权重，构建所述联合损失函数。
本申请实施例还提供了一种游戏虚拟角色的脸部处理装置，所述脸部处理装置包括：
参数获取模块，用于获取真实场景中的脸部图像，并从所述脸部图像中获取所述脸部图像的捏脸参数、相机参数和表情参数；
图像生成模块，用于将所述捏脸参数、所述相机参数和所述表情参数输入至可微捏脸模型中，得到游戏虚拟角色的捏脸图像；
损失函数确定模块，用于基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数；
参数生成模块，用于基于所述联合损失函数和所述捏脸参数，确定所述脸部图像的目标捏脸参数；
模型生成模块，用于根据所述目标捏脸参数确定游戏场景中虚拟角色的脸部模型。
进一步的，当基于梯度下降法对所述联合损失函数进行求解时，所述参数生成模块在用于基于所述联合损失函数和所述捏脸参数，确定所述脸部图像的目标捏脸参数时，所述参数生成模块用于：
对所述联合损失函数求导，得到待训练的捏脸参数的第一梯度函数；
将预设的初始捏脸参数作为所述捏脸参数代入至所述第一梯度函数中，得到迭代后的梯度向量；
基于迭代后的梯度向量，对所述初始捏脸参数进行更新，得到更新后的捏脸参数；
将所述更新后的捏脸参数再次代入至所述第一梯度函数，经过预设次数的迭代更新，得到目标捏脸参数。
进一步的，当使用神经网络对所述联合损失函数进行求解时，所述参数生成模块用于通过以下步骤从所述脸部图像中获取所述脸部图像的捏脸参数、相机参数和表情参数：
获取脸部样本图像集，以及构建好的深度学习网络模型；
对所述联合损失函数求导，得到待训练的模型参数的第二梯度函数；
遍历所述脸部样本图像集，基于第二梯度函数对模型参数进行更新，直至经过预设次数的迭代更新，得到目标模型参数，并确定所述深度学习网络模型训练完毕，得到训练完毕的用于提取图像参数的神经网络模型；
将所述脸部图像输入至所述神经网络模型中，得到所述脸部图像的捏脸参数、相机参数和表情参数。
进一步的，当基于神经网络对所述联合损失函数进行求解时，所述参数生成模块在用于基于所述联合损失函数和所述捏脸参数，确定所述脸部图像的目标捏脸参数时，所述参数生成模块用于：
基于所述捏脸参数和所述联合损失函数，计算所述捏脸图像相对于所述脸部图像的联合损失值；
若所述联合损失值大于预设损失值，对所述捏脸参数进行更新，直至所述脸部图像和所述捏脸图像之间的联合损失值小于预设损失值，得到目标捏脸参数。
进一步的，所述可微捏脸模型包括所述虚拟角色的可微骨骼驱动模型和三维脸部模型；
所述图像生成模块在用于将所述捏脸参数、所述相机参数和所述表情参数输入至可微捏脸模型中，得到游戏场景中虚拟角色的捏脸图像时，所述图像生成模块用于：
基于所述捏脸参数，确定游戏场景中虚拟角色的可微骨骼驱动模型的骨骼参数；
根据所述骨骼参数、所述表情参数和所述相机参数，得到所述虚拟角色的捏脸图像。
进一步的，所述图像生成模块在用于基于所述捏脸参数，确定游戏场景中虚拟角色的可微骨骼驱动模型的骨骼参数时，所述图像生成模块用于：
确定所述捏脸参数和游戏场景中虚拟角色的可微骨骼驱动模型中骨骼参数的映射关系，其中，所述映射关系包括线性描述关系和非线性描述关系；
通过所述映射关系对所述捏脸参数进行参数转换处理，得到所述骨骼参数。
进一步的，所述图像生成模块在用于根据所述骨骼参数、所述表情参数和所述相机参数，得到所述虚拟角色的捏脸图像时，所述图像生成模块用于：
基于所述骨骼参数和所述表情参数，确定与所述虚拟角色对应的三维脸部模型中顶点的模型顶点数据；
根据所述相机参数和所述三维脸部模型中顶点的模型顶点数据进行渲染，确定所述捏脸图像。
进一步的，所述图像生成模块在用于基于所述骨骼参数和所述表情参数，确定与所述虚拟角色对应的三维脸部模型中顶点的模型顶点数据时，所述图像生成模块用于：
基于所述骨骼参数，确定所述虚拟角色的三维脸部模型中顶点的初始顶点数据；
基于顶点的初始顶点数据和所述表情参数，确定所述三维脸部模型中顶点的模型顶点数据。
进一步的，所述图像生成模块在用于基于所述骨骼参数，确定所述虚拟角色的三维脸部模型中顶点的初始顶点数据，所述图像生成模块用于：
基于所述骨骼参数，确定骨骼节点在所述三维脸部模型所属模型空间的世界变换矩阵；
基于所述三维脸部模型的骨骼树，确定与所述人脸模型中顶点绑定的骨骼节点；
基于与顶点绑定的骨骼节点的世界变换矩阵，确定顶点的初始顶点数据。
进一步的，所述图像生成模块在用于基于所述骨骼参数，确定骨骼节点在所述三维脸部模型所属模型空间的世界变换矩阵，所述图像生成模块用于：
基于所述骨骼参数，确定骨骼节点在各自部位空间的局部变换矩阵；
基于骨骼节点的局部变换矩阵和所述三维脸部模型的骨骼树，对骨骼节点进行空间变换处理，得到骨骼节点在所述三维脸部模型所属模型空间的世界变换矩阵。
进一步的，所述图像生成模块在用于基于顶点的初始顶点数据和所述表情参数，确定所述三维脸部模型中顶点的模型顶点数据时，所述图像生成模块用于：
基于所述表情参数，确定顶点的表情基和表情强度；
基于顶点的初始顶点数据、表情基和表情强度，确定顶点的模型顶点数据。
进一步的，所述损失函数确定模块在用于基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数时，所述损失函数确定模块用于：
基于所述脸部图像和所述捏脸图像中的多个特征维度，分别确定所述脸部图像和所述捏脸图像之间的人脸关键点损失函数、人脸属性损失函数、稀疏度约束损失函数；
基于所述人脸关键点损失函数、所述人脸属性损失函数和所述稀疏度约束损失函数，以及每种损失函数对图像损失的调节权重，构建所述联合损失函数。
进一步的，所述损失函数确定模块在用于基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数时，所述损失函数确定模块还用于：
基于所述脸部图像和所述捏脸图像中的多个特征维度，分别确定所述脸部图像和所述捏脸图像之间的内容损失函数、身份损失函数；
所述基于所述人脸关键点损失函数、所述人脸属性损失函数和所述稀疏度约束损失函数，以及每种损失函数对图像损失的调节权重，构建所述联合损失函数，包括：
基于所述人脸关键点损失函数、所述人脸属性损失函数、所述稀疏度约束损失函数、所述内容损失函数和所述身份损失函数，以及每种损失函数对图像损失的调节权重，构建所述联合损失函数。
本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的游戏角色的捏脸方法的步骤。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述的游戏角色的捏脸方法的步骤。
本申请实施例提供的一种游戏中虚拟角色的脸部处理方法、装置及可读存储介质，可以通过将从真实场景中的脸部图像中获取到的捏脸参数、相机参数和表情参数输入至可微捏脸模型中，得到游戏场景中虚拟角色的捏脸图像；并通过基于脸部图像和捏脸图像得到的联合损失函数，更新捏脸参数，得到脸部图像的目标捏脸参数，最后，根据目标捏脸参数确定出游戏场景中的虚拟角色的脸部模型，这样，在生成用于渲染得到虚拟角色脸部模型的目标捏脸参数的过程中不仅仅考虑脸部图像的捏脸参数，还可以进一步的考虑脸部图像的相机参数以及表情参数，从而使得在游戏端得到的游戏场景中的角色脸部图像，无论是角色脸部图像中虚拟角色的表情还是呈现角度都更加贴近于真实脸部图像。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种游戏中角色的捏脸方法的流程图；
图2为本申请另一实施例所提供的一种游戏中角色的捏脸方法的流程图；
图3为本申请实施例所提供的一种游戏中角色的捏脸装置的结构示意图；
图4为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
本申请的一个方面涉及一种游戏中虚拟角色的脸部处理系统。该脸部处理系统可以通过将从真实场景中的脸部图像中获取到的捏脸参数、相机参数和表情参数输入至可微捏脸模型中，得到游戏场景中虚拟角色的捏脸图像；并通过基于脸部图像和捏脸图像得到的联合损失函数，更新捏脸参数，得到脸部图像的目标捏脸参数，最后，根据目标捏脸参数确定出游戏场景中的虚拟角色的脸部模型，因此，在生成用于渲染得到虚拟角色脸部模型的目标捏脸参数的过程中不仅仅考虑脸部图像的捏脸参数，还可以进一步的考虑脸部图像的相机参数以及表情参数，从而使得在游戏端得到的游戏场景中的角色脸部图像，无论是角色脸部图像中虚拟角色的表情还是呈现角度都更加贴近于真实脸部图像。
值得注意的是，在本申请提出申请之前，玩家捏脸过程中通常是选择已经设定好的各个捏脸素材，更改基础虚拟游戏角色的五官，对基础虚拟游戏角色的面部进行调整。然而，设定好的捏脸素材是有限的，并且在捏脸素材数量较多的时候，大多数的玩家为了得到自己喜欢的游戏角色样貌，不得不反复的更改捏脸素材，一个素材一个素材的尝试，从而使得玩家的捏脸过程较为繁琐、复杂，玩家要花费大量的时间创建相应的虚拟游戏角色。
基于此，本申请实施例提供了一种游戏中虚拟角色的脸部处理方法，在根据用户输入的脸部图像生成目标捏脸参数的过程中不仅考虑脸部图像的捏脸参数，还可以进一步的考虑脸部图像的相机参数以及表情参数，自动生成用户喜欢的游戏角色样貌，降低了用户操作的复杂程度，有助于提高用户的体验感。
请参阅图1，图1为本申请实施例所提供的一种游戏中虚拟角色的脸部处理方法的流程图。如图1中所示，本申请实施例提供的游戏中虚拟角色的脸部处理方法，包括：
S101、获取真实场景中的脸部图像，并从所述脸部图像中获取所述脸部图像的捏脸参数、相机参数和表情参数。
该步骤中，获取用户在游戏端输入的真实场景中的脸部图像，其中，用户输入脸部图像的目的在于根据该脸部图像获得虚拟角色的面部图像，因此，在获得脸部图像之后，从该脸部图像中获取捏脸参数、相机参数以及表情参数等，用于生成脸部图像的目标捏脸参数的相关参数。
其中，捏脸参数、相机参数以及表情参数均为多维向量，捏脸参数对应的多维向量中，可以表示脸部图像中眼睛、鼻子、嘴以及眉毛等面部信息；相机参数对应的多维向量，可以表示脸部图像中人脸的拍摄角度、光线等信息；表情参数对应的多维向量可以表示脸部图像中人脸上的表情信息。
S102、将所述捏脸参数、所述相机参数和所述表情参数输入至可微捏脸模型中，得到游戏虚拟角色的捏脸图像。
该步骤中，将从脸部图像中获取到的捏脸参数、相机参数以及表情参数输入至预先训练好的可微捏脸模型中，通过可微捏脸模型得到游戏场景中与用户对应的虚拟角色的捏脸图像。
具体的，可以通过以下步骤训练可微捏脸模型：
步骤a：获取训练捏脸图像。
步骤b：从训练捏脸图像中获取训练捏脸图像的训练捏脸参数、训练相机参数以及训练表情参数。
步骤c：将训练捏脸参数、训练相机参数以及训练表情参数作为构建好的可微捏脸模型的输入特征，将训练捏脸图像作为可微捏脸模型的输出特征训练可微捏脸模型，得到可微捏脸模型。
这样，便能够综合考虑用户输入的脸部图像中的捏脸信息、相机信息以及表情信息，将脸部图像中的捏脸信息、相机信息以及表情信息共同用于获得捏脸图像，从而使得生成的虚拟角色的捏脸图像更加贴近于脸部图像。
S103、基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数。
该步骤中，基于通过可微捏脸模型得到的捏脸图像和用户在游戏端输入的真实场景中的脸部图像，确定出用于后续更新捏脸参数的联合损失函数。
其中，联合损失函数可以包括：内容损失函数Lctt、身份损失函数Lidt、脸关键点损失函数Llm、人脸属性损失函数Lattr以及稀疏度约束函数Lsparse。
进一步的，步骤S103包括：基于所述脸部图像和所述捏脸图像中的多个特征维度，分别确定所述脸部图像和所述捏脸图像之间的人脸关键点损失函数、人脸属性损失函数、稀疏度约束损失函数；基于所述人脸关键点损失函数、所述人脸属性损失函数和所述稀疏度约束损失函数，以及每种损失函数对图像损失的调节权重，构建所述联合损失函数。
该步骤中，在基于脸部图像和捏脸图像，确定脸部图像与捏脸图像之间的联合损失函数时，首先，可以基于用户输入的脸部图像和游戏虚拟角色的捏脸图像中多个特征维度，分别确定出脸部图像与捏脸图像之间的人脸关键点损失函数、人脸属性损失函数、稀疏度约束损失函数；然后，再结合各个损失函数对于图像损失的调节权重，构建脸部图像与捏脸图像之间的联合损失函数。
其中，多个特征维度可以包括图像特征维度以及参数特征维度等，在图像特征维度下可以包括：真实人脸关键点特征、真实人脸属性特征、角色人脸关键点特征以及角色人脸属性特征等；在参数特征维度下可以包括：捏脸参数、初始捏脸参数、表情参数和初始表情参数等。
具体的，可以通过以下步骤构建脸部图像与捏脸图像之间的联合损失函数：
(1)从所述脸部图像中获取用于构建人脸关键点损失函数的真实人脸关键点特征、用于构建人脸属性损失函数的真实人脸属性特征和用于构建稀疏度约束损失函数的捏脸参数、初始捏脸参数、表情参数和初始表情参数，以及从捏脸图像中获取用于构建人脸关键点损失函数的角色人脸关键点特征和用于构建人脸属性损失函数的角色人脸属性特征。
(2)基于真实人脸关键点特征和角色人脸关键点特征，构建人脸关键点损失函数。
其中，构建人脸关键点损失函数Llm所需的人脸关键点描述了人脸的几何形状，人脸关键点可以直接从可微捏脸模型中导出。可以通过人脸关键点提取的方法提取人脸关键点，以Dlib机器学习库为例，Dlib机器学习库能够从脸部图像中提取出68个人脸关键点，同时按照上述关键点位置对模型顶点进行标注，使得可微捏脸模型可以直接输出68个人脸关键点。因此，人脸关键点损失函数Llm可表示为如下形式：
Llm＝||lmY-lmId||2；
其中，lmY为通过人脸关键点提取方法提取出的脸部图像的真实人脸关键点特征，lmId为通过人脸关键点提取方法提取出的捏脸图像的角色人脸关键点特征，||·||2表示l2范数。
(3)基于真实人脸属性特征和角色人脸属性特征，构建人脸属性损失函数Lattr。
其中，构建人脸属性损失函数Lattr所需的人脸属性一般包含脸型、眉型、眼型等属性信息。可以采用预训练的人脸属性提取器Fattr从输入图像(即脸部图像以及捏脸图像)中提取真实人脸属性特征以及角色人脸属性特征，人脸属性提取器的输入为脸部图像，输出为代表该人脸属性信息的一组概率向量。人脸属性损失函数Lattr的数学形式如下：
Lattr＝||Fattr(Y)-Fattr(Id)||2；
其中，Fattr(Y)为通过人脸属性提取器从脸部图像中提取出的真实人脸属性特征，Fattr(Id)为通过人脸属性提取器从捏脸图像中提取出的角色人脸属性特征，||·||2表示l2范数。
(4)基于捏脸参数、初始捏脸参数、表情参数和初始表情参数，构建稀疏度约束损失函数Lsparse。
其中，在游戏渲染过程中为了提高捏脸系统的自由度，虚拟角色通常会设置较多的骨骼和骨骼参数供用户调整，这导致用于描述人脸外形的基并非完全正交。进一步，表情参数实质上与捏脸参数存在一定重合，例如眼睛开闭动作(表情参数)与调整眼皮高低(捏脸参数)对于虚拟角色来说会导致相同的结果。为了缓解表情参数对骨骼参数的影响以及两种参数内不同组合的不确定性，引入了稀疏度的概念来解决上述问题，用更少的表情参数和捏脸参数去表示输入的脸部图像，即捏脸参数α和表情参数β的非零元素个数尽可能少。具体的，由于l1范数可以有效地提高参数的稀疏性，本技术方案利用l1范数对上述参数进行约束，稀疏度约束损失函数Lsparse可以写为如下形式：
Figure BDA0002519481520000161
其中，λα和λβ为可调节权重，α和β分别为捏脸参数和表情参数，
Figure BDA0002519481520000162
和
Figure BDA0002519481520000163
分别为初始捏脸参数和初始表情参数，如(0.5，0.5，…)和(0，0，…)。
(5)分别确定人脸关键点损失函数、人脸属性损失函数和稀疏度约束损失函数对于图像损失的调节权重，基于上述调节权重，人脸关键点损失函数、人脸属性损失函数和稀疏度约束损失函数，构建联合损失函数，最终，联合损失函数Lall可以表示为如下形式：
Lall＝λlmLlm+λattrLattr+λsparseLsparse；
其中，λlm、λattr、λsparse均为可调节权重。
进一步的，步骤S103还包括：基于所述脸部图像和所述捏脸图像中的多个特征维度，分别确定所述脸部图像和所述捏脸图像之间的内容损失函数、身份损失函数；所述基于所述人脸关键点损失函数、所述人脸属性损失函数和所述稀疏度约束损失函数，以及每种损失函数对图像损失的调节权重，构建所述联合损失函数，包括：基于所述人脸关键点损失函数、所述人脸属性损失函数、所述稀疏度约束损失函数、所述内容损失函数和所述身份损失函数，以及每种损失函数对图像损失的调节权重，构建所述联合损失函数。
该步骤中，在基于脸部图像和捏脸图像，确定脸部图像与捏脸图像之间的联合损失函数时，还可以基于用户输入的脸部图像和游戏虚拟角色的捏脸图像中多个特征维度，分别确定出脸部图像与捏脸图像之间的内容损失函数、身份损失函数；再结合人脸关键点损失函数、人脸属性损失函数、稀疏度约束损失函数、内容损失函数和身份损失函数对于图像损失的调节权重，构建脸部图像与捏脸图像之间的联合损失函数。
具体的，通过以下步骤构建脸部图像与捏脸图像之间的联合损失函数：
(6)从所述脸部图像中获取用于构建内容损失函数的真实内容特征和用于构建身份损失函数的真实身份特征，以及从捏脸图像中获取用于构建构建内容损失函数的捏脸内容特征和用于构建身份损失函数的角色身份特征。
(7)基于真实内容特征以及捏脸内容特征，构建内容损失函数Lctt。
其中，真实内容特征以及捏脸内容特征为具有很强表达能力的图像特征，这些特征不仅有包含纹理信息的浅层特征，还有包含语义信息的深层特征。
可以通过预先深度残差网络Fctt来提取，深度残差网络Fctt的输入为彩色脸部图像，输出为不同深度的图像特征f，其中最后一组图像特征为语义概率图，分别代表背景、人脸、头发、左眉、右眉、左眼、右眼、鼻子、上嘴唇、牙齿、下嘴唇。内容损失函数Lctt的具体形式如下：
Figure BDA0002519481520000181
其中||·||1为l1范数，
Figure BDA0002519481520000182
为通过深度残差网络提取出的脸部图像的第i层的真实内容特征，
Figure BDA0002519481520000183
为通过深度残差网络提取出的捏脸图像的第i层的捏脸内容特征。
(8)基于真实身份特征和角色身份特征，构建身份损失函数Lidt。
其中，身份损失函数Lidt是为了描述脸部的身份信息，可以通过预先脸部识别器Fidt确定身份损失函数Lidt，脸部识别器的输入为脸部图像(即用户输入的真实场景中的脸部图像以及渲染得到的捏脸图像)，输出为代表该脸部图像(即用户输入的真实场景中的脸部图像以及渲染得到的捏脸图像)身份信息的一组向量e(embedding)。对于两张脸部图像(即用户输入的真实场景中的脸部图像以及渲染得到的捏脸图像)，其身份特征向量的夹角越小(夹角余弦越趋近于1)，则代表两个脸部越相似。身份损失函数Lidt的数学形式如下：
Lidt＝1-cos(eY,eId)；
Figure BDA0002519481520000184
eY为通过脸部识别器得到的脸部图像的真实身份特征，eId为通过人脸识别器得到的捏脸图像的角色身份特征，||·||2表示l2范数。
(8)分别确定人脸关键点损失函数、人脸属性损失函数、所述稀疏度约束损失函数、内容损失函数和身份损失函数对于图像损失的调节权重，基于上述调节权重，组合内容损失函数、身份损失函数、人脸关键点损失函数、人脸属性损失函数和稀疏度约束损失函数，得到联合损失函数，最终，联合损失函数Lall可以表示为如下形式：
Lall＝λcttLctt+λidtLidt+λlmLlm+λattrLattr+λsparseLsparse；
其中，λctt、λidt、λlm、λattr、λsparse均为可调节权重。
S104、基于所述联合损失函数和所述捏脸参数，确定所述脸部图像的目标捏脸参数。
该步骤中，基于确定出的联合损失函数，对得到的捏脸参数进行迭代更新，直至迭代更新的次数达到预设次数，或者是用户输入的脸部图像与通过可微捏脸模型得到的捏脸图像之间的联合损失值小于预设损失值为止，确定对获取到的捏脸参数的更新完成，得到脸部图像的目标捏脸参数。
其中，联合损失值是通过上述联合损失函数计算得到。
具体的，可以通过梯度下降法或神经网络对联合损失函数进行求解，确定出脸部图像的目标捏脸参数。
进一步的，当基于梯度下降法对所述联合损失函数进行求解时，步骤S104包括：对所述联合损失函数求导，得到待训练的捏脸参数的第一梯度函数；将预设的初始捏脸参数作为所述捏脸参数代入至所述第一梯度函数中，得到迭代后的梯度向量；基于迭代后的梯度向量，对所述初始捏脸参数进行更新，得到更新后的捏脸参数；将所述更新后的捏脸参数再次代入至所述第一梯度函数，经过预设次数的迭代更新，得到目标捏脸参数。
该步骤中，当采用梯度下降法对联合损失函数进行求解时，首先，对确定出的联合损失函数求导，得到待训练的捏脸参数的第一梯度函数；其次，将获取到的预设的初始捏脸参数(初始相机参数以及初始表情参数)作为捏脸参数代入至得到的第一梯度函数中，确定出迭代后的梯度向量；然后，再基于迭代后的梯度向量，对初始捏脸参数进行更新，得到更新后的捏脸参数；再次将更新后的捏脸参数代入至第一梯度函数中继续进行捏脸参数的更新；最后，经过预设次数的迭代更新，确定出脸部图像的目标捏脸图像。
具体的，通过以下公式对得到捏脸参数(相机参数以及表情参数)进行更新，得到脸部图像的目标捏脸参数：
Figure BDA0002519481520000201
Figure BDA0002519481520000202
Figure BDA0002519481520000203
其中，i表示迭代的第i步，η为捏脸参数的迭代步长，α(i)为第i步得到的捏脸参数。在本技术方案中，通过对上述公式进行初始化，经过固定步数的迭代即可计算出目标捏脸参数α(i+1)。
这里，在迭代过程中迭代更新的预设次数为技术人员根据实际情况具体设置得到，在此不做限制。
进一步的，当使用神经网络对所述联合损失函数进行求解时，通过以下步骤从所述脸部图像中获取所述脸部图像的捏脸参数、相机参数和表情参数：获取脸部样本图像集，以及构建好的深度学习网络模型；对所述联合损失函数求导，得到待训练的模型参数的第二梯度函数；遍历所述脸部样本图像集，基于第二梯度函数对模型参数进行更新，直至经过预设次数的迭代更新，得到目标模型参数，并确定所述深度学习网络模型训练完毕，得到训练完毕的用于提取图像参数的神经网络模型；将所述脸部图像输入至所述神经网络模型中，得到所述脸部图像的捏脸参数、相机参数和表情参数。
该步骤中，当采用神经网络对联合损失函数进行求解时，首先，获取脸部样本图像集以及构建好的深度学习网络模型；其次，对联合函数进行求导，得到待训练的模型参数的第二梯度函数；然后，遍历脸部样本图像集中的所有图像，并基于第二梯度函数对待训练的模型参数进行更新，直至经过预设次数的迭代更新之后，得到目标网络参数，同时，确定深度学习网络模型训练完毕，得到训练完毕可以用于提取图像参数的神经网络模型；此时将脸部图像输入至训练完毕的神经网络模型，通过神经网络模型确定出脸部图像的捏脸参数、相机参数以及表情参数。
具体的通过以下公式对模型参数进行迭代更新：
Figure BDA0002519481520000211
其中，w表示深度神经网络模型中的可学习参数，另外，上述深度神经网络模型可以选用经典的模型结构，如深度残差神经网络；训练神经网络可以选用大规模人脸数据集，如CelebA明星数据集；上述训练过程可以通过PyTorch深度学习框架实现，进一步可选用随机梯度下降法(SGD)通过迭代的方法得到深度神经网络模型中的可学习参数。
进一步的，当基于神经网络对所述联合损失函数进行求解时，步骤S104包括：基于所述捏脸参数和所述联合损失函数，计算所述捏脸图像相对于所述脸部图像的联合损失值；若所述联合损失值大于预设损失值，对所述捏脸参数进行更新，直至所述脸部图像和所述捏脸图像之间的联合损失值小于预设损失值，得到目标捏脸参数。
该步骤中，当基于神经网络对所述联合损失函数进行求解时，基于获取到的捏脸参数以及确定出用于迭代更新捏脸参数的联合损失函数，计算捏脸图像相对于脸部图像的联合损失值；若计算得到的联合损失值大于预设损失值，则对捏脸参数进行更新，直至用户输入的脸部图像与通过可微捏脸模型得到的虚拟角色的捏脸图像之间的联合损失值小于预设损失值为止，确定对捏脸参数的更新完成，得到脸部图像的目标捏脸参数。
另外，在本申请中由于将表情参数结合至捏脸参数中，因此，在根据联合损失函数调整参数时，不再单独对表情参数进行更新；同理，由于相机参数仅用于渲染的过程中，因此，在本申请技术方案中同样不再单独对相机参数进行更新。
这样，在基于联合损失函数对捏脸参数进行迭代更新确定出目标捏脸参数之前，本申请中的技术方案将表情参数结合到捏脸参数中，因此，减少了参数迭代更新过程中的计算量，提高了参数迭代更新的计算效率，减少了耗费时间。
S105、根据所述目标捏脸参数确定游戏场景中虚拟角色的脸部模型。
该步骤中，将得到的脸部图像的目标捏脸参数发送至用户的游戏端，以供游戏端能够根据目标捏脸参数和可微捏脸模型渲染出与用户输入的脸部图像对应的游戏场景中虚拟角色的脸部模型。
本申请实施例提供的游戏中虚拟角色的脸部处理方法，可以通过将从真实场景中的脸部图像中获取到的捏脸参数、相机参数和表情参数输入至可微捏脸模型中，得到游戏场景中虚拟角色的捏脸图像；并通过基于脸部图像和捏脸图像得到的联合损失函数，更新捏脸参数，得到脸部图像的目标捏脸参数，最后，根据目标捏脸参数确定出游戏场景中的虚拟角色的脸部模型，因此，在生成用于渲染得到虚拟角色脸部模型的目标捏脸参数的过程中不仅仅考虑脸部图像的捏脸参数，还可以进一步的考虑脸部图像的相机参数以及表情参数，从而使得在游戏端得到的游戏场景中的角色脸部图像，无论是角色脸部图像中虚拟角色的表情还是呈现角度都更加贴近于真实脸部图像。
请参阅图2，图2为本申请另一实施例提供的游戏中虚拟角色的脸部处理方法的流程图。如图2中所示，本申请实施例提供的游戏中虚拟角色的脸部处理方法，包括：
S201、获取游戏端输入的真实场景中的脸部图像，并从所述脸部图像中获取到所述脸部图像的捏脸参数、相机参数和表情参数。
S202、基于所述捏脸参数，确定游戏场景中虚拟角色的可微骨骼驱动模型的骨骼参数。
该步骤中，上述的可微捏脸模型中包括虚拟角色的可微骨骼驱动模型和三维脸部模型，为了提高游戏角色的捏脸系统的稳定性以及提高可微捏脸模型的鲁棒性，通常会将捏脸参数转换为对应的游戏场景中虚拟角色的可微骨骼驱动模型的骨骼参数，且仅允许骨骼参数γ在某个区间内进行调整，因此，在进行骨骼参数转化之前，一般都将捏脸参数α进行归一化处理。
具体的，在可微捏脸模型中包括参数转换层，该参数转换层用于将捏脸参数转换为骨骼参数γ，为了精确计算骨骼参数γ，参数转换层T被用于记录上述归一化前后的关系，骨骼参数转换公式如下：
γ＝T(α)；
S203、根据所述骨骼参数、所述表情参数和所述相机参数，得到所述虚拟角色的捏脸图像。
该步骤中，在通过可微骨骼驱动模型将捏脸参数转换为骨骼参数之后，再基于得到的骨骼参数、获取到的表情参数以及相机参数，渲染得到虚拟角色的捏脸图像。
S204、基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数。
S205、基于所述联合损失函数和所述捏脸参数，确定所述脸部图像人脸图像的目标捏脸参数。
S206、根据所述目标捏脸参数确定游戏场景中虚拟角色的脸部模型。
其中，S201、S204至S206的描述可以参照S101、S103至S105的描述，并且能达到相同的技术效果，对此不做赘述。
进一步的，步骤S202包括：确定所述捏脸参数和游戏场景中虚拟角色的可微骨骼驱动模型中骨骼参数的映射关系，其中，所述映射关系包括线性描述关系和非线性描述关系；通过所述映射关系对所述捏脸参数进行参数转换处理，得到所述骨骼参数。
该步骤中，在将捏脸参数转化为骨骼参数之前，首先，需要确定捏脸参数和游戏场景中虚拟角色的可微骨骼驱动模型中骨骼参数之间的映射关系，通过与确定出的映射关系对应的转换方式，将捏脸参数进行参数转换处理，得到骨骼参数，其中，所述映射关系包括线性描述关系和非线性描述关系，即映射关系既可描述线性关系，也可描述非线性关系。
具体的，以线性关系为例，若α的取值范围为[0,1]，γ的取值区间为[γmin,γmax]，区间内两组参数逐元素一一对应，则上述公式可进一步写为：
γ＝(γmax-γmin)α+γmin；
进一步，若α和γ并非一一对应，且γ中各元素的取值区间不相同，则上述公式可以写成下式形式：
γ＝WTα+b；
其中，W为参数转换矩阵，b为偏置常数。
进一步的，步骤S203包括：基于所述骨骼参数和表情参数，确定与所述虚拟角色对应的三维脸部模型中顶点的模型顶点数据；根据所述相机参数和所述三维脸部模型中顶点的模型顶点数据进行渲染，确定所述捏脸图像。
该步骤中，在渲染得在游戏场景中虚拟角色的捏脸图像，首先，基于通过捏脸参数转换得到的骨骼参数以及获取到的表情参数，确定出虚拟角色在三维脸部模型中每个顶点的模型顶点数据；然后，再基于获取到的相机参数，对确定出的三维脸部模型中顶点的模型顶点数据对三维脸部模型进行渲染，确定出游戏场景中虚拟角色的捏脸图像。
具体的，可以通过可微渲染器mesh renderer进行渲染，在栅格化后的像素上记录了对应三维脸部模型上三角形面片的索引和重心坐标，由于颜色、法线等属性均是基于重心坐标和三角形顶点上的属性插值得到的，因此梯度可以经由重心坐标进行传导。假设可微渲染器的相机参数为p，经由可微渲染器得到捏脸图像Id的过程可由下式表示：
Id＝D(m,p,ΘF,ΘT)；
其中，m为三维脸部模型的各个顶点的模型顶点数据，ΘF和ΘT分别为三维人脸模的面片信息和材质信息，且ΘF为常数且不可导。
进一步的，所述基于所述骨骼参数和所述表情参数，确定与所述虚拟角色对应的三维脸部模型中顶点的模型顶点数据，包括：基于所述骨骼参数，确定所述虚拟角色的三维脸部模型中顶点的初始顶点数据；基于顶点的初始顶点数据和所述表情参数，确定所述三维脸部模型中顶点的模型顶点数据。
该步骤中，在三维脸部模型中骨骼参数一般呈树状结构，要想确定虚拟角色在三维脸部模型中每个顶点的初始顶点数据，首先，需要将骨骼参数转换为虚拟角色在三维脸部模型中每个顶点的初始顶点数据；基于计算得到的骨骼树中每个顶点的初始顶点数据，结合获取到的表情参数，确定出在三维脸部模型中每个顶点的模型顶点数据。
具体的，从脸部图像中获取表情参数，从获取到的表情参数中确定出与每个顶点对应的表情参数，基于计算得到每个顶点的初始顶点数据以及每个顶点对应的表情参数，确定在三维脸部模型中每个顶点的模型顶点数据。
这样，就可以将获取到的表情参数结合到捏脸参数中，减少后续计算过程中的计算量。
进一步的，所述基于所述骨骼参数，确定所述虚拟角色的三维脸部模型中顶点的初始顶点数据，包括：基于所述骨骼参数，确定骨骼节点在所述三维脸部模型所属模型空间的世界变换矩阵；基于所述三维脸部模型的骨骼树，确定与所述人脸模型中顶点绑定的骨骼节点；基于与顶点绑定的骨骼节点的世界变换矩阵，确定顶点的初始顶点数据。
该步骤中，对于一个三维脸部模型来说，其中，根骨骼节点为骨骼树中所有骨骼节点的起始节点，根骨骼节点所处坐标系即世界坐标系，骨骼树能够表明每个骨骼节点与父骨骼节点以及根骨骼节点之间的节点脉络，在骨骼树结构中位于骨骼树结构边缘的节点称为顶点，也就是渲染过程中能够利用到的那些骨骼节点，并且在骨骼树结构中每个骨骼节点有其自身对应的部位空间，即该骨骼节点的父骨骼节点的三维坐标系，例如，对于一个人脸来说，眼睛可以作为一个部位，有其对应的部位空间，对于眼睛对应的部位空间，有其相应的三维坐标系，而嘴巴也可以作为一个部位，有其对应的部位空间，那么对于嘴巴对应的部位空间，同样有其对应的三维坐标系，因此为了确定出三维脸部模型中每个骨骼顶点的初始顶点数据，首先需要将每个骨骼节点从对应父骨骼节点所属的三维坐标系中转换至根骨骼节点对应的世界坐标系中，确定出每个骨骼节点在三维脸部模型所属模型空间的世界变换矩阵。
具体的，通过下式将第k个骨骼节点在三维空间中对应的局部变换矩阵
Figure BDA0002519481520000261
转换到世界坐标系中得到第k个骨骼节点的世界变换矩阵
Figure BDA0002519481520000262
Figure BDA0002519481520000263
其中，连乘符号指的是从根骨骼节点r开始，沿着骨骼树到当前节点k的连乘，
Figure BDA0002519481520000264
为根骨骼节点的局部变换矩阵，
Figure BDA0002519481520000265
为根骨骼节点的世界变换矩阵。若指定根骨骼节点r所处坐标系为世界坐标系，则
Figure BDA0002519481520000266
为单位阵。(注：指定的根骨骼节点可能存在于更大的骨骼树中，如脸部模型的根节点是整个角色骨骼中的一个子骨骼节点，因此
Figure BDA0002519481520000271
不一定是单位阵)。
在得到每个骨骼节点在世界坐标系中对应的世界变换矩阵
Figure BDA0002519481520000272
之后，确定出在三维脸部模型对应的骨骼树中的全部顶点以及与每个顶点绑定的骨骼节点，结合绑定在每个顶点上的所有骨骼节点，确定出第q个顶点对应的初始顶点数据
Figure BDA0002519481520000273
Figure BDA0002519481520000274
上式中上标i表示顶点q所绑定的第i个骨骼，n表示该骨骼节点共绑定了n个骨骼，
Figure BDA0002519481520000275
表示绑定权重，
Figure BDA0002519481520000276
表示该骨骼的初始姿态，
Figure BDA0002519481520000277
表示从该骨骼坐标系到世界坐标的转换矩阵。且有
Figure BDA0002519481520000278
通过遍历所有骨骼顶点和连接各个骨骼节点之间的骨骼，即可计算出世界坐标系下骨骼参数变化后的形状，记为ΘV(γ)。
进一步的，所述基于所述骨骼参数，确定骨骼节点在所述三维脸部模型所属模型空间的世界变换矩阵，包括：基于所述骨骼参数，确定骨骼节点在各自部位空间的局部变换矩阵；基于骨骼节点的局部变换矩阵和所述三维脸部模型的骨骼树，对骨骼节点进行空间变换处理，得到骨骼节点在所述三维脸部模型所属模型空间的世界变换矩阵。
该步骤中，基于骨骼参数，确定出每个骨骼节点在各自部位空间中的局部变换矩阵，即每个骨骼节点在其父骨骼节点所属的部位空间中的局部变换矩阵。
具体的，在骨骼树中，每一个骨骼参数可以表示多个骨骼节点，骨骼树中每个骨骼节点至少包括9个参数，分别代表了该骨骼节点在其父骨骼节点所属部位空间的三维坐标系中的平移r、旋转s和缩放t。第k个骨骼节点的骨骼参数可表示为如下形式：
γk＝[rx,ry,rz,sx,sy,sz,tx,ty,tz]；
根据上述9个参数，可以进一步得到第k个骨骼节点在三维空间中对应的局部变换矩阵
Figure BDA0002519481520000281
其具体形式如下：
Figure BDA0002519481520000282
Figure BDA0002519481520000283
Figure BDA0002519481520000284
Figure BDA0002519481520000285
Figure BDA0002519481520000286
Figure BDA0002519481520000287
进一步的，所述基于顶点的初始顶点数据和所述表情参数，确定所述三维脸部模型中顶点的模型顶点数据，包括：基于所述表情参数，确定顶点的表情基和表情强度；基于顶点的初始顶点数据、表情基和表情强度，确定顶点的模型顶点数据。
该步骤中，对于表情参数来说，表情参数与一系列的表情基相对应，每个表情基对应角色所能够做出的一种基础表情，如张嘴、闭眼、拱鼻子等，更复杂的表情则由多个表情基协同完成。表情参数还包括对应的表情强度，一般处于0至1之间。
具体的，可以通过Blend Shape记录了三维脸部模型表达每一个基础表情时相对于初始人脸模型的坐标差。当输入非零表情参数β时，通过下式确定每个顶点的模型顶点数据V：
Figure BDA0002519481520000291
其中，
Figure BDA0002519481520000292
表示每个顶点的初始顶点数据，βi为表情强度，δi为表情基。
上式梯度信息科表示为：
Figure BDA0002519481520000293
其中，Δ＝[δ1,δ2,δ3,...]表示表情基矩阵。
本申请实施例提供的游戏中虚拟角色的脸部处理方法，可以通过将从真实场景中的脸部图像中获取到的捏脸参数、相机参数和表情参数输入至可微捏脸模型中，通过可微捏脸模型中的可微骨骼驱动模型和三维脸部模型，将获取到的捏脸参数转换为骨骼参数，再基于得到的骨骼参数、表情参数以及相机参数得到游戏场景中虚拟角色的捏脸图像；并通过基于脸部图像和捏脸图像得到的联合损失函数，更新捏脸参数，得到脸部图像的目标捏脸参数，最后，根据目标捏脸参数确定出游戏场景中的虚拟角色的脸部模型，因此，在生成用于渲染得到虚拟角色脸部模型的目标捏脸参数的过程中不仅仅考虑脸部图像的捏脸参数，还可以进一步的考虑脸部图像的相机参数以及表情参数，从而使得在游戏端得到的游戏场景中的角色脸部图像，无论是角色脸部图像中虚拟角色的表情还是呈现角度都更加贴近于真实脸部图像。
请参阅图3，图3为本申请实施例所提供的一种游戏中虚拟角色的脸部处理装置的结构示意图。如图3中所示，所述脸部处理装置300包括：
参数获取模块310，用于获取真实场景中的脸部图像，并从所述脸部图像中获取所述脸部图像的捏脸参数、相机参数和表情参数；
图像生成模块320，用于将所述捏脸参数、所述相机参数和所述表情参数输入至可微捏脸模型中，得到游戏虚拟角色的捏脸图像；
损失函数确定模块330，用于基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数；
参数生成模块340，用于基于所述联合损失函数和所述捏脸参数，确定所述脸部图像的目标捏脸参数；
模型生成模块350，用于根据所述目标捏脸参数确定游戏场景中虚拟角色的脸部模型。
进一步的，当基于梯度下降法对所述联合损失函数进行求解时，所述参数生成模块340在用于基于所述联合损失函数和所述捏脸参数，确定所述脸部图像的目标捏脸参数时，所述参数生成模块340用于：
对所述联合损失函数求导，得到待训练的捏脸参数的第一梯度函数；
将预设的初始捏脸参数作为所述捏脸参数代入至所述第一梯度函数中，得到迭代后的梯度向量；
基于迭代后的梯度向量，对所述初始捏脸参数进行更新，得到更新后的捏脸参数；
将所述更新后的捏脸参数再次代入至所述第一梯度函数，经过预设次数的迭代更新，得到目标捏脸参数。
进一步的，当使用神经网络对所述联合损失函数进行求解时，所述参数生成模块340用于通过以下步骤从所述脸部图像中获取所述脸部图像的捏脸参数、相机参数和表情参数：
获取脸部样本图像集，以及构建好的深度学习网络模型；
对所述联合损失函数求导，得到待训练的模型参数的第二梯度函数；
遍历所述脸部样本图像集，基于第二梯度函数对模型参数进行更新，直至经过预设次数的迭代更新，得到目标模型参数，并确定所述深度学习网络模型训练完毕，得到训练完毕的用于提取图像参数的神经网络模型；
将所述脸部图像输入至所述神经网络模型中，得到所述脸部图像的捏脸参数、相机参数和表情参数。
进一步的，当基于神经网络对所述联合损失函数进行求解时，所述参数生成模块340在用于基于所述联合损失函数和所述捏脸参数，确定所述脸部图像的目标捏脸参数时，所述参数生成模块340用于：
基于所述捏脸参数和所述联合损失函数，计算所述捏脸图像相对于所述脸部图像的联合损失值；
若所述联合损失值大于预设损失值，对所述捏脸参数进行更新，直至所述脸部图像和所述捏脸图像之间的联合损失值小于预设损失值，得到目标捏脸参数。
进一步的，所述可微捏脸模型包括所述虚拟角色的可微骨骼驱动模型和三维脸部模型；
所述图像生成模块320在用于将所述捏脸参数、所述相机参数和所述表情参数输入至可微捏脸模型中，得到游戏场景中虚拟角色的捏脸图像时，所述图像生成模块320用于：
基于所述捏脸参数，确定游戏场景中虚拟角色的可微骨骼驱动模型的骨骼参数；
根据所述骨骼参数、所述表情参数和所述相机参数，得到所述虚拟角色的捏脸图像。
进一步的，所述图像生成模块320在用于基于所述捏脸参数，确定游戏场景中虚拟角色的可微骨骼驱动模型的骨骼参数时，所述图像生成模块320用于：
确定所述捏脸参数和游戏场景中虚拟角色的可微骨骼驱动模型中骨骼参数的映射关系，其中，所述映射关系包括线性描述关系和非线性描述关系；
通过所述映射关系对所述捏脸参数进行参数转换处理，得到所述骨骼参数。
进一步的，所述图像生成模块320在用于根据所述骨骼参数、所述表情参数和所述相机参数，得到所述虚拟角色的捏脸图像时，所述图像生成模块320用于：
基于所述骨骼参数和所述表情参数，确定与所述虚拟角色对应的三维脸部模型中顶点的模型顶点数据；
根据所述相机参数和所述三维脸部模型中顶点的模型顶点数据进行渲染，确定所述捏脸图像。
进一步的，所述图像生成模块320在用于基于所述骨骼参数和所述表情参数，确定与所述虚拟角色对应的三维脸部模型中顶点的模型顶点数据时，所述图像生成模块320用于：
基于所述骨骼参数，确定所述虚拟角色的三维脸部模型中顶点的初始顶点数据；
基于顶点的初始顶点数据和所述表情参数，确定所述三维脸部模型中顶点的模型顶点数据。
进一步的，所述图像生成模块320在用于基于所述骨骼参数，确定所述虚拟角色的三维脸部模型中顶点的初始顶点数据，所述图像生成模块320用于：
基于所述骨骼参数，确定骨骼节点在所述三维脸部模型所属模型空间的世界变换矩阵；
基于所述三维脸部模型的骨骼树，确定与所述人脸模型中顶点绑定的骨骼节点；
基于与顶点绑定的骨骼节点的世界变换矩阵，确定顶点的初始顶点数据。
进一步的，所述图像生成模块320在用于基于所述骨骼参数，确定骨骼节点在所述三维脸部模型所属模型空间的世界变换矩阵，所述图像生成模块320用于：
基于所述骨骼参数，确定骨骼节点在各自部位空间的局部变换矩阵；
基于骨骼节点的局部变换矩阵和所述三维脸部模型的骨骼树，对骨骼节点进行空间变换处理，得到骨骼节点在所述三维脸部模型所属模型空间的世界变换矩阵。
进一步的，所述图像生成模块320在用于基于顶点的初始顶点数据和所述表情参数，确定所述三维脸部模型中顶点的模型顶点数据时，所述图像生成模块320用于：
基于所述表情参数，确定顶点的表情基和表情强度；
基于顶点的初始顶点数据、表情基和表情强度，确定顶点的模型顶点数据。
进一步的，所述损失函数确定模块330在用于基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数时，所述损失函数确定模块330用于：
基于所述脸部图像和所述捏脸图像中的多个特征维度，分别确定所述脸部图像和所述捏脸图像之间的人脸关键点损失函数、人脸属性损失函数、稀疏度约束损失函数；
基于所述人脸关键点损失函数、所述人脸属性损失函数和所述稀疏度约束损失函数，以及每种损失函数对图像损失的调节权重，构建所述联合损失函数。
进一步的，所述损失函数确定模块330在用于基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数时，所述损失函数确定模块330还用于：
基于所述脸部图像和所述捏脸图像中的多个特征维度，分别确定所述脸部图像和所述捏脸图像之间的内容损失函数、身份损失函数；
所述基于所述人脸关键点损失函数、所述人脸属性损失函数和所述稀疏度约束损失函数，以及每种损失函数对图像损失的调节权重，构建所述联合损失函数，包括：
基于所述人脸关键点损失函数、所述人脸属性损失函数、所述稀疏度约束损失函数、所述内容损失函数和所述身份损失函数，以及每种损失函数对图像损失的调节权重，构建所述联合损失函数。
申请实施例提供的游戏中虚拟角色的脸部处理装置，可以通过将从真实场景中的脸部图像中获取到的捏脸参数、相机参数和表情参数输入至可微捏脸模型中，得到游戏场景中虚拟角色的捏脸图像；并通过基于脸部图像和捏脸图像得到的联合损失函数，更新捏脸参数，得到脸部图像的目标捏脸参数，最后，根据目标捏脸参数确定出游戏场景中的虚拟角色的脸部模型，因此，在生成用于渲染得到虚拟角色脸部模型的目标捏脸参数的过程中不仅仅考虑脸部图像的捏脸参数，还可以进一步的考虑脸部图像的相机参数以及表情参数，从而使得在游戏端得到的游戏场景中的角色脸部图像，无论是角色脸部图像中虚拟角色的表情还是呈现角度都更加贴近于真实脸部图像。
请参阅图4，图4为本申请实施例所提供的一种电子设备的结构示意图。如图4中所示，所述电子设备400包括处理器410、存储器420和总线430。
所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过总线430通信，所述机器可读指令被所述处理器410执行时，可以执行如上述图1以及图2所示方法实施例中的游戏中虚拟角色的脸部处理方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时可以执行如上述图1以及图2所示方法实施例中的游戏中虚拟角色的脸部处理方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种游戏中虚拟角色的脸部处理方法，其特征在于，所述脸部处理方法包括：
获取真实场景中的脸部图像，并从所述脸部图像中获取所述脸部图像的捏脸参数、相机参数和表情参数；
将所述捏脸参数、所述相机参数和所述表情参数输入至可微捏脸模型中，得到游戏虚拟角色的捏脸图像；
基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数；
基于所述联合损失函数和所述捏脸参数，确定所述脸部图像的目标捏脸参数；
根据所述目标捏脸参数确定游戏场景中虚拟角色的脸部模型。
2.根据权利要求1所述的脸部处理方法，其特征在于，当基于梯度下降法对所述联合损失函数进行求解时，所述基于所述联合损失函数和所述捏脸参数，确定所述脸部图像的目标捏脸参数，包括：
对所述联合损失函数求导，得到待训练的捏脸参数的第一梯度函数；
将预设的初始捏脸参数作为所述捏脸参数代入至所述第一梯度函数中，得到迭代后的梯度向量；
基于迭代后的梯度向量，对所述初始捏脸参数进行更新，得到更新后的捏脸参数；
将所述更新后的捏脸参数再次代入至所述第一梯度函数，经过预设次数的迭代更新，得到目标捏脸参数。
3.根据权利要求1所述的脸部处理方法，其特征在于，当使用神经网络对所述联合损失函数进行求解时，通过以下步骤从所述脸部图像中获取所述脸部图像的捏脸参数、相机参数和表情参数：
获取脸部样本图像集，以及构建好的深度学习网络模型；
对所述联合损失函数求导，得到待训练的模型参数的第二梯度函数；
遍历所述脸部样本图像集，基于第二梯度函数对模型参数进行更新，直至经过预设次数的迭代更新，得到目标模型参数，并确定所述深度学习网络模型训练完毕，得到训练完毕的用于提取图像参数的神经网络模型；
将所述脸部图像输入至所述神经网络模型中，得到所述脸部图像的捏脸参数、相机参数和表情参数。
4.根据权利要求3所述的脸部处理方法，其特征在于，当基于神经网络对所述联合损失函数进行求解时，所述基于所述联合损失函数和所述捏脸参数，确定所述脸部图像的目标捏脸参数，包括：
基于所述捏脸参数和所述联合损失函数，计算所述捏脸图像相对于所述脸部图像的联合损失值；
若所述联合损失值大于预设损失值，对所述捏脸参数进行更新，直至所述脸部图像和所述捏脸图像之间的联合损失值小于预设损失值，得到目标捏脸参数。
5.根据权利要求1所述的脸部处理方法，其特征在于，所述可微捏脸模型包括所述虚拟角色的可微骨骼驱动模型和三维脸部模型；
所述将所述捏脸参数、所述相机参数和所述表情参数输入至可微捏脸模型中，得到游戏场景中虚拟角色的捏脸图像，包括：
基于所述捏脸参数，确定游戏场景中虚拟角色的可微骨骼驱动模型的骨骼参数；
根据所述骨骼参数、所述表情参数和所述相机参数，得到所述虚拟角色的捏脸图像。
6.根据权利要求5所述的脸部处理方法，其特征在于，所述基于所述捏脸参数，确定游戏场景中虚拟角色的可微骨骼驱动模型的骨骼参数，包括：
确定所述捏脸参数和游戏场景中虚拟角色的可微骨骼驱动模型中骨骼参数的映射关系，其中，所述映射关系包括线性描述关系和非线性描述关系；
通过所述映射关系对所述捏脸参数进行参数转换处理，得到所述骨骼参数。
7.根据权利要求5所述的脸部处理方法，其特征在于，所述根据所述骨骼参数、所述表情参数和所述相机参数，得到所述虚拟角色的捏脸图像，包括：
基于所述骨骼参数和所述表情参数，确定与所述虚拟角色对应的三维脸部模型中顶点的模型顶点数据；
根据所述相机参数和所述三维脸部模型中顶点的模型顶点数据进行渲染，确定所述捏脸图像。
8.根据权利要求7所述的脸部处理方法，其特征在于，所述基于所述骨骼参数和所述表情参数，确定与所述虚拟角色对应的三维脸部模型中顶点的模型顶点数据，包括：
基于所述骨骼参数，确定所述虚拟角色的三维脸部模型中顶点的初始顶点数据；
基于顶点的初始顶点数据和所述表情参数，确定所述三维脸部模型中顶点的模型顶点数据。
9.根据权利要求8所述的脸部处理方法，其特征在于，所述基于所述骨骼参数，确定所述虚拟角色的三维脸部模型中顶点的初始顶点数据，包括：
基于所述骨骼参数，确定骨骼节点在所述三维脸部模型所属模型空间的世界变换矩阵；
基于所述三维脸部模型的骨骼树，确定与所述三维脸部模型中顶点绑定的骨骼节点；
基于与顶点绑定的骨骼节点的世界变换矩阵，确定顶点的初始顶点数据。
10.根据权利要求9所述的脸部处理方法，其特征在于，所述基于所述骨骼参数，确定骨骼节点在所述三维脸部模型所属模型空间的世界变换矩阵，包括：
基于所述骨骼参数，确定骨骼节点在各自部位空间的局部变换矩阵；
基于骨骼节点的局部变换矩阵和所述三维脸部模型的骨骼树，对骨骼节点进行空间变换处理，得到骨骼节点在所述三维脸部模型所属模型空间的世界变换矩阵。
11.根据权利要求8所述的脸部处理方法，其特征在于，所述基于顶点的初始顶点数据和所述表情参数，确定所述三维脸部模型中顶点的模型顶点数据，包括：
基于所述表情参数，确定顶点的表情基和表情强度；
基于顶点的初始顶点数据、表情基和表情强度，确定顶点的模型顶点数据。
12.根据权利要求1所述的脸部处理方法，其特征在于，所述基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数，包括：
基于所述脸部图像和所述捏脸图像中的多个特征维度，分别确定所述脸部图像和所述捏脸图像之间的人脸关键点损失函数、人脸属性损失函数、稀疏度约束损失函数；
基于所述人脸关键点损失函数、所述人脸属性损失函数和所述稀疏度约束损失函数，以及每种损失函数对图像损失的调节权重，构建所述联合损失函数。
13.根据权利要求12所述的脸部处理方法，其特征在于，所述基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数，还包括：
基于所述脸部图像和所述捏脸图像中的多个特征维度，分别确定所述脸部图像和所述捏脸图像之间的内容损失函数、身份损失函数；
所述基于所述人脸关键点损失函数、所述人脸属性损失函数和所述稀疏度约束损失函数，以及每种损失函数对图像损失的调节权重，构建所述联合损失函数，包括：
基于所述人脸关键点损失函数、所述人脸属性损失函数、所述稀疏度约束损失函数、所述内容损失函数和所述身份损失函数，以及每种损失函数对图像损失的调节权重，构建所述联合损失函数。
14.一种游戏中虚拟角色的脸部处理装置，其特征在于，所述脸部处理装置包括：
参数获取模块，用于获取真实场景中的脸部图像，并从所述脸部图像中获取所述脸部图像的捏脸参数、相机参数和表情参数；
图像生成模块，用于将所述捏脸参数、所述相机参数和所述表情参数输入至可微捏脸模型中，得到游戏虚拟角色的捏脸图像；
损失函数确定模块，用于基于所述脸部图像和所述捏脸图像，确定所述脸部图像和所述捏脸图像之间的联合损失函数；
参数生成模块，用于基于所述联合损失函数和所述捏脸参数，确定所述脸部图像的目标捏脸参数；
模型生成模块，用于根据所述目标捏脸参数确定游戏场景中虚拟角色的脸部模型。
15.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至13任一所述游戏中虚拟角色的脸部处理方法的步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至13任一所述游戏中虚拟角色的脸部处理方法的步骤。
CN202010486946.9A 2020-06-01 2020-06-01 游戏中虚拟角色的脸部处理方法、装置及可读存储介质 Active CN111632374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010486946.9A CN111632374B (zh) 2020-06-01 2020-06-01 游戏中虚拟角色的脸部处理方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010486946.9A CN111632374B (zh) 2020-06-01 2020-06-01 游戏中虚拟角色的脸部处理方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN111632374A CN111632374A (zh) 2020-09-08
CN111632374B true CN111632374B (zh) 2023-04-18

Family

ID=72324202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010486946.9A Active CN111632374B (zh) 2020-06-01 2020-06-01 游戏中虚拟角色的脸部处理方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN111632374B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768479B (zh) * 2020-07-29 2021-05-28 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备以及存储介质
CN112906494B (zh) * 2021-01-27 2022-03-08 浙江大学 一种面部捕捉方法、装置、电子设备及存储介质
CN113409437B (zh) * 2021-06-23 2023-08-08 北京字节跳动网络技术有限公司 一种虚拟角色捏脸的方法、装置、电子设备及存储介质
CN113643417B (zh) * 2021-08-17 2023-06-27 腾讯科技（深圳）有限公司 图像调整方法、装置、电子设备及存储介质
CN113658307A (zh) * 2021-08-23 2021-11-16 北京百度网讯科技有限公司 图像处理方法及装置
CN113808277B (zh) * 2021-11-05 2023-07-18 腾讯科技（深圳）有限公司 一种图像处理方法及相关装置
CN113870401B (zh) * 2021-12-06 2022-02-25 腾讯科技（深圳）有限公司 表情生成方法、装置、设备、介质和计算机程序产品
CN114519757A (zh) * 2022-02-17 2022-05-20 巨人移动技术有限公司 一种捏脸处理方法
CN115311127A (zh) * 2022-02-25 2022-11-08 北京字跳网络技术有限公司 一种脸部处理方法、装置、计算机设备及存储介质
CN114677476A (zh) * 2022-03-30 2022-06-28 北京字跳网络技术有限公司 一种脸部处理方法、装置、计算机设备及存储介质
CN115661310B (zh) * 2022-12-22 2023-03-14 海马云（天津）信息技术有限公司 虚拟数字人表情逼近方法、装置、存储介质、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9662564B1 (en) * 2013-03-11 2017-05-30 Google Inc. Systems and methods for generating three-dimensional image models using game-based image acquisition
CN109636886A (zh) * 2018-12-19 2019-04-16 网易（杭州）网络有限公司 图像的处理方法、装置、存储介质和电子装置
CN109902767A (zh) * 2019-04-11 2019-06-18 网易（杭州）网络有限公司 模型训练方法、图像处理方法及装置、设备和介质
CN110717928A (zh) * 2019-10-21 2020-01-21 网易（杭州）网络有限公司 人脸运动单元AUs的参数估计方法、装置和电子设备
CN110717977A (zh) * 2019-10-23 2020-01-21 网易（杭州）网络有限公司 游戏角色脸部处理的方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9662564B1 (en) * 2013-03-11 2017-05-30 Google Inc. Systems and methods for generating three-dimensional image models using game-based image acquisition
CN109636886A (zh) * 2018-12-19 2019-04-16 网易（杭州）网络有限公司 图像的处理方法、装置、存储介质和电子装置
CN109902767A (zh) * 2019-04-11 2019-06-18 网易（杭州）网络有限公司 模型训练方法、图像处理方法及装置、设备和介质
CN110717928A (zh) * 2019-10-21 2020-01-21 网易（杭州）网络有限公司 人脸运动单元AUs的参数估计方法、装置和电子设备
CN110717977A (zh) * 2019-10-23 2020-01-21 网易（杭州）网络有限公司 游戏角色脸部处理的方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111632374A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN111632374B (zh) 游戏中虚拟角色的脸部处理方法、装置及可读存储介质
CN110717977B (zh) 游戏角色脸部处理的方法、装置、计算机设备及存储介质
US11093733B2 (en) Image processing method and apparatus, storage medium and electronic device
CN111354079B (zh) 三维人脸重建网络训练及虚拟人脸形象生成方法和装置
US20050180657A1 (en) System and method for image-based surface detail transfer
WO2019050808A1 (en) SCANNING AVATAR FROM A SINGLE IMAGE FOR REAL TIME REALIZATION
CN111242841A (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
CN111127309B (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN110458924B (zh) 一种三维脸部模型建立方法、装置和电子设备
CN110796593A (zh) 基于人工智能的图像处理方法、装置、介质及电子设备
JP2024500896A (ja) ３ｄ頭部変形モデルを生成するための方法、システム及び方法
CN116310045B (zh) 一种三维人脸纹理创建方法、装置及设备
CN114266695A (zh) 图像处理方法、图像处理系统及电子设备
CN112085835A (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
JP2024503794A (ja) ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム
CN113808277B (zh) 一种图像处理方法及相关装置
CN115311127A (zh) 一种脸部处理方法、装置、计算机设备及存储介质
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
CN114529640A (zh) 一种运动画面生成方法、装置、计算机设备和存储介质
Mordvintsev et al. $\mu $ NCA: Texture Generation with Ultra-Compact Neural Cellular Automata
DE102021124537A1 (de) Energiebasierte variational autoencoder
Nguyen-Phuoc et al. Alteredavatar: Stylizing dynamic 3d avatars with fast style adaptation
CN112970046A (zh) 数字角色混合和生成系统和方法
CN110782408A (zh) 一种基于卷积神经网络的智能美型方法及系统
CN114373033A (zh) 图像处理方法、装置、设备、存储介质及计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant