CN115063847A - 一种面部图像获取模型的训练方法及装置 - Google Patents

一种面部图像获取模型的训练方法及装置 Download PDF

Info

Publication number
CN115063847A
CN115063847A CN202210468493.6A CN202210468493A CN115063847A CN 115063847 A CN115063847 A CN 115063847A CN 202210468493 A CN202210468493 A CN 202210468493A CN 115063847 A CN115063847 A CN 115063847A
Authority
CN
China
Prior art keywords
facial
image acquisition
acquisition model
training
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210468493.6A
Other languages
English (en)
Inventor
邱锋
曾豪
安入东
陈柯宇
张唯
丁彧
吕唐杰
范长杰
胡志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202210468493.6A priority Critical patent/CN115063847A/zh
Publication of CN115063847A publication Critical patent/CN115063847A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种面部图像获取模型的训练方法，包括：获取面部骨骼绑定参数样本；以面部骨骼绑定参数样本作为原始面部图像获取模型的训练数据，对原始面部图像获取模型进行迭代训练；根据训练过程中，原始面部图像获取模型针对面部骨骼绑定参数样本输出的预测面部图像、及面部骨骼绑定参数样本对应的真实面部图像，计算训练过程中的原始面部图像获取模型的损失函数值；根据计算得到的训练过程中的原始面部图像获取模型的损失函数值，对训练过程中的原始面部图像获取模型进行优化训练，获得达到训练标准的面部图像获取模型。通过该方法获得的面部图像获取模型，能够被应用到游戏及动画制作的深度学习方法中。

Description

一种面部图像获取模型的训练方法及装置
技术领域
本申请涉及计算机图形学技术领域，尤其涉及一种面部图像获取模型的训练方法、虚拟角色的面部表情渲染方法、装置、电子设备以及计算机可读存储介质。
背景技术
面部是计算机图像学中一项重要的研究内容，面部表情承载了大量的可感知信息，在游戏及动画制作过程中，经过面部几何建模、面部骨骼绑定、面部表情渲染等步骤可获得具有表情的虚拟角色面部图像。
现有的面部表情渲染方法主要是基于渲染引擎的面部图像获取方法，在渲染引擎中通过调整骨骼绑定参数，即可获得对应的面部表情图像。随着神经网络技术的快速发展，基于深度学习的游戏及动画制作方法成为游戏及动画制作的发展趋势，然而渲染引擎在进行表情渲染时的渲染过程是不可微的，导致基于渲染引擎的面部表情渲染方法无法被应用到游戏及动画制作的深度学习方法中。
发明内容
本申请提供了一种面部图像获取模型的训练方法，以解决现有的基于渲染引擎的面部表情渲染方法无法被应用到游戏及动画制作的深度学习方法中的技术问题。
本申请实施例提供了一种面部图像获取模型的训练方法，包括：
获取面部骨骼绑定参数样本；
以所述面部骨骼绑定参数样本作为原始面部图像获取模型的训练数据，对所述原始面部图像获取模型进行迭代训练；
根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像，计算训练过程中的所述原始面部图像获取模型的损失函数值；
根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型。
可选的，所述获取面部骨骼绑定参数样本，包括：
获取初始面部骨骼绑定参数数据集；
以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理；
将预处理后的所述初始面部骨骼绑定参数作为所述面部骨骼绑定参数样本。
可选的，所述以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理，包括：去除所述初始面部骨骼绑定参数中无用的维度数据。
可选的，所述以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理，还包括：修改所述初始面部骨骼绑定参数中不合理的维度数据。
可选的，所述以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理，还包括：将所述初始面部骨骼绑定参数数据集中，相同维度上的各初始面部骨骼绑定参数处理为正态分布的维度数据。
可选的，所述原始面部图像获取模型，包括：第一神经网络和第二神经网络；所述第一神经网络用于根据所述面部骨骼绑定参数样本输出第一预测面部图像；所述第二神经网络用于根据所述第一预测面部图像输出第二预测面部图像。
可选的，所述根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像计算训练过程中的所述原始面部图像获取模型的损失函数值，包括：
基于训练过程中的所述原始面部图像获取模型中的所述第一神经网络，对输入的所述面部骨骼绑定参数样本进行映射处理，获得所述面部骨骼绑定参数样本对应的第一预测面部图像；
基于训练过程中的所述原始面部图像获取模型中的所述第二神经网络，对输入的所述第一预测面部图像进行归一化处理，获得所述第一预测面部图像对应的第二预测面部图像；
根据所述第二预测面部图像及所述面部骨骼绑定参数样本对应的真实面部图像计算所述训练过程中的所述原始面部图像获取模型的损失函数值。
可选的，所述面部骨骼绑定参数样本对应的真实面部图像的获取方法，包括：
基于面部表情渲染引擎，根据所述面部骨骼绑定参数样本获取所述面部骨骼绑定参数样本对应的面部模型；
根据所述面部骨骼绑定参数样本对应的面部模型获取所述面部骨骼绑定参数样本对应的真实面部图像。
可选的，所述根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像计算训练过程中的所述原始面部图像获取模型的损失函数值，包括：基于均方差损失函数，根据所述预测面部图像及所述真实面部图像计算所述训练过程中的所述原始面部图像获取模型的损失函数值。
可选的，所述根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型，包括：
根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值判断所述训练过程中的所述原始面部图像获取模型是否达到训练标准，具体包括：
若所述训练过程中的所述原始面部图像获取模型的损失函数值小于预设损失阈值，则所述训练过程中的所述原始面部图像获取模型达到训练标准，结束对所述原始面部图像获取模型的训练；
若所述训练过程中的所述原始面部图像获取模型的损失函数值大于或等于所述预设损失阈值，则所述训练过程中的所述原始面部图像获取模型没有达到训练标准，继续对所述原始面部图像获取模型进行训练，直至所述训练过程中的所述原始面部图像获取模型的损失函数值小于所述预设损失阈值；
将达到标准的所述训练过程中的所述原始面部图像获取模型作为最终选定的所述面部图像获取模型。
可选的，所述方法还包括：
将所述面部图像获取模型接入到游戏或动画中，对所述游戏或动画中的虚拟角色进行面部表情渲染。
本申请实施例还提供了一种虚拟角色的面部表情渲染方法，包括：
获取目标虚拟角色的面部骨骼绑定参数；
将所述目标虚拟角色的面部骨骼绑定参数输入面部图像获取模型中，获得所述目标虚拟角色的面部骨骼绑定参数对应的面部表情图像。
可选的，所述面部图像获取模型的获取方法，包括：
获取面部骨骼绑定参数样本；
以所述面部骨骼绑定参数样本作为原始面部图像获取模型的训练数据，对所述原始面部图像获取模型进行迭代训练；
根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像计算训练过程中的所述原始面部图像获取模型的损失函数值；
根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型。
本申请实施例还提供了一种面部图像获取模型的训练装置，包括：样本获取单元、模型训练单元、模型损失函数值计算单元、模型优化单元；
所述样本获取单元，用于获取面部骨骼绑定参数样本；
所述模型训练单元，用于以所述面部骨骼绑定参数样本作为原始面部图像获取模型的训练数据，对所述原始面部图像获取模型进行迭代训练；
所述模型损失函数值计算单元，用于根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像，计算训练过程中的所述原始面部图像获取模型的损失函数值；
所述模型优化单元，用于根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型。
本申请实施例还提供了一种虚拟角色的面部表情渲染装置，包括：面部骨骼绑定参数获取单元、面部表情图像获取单元；
所述面部骨骼绑定参数获取单元，用于获取目标虚拟角色的面部骨骼绑定参数；
所述面部表情图像获取单元，用于将所述目标虚拟角色的面部骨骼绑定参数输入面部图像获取模型中，获得所述目标虚拟角色的面部骨骼绑定参数对应的面部表情图像。
本申请实施例还提供了一种电子设备，包括：存储器和处理器；
所述存储器，用于存储一条或多条计算机指令；
所述处理器，用于执行所述一条或多条计算机指令，以实现上述方法。
本申请实施例还提供了一种计算机可读存储介质，其上存储有一条或多条计算机指令，该指令被处理器执行时，执行上述方法。
与现有技术相比，本申请提供的面部图像获取模型的训练方法，包括：获取面部骨骼绑定参数样本；以所述面部骨骼绑定参数样本作为原始面部图像获取模型的训练数据，对所述原始面部图像获取模型进行迭代训练；根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像，计算训练过程中的所述原始面部图像获取模型的损失函数值；根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型。该方法通过将面部骨骼绑定参数样本作为训练数据对原始面部图像获取模型进行迭代训练，进一步通过训练过程中获取的预测面部图像及真实面部图像计算训练过程中的模型的损失函数值，对训练过程中的模型进行优化训练，获取了达到训练标准的面部图像获取模型。通过本申请提供的面部图像获取模型的训练方法获得的面部图像获取模型，在进行面部图像获取时的过程是可微的，能够被应用到游戏及动画制作的深度学习方法中，提高了基于神经网络的游戏及动画制作方法的完整性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的面部图像获取模型的应用场景图；
图2为本申请实施例提供的面部图像获取模型的训练方法的应用系统图；
图3为本申请一实施例提供的面部图像获取模型的训练方法的流程图；
图4为本申请一实施例提供的获取面部骨骼绑定参数样本的流程图；
图5为本申请一实施例提供的原始面部图像获取模型损失函数值的获取方法的流程图；
图6为本申请一实施例提供的获取达到训练标准的面部图像获取模型的流程图；
图7为本申请另一实施例提供的虚拟角色的面部表情渲染方法的流程图；
图8为本申请另一实施例提供的虚拟角色的面部表情渲染方法的流程示意图；
图9为本申请另一实施例提供的面部图像获取模型的训练装置的结构示意图；
图10为本申请另一实施例提供的虚拟角色的面部表情渲染装置的结构示意图；
图11为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
以下对本申请实施例中涉及的名词进行介绍：
面部图像获取模型，是一个参数化模型，能够通过面部骨骼绑定参数，获取面部图像的神经网络模型。
骨骼绑定参数，是指在游戏及动画制作过程中，对虚拟角色进行骨骼构建时的构建参数，不同的骨骼绑定参数能够使骨骼呈现不同的形状。
神经网络(Neural Networks，NNs)，是由若干神经元及其参数组成的，是一种通过大量的示例来“学习”而执行任务的系统，通常不使用特定于任务的规则进行编程。例如，在图像识别中，神经网络可以通过分析标记为“猫”或“不是猫”的示例图像对猫的特征进行学习，并使用学习结果来识别其他图像是否含有猫。在神经网络的学习中，并不会向神经网络直接输入猫的特征，而是输入标记为猫的示例图像，神经网络通过迭代学习，就会根据示例图像自动生成表示猫的特征信息。
卷积神经网络(Convolutional Neural Networks,CNN)，是神经网络的一种，它将若干个神经元组织成一个卷积层，数据从输入开始，靠神经元之间的连接，在若干卷积层中顺序传播，直至最终输出。卷积神经网络还可以依据人为指定的优化目标计算误差，靠反向传播与梯度下降法迭代更新神经网络的参数，使网络得到优化。
现有的面部表情渲染方法主要是基于渲染引擎的面部图像获取方法，多种动画制作软件中都存在渲染引擎，比如：Maya、C4D、3dmax等。各软件的渲染引擎与渲染方法不尽相同，但总的原则都是通过调整骨骼绑定参数，获得对应的面部表情图像。
各软件的渲染引擎都具有变形器的功能，通过变形器能够改变虚拟角色或虚拟物品中某块几何图像的形状(例如：弯曲、膨胀、波动等)。Blendshape是一种功能较强的变形器，能够使一种自然形状变为另一种自然形状，比如：Blendshape可以将虚拟角色的嘴部形状从中性变为微笑。
现有的面部表情渲染方法从技术上已经达到了较高的水平，但应用渲染引擎进行面部表情渲染的过程是不可见不可微的。
随着神经网络技术的快速发展，基于深度学习的游戏及动画制作方法成为游戏及动画制作的发展方向，然而渲染引擎在进行表情渲染时的渲染过程是不可微的，导致基于渲染引擎的面部表情渲染方法无法被应用到游戏及动画制作的深度学习方法中。
针对上述现有的面部表情渲染方法存在的问题，本申请提供了一种面部图像获取模型的训练方法，将面部骨骼绑定参数样本作为训练数据，训练得到面部图像获取模型，通过该模型进行面部图像获取时的过程是可微的，因此该模型能够被应用到游戏及动画制作的深度学习方法中，提高了基于神经网络的游戏及动画制作方法的完整性。
下面结合具体实施例及附图对本申请所述的面部图像获取模型的训练方法、虚拟角色的面部表情渲染方法、训练装置、渲染装置、电子设备以及计算机可读存储介质做进一步详细说明。
图1是本申请实施例提供的面部图像获取模型的应用场景图。如图1所示，该模型被应用在虚拟角色面部表情渲染过程中。将获取的目标虚拟角色的面部骨骼绑定参数101作为输入数据，输入训练获得的面部图像获取模型102中，即会获得该目标虚拟角色的面部骨骼绑定参数101对应的面部表情图像103。
本申请提供的面部图像获取模型可以被接入到游戏或动画中，对所述游戏或动画中的虚拟角色进行面部表情渲染。
图2是本申请实施例提供的面部图像获取模型的训练方法的应用系统图。如图2所示，所述应用系统，包括：应用端201、训练端202。所述应用端201和所述训练端202通过网络进行通信连接。所述训练端202用于部署本申请提供的面部图像获取模型的训练方法，并利用获取的面部骨骼绑定参数样本对原始面部图像获取模型进行迭代训练，获得达到训练标准的面部图像获取模型。所述训练端202还用于将获取的面部图像获取模型通过网络发送给所述应用端201。所述应用端201用于部署所述训练端202训练得到的面部图像获取模型，并根据获取的目标虚拟角色的面部骨骼绑定参数，输出该目标虚拟角色的面部骨骼绑定参数对应的面部表情图像。当然，所述应用端201还可以合并至所述训练端202中，作为训练端202的一个应用单元，发挥虚拟角色面部表情渲染功能。
该面部图像获取模型的应用系统可以被应用到游戏制作、动画制作等多种领域中。
本申请一实施例提供了一种面部图像获取模型的训练方法。
图3是本实施例提供的面部图像获取模型的训练方法的流程图。以下结合图3对本实施例提供的面部图像获取模型的训练方法进行详细描述。以下描述所涉及的实施例用于解释本申请的技术方案，并不作为实际使用的限定。
如图3所述，本实施例提供的面部图像获取模型的训练方法包括如下步骤：
步骤S301，获取面部骨骼绑定参数样本。
所述面部骨骼绑定参数样本，是指用于对面部图像获取模型进行训练的训练数据。
本实施例提供了获取面部骨骼绑定参数样本的一种可选实现方式。图4是本实施例提供的获取面部骨骼绑定参数样本的流程图。
如图4所示，本实施例提供的获取面部骨骼绑定参数样本的方法包括如下步骤：
步骤S301-1，获取初始面部骨骼绑定参数数据集。
初始面部骨骼绑定参数是一个多维度参数，不同维度控制面部的不同部位。不同生物体对应的初始面部骨骼绑定参数的维度也不相同，要根据目标生物体面部的骨骼复杂程度而确定。比如：用155×2的数组代表人脸初始骨骼绑定参数，其中155表示人脸初始骨骼绑定参数包括155个维度，每一个维度控制人脸的不同部位，如：眉毛、嘴角、眼睛等，当然，眉毛、嘴角、眼睛等部位的控制可能涉及不止一个维度数据；2代表每一个维度控制部位的横向或纵向的形变，也表示该原始骨骼绑定参数是一个二维层面的参数。
获取初始面部骨骼绑定参数实际上是在每一个维度上进行的随机采样，为了使采集的数据分布更贴近于真实数据，每一个维度上的随机采样数据分布遵循正态分布Xi,j～N(μ,σ2)。
将随机采样获得的初始面部骨骼绑定参数集合为初始面部骨骼绑定参数数据集，用初始面部骨骼绑定参数数据集中的数据对面部图像获取模型进行训练。
步骤S301-2，以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理。
由于对初始骨骼绑定参数中所有的维度都采用相同的采样策略，因此，采集得到的初始骨骼绑定参数会存在某些维度的数据为无用数据、或某些维度的数据为非法数据的情况。需要对采集到的初始骨骼绑定参数进行预处理。
本实施例提供的对初始骨骼绑定参数进行预处理的方法，包括：去除所述初始面部骨骼绑定参数中无用的维度数据。
所述无用的维度数据，是指维度为恒零的数据，这些数据对于后期面部图像获取模型的训练是无意义的数据。比如：以155×2的采集维度对人脸初始骨骼绑定参数进行采集，在采集过程中会对每一个维度的横向或纵向的形变数据都进行采集，而例如眼部这样的部位，由于只存在睁开或闭上的形态，因此，眼部维度的数据只存在纵向形变数据，那么采集得到的眼部维度的横向形变数据即为恒零数据。
对于无用的维度数据，可以直接从初始骨骼绑定参数的数组中去除，比如：去除眼部维度的横向形变数据。
本实施例提供的对初始骨骼绑定参数进行预处理的方法，还包括：修改所述初始面部骨骼绑定参数中不合理的维度数据。
所述不合理的维度数据，是指采集到的维度数据的取值范围超出采样范围的维度数据，这些数据在采集到的初始骨骼绑定参数的数组中呈现非法值状态。比如：预设的采样范围为-1～1，采集到的初始骨骼绑定参数的数组中出现了-1.5的维度数据，那么该维度数据即为不合理的维度数据。
对于不合理的维度数据，可以将其修改为采样范围内的维度数据，比如：将-1.5的维度数据修改为-1的维度数据。
本实施例提供的对初始骨骼绑定参数进行预处理的方法，还包括：将所述初始面部骨骼绑定参数数据集中，相同维度上的各初始面部骨骼绑定参数处理为正态分布的维度数据。
对采集到的初始骨骼绑定参数进行预处理后，得到预处理后的初始骨骼绑定参数，一般对于预处理后的初始骨骼绑定参数，会将其进行拉平处理，即，将二维层面的参数转化为一维层面的参数。比如：155×2的初始骨骼绑定参数经过预处理后得到139×1的预处理后的初始骨骼绑定参数。
预处理后的初始骨骼绑定参数用于对面部图像获取模型进行训练，因此，还需要将预处理后的初始骨骼绑定参数进行规范化处理，即，将初始面部骨骼绑定参数数据集中相同维度的各维度数据处理为正态分布的维度数据。比如：采集了12万个初始骨骼绑定参数，对每一个初始骨骼绑定参数进行预处理后，进一步对相同维度的各维度数据进行正态化分布处理，如：对眼部维度的12万个维度数据进行正态化分布处理。
正态化分布处理的一种方式为计算相同维度的维度数据均值及相同维度的维度数据方差，将相同维度的各维度数据减去维度数据均值，除以维度数据方差，即可获得相同维度的正态化分布维度数据。
步骤S301-3，将预处理后的所述初始面部骨骼绑定参数作为所述面部骨骼绑定参数样本。
预处理后的初始面部骨骼绑定参数可以作为面部骨骼绑定参数样本，对面部图像获取模型进行训练。
步骤S302，以所述面部骨骼绑定参数样本作为原始面部图像获取模型的训练数据，对所述原始面部图像获取模型进行迭代训练。
所述原始面部图像获取模型，是指构建的未经训练的面部图像获取模型，包括：第一神经网络和第二神经网络。
所述第一神经网络为反卷积神经网络，包括6个反卷积模块，每一个反卷积模块又包括一个二维转置卷积层、一个批归一化层、一个激活函数层。所述第一神经网络用于根据所述面部骨骼绑定参数样本输出第一预测面部图像。
所述第一面部预测图像，为包含图像特征的特征图像。第一神经网络可以将输入的面部骨骼绑定参数样本映射为特征图像。
所述第二神经网络为卷积神经网络，包括一个卷积层、一个归一化激活函数层。所述第二神经网络用于根据所述第一预测面部图像输出第二预测面部图像。
所述第二预测面部图像，为最终获取的预测面部图像。第二神经网络可以将输入的第一面部预测图像中的图像特征映射为0～1的图像特征，并根据0-1的图像特征生成第二预测面部图像。
第一预测面部图像与第二预测面部图像的图像大小相同。
步骤S303，根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像，计算训练过程中的所述原始面部图像获取模型的损失函数值。
所述预测面部图像为经过第一神经网络和第二神经网络获取的第二预测面部图像。
本实施例提供了本步骤的一种可选实现方式。图5是本实施例提供的原始面部图像获取模型损失函数值的获取方法的流程图。
如图5所示，本实施例提供的根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像，计算训练过程中的所述原始面部图像获取模型的损失函数值的方法包括如下步骤：
步骤S303-1，基于训练过程中的所述原始面部图像获取模型中的所述第一神经网络，对输入的所述面部骨骼绑定参数样本进行映射处理，获得所述面部骨骼绑定参数样本对应的第一预测面部图像。
将面部骨骼绑定参数样本按照批次输入原始面部图像获取模型中的第一神经网络中，第一神经网络会对输入的面部骨骼绑定参数样本进行从骨骼绑定参数到图像特征的映射，最终输出面部骨骼绑定参数样本对应的第一预测面部图像。
比如：输入大小为(B,139,1,1)的面部骨骼绑定参数样本，经过第一神经网络，输出大小为(B,3,256,256)的第一预测面部图像，其中B为训练的批次大小。
步骤S303-2，基于训练过程中的所述原始面部图像获取模型中的所述第二神经网络，对输入的所述第一预测面部图像进行归一化处理，获得所述第一预测面部图像对应的第二预测面部图像。
为了增强面部图像获取模型的表征能力，将输入的第一预测面部图像中的图像特征进行归一化处理，将图像特征映射为0～1之间的数据，并将输出值限定在-1～1之间，将通道数转换为三个通道，生成第二预测面部图像。第二预测面部图像的大小与第一预测面部图像的大小相同。
实际上，是根据第二预测面部图像的大小对第一预测面部图像的大小进行设定。
步骤S303-3，根据所述第二预测面部图像及所述面部骨骼绑定参数样本对应的真实面部图像计算所述训练过程中的所述原始面部图像获取模型的损失函数值。
所述真实面部图像，是将面部骨骼绑定参数样本输入面部表情渲染引擎中获得的面部图像。具体获取方法，包括：
第一，基于面部表情渲染引擎，根据所述面部骨骼绑定参数样本获取所述面部骨骼绑定参数样本对应的面部模型。
所述面部表情渲染引擎，是指现有技术中，用于根据面部骨骼绑定参数获取面部模型的软件。将通过面部表情渲染引擎获取的面部模型对应的面部图像作为真实面部图像，对训练过程中的原始面部图像获取模型达到的训练水平进行判断。
将面部骨骼绑定参数样本作为输入数据，输入面部表情渲染引擎中，即会获得面部骨骼绑定参数样本对应的面部模型，面部模型为三维模型。
第二，根据所述面部骨骼绑定参数样本对应的面部模型获取所述面部骨骼绑定参数样本对应的真实面部图像。
根据获得的三维面部模型获取二维面部图像，所述二维面部图像即为基于面部表情渲染引擎获得的真实面部图像。
根据训练过程中的原始面部图像获取模型输出的预测面部图像及面部表情渲染引擎输出的真实面部图像，基于均方差损失函数，可计算出训练过程中的原始面部图像获取模型的损失函数值。
损失函数值的计算公式为：
Figure BDA0003625561060000121
其中，LMSE表示模型的损失函数值，N表示训练时的批次大小，yi表示第i个样本的真实面部图像数值，
Figure BDA0003625561060000122
表示第i个样本的预测面部图像数值。
损失函数值越小，说明训练过程中的原始面部图像获取模型输出的预测面部图像与面部表情渲染引擎输出的真实面部图像越相似。
训练初期可以以较大的学习率对原始面部图像获取模型进行训练，随着网络的收敛(即，损失函数值减小)，可以将学习率逐渐降低。
步骤S304，根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型。
所述优化训练，是指根据训练过程中的原始面部图像获取模型的损失函数值对原始面部图像获取模型进行继续迭代训练的过程。
图6是本实施例提供的获取达到训练标准的面部图像获取模型的流程图。
如图6所示，本实施例提供的获取达到训练标准的面部图像获取模型的方法包括如下步骤：
步骤S304-1，根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值判断所述训练过程中的所述原始面部图像获取模型是否达到训练标准。
将计算得到的训练过程中的原始面部图像获取模型的损失函数值与预设损失阈值进行比较，判断训练过程中的原始面部图像获取模型是否达到了训练标准。
所述预设损失阈值，是指人为设定的需要模型达到的训练标准，模型的损失函数值越小，说明模型训练的效果越好。模型的损失函数值为零，是模型训练的理想化状态，但现实中，损失函数不可能为零，因此，需要设定一个接近零的损失阈值作为标准，模型的损失函数值只要小于这个损失阈值，就说明模型训练已经达标，可以结束训练。
具体判断方法包括：
第一，若所述训练过程中的所述原始面部图像获取模型的损失函数值小于预设损失阈值，则所述训练过程中的所述原始面部图像获取模型达到训练标准，结束对所述原始面部图像获取模型的训练。
第二，若所述训练过程中的所述原始面部图像获取模型的损失函数值大于或等于所述预设损失阈值，则所述训练过程中的所述原始面部图像获取模型没有达到训练标准，继续对所述原始面部图像获取模型进行训练，直至所述训练过程中的所述原始面部图像获取模型的损失函数值小于所述预设损失阈值。
步骤S304-2，将达到标准的所述训练过程中的所述原始面部图像获取模型作为最终选定的所述面部图像获取模型。
将损失函数值小于预设损失阈值，达到训练标准的训练过程中的原始面部图像获取模型作为最终选定的面部图像获取模型。
面部图像获取模型训练完成后，可以将其接入游戏或动画中，对游戏或动画中的虚拟角色进行面部表情渲染。面部图像获取模型代替了面部表情渲染引擎，可以通过虚拟角色的面部骨骼绑定参数，获取虚拟角色的面部表情图像。
上述本申请实施例提供了一种面部图像获取模型的训练方法，通过该方法，能够获得达到标准的面部图像获取模型，以代替现有技术中的面部表情渲染引擎。由于面部图像获取模型是可微的，因此，可以将面部图像获取模型应用到游戏及动画制作的深度学习方法中，提高了基于神经网络的游戏及动画制作方法的完整性。
本申请另一实施例提供了一种虚拟角色的面部表情渲染方法，主要是利用本申请实施例提供的面部图像获取模型对虚拟角色的面部表情进行渲染，获得虚拟角色的面部表情图像。
图7是本实施例提供的虚拟角色的面部表情渲染方法的流程图，图8是本实施例提供的虚拟角色的面部表情渲染方法的流程示意图。以下结合图7和图8对本实施例提供的虚拟角色的面部表情渲染方法进行详细描述。以下描述所涉及的实施例用于解释本申请的技术方案，并不作为实际使用的限定。
如图7和图8所示，本实施例提供的虚拟角色的面部表情渲染方法包括如下步骤：
步骤S701，获取目标虚拟角色的面部骨骼绑定参数801。
虚拟角色的面部骨骼绑定参数801是在游戏及动画制作过程中，对虚拟角色进行骨骼构建时输出的构建参数，即，虚拟角色的面部表情渲染步骤的先期步骤输出的数据。
不同的面部骨骼绑定参数对应不同的面部表情。不同生物体的面部对应的面部骨骼绑定参数的维度数量不同、取值范围也不同。比如：用155×2的数组代表人脸骨骼绑定参数，其中155表示人脸包括155个部位，2表示每一个维度控制部位的横向或纵向的形变。
步骤S702，将所述目标虚拟角色的面部骨骼绑定参数801输入面部图像获取模型802中，获得所述目标虚拟角色的面部骨骼绑定参数对应的面部表情图像803。
面部图像获取模型802可以根据目标虚拟角色的面部骨骼绑定参数801，输出该目标虚拟角色的目标骨骼绑定参数对应的面部表情图像803。
面部图像获取模型802是根据本申请第一实施例所述的面部图像获取模型的训练方法获取的。具体步骤包括：
第一，获取面部骨骼绑定参数样本。
第二，以所述面部骨骼绑定参数样本作为原始面部图像获取模型的训练数据，对所述原始面部图像获取模型进行迭代训练。
第三，根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像计算训练过程中的所述原始面部图像获取模型的损失函数值。
第四，根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型。
面部图像获取模型802包括第一神经网络8021和第二神经网络8022。目标虚拟角色的面部骨骼绑定参数801输入面部图像获取模型802后，第一神经网络8021会将输入的目标虚拟角色的面部骨骼绑定参数801映射为包含图像特征的特征图，第二神经网络8022会将第一神经网络8021输出的特征图转化为面部表情图像803。
上述本申请实施例提供了一种虚拟角色的面部表情渲染方法，通过该方法，能够根据目标虚拟角色的面部骨骼绑定参数获得目标虚拟角色的面部表情图像，代替了现有技术中的面部表情渲染引擎。由于面部图像获取模型是可微的，因此，基于该面部图像获取模型的虚拟角色的面部表情渲染方法即可被应用到游戏及动画制作的深度学习方法中。
本申请另一实施例提供了一种面部图像获取模型的训练装置。图9是本实施例提供的面部图像获取模型的训练装置的结构示意图。
如图9所示，本实施例提供的面部图像获取模型的训练装置，包括：样本获取单元901、模型训练单元902、模型损失函数值计算单元903、模型优化单元904。
所述样本获取单元901，用于获取面部骨骼绑定参数样本。
可选的，所述获取面部骨骼绑定参数样本，包括：
获取初始面部骨骼绑定参数数据集；
以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理；
将预处理后的所述初始面部骨骼绑定参数作为所述面部骨骼绑定参数样本。
可选的，所述以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理，包括：去除所述初始面部骨骼绑定参数中无用的维度数据。
可选的，所述以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理，还包括：修改所述初始面部骨骼绑定参数中不合理的维度数据。
可选的，所述以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理，还包括：将所述初始面部骨骼绑定参数数据集中，相同维度上的各初始面部骨骼绑定参数处理为正态分布的维度数据。
所述模型训练单元902，用于以所述面部骨骼绑定参数样本作为原始面部图像获取模型的训练数据，对所述原始面部图像获取模型进行迭代训练。
可选的，所述原始面部图像获取模型，包括：第一神经网络和第二神经网络；所述第一神经网络用于根据所述面部骨骼绑定参数样本输出第一预测面部图像；所述第二神经网络用于根据所述第一预测面部图像输出第二预测面部图像。
所述模型损失函数值计算单元903，用于根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像，计算训练过程中的所述原始面部图像获取模型的损失函数值。
可选的，所述根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像计算训练过程中的所述原始面部图像获取模型的损失函数值，包括：
基于训练过程中的所述原始面部图像获取模型中的所述第一神经网络，对输入的所述面部骨骼绑定参数样本进行映射处理，获得所述面部骨骼绑定参数样本对应的第一预测面部图像；
基于训练过程中的所述原始面部图像获取模型中的所述第二神经网络，对输入的所述第一预测面部图像进行归一化处理，获得所述第一预测面部图像对应的第二预测面部图像；
根据所述第二预测面部图像及所述面部骨骼绑定参数样本对应的真实面部图像计算所述训练过程中的所述原始面部图像获取模型的损失函数值。
可选的，所述面部骨骼绑定参数样本对应的真实面部图像的获取方法，包括：
基于面部表情渲染引擎，根据所述面部骨骼绑定参数样本获取所述面部骨骼绑定参数样本对应的面部模型；
根据所述面部骨骼绑定参数样本对应的面部模型获取所述面部骨骼绑定参数样本对应的真实面部图像。
可选的，所述根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像计算训练过程中的所述原始面部图像获取模型的损失函数值，包括：基于均方差损失函数，根据所述预测面部图像及所述真实面部图像计算所述训练过程中的所述原始面部图像获取模型的损失函数值。
所述模型优化单元904，用于根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型。
可选的，所述根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型，包括：
根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值判断所述训练过程中的所述原始面部图像获取模型是否达到训练标准，具体包括：
若所述训练过程中的所述原始面部图像获取模型的损失函数值小于预设损失阈值，则所述训练过程中的所述原始面部图像获取模型达到训练标准，结束对所述原始面部图像获取模型的训练；
若所述训练过程中的所述原始面部图像获取模型的损失函数值大于或等于所述预设损失阈值，则所述训练过程中的所述原始面部图像获取模型没有达到训练标准，继续对所述原始面部图像获取模型进行训练，直至所述训练过程中的所述原始面部图像获取模型的损失函数值小于所述预设损失阈值；
将达到标准的所述训练过程中的所述原始面部图像获取模型作为最终选定的所述面部图像获取模型。
可选的，所述方法还包括：
将所述面部图像获取模型接入到游戏或动画中，对所述游戏或动画中的虚拟角色进行面部表情渲染。
本申请另一实施例提供了一种虚拟角色的面部表情渲染装置。图10是本实施例提供的虚拟角色的面部表情渲染装置的结构示意图。
如图10所示，本实施例提供的虚拟角色的面部表情渲染装置，包括：面部骨骼绑定参数获取单元1001、面部表情图像获取单元1002。
所述面部骨骼绑定参数获取单元1001，用于获取目标虚拟角色的面部骨骼绑定参数。
所述面部表情图像获取单元1002，用于将所述目标虚拟角色的面部骨骼绑定参数输入面部图像获取模型中，获得所述目标虚拟角色的面部骨骼绑定参数对应的面部表情图像。
可选的，所述面部图像获取模型的获取方法，包括：
获取面部骨骼绑定参数样本；
以所述面部骨骼绑定参数样本作为原始面部图像获取模型的训练数据，对所述原始面部图像获取模型进行迭代训练；
根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像计算训练过程中的所述原始面部图像获取模型的损失函数值；
根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型。
本申请一实施例提供了一种电子设备。图11是本实施例提供的电子设备的结构示意图。
如图11所示，本实施例提供的电子设备，包括：存储器1101和处理器1102。
所述存储器1101，用于存储执行面部图像获取模型的训练方法的计算机指令，或存储执行虚拟角色的面部表情渲染方法的计算机指令。
所述处理器1102，用于执行存储于存储器1101中的计算机指令，执行如下操作：
获取面部骨骼绑定参数样本；
以所述面部骨骼绑定参数样本作为原始面部图像获取模型的训练数据，对所述原始面部图像获取模型进行迭代训练；
根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像，计算训练过程中的所述原始面部图像获取模型的损失函数值；
根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型。
可选的，所述获取面部骨骼绑定参数样本，包括：
获取初始面部骨骼绑定参数数据集；
以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理；
将预处理后的所述初始面部骨骼绑定参数作为所述面部骨骼绑定参数样本。
可选的，所述以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理，包括：去除所述初始面部骨骼绑定参数中无用的维度数据。
可选的，所述以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理，还包括：修改所述初始面部骨骼绑定参数中不合理的维度数据。
可选的，所述以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理，还包括：将所述初始面部骨骼绑定参数数据集中，相同维度上的各初始面部骨骼绑定参数处理为正态分布的维度数据。
可选的，所述原始面部图像获取模型，包括：第一神经网络和第二神经网络；所述第一神经网络用于根据所述面部骨骼绑定参数样本输出第一预测面部图像；所述第二神经网络用于根据所述第一预测面部图像输出第二预测面部图像。
可选的，所述根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像计算训练过程中的所述原始面部图像获取模型的损失函数值，包括：
基于训练过程中的所述原始面部图像获取模型中的所述第一神经网络，对输入的所述面部骨骼绑定参数样本进行映射处理，获得所述面部骨骼绑定参数样本对应的第一预测面部图像；
基于训练过程中的所述原始面部图像获取模型中的所述第二神经网络，对输入的所述第一预测面部图像进行归一化处理，获得所述第一预测面部图像对应的第二预测面部图像；
根据所述第二预测面部图像及所述面部骨骼绑定参数样本对应的真实面部图像计算所述训练过程中的所述原始面部图像获取模型的损失函数值。
可选的，所述面部骨骼绑定参数样本对应的真实面部图像的获取方法，包括：
基于面部表情渲染引擎，根据所述面部骨骼绑定参数样本获取所述面部骨骼绑定参数样本对应的面部模型；
根据所述面部骨骼绑定参数样本对应的面部模型获取所述面部骨骼绑定参数样本对应的真实面部图像。
可选的，所述根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像计算训练过程中的所述原始面部图像获取模型的损失函数值，包括：基于均方差损失函数，根据所述预测面部图像及所述真实面部图像计算所述训练过程中的所述原始面部图像获取模型的损失函数值。
可选的，所述根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型，包括：
根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值判断所述训练过程中的所述原始面部图像获取模型是否达到训练标准，具体包括：
若所述训练过程中的所述原始面部图像获取模型的损失函数值小于预设损失阈值，则所述训练过程中的所述原始面部图像获取模型达到训练标准，结束对所述原始面部图像获取模型的训练；
若所述训练过程中的所述原始面部图像获取模型的损失函数值大于或等于所述预设损失阈值，则所述训练过程中的所述原始面部图像获取模型没有达到训练标准，继续对所述原始面部图像获取模型进行训练，直至所述训练过程中的所述原始面部图像获取模型的损失函数值小于所述预设损失阈值；
将达到标准的所述训练过程中的所述原始面部图像获取模型作为最终选定的所述面部图像获取模型。
可选的，所述方法还包括：
将所述面部图像获取模型接入到游戏或动画中，对所述游戏或动画中的虚拟角色进行面部表情渲染。
或，执行如下操作：
获取目标虚拟角色的面部骨骼绑定参数；
将所述目标虚拟角色的面部骨骼绑定参数输入面部图像获取模型中，获得所述目标虚拟角色的面部骨骼绑定参数对应的面部表情图像。
可选的，所述面部图像获取模型的获取方法，包括：
获取面部骨骼绑定参数样本；
以所述面部骨骼绑定参数样本作为原始面部图像获取模型的训练数据，对所述原始面部图像获取模型进行迭代训练；
根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像计算训练过程中的所述原始面部图像获取模型的损失函数值；
根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型。
本申请另一实施例提供了一种计算机可读存储介质，计算机可读存储介质包括计算机指令，计算机指令在被处理器执行时用于实现本申请实施例所述的方法。
需要注意的是，本文中的“第一”、“第二”等关系术语仅用于区分一个实体或操作与另一个实体或操作，并不要求或暗示这些实体或操作之间存在任何实际的关系或顺序。此外,“包括”、“有”,“包含”和“包括”和其他类似形式的词语在含义上是相同的，并且，在上述任何一个词语之后的任何一个或者多个项目的结尾是开放式的，上述任何一个名词均不表示所述一个或多个项目已经列举穷尽，或者仅限于这些已列举的一个或者多个项目。
在本文中使用时，除非另有明确说明，术语“或”包括所有可能的组合，但不可行的除外。例如，如果表达为一个数据库可能包括A或B，则除非另有特别规定或不可行，可能包括数据库A，或B，或者A和B。第二个例子，如果表达为某个数据库可能包括A、B或C，则除非另有特别规定或不可行，所述数据库可以包括数据库A、或B、或C、或者A和B、或者A和C、或者B和C、或者A和B和C。
值得注意的是，上述实施例可以通过硬件或软件(程序代码)，或硬件和软件的组合来实现。如果由软件实现，则可将其存储在上述计算机可读介质中。该软件在由处理器执行时，可以执行上述已披露的方法。本公开中描述的计算单元和其他功能单元可以由硬件或软件，或硬件和软件的组合来实现。本领域普通技术人员，也会理解上述多个模块/单元可以组合成一个模块/单元，而上述每个模块/单元可以进一步划分为多个子模块/子单位。
在上述详细说明中，实施例已参照许多具体细节进行了描述，这些细节可能因实施而异。可以对所述实施例进行某些适配和修改。对于本领域的技术人员，可以从本申请公开的具体实施方式中，显而易见的获得其它一些实施方式。本说明书和示例仅出于示例性的目的，本申请的真实范围和本质由权利要求说明。示图所示的步骤顺序也仅出于解释说明的目的，并不意味着限定于任何特定的步骤、顺序。因此，那些精通本领域的技术人员会意识到，在实施相同的方法时，这些步骤可以以不同的顺序执行。
在本申请的示图和详细说明中，公开了示例性的实施例。但是，可以对这些实施例进行许多变化和修改。相应的，尽管使用了具体的术语，但这些术语只是一般和描述性的，而不是出于限定的目的。

Claims (17)

1.一种面部图像获取模型的训练方法，其特征在于，包括：
获取面部骨骼绑定参数样本；
以所述面部骨骼绑定参数样本作为原始面部图像获取模型的训练数据，对所述原始面部图像获取模型进行迭代训练；
根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像，计算训练过程中的所述原始面部图像获取模型的损失函数值；
根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型。
2.根据权利要求1所述的方法，其特征在于，所述获取面部骨骼绑定参数样本，包括：
获取初始面部骨骼绑定参数数据集；
以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理；
将预处理后的所述初始面部骨骼绑定参数作为所述面部骨骼绑定参数样本。
3.根据权利要求2所述的方法，其特征在于，所述以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理，包括：去除所述初始面部骨骼绑定参数中无用的维度数据。
4.根据权利要求2所述的方法，其特征在于，所述以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理，还包括：修改所述初始面部骨骼绑定参数中不合理的维度数据。
5.根据权利要求2所述的方法，其特征在于，所述以预定的方式对所述初始面部骨骼绑定参数数据集中的各初始面部骨骼绑定参数进行预处理，还包括：将所述初始面部骨骼绑定参数数据集中，相同维度上的各初始面部骨骼绑定参数处理为正态分布的维度数据。
6.根据权利要求1所述的方法，其特征在于，所述原始面部图像获取模型，包括：第一神经网络和第二神经网络；所述第一神经网络用于根据所述面部骨骼绑定参数样本输出第一预测面部图像；所述第二神经网络用于根据所述第一预测面部图像输出第二预测面部图像。
7.根据权利要求6所述的方法，其特征在于，所述根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像计算训练过程中的所述原始面部图像获取模型的损失函数值，包括：
基于训练过程中的所述原始面部图像获取模型中的所述第一神经网络，对输入的所述面部骨骼绑定参数样本进行映射处理，获得所述面部骨骼绑定参数样本对应的第一预测面部图像；
基于训练过程中的所述原始面部图像获取模型中的所述第二神经网络，对输入的所述第一预测面部图像进行归一化处理，获得所述第一预测面部图像对应的第二预测面部图像；
根据所述第二预测面部图像及所述面部骨骼绑定参数样本对应的真实面部图像计算所述训练过程中的所述原始面部图像获取模型的损失函数值。
8.根据权利要求1所述的方法，其特征在于，所述面部骨骼绑定参数样本对应的真实面部图像的获取方法，包括：
基于面部表情渲染引擎，根据所述面部骨骼绑定参数样本获取所述面部骨骼绑定参数样本对应的面部模型；
根据所述面部骨骼绑定参数样本对应的面部模型获取所述面部骨骼绑定参数样本对应的真实面部图像。
9.根据权利要求1所述的方法，其特征在于，所述根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像计算训练过程中的所述原始面部图像获取模型的损失函数值，包括：基于均方差损失函数，根据所述预测面部图像及所述真实面部图像计算所述训练过程中的所述原始面部图像获取模型的损失函数值。
10.根据权利要求1所述的方法，其特征在于，所述根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型，包括：
根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值判断所述训练过程中的所述原始面部图像获取模型是否达到训练标准，具体包括：
若所述训练过程中的所述原始面部图像获取模型的损失函数值小于预设损失阈值，则所述训练过程中的所述原始面部图像获取模型达到训练标准，结束对所述原始面部图像获取模型的训练；
若所述训练过程中的所述原始面部图像获取模型的损失函数值大于或等于所述预设损失阈值，则所述训练过程中的所述原始面部图像获取模型没有达到训练标准，继续对所述原始面部图像获取模型进行训练，直至所述训练过程中的所述原始面部图像获取模型的损失函数值小于所述预设损失阈值；
将达到标准的所述训练过程中的所述原始面部图像获取模型作为最终选定的所述面部图像获取模型。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述面部图像获取模型接入到游戏或动画中，对所述游戏或动画中的虚拟角色进行面部表情渲染。
12.一种虚拟角色的面部表情渲染方法，其特征在于，包括：
获取目标虚拟角色的面部骨骼绑定参数；
将所述目标虚拟角色的面部骨骼绑定参数输入面部图像获取模型中，获得所述目标虚拟角色的面部骨骼绑定参数对应的面部表情图像。
13.根据权利要求12所述的方法，其特征在于，所述面部图像获取模型的获取方法，包括：
获取面部骨骼绑定参数样本；
以所述面部骨骼绑定参数样本作为原始面部图像获取模型的训练数据，对所述原始面部图像获取模型进行迭代训练；
根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像计算训练过程中的所述原始面部图像获取模型的损失函数值；
根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型。
14.一种面部图像获取模型的训练装置，其特征在于，包括：样本获取单元、模型训练单元、模型损失函数值计算单元、模型优化单元；
所述样本获取单元，用于获取面部骨骼绑定参数样本；
所述模型训练单元，用于以所述面部骨骼绑定参数样本作为原始面部图像获取模型的训练数据，对所述原始面部图像获取模型进行迭代训练；
所述模型损失函数值计算单元，用于根据训练过程中，所述原始面部图像获取模型针对所述面部骨骼绑定参数样本输出的预测面部图像、及所述面部骨骼绑定参数样本对应的真实面部图像，计算训练过程中的所述原始面部图像获取模型的损失函数值；
所述模型优化单元，用于根据计算得到的所述训练过程中的所述原始面部图像获取模型的损失函数值，对所述训练过程中的所述原始面部图像获取模型进行优化训练，获得达到训练标准的所述面部图像获取模型。
15.一种虚拟角色的面部表情渲染装置，其特征在于，包括：面部骨骼绑定参数获取单元、面部表情图像获取单元；
所述面部骨骼绑定参数获取单元，用于获取目标虚拟角色的面部骨骼绑定参数；
所述面部表情图像获取单元，用于将所述目标虚拟角色的面部骨骼绑定参数输入面部图像获取模型中，获得所述目标虚拟角色的面部骨骼绑定参数对应的面部表情图像。
16.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储一条或多条计算机指令；
所述处理器，用于执行所述一条或多条计算机指令，以实现如权利要求1-11任意一项所述的方法；或者，以实现如权利要求12-13任意一项所述的方法。
17.一种计算机可读存储介质，其上存储有一条或多条计算机指令，其特征在于，该指令被处理器执行时，执行如权利要求1-11任意一项所述的方法；或者，执行如权利要求12-13任意一项所述的方法。
CN202210468493.6A 2022-04-29 2022-04-29 一种面部图像获取模型的训练方法及装置 Pending CN115063847A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210468493.6A CN115063847A (zh) 2022-04-29 2022-04-29 一种面部图像获取模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210468493.6A CN115063847A (zh) 2022-04-29 2022-04-29 一种面部图像获取模型的训练方法及装置

Publications (1)

Publication Number Publication Date
CN115063847A true CN115063847A (zh) 2022-09-16

Family

ID=83196459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210468493.6A Pending CN115063847A (zh) 2022-04-29 2022-04-29 一种面部图像获取模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN115063847A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311478A (zh) * 2023-05-16 2023-06-23 北京百度网讯科技有限公司 面部绑定模型的训练方法、面部绑定方法、装置及设备
CN117974852A (zh) * 2023-11-17 2024-05-03 北京汇畅数宇科技发展有限公司 一种面部图像智能绑定方法、装置及计算机设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116311478A (zh) * 2023-05-16 2023-06-23 北京百度网讯科技有限公司 面部绑定模型的训练方法、面部绑定方法、装置及设备
CN116311478B (zh) * 2023-05-16 2023-08-29 北京百度网讯科技有限公司 面部绑定模型的训练方法、面部绑定方法、装置及设备
CN117974852A (zh) * 2023-11-17 2024-05-03 北京汇畅数宇科技发展有限公司 一种面部图像智能绑定方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
US11908244B2 (en) Human posture detection utilizing posture reference maps
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN112288011A (zh) 一种基于自注意力深度神经网络的图像匹配方法
CN108596833A (zh) 超分辨率图像重构方法、装置、设备及可读存储介质
WO2020098257A1 (zh) 一种图像分类方法、装置及计算机可读存储介质
CN115063847A (zh) 一种面部图像获取模型的训练方法及装置
CN113989890A (zh) 基于多通道融合和轻量级神经网络的人脸表情识别方法
EP4322056A1 (en) Model training method and apparatus
CN111832437A (zh) 建筑图纸识别方法、电子设备及相关产品
WO2021169160A1 (zh) 图像归一化处理方法及装置、存储介质
CN111325190A (zh) 一种表情识别方法、装置、计算机设备及可读存储介质
CN117218300B (zh) 三维模型的构建方法、三维构建模型的训练方法及装置
CN112966685A (zh) 用于场景文本识别的攻击网络训练方法、装置及相关设备
CN114897136A (zh) 多尺度注意力机制方法及模块和图像处理方法及装置
CN109948662B (zh) 一种基于K-means和MMD的人脸图像深度聚类方法
CN114897884A (zh) 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法
CN118196231A (zh) 一种基于概念分割的终身学习文生图方法
WO2024060839A1 (zh) 对象操作方法、装置、计算机设备以及计算机存储介质
CN114565964B (zh) 情绪识别模型的生成方法、识别方法、装置、介质和设备
CN116386105A (zh) 人脸表情识别方法、电子设备及存储介质
CN115795355A (zh) 一种分类模型训练方法、装置及设备
CN116109868A (zh) 基于轻量化神经网络的图像分类模型构建和小样本图像分类方法
CN108416389A (zh) 基于降噪稀疏自动编码器和密度空间采样的图像分类方法
CN111783711B (zh) 基于身体部件层面的骨架行为识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination