CN113838176A - 模型的训练方法、三维人脸图像生成方法及设备 - Google Patents

模型的训练方法、三维人脸图像生成方法及设备 Download PDF

Info

Publication number
CN113838176A
CN113838176A CN202111088851.2A CN202111088851A CN113838176A CN 113838176 A CN113838176 A CN 113838176A CN 202111088851 A CN202111088851 A CN 202111088851A CN 113838176 A CN113838176 A CN 113838176A
Authority
CN
China
Prior art keywords
image
model
trained
sample
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111088851.2A
Other languages
English (en)
Other versions
CN113838176B (zh
Inventor
林江科
袁燚
胡志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202111088851.2A priority Critical patent/CN113838176B/zh
Publication of CN113838176A publication Critical patent/CN113838176A/zh
Application granted granted Critical
Publication of CN113838176B publication Critical patent/CN113838176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping

Abstract

本申请提供一种模型的训练方法、三维人脸图像生成方法及设备，属于三维建模技术领域。该方法包括：输入待训练样本，待训练样本包括二维人脸图像；基于初始模型对待训练样本进行预处理操作，初始模型用于根据待训练样本生成图像信息以及参数信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；参数信息包括：人脸姿态系数以及图像光照系数；基于图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像；根据待训练样本、渲染后的三维图像对初始模型进行修正，得到修正后的初始模型；根据修正后的初始模型，得到三维人脸图像生成模型。本申请可以实现对算力资源的节约以及提高生成的三维人脸图像的细节特征。

Description

模型的训练方法、三维人脸图像生成方法及设备
技术领域
本申请涉及三维建模技术领域，具体而言，涉及一种模型的训练方法、三维人脸图像生成方法及设备。
背景技术
在游戏领域中，通常会涉及三维角色的创建，其中，三维角色的头部特征可以根据玩家的实际需求进行创建。例如：通过输入二维人脸图像，基于该二维人脸图像生成三维角色的头部特征。
现有技术中，若想生成三维头部特征，通常需要采集大量的面部纹理信息数据，也即是需要提供不同角度、不同姿态的二维人脸图像才能生成对应的头部特征。
这就导致了在生成头部特征的过程中需要大量原始数据，相应地，也需要进行大量的计算，导致占用较多的计算资源。
发明内容
本申请的目的在于提供一种模型的训练方法、三维人脸图像生成方法及设备，可以实现对算力资源的节约，以及提高生成的三维人脸图像的逼真度。
本申请的实施例是这样实现的：
本申请实施例的一方面，提供一种模型的训练方法，包括：
输入待训练样本，待训练样本包括二维人脸图像；
基于初始模型对待训练样本进行预处理操作，初始模型用于根据待训练样本生成图像信息以及参数信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；参数信息包括：人脸姿态系数以及图像光照系数；
基于图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像；
根据待训练样本、渲染后的三维图像对初始模型进行修正，得到修正后的初始模型；
根据修正后的初始模型，得到三维人脸图像生成模型。
可选地，初始模型包括：纹理预测模型，基于初始模型对待训练样本进行预处理操作，包括：
将待训练样本对应的UV贴图和待训练样本输入纹理预测模型，得到纹理贴图图像、法线贴图图像以及图像光照系数，其中，UV贴图通过对待训练样本进行UV展开处理得到。
可选地，将待训练样本对应的UV贴图和待训练样本输入纹理预测模型，得到纹理贴图图像、法线贴图图像，包括：
对UV贴图以及待训练样本分别进行编码得到隐藏特征；
对隐藏特征进行反卷积处理，解码得到纹理贴图图像、法线贴图图像。
可选地，根据待训练样本、渲染后的三维图像对初始模型进行修正，得到修正后的初始模型，包括：
根据待训练样本、渲染后的三维图像计算纹理预测模型的损失函数的值；
若损失函数的值不满足预设的收敛阈值，则根据损失函数的值对纹理预测模型进行修正，得到修正后的纹理预测模型。
可选地，二维人脸图像包括以下至少一种类型：具有对应纹理贴图真值的第一人脸图像、不具有纹理贴图真值的第二人脸图像以及预训练神经网络合成的第三人脸图像；根据待训练样本、渲染后的三维图像计算纹理预测模型的损失函数的值，包括：
根据待训练样本中的二维人脸图像、二维人脸图像的类型、预设的纹理贴图真值、渲染后的三维图像以及纹理贴图图像计算纹理预测模型的损失函数的值。
可选地，初始模型还包括：形状重建模型，基于初始模型对待训练样本进行预处理操作，包括：
将待训练样本对应的UV贴图以及待训练样本输入形状重建模型中进行三维重建处理，得到三维人脸模型信息以及人脸姿态系数。
可选地，基于图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像，包括：
由可微渲染器根据三维人脸模型信息、纹理贴图图像、法线贴图图像、人脸姿态系数以及图像光照系数，生成三维人脸模型信息在二维空间上的投影图像，并将投影图像作为渲染后的三维图像。
本申请实施例的另一方面，提供一种三维人脸图像生成方法，包括：
输入参考图像，参考图像为二维人脸图像；
基于预先训练得到的三维人脸图像生成模型对参考图像进行预处理操作，三维人脸图像生成模型用于根据参考图像生成图像信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；
基于图像信息进行图像渲染处理，得到渲染后的三维人脸图像。
可选地，三维人脸图像生成模型包括：纹理预测模型，基于预先训练得到的三维人脸图像生成模型对参考图像进行预处理操作，包括：
将参考图像对应的UV贴图和参考图像输入纹理预测模型，得到纹理贴图图像和法线贴图图像，其中，UV贴图通过对参考图像进行UV展开处理得到。
可选地，三维人脸图像生成模型包括：形状重建模型，基于预先训练得到的三维人脸图像生成模型对参考图像进行预处理操作，包括：
将参考图像对应的UV贴图以及参考图像输入形状重建模型中进行三维重建处理，得到三维人脸模型信息。
可选地，基于预先训练得到的三维人脸图像生成模型对参考图像进行预处理操作之前，该方法还包括：
对参考图像进行UV展开处理，得到参考图像对应的UV贴图。
本申请实施例的另一方面，提供一种模型的训练装置，包括：输入模块、预处理模块、渲染模块、修正模块以及生成模块；
输入模块，用于输入待训练样本，待训练样本包括二维人脸图像；
预处理模块，用于基于初始模型对待训练样本进行预处理操作，初始模型用于根据待训练样本生成图像信息以及参数信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；参数信息包括：人脸姿态系数以及图像光照系数；
渲染模块，用于基于图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像；
修正模块，用于根据待训练样本、渲染后的三维图像对初始模型进行修正，得到修正后的初始模型；
生成模块，用于根据修正后的初始模型，得到三维人脸图像生成模型。
可选地，预处理模块，具体用于将待训练样本对应的UV贴图和待训练样本输入纹理预测模型，得到纹理贴图图像、法线贴图图像以及图像光照系数，其中，UV贴图通过对待训练样本进行UV展开处理得到。
可选地，预处理模块，具体用于对UV贴图以及待训练样本分别进行编码得到隐藏特征；对隐藏特征进行反卷积处理，解码得到纹理贴图图像、法线贴图图像。
可选地，修正模块，具体用于根据待训练样本、渲染后的三维图像计算纹理预测模型的损失函数的值；若损失函数的值不满足预设的收敛阈值，则根据损失函数的值对纹理预测模型进行修正，得到修正后的纹理预测模型。
可选地，二维人脸图像包括以下至少一种类型：具有对应纹理贴图真值的第一人脸图像、不具有纹理贴图真值的第二人脸图像以及预训练神经网络合成的第三人脸图像；修正模块，具体用于根据待训练样本中的二维人脸图像、二维人脸图像的类型、预设的纹理贴图真值、渲染后的三维图像以及纹理贴图图像计算纹理预测模型的损失函数的值。
可选地，预处理模块，具体还用于将待训练样本对应的UV贴图以及待训练样本输入形状重建模型中进行三维重建处理，得到三维人脸模型信息以及人脸姿态系数。
可选地，渲染模块，具体用于由可微渲染器根据三维人脸模型信息、纹理贴图图像、法线贴图图像、人脸姿态系数以及图像光照系数，生成三维人脸模型信息在二维空间上的投影图像，并将投影图像作为渲染后的三维图像。
本申请实施例的另一方面，提供一种三维人脸图像生成方法，包括：图像输入模块、图像预处理模块以及结果获取模块；
图像输入模块，用于输入参考图像，参考图像为二维人脸图像；
图像预处理模块，用于基于预先训练得到的三维人脸图像生成模型对参考图像进行预处理操作，三维人脸图像生成模型用于根据参考图像生成图像信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；
结果获取模块，用于基于图像信息进行图像渲染处理，得到渲染后的三维人脸图像。
可选地，图像预处理模块具体用于将参考图像对应的UV贴图和参考图像输入纹理预测模型，得到纹理贴图图像和法线贴图图像，其中，UV贴图通过对参考图像进行UV展开处理得到。
可选地，图像预处理模块，具体用于将参考图像对应的UV贴图以及参考图像输入形状重建模型中进行三维重建处理，得到三维人脸模型信息。
可选地，图像预处理模块，还用于对参考图像进行UV展开处理，得到参考图像对应的UV贴图。
本申请实施例的另一方面，提供一种计算机设备，包括：第一存储器、第一处理器，第一存储器中存储有可在第一处理器上运行的计算机程序，第一处理器执行计算机程序时，实现上述三维人脸图像生成模型的训练方法的步骤。
本申请实施例的另一方面，提供一种计算机设备，包括：第二存储器、第二处理器，第二存储器中存储有可在第二处理器上运行的计算机程序，第二处理器执行计算机程序时，实现上述三维人脸图像生成方法的步骤。
本申请实施例的另一方面，提供一种计算机可读存储介质，存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现三维人脸图像生成模型的训练方法或者三维人脸图像生成方法的步骤。
本申请实施例的有益效果包括：
本申请实施例提供的一种模型的训练方法、三维人脸图像生成方法及设备中，可以输入待训练样本，待训练样本包括二维人脸图像；基于初始模型对待训练样本进行预处理操作，初始模型用于根据待训练样本生成图像信息以及参数信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；参数信息包括：人脸姿态系数以及图像光照系数；基于图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像；根据待训练样本、渲染后的三维图像对初始模型进行修正，得到修正后的初始模型；根据修正后的初始模型，得到三维人脸图像生成模型。其中，通过上述多种图像信息以及参数信息的计算可以对初始模型进行修正，从而得到更加满足需求的初始模型，当修正后的初始模型满足预设条件后，可以确定三维人脸图像生成模型，通过该三维人脸图像生成模型可以实现将二维人脸图像转换为三维人脸图像的过程，可以节约算力资源，并且，通过增加了纹理贴图图像和法线贴图图像也可以提高生成的三维人脸图像的细节特征数，使得生成的三维游戏人脸的逼真度和还原度更高。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种三维人脸图像生成模型的训练方法的流程示意图；
图2为本申请实施例提供的另一三维人脸图像生成模型的训练方法的流程示意图；
图3为本申请实施例提供的另一三维人脸图像生成模型的训练方法的流程示意图；
图4为本申请实施例提供的一种三维人脸图像生成方法的流程示意图；
图5为本申请实施例提供的另一三维人脸图像生成方法的流程示意图；
图6为本申请实施例提供的三维人脸图像生成模型的训练装置的结构示意图；
图7为本申请实施例提供的三维人脸图像生成装置的结构示意图；
图8为本申请实施例提供的计算机设备的一结构示意图；
图9为本申请实施例提供的计算机设备的另一结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请其中一种实施例中的涉及的游戏应用可以运行于终端设备或者是服务器。其中，终端设备可以为本地终端设备。当游戏显示方法运行于服务器时，该方法则可以基于云交互系统来实现与执行，其中，云交互系统包括服务器和客户端设备。
在一可选的实施方式中，云交互系统下可以运行各种云应用，例如：云游戏。以云游戏为例，云游戏是指以云计算为基础的游戏方式。在云游戏的运行模式下，游戏程序的运行主体和游戏画面呈现主体是分离的，游戏显示方法的储存与运行是在云游戏服务器上完成的，客户端设备的作用用于数据的接收、发送以及游戏画面的呈现，举例而言，客户端设备可以是靠近用户侧的具有数据传输功能的显示设备，如，移动终端、电视机、计算机、掌上电脑等；但是进行信息处理的终端设备为云端的云游戏服务器。在进行游戏时，玩家操作客户端设备向云游戏服务器发送操作指令，云游戏服务器根据操作指令运行游戏，将游戏画面等数据进行编码压缩，通过网络返回客户端设备，最后，通过客户端设备进行解码并输出游戏画面。
在一可选的实施方式中，终端设备可以为本地终端设备。以游戏为例，本地终端设备存储有游戏程序并用于呈现游戏画面。本地终端设备用于通过图形用户界面与玩家进行交互，即，常规的通过电子设备下载安装游戏程序并运行。该本地终端设备将图形用户界面提供给玩家的方式可以包括多种，例如，可以渲染显示在终端的显示屏上，或者，通过全息投影提供给玩家。举例而言，本地终端设备可以包括显示屏和处理器，该显示屏用于呈现图形用户界面，该图形用户界面包括游戏画面，该处理器用于运行该游戏、生成图形用户界面以及控制图形用户界面在显示屏上的显示。
在一种可能的实施方式中，本发明实施例提供了一种游戏显示方法，通过第一终端设备提供图形用户界面，其中，第一终端设备可以是前述提到的本地终端设备，也可以是前述提到的云交互系统中的客户端设备。
可选地，本申请实施例中提供的三维人脸图像生成方法可以应用于游戏应用中，例如：对于需要建立三维人物模型的游戏，用户可以通过输入照片、表情图片等方式，生成与该照片或者表情图片上对应的人物人脸的三维人脸。
下面来具体解释本申请实施例中提供的三维人脸图像生成模型的训练方法的具体实施过程。
图1为本申请实施例提供的一种三维人脸图像生成模型的训练方法的流程示意图，请参照图1，该方法包括：
S110：输入待训练样本。
其中，待训练样本包括二维人脸图像。
可选地，本方法的执行主体可以是计算机设备，例如具体可以是手机、电脑、平板电脑、游戏机等设备，具体可以是其中的应用软件执行的。
可选地，二维人脸图像可以照片、表情图片等上面具有二维人脸的图像，在此不作具体限制。待训练样本可以是预设好的多张二维人脸图像，待训练样本可以是基于拍照等方式获取到的，也可以是从网上下载得到的，在此不作具体限制。
S120：基于初始模型对待训练样本进行预处理操作。
其中，初始模型用于根据待训练样本生成图像信息以及参数信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；参数信息包括：人脸姿态系数以及图像光照系数。
可选地，初始模型可以是包括多个子模型，这些子模型中可以包括卷积神经网络、自动编码的神经网络等，可以对待训练样本进行得到上述图像信息以及参数信息。
其中，三维人脸模型信息可以是初始的三维人脸图像，可以是网格模型，具体可以是三角网格模型，用于表示三维模型的一种数据结构。是由在三维空间中的顶点及三个顶点间的三角面片组成。每个顶点除了位置坐标以外，还可以包含颜色、法线等信息。
其中，纹理贴图图像可以是材质贴图，在计算机图形学中把存储在内存里的位图包裹到三维渲染物体的表面。纹理贴图图像给物体提供了丰富的细节，用简单的方式模拟出了复杂的外观。一个图像的纹理被映射到场景中的一个简单形体上，可以减少在场景中制作形体和纹理的计算量。
其中，法线贴图图像可以是通过模拟凹凸处光照效果的技术得到的图像，是凸凹贴图的一种实现。法线贴图图像可以在不添加多边形的前提下，为模型添加细节。常见的使用场景是为低多边形模型改善外观、添加细节，此时的法线贴图一般根据高多边形模型或高度贴图生成。
其中，人脸姿态系数可以用于表示人脸在三维空间中的姿态位置，例如具体面部朝向、位置等具体的姿态信息。
其中，图像光照系数可以用于表示图像中的光照程度，也即是图像的明亮程度、光线分布等信息。
可选地，将待训练样本输入至上述初始模型之后，可以通过初始模型进行预先计算，得到上述多个图像信息以及参数信息。
S130：基于图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像。
可选地，可以由可微渲染器根据三维人脸模型信息、纹理贴图图像、法线贴图图像、人脸姿态系数以及图像光照系数，生成三维人脸模型信息在二维空间上的投影图像，并将投影图像作为渲染后的三维图像。
其中，可微渲染器的作用是根据给定的三维人脸模型信息(包括顶点的坐标和三角面片的定义等姿态信息，也即是上述人脸姿态系数)，对应的纹理贴图图像、法线贴图图像以及图像光照系数，生成三维人脸在二维空间上的投影。
可选地，该渲染器是可微分的。
S140：根据待训练样本、渲染后的三维图像对初始模型进行修正，得到修正后的初始模型。
可选地，可以根据上述待训练样本、渲染后的三维图像循环对初始模型进行修正，从而得到修正后的初始模型，其中，对初始模型的修正具体可以是对初始模型中的相关神经网络参数进行调整。
S150：根据修正后的初始模型，得到三维人脸图像生成模型。
可选地，可以根据修正后的初始模型输出的渲染后的三维图像对应的损失函数是否满足预设收敛条件，若满足，则可以确定当前初始模型修正完成，进而得到上述三维人脸图像生成模型。
本申请实施例提供的一种模型的训练方法中，可以输入待训练样本，待训练样本包括二维人脸图像；基于初始模型对待训练样本进行预处理操作，初始模型用于根据待训练样本生成图像信息以及参数信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；参数信息包括：人脸姿态系数以及图像光照系数；基于图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像；根据待训练样本、渲染后的三维图像对初始模型进行修正，得到修正后的初始模型；根据修正后的初始模型，得到三维人脸图像生成模型。其中，通过上述多种图像信息以及参数信息的计算可以对初始模型进行修正，从而得到更加满足需求的初始模型，当修正后的初始模型满足预设条件后，可以确定三维人脸图像生成模型，通过该三维人脸图像生成模型可以实现将二维人脸图像转换为三维人脸图像的过程，可以节约算力资源，并且，通过增加了纹理贴图图像和法线贴图图像也可以提高生成的三维人脸图像的细节特征数，使得生成的三维游戏人脸的逼真度和还原度更高。
可选地，初始模型包括：纹理预测模型，基于初始模型对待训练样本进行预处理操作，包括：将待训练样本对应的UV贴图和待训练样本输入纹理预测模型，得到纹理贴图图像、法线贴图图像以及图像光照系数，其中，UV贴图通过对待训练样本进行UV展开处理得到。
可选地，纹理预测模型具体可以是一种自动编码的神经网络模型，包括两组6层卷积层，一组6层反卷积层，以及一组2层全连接层。
可选地，将待训练样本对应的UV贴图和待训练样本输入纹理预测模型，得到纹理贴图图像、法线贴图图像，包括：对UV贴图以及待训练样本分别进行编码得到隐藏特征；对隐藏特征进行反卷积处理，解码得到纹理贴图图像、法线贴图图像。
可选地，纹理预测模型可以对输入的待训练样本和UV贴图分别进行编码，提取隐层特征(包括人脸特征、肤色、光照等)。然后使用全连接层预测图像光照参数，进而通过反卷积层，隐层特征编码被解码为最终的纹理贴图图像和法线贴图图像。
可选地，为了使得网络生成的纹理贴图能够应用于游戏中，需要保持全局的肤色一致，同时也不能有头发、眼镜等遮挡物。因此，纹理预测模型还可以补全纹理贴图中被头发、眼镜等遮挡的区域，并且可以去除高光、阴影等光照影响。
可选地，在进行补全纹理贴图的过程中，具体可以设置有模板贴图，模板贴图可以是具有预设的脸部轮廓的图像，可以通过该模板贴图对UV贴图进行补全，以得到纹理贴图，当具体应用于游戏中时可以是游戏模板贴图。
其中，UV展开可以是对待训练样本中的二维人脸图像进行展开的过程，其中，U和V指的是二维空间中的水平轴和竖直轴，用以区分三维空间中的X、Y、Z轴。UV展开的结果即是可以得到上述UV贴图。
可选地，初始模型还包括：形状重建模型，基于初始模型对待训练样本进行预处理操作，包括：将待训练样本对应的UV贴图以及待训练样本输入形状重建模型中进行三维重建处理，得到三维人脸模型信息以及人脸姿态系数。
可选地，形状重建模型可以是由一系列卷积层构成的卷积神经网络，该神经网络的输入为二维人脸图像
Figure BDA0003266766600000121
输出为人脸姿态系数以及3DMM(3D MorphableModel，三维人脸可变性模型)，该模型由网格组成，每一维系数控制人脸的局部的变化。其中，人脸姿态系数包括三个旋转角度和三个坐标轴上的位移；3DMM具体得到的可以是其相关系数，例如：身份系数
Figure BDA0003266766600000122
和表情系数
Figure BDA0003266766600000123
另外，人脸姿态系数可以表示为
Figure BDA0003266766600000124
通过3DMM系数，可以生成人脸的三维表示，即三维人脸网格中每个顶点的坐标，进而可以得到上述三维人脸模型信息。
可选地，上述神经网络模型具体可以是Basel Face Model模型(BFM)。该模型的人脸网格包括35709个顶点和70789个三角面片。可以通过径向基函数(RBF，radial basisfunction)，将3DMM的人脸形状迁移到游戏人脸上，使得游戏中的人脸具有与输入人脸相似的形状。
其中，径向基函数是一个取值仅依赖于到原点距离的实值函数，即φ(x)＝φ(‖x‖)。此外，也可以按到某一中心点c的距离来定义，即φ(x，c)＝φ(‖x-c‖)。任一满足φ(x)＝φ(‖x‖)的函数都可称作径向函数。
下面来具体解释本申请实施例中提供的三维人脸图像生成模型的训练方法的另一具体实施过程。
图2为本申请实施例提供的另一三维人脸图像生成模型的训练方法的流程示意图，请参照图2，根据待训练样本、渲染后的三维图像对初始模型进行修正，得到修正后的初始模型，包括：
S210：根据待训练样本、渲染后的三维图像计算纹理预测模型的损失函数的值。
可选地，在进行初始模型的修正过程中，修正的仅仅是其中的纹理预测模型，形状重建模型可以是固定的模型。
可选地，损失函数包括：感知损失函数、逐像素损失函数、纹理对称损失函数、肤色损失函数。
其中，感知损失函数可以用于最小化输入图像和渲染图像之间的特征向量的差异，其中感知损失函数可以由待训练样本和渲染后的图像得到，具体计算公式如下：
Figure BDA0003266766600000131
其中，在该公式中，x表示输入的待训练样本中的二维人脸图像，x’表示渲染后的图像，F(·)代表了特征提取器，F(x)表示提取的二维人脸图像的特征向量，F(x’)表示提取的渲染后的图像的特征向量。
可选地，上述特征提取器可以采用预先训练好的神经网络，例如：VGG19网络。
其中，逐像素损失函数可以用于表示输入的待训练样本和渲染后的图像之间的差值，具体计算公式如下：
Figure BDA0003266766600000141
其中，在该公式中，x表示输入的待训练样本中的二维人脸图像，x’表示渲染后的图像，Mproj表示三维人脸网格在二维图像中能够投影到的区域，Mskin表示输入的待训练样本中的脸部皮肤区域。
可选地，纹理对称损失函数用于最小化从生成的纹理贴图图像上随机裁剪的对称区域在特征层面上的差异。
具体计算公式如下：
Figure BDA0003266766600000142
其中，在该公式中，x是待训练样本中的二维人脸图像(具体可以是当二维人脸图像为具有对应纹理贴图真值的第一人脸图像时，与之一同输入的还包括其对应的纹理贴图真值)，x′是水平翻转后的x，
Figure BDA0003266766600000143
表示随机裁剪的函数，是从x中的随机位置r裁剪一个大小为s的尺寸块得到的。其中，S代表了所使用的不同的尺度，例如可以是分辨率为512×512的图片，示例地，上述尺度取值可以为{112,224,336}。
可选地，肤色损失函数可以用于使纹理贴图图像的整体肤色一致。为了在使得整体肤色保持一致的同时不影响人脸的细节(例如皱纹、痣等)，可以先将生成的纹理贴图图像进行高斯模糊，然后在皮肤区域的每个像素的颜色值上计算标准差。在高斯模糊时，根据纹理贴图图像的分辨率大小选择合适的高斯核的模糊半径及正态分布的标准偏差，使得高斯模糊后的图像能够过滤高频特征(例如皱纹等)而保留低频特征(例如局部区域的肤色等)。
计算公式具体如下：
Figure BDA0003266766600000144
其中，该公式中，x表示高斯模糊后的纹理解码器生成的纹理贴图图像(也即是通过纹理预测模型得到的纹理贴图图像)，
Figure BDA0003266766600000151
表示其平均值。
可选地，通过使用基于高斯模糊的全局肤色损失，生成的纹理贴图图像可以保持全局肤色的一致，并且还能保留人脸上的个性化特征。
可选地，确定上述多个损失函数之后，可以得到总的损失函数，总的损失函数的具体计算公式如下：
L＝Lperc+Lrec+Lmsp+Lstd；
S220：若损失函数的值不满足预设的收敛阈值，则根据损失函数的值对纹理预测模型进行修正，得到修正后的纹理预测模型。
可选地，当确定上述总的损失函数之后，可以确定L的收敛情况，若损失函数的值不满足预设的收敛阈值，则可以根据损失函数的值对初始模型进行修正，得到修正后的初始模型。相应地，若满足预设的收敛阈值，则可以得到上述三维人脸图像生成模型。
可选地，在进行上述修正的过程中，形状重建模型是采用的预训练好的网络模型，无需进行修正；而纹理预测模型需要进行修正对应的参数以实现对该模型的训练。
可选地，二维人脸图像包括以下至少一种类型：具有对应纹理贴图真值的第一人脸图像、不具有纹理贴图真值的第二人脸图像以及预训练神经网络合成的第三人脸图像；根据待训练样本、渲染后的三维图像计算纹理预测模型的损失函数的值，包括：根据待训练样本中的二维人脸图像、二维人脸图像的类型、预设的纹理贴图真值、渲染后的三维图像以及纹理贴图图像计算纹理预测模型的损失函数的值。
可选地，对于不同类型的二维人脸图像，其计算的损失函数的内容也可以有所不同，具体可以根据其类型计算上述四种损失函数中的一种或者多种。例如：对于具有对应纹理贴图真值的第一人脸图像其可以计算纹理对称损失函数；而对于不具有纹理贴图真值的第二人脸图像不需要计算纹理对称损失函数。
本申请实施例提供的一种三维人脸图像生成模型的训练方法中，可以根据待训练的样本中的二维人脸图像以及其类型、预设的纹理贴图真值、渲染后的三维图像以及纹理贴图图像计算纹理预测模型的损失函数的值；若损失函数的值不满足预设的收敛阈值，则根据损失函数的值对纹理预测模型进行修正，得到修正后的纹理预测模型。其中，通过计算损失函数的方式可以实现对纹理预测模型进行不断的修正，直到得到的修正后的纹理预测模型满足预设需求时得到对应的三维人脸图像生成模型，从而可以使得到的三维人脸图像生成模型更加稳定、准确。
下面来具体解释本申请实施例中提供的三维人脸图像生成模型的训练方法的又一具体实施过程。
图3为本申请实施例提供的另一三维人脸图像生成模型的训练方法的流程示意图，请参照图3，该方法的具体执行逻辑流程如下：
首先，在执行之前，可以对上述初始模型的神经网络参数进行初始化操作。在执行时，可以先输入待训练样本，对待训练样本进行UV展开得到UV贴图，将待训练样本和UV贴图分别输入到形状重建模型和纹理预测模型中，得到三维人脸模型信息、人脸姿态系数、纹理贴图图像、法线贴图图像以及图像光照系数。进而可以基于三维人脸模型信息、人脸姿态系数、纹理贴图图像、法线贴图图像以及图像光照系数进行可微渲染器的渲染得到渲染后的图像，根据待训练样本、渲染后的图像、纹理贴图图像以及纹理贴图真值计算损失函数，并基于损失函数的收敛情况进行判定，若满足预设收敛阈值则得到三维人脸图像生成模型，若不满足预设收敛阈值(即收敛条件)则重新输入待训练样本执行上述循环过程，直至满足为止。
本申请实施例提供的三维人脸图像生成模型训练方法中，可以在只有少量三维人脸纹理贴图数据集的情况下，同时利用三种来源的数据，包括含有纹理真值的数据、不含纹理真值的数据、以及合成的数据，用以实现对初始模型的训练从而可以使初始模型更加准确地实现纹理贴图预测，并且，可以在原始数据没有法线贴图的情况下，通过自监督的形式进行学习得到对应的法线贴图图像，从而提高模型所展示的细节特征，得到逼真度高、还原度高的三维人脸图像。
下面来具体解释本申请实施例提供的三维人脸图像生成方法的具体实施过程。
图4为本申请实施例提供的一种三维人脸图像生成方法的流程示意图，请参照图4，该方法包括：
S410：输入参考图像。
其中，参考图像为二维人脸图像。
可选地，参考图像可以是用户输入的图片或者用户通过计算机设备、其他终端设备拍照得到的图像等，在此不作限制。
S420：基于预先训练得到的三维人脸图像生成模型对参考图像进行预处理操作。
其中，三维人脸图像生成模型用于根据参考图像生成图像信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像。
可选地，预先训练得到的三维人脸图像生成模型即为前述S110-S150训练得到的三维人脸图像生成模型，将参考图像输入至该模型后，可以分别得到三维人脸模型信息、纹理贴图图像以及法线贴图图像。
S430：基于图像信息进行图像渲染处理，得到渲染后的三维人脸图像。
可选地，可以对上述得到的三维人脸模型信息、纹理贴图图像以及法线贴图图像进行图像渲染处理，得到渲染后的三维人脸图像，该渲染后的三维人脸图像即为生成的结果图像。
可选地，关于上述三维人脸图像生成模型的具体结构在前述已经进行了具体解释，在此不加赘述。
本申请实施例提供的一种三维人脸图像生成方法中，可以输入参考图像，参考图像为二维人脸图像；基于预先训练得到的三维人脸图像生成模型对参考图像进行预处理操作，三维人脸图像生成模型用于根据参考图像生成图像信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；基于图像信息进行图像渲染处理，得到渲染后的三维人脸图像。其中，通过该三维人脸图像生成模型可以实现将二维人脸图像转换为三维人脸图像的过程，可以节约算力资源，并且，通过增加了纹理贴图图像和法线贴图图像也可以提高生成的三维人脸图像的细节特征。
可选地，三维人脸图像生成模型包括：纹理预测模型，基于预先训练得到的三维人脸图像生成模型对参考图像进行预处理操作，包括：将参考图像对应的UV贴图和参考图像输入纹理预测模型，得到纹理贴图图像和法线贴图图像，其中，UV贴图通过对参考图像进行UV展开处理得到。
可选地，三维人脸图像生成模型包括：形状重建模型，基于预先训练得到的三维人脸图像生成模型对参考图像进行预处理操作，包括：将参考图像对应的UV贴图以及参考图像输入形状重建模型中进行三维重建处理，得到三维人脸模型信息。
可选地，基于预先训练得到的三维人脸图像生成模型对参考图像进行预处理操作之前，该方法还包括：对参考图像进行UV展开处理，得到参考图像对应的UV贴图。
可选地，上述基于形状重建模型、纹理预测模型以及UV展开的具体过程在前述已经进行了具体的文字解释，在此不加赘述。
下面来具体解释本申请实施例提供的三维人脸图像生成方法的另一具体实施过程。
图5为本申请实施例提供的另一三维人脸图像生成方法的流程示意图，请参照图5，该方法的具体执行逻辑流程如下：
首先，在执行之前，可以对上述三维人脸图像生成模型的神经网络参数进行初始化操作。在执行时，可以先输入参考图像，对参考图像进行UV展开得到UV贴图，将参考图像和UV贴图分别输入到形状重建模型和纹理预测模型中，得到三维人脸模型信息、纹理贴图图像以及法线贴图图像。进而可以基于三维人脸模型信息、纹理贴图图像以及法线贴图图像进行可微渲染器的渲染得到渲染后的图像，得到的渲染后的图像即为渲染后的三维人脸图像，可以将该三维图像加载至游戏中完成三维人脸图像的生成。
下述对用以执行的本申请所提供的三维人脸图像生成模型的训练方法以及三维人脸图像生成方法对应的装置、设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。
图6为本申请实施例提供的三维人脸图像生成模型的训练装置的结构示意图，请参照图6，该装置包括：输入模块610、预处理模块620、渲染模块630、修正模块640以及生成模块650；
输入模块610，用于输入待训练样本，待训练样本包括二维人脸图像；
预处理模块620，用于基于初始模型对待训练样本进行预处理操作，初始模型用于根据待训练样本生成图像信息以及参数信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；参数信息包括：人脸姿态系数以及图像光照系数；
渲染模块630，用于基于图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像；
修正模块640，根据待训练样本、渲染后的三维图像对初始模型进行修正，得到修正后的初始模型；
生成模块650，用于根据修正后的初始模型，得到三维人脸图像生成模型。
可选地，预处理模块620，具体用于将待训练样本对应的UV贴图和待训练样本输入纹理预测模型，得到纹理贴图图像、法线贴图图像以及图像光照系数，其中，UV贴图通过对待训练样本进行UV展开处理得到。
可选地，预处理模块620，具体用于对UV贴图以及待训练样本分别进行编码得到隐藏特征；对隐藏特征进行反卷积处理，解码得到纹理贴图图像、法线贴图图像。
可选地，修正模块640，具体用于根据待训练样本、渲染后的三维图像计算纹理预测模型的损失函数的值；若损失函数的值不满足预设的收敛阈值，则根据损失函数的值对纹理预测模型进行修正，得到修正后的纹理预测模型。
可选地，二维人脸图像包括以下至少一种类型：具有对应纹理贴图真值的第一人脸图像、不具有纹理贴图真值的第二人脸图像以及预训练神经网络合成的第三人脸图像；修正模块640，具体用于根据待训练样本中的二维人脸图像、二维人脸图像的类型、预设的纹理贴图真值、渲染后的三维图像以及纹理贴图图像计算纹理预测模型的损失函数的值。
可选地，预处理模块620，具体还用于将待训练样本对应的UV贴图以及待训练样本输入形状重建模型中进行三维重建处理，得到三维人脸模型信息以及人脸姿态系数。
可选地，渲染模块630，具体用于由可微渲染器根据三维人脸模型信息、纹理贴图图像、法线贴图图像、人脸姿态系数以及图像光照系数，生成三维人脸模型信息在二维空间上的投影图像，并将投影图像作为渲染后的三维图像。
图7为本申请实施例提供的三维人脸图像生成装置的结构示意图，请参照图7，该装置包括：图像输入模块710、图像预处理模块720以及结果获取模块730；
图像输入模块710，用于输入参考图像，参考图像为二维人脸图像；
图像预处理模块720，用于基于预先训练得到的三维人脸图像生成模型对参考图像进行预处理操作，三维人脸图像生成模型用于根据参考图像生成图像信息，图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；
结果获取模块730，用于基于图像信息进行图像渲染处理，得到渲染后的三维人脸图像。
可选地，图像预处理模块720具体用于将参考图像对应的UV贴图和参考图像输入纹理预测模型，得到纹理贴图图像和法线贴图图像，其中，UV贴图通过对参考图像进行UV展开处理得到。
可选地，图像预处理模块720，具体用于将参考图像对应的UV贴图以及参考图像输入形状重建模型中进行三维重建处理，得到三维人脸模型信息。
可选地，图像预处理模块720，还用于对参考图像进行UV展开处理，得到参考图像对应的UV贴图。
上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
图8为本申请实施例提供的计算机设备的一结构示意图，请参照图8，计算机设备，包括：第一存储器810、第一处理器820，第一存储器810中存储有可在第一处理器820上运行的计算机程序，第一处理器820执行计算机程序时，实现上述三维人脸图像生成模型的训练方法的步骤。
图9为本申请实施例提供的计算机设备的另一结构示意图，请参照图9，计算机设备，包括：第二存储器910、第二处理器920，第二存储器910中存储有可在第二处理器920上运行的计算机程序，第二处理器920执行计算机程序时，实现上述三维人脸图像生成方法的步骤。
本申请实施例的另一方面，提供一种计算机可读存储介质，存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现三维人脸图像生成模型的训练方法或者三维人脸图像生成方法的步骤。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种模型的训练方法，其特征在于，包括：
输入待训练样本，所述待训练样本包括二维人脸图像；
基于初始模型对所述待训练样本进行预处理操作，所述初始模型用于根据所述待训练样本生成图像信息以及参数信息，所述图像信息包括：三维人脸模型信息、纹理贴图以及法线贴图；所述参数信息包括：人脸姿态系数以及图像光照系数；
基于所述图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像；
根据所述待训练样本、所述渲染后的三维图像对所述初始模型进行修正，得到修正后的初始模型；
根据修正后的所述初始模型，得到三维人脸图像生成模型。
2.如权利要求1所述的方法，其特征在于，所述初始模型包括：纹理预测模型，所述基于初始模型对所述待训练样本进行预处理操作，包括：
将所述待训练样本对应的UV贴图和所述待训练样本输入所述纹理预测模型，得到所述纹理贴图图像、法线贴图图像以及图像光照系数，其中，所述UV贴图通过对所述待训练样本进行UV展开处理得到。
3.如权利要求2所述的方法，其特征在于，将所述待训练样本对应的UV贴图和所述待训练样本输入所述纹理预测模型，得到所述纹理贴图图像、法线贴图图像，包括：
对所述UV贴图以及所述待训练样本分别进行编码，得到隐藏特征；
对所述隐藏特征进行反卷积处理，解码得到所述纹理贴图图像、法线贴图图像。
4.如权利要求2所述的方法，其特征在于，所述根据所述待训练样本、所述渲染后的三维图像对所述初始模型进行修正，得到修正后的初始模型，包括：
根据所述待训练样本、所述渲染后的三维图像计算所述纹理预测模型的损失函数的值；
若所述损失函数的值不满足预设的收敛阈值，则根据损失函数的值对所述纹理预测模型进行修正，得到修正后的纹理预测模型。
5.如权利要求4所述的方法，其特征在于，所述二维人脸图像包括以下至少一种类型：具有对应纹理贴图真值的第一人脸图像、不具有纹理贴图真值的第二人脸图像以及预训练神经网络合成的第三人脸图像；
所述根据所述待训练样本、所述渲染后的三维图像计算所述纹理预测模型的损失函数的值，包括：
根据所述待训练样本中的二维人脸图像、所述二维人脸图像的类型、预设的纹理贴图真值、所述渲染后的三维图像以及所述纹理贴图图像计算所述纹理预测模型的损失函数的值。
6.如权利要求2所述的方法，其特征在于，所述初始模型还包括：形状重建模型，所述基于初始模型对所述待训练样本进行预处理操作，包括：
将所述待训练样本对应的UV贴图以及所述待训练样本输入所述形状重建模型中进行三维重建处理，得到所述三维人脸模型信息以及所述人脸姿态系数。
7.如权利要求1所述的方法，其特征在于，所述基于所述图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像，包括：
由可微渲染器根据所述三维人脸模型信息、所述纹理贴图图像、所述法线贴图图像、所述人脸姿态系数以及所述图像光照系数，生成所述三维人脸模型信息在二维空间上的投影图像，并将所述投影图像作为所述渲染后的三维图像。
8.一种三维人脸图像生成方法，其特征在于，包括：
输入参考图像，所述参考图像为二维人脸图像；
基于预先训练得到的三维人脸图像生成模型对所述参考图像进行预处理操作，所述三维人脸图像生成模型用于根据所述参考图像生成图像信息，所述图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；
基于所述图像信息进行图像渲染处理，得到渲染后的三维人脸图像。
9.一种模型的训练装置，其特征在于，包括：输入模块、预处理模块、渲染模块、修正模块以及生成模块；
所述输入模块，用于输入待训练样本，所述待训练样本包括二维人脸图像；
所述预处理模块，用于基于初始模型对所述待训练样本进行预处理操作，所述初始模型用于根据所述待训练样本生成图像信息以及参数信息，所述图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；所述参数信息包括：人脸姿态系数以及图像光照系数；
所述渲染模块，用于基于所述图像信息以及参数信息进行图像渲染处理，得到渲染后的三维图像；
所述修正模块，用于根据待训练样本、所述渲染后的三维图像对所述初始模型进行修正，得到修正后的初始模型；
所述生成模块，用于根据修正后的所述初始模型，得到三维人脸图像生成模型。
10.一种三维人脸图像生成装置，其特征在于，包括：图像输入模块、图像预处理模块以及结果获取模块；
所述图像输入模块，用于输入参考图像，所述参考图像为二维人脸图像；
所述图像预处理模块，用于基于预先训练得到的三维人脸图像生成模型对所述参考图像进行预处理操作，所述三维人脸图像生成模型用于根据所述参考图像生成图像信息，所述图像信息包括：三维人脸模型信息、纹理贴图图像以及法线贴图图像；
所述结果获取模块，用于基于所述图像信息进行图像渲染处理，得到渲染后的三维人脸图像。
11.一种计算机设备，其特征在于，包括：第一存储器、第一处理器，所述第一存储器中存储有可在所述第一处理器上运行的计算机程序，所述第一处理器执行所述计算机程序时，实现上述权利要求1至7任一项所述的方法的步骤。
12.一种计算机设备，其特征在于，包括：第二存储器、第二处理器，所述第二存储器中存储有可在所述第二处理器上运行的计算机程序，所述第二处理器执行所述计算机程序时，实现上述权利要求8所述的方法的步骤。
13.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现权利要求1至8中任一项所述方法的步骤。
CN202111088851.2A 2021-09-16 2021-09-16 模型的训练方法、三维人脸图像生成方法及设备 Active CN113838176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111088851.2A CN113838176B (zh) 2021-09-16 2021-09-16 模型的训练方法、三维人脸图像生成方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111088851.2A CN113838176B (zh) 2021-09-16 2021-09-16 模型的训练方法、三维人脸图像生成方法及设备

Publications (2)

Publication Number Publication Date
CN113838176A true CN113838176A (zh) 2021-12-24
CN113838176B CN113838176B (zh) 2023-09-15

Family

ID=78959662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111088851.2A Active CN113838176B (zh) 2021-09-16 2021-09-16 模型的训练方法、三维人脸图像生成方法及设备

Country Status (1)

Country Link
CN (1) CN113838176B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723601A (zh) * 2022-04-08 2022-07-08 山东翰林科技有限公司 一种虚拟场景下的模型结构化建模及快速渲染方法
CN114782864A (zh) * 2022-04-08 2022-07-22 马上消费金融股份有限公司 一种信息处理方法、装置、计算机设备及存储介质
CN114842121A (zh) * 2022-06-30 2022-08-02 北京百度网讯科技有限公司 贴图生成模型训练和贴图生成方法、装置、设备及介质
CN115147508A (zh) * 2022-06-30 2022-10-04 北京百度网讯科技有限公司 服饰生成模型的训练、生成服饰图像的方法和装置
CN115661912A (zh) * 2022-12-26 2023-01-31 荣耀终端有限公司 图像处理方法、模型训练方法、电子设备及可读存储介质
CN116704084A (zh) * 2023-08-01 2023-09-05 苏州浪潮智能科技有限公司 人脸动画生成网络的训练方法、人脸动画生成方法及装置
CN117315211A (zh) * 2023-11-29 2023-12-29 苏州元脑智能科技有限公司 数字人合成及其模型训练方法、装置、设备及存储介质
CN117764853A (zh) * 2024-01-11 2024-03-26 荣耀终端有限公司 人脸图像增强方法和电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358648A (zh) * 2017-07-17 2017-11-17 中国科学技术大学 基于单张人脸图像的实时全自动高质量三维人脸重建方法
CN107945267A (zh) * 2017-12-13 2018-04-20 四川川大智胜软件股份有限公司 一种用于人脸三维模型纹理融合的方法和设备
CN108765550A (zh) * 2018-05-09 2018-11-06 华南理工大学 一种基于单张图片的三维人脸重建方法
CN109377544A (zh) * 2018-11-30 2019-02-22 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法、装置和可读介质
US20190147642A1 (en) * 2017-11-15 2019-05-16 Google Llc Learning to reconstruct 3d shapes by rendering many 3d views
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN112221145A (zh) * 2020-10-27 2021-01-15 网易（杭州）网络有限公司 游戏脸模生成方法及装置、存储介质及电子设备
CN112818963A (zh) * 2021-03-29 2021-05-18 平安国际智慧城市科技股份有限公司 人脸识别模型的训练方法、装置、设备及存储介质
CN112819947A (zh) * 2021-02-03 2021-05-18 Oppo广东移动通信有限公司 三维人脸的重建方法、装置、电子设备以及存储介质
CN112950775A (zh) * 2021-04-27 2021-06-11 南京大学 一种基于自监督学习的三维人脸模型重建方法及系统
CN113284229A (zh) * 2021-05-28 2021-08-20 上海星阑信息科技有限公司 三维人脸模型生成方法、装置、设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358648A (zh) * 2017-07-17 2017-11-17 中国科学技术大学 基于单张人脸图像的实时全自动高质量三维人脸重建方法
US20190147642A1 (en) * 2017-11-15 2019-05-16 Google Llc Learning to reconstruct 3d shapes by rendering many 3d views
CN107945267A (zh) * 2017-12-13 2018-04-20 四川川大智胜软件股份有限公司 一种用于人脸三维模型纹理融合的方法和设备
CN108765550A (zh) * 2018-05-09 2018-11-06 华南理工大学 一种基于单张图片的三维人脸重建方法
CN109377544A (zh) * 2018-11-30 2019-02-22 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法、装置和可读介质
CN110363858A (zh) * 2019-06-18 2019-10-22 新拓三维技术(深圳)有限公司 一种三维人脸重建方法及系统
CN112221145A (zh) * 2020-10-27 2021-01-15 网易（杭州）网络有限公司 游戏脸模生成方法及装置、存储介质及电子设备
CN112819947A (zh) * 2021-02-03 2021-05-18 Oppo广东移动通信有限公司 三维人脸的重建方法、装置、电子设备以及存储介质
CN112818963A (zh) * 2021-03-29 2021-05-18 平安国际智慧城市科技股份有限公司 人脸识别模型的训练方法、装置、设备及存储介质
CN112950775A (zh) * 2021-04-27 2021-06-11 南京大学 一种基于自监督学习的三维人脸模型重建方法及系统
CN113284229A (zh) * 2021-05-28 2021-08-20 上海星阑信息科技有限公司 三维人脸模型生成方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴翔;: "论三维人脸建模技术中的纹理映射", 职业技术, no. 07, pages 74 - 76 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723601B (zh) * 2022-04-08 2023-05-09 山东翰林科技有限公司 一种虚拟场景下的模型结构化建模及快速渲染方法
CN114782864A (zh) * 2022-04-08 2022-07-22 马上消费金融股份有限公司 一种信息处理方法、装置、计算机设备及存储介质
CN114782864B (zh) * 2022-04-08 2023-07-21 马上消费金融股份有限公司 一种信息处理方法、装置、计算机设备及存储介质
CN114723601A (zh) * 2022-04-08 2022-07-08 山东翰林科技有限公司 一种虚拟场景下的模型结构化建模及快速渲染方法
CN114842121B (zh) * 2022-06-30 2022-09-09 北京百度网讯科技有限公司 贴图生成模型训练和贴图生成方法、装置、设备及介质
CN115147508A (zh) * 2022-06-30 2022-10-04 北京百度网讯科技有限公司 服饰生成模型的训练、生成服饰图像的方法和装置
CN114842121A (zh) * 2022-06-30 2022-08-02 北京百度网讯科技有限公司 贴图生成模型训练和贴图生成方法、装置、设备及介质
CN115147508B (zh) * 2022-06-30 2023-09-22 北京百度网讯科技有限公司 服饰生成模型的训练、生成服饰图像的方法和装置
CN115661912A (zh) * 2022-12-26 2023-01-31 荣耀终端有限公司 图像处理方法、模型训练方法、电子设备及可读存储介质
CN115661912B (zh) * 2022-12-26 2024-04-12 荣耀终端有限公司 图像处理方法、模型训练方法、电子设备及可读存储介质
CN116704084A (zh) * 2023-08-01 2023-09-05 苏州浪潮智能科技有限公司 人脸动画生成网络的训练方法、人脸动画生成方法及装置
CN116704084B (zh) * 2023-08-01 2023-11-03 苏州浪潮智能科技有限公司 人脸动画生成网络的训练方法、人脸动画生成方法及装置
CN117315211A (zh) * 2023-11-29 2023-12-29 苏州元脑智能科技有限公司 数字人合成及其模型训练方法、装置、设备及存储介质
CN117315211B (zh) * 2023-11-29 2024-02-23 苏州元脑智能科技有限公司 数字人合成及其模型训练方法、装置、设备及存储介质
CN117764853A (zh) * 2024-01-11 2024-03-26 荣耀终端有限公司 人脸图像增强方法和电子设备

Also Published As

Publication number Publication date
CN113838176B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN113838176B (zh) 模型的训练方法、三维人脸图像生成方法及设备
CN109961507B (zh) 一种人脸图像生成方法、装置、设备及存储介质
US11475624B2 (en) Method and apparatus for generating three-dimensional model, computer device and storage medium
CN116109798B (zh) 图像数据处理方法、装置、设备及介质
CN111369655A (zh) 渲染方法、装置和终端设备
CN114746904A (zh) 三维人脸重建
CN112102477A (zh) 三维模型重建方法、装置、计算机设备和存储介质
CN112950769A (zh) 三维人体重建方法、装置、设备及存储介质
CN115239861A (zh) 人脸数据增强方法、装置、计算机设备和存储介质
KR100900823B1 (ko) 캐릭터 애니메이션 시 피부의 주름 실시간 표현 방법 및장치
JP4842242B2 (ja) キャラクタアニメーション時の皮膚のしわのリアルタイム表現方法及び装置
CN115115805A (zh) 三维重建模型的训练方法、装置、设备及存储介质
Marques et al. Deep spherical harmonics light probe estimator for mixed reality games
CN113723317B (zh) 3d人脸的重建方法、装置、电子设备和存储介质
CN115713585B (zh) 纹理图像重建方法、装置、计算机设备和存储介质
CN109829857B (zh) 一种基于生成对抗网络的倾斜图像的矫正方法及装置
CN111105489A (zh) 数据合成方法和装置、存储介质和电子装置
CN112785494B (zh) 一种三维模型构建方法、装置、电子设备和存储介质
CN114299206A (zh) 三维卡通人脸生成方法、装置、电子设备及存储介质
CN113222178A (zh) 模型训练方法、用户界面的生成方法、装置及存储介质
Lee et al. Holistic 3D face and head reconstruction with geometric details from a single image
CN115760888A (zh) 图像处理方法、装置、计算机及可读存储介质
CN114119923B (zh) 三维人脸重建方法、装置以及电子设备
CN114782240A (zh) 图片处理方法以及装置
CN117237542B (zh) 基于文本的三维人体模型生成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant