CN113129425A - 一种人脸图像三维重建方法、存储介质及终端设备 - Google Patents

一种人脸图像三维重建方法、存储介质及终端设备 Download PDF

Info

Publication number
CN113129425A
CN113129425A CN201911416193.8A CN201911416193A CN113129425A CN 113129425 A CN113129425 A CN 113129425A CN 201911416193 A CN201911416193 A CN 201911416193A CN 113129425 A CN113129425 A CN 113129425A
Authority
CN
China
Prior art keywords
face
model
training
face image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911416193.8A
Other languages
English (en)
Inventor
邢连萍
赵天昊
李松南
俞大海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Corp
TCL Research America Inc
Original Assignee
TCL Research America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Research America Inc filed Critical TCL Research America Inc
Priority to CN201911416193.8A priority Critical patent/CN113129425A/zh
Publication of CN113129425A publication Critical patent/CN113129425A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本发明公开了一种人脸图像三维重建方法、存储介质及终端设备，所述方法，采用人脸重建模型确定待处理人脸图像的人脸参数，再根据得到的人脸参数生成三维人脸图像，人脸重建模型为基于训练样本集训练得到，训练样本集中每组训练样本组均包括人脸图像以及真实人脸参数，所述真实人脸参数括对齐参数以及目标三维人脸模型的目标三维模型参数，这样对于任何姿态的人脸图像，均可以获取到该人脸图像对应的对齐参数和模型参数，根据所述模型参数生成人脸三维图像，再根据所述对齐参数对人脸三维图像进行调整，实现了任何姿态人脸的三维图像重建，提高了三维人脸重建的实时性，给用户的使用带来方便。

Description

一种人脸图像三维重建方法、存储介质及终端设备
技术领域
本发明涉及图像处理技术领域，特别涉及一种人脸图像三维重建方法、存储介质及终端设备。
背景技术
3D人脸重建是计算机视觉中非常重要的任务，它在解决大姿态人脸识别和关键点定位等问题提供了可行的解决方案。目前普遍使用的3D人脸重建方法是基于3DMM(3DMorphable Model)模型，通过靠重建特殊点(如，人脸关键点及局部特征等)与3D均值几何结构之间关系，然后利用非线性优化函数来回归3DMM系数，然而上述方法均需要依赖于人脸关键点等特色点的检测，进而影响了3D人脸重建的效果。
然而随着深度学习的发展，许多研究开始利用CNN估计3DMM系数来重建单张人脸对应的3D信息。目前普遍使用的利用CNN估计3DMM系数来重建单张人脸对应的3D信息包括：1)、基于回归的级联卷积神经网络，将 3D稠密人脸模型拟合到人脸图片上，在通过加入3D信息来解决由3D变换导致的外观变化和自遮挡问题。这种方法虽然可以实现三维人脸重建和稠密人脸对齐，但是采用级联的方式，降低了3D人脸重建的效率。2)位置映射回归网络，通过该位置映射回归网络能够同时完成3D人脸重建和稠密人脸对齐的端对端的方法，但是该位置映射回归网络的模型复杂度高，不适合对实时性要求很高的移动或嵌入式设备应用，而且模型对于大姿态或者遮挡的人脸的3D重建效果差。
因而现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于，针对现有技术的不足，提供一种人脸图像三维重建方法、存储介质及终端设备。
本发明所采用的技术方案如下：
一种人脸图像三维重建方法，其中，所述人脸图像三维重建方法包括：
获取待处理人脸图像，并将所述待处理人脸图像输入至人脸重建模型，其中，所述待处理人脸图像为二维图像,所述人脸重建模型为基于训练样本集训练得到的，所述训练样本集中的每一训练样本组均包括人脸图像以及该人脸图像对应的真实人脸参数；
通过所述人脸重建模型确定所述待处理人脸图像对应的人脸参数；
根据所述人脸参数以及所述目标三维人脸模型生成所述待处理人脸图像对应的三维人脸图像。
所述人脸图像三维重建方法，其中，所述根据所述人脸参数以及所述目标三维人脸模型生成所述待处理人脸图像对应的三维人脸图像具体包括：
根据所述目标三维模型参数以及所述目标三维人脸模型生成候选三维人脸图像；
根据所述对齐参数对所述候选三维人脸图像进行调整，以得到所述待处理人脸图像对应的三维人脸图像。
所述人脸图像三维重建方法，其中，所述对齐参数包括旋转系数以及平移系数，所述目标三维模型参数包括人脸形状系数以及人脸表情系数。
所述人脸图像三维重建方法，其中，所述获取待处理人脸图像为通过电子设备配置的成像系统获取的。
所述人脸图像三维重建方法，其中，所述人脸重建模型的训练过程具体包括：
预设网络模型根据训练样本集中的人脸图像，生成所述人脸图像对应的预测人脸参数；
所述预设网络模型根据所述人脸图像对应的真实人脸参数和所述人脸图像对应的预测人脸参数，对所述预设网络模型的模型参数进行修正；
所述预设网络模型继续执行根据训练样本集中的下一组训练样本中的人脸图像，生成所述人脸图像对应的预测人脸参数的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到所述人脸重建模型。
所述人脸图像三维重建方法，其中，所述预设网络模型根据训练样本集中的人脸图像，生成所述人脸图像对应的预测人脸参数，之前，所述方法还包括获取所述训练样本集；
所述获取所述训练样本集具体包括：
选取初始数据集，其中，所述初始数据集包括多组初始数据，每组初始数据包括人脸图像以及所述人脸图像对应的模型系数，所述模型系数为所述初始数据对应的三维人脸模型的系数；
针对于所述初始数据集中的每张人脸图像，根据该人脸图像对应的模型系数确定该人脸图像对应的人脸特征点；
将所述人脸特征点与所述目标三维人脸模型拟合以得到真实人脸参数，并将所述人脸图像以及所述真实人脸参数作为一训练样本组。
所述人脸图像三维重建方法，其中，所述预设网络模型包括卷积模块、池化模块以及全连接模块；所述预设网络模型根据训练样本集中的人脸图像，生成所述人脸图像对应的预测人脸参数具体包括：
将所述人脸图像输入至所述卷积模块，通过所述卷积模型输出所述人脸图像的第一特征图像；
将所述第一特征图像输入至池化模块，通过所述池化模块输出所述人脸图像的第二特征图像；
将所述第二特征图像输入至全连接模块，通过所述全连接模块输出所述预测人脸参数。
所述人脸图像三维重建方法，其中，所述卷积模块包括级联的六个卷积层，各卷积层的卷积核均为3*3。
所述人脸图像三维重建方法，其中，所述预设网络模型根据所述人脸图像对应的真实人脸参数和所述人脸图像对应的预测人脸参数，对所述预设网络模型的模型参数进行修正具体包括：
根据所述目标三维人脸模型确定所述真实人脸参数对应的真实三维人脸图像，以及根据所述目标三维人脸模型确定所述预测人脸参数对应的预测三维人脸图像；
根据所述真实三维人脸图像以及所述预测三维人脸图像计算第一损失值，并根据所述真实人脸参数和所述预测人脸参数确定第二损失值；
根据所述第一损失值以及所述第二损失值计算总损失值，并根据所述总损失值对所述预设网络模型的模型参数进行修正。
所述人脸图像三维重建方法，其中，所述根据所述真实三维人脸图像以及所述预测三维人脸图像计算第一损失值具体包括：
获取所述真实三维人脸图像的各顶点坐标，以及所述预测三维人脸图像包含的各预测顶点坐标；
根据各顶点坐标与其对应的预测顶点坐标计算第一损失值。
所述人脸图像三维重建方法，其中，所述根据所述第一损失值以及所述第二损失值计算总损失值，并根据所述总损失值对所述预设网络模型的模型参数进行修正具体为：
根据预设权重参数集、所述第一损失值和第二损失值计算总损失值；
根据所述总损失值对所述预设网络模型的模型参数进行修正。
所述人脸图像三维重建方法，其中，所述人脸重建模型的训练过程包括依次进行的若干训练阶段，每个训练阶段均对应一预设权重参数集以及预设网络模型的修正参数，对于每个训练阶段，若该训练阶段存在位于其后且与其相邻的第一训练阶段，则将该训练阶段训练得到模型参数作为第一训练阶段的初始模型参数，若该训练阶段未存在位于其后且与其相邻的第一训练阶段，则将该该训练阶段训练得到模型参数作为所述人脸重建模型的模型参数。
所述人脸图像三维重建方法，其中，所述人脸重建模型包括第一训练阶段以及第二训练阶段；所述人脸重建模型的训练过程具体包括：
获取所述第一训练阶段对应的第一预设权重参数集以及第一修正参数；
预设网络模型根据所述训练样本集、第一预设权重参数集以及第一修正参数进行训练，直至所述预设网络模型的训练情况满足第一阶段训练的预设条件；
获取所述第二训练阶段对应的第二预设权重参数集以及第二修正参数，基于所述训练样本集、第二预设权重参数集以及第二修正参数对预设网络模型根据训练，直至所述若干训练阶段中最后训练阶段训练完成，以得到所述人脸重建模型，其中，第二训练阶段中预设网络模型的初始模型参数为第一训练阶段训练得到的模型参数。
一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的人脸图像三维重建方法中的步骤。
一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的人脸图像三维重建方法中的步骤。
有益效果：与现有技术相比，本发明提供了一种人脸图像三维重建方法、存储介质及终端设备，所述方法，采用人脸重建模型确定待处理人脸图像的人脸参数，再根据得到的人脸参数生成三维人脸图像，所述人脸重建模型为基于训练样本集训练得到，训练样本集中每组训练样本组均包括人脸图像以及该人脸图像对应的真实人脸参数，所述真实人脸参数包括对齐参数以及目标三维人脸模型的目标三维模型参数，这样对于任何姿态的人脸图像，均可以获取到该人脸图像对应的对齐参数和模型参数，根据所述模型参数生成人脸三维图像，再根据所述对齐参数对人脸三维图像进行调整，实现了任何姿态人脸的三维图像重建，提高了三维人脸重建的实时性，给用户的使用带来方便。
附图说明
图1为本发明提供的人脸图像三维重建方法的流程图。
图2为本发明提供的人脸图像三维重建方法的流程示意图。
图3为本发明提供的人脸图像三维重建方法中预设网络模型的工作流程图。
图4为本发明提供的终端设备的结构原理图。
具体实施方式
本发明提供一种人脸图像三维重建方法、存储介质及终端设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
发明人经过研究发现，随着深度学习的发展，许多研究开始利用CNN 估计3DMM系数来重建单张人脸对应的三维人脸图像。目前普遍使用的利用 CNN估计3DMM系数来重建单张人脸对应的三维人脸图像的方法包括：1)、基于回归的级联卷积神经网络，将3D稠密人脸模型拟合到人脸图片上，在通过加入3D信息来解决由3D变换导致的外观变化和自遮挡问题。这种方法虽然可以实现三维人脸重建和稠密人脸对齐，但是采用级联的方式，降低了3D人脸重建的效率。2)位置映射回归网络，通过该位置映射回归网络能够同时完成3D人脸重建和稠密人脸对齐的端对端的方法，但是该位置映射回归网络的模型复杂度高，不适合对实时性要求很高的移动或嵌入式设备应用，而且模型对于大姿态或者遮挡的人脸的3D重建效果差。
为了提高三维人脸图像重建的效果以及效率，在本发明实施例中，采用人脸重建模型确定待处理人脸图像的人脸参数，再根据得到的人脸参数生成三维人脸图像，所述人脸重建模型为基于训练样本集训练得到，训练样本集中每组训练样本组均包括人脸图像以及该人脸图像对应的真实人脸参数，所述真实人脸参数包括对齐参数以及目标三维人脸模型的目标三维模型参数，这样对于任何姿态的人脸图像，均可以获取到该人脸图像对应的对齐参数和模型参数，根据所述模型参数生成人脸三维图像，再根据所述对齐参数对人脸三维图像进行调整，这样一方面提高了三维人脸图像重建的效果，另一方实现了任何姿态人脸的三维图像重建，提高了三维人脸重建的实时性，给用户的使用带来方便。
举例说明，本发明实施例可以应用到终端设备中，在应用到终端设备的场景中，首先，终端设备可以预先存储有人脸重建模型，终端设备可以采集待处理图像，并将所述待重建图像集输入人脸重建模型，通过所述人脸重建模型获取所述重建人脸图像对应的真实人脸参数，再根据所述真实人脸参数生成所述待处理人脸图像对应给的三维人脸图像。
可以理解的是，在上述应用场景中，虽然将本发明实施方式的动作描述为全部有终端设备执行的，但是在实际应用中这些动作也可以部分由终端设备执行、部分由服务器执行，或者完全由服务器执行。本发明在执行主体方面不受限制，只要执行了本发明实施方式所公开的动作即可。
此外，值得说明的是，所述人脸重建模型可作为一个人脸重建功能模块配置于具有成像系统(如，摄像头)的终端设备，当具有成像系统(如，摄像头)的终端设备拍摄到人脸照片时，启动所述人脸重建功能模块，通过所述人脸重建功能模块对该照片进行识别，以得到该人脸照片对于真实人脸参数，再根据真实人脸参数生成该人脸照片的三维人脸图像，使得终端设备可以根据拍摄得到的人脸照片实时生成三维人脸图像，提高了三维人脸图像获取的实时性。
需要注意的是，上述应用场景仅是为了便于理解本发明而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
本实施提供了一种人脸图像三维重建方法，如图1和2所示，所述方法包括：
S10、获取待处理人脸图像，并将所述待处理人脸图像输入至人脸重建模型。
具体地，所述待处理人脸图像可以是通过成像系统(例如，摄像头) 拍摄得到的人脸图像，其也可以是通过网络(如，百度)获取的人脸图像，其还可以是通过其他外部设备(如，智能手机)发送的人脸图像。在本实施例的一个可能实现方式中，所述待处理人脸图像是通过具有成像系统的终端设备拍摄的，并且该终端设备配置有人脸重建模型，通过该人脸重建模型可以直接确定该待处理人脸图像对应的人脸参数，并根据所述人脸参数确定该待处理人脸图像对应的三维人脸图像。这样终端设备在获取到待处理人脸图像时，可以实时获取到该待处理人脸图像对应的三维人脸图像，提高了三维人脸图像重建的实时性。其中，所述待处理图像为二维人脸图像，所述三维人脸图像为二维人脸图像对应三维图像。
进一步，所述人脸重建模型为基于预设的训练样本集训练得到的，该训练样本集包括多组具有不同图像内容的训练样本组，每一组训练样本组均包括人脸图像和该人脸图像对应的真实人脸参数，其中，真实人脸参数用于基于预设三维人脸模型生成三维人脸图像，其中，所述真实人脸参数为所述预设三维人脸模型的一组模型参数值。所述真实人脸参数包括人脸参数包括对齐参数以及目标三维人脸模型的目标三维模型参数。所述对齐参数用于将候选三维人脸图像与人脸图像对齐以得到三维人脸图像，以使得对齐得到的三维人脸图像的中人脸的朝向与该人脸图像中相应人脸的朝向相同。此外，候选三维人脸图像为根据人脸重建模型确定的目标三维模型参数以及目标三维人脸模型得到的三维人脸图像，所述目标三维人脸模型用于生成三维人脸图像，当将所述人脸图像对应的目标三维模型参数输入该目标三维人脸模型时，通过该目标三维人脸模型可以得到该人脸图像对应的候选三维人脸图像。
进一步，所述目标三维人脸模型包括平均脸参数，以及人脸形状和人脸表情差异的线性组合，并且所述目标三维人脸模型可以表示为平均脸参数与人脸形状和人脸表情的线性组合的和，其中，所述平均脸参数为基于人脸数据库构造一个平均人脸形变模型，其为预先获取的已知量，记为
Figure BDA0002351244470000075
所述人脸形状和人脸表情差异的线性组合中为人脸形状基与人脸表情基的线性组合，所述人脸形状基在该线性组合中的系数记为人脸形状系数，人脸表情基在该线性组合中的系数记为人脸表情系数，所述人脸形状系数和人脸表情系数为目标三维人脸模型的模型参数，即所述三维人脸模型的模型参数包括人脸形状系数和人脸表情系数。此外，所述人脸形状系数可以为3DMM形状模型的人脸形状系数，所述人脸表情系数可以是3DMM形状模型的人脸表情系数，也可以是BlendShape表情模型的人脸表情系数。
在本实施例的一个可能实现方式中，所述目标三维人脸模型的人脸形状系数为3DMM形状模型的人脸形状系数，所述人脸表情系数为BlendShape 表情模型的人脸表情系数，即所述目标三维人脸模型为3DMM形状模型和 BlendShape表情模型的混合。由此，所述目标三维人脸模型S可以表示为：
Figure BDA0002351244470000071
其中，
Figure BDA0002351244470000072
为平均脸参数，αid为3DMM人脸形变模型中人脸形状系数，Aid为3DMM人脸形变模型中用于描述人脸形状的一组向量，βexp为BlendShape 表情模型的人脸表情系数,Bexp为BlendShape表情模型的用于描述人脸表情的一组向量。
进一步，所述3DMM人脸形变模型是通过真实采集多张人脸图像，并对每张人脸图像进行PCA分析，以得到用于描述人脸形状的一组向量Aid和用于描述人脸表情的一组向量Aexp，再根据用于描述人脸形状的一组向量Aid、用于描述人脸表情的一组向量Aexp以及平均脸参数得到3DMM人脸形变模型对应的PAC描述，所述PAC描述可以表示为：
Figure BDA0002351244470000073
所述
Figure BDA0002351244470000074
为平均脸参数，αid为人脸形状系数，αexp为人脸表情系数。所述BlendShape 表情模型为通过对真实采集的多张人脸图像进行PAC分析，得到用于描述人脸表情的一组向量Bexp，并根据该用于描述人脸表情的一组向量Bexp得到 BlendShape表情模型的PAC描述，所述PAC描述可以为Bexpβexp，其中，βexp为BlendShape表情模型的人脸表情系数。所述BlendShape表情模型相对于所述3DMM人脸形变模型而言，BlendShape表情模型中每一表情系数具有明确的实际意义(如，控制眼睛的开闭以及嘴角上扬)，这样使得采用3DMM 形状模型和BlendShape表情模型混合的目标三维人脸模型中的每个人脸表情系数具有实际意义，提高了根据目标三维人脸模型生成的三维人脸图像的精确性。此外，在实际应用中，由于BlendShape表情系数较多，并且可能出现多个系数表达同一个表情的歧义，从而所述三维人脸模型采用BlendShape表情系数是对BlendShape表情系数进行筛选后的表情系数，所述筛选过程去除了过于细节及冗余的表情系数，只保留了若干个控制五官 (例如，眼睛、嘴部等)动作的人脸表情系数，这样可以降低人脸重建模型在训练过程中学习难度，可以提高人脸重建模型的训练速度。同时在本实施例的一个可能实施例中，筛选后的BlendShape表情系数包括7个表情系数，并且每个表情系数均表示不同的表情。
进一步，所述对齐参数包括旋转系数以及平移系数，所述旋转系数和平移系数用于将根据三维人脸模型生成的候选三维人脸与待处理人脸图像对齐。由此，在获取到三维人脸图像之后，需要通过对三维人脸图像进行旋转和平移，以使得所述三维人脸图像与该待处理人脸图像对齐，例如，所述三维人脸的人脸朝向与该待处理人脸图像的人脸朝向相同，如，均朝向正前方。在本实施例中，所述旋转系数采用四元数q(q1，q2，q3，q4) 来表示，其中，q＝q1+q2i+q3j+q4z，q，i，j和z均为虚数，q1，q2，q3和q4均为实数，并且q1，q2，q3和q4满足
Figure BDA0002351244470000081
i2＝-1,j2＝-1,z2＝-1；平移系数采用平移向量，这样采用四元数表示旋转系数可以避免当人脸接近侧脸的视角下时存在的万向锁问题，以提高人脸重建模型的精度。其中，万向锁问题为当旋转角度±90°时，整个旋转表示系统被限制在只能绕竖直轴旋转的问题。
进一步，在本实施例的一个实现方式中，所述人脸重建模型的训练过程可以包括：
H10、预设网络模型根据训练样本集中的人脸图像，生成所述人脸图像对应的预测人脸参数。
具体地，所述该训练样本集包括多组具有不同图像内容的训练样本组，每一组训练样本组均包括人脸图像和该人脸图像对应的真实人脸参数，其中，真实人脸参数包括对齐参数以及目标三维模型参数。此外，每组训练样本组中的人脸图像的图像内容不同，但各训练样本组的人脸图像图像尺寸以及图像类型均相同(例如，训练样本组A中人脸图像的图像尺寸为a*b 的彩色图像，那么训练样本组B中人脸图像的图像尺寸也为a*b的彩色图像)，这样可以使得各训练样本组中人脸图像均可以直接输入至预设网络模型，无需对人脸图像进行预处理，提高了预设网络模型的训练速度。例如，所述图像可以为120*120的彩色图像，其可以表示为120*120*3。当然，值得说明的，所述待处理人脸图像与所述训练样本中的人脸图像的图像尺寸与图像类型均相同，例如，当训练样本中人脸图像为120*120*3图像时，所述待处理人脸图像也需要为120*120*3图像，由此，当待处理人脸图像不为120*120*3图像时，可以对所述待处理人脸图像进行预处理，以将该待处理人脸图像处理为120*120*3图像。
进一步，在本实施例的一个实现方式中，所述训练样本集的获取过程可以包括：
M10、选取初始数据集；
M20、针对于所述初始数据集中的每张人脸图像，根据该人脸图像对应的模型系数确定该人脸图像对应的人脸特征点；
M30、将所述人脸特征点与所述目标三维人脸模型拟合以得到真实人脸参数，并将所述人脸图像以及所述真实人脸参数作为一训练样本组。
具体地，所述初始数据集包括多组初始数据，每组初始数据包括人脸图像以及所述人脸图像对应的模型系数，所述模型系数为所述初始数据对应的三维人脸模型(如，3DMM三维人脸模型等)的模型系数，根据所述模型系数可以确定其对应的人脸图像的人脸特征点。在本实施例中，所述初始数据集为300W-LP数据集，所述300W-LP数据集包括AFW数据集、HELEN 数据集、IBUG数据集以及ALFW数据集的图片。其中，AFW数据集是人脸关键点检测使用的数据集，其包含205个人脸图像以及473个标记的人脸， AFW数据集中每一人脸均提供了方形边界框，6个关键点和3个姿势角度的标注。Helen人脸数据库，发布于2012年，其包括训练集和测试集，测试集包含了330张人脸图片，训练集包括了2000张人脸图片，每张人脸图片均都被标注了68个特征点。IBUG，发布于2013年，其包含了135张人脸图片，每张人脸图片被标注了68个特征点。AFLW(Annotated Facial Landmarks in the Wild)是一个包括多姿态、多视角的大规模人脸数据库，其包括21,997张图，25,993张人脸，每张人脸标注21个关键点，同时还提供了矩形框和椭圆框的脸部位置标注以及人脸姿态角标注。此外，为了扩充所述初始数据集，在获取到初始数据集后，可以对于初始数据集中的每一张原始图像携带的人脸姿态进行连续变化以及镜像等操作，以扩充所述初始数据集，使得扩充后的初始数据集中包含多张人脸图像，并且多张人脸图像包含了人脸多种姿态，提高了初始数据集中人脸图像的人脸姿态分布的均匀性。此外，在实际应用中，所述初始数据集可以包括300W-LP 数据集以及AFLW-3D数据集等具有真实3D标注的数据集的全部数据或者部分数据，这样根据真实3D标注可以更准确地掌握网络训练的精度以及进度。
进一步，在根据所述初始数据集确定各人脸图像对应的模型系数后，可以根据所述模型系数确定所述人脸图像对应的三维人脸图像A，并根据所述三维人脸图像A确定该人脸图像对应的三维人脸特征点，在确定到该人脸图像对应的三维人脸特征点后，将该三维人脸特征点与目标三维人脸模型进行拟合，以得到人脸图像对应的对齐参数、人脸形状系数以及人脸表情系数，从而得到该人脸图像对应的真实人脸参数，最后将该真实人脸参数与该人脸图像进行关联以形成一组训练样本组。
进一步，在本实施例的一个实现方式中，所述将三维人脸图像与目标三维人脸模型进行拟合的过程可以为：首先，采用3DMM模型的平均脸参数估计对齐参数，其中，每个对齐参数中的旋转系数的四元数q(q1，q2，q3， q4)，其中，q＝q1+q2i+q3j+q4z，q，i，j和z均为虚数，q1，q2，q3和q4均为实数，并且q1，q2，q3和q4满足
Figure BDA0002351244470000101
i2＝-1,j2＝-1,z2＝-1；其次，在确定对齐参数的基础上，根据对齐参数确定3DMM模型的形状系数和表情系数，并将目标三维人脸模型中各形状系数和表情系数的系数特征值中加入平滑项防止过度拟合；最后在姿态信息及3DMM形状系数的基础上，确定BlendShape表情系数，并限制其取值范围为[0,1]。此外，根据初始数据集中每组数据生成训练样本组后，可以对生成得到的所有训练样本组构成的训练样本集进行清洗，以去除因姿态信息为处于预设范围内或光照未满足预设条件而造成无法分辨人脸特征的图片。
进一步，在确定对齐参数的基础上，根据对齐参数确定预设三维人脸模型的脸型系数和表情系数具体可以为：通过调整人脸图像的表情参数βn、变换参数Tn，以及平均人脸的脸型参数α，对三维人脸特征点的位置进行拟合计算。其中，拟合的数学公式表达如下：
Figure BDA0002351244470000102
其中，mn,i,i∈{1,2,...,K}代表第n帧的三维人脸特征点，K为第n帧的三维人脸特征点的数量；函数Em是目标方程中的数据项，用来度量三维人脸网格与三维人脸特征点的位置差异；λ表示一个常数系数；Eα与Eβ是目标方程中的正则项，用来规范脸型参数与表情参数的取值，防止人脸形变模型对三维人脸特征点的过拟合。
此外，对表情参数βn、变换参数Tn，以及脸型参数α的计算，可以采用对三个三维人脸拟合模型的参数分别进行单独优化的方式进行计算。目标方程中的数据项Em可以方便的表示为一个二次函数。比如，求取α时，保持β和T值不变，并用可变模型与三维人脸特征点之间的欧几里德距离平方和作为数据项，欧几里得距离计算公式为：
Figure BDA0002351244470000103
其中，fβ,T(α)是关于未知变量α的一个线性函数，Mi,i∈{1,2,...,K}为三维人脸特征点，K为三维人脸特征点的数量。
可以理解地，可以理解地，求取β和T时同样可以采取类似的策略，用二次函数表达数据项Em。另一方面，拟合的数学公式中的正则项Eα与Eβ也可以选择用二次函数进行描述，比如：
Eα(α)＝αTQαα
Eβ(β)＝βTQββ
其中，矩阵Qα为α对应的正则矩阵，Qβ为β对应的正则矩阵。
进一步，在本实施例的一个实现方式中，如图3所示，所述预设网络模型包括卷积模块100、池化模块200以及全连接模块300，所述卷积模块 100的输出端与所述池化模块200的输入端相连接，所述池化模块200的输出端与所述全连接模块300的输入端相连接。由此，所述卷积模块100的输入项为人脸图像，输出项为池化模块200的输入项，池化模块200的输出项为全连接模块300的输入项。相应的，所述预设网络模型根据训练样本集中的人脸图像，生成所述人脸图像对应的预测人脸参数具体包括：
H11、将所述人脸图像输入至所述卷积模块，通过所述卷积模型输出所述人脸图像的第一特征图像；
H12、将所述第一特征图像输入至池化模块，通过所述池化模块输出所述人脸图像的第二特征图像；
H13、将所述第二特征图像输入至全连接模块，通过所述全连接模块输出所述预测人脸参数。
具体地，所述卷积模块用于提取人脸图像的图像特征，所述卷积模块包括若干依次堆叠的卷积层，若干卷积层中每一卷积层的输入项均为位于其前方的卷积层的输出项，位于最前方的卷积层的输入项为人脸图像。例如，位于最前方的第一卷积层的输入项为人脸图像，第一卷积层对该人脸图像进行特征提取，以得到该人脸图像对应的特征图像A，所述特征图像A 为位于第一卷积层后的第二卷积层的输入项，第二卷积层对所述特征图像A进行特征提取，以得到该人脸图像对应的特征图像B，依次类推直至最后卷积层，通过该最后卷积层输出该人脸图像对应的第一特征图像。在本实施例的一个可能实现方式中，所述卷积模块包括6个卷积层，每个卷积层的卷积核均为3*3，这样通过采用6层3*3卷积层的卷积模块，可以轻量化预设网络模型的的网络框架，在使用预设网络模型训练得到人脸重建模型时，可以提高人脸重建模型的处理速度，提高三维人脸重建的效率，保证了三维人脸重建的实时性。此外，所述池化模块采用平均池化层，所述全连接模块采用全连接层。其中，所述预测人脸参数为通过将所述人脸图像输出至预设网络模型得到的输出人脸参数，所述预测三维人脸坐标点集为通过将所述人脸图像输出至预设网络模型得到的输出三维人脸坐标点集。
H20、所述预设网络模型根据所述人脸图像对应的真实人脸参数和所述人脸图像对应的预测人脸参数，对所述预设网络模型的模型参数进行修正。
具体地，所述对所述预设网络模型进行修正指的是对所述预设网络模型的模型参数进行修正，所述模型参数是基于真实人脸参数与预测人脸参数的损失值，以及根据真实人脸参数确定真实三维人脸图像与基于预测人脸参数确定的预测三维人脸图像的总损失值确定。那么，在计算所述预设网络模型的总损失值时，可以分别计算真实人脸参数与预测人脸参数的第一损失值和根据真实人脸参数确定真实三维人脸图像与基于预测人脸参数确定的预测三维人脸图像的第二损失值，再根据所述第一损失值和所述第二损失值计算预设网络模型的总损失值。相应的，在本实施例的一个实现方式中所述预设网络模型根据所述人脸图像对应的真实人脸参数和所述人脸图像对应的预测人脸参数，对所述预设网络模型的模型参数进行修正具体包括：
H21、根据所述目标三维人脸模型确定所述真实人脸参数对应的真实三维人脸图像，以及根据所述目标三维人脸模型确定所述预测人脸参数对应的预测三维人脸图像；
H22、根据所述真实三维人脸图像以及所述预测三维人脸图像计算第一损失值，并根据所述真实人脸参数和所述预测人脸参数确定第二损失值；
H23、根据所述第一损失值以及所述第二损失值计算总损失值，并根据所述总损失值对所述预设网络模型的模型参数进行修正。
具体地，所述真实三维人脸图像与预测三维人脸图像的第一损失值是根据真实三维人脸图像的各顶点与预测三维人脸图像的各顶点计算得到的。所述第二损失值为根据旋转系数与预测旋转系数、平移系数与预测平移系数、人脸形状系数与预测人脸形状系数、以及人脸表情系数与预测人脸表情系数计算得到，这样通过将真实三维人脸图像的顶点与预测三维人脸图像的顶点的第一损失值加入预设网络模型的损失值内，可以保证根据预设网络模型输出的真实人脸参数，重建的三维人脸图像的顶点坐标的准确性，进而可以提高预设网络模型的准确性。同时在提高顶点坐标的准确性的基础，可以提高预设网络模型的收敛速度，以提高预设网络模型的训练速度。
进一步，在本实施例的一个实现方式中，所述根据所述真实三维人脸图像以及所述预测三维人脸图像计算第一损失值具体包括：
N10、获取所述真实三维人脸图像的各顶点坐标，以及所述预测三维人脸图像包含的各预测顶点坐标；
N20、根据各顶点坐标与其对应的预测顶点坐标计算第一损失值。
具体地，所述真实三维人脸图像以及所述预测三维人脸图像均采用点云数或面片数来表示，并且相同序号的点代表相同的语音，例如，对于真实三维人脸图像以及预测三维人脸图像，第2217个面片顶点均为左眼角点等。由此，所述真实三维人脸图像包含的顶点数量与所述预测三维人脸图像包含的顶点数量相等，并且对于真实三维人脸图像中的每一顶点a，所述预测三维人脸图像中均存在一个顶点b，顶点b与顶点a相对应且顶点b与顶点a代表的人脸位置相同。此外，在本实施例中，所述第一损失值等于真实三维人脸图像中各顶点坐标与预测三维人脸图像中各预测顶点坐标的差值的平方和。由此，所述第一损失值Evdc的计算公式可以为：
Figure BDA0002351244470000121
其中，n为三维人脸图像的顶点数量，vi为真实三维人脸图像的顶点坐标，
Figure BDA0002351244470000122
为预测三维人脸图像的预测顶点坐标。
进一步，所述第二损失值为根据真实人脸参数与预测人脸参数计算得到，其中，所述真实人脸参数包括旋转系数、平移系数、人脸形状系数和人脸表情系数。由此，所述第二损失值是根据旋转系数与预测旋转系数、平移系数与预测平移系数、人脸形状系数与预测人脸形状系数、以及人脸表情系数与预测人脸表情系数计算得到。相应的，所述第二损失值Epdc的表达式可以为：
Figure BDA0002351244470000131
其中，ER为旋转系数与预测旋转系数的欧式距离，ET为平移系数与预测平移系数的欧式距离，
Figure BDA0002351244470000132
为人脸形状系数与预测人脸形状系数的欧式距离，
Figure BDA0002351244470000133
为人脸表情系数与预测人脸表情系数的欧式距离。
进一步，所述预测三维人脸图像的顶点坐标及平移向量均与人脸图像对齐的，人脸形状系数的取值范围和平移向量的取值范围均为[0,120]，取值变化很大；而旋转角度四元数的取值范围及表情参数的取值变化均在 [0,1]，取值变化比坐标变化小，从而若将它们同等对待，那么预设网络模型会优先优化人脸形状，导致旋转系数、表情参数预测不准。由此，在本实施例的一个实现方式中，可以为所述第一损失值和第二损失值分配权重值。相应的，所述根据所述第一损失值以及所述第二损失值计算总损失值，并根据所述总损失值对所述预设网络模型的模型参数进行修正具体为：
H231、根据预设权重参数集、所述第一损失值和第二损失值计算总损失值；
H232、根据所述总损失值对所述预设网络模型的模型参数进行修正。
具体地，所述预设权重参数集包括第一损失值的平均脸参数权重系数和第二损失值的第二权重系数集，所述第二权重系数集包括旋转系数权重、平移权重系数、人脸形状系数权重以及人脸表情系数。其中，所述平均脸参数权重系数、旋转系数权重、平移权重系数、人脸形状系数权重以及人脸表情系数权重均为预先配置的，例如，所述平均脸参数权重系数为1，旋转系数权重为100、平移系数权重为1、人脸形状系数权重为50，以及人脸表情系数权重为50等。由此，在实施例的一个可能实现方式中，所述总损失值的表达式可以为：
Figure BDA0002351244470000134
其中，w0为平均脸参数权重系数、w1为旋转系数权重，w2为平移系数权重，w3为人脸形状系数权重，w4为人脸表情系数权重，N为训练样本集的训练批数，ER为旋转系数与预测旋转系数的欧式距离，ET为平移系数与预测平移系数的欧式距离，
Figure BDA0002351244470000135
为人脸形状系数与预测人脸形状系数的欧式距离，
Figure BDA0002351244470000136
为人脸表情系数与预测人脸表情系数的欧式距离。
H30、所述预设网络模型继续执行根据训练样本集中的下一组训练样本中的人脸图像，生成所述人脸图像对应的预测人脸参数的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到所述人脸重建模型。
具体地，所述预设条件包括总损失值满足预设要求或者训练次数达到预设次数。所述预设要求可以是根据人脸重建模型的精度来确定，这里不做详细说明，所述预设次数可以为预设网络模型的最大训练次数，例如， 2000次等。由此，在预设网络模型输出预测人脸参数后，根据所述预测人脸参数以及所述真实人脸参数、预测人脸参数对应的预测三维人脸图像以及真实人脸参数对应的三维真实人脸参数来计算预设网络模型的总损失值，在计算得到总损失值后，判断所述总损失值是否满足预设要求；若总损失值满足预设要求，则结束训练；若总损失值不满足预设要求，则判断所述预设网络模型的训练次数是否达到预测次数，若未达到预设次数，则根据所述总损失值对所述预设网络模型的网络参数进行修正；若达到预设次数，则结束训练。这样通过总损失值和训练次数来判断预设网络模型训练是否结束，可以避免因总损失值无法达到预设要求而造成预设网络模型的训练进入死循环。
进一步，由于对预设网络模型的网络参数进行修改是在预设网络模型的训练情况未满足预设条件(例如，总损失值未满足预设要求并且训练次数未达到预设次数)时，从而在根据总损失值对所述预设网络模型的网络参数进行修正后，需要继续对网络模型进行训练，即继续执行将训练图像集中的人脸图像输入预设网络模型的步骤。其中，继续执行将训练图像集中人脸图像输入预设网络模型中的人脸图像可以为未作为输入项输入过预设网络模型的人脸图像。例如，训练图像集中所有人脸图像均具有唯一图像标识(例如，图像编号)，第一次训练输入预设网络模型的人脸图像的图像标识与第二次训练输入预设网络模型的人脸图像的图像标识不同，如，第一次训练输入预设网络模型的人脸图像的图像编号为1，第二次训练输入预设网络模型的人脸图像的图像编号为2，第N次训练输入预设网络模型的人脸图像的图像编号为N。当然，在实际应用中，由于训练图像集中的人脸图像的数量有限，为了提高人脸重建模型的训练效果，可以依次将训练图像集中的人脸图像输入至预设网络模型以对预设网络模型进行训练，当训练图像集中的所有人脸图像均输入过预设网络模型后，可以继续执行依次将训练图像集中的人脸图像输入至预设网络模型的操作，以使得训练图像集中的训练图像组按循环输入至预设网络模型。需要说明的是，在将人脸图像输入预设网络模型训练的过程中，可以按照各个人脸图像的图像编号顺序输入，也可以不按照各个人脸图像的图像编号顺序输入，当然，可以重复使用同一张人脸图像对预设网络模型进行训练，也可以不重复使用同一张人脸图像对预设网络模型进行训练，在本实施例中，不对“继续执行将训练图像集中的人脸图像输入预设网络模型的步骤”的具体实现方式进行限定。
进一步，在本实施例的一个实现方式中，为了提高预设网络模型的训练速度，可以将预先网络模型划分为若干训练阶段，每个训练阶段均对应一预设权重参数集以及模型参数的修正参数，每一训练阶段训练得到模型参数均为位于其后的训练阶段的初始模型参数，这样通过设置各训练阶段的预设权重参数集以及模型参数的修正参数，可以使得每个训练阶段对应的训练侧重点不同，其中，所述训练侧重点是通过其对应的预设权重参数集表现。例如，所述预设网络模型的训练过程包括3个训练阶段，分别记为训练阶段A、训练阶段B以及第三训练阶段C，训练阶段B为训练阶段A 的后一训练阶段，第三训练阶段C为训练阶段B的后一训练阶段，那么，训练阶段A训练得到模型参数作为训练阶段B的初始模型参数，训练阶段B 训练得到的模型参数作为训练阶段C的初始模型，而训练阶段C训练得到的模型参数作为人脸重建模型的模型参数。由此，在本实施例的一个可能实现方式中，所述人脸重建模型的训练过程具体包括：
A10、获取若干训练阶段中第一训练阶段对应的第一预设权重参数集以及第一修正参数；
A20、预设网络模型根据所述训练样本集、第一预设权重参数集以及第一修正参数进行训练，直至所述预设网络模型的训练情况满足第一阶段训练的预设条件；
A30、获取所述若干训练阶段中第二训练阶段对应的第二预设权重参数集以及第二修正参数，并继续执行预设网络模型根据所述训练样本集、第二预设权重参数集以及第二修正参数进行训练的步骤，直至所述若干训练阶段中最后训练阶段训练完成，以得到所述人脸重建模型。
具体地，所述若干训练阶段的第一训练阶段指的是若干训练阶段中最先进行的训练阶段，也就是说，当对预设网络模型进行训练时，首先进行第一训练阶段的训练。同时，在进行第一训练阶段之前，可以先在预设的训练阶段与预设权重参数集的对应关系中查找所述第一训练阶段对应的第一预设权重参数集以及第一修正参数，并根据所述训练样本集、第一预设权重参数集以及第一修正参数对所述预设网络模型进行训练，所述直至所述预设网络模型的训练情况满足第一阶段训练的预设条件。其中，所述第一预设权重参数集以及第一修正参数均为预先设置，用于对模型进行修正的参数，第一预设权重参数集以及第一修正参数可以与第一训练阶段对应的侧重点相关，例如，所述第一训练阶段对应的训练侧重点为姿态学习(即旋转系数和平移系数的学习)，第一预设权重参数集中旋转系数和平移系数对应权重值可以大于人脸形状系数和人脸表情系数的权重值，再如，第一训练阶段对应的训练侧重点为人脸形状系数和人脸表情系数的学习，第一预设权重参数集中人脸形状系数和人脸表情系数对应权重值可以大于旋转系数和平移系数的权重值；又如，第一训练阶段对应的训练侧重点为人脸表情系数的学习，第一预设权重参数集中人脸表情系数对应权重值可以大于旋转系数、平移系数以及人脸形状系数的权重值。当然，值得说明书的是，第一训练阶段与第二训练阶段训练侧重点不相同。例如，第一训练阶段侧重旋转系数和平移系数，第二训练阶段侧重于人脸形状系数和人脸表情系数。此外，所述第一训练阶段的训练过程与上述步骤H10-H30的预设网络模型的训练过程相同，仅是预设条件、预设权重参数集以及修正参数不同，这里就不在赘述，具体可以参数上述步骤H10-H30。
进一步，在第一训练阶段训练完成后，获取第二训练阶段对应的第二预设权重参数集以及第二修正参数，并根据所述训练样本集、第二预设权重参数集以及第二修正参数对预设网络模型进行训练，直至所述若干训练阶段中最后训练阶段训练完成，以得到所述人脸重建模型。其中，所述第二训练阶段为按照训练时间位于第一训练阶段后的训练阶段(即，第一训练阶段训练完成后，进行第二训练阶段的训练)，并且所述第二训练阶段对应的预设网络模型的初始模型参数为第一训练阶段训练得到的模型参数。当然，值得说明的，所述各训练阶段的训练过程与上述步骤H10-H30 的预设网络模型的训练过程相同，计算预设条件以及预设权重参数集以及模型参数的修正参数不同，这里就不在赘述，具体可以参数上述步骤 H10-H30。
举例说明：设训练样本集包括73172张人脸图像，测试数据集包含24340 张人脸图像，验证数据集包含24170张人脸图像，训练集、测试集以及验证集的中人脸图像不重复。所述预设网络模型的训练过程包括三个训练阶段，分别记为第一训练阶段、第二训练阶段以及第三训练阶段，其中，第二训练阶段为与第一训练阶段相邻且位于其后的训练阶段，第三训练阶段为与第二训练阶段相邻且位于其后的训练阶段，第一训练阶段训练得到模型参数为第二训练阶段的初始模型参数，第二训练阶段训练得到的模型参数为第三训练阶段的初始模型参数。第一训练阶段、第二训练阶段以及第三训练阶段的训练条件为：
1)、第一训练阶段：侧重旋转系数和平移系数学习
第一训练阶段对应的第一预设权重参数集为：
w0＝0，w1＝1000，w2＝10，w3＝500，w4＝500；
其中，w0为平均脸参数权重系数、w1为旋转系数权重，w2为平移系数权重，w3为人脸形状系数权重，w4为人脸表情系数权重；
第一训练阶段对应的修正参数的初始学习率为：1×10-5；
第一训练阶段对应的修正参数的学习率的调节方式：
当验证集完成使用6次时，总损失值仍未下降则学习率变为之前的二分之一，其中，所述修正参数的最低学习率为1×10-10；
第一训练阶段对应的预设条件为：
训练样本集的被重复训练次数为150，训练样本集的训练批的批次大小为64。
2)、第二训练阶段：侧重人脸形状系数和人脸表情系数学习
第二训练阶段对应的第二预设权重参数集为：
w0＝10，w1＝500，w2＝1，w3＝500，w4＝1000；
其中，w0为平均脸参数权重系数、w1为旋转系数权重，w2为平移系数权重，w3为人脸形状系数权重，w4为人脸表情系数权重；
第二训练阶段对应的修正参数的初始学习率为：1×10-6；
第二训练阶段对应的修正参数的学习率的调节方式：
当验证集完成使用4次时，总损失值仍未下降则学习率变为之前的二分之一，其中，所述修正参数的最低学习率为1×10-10；
第二训练阶段对应的预设条件为：
训练样本集的被重复训练次数为125，训练样本集的训练批的批次大小为64。
3)、第三训练阶段：侧重人脸表情系数学习
第三训练阶段对应的第三预设权重参数集为：
w0＝10，w1＝500，w2＝5，w3＝100，w4＝1000；
其中，w0为平均脸参数权重系数、w1为旋转系数权重，w2为平移系数权重，w3为人脸形状系数权重，w4为人脸表情系数权重；
第三训练阶段对应的修正参数的初始学习率为：1×10-6；
第三训练阶段对应的修正参数的学习率的调节方式：
当验证集完成使用4次时，总损失值仍未下降则学习率变为之前的二分之一，其中，所述修正参数的最低学习率为1×10-12；
第三训练阶段对应的预设条件为：
训练样本集的被重复训练次数为110，训练样本集的训练批的批次大小为64。
S20、通过所述人脸重建模型确定所述待处理人脸图像对应的人脸参数。
具体地，所述通过所述人脸重建模型确定所述待处理人脸图像对应的人脸参数指的是将所述待处理人脸图像作为所述人脸重建模型的输入项输入至所述人脸重建模型中，通过所述人脸重建模型输出所述待处理人脸图像的人脸参数，其中，所述人脸参数包括对齐参数以及目标三维模型参数，所述对齐参数包括旋转参数以及平移参数，所述目标三维模型参数包括人脸形状系数和人脸表情系数。所述对齐参数用于将根据真实人脸参数得到的重建三维人脸图像与其对应的待处理人脸图像进行对齐，以使得三维人脸图像的人脸朝向以及人脸部位与人脸图像的人脸超声以及人脸部位对应。。
进一步，由所述人脸重建模型的训练过程可以知道，所述人脸重建模型包括卷积模型、池化模块以及全连接模块，从而在通过所述人脸重建模型确定所述待处理人脸图像对应的人脸参数具体包括：
将所述待处理人脸图像输入至所述卷积模块，通过所述卷积模型输出所述人脸图像的第一特征图像；
将所述第一特征图像输入至池化模块，通过所述池化模块输出所述人脸图像的第二特征图像；
将所述第二特征图像输入至全连接模块，通过所述全连接模块输出所述待处理人脸图像对应的人脸参数。
具体地，所述卷积模块提取输入的待处理人脸图像的图像特征以得到第一特征图像，并将第一特征图像输入至池化模块，所述池化模块提取输入的第一特征图像的特征以得到第二特征图像，并将第二特征图像输入至全连接模块，通过全连接模型得到待处理人脸图像对应的人脸参数。其中，所述卷积模块的结构与预设网络模型中的卷积模块的结构相同，具体可以参照预设网络模型中的卷积模块的结构的说明。所述人脸重建模型的卷积模块、池化模块以及全连接模块对待处理人脸图像的处理过程与预设网络模型中的卷积模块、池化模块以及全连接模块对人脸图像的处理过程相同，从而具体可以参数上述步骤H10-H30，这里就不再赘述。
可以理解的是，人脸重建模型在训练过程中对应的网络结构，与在应用过程(获取待处理人脸图像的人脸参数)中所对应的网络结构相同，并且所述图像识别图像在训练过程中的处理过程，与在应用过程中的处理过程也相同。例如，在训练的过程中，人脸重建模型包括卷积模块、池化模块和全连接模块，那么相应地，在通过人脸重建模型去除待处理人脸图像对应的人脸参数时，人脸重建模型也包括卷积模块、池化模块和全连接模块。
S30、根据所述人脸参数以及所述目标三维人脸模型生成所述待处理人脸图像对应的三维人脸图像。
具体地，所述人脸参数包括对齐参数以及模型参数，所述根据所述人脸参数以及所述目标三维人脸模型生成所述待处理人脸图像对应的三维人脸图像指的是根据模型参数生成候选三维人脸图像，在根据对齐参数对候选三维人脸图像进行调整，以得到所述待处理人脸图像对应的三维人脸图像。相应的，所述根据所述人脸参数以及所述预设人脸三维模型生成所述待处理人脸图像对应的三维人脸图像具体包括：
S31、根据所述模型参数以及所述预设人脸三维模型生成候选三维人脸图像；
S32、根据所述对齐参数对所述候选三维人脸图像进行调整，以得到所述待处理人脸图像对应的三维人脸图像。
具体地，所述根据所述模型参数以及所述预设人脸三维模型生成候选三维人脸图像指的是将所述模型参数输入至预设人脸三维模型，通过所述三维人脸模型生成候选三维人脸图像。在获取到候选三维人脸图像后，根据旋转系数对所述候选三维人脸图像进行旋转，以使得旋转后的候选三维人脸图像的人脸朝向与待处理人脸图像的人脸朝向一致。同时，在获取到旋转后的候选三维人脸图像后，可以通过平移系数对旋转得到的三维人脸图像进行平移，使得所述三维人脸图像的人脸部位(例如，人脸五官)与待处理人脸图像的人脸部位对齐。
基于上述人脸图像三维重建方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的人脸图像三维重建方法中的步骤。
基于上述人脸图像三维重建方法，本发明还提供了一种终端设备，如图3所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23 和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器 22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及移动终端中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (15)

1.一种人脸图像三维重建方法，其特征在于，所述人脸图像三维重建方法包括：
获取待处理人脸图像，并将所述待处理人脸图像输入至人脸重建模型，其中，所述待处理人脸图像为二维图像，所述人脸重建模型为基于训练样本集训练得到的，所述训练样本集中的每一训练样本组均包括人脸图像以及该人脸图像对应的真实人脸参数；
通过所述人脸重建模型确定所述待处理人脸图像对应的人脸参数；
根据所述人脸参数以及所述目标三维人脸模型生成所述待处理人脸图像对应的三维人脸图像。
2.根据权利要求1所述人脸图像三维重建方法，其特征在于，所述根据所述人脸参数以及所述目标三维人脸模型生成所述待处理人脸图像对应的三维人脸图像具体包括：
根据所述目标三维模型参数以及所述目标三维人脸模型生成候选三维人脸图像；
根据所述对齐参数对所述候选三维人脸图像进行调整，以得到所述待处理人脸图像对应的三维人脸图像。
3.根据权利要求1所述人脸重建模型的生成方法，其特征在于，所述对齐参数包括旋转系数以及平移系数，所述目标三维模型参数包括人脸形状系数以及人脸表情系数。
4.根据权利要求1所述人脸重建模型的生成方法，其特征在于，所述获取待处理人脸图像为通过电子设备配置的成像系统获取的。
5.根据权利要求1-4任一所述的人脸图像三维重建方法，其特征在于，所述人脸重建模型的训练过程具体包括：
预设网络模型根据训练样本集中的人脸图像，生成所述人脸图像对应的预测人脸参数；
所述预设网络模型根据所述人脸图像对应的真实人脸参数和所述人脸图像对应的预测人脸参数，对所述预设网络模型的模型参数进行修正；
所述预设网络模型继续执行根据训练样本集中的下一组训练样本中的人脸图像，生成所述人脸图像对应的预测人脸参数的步骤，直至所述预设网络模型的训练情况满足预设条件，以得到所述人脸重建模型。
6.根据权利要求5所述人脸重建模型的生成方法，其特征在于，所述预设网络模型根据训练样本集中的人脸图像，生成所述人脸图像对应的预测人脸参数，之前，所述方法还包括：获取所述训练样本集；
所述获取所述训练样本集具体包括：
选取初始数据集，其中，所述初始数据集包括多组初始数据，每组初始数据包括人脸图像以及所述人脸图像对应的模型系数，所述模型系数为所述初始数据对应的三维人脸模型的系数；
针对于所述初始数据集中的每张人脸图像，根据该人脸图像对应的模型系数确定该人脸图像对应的人脸特征点；
将所述人脸特征点与所述目标三维人脸模型拟合以得到真实人脸参数，并将所述人脸图像以及所述真实人脸参数作为一训练样本组。
7.根据权利要求5所述人脸重建模型的生成方法，其特征在于，所述预设网络模型包括卷积模块、池化模块以及全连接模块；所述预设网络模型根据训练样本集中的人脸图像，生成所述人脸图像对应的预测人脸参数具体包括：
将所述人脸图像输入至所述卷积模块，通过所述卷积模型输出所述人脸图像的第一特征图像；
将所述第一特征图像输入至池化模块，通过所述池化模块输出所述人脸图像的第二特征图像；
将所述第二特征图像输入至全连接模块，通过所述全连接模块输出所述预测人脸参数。
8.根据权利要求7所述人脸重建模型的生成方法，其特征在于，所述卷积模块包括级联的六个卷积层，各卷积层的卷积核均为3*3。
9.根据权利要求5所述人脸重建模型的生成方法，其特征在于，所述预设网络模型根据所述人脸图像对应的真实人脸参数和所述人脸图像对应的预测人脸参数，对所述预设网络模型的模型参数进行修正具体包括：
根据所述目标三维人脸模型确定所述真实人脸参数对应的真实三维人脸图像，以及根据所述目标三维人脸模型确定所述预测人脸参数对应的预测三维人脸图像；
根据所述真实三维人脸图像以及所述预测三维人脸图像计算第一损失值，并根据所述真实人脸参数和所述预测人脸参数确定第二损失值；
根据所述第一损失值以及所述第二损失值计算总损失值，并根据所述总损失值对所述预设网络模型的模型参数进行修正。
10.根据权利要求9所述人脸重建模型的生成方法，其特征在于，所述根据所述真实三维人脸图像以及所述预测三维人脸图像计算第一损失值具体包括：
获取所述真实三维人脸图像的各顶点坐标，以及所述预测三维人脸图像包含的各预测顶点坐标；
根据各顶点坐标与其对应的预测顶点坐标计算第一损失值。
11.根据权利要求9所述人脸重建模型的生成方法，其特征在于，所述根据所述第一损失值以及所述第二损失值计算总损失值，并根据所述总损失值对所述预设网络模型的模型参数进行修正具体为：
根据预设权重参数集、所述第一损失值和第二损失值计算总损失值；
根据所述总损失值对所述预设网络模型的模型参数进行修正。
12.根据权利要求5所述人脸重建模型的生成方法，其特征在于，所述人脸重建模型的训练过程包括依次进行的若干训练阶段，每个训练阶段均对应一预设权重参数集以及预设网络模型的修正参数，对于每个训练阶段，若该训练阶段存在位于其后且与其相邻的第一训练阶段，则将该训练阶段训练得到模型参数作为第一训练阶段的初始模型参数，若该训练阶段未存在位于其后且与其相邻的第一训练阶段，则将该训练阶段训练得到模型参数作为所述人脸重建模型的模型参数。
13.根据权利要求12所述人脸重建模型的生成方法，其特征在于，所述人脸重建模型包括第一训练阶段以及第二训练阶段；所述人脸重建模型的训练过程具体包括：
获取所述第一训练阶段对应的第一预设权重参数集以及第一修正参数；
预设网络模型根据所述训练样本集、第一预设权重参数集以及第一修正参数进行训练，直至所述预设网络模型的训练情况满足第一阶段训练的预设条件；
获取所述第二训练阶段对应的第二预设权重参数集以及第二修正参数，基于所述训练样本集、第二预设权重参数集以及第二修正参数对预设网络模型根据训练，直至所述若干训练阶段中最后训练阶段训练完成，以得到所述人脸重建模型，其中，第二训练阶段中预设网络模型的初始模型参数为第一训练阶段训练得到的模型参数。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～13任意一项所述的人脸图像三维重建方法中的步骤。
15.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-13任意一项所述的人脸图像三维重建方法中的步骤。
CN201911416193.8A 2019-12-31 2019-12-31 一种人脸图像三维重建方法、存储介质及终端设备 Pending CN113129425A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911416193.8A CN113129425A (zh) 2019-12-31 2019-12-31 一种人脸图像三维重建方法、存储介质及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911416193.8A CN113129425A (zh) 2019-12-31 2019-12-31 一种人脸图像三维重建方法、存储介质及终端设备

Publications (1)

Publication Number Publication Date
CN113129425A true CN113129425A (zh) 2021-07-16

Family

ID=76770733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911416193.8A Pending CN113129425A (zh) 2019-12-31 2019-12-31 一种人脸图像三维重建方法、存储介质及终端设备

Country Status (1)

Country Link
CN (1) CN113129425A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808249A (zh) * 2021-08-04 2021-12-17 北京百度网讯科技有限公司 图像处理方法、装置、设备和计算机存储介质
CN114782864A (zh) * 2022-04-08 2022-07-22 马上消费金融股份有限公司 一种信息处理方法、装置、计算机设备及存储介质
CN115393532A (zh) * 2022-10-27 2022-11-25 科大讯飞股份有限公司 脸部绑定方法、装置、设备及存储介质
WO2023030381A1 (zh) * 2021-09-01 2023-03-09 北京字跳网络技术有限公司 三维人头重建方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680158A (zh) * 2017-11-01 2018-02-09 长沙学院 一种基于卷积神经网络模型的三维人脸重建方法
CN108121950A (zh) * 2017-12-05 2018-06-05 长沙学院 一种基于3d模型的大姿态人脸对齐方法和系统
CN109255830A (zh) * 2018-08-31 2019-01-22 百度在线网络技术（北京）有限公司 三维人脸重建方法和装置
CN109299643A (zh) * 2018-07-17 2019-02-01 深圳职业技术学院 一种基于大姿态对准的人脸识别方法及系统
CN109377544A (zh) * 2018-11-30 2019-02-22 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法、装置和可读介质
CN109508678A (zh) * 2018-11-16 2019-03-22 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
CN109978989A (zh) * 2019-02-26 2019-07-05 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN110020600A (zh) * 2019-03-05 2019-07-16 厦门美图之家科技有限公司 生成用于训练人脸对齐模型的数据集的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680158A (zh) * 2017-11-01 2018-02-09 长沙学院 一种基于卷积神经网络模型的三维人脸重建方法
CN108121950A (zh) * 2017-12-05 2018-06-05 长沙学院 一种基于3d模型的大姿态人脸对齐方法和系统
CN109299643A (zh) * 2018-07-17 2019-02-01 深圳职业技术学院 一种基于大姿态对准的人脸识别方法及系统
CN109255830A (zh) * 2018-08-31 2019-01-22 百度在线网络技术（北京）有限公司 三维人脸重建方法和装置
CN109508678A (zh) * 2018-11-16 2019-03-22 广州市百果园信息技术有限公司 人脸检测模型的训练方法、人脸关键点的检测方法和装置
CN109377544A (zh) * 2018-11-30 2019-02-22 腾讯科技（深圳）有限公司 一种人脸三维图像生成方法、装置和可读介质
CN109978989A (zh) * 2019-02-26 2019-07-05 腾讯科技（深圳）有限公司 三维人脸模型生成方法、装置、计算机设备及存储介质
CN110020600A (zh) * 2019-03-05 2019-07-16 厦门美图之家科技有限公司 生成用于训练人脸对齐模型的数据集的方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808249A (zh) * 2021-08-04 2021-12-17 北京百度网讯科技有限公司 图像处理方法、装置、设备和计算机存储介质
WO2023030381A1 (zh) * 2021-09-01 2023-03-09 北京字跳网络技术有限公司 三维人头重建方法、装置、设备及介质
CN114782864A (zh) * 2022-04-08 2022-07-22 马上消费金融股份有限公司 一种信息处理方法、装置、计算机设备及存储介质
CN114782864B (zh) * 2022-04-08 2023-07-21 马上消费金融股份有限公司 一种信息处理方法、装置、计算机设备及存储介质
CN115393532A (zh) * 2022-10-27 2022-11-25 科大讯飞股份有限公司 脸部绑定方法、装置、设备及存储介质
CN115393532B (zh) * 2022-10-27 2023-03-14 科大讯飞股份有限公司 脸部绑定方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Chen et al. Fsrnet: End-to-end learning face super-resolution with facial priors
US10679046B1 (en) Machine learning systems and methods of estimating body shape from images
CN113129425A (zh) 一种人脸图像三维重建方法、存储介质及终端设备
CN110660037B (zh) 图像间脸部交换的方法、装置、系统和计算机程序产品
Zeng et al. 3dmatch: Learning local geometric descriptors from rgb-d reconstructions
US20210232924A1 (en) Method for training smpl parameter prediction model, computer device, and storage medium
Tewari et al. Mofa: Model-based deep convolutional face autoencoder for unsupervised monocular reconstruction
CN107953329B (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
Wang et al. 360sd-net: 360 stereo depth estimation with learnable cost volume
WO2015139574A1 (zh) 一种静态物体重建方法和系统
US10755145B2 (en) 3D spatial transformer network
US11557391B2 (en) Systems and methods for human pose and shape recovery
Ibáñez et al. An experimental study on the applicability of evolutionary algorithms to craniofacial superimposition in forensic identification
US10824910B2 (en) Image processing method, non-transitory computer readable storage medium and image processing system
Xu et al. Predicting animation skeletons for 3d articulated models via volumetric nets
CN107871098B (zh) 人脸特征点的获取方法和装置
WO2015180042A1 (en) Learning deep face representation
CN108475424B (zh) 用于3d面部跟踪的方法、装置和系统
EP3876110A1 (en) Method, device and apparatus for recognizing, categorizing and searching for garment, and storage medium
WO2019041660A1 (zh) 人脸去模糊方法及装置
US11963741B2 (en) Systems and methods for human pose and shape recovery
US20160163114A1 (en) Absolute rotation estimation including outlier detection via low-rank and sparse matrix decomposition
Lu et al. SLR: Semi-coupled locality constrained representation for very low resolution face recognition and super resolution
Xue et al. Fisheye distortion rectification from deep straight lines
CN110598595A (zh) 一种基于人脸关键点和姿态的多属性人脸生成算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination