CN111951372B - 一种三维人脸模型的生成方法和设备 - Google Patents

一种三维人脸模型的生成方法和设备 Download PDF

Info

Publication number
CN111951372B
CN111951372B CN202010621329.5A CN202010621329A CN111951372B CN 111951372 B CN111951372 B CN 111951372B CN 202010621329 A CN202010621329 A CN 202010621329A CN 111951372 B CN111951372 B CN 111951372B
Authority
CN
China
Prior art keywords
preset
neural network
face image
model
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010621329.5A
Other languages
English (en)
Other versions
CN111951372A (zh
Inventor
徐博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Spiritplume Interactive Entertainment Technology Co ltd
Original Assignee
Chongqing Spiritplume Interactive Entertainment Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Spiritplume Interactive Entertainment Technology Co ltd filed Critical Chongqing Spiritplume Interactive Entertainment Technology Co ltd
Priority to CN202010621329.5A priority Critical patent/CN111951372B/zh
Publication of CN111951372A publication Critical patent/CN111951372A/zh
Application granted granted Critical
Publication of CN111951372B publication Critical patent/CN111951372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects

Abstract

本发明公开了一种三维人脸模型的生成方法和设备，预先基于训练数据和预设神经网络结构生成预设神经网络模型，该方法包括接收待处理人脸图像，并基于预设神经网络模型获取待处理人脸图像的深度信息，所述深度信息包括像素深度、表情系数、像素纹理和球谐光照系数，根据深度信息和预设标准三维人脸模型生成待处理人脸图像的三维人脸模型，其中，所述训练数据包括预设人脸图像和预设人脸图像的真实像素深度、真实表情系数、真实像素纹理和真实球谐光照系数，从而在不增加成本的基础上提高获取人脸图像的深度信息的准确度，进而提高生成的三维人脸模型与人脸图像的相似度。

Description

一种三维人脸模型的生成方法和设备
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种三维人脸模型的生成方法和设备。
背景技术
通过相机扫描人脸形成3D人脸重建的过程中，需要获得人脸的深度信息去还原人脸模型。
现有技术中为了获得人脸的深度信息，通常需要引入深度探测感应系统，如FaceID中的原深感摄像头系统，这类系统需要红外镜头、泛光感应元件、距离感应器、环境光感应器、点阵投影器等元件相互配合运行。这样一来，就造成了通用性缺陷。这种方式一方面会受到相机的型号和操作系统的限制，另一方面相机设备的成本代价高昂。
现有技术还有通过相机的移动来确定目标的空间和几何关系，是三维重建的一种常见方法。最具代表性的是基于SFM(Structure From Motion，运动恢复结构)的方法。它只需要普通的RGB摄像头即可，因此成本更低廉，且受环境约束较小。缺点主要体现在3个方面。首先是稳定性差，当不同角度的照片特征点匹配不足时无法生成有效的3维结构。再则计算速度慢，需要对每张照片进行提取特征点，匹配特征点，矩阵估计和点云计算等操作。最后是深度的准确性达不到要求。由于人脸是一个深度敏感的区域，即要求表面光滑，还需要精确的深度信息。否则会对3D人脸的效果和是否与拍照人相似程度产生重大负面影响。
因此，如何在不增加成本的基础上提高获取人脸图像的深度信息的准确度，进而提高生成的三维人脸模型与人脸图像的相似度，是目前有待解决的技术问题。
发明内容
本发明提供一种三维人脸模型的生成方法和设备，用以解决现有技术中获取人脸图像的深度信息成本高或准确度低的技术问题，预先基于训练数据和预设神经网络结构生成预设神经网络模型，所述方法包括：
接收待处理人脸图像，并基于所述预设神经网络模型获取所述待处理人脸图像的深度信息，所述深度信息包括像素深度，表情系数，像素纹理和球谐光照系数；
根据所述深度信息和预设标准三维人脸模型生成所述待处理人脸图像的三维人脸模型；
其中，所述训练数据包括预设人脸图像和所述预设人脸图像的真实像素深度、真实表情系数、真实像素纹理和真实球谐光照系数。
优选地，根据所述深度信息和预设标准三维人脸模型生成所述待处理人脸图像的三维人脸模型，具体为：
根据所述深度信息生成骨骼信息；
根据所述骨骼信息调整所述预设标准三维人脸模型；
根据所述调整的结果生成所述三维人脸模型。
优选地，所述预设神经网络模型的损失函数包括所述待处理人脸图像与预测图像的差值，所述预测图像为所述三维人脸模型在三维场景中的投影图像。
优选地，所述预设神经网络结构中包括残差网络块模型和卷积核，其中，预设数量的残差网络块模型不连接所述预设神经网络结构的全连接层。
优选地，所述训练数据为经过数据增强处理的数据，所述数据增强处理包括增加所述预设人脸图像的背景和或改变所述预设人脸图像的旋转角度。
优选地，基于训练数据和预设神经网络结构生成预设神经网络模型，具体为：
根据所述预设人脸图像的长度和宽度确定预设神经网络结构的初始参数，所述初始参数包括输入层的单元个数、各隐藏层的输入数量和输出数量、初始权重值；
将所述预设人脸图像输入所述输入层，并基于前向传播算法和所述初始参数确定输出层结果；
根据所述输出层结果和所述训练数据确定所述损失函数；
基于最优化算法与反向传播算法按预设学习率进行训练，并根据所述训练的结果确定所述损失函数的最小损失值，所述预设学习率为基于适应性矩阵估计Adam算法确定的学习率；
根据所述最小损失值对应的权重值确定所述预设神经网络模型。
相对应的，本发明还提出了一种三维人脸模型的生成设备，预先基于训练数据和预设神经网络结构生成预设神经网络模型，所述设备包括：
获取模块，用于接收待处理人脸图像，并基于所述预设神经网络模型获取所述待处理人脸图像的深度信息，所述深度信息包括像素深度，表情系数，像素纹理和球谐光照系数；
生成模块，用于根据所述深度信息和预设标准三维人脸模型生成所述待处理人脸图像的三维人脸模型；
其中，所述训练数据包括预设人脸图像和所述预设人脸图像的真实像素深度、真实表情系数、真实像素纹理和真实球谐光照系数。
优选地，所述生成模块，具体用于：
根据所述深度信息生成骨骼信息；
根据所述骨骼信息调整所述预设标准三维人脸模型；
根据所述调整的结果生成所述三维人脸模型。
优选地，所述预设神经网络模型的损失函数包括所述待处理人脸图像与预测图像的差值，所述预测图像为所述三维人脸模型在三维场景中的投影图像。
优选地，还包括训练模块，用于：
根据所述预设人脸图像的长度和宽度确定预设神经网络结构的初始参数，所述初始参数包括输入层的单元个数、各隐藏层的输入数量和输出数量、初始权重值；
将所述预设人脸图像输入所述输入层，并基于前向传播算法和所述初始参数确定输出层结果；
根据所述输出层结果和所述训练数据确定所述损失函数；
基于最优化算法与反向传播算法按预设学习率进行训练，并根据所述训练的结果确定所述损失函数的最小损失值，所述预设学习率为基于适应性矩阵估计Adam算法确定的学习率；
根据所述最小损失值对应的权重值确定所述预设神经网络模型。
本发明公开了一种三维人脸模型的生成方法和设备，预先基于训练数据和预设神经网络结构生成预设神经网络模型，该方法包括接收待处理人脸图像，并基于预设神经网络模型获取待处理人脸图像的深度信息，所述深度信息包括像素深度、表情系数、像素纹理和球谐光照系数，根据深度信息和预设标准三维人脸模型生成待处理人脸图像的三维人脸模型，其中，所述训练数据包括预设人脸图像和预设人脸图像的真实像素深度、真实表情系数、真实像素纹理和真实球谐光照系数，通过充分利用神经网络端到端的、复杂数据的预测能力，从人脸图像获得人脸的深度信息，由于不依赖于深度检测传感器，具有巨大的成本优势，并且与基于传统的SFM三维重建的方法相比，在处理速度上提升了至少一个数量级，并提高了生成出来的三维人脸模型与人脸图像的相似度和平滑度，提升了用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提出的一种三维人脸模型的生成方法的流程示意图；
图2示出了本发明实施例中预设神经网络结构示意图；
图3示出了本发明实施例中一组训练数据组成示意图；
图4示出了本发明实施例中训练阶段和使用阶段流程示意图；
图5示出了本发明实施例中最终效果示意图；
图6示出了本发明实施例提出的一种三维人脸模型的生成设备结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
人脸是人类日常表达、交流最重要和最直接的载体，三维人脸模型一直备受关注，其在游戏、影视特效、虚拟现实、辅助医疗等领域都有着非常广阔的应用前景。
如背景技术中所述，现有技术在生成三维人脸模型中，一种是引入深度探测感应系统，这类系统需要各元件相互配合运行，易受到相机型号和操作系统的限制，其成本代价也相对高昂，另一种是通过相机的移动来确定目标的空间和几何关系，但稳定性差，当不同角度的照片特征点匹配不足时无法生成有效的三维结构，并且其计算速度慢和深度信息的准确性达不到要求。
因此，本申请提出了一种三维人脸模型的生成方法，用以解决现有技术中获取人脸图像的深度信息成本高或准确度低的技术问题。
如图1所示为本发明优选实施例提出的一种三维人脸模型的生成方法的流程示意图，该方法预先基于训练数据和预设神经网络结构生成预设神经网络模型，训练数据包括预设人脸图像和所述预设人脸图像的真实像素深度、真实表情系数、真实像素纹理和真实球谐光照系数，该方法包括以下步骤：
步骤S101、接收待处理人脸图像，并基于所述预设神经网络模型获取所述待处理人脸图像的深度信息，所述深度信息包括像素深度，表情系数，像素纹理和球谐光照系数。
本步骤中，先接收待处理人脸图像，将该待处理人脸图像输入至预设神经网络模型中，通过预设神经网络模型的预测结果获取待处理人脸图像的深度信息，该深度信息包括像素深度，表情系数，像素纹理和球谐光照系数。
为了提高预设神经网络模型的准确度，在本申请优选实施例中，所述预设神经网络模型的损失函数包括所述待处理人脸图像与预测图像的差值，所述预测图像为所述三维人脸模型在三维场景中的投影图像。
具体的，预设神经网络模型中的损失函数还包括待处理人脸图像与预测图像的差值，预测图像即为三维人脸模型在三维场景中的投影图像，上述差值可以是将待处理人脸图像与预测图像转换为矩阵的差值，将该差值作为损失函数中的一个项，可以进一步提高预设神经网络模型的准确性。
为了更准确的训练神经网络模型，在本申请优选实施例中，所述预设神经网络结构中包括残差网络块模型和卷积核，其中，预设数量的残差网络块模型不连接所述预设神经网络结构的全连接层，如图2所示。
具体的，在训练预设神经网络模型时，预设神经网络结构中还包括有残差网络块模型和卷积核，卷积核就是图像处理时，给定输入图像，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核，残差网络是一种卷积神经网络，本申请残差网络块模型中的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
在训练预设神经网络模型时，通过预设神经网络结构中的残差网络块模型来提取训练数据中预设人脸图像的特征，并通过不同卷积核去提取不同大小像素区域的特征，以使更准确的获取全局和局部的关键信息点，并且本申请中预设数量的残差网络块模型不连接预设神经网络结构的全连接层，预设神经网络结构的示意图可如图2所示。
为了更准确的训练预设神经网络模型，在本申请优选实施例中，所述训练数据为经过数据增强处理的数据，所述数据增强处理包括增加所述预设人脸图像的背景和或改变所述预设人脸图像的旋转角度。
具体的，上述训练数据是经过数据增强处理的数据，包括增加预设人脸图像的背景和或改变预设人脸图像的旋转角度，这些训练数据可基于参数化的3D人脸模型(3DMM)产生，通过增加背景和人脸图像旋转等方式扩大数据集，以使预设神经网络模型能适应多种环境和各种人脸位置的情况。
本领域技术人员可根据实际需要灵活调整各种方式扩大包含训练数据的数据集，这并不影响本申请的保护范围。
且该训练数据包括预设人脸图像和预设人脸图像的真实像素深度、真实表情系数、真实像素纹理和真实球谐光照系数，通过预设人脸图像和预设人脸图像的真实深度信息来对预设神经网络模型进行训练以使预设神经网络模型更准确，训练数据的一组例子可如图3所示。
为了使预设神经网络模型更准确，在本申请优选实施例中，基于训练数据和预设神经网络结构生成预设神经网络模型，具体为：
根据所述预设人脸图像的长度和宽度确定预设神经网络结构的初始参数，所述初始参数包括输入层的单元个数、各隐藏层的输入数量和输出数量、初始权重值；
将所述预设人脸图像输入所述输入层，并基于前向传播算法和所述初始参数确定输出层结果；
根据所述输出层结果和所述训练数据确定所述损失函数；
基于最优化算法与反向传播算法按预设学习率进行训练，并根据所述训练的结果确定所述损失函数的最小损失值，所述预设学习率为基于适应性矩阵估计Adam算法确定的学习率；
根据所述最小损失值对应的权重值确定所述预设神经网络模型。
具体的，在对预设神经网络模型进行训练时，先根据预设人脸图像的长度和宽度来确定预设神经网络结构的初始参数，该初始参数包括了输入层的单元个数、各隐藏层的出入数量和输出数量、初始权重值。
例如，设置每个隐藏层的输入和输出数量，在编码阶段可采用(3，64)，(64，128)，(256，256)，(256，512)，在解码阶段采用(512，256)，(256，256)，(256，64)，(64，3)的输入输出数量，初始权重值为随机且接近0但是非0的很小的值，具体可根据实际情况灵活设置。
需要说明的是，以上初始参数的调整仅为本申请优选实施例中一种具体实现方案，其他初始参数的调整或预设神经网络结构调整的方式均属于本申请的保护范围。
然后将预设人脸图像输入上述输入层，通过前向传播算法以及初始参数确定出输出层结果，并根据该结果和训练数据确定出损失函数，然后根据最优化算法和反向传播算法按预设学习率对预设神经网络模型进行训练，根据训练的结果确定损失函数的最小损失值，其中，随机梯度下降保持单一的学习率并更新所有的权重，预设学习率在训练过程中并不会改变，其采用Adam算法计算梯度的一阶矩阵估计和二阶矩阵估计而为不同参数设计独立的自适应性学习率，从而获得高效的训练过程。
最后经过上千次的迭代和预设学习率的调整，当损失值下降到不能再小的时候结束训练，以最小损失值所处的权重值确定为预设神经网络模型。
需要说明的是，以上确定损失函数、预设学习率以及最小损失值的方案仅为本申请优选实施例中一种实现方案，其他确定损失函数、预设学习率和最小损失值得方式均属于本申请的保护范围。
步骤S102、根据所述深度信息和预设标准三维人脸模型生成所述待处理人脸图像的三维人脸模型。
本步骤中，通过预设神经网络模型确定出的待处理人脸图像的深度信息与预设标准三维人脸模型生成待处理人脸图像的三维人脸模型。
为了更准确的生成待处理人脸图像的三维人脸模型，在本申请优选实施例中，根据所述深度信息和预设标准三维人脸模型生成所述待处理人脸图像的三维人脸模型，具体为：
根据所述深度信息生成骨骼信息；
根据所述骨骼信息调整所述预设标准三维人脸模型；
根据所述调整的结果生成所述三维人脸模型。
具体的，由于深度信息中包括像素深度、表情系数、像素纹理和球谐光照系数，可根据该深度信息生成三维人脸模型的骨骼信息，并基于该骨骼信息对三维标准人脸模型进行调整，以调整后的结果作为待处理人脸图像的三维人脸模型。
需要说明的是，以上根据深度信息和预设标准三维人脸模型生成待处理人脸图像的三维人脸模型仅为本优选实施例一种具体实现方案，其他根据基于深度信息和预设标准三维人脸模型生成待处理人脸图像的三维人脸模型的方式均属于本申请的保护范围。
通过应用以上技术方案，预先基于训练数据和预设神经网络结构生成预设神经网络模型，该方法包括接收待处理人脸图像，并基于预设神经网络模型获取待处理人脸图像的深度信息，所述深度信息包括像素深度、表情系数、像素纹理和球谐光照系数，根据深度信息和预设标准三维人脸模型生成待处理人脸图像的三维人脸模型，其中，所述训练数据包括预设人脸图像和预设人脸图像的真实像素深度、真实表情系数、真实像素纹理和真实球谐光照系数，通过充分利用神经网络端到端的、复杂数据的预测能力，从人脸图像获得人脸的深度信息，由于不依赖于深度检测传感器，具有巨大的成本优势，并且与基于传统的SFM三维重建的方法相比，在处理速度上提升了至少一个数量级，并提高了生成出来的三维人脸模型与人脸图像的相似度和平滑度，提升了用户体验。
为了进一步阐述本发明的技术思想，现结合具体的三维人脸模型生成的应用场景，对本发明的技术方案进行说明。
本发明具体实施例提出一种三维人脸模型的生成方法，通过大量的训练数据对预设神经网络模型进行训练，训练过程中基于残差网络块模型提取预设人脸图像的特征，并通过卷积核提取不同大小像素区域的特征，并将训练过程中通过骨骼捏脸生成的预设人脸图像的三维人脸模型与预设人脸图像的差值作为损失函数的参数项，通过训练出的预设神经网络模型来获取待处理人脸图像的深度信息并进行捏脸生成其三维人脸模型，解决了现有技术中相机设备成本高昂或稳定性差、计算速度慢以及深度信息准确度低的缺陷，从而在不增加成本的基础上提高获取人脸图像的深度信息准确度，进而提高三维人脸模型与人脸图像的相似度。
上述方法的具体步骤如下：
步骤S701、获取训练数据。
在具体的应用场景中，预设神经网络模型的训练数据可基于参数化的3DMM产生，训练数据包括输入数据和输出数据，输入数据也即预设人脸图像，输出数据也即预设人脸图像的真实深度信息，真实深度信息包括真实像素深度、真实表情系数、真实像素纹理和真实球谐光照系数，还可以通过增加背景和人脸旋转等方式扩大数据集，以使训练后的预设神经网络模型能适应多种环境和各种人脸位置的情况，训练数据的一组例子如图3所示。
步骤S702、训练预设神经网络模型。
1、在具体的应用场景中，可以根据训练数据中预设人脸图像的长度与宽度，来决定输入层的单元个数，并设置每个隐藏层的输入数量和输出数量，其中在编码阶段采用(3，64)，(64，128)，(256，256)，(256，512)，在解码阶段采用(512，256)，(256，256)，(256，64)，(64，3)的输入输出数量。
需要说明的是，本领域技术人员可根据实际需要或具体应用场景灵活对训练数据中的初始参数进行调整，这并不影响本申请的保护范围
2、将预设神经网络结构中权重值初始化为接近0但非0的很小的数。
3、执行前向传播，具体可由如下公式进行表示：
an＝σ(an-1*Wn+bn)
其中，上标代表层数，星号表示卷积，b表示偏置项bias，σ表示激活函数，W表示权重值。
4、计算损失函数，其可根据如下公式进行计算：
Loss(image)＝λ1*E-RECON+λ2*E-Normal+(1-λ1-λ2)*E-Light
其中，image表示人脸照片，E-RECOM是重建图像与原图像之间的差异，E-Normal是预测法线贴图与数据集生成的法线贴图差异，是预测光照E-light与数据集生成的光照差异，λ1＝0.3，λ2＝0.3。
5、随机梯度下降保持单一的预设学习率更新所有的权重，预设学习率在训练过程中并不会改变。而采用Adam计算梯度的一阶矩阵估计和二阶矩阵估计而为不同的初始参数设计独立的自适应性预设学习率，从而获得高效的训练过程。反向传播算法结合最优化算法对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。
其中，训练过程中，预设神经网络结构选择基于残差网络块模型提取预设人脸图像中的特征，其内部的残差块使用跳跃连接，并加入不同的卷积核提取不同大小像素区域的特征，将部分残差块跳过全连接层，并且，通过正向网络预测出来的真实深度信息，通过骨骼捏脸生成的预设人脸图像的三维人脸模型在3D场景下投影出来的图像，这个图像与预设人脸图像的差值(loss)作为损失函数的一项，预设神经网络结构图可如图2所示。
6、以最小损失值所处的权重确定预设神经网络模型。
步骤S703、生成待处理人脸图像的三维人脸模型。
在具体的应用场景中，训练好的预设神经网络模型，经过封装成网络服务或SDK(Software Development Kit，软件开发工具包)的方式即可供应用程序调用，该预设神经网络模型接收到待处理人脸图像后根据内部数据输出深度信息，并将该深度信息输入至骨骼进行捏脸处理。
上述训练预设神经网络模型以及使用预设神经网络模型的示意图可如图4所示，其中，在训练阶段，预设神经网络结构利用预设人脸图像以及预设人脸图像的真实像素深度、真实表情系数、真实像素纹理和真实球谐光照系数来对预设神经网络模型训练，训练后确定预设神经网络模型，使用阶段通过图像采集设备例如手机相机等采集待处理人脸图像即人脸照片，并进行人脸检测得到人脸图像，然后将该人脸图像输入至预设神经网络模型中确定出待处理人脸图像的深度信息，并根据该深度信息进行捏脸生成待处理人脸图像的三维人脸模型。
其中，捏脸部分可具体为根据深度信息生成骨骼信息，依据该骨骼信息对预设标准人脸模型进行调整，将调整后的结果作为待处理人脸图像得到三维人脸模型，最终效果可如图5所示包括人脸照片、3D人脸左侧脸、3D人脸正脸、3D人脸右侧脸。
通过应用以上技术方案，通过大量的训练数据对预设神经网络模型进行训练，训练过程中基于残差网络块模型提取预设人脸图像的特征，并通过卷积核提取不同大小像素区域的特征，并将训练过程中通过骨骼捏脸生成的预设人脸图像的三维人脸模型与预设人脸图像的差值作为损失函数的参数项，通过训练出的预设神经网络模型来获取待处理人脸图像的深度信息并进行捏脸生成其三维人脸模型，该方案充分利用神经网络端到端的、复杂数据的预测能力，从人脸图像获得人脸的深度信息，由于不依赖于深度检测传感器，具有巨大的成本优势，并且与基于传统的SFM三维重建的方法相比，在处理速度上提升了至少一个数量级，并提高了生成出来的三维人脸模型与人脸图像的相似度和平滑度，提升了用户体验。
与本申请优选实施例中三维人脸模型生成的方法相对应，本申请实施例还提出了一种三维人脸模型生成设备，预先基于训练数据和预设神经网络结构生成预设神经网络模型，如图6所示，所述设备包括：
获取模块601，用于接收待处理人脸图像，并基于所述预设神经网络模型获取所述待处理人脸图像的深度信息，所述深度信息包括像素深度，表情系数，像素纹理和球谐光照系数；
生成模块602，用于根据所述深度信息和预设标准三维人脸模型生成所述待处理人脸图像的三维人脸模型；
其中，所述训练数据包括预设人脸图像和所述预设人脸图像的真实像素深度、真实表情系数、真实像素纹理和真实球谐光照系数。
在具体的应用场景中，所述生成模块602，具体用于：
根据所述深度信息生成骨骼信息；
根据所述骨骼信息调整所述预设标准三维人脸模型；
根据所述调整的结果生成所述三维人脸模型。
在具体的应用场景中，所述预设神经网络模型的损失函数包括所述待处理人脸图像与预测图像的差值，所述预测图像为所述三维人脸模型在三维场景中的投影图像。
在具体的应用场景中，所述预设神经网络结构中包括残差网络块模型和卷积核，其中，预设数量的残差网络块模型不连接所述预设神经网络结构的全连接层。
在具体的应用场景中，所述训练数据为经过数据增强处理的数据，所述数据增强处理包括增加所述预设人脸图像的背景和或改变所述预设人脸图像的旋转角度。
在具体的应用场景中，还包括训练模块，用于：
根据所述预设人脸图像的长度和宽度确定预设神经网络结构的初始参数，所述初始参数包括输入层的单元个数、各隐藏层的输入数量和输出数量、初始权重值；
将所述预设人脸图像输入所述输入层，并基于前向传播算法和所述初始参数确定输出层结果；
根据所述输出层结果和所述训练数据确定所述损失函数；
基于最优化算法与反向传播算法按预设学习率进行训练，并根据所述训练的结果确定所述损失函数的最小损失值，所述预设学习率为基于适应性矩阵估计Adam算法确定的学习率；
根据所述最小损失值对应的权重值确定所述预设神经网络模型。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (2)

1.一种三维人脸模型的生成方法，其特征在于，预先基于训练数据和预设神经网络结构生成预设神经网络模型，所述方法包括：
接收待处理人脸图像，并基于所述预设神经网络模型获取所述待处理人脸图像的深度信息，所述深度信息包括像素深度，表情系数，像素纹理和球谐光照系数；
根据所述深度信息和预设标准三维人脸模型生成所述待处理人脸图像的三维人脸模型；具体为根据所述深度信息生成骨骼信息；根据所述骨骼信息调整所述预设标准三维人脸模型；根据所述调整的结果生成所述三维人脸模型；
其中，所述训练数据包括预设人脸图像和所述预设人脸图像的真实像素深度、真实表情系数、真实像素纹理和真实球谐光照系数；
所述预设神经网络模型的损失函数包括所述待处理人脸图像与预测图像的差值，所述预测图像为所述三维人脸模型在三维场景中的投影图像；
所述预设神经网络结构中包括残差网络块模型和卷积核，其中，预设数量的残差网络块模型不连接所述预设神经网络结构的全连接层；
所述训练数据为经过数据增强处理的数据，所述数据增强处理包括增加所述预设人脸图像的背景和或改变所述预设人脸图像的旋转角度；
所述基于训练数据和预设神经网络结构生成预设神经网络模型，具体为：根据所述预设人脸图像的长度和宽度确定预设神经网络结构的初始参数，所述初始参数包括输入层的单元个数、各隐藏层的输入数量和输出数量、初始权重值；将所述预设人脸图像输入所述输入层，并基于前向传播算法和所述初始参数确定输出层结果；根据所述输出层结果和所述训练数据确定所述损失函数；基于最优化算法与反向传播算法按预设学习率进行训练，并根据所述训练的结果确定所述损失函数的最小损失值，所述预设学习率为基于适应性矩阵估计Adam算法确定的学习率；根据所述最小损失值对应的权重值确定所述预设神经网络模型。
2.一种三维人脸模型的生成设备，其特征在于，预先基于训练数据和预设神经网络结构生成预设神经网络模型，所述设备包括：
获取模块，用于接收待处理人脸图像，并基于所述预设神经网络模型获取所述待处理人脸图像的深度信息，所述深度信息包括像素深度，表情系数，像素纹理和球谐光照系数；
生成模块，用于根据所述深度信息和预设标准三维人脸模型生成所述待处理人脸图像的三维人脸模型；
其中，所述训练数据包括预设人脸图像和所述预设人脸图像的真实像素深度、真实表情系数、真实像素纹理和真实球谐光照系数；
所述生成模块，具体用于根据所述深度信息生成骨骼信息；根据所述骨骼信息调整所述预设标准三维人脸模型；根据所述调整的结果生成所述三维人脸模型；
所述预设神经网络模型的损失函数包括所述待处理人脸图像与预测图像的差值，所述预测图像为所述三维人脸模型在三维场景中的投影图像；
还包括训练模块，用于根据所述预设人脸图像的长度和宽度确定预设神经网络结构的初始参数，所述初始参数包括输入层的单元个数、各隐藏层的输入数量和输出数量、初始权重值；
将所述预设人脸图像输入所述输入层，并基于前向传播算法和所述初始参数确定输出层结果；
根据所述输出层结果和所述训练数据确定所述损失函数；
基于最优化算法与反向传播算法按预设学习率进行训练，并根据所述训练的结果确定所述损失函数的最小损失值，所述预设学习率为基于适应性矩阵估计Adam算法确定的学习率；
根据所述最小损失值对应的权重值确定所述预设神经网络模型。
CN202010621329.5A 2020-06-30 2020-06-30 一种三维人脸模型的生成方法和设备 Active CN111951372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010621329.5A CN111951372B (zh) 2020-06-30 2020-06-30 一种三维人脸模型的生成方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010621329.5A CN111951372B (zh) 2020-06-30 2020-06-30 一种三维人脸模型的生成方法和设备

Publications (2)

Publication Number Publication Date
CN111951372A CN111951372A (zh) 2020-11-17
CN111951372B true CN111951372B (zh) 2024-01-05

Family

ID=73337853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010621329.5A Active CN111951372B (zh) 2020-06-30 2020-06-30 一种三维人脸模型的生成方法和设备

Country Status (1)

Country Link
CN (1) CN111951372B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396693A (zh) * 2020-11-25 2021-02-23 上海商汤智能科技有限公司 一种面部信息的处理方法、装置、电子设备及存储介质
CN113409437B (zh) * 2021-06-23 2023-08-08 北京字节跳动网络技术有限公司 一种虚拟角色捏脸的方法、装置、电子设备及存储介质
CN116168142A (zh) * 2021-11-22 2023-05-26 北京字节跳动网络技术有限公司 绘制三维视图的方法、装置、电子设备及存储介质
CN114842123B (zh) * 2022-06-28 2022-09-09 北京百度网讯科技有限公司 三维人脸重建模型训练和三维人脸形象生成方法及装置
CN115018996A (zh) * 2022-08-08 2022-09-06 海马云（天津）信息技术有限公司 根据真人人脸照片生成3d人脸模型的方法与装置
CN116012666B (zh) * 2022-12-20 2023-10-27 百度时代网络技术（北京）有限公司 图像生成、模型的训练、信息重建方法、装置及电子设备
CN117152397B (zh) * 2023-10-26 2024-01-26 慧医谷中医药科技(天津)股份有限公司 一种基于热成像投影的三维人脸成像方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044873A (ja) * 2001-08-01 2003-02-14 Univ Waseda 顔の３次元モデルの作成方法及びその変形方法
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
CN108510573A (zh) * 2018-04-03 2018-09-07 南京大学 一种基于深度学习的多视点人脸三维模型重建的方法
CN108629291A (zh) * 2018-04-13 2018-10-09 深圳市未来媒体技术研究院 一种抗网格效应的人脸深度预测方法
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法
WO2020037680A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技（深圳）有限公司 基于光线的三维人脸优化方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9754154B2 (en) * 2013-02-15 2017-09-05 Microsoft Technology Licensing, Llc Identification using depth-based head-detection data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044873A (ja) * 2001-08-01 2003-02-14 Univ Waseda 顔の３次元モデルの作成方法及びその変形方法
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
CN108510573A (zh) * 2018-04-03 2018-09-07 南京大学 一种基于深度学习的多视点人脸三维模型重建的方法
CN108629291A (zh) * 2018-04-13 2018-10-09 深圳市未来媒体技术研究院 一种抗网格效应的人脸深度预测方法
WO2020037680A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技（深圳）有限公司 基于光线的三维人脸优化方法、装置及电子设备
CN109255831A (zh) * 2018-09-21 2019-01-22 南京大学 基于多任务学习的单视图人脸三维重建及纹理生成的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
三维人脸表情获取及重建技术综述;王珊 等;系统仿真学报(07);1-5 *
基于二维纹理重建三维人脸深度图像后的人脸识别;李睿 等;《现代计算机（专业版）》(第4期);1-4 *
基于单张照片的三维人脸重建算法研究;孔德智;《中国优秀硕士学位论文全文库信息科技》(第1期);1-80 *

Also Published As

Publication number Publication date
CN111951372A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN111951372B (zh) 一种三维人脸模型的生成方法和设备
AU2018292610B2 (en) Method and system for performing simultaneous localization and mapping using convolutional image transformation
CN111598998B (zh) 三维虚拟模型重建方法、装置、计算机设备和存储介质
US11288857B2 (en) Neural rerendering from 3D models
CN111784821B (zh) 三维模型生成方法、装置、计算机设备及存储介质
WO2020220516A1 (zh) 图像生成网络的训练及图像处理方法、装置、电子设备、介质
EP4307233A1 (en) Data processing method and apparatus, and electronic device and computer-readable storage medium
CN110298916B (zh) 一种基于合成深度数据的三维人体重建方法
KR101266362B1 (ko) 카메라 트래킹 시스템, 트래킹 방법 및 이를 이용한 실사영상 합성 시스템
US11928778B2 (en) Method for human body model reconstruction and reconstruction system
CN111612878B (zh) 将静态照片制作成三维效果视频的方法及装置
US11451758B1 (en) Systems, methods, and media for colorizing grayscale images
CN115690382A (zh) 深度学习模型的训练方法、生成全景图的方法和装置
CN106909904B (zh) 一种基于可学习形变场的人脸正面化方法
CN111951373B (zh) 一种人脸图像的处理方法和设备
KR102577135B1 (ko) 시퀀스의 압축을 위한 스켈레톤 기반의 동적 포인트 클라우드 추정 시스템
CN116051722A (zh) 三维头部模型重建方法、装置及终端
CN115018978A (zh) 三维人脸生成方法、装置、存储介质及计算机设备
Zhang et al. See through occlusions: Detailed human shape estimation from a single image with occlusions
KR102559691B1 (ko) 뉴럴 렌더링 기반 형상 색상 통합 3d 메시 복원 방법 및 장치
US20230126829A1 (en) Point-based modeling of human clothing
Li et al. Virtual reality realization technology and its application based on augmented reality
US20230290101A1 (en) Data processing method and apparatus, electronic device, and computer-readable storage medium
US20230177722A1 (en) Apparatus and method with object posture estimating
Faradounbeh et al. Evaluation of Artificial Intelligence-Based Denoising Methods for Global Illumination

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant