CN108921926A - 一种基于单张图像的端到端三维人脸重建方法 - Google Patents

Abstract

一种基于单张图像的端到端三维人脸重建方法，主要包括以下步骤，步骤1：准备一个参考用三维人脸模型作为参考模板，该参考三维人脸模型为无表情状态；步骤2：对所述参考模板使用三角网格参数化方法，将该参考模板在二维上进行表示，得到该参考模板对应的UV坐标值，该参考模板的UV坐标作为参考位置表示空间。达到的效果能够使用位置图直接表示三维人脸模型，并使用神经网络直接进行预测，不经过三维形变模型，进而实现了端到端的重建过程，且重建模型的精度不受限制。

Description

一种基于单张图像的端到端三维人脸重建方法

技术领域

本发明涉及人脸识别领域，具体涉及一种基于单张图像的端到端三维人脸重建方法。

背景技术

基于单张图像的三维人脸重建，即从单张图像信息中重建出人脸的三维模型。由于人脸识别是人工智能在智能感知领域的一项重要任务，同时也具备巨大的实用价值，而三维人脸识别具有姿态和光照不变的特性，使得三维人脸重建成为计算机视觉和计算机图形学领域的一个研究热点。同时，虽然结构光以及双目摄像能很好的恢复人脸的三维信息，但在大部分应用场景中，往往只能获得目标人脸的单张图像或者使用单目摄像头进行数据采集，故如何从单张图片中恢复出精确的三维人脸仍然是研究热点及难点。基于单张图像的三维重建可进一步解决大角度的人脸关键点定位，在面部重现，人机交互，虚拟现实和动画制作等领域都有广泛的应用。

目前的基于单目视觉的三维人脸重建技术主要有以下两种：

(1)基于三维形变模型：即利用有限数量的三维人脸模型的线性组合来表达任何一个三维人脸，拟合对应单张图片的线性参数即可得到重建的三维模型。传统的重建算法主要是利用稀疏的关键点去拟合参数，精确度不够且依赖关键点检测器的好坏。近几年，人脸识别的快速发展证实了卷积神经网络在图像的高层次理解上的巨大优势，故出现了很多利用卷积网络来进行从单张图片中估计形变参数的方法，这种方法不依赖关键点检测，能直接从图片得到形变模型的参数，进而得到三维人脸模型。但仍然有缺点：重建出的三维人脸模型受限于三维形变空间，精度不够。同时，从形变参数到三维模型的过程也需要一定的计算量，进而限制了三维重建的速度，三维形变模型也需要多余的储存空间。

(2)基于卷积神经网络的端到端方法：基于形变模型的重建方法受限于形变空间，故出现了一些方法直接从单张图片得到三维人脸，而不用经过形变模型。也因为卷积神经网络对于图片学习的优势，也常用这个算法来直接学习重建过程。然而，卷积神经网络主要处理二维图像，而三维模型经常是使用三角网格来进行表示的，故这类方法的核心问题为如何表示三维模型进而利于神经网络的学习。一种表示方法是将三维模型的顶点向量化，这种方法丢失了三维模型点与点之间的关系，使得模型难以收敛，重建结果精度也不高。另一种方法是使用体素来进行表示三维模型，即用三维数组的0，1来表示是否是人脸模型的一部分，这种表示方法保留了三维模型点与点之间的空间关系，然而表示方法体积较大，使得神经网络模型较为复杂且运行时间较长，同时也限制了重建的三维模型的精度。故如何设计一种好的三维模型的表达方式，是最主要的问题。

发明内容

本发明针对现有技术的不足，提出一种基于单张图像的端到端三维人脸重建方法，具体技术方案如下：

一种基于单张图像的端到端三维人脸重建方法，其特征在于：

采用以下步骤，

步骤1：准备一个参考用三维人脸模型作为参考模型T；

步骤2：对所述参考模型T使用三角网格参数化方法，将该参考模型T在二维平面上UV展开，将该参考模型T的几何数据与二维UV平面的几何数据一一对应，所述参考模型T包括N个顶点，所述参考模型T的第i个顶点坐标(Tx_i,Ty_i,Tz_i)对应一个UV坐标(u_i,v_i)，0<＝i<＝N；

步骤3：准备训练用二维人脸图像I及对应的训练用三维模型S，该训练用三维模型S的顶点数与所述参考模型T顶点数相同，使用匹配算法确保训练用三维模型S的每个顶点与参考模型T中每个顶点之间在语义上是一一对应的，即所述参考模型T的第i个顶点坐标(Tx_i,Ty_i,Tz_i)与所述训练用三维模型S的第i个顶点坐标(Sx_i,Sy_i,Tz_i)都代表人脸的一个坐标点；

同时，将训练用三维模型S的顶点位置与训练用二维人脸图像I上的人脸部分坐标点一一对应，即所述训练用二维人脸图像I的坐标(Sx_i,Sy_i)也代表二维人脸图像中人脸的一个坐标点，其中，0<＝i<＝N；

步骤4：将所述训练用三维模型S的每个顶点的具体坐标值(Sx_i,Sy_i,Tz_i)记录到对应的UV坐标(u_i,v_i)中，用符号Pos指代UV位置图，得到该UV位置图的关系式，Pos[u_i,v_i]＝(Sx_i,Sy_i,Tz_i)，将该UV位置图作为三维模型的一种新的表达方式，直接作为神经网络的输出，其中0<＝i<＝N；

其中，Pos[u_i,v_i]，0<＝i<＝N，代表所有UV坐标组成的坐标点集合；

步骤5：选取卷积神经网络以及与所述UV位置图对应的损失函数；

步骤6：对卷积神经网络进行训练，该卷积神经网络使用训练用二维人脸图像I作为输入，使用所述训练用三维模型S对应的UV位置图作为输出；

步骤7：完成训练，保存训练完成的卷积神经网络模型；

步骤8：输入任意一张二维人脸图像Q，使用训练完成的卷积神经网络模型进行预测，得到该二维人脸图像Q对应的UV位置图；

步骤9：变换该二维人脸图像Q对应的UV位置图，得到对应的三维人脸模型以及对应的稠密的关键点。

进一步地：所述步骤5包括如下步骤：

步骤51：选取卷积网络模型作为基本结构，在卷积网络模型中的卷积层中再加入残差层；

步骤52：加重UV坐标分布位置图中五官部分特征的权重值，使用损失函数为

P(x,y)为预测的位置图，P～(x,y)为真实的位置图，W(x,y)为权重图。

本发明的有益效果为：第一，使用UV坐标分布位置图直接表示三维人脸模型，并使用神经网络直接进行预测，不经过三维形变模型，进而实现了端到端的重建过程，且重建模型的精度不受限制。

第二，由于是表达形式是二维图像，更利于卷积神经网络的学习，可以设计更为简洁的网络模型，进一步减少了网络运行时间。

第三，相比于三维模型的其他表达方式：点云，三角网格，体素，使用位置图能使用更小的空间来储存三维模型，其二维图像的表达方式可使用现有图片算法进行压缩，有利于数据传输，在手机上也能方便使用，利于互联网传播。

第四，与设计的损失函数相结合，使用该方法做出的三维识别系统在光照不平衡，人脸角度较大，人脸表情变化大的情况下，相比其他方法都取得了很好的重建结果。

第五，由于位置图的性质，在表达三维模型的同时，也能得到稠密的关键点对应信息，该方法能多任务的同时完成关键点检测任务。

附图说明

图1为本发明的工作流程图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

如图1所示：一种基于单张图像的端到端三维人脸重建方法，

采用以下步骤，

步骤1：准备一个参考用三维人脸模型作为参考模型T，该参考模型T为无表情的人脸；

步骤2：对所述参考模型T使用三角网格参数化方法，将该参考模型T在二维平面上UV展开，将该参考模型T的几何数据与二维UV平面的几何数据一一对应，所述参考模型T包括N个顶点，所述参考模型T的第i个顶点坐标(Tx_i,Ty_i,Tz_i)对应一个UV坐标(u_i,v_i)，0<＝i<＝N；

步骤3：准备训练用二维人脸图像I及对应的训练用三维模型S，该训练用三维模型S的顶点数与所述参考模型T顶点数相同，使用匹配算法确保训练用三维模型S的每个顶点与参考模型T中每个顶点之间在语义上是一一对应的，该匹配算法可以为ICP算法,即所述参考模型T的第i个顶点坐标(Tx_i,Ty_i,Tz_i)与所述训练用三维模型S的第i个顶点坐标(Sx_i,Sy_i,Tz_i)都代表人脸的一个坐标点；

同时，将训练用三维模型S的顶点位置与训练用二维人脸图像I上的人脸部分坐标点一一对应，即所述训练用二维人脸图像I的坐标(Sx_i,Sy_i)也代表二维人脸图像中人脸的一个坐标点，其中，0<＝i<＝N；

即第i个顶点(Tx_i,Ty_i,Tz_i)与(Sx_i,Sy_i,Tz_i)都代表人脸的一个坐标点；

步骤4：将所述训练用三维模型S的每个顶点的具体坐标值(Sx_i,Sy_i,Tz_i)记录到对应的UV坐标(u_i,v_i)中，用符号Pos指代UV位置图，得到该UV位置图的关系式，Pos[u_i,v_i]＝(Sx_i,Sy_i,Tz_i)，将该UV位置图作为三维模型的一种新的表达方式，直接作为神经网络的输出，其中0<＝i<＝N；

其中，Pos[u_i,v_i]，0<＝i<＝N，代表所有UV坐标组成的坐标点集合；

步骤5：选取卷积网络模型作为基本结构，在卷积网络模型中的卷积层中再加入残差层；

步骤6：由于位置图中，不同像素点分布不一致，五官部分具有更加明显的特征，因此，加重UV位置图中五官部分特征的权重值，使用损失函数为

P(x,y)为预测的位置图，P～(x,y)为真实的位置图，W(x,y)为权重图。

步骤7：对卷积神经网络进行训练，该卷积神经网络使用训练用二维人脸图像I作为输入，使用训练用三维模型S对应的UV位置图作为输出；

步骤8：完成训练，保存训练完成的卷积神经网络模型；

步骤9：输入任意一张二维人脸图像Q，使用训练完成的卷积神经网络模型进行预测，得到该二维人脸图像Q对应的UV位置图；

步骤10：变换该二维人脸图像Q对应的UV位置图，得到对应的三维人脸模型以及对应的稠密的关键点。

Claims (2)

1.一种基于单张图像的端到端三维人脸重建方法，其特征在于：

采用以下步骤，

步骤1：准备一个参考用三维人脸模型作为参考模型T；

步骤2：对所述参考模型T使用三角网格参数化方法，将该参考模型T在二维平面上UV展开，将该参考模型T的几何数据与二维UV平面的几何数据一一对应，所述参考模型T包括N个顶点，所述参考模型T的第i个顶点坐标(Tx_i,Ty_i,Tz_i)对应一个UV坐标(u_i,v_i)，0<＝i<＝N；

步骤3：准备训练用二维人脸图像I及对应的训练用三维模型S，该训练用三维模型S的顶点数与所述参考模型T顶点数相同，使用匹配算法确保训练用三维模型S的每个顶点与参考模型T中每个顶点之间在语义上是一一对应的，即所述参考模型T的第i个顶点坐标(Tx_i,Ty_i,Tz_i)与所述训练用三维模型S的第i个顶点坐标(Sx_i,Sy_i,Tz_i)都代表人脸的一个坐标点；

同时，将训练用三维模型S的顶点位置与训练用二维人脸图像I上的人脸部分坐标点一一对应，即所述训练用二维人脸图像I的坐标(Sx_i,Sy_i)也代表二维人脸图像中人脸的一个坐标点，其中，0<＝i<＝N；

步骤4：将所述训练用三维模型S的每个顶点的具体坐标值(Sx_i,Sy_i,Tz_i)记录到对应的UV坐标(u_i,v_i)中，用符号Pos指代UV位置图，得到该UV位置图的关系式，Pos[u_i,v_i]＝(Sx_i,Sy_i,Tz_i)，将该UV位置图作为三维模型的一种新的表达方式，直接作为神经网络的输出，其中0<＝i<＝N；

其中，Pos[u_i,v_i]，0<＝i<＝N，代表所有UV坐标组成的坐标点集合；

步骤5：选取卷积神经网络以及与所述UV位置图对应的损失函数；

步骤6：对卷积神经网络进行训练，该卷积神经网络使用训练用二维人脸图像I作为输入，使用所述训练用三维模型S对应的UV位置图作为输出；

步骤7：完成训练，保存训练完成的卷积神经网络模型；

步骤8：输入任意一张二维人脸图像Q，使用训练完成的卷积神经网络模型进行预测，得到该二维人脸图像Q对应的UV位置图；

步骤9：变换该二维人脸图像Q对应的UV位置图，得到对应的三维人脸模型以及对应的稠密的关键点。

2.一种基于单张图像的端到端三维人脸重建方法，其特征在于：所述步骤包括如下步骤：所述步骤5包括如下步骤：

步骤51：选取卷积网络模型作为基本结构，在卷积网络模型中的卷积层中再加入残差层；

步骤52：加重UV位置图中五官部分特征的权重值，使用损失函数为

P(x,y)为预测的位置图，P～(x,y)为真实的位置图，W(x,y)为权重图。