CN108399649B - 一种基于级联回归网络的单张图片三维人脸重建方法 - Google Patents

Abstract

本发明公开了一种基于级联回归网络的单张图片三维人脸重建方法，整体步骤为：一、数据准备：采集三维人脸数据，获取人脸图片的三维人脸形状点云；二、模型设计：构建包含两级多任务卷积神经网络的网络模型，并逐级回归人脸特征，然后提取改进形状特征；三、模型训练：分别对两级多任务卷积神经网络进行训练，获得多任务级联回归卷积神经网络M；四、模型测试：将图像I输入到多任务级联回归卷积神经网络M中，进行模型测试。本发明采用多任务级联回归卷积神经网络，逐级回归三维人脸形状、人脸特征点以及人脸姿态，同时改进了传统的特征提取方法，通过计算特征点的可见性，消除了二维人脸图片上特征点的混淆性，使得该方法对大姿态更加鲁棒。

Description

一种基于级联回归网络的单张图片三维人脸重建方法

技术领域

本发明涉及一种三维人脸重建方法，尤其涉及一种基于级联回归网络的单张图片三维人脸重建方法。

背景技术

三维人脸重建的目标是根据输入的二维人脸图片，重建其相应的三维人脸形状。该技术广泛应用于人脸动画，人脸表情分析以及三维人脸识别等领域。目前关于三维人脸重建的代表方法有：

(1)基于三维人脸模型的单张图片三维人脸重建方法，主要技术手段为：基于二维人脸数据库采用SDM(Supervised Descent Method，监督下降方法)算法训练得到二维人脸特征点参数模型。基于单张正面照的进行人脸重建时，首先使用二维图片特征点参数模型提取人脸特征点；然后，根据三维人脸统计模型，使用学习因子自适应梯度下降法对能量函数进行迭代优化，得到统计模型参数化向量，即得到二维人脸图片对应的三维人脸模型。该方法的缺陷有：在大姿态下一些人脸特征点不可见，影响三维人脸形变模型的参数求解精度；另一方面，该方法仅仅用到了人脸特征点的信息，没有利用整张人脸图片的信息。

(2)基于深度神经网络的端到端三维人脸重建方法，主要技术手段为：采用3D面部形状子空间模型，并将3D面部作为一组形状和混合形状基线的线性组合，基于VGG网络的脸部模型添加了子卷积神经网络(融合CNN)用于回归表达参数，以及用于身份参数预测和表达参数预测的多任务学习损失函数。该方法一次性直接回归三维人脸统计模型的参数，没有对三维人脸形状进行逐级回归，因此对人脸的细节部分展现的不够完善。

(3)基于立体视觉的三维人脸重建方法，主要技术手段为：使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像，分别对两台摄像机的内、外参数矩阵进行标定。根据标定数据进行对极线校正和图像变换，然后利用Harris角点检测算子提取人脸特征点，并利用局部模板窗口方法以及极线约束进行初始匹配。从初始匹配集合出发，利用种子点增长算法得到稀疏匹配集合，利用稀疏匹配集合作为引导点，执行动态规划算法完成稠密匹配。根据标定数据和匹配关系计算人脸上实际物点的三维坐标，从而重建出人脸的三维人脸形状点云。该方法没有对人脸特征点的三维坐标做进一步回归，所以鲁棒性较差。

基于现有的三维人脸重建方法仍然存在上述的各种问题，开发一种对大姿态更加鲁棒、可重构人脸细节的新方法将具有重要的现实意义。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种基于级联回归网络的单张图片三维人脸重建方法。

为了解决以上技术问题，本发明采用的技术方案是：一种基于级联回归网络的单张图片三维人脸重建方法，整体步骤如下：

步骤一、数据准备：

a、用3D扫描仪采集三维人脸数据，包括每个视角的二维人脸图片、每个视角的人脸姿态、三维人脸形状点云、68个特征点标注以及三维人脸形状点云的三角关系；

b、将采集得到的人脸图片做人脸检测，裁剪人脸图片，同时根据人脸姿态对三维人脸形状点云做处理，得到对应于裁剪后人脸图片的三维人脸形状点云；

步骤二、模型设计：

a、构建包含两级多任务卷积神经网络(即第一级网络和第二级网络)的网络模型，并逐级回归三维人脸形状、人脸特征点的三维坐标以及人脸姿态的角度；

b、向第一级网络输入一张100*100*3的人脸图片，同时回归预测三维人脸全部点的三维坐标、人脸68个特征点的三维坐标以及人脸姿态的角度；

c、提取改进形状特征：首先计算输入至第一级网络中人脸68个特征点的可见性，对于可见的特征点，将其投影到原来的二维人脸图片上，以可见的特征点为中心，用双线性插值的方法裁剪10*10大小的图片块；对于不可见的特征点，10*10大小的图片块直接填充为0；然后将上述10*10大小的图片块拼接成100*100*3大小的图片，空余地方用0填充；

d、向第二级网络输入一张100*100*3的人脸图片，以及上一步提取的改进形状特征，回归三维人脸全部点的三维坐标残差、人脸68个特征点的三维坐标残差以及人脸姿态残差；

步骤三、模型训练：

a、训练第一级网络：向第一级网络输入一张100*100*3的人脸图片，和对应的三维人脸全部点的三维坐标、人脸68个特征点的三维坐标以及人脸姿态，计算欧氏距离损失，利用批次随机梯度下降方法更新网络参数；

b、当第一级网络模型在校验集上获得的三维人脸重建精度不能随着训练过程再提升时，停止训练；然后按照步骤二中的步骤c提取训练集二维人脸图片的改进形状特征；

c、训练第二级网络：向第二级网络输入一张100*100*3的人脸图片以及对应的改进形状特征，和根据第一级预测结果得到的三维人脸全部点的三维坐标残差、人脸68个特征点的三维坐标残差、人脸姿态残差，计算欧式距离损失，利用批次随机梯度下降方法更新网络参数；

d、当第二级网络模型在校验集上获得的三维人脸重建精度不能随着训练过程再提升时，停止训练；

e、最终训练完成获得多任务级联回归卷积神经网络M；

步骤四、模型测试：

a、输入图像为包含人脸的图像I；

b、将图像I输入人脸检测器并获得人脸位置，并利用该人脸位置裁剪图像I获得人脸图像Img；

c、将人脸图像Img输入到多任务级联回归卷积神经网络M中，获得三维人脸形状、人脸特征点以及人脸姿态；

d、根据计算得到的三维人脸形状以及三维人脸形状点云的三角关系，用OpenGL渲染并显示三维人脸结构。

进一步地，步骤二及步骤三中提取改进形状特征的方法为：首先计算输入至第一级网络中人脸68个特征点的可见性，对于可见的特征点，将其投影到原来的二维人脸图片上，以可见的特征点为中心，用双线性插值的方法裁剪10*10大小的图片块；对于不可见的特征点，10*10大小的图片块直接填充为0；然后将上述10*10大小的图片块拼接成100*100*3大小的图片，空余地方用0填充。

本发明采用多任务级联回归卷积神经网络，逐级回归三维人脸形状、人脸特征点以及人脸姿态，同时改进了传统的特征提取方法，通过计算特征点的可见性，消除了二维人脸图片上特征点的混淆性，使得该方法对大姿态更加鲁棒。

附图说明

图1为训练模型的整体框架图。

图2为人脸姿态解析图。

图3为改进形状特征的提取方法示意图。

图4为模型测试的整体步骤流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

一种基于级联回归网络的单张图片三维人脸重建方法，其整体步骤为：

步骤一、数据准备阶段：

a、用3D扫描仪采集三维人脸数据，包括每个视角的二维人脸图片、每个视角的人脸姿态、三维人脸形状点云、68个特征点标注以及三维人脸形状点云的三角关系等；

b、将采集得到的人脸图片做人脸检测，裁剪人脸图片，同时根据人脸姿态对三维人脸形状点云做处理，得到对应于裁剪后人脸图片的三维人脸形状点云；

步骤二、模型设计阶段：

a、该模型由两级多任务卷积神经网络组成，逐级回归三维人脸形状，人脸姿态以及人脸特征点；模型框架如图1所示；

b、向第一级网络输入一张100*100*3的人脸图片，同时回归预测三维人脸全部点的三维坐标(x,y,z)，人脸68个特征点的三维坐标(x,y,z),以及人脸姿态(yaw,pitch,roll)，其中yaw代表偏航角，pitch代表俯仰角，roll代表翻滚角，其具体含义详见图2；

c、提取改进形状特征：首先计算输入至第一级网络中人脸68个特征点的可见性。对于可见的特征点，将其投影到原来的二维人脸图片上，以该点为中心，用双线性插值的方法裁剪10*10大小的图片块；对于不可见的特征点，10*10大小的图片块直接填充为0。然后将这68个上述10*10大小的图片块拼接成100*100*3大小的图片(空余地方用0填充)，具体过程如图3所示；

d、向第二级网络输入一张100*100*3的人脸图片，以及上一步提取的改进形状特征，回归三维人脸全部点的三维坐标残差(Δx，Δy，Δz)、人脸68个特征点的三维坐标残差(Δx，Δy，Δz)以及人脸姿态残差(Δyaw，Δpitch，Δroll)；

步骤三、模型训练阶段：

a、训练第一级网络：向第一级网络输入一张100*100*3的人脸图片，和对应的三维人脸全部点的三维坐标(x,y,z)，人脸68个特征点的三维坐标(x,y,z),以及人脸姿态(yaw,pitch,roll)，计算欧氏距离损失，利用批次随机梯度下降方法更新网络参数；

b、当第一级网络模型在校验集上获得较好的三维人脸重建精度并且该精度不能随着训练过程再提升时，停止训练。然后按照步骤二中的步骤c提取训练集二维人脸图片的改进形状特征；

c、训练第二级网络：向第二级网络输入一张100*100*3的人脸图片以及对应的改进形状特征，和根据第一级预测结果得到的三维人脸全部点的三维坐标残差(Δx，Δy，Δz)、人脸68个特征点的三维坐标残差(Δx，Δy，Δz)、人脸姿态残差(Δyaw，Δpitch，Δroll)，计算欧式距离损失，利用批次随机梯度下降方法更新网络参数；

d、当第二级网络模型在校验集上获得较好的三维人脸重建精度并且该精度不能随着训练过程再提升时，停止训练；

e、最终训练完成获得多任务级联回归卷积神经网络M；

步骤四、模型测试阶段：

a、输入图像为包含人脸的图像I；

b、将图像I输入人脸检测器并获得人脸位置，并利用该人脸位置裁剪图像I获得人脸图像Img；

c、将人脸图像Img输入到多任务级联回归卷积神经网络M中，获得三维人脸形状、人脸特征点以及人脸姿态；

d、根据计算得到的三维人脸形状以及三维人脸形状点云的三角关系，用OpenGL渲染(也可以是其它三维渲染软件)并显示三维人脸结构。

上述步骤四应用的模型框架如图4所示。

本发明的技术效果为：使用本方法输入一张人脸图片，经过人脸检测后，可精确重建其三维结构，在3.40GHz CPU上达到32ms/每张图片。

本发明与现有技术相比，具有以下优势：

一、网络模型直接回归三维人脸形状：相比较其他方法回归三维人脸形变参数，可以更好地重构人脸细节部分；

二、多任务学习：同时回归三维人脸形状、三维人脸特征点坐标以及人脸角度，可以使得网络学习到更加鲁棒的特征，在测试集上表现更好；

三、改进的形状特征：改进了传统的特征提取方法(如Shape Index Feature)，通过计算特征点的可见性，消除了二维人脸图片上特征点的混淆性，使得该方法对大姿态更加鲁棒。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (1)

1.一种基于级联回归网络的单张图片三维人脸重建方法，其特征在于：所述方法的整体步骤如下：

步骤一、数据准备：

a、用3D扫描仪采集三维人脸数据，包括每个视角的二维人脸图片、每个视角的人脸姿态、三维人脸形状点云、68个特征点标注以及三维人脸形状点云的三角关系；

b、将采集得到的人脸图片做人脸检测，裁剪人脸图片，同时根据人脸姿态对三维人脸形状点云做处理，得到对应于裁剪后人脸图片的三维人脸形状点云；

步骤二、模型设计：

a、构建包含两级多任务卷积神经网络的网络模型，并逐级回归三维人脸形状、人脸特征点的三维坐标以及人脸姿态的角度；

b、向第一级网络输入一张100*100*3的人脸图片，同时回归预测三维人脸全部点的三维坐标、人脸68个特征点的三维坐标以及人脸姿态的角度；

c、提取改进形状特征：首先计算输入至第一级网络中人脸68个特征点的可见性，对于可见的特征点，将其投影到原来的二维人脸图片上，以可见的特征点为中心，用双线性插值的方法裁剪10*10大小的图片块；对于不可见的特征点，10*10大小的图片块直接填充为0；然后将上述10*10大小的图片块拼接成100*100*3大小的图片，空余地方用0填充；

d、向第二级网络输入一张100*100*3的人脸图片，以及上一步提取的改进形状特征，回归三维人脸全部点的三维坐标残差、人脸68个特征点的三维坐标残差以及人脸姿态残差；

步骤三、模型训练：

a、训练第一级网络：向第一级网络输入一张100*100*3的人脸图片，和对应的三维人脸全部点的三维坐标、人脸68个特征点的三维坐标以及人脸姿态，计算欧氏距离损失，利用批次随机梯度下降方法更新网络参数；

b、当第一级网络模型在校验集上获得的三维人脸重建精度不能随着训练过程再提升时，停止训练；然后按照步骤二中的步骤c提取训练集二维人脸图片的改进形状特征；

c、训练第二级网络：向第二级网络输入一张100*100*3的人脸图片以及对应的改进形状特征，和根据第一级预测结果得到的三维人脸全部点的三维坐标残差、人脸68个特征点的三维坐标残差、人脸姿态残差，计算欧式距离损失，利用批次随机梯度下降方法更新网络参数；

d、当第二级网络模型在校验集上获得的三维人脸重建精度不能随着训练过程再提升时，停止训练；

e、最终训练完成获得多任务级联回归卷积神经网络M；

步骤四、模型测试：

a、输入图像为包含人脸的图像I；

b、将图像I输入人脸检测器并获得人脸位置，并利用该人脸位置裁剪图像I获得人脸图像Img；

c、将人脸图像Img输入到多任务级联回归卷积神经网络M中，获得三维人脸形状、人脸特征点以及人脸姿态；

d、根据计算得到的三维人脸形状以及三维人脸形状点云的三角关系，用OpenGL渲染并显示三维人脸结构。

Images