CN107679477B - 基于空洞卷积神经网络的人脸深度和表面法向量预测方法 - Google Patents

Abstract

基于空洞卷积神经网络的人脸深度和表面法向量预测方法，包括训练空洞卷积神经网络的步骤：S1、搭建一空洞卷积神经网络，包括依次连接的多个卷积层、多个空洞卷积层和多个反卷积层，其中，每个卷积层均连接有一规范化操作和一激励操作；S2、初始化空洞卷积神经网络的权重值；S3、将训练图片输入空洞卷积神经网络中，以最小化代价函数为目标对所述空洞卷积神经网络进行迭代训练；每迭代一次则更新一次权重值；S4、将测试图片输入训练得到的空洞卷积神经网络中，输出对应的人脸深度图和表面法向量图；S5、根据输出的人脸深度图和人脸表面法向量图判断训练的空洞卷积神经网络预测精度是否符合要求：若符合结束训练；若不符合返回步骤S3继续训练。

Description

基于空洞卷积神经网络的人脸深度和表面法向量预测方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，具体涉及一种基于空洞卷积神经网络的人脸深度和表面法向量预测方法。

背景技术

人脸深度预测，是计算机视觉领域一个新颖且富有挑战性的问题。对人脸进行深度预测是理解整个人脸几何关系的重要组成部分，相应地，人脸几何关系能够很好地反映人脸上的器官以及整个面部环境，如果能得到较好的人脸面部深度信息，将会对人脸识别问题提供非常大的帮助，同样地，也有助于构建人脸的3D模型，有利于解决有关人脸的三维重建问题。但是，从一张人脸的RGB图片中预测出整个人脸的深度信息本身是一个具有病态性质的问题，因为在将RGB图像的颜色信息映射成深度值的过程中面临诸多的不确定性。为了解决这一问题，一些方法是通过马尔科夫随场来获得深度信息，通过条件随机场来正则化深度图，但是这些方法依赖于图像的水平校准，因而对训练环境比较敏感。在人脸三维重建领域里，表面法向量估计和深度信息估计是相辅相成的，人脸表面法向量预测对于提升人脸深度估计的精度有很大的帮助。

近年来，随着卷积神经网络(Convolutional Neural Networks,CNN)的提出，许多计算机视觉与数字图像处理领域的问题通过使用CNN都取得了非常好的效果。目前，一些基于卷积神经网络进行深度、表面法向量预测的方法被提出，取得了一些较好的结果，但是也存在着一些问题。比如，随着卷积层的不断增加会面临梯度消失从而训练不下去的问题；深层网络的感受野比较小，训练出的深度图、表面法向量图精度不是很高，图像较为粗糙。

发明内容

为了解决上述问题，本发明提出了一种基于空洞卷积神经网络的人脸深度和表面法向量预测方法，使用一个神经网络模型实现人脸深度估计和表面法向量估计两种任务，显著地增强了神经网络的学习能力，避免了由于网络层数的增加所引起的梯度消失、感受野太小的问题，从而提升深度估计以及表面法向量估计的准确性，获得较为清晰的深度图以及表面法向量图。

本发明为达上述目的所提供的技术方案如下：

一种基于空洞卷积神经网络的人脸深度和表面法向量预测方法，包括训练空洞卷积神经网络的步骤，所述训练空洞卷积神经网络的步骤包括：

S1、搭建一空洞卷积神经网络，所述空洞卷积神经网络包括依次连接的多个卷积层、多个空洞卷积层和多个反卷积层，其中，每个所述卷积层均连接有一规范化操作和一激励操作；

S2、初始化所述空洞卷积神经网络的权重值；

S3、将预先建立的人脸训练集中的人脸图片输入经步骤S2初始化后的空洞卷积神经网络中，以最小化代价函数为目标对所述空洞卷积神经网络进行迭代训练；其中，每迭代一次则更新一次所述权重值；

S4、将预先建立的人脸测试集中的人脸图片输入经步骤S3训练得到的空洞卷积神经网络中，输出对应的人脸深度图和人脸表面法向量图；其中，所述人脸训练集和所述人脸测试集中的人脸图片至少部分不同；

S5、根据步骤S4输出的人脸深度图和人脸表面法向量图，判断步骤S3训练得到的空洞卷积神经网络对人脸深度和人脸表面法向量的预测精度是否符合预设要求：若符合，则结束训练；若不符合，则返回步骤S3继续训练直至训练得到符合预设要求的空洞卷积神经网络。

本发明提供的上述技术方案，通过搭建含有空洞卷积层的空洞卷积神经网络，并采用很多张(例如数千张)不同的人脸RGB图片对网络进行训练，最终训练好的空洞卷积神经网络具有更大的感受野以及更精确的估计精度，并且仅需要训练一个网络即可进行人脸深度估计和表面法向量估计，得到深度图和表面法向量图，为人脸三维重建提供良好的基础。

优选地，步骤S1搭建的空洞卷积神经网络中，多个卷积层依次串联，并且每个卷积层的输出端依次串联所述规范化操作和激励操作；所述空洞卷积层串联于所述多个卷积层之后；所述多个反卷积层依次串联于所述空洞卷积层之后。

优选地，所述规范化操作为Batch Normalization操作，所述激励操作为LeakyReLU激励操作。

优选地，所述空洞卷积神经网络包括四个空洞卷积层，所述四个空洞卷积层的空洞系数分别为1，2，2，4。

优选地，所述人脸表面法向量图是通过所述深度图获得像素的点云数据，并采用最小二乘平面拟合而得到。

优选地，所述代价函数包括深度估计代价函数和表面法向量估计代价函数；其中，

所述深度估计代价函数由损失项和正则项构成，如下：

其中，

为正则项，

为损失项；y_i、y_i*分别表示人脸训练集中的第i张人脸图片经过所述空洞卷积神经网络训练后所得到的像素深度值、像素ground truth值，n表示所述人脸训练集中的每张人脸图片中具有深度信息的像素点个数，λ表示损失项的正则系数；

所述表面法向量估计代价函数为：

其中，N_i和

分别为所述人脸训练集中的第i张人脸图片经过所述空洞卷积神经网络训练后得到的像素法向量值、像素法向量ground truth值，m表示所述人脸训练集中的每张人脸图片中具有法向量信息的像素点个数。

优选地，步骤S2中通过随机高斯分布生成初始化的权重值；步骤S3中采用AdamOptimizer方法来最小化代价函数。

优选地，步骤S4中，判断步骤S3训练得到的空洞卷积神经网络对人脸深度和人脸表面法向量的预测精度是否符合预设要求具体包括：

对输出的人脸深度图，计算其对应的平均绝对相关误差rel、均方根误差rms以及log10误差三个参数，并判断所述三个参数的值是否符合对应的预设阈值；

对输出的人脸表面法向量图，计算其对应的角度误差，并判断计算出的角度误差的值是否符合对应的预设阈值。

优选地，所述损失项的正则系数λ＝0.5。

附图说明

图1是一种实施例提供的用于预测人脸深度和表面法向量的空洞卷积神经网络的训练流程图；

图2是采用本发明实施例搭建并训练好的空洞卷积神经网络预测得到人脸深度图和表面法向量图的过程示意；

图3是本发明实施例的空洞卷积神经网络由人脸深度图得到人脸表面法向量图的过程示意。

具体实施方式

下面结合附图和优选的实施方式对本发明作进一步说明。

本发明的具体实施方式提供一种基于空洞卷积神经网络的人脸深度和表面法向量预测方法，该方法包括训练空洞卷积神经网络的步骤，如图1所示，所述训练空洞卷积神经网络的步骤包括S1至S4：

S1、搭建一空洞卷积神经网络，所述空洞卷积神经网络包括依次连接的多个卷积层、多个空洞卷积层和多个反卷积层，其中，每个所述卷积层均连接有一规范化操作和一激励操作；

S2、初始化所述空洞卷积神经网络的权重值；

S3、将预先建立的人脸训练集中的人脸图片输入经步骤S2初始化后的空洞卷积神经网络中，以最小化代价函数为目标对所述空洞卷积神经网络进行迭代训练；其中，每迭代一次则更新一次所述权重值；

S4、将预先建立的人脸测试集中的人脸图片输入经步骤S3训练得到的空洞卷积神经网络中，输出对应的人脸深度图和人脸表面法向量图；其中，所述人脸训练集和所述人脸测试集中的人脸图片至少部分不同；

S5、根据步骤S4输出的人脸深度图和人脸表面法向量图，判断步骤S3训练得到的空洞卷积神经网络对人脸深度和人脸表面法向量的预测精度是否符合预设要求：若符合，则结束训练；若不符合，则返回步骤S3继续训练直至训练得到符合预设要求的空洞卷积神经网络。

其中，步骤S1搭建的空洞卷积神经网络中，多个卷积层依次串联(前一层的输出端连接后一层的输入端)，并且每个卷积层的输出端依次串联所述规范化操作和激励操作；所述空洞卷积层串联于所述多个卷积层之后；所述多个反卷积层依次串联于所述空洞卷积层之后。例如，图2中示出了一种具体的空洞卷积神经网络，在该种示例性的空洞卷积神经网络中，从输入端(用于输入人脸RGB图片)开始，依次是卷积层、空洞卷积层和反卷积层，多个卷积层包括4个1×1卷积、4个3×3卷积，并且依次串联，其中每个卷积层的后面都依次串联了一规范化操作和一激励操作，具体而言，比如1×1卷积的输出端串联了一规范化操作(图中未示出)，该规范化操作的输出端又串联了一激励操作(图中未示出)，该激励操作的输出端连接至3×3卷积的输入端，同样地，3×3卷积的输出端依次串联一规范化操作和一激励操作。而与所述卷积层串联的空洞卷积层则连接在最后一层卷积层的激励操作之后，图2示例性的网络架构中包括了4个空洞卷积层，其中4个空洞卷积层的空洞系数分别为1、2、2、4；串联于所述空洞卷积层之后(即输出端)的反卷积层包括2个8×8的反卷积，且各反卷积层之间也是串联关系。

优选地，所述规范化操作为Batch Normalization操作，所述激励操作为LeakyReLU激励操作。1×1卷积和3×3卷积用于提取人脸图像特征，对1×1卷积和3×3卷积进行Batch Normalizaion操作可以解决卷积神经网络随着卷积层数增多而导致的内部变量偏移问题，从而使得神经网络能够更容易优化，避免陷入局部最优，具体做法是把每一卷积层的输入正则化为标准高斯分布。使用Leaky Relu激励函数可以克服普通Relu激励函数在梯度较大情况下产生的神经元死亡现象；使用空洞卷积可以增加神经网络的感受野；使用反卷积可以增大特征图的尺寸，输出定制尺寸的深度图、表面法向量图。

步骤S1搭建了所述空洞卷积神经网络后，首先设置初始网络参数(即初始化网络的权重值)，然后采用事先建立的人脸训练集中的人脸RGB图片来进行训练。通过将人脸RGB图片输入到初始化后的空洞卷积神经网络中，对网络进行训练，输出每张图像对应的深度信息ground truth图(相当于深度图)以及表面法向量信息ground truth图(相当于表面法向量图)，其中表面法向量信息的ground truth图是由深度信息的ground truth图通过最小二乘平面拟合生成的，生成流程如图3所示，通过对深度图提取像素的点云数据，再将点云数据进行最小二乘平面拟合，得到对应的表面法向量图，点云数据(x,y,z)中，x和y代表图片像素的位置，z代表深度值。

本发明优选实施例中选取30000张人脸的RGB图片作为数据集，男女各15000张，每张图片尺寸为640×640，皆为正面人脸图。所述数据集又被分为训练集和测试集，其中训练集有25000张，测试集有5000张。出于对硬件的考虑，本发明在将数据集的图片输入神经网络前将其裁剪成384×384的统一尺寸，然后设置所述空洞卷积神经网络的初始化训练参数(初始化权重值)。这些网络参数包括每层的输入大小、卷积核的kernelsize(卷积核尺寸)、卷积核的stride(步长)等。每层卷积的输出大小为：outputsize＝(inputsize-kernelsize)/stride+1。在本实施例中每次输入到所述空洞卷积神经网络的图片数为50，学习率为0.0001。其中，所述人脸训练集和所述人脸测试集中的人脸图片至少部分不同。

所述代价函数包括深度估计代价函数和表面法向量估计代价函数。

所述深度估计代价函数由损失项和正则项构成，如下：

其中，

为正则项，

为损失项；y_i、y_i*分别表示人脸训练集中的第i张人脸图片经过所述空洞卷积神经网络训练后所得到的像素深度值、像素ground truth值，n表示所述人脸训练集中的每张人脸图片中具有深度信息的像素点个数，λ表示损失项的正则系数。优选地，该正则系数为0.5。

所述表面法向量估计代价函数为：

其中，N_i和

分别为所述人脸训练集中的第i张人脸图片经过所述空洞卷积神经网络训练后得到的像素法向量值、像素法向量ground truth值，m表示所述人脸训练集中的每张人脸图片中具有法向量信息的像素点个数。

在本实施例中采用AdamOptimizer的方法来最小化代价函数，Adam算法相比于传统的SGD(随机梯度下降)更加适用于数据量大、层数深的网络。Adam算法是根据代价函数对每个参数的梯度进行一阶距估计和二阶距估计从而动态调整每个参数的学习率。Adam算法的优点在于每一次迭代过程中的参数更加平稳，不容易陷入到局部最优。

在步骤S3中，以最小化代价函数为目标来训练所述空洞卷积神经网络，每迭代一次则更新一次网络参数。待所述代价函数的值达到某一预设的阈值，则停止训练，然后采用测试集中的图片来测试步骤S3训练出的网络的预测精度。测试过程和训练过程一样，输入测试集中的图片，输出人脸深度图和表面法向量图，根据输出的深度图和表面法向量图来评判预测精度。

优选地，判断步骤S3训练得到的空洞卷积神经网络对人脸深度和人脸表面法向量的预测精度是否符合预设要求具体包括：

对输出的人脸深度图，计算其对应的平均绝对相关误差rel、均方根误差rms以及log10误差三个参数，并判断所述三个参数的值是否符合对应的预设阈值；其中，

三个参数的计算结果越小，说明网络的预测精度越高，预测能力强。

对输出的人脸表面法向量图，计算其对应的角度误差，并判断计算出的角度误差的值是否符合对应的预设阈值。同样地，角度误差的值越小，说明网络的预测能力越强、预测精度越高。

在一个实例中，测试集人脸RGB图像的大小为640×640，向所述卷积神经网络输入6000张这样的人脸RGB图像后，输出的深度预测图像和表面法向量预测图像的大小为384×384。在该实施例的测试结果中，基于输出的深度预测图像和表面法向量预测图像计算得到的rms的值为0.287，rel的值为0.398，log10误差的值为0.179，角度误差的值为18.3。

训练得到符合预设要求的空洞卷积神经网络后，则可以用来进行RGB人脸图片的深度信息预测和表面法向量预测。例如，参考图2，输入一张待预测的人脸RGB图片，经过训练好的所述空洞卷积神经网络后，可以输出一张包含深度信息的深度图(右)和一张包含表面法向量信息的表面法向量图(左)。深度图是单通道输出，表面法向量图是三通道输出。通过深度图和表面法向量图，相比于仅有深度图的情况，能够进行更加准确的人脸三维重建。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (8)

1.一种基于空洞卷积神经网络的人脸深度和表面法向量预测方法，包括训练空洞卷积神经网络的步骤，所述训练空洞卷积神经网络的步骤包括：

S1、搭建一空洞卷积神经网络，所述空洞卷积神经网络包括依次连接的多个卷积层、多个空洞卷积层和多个反卷积层，其中，每个所述卷积层均连接有一规范化操作和一激励操作；

S2、初始化所述空洞卷积神经网络的权重值；

S3、将预先建立的人脸训练集中的人脸图片输入经步骤S2初始化后的空洞卷积神经网络中，以最小化代价函数为目标对所述空洞卷积神经网络进行迭代训练；其中，每迭代一次则更新一次所述权重值；所述代价函数包括深度估计代价函数和表面法向量估计代价函数，所述表面法向量估计代价函数为：

其中，N_i和

分别为所述人脸训练集中的第i张人脸图片经过所述空洞卷积神经网络训练后得到的像素法向量值、像素法向量ground truth值，m表示所述人脸训练集中的每张人脸图片中具有法向量信息的像素点个数；

S4、将预先建立的人脸测试集中的人脸图片输入经步骤S3训练得到的空洞卷积神经网络中，输出对应的人脸深度图和人脸表面法向量图；其中，所述人脸训练集和所述人脸测试集中的人脸图片至少部分不同；所述人脸表面法向量图是通过所述深度图获得像素的点云数据，并采用最小二乘平面拟合而得到；

S5、根据步骤S4输出的人脸深度图和人脸表面法向量图，判断步骤S3训练得到的空洞卷积神经网络对人脸深度和人脸表面法向量的预测精度是否符合预设要求：若符合，则结束训练；若不符合，则返回步骤S3继续训练直至训练得到符合预设要求的空洞卷积神经网络。

2.如权利要求1所述的预测方法，其特征在于：步骤S1搭建的空洞卷积神经网络中，多个卷积层依次串联，并且每个卷积层的输出端依次串联所述规范化操作和激励操作；所述空洞卷积层串联于所述多个卷积层之后；所述多个反卷积层依次串联于所述空洞卷积层之后。

3.如权利要求2所述的预测方法，其特征在于：所述规范化操作为BatchNormalization操作，所述激励操作为Leaky ReLU激励操作。

4.如权利要求2所述的预测方法，其特征在于：所述空洞卷积神经网络包括四个空洞卷积层，所述四个空洞卷积层的空洞系数分别为1，2，2，4。

5.如权利要求1所述的预测方法，其特征在于：所述深度估计代价函数由损失项和正则项构成，如下：

其中，

为正则项，

为损失项；y_i、y_i*分别表示人脸训练集中的第i张人脸图片经过所述空洞卷积神经网络训练后所得到的像素深度值、像素ground truth值，n表示所述人脸训练集中的每张人脸图片中具有深度信息的像素点个数，λ表示损失项的正则系数。

6.如权利要求1所述的预测方法，其特征在于：步骤S2中通过随机高斯分布生成初始化的权重值；步骤S3中采用AdamOptimizer方法来最小化代价函数。

7.如权利要求1所述的预测方法，其特征在于：步骤S4中，判断步骤S3训练得到的空洞卷积神经网络对人脸深度和人脸表面法向量的预测精度是否符合预设要求具体包括：

对输出的人脸深度图，计算其对应的平均绝对相关误差rel、均方根误差rms以及log10误差三个参数，并判断所述三个参数的值是否符合对应的预设阈值；

对输出的人脸表面法向量图，计算其对应的角度误差，并判断计算出的角度误差的值是否符合对应的预设阈值。

8.如权利要求5所述的预测方法，其特征在于：所述损失项的正则系数λ＝0.5。

Images