CN108932536A - 基于深度神经网络的人脸姿态重建方法 - Google Patents

Abstract

本发明实施例公开了一种基于深度神经网络的人脸姿态重建方法，包括：人脸图像的预处理，将人脸训练样本分成多个局部小块，组成样本局部图像集；构建人脸姿态中的神经网络，根据改进后的人脸姿态重建关系式，将样本局部图像集代入神经网络，通过神经网络求出关系式的各因子对应参数，确定重建关系式，训练出改进后的姿态重建模型；把分割好的测试局部图像集代入训练好的姿态重建模型，得到预测后的人脸图像局部小块，将人脸图像局部小块组合后生成人脸图像。本发明有效提高了人脸图像重建的准确率。

Description

基于深度神经网络的人脸姿态重建方法

技术领域

本发明涉及图像数据处理技术领域，尤其是一种基于深度神经网络的人脸姿态重建方法。

背景技术

在人脸图像识别技术中，影响人脸识别率的因素包括遮挡、光照、表情变化、姿态变换等，在这些因素中，人脸的姿态变换使对人脸识别率产生影响的重要因素，也是人脸识别技术从理论走向实际的瓶颈，现有技术的人脸图像识别主要是对人脸正面图像的识别，对于变换姿态的识别需要进行人脸姿态重建，现有技术主要包括以下几种方式：

一是3D人脸姿态重建，通过图像的表面信息和深度信息等图像信息进行人脸姿态重建，或通过三维模型对图像进行人脸姿态重建，这种方法的缺点是要求每一张人脸图像的特征点数量必须相同，且各个特征点的位置也要相同，实现比较困难，数据量较大；

二是2D人脸姿态重建，主要包括图形学法，该方法需要通过几何变换对图像中的脸部纹理进行修正重建，需要把由于遮挡造成的脸部信息进行补充，会导致重建后的正面图像不自然，与源图像的差异较大；另一种统计学习方法，存在较大的局限性，容易产生相似度不高的情况。

因此，现有技术需要改进。

发明内容

本发明实施例所要解决的一个技术问题是：提供一种基于深度神经网络的人脸姿态重建方法，以解决现有技术存在的问题，所述基于深度神经网络的人脸姿态重建方法包括：

人脸图像的预处理，将人脸训练样本分成多个局部小块，组成样本局部图像集，所选取人脸图像满足凸显的大小一致、人脸部分位置一致、人脸的概略对齐，消除对人脸图像对姿态重建的影响；

构建人脸姿态中的神经网络，根据改进后的人脸姿态重建关系式，将样本局部图像集代入神经网络，通过神经网络求出关系式的各因子对应参数，确定重建关系式，训练出改进后的姿态重建模型；

把分割好的测试局部图像集代入训练好的姿态重建模型，得到预测后的人脸图像局部小块，将人脸图像局部小块组合后生成人脸图像。

在基于本发明上述基于深度神经网络的人脸姿态重建方法的另一个实施例中，所述人脸图像的预处理包括：

采集人脸图像，制作人脸图像库；

采用加权平均法对人脸图像进行灰度化处理；

对灰度化处理后的人脸图像进行几何归一化处理；

采用线性变换方法进行人脸图像的数据归一化处理；

对人脸图像中值滤波去噪。

在基于本发明上述基于深度神经网络的人脸姿态重建方法的另一个实施例中，所述采用加权平均法对人脸图像进行灰度化处理包括：

对人脸图像中的RGB分量进行加权平均，得到灰度图像的灰度值，其公式为：

F(x,y)＝0.2989R(x,y)+0.5870G(x,y)+0.1140B(x,y) (1)

式中，0.2989，0.5870，0.1140分别为(x,y)位置的像素点R分量、G分量、B分量对应的权值，经过公式(1)得到灰度化后的图像(x,y)位置像素点的灰度值F的大小。

在基于本发明上述基于深度神经网络的人脸姿态重建方法的另一个实施例中，所述对灰度化处理后的人脸图像进行几何归一化处理包括：

采用LBP算法的人脸检测训练模型，对模型要训练的人脸图像进行检测，在人脸图像中找到人脸部分的位置，确定人脸区域的准确位置，准确获取人脸部分；

采用AdaBoost算法训练检测眼睛位置，对测试图像进行人眼检测，获得图像上的眼睛区域，作为眼睛精确位置的初步估算；

根据图像平面旋转方法，对人脸图像中选取的某一点位置作为基准点，将人脸图像以基准点为中心进行旋转，将人脸图像进行矫正对齐。

在基于本发明上述基于深度神经网络的人脸姿态重建方法的另一个实施例中，所述采用线性变换方法进行人脸图像的数据归一化处理包括：线性函数转换方法、对数函数转换方法、反余切函数转换方法、正态分布化方法、小数定标规范化方法、模糊量化模式方法。

在基于本发明上述基于深度神经网络的人脸姿态重建方法的另一个实施例中，所述对人脸图像中值滤波去噪包括：

设置滤波模板，并将滤波模板的中心与人脸图像的像素点位置进行重合；

将滤波模板与人脸图像重合区域内的各个对应像素点的灰度值进行排序；

获取人脸图像重合区域灰度值的中间值；

将中值赋值给模板中心位置的像素点。

在基于本发明上述基于深度神经网络的人脸姿态重建方法的另一个实施例中，所述构建人脸姿态中的神经网络从人脸图像的输入输出顺序包括：

输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、全连接层、输出层；

人脸图像首先通过输入层输入，经过第一卷积层进行函数激励，通过第一池化层缩小特征图大小，压缩精简特征，经过第二卷积层进一步进行函数激励，第二池化层进一步缩小特征图大小，压缩精简特征，通过第三卷积层后，将图像信息输出至全连接层，全连接层对提取到的特征图进行全连接，经过输出层输出生成图像。

在基于本发明上述基于深度神经网络的人脸姿态重建方法的另一个实施例中，所述第一卷积层、第二卷积层、第三卷积层对应的权值初始化值为：

arg min||Y-OWⁱX^i-1||² (2)

式中，X^i-1是第i层卷积层的输出特征图数据，Wⁱ是第i层的权重，每层的O是一个二进制矩阵，用于将上一层的特征映射的相同位置上的像素相加在一起，使得OWⁱX^i-1与Y大小相同，Y是该输入的人脸侧脸图像对应的人脸正面图像原图像。

在基于本发明上述基于深度神经网络的人脸姿态重建方法的另一个实施例中，所述把分割好的测试局部图像集代入训练好的姿态重建模型，得到预测后的人脸图像局部小块，将人脸图像局部小块组合后生成人脸图像包括：

将各部分小块图像合成人脸图像局部小块图像，其公式为：

式中，a_i为初始化局部图像块之间的重构系数，作为一次项x_i的参数的初始化值，其表示公式为：γ_i表示初始化的线性因子，其表示公式为：b_i为偏置参数，其初始化值为0。

将人脸图像局部小块图像合成人脸图像，其公式为：

本发明具有的优点将结合实施例具体予以说明。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明的基于深度神经网络的人脸姿态重建方法的一个实施例的流程图；

图2为本发明的基于深度神经网络的人脸姿态重建方法的另一个实施例的流程图；

图3为本发明的基于深度神经网络的人脸姿态重建方法的又一个实施例的流程图；

图4为本发明实施例的对人脸图像中值滤波去噪的流程图；

图5为本发明实施例的构建人脸姿态中的神经网络从人脸图像的输入输出顺序示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

如图1所示，所述基于深度神经网络的人脸姿态重建方法包括：

10，人脸图像的预处理，将人脸训练样本分成多个局部小块，组成样本局部图像集，所选取人脸图像满足凸显的大小一致、人脸部分位置一致、人脸的概略对齐，消除对人脸图像对姿态重建的影响；

20，构建人脸姿态中的神经网络，根据改进后的人脸姿态重建关系式，将样本局部图像集代入神经网络，通过神经网络求出关系式的各因子对应参数，确定重建关系式，训练出改进后的姿态重建模型；

30，把分割好的测试局部图像集代入训练好的姿态重建模型，得到预测后的人脸图像局部小块，将人脸图像局部小块组合后生成人脸图像。

如图2所示，所述人脸图像的预处理包括：

101，采集人脸图像，制作人脸图像库；

102，采用加权平均法对人脸图像进行灰度化处理；

103，对灰度化处理后的人脸图像进行几何归一化处理；

104，采用线性变换方法进行人脸图像的数据归一化处理；

105，对人脸图像中值滤波去噪。

在一个具体的实施例中，所述采集人脸图像，制作人脸图像库的方法为：现有技术的人脸数据库一般采用CMU-PIE人脸数据库，该人脸数据库包含了68位志愿者的图片，采集的面部图像包括多种姿态、光照和表情的图片，总共有41368张，所有照片都包括了每个人的13种姿态条件，43种光照条件和4中表情条件，PIE人脸数据库与其他的人脸数据库相比较，更适合永凯做人脸姿态重建技术的人脸数据库，因此，本发明的一个实施例采用模拟PIE人脸数据库的采集方式进行人脸采集，用作人脸姿态重建的实验数据，将人脸数据库中的图片进行裁剪和整理，将图片统一成64*64大小的人脸图像，制作成本发明的人脸图像库。

所述采用加权平均法对人脸图像进行灰度化处理包括：

对人脸图像中的RGB分量进行加权平均，得到灰度图像的灰度值，其公式为：

F(x,y)＝0.2989R(x,y)+0.5870G(x,y)+0.1140B(x,y) (1)

式中，0.2989，0.5870，0.1140分别为(x,y)位置的像素点R分量、G分量、B分量对应的权值，经过公式(1)得到灰度化后的图像(x,y)位置像素点的灰度值F的大小。

人脸图像的灰度化，是将彩色的人脸图像，经过灰度化处理后，转化为灰度图像，图像灰度化的作用有以下几点：

一是方便进行图形操作，将三通道的图像矩阵变换成二维矩阵数据；

二是改善图像质量，使图像能够显示更多的细节，提高图像的对比度；

三是有选择的突出图像感兴趣的特征或者抑制图像中不需要的特征；

四是可以有效的改变图像的直方图分布，使像素的分布更加均匀。

如图3所示，所述对灰度化处理后的人脸图像进行几何归一化处理包括：

201，采用LBP算法的人脸检测训练模型，对模型要训练的人脸图像进行检测，在人脸图像中找到人脸部分的位置，确定人脸区域的准确位置，准确获取人脸部分；

202，采用AdaBoost算法训练检测眼睛位置，对测试图像进行人眼检测，获得图像上的眼睛区域，作为眼睛精确位置的初步估算；

203，根据图像平面旋转方法，对人脸图像中选取的某一点位置作为基准点，将人脸图像以基准点为中心进行旋转，将人脸图像进行矫正对齐。

人脸图像进行几何归一化处理的作用是消除人脸图像由于成像位置的不同以及人脸姿态不同引起的图像差异，解决人脸图像的尺度大小和人脸角度的不同。

所述采用线性变换方法进行人脸图像的数据归一化处理是对人脸图像数据进行灰度值归一化，方便模型训练时加快收敛，减小参数误差，所述采用线性变换方法进行人脸图像的数据归一化处理包括：线性函数转换方法、对数函数转换方法、反余切函数转换方法、正态分布化方法、小数定标规范化方法、模糊量化模式方法。

所述线性函数转换方法为：

所述对数函数转换方法为：

y＝log₁₀ ^(x) (3)

所述反余切函数转换方法为：

y＝arctan(x)*2/π (4)

所述正态分布化方法包括：

零均值化：

归一化方差：

所述小数定标规范化方法包括：

通过除以10的次方数，将x的小数点进行移动，公式如下：

式中，j为使得Max|y|<1的最小整数。

所述模糊量化模式方法包括：

式中：x为人脸图像经过归一化前的原始数据。

人脸图像数据的线性变换归一化是将待处理的人脸图像数据的像素值按照一定的比例进行缩放，使得归一化后的图像像素值落入实验所需的特定的值区间，去除处理数据的单位限制，标准化后的数据值转换为无量纲的纯数字，便于不同量纲之间的数据值进行加权计算。

在人脸姿态重建的过程中，通常会出现椒盐噪声(salt-and-pepper noise)，所述椒盐噪声是黑白相间的亮暗点噪声，通常是由采集图像的设备、传输图像的通道，或者在进行图像处理的过程中产生的，噪声是影响图片的效果，干扰图像处理过程的主要因素之一，因此，必须尽量减少噪声的干扰，去噪的目的是尽可能保持图像信息。

中值滤波对图像的椒盐噪声去除效果最好，中值滤波的眼里是，针对图像中的某一噪声的像素点，将该点的像素灰度值与周围的像素灰度值进行比较，除去像素灰度值序列的中间值，将其代替噪声点，消除掉图像中的噪声点。

如图4所示，所述对人脸图像中值滤波去噪包括：

301，设置滤波模板，并将滤波模板的中心与人脸图像的像素点位置进行重合；

302，将滤波模板与人脸图像重合区域内的各个对应像素点的灰度值进行排序；

303，获取人脸图像重合区域灰度值的中间值；

304，将中值赋值给模板中心位置的像素点。

中值滤波的去除效果的好坏由滤波模板的中间值确定，所以，该方法的对滤波模板中非中心的极大或极小像素灰度值的敏感度远不如区域内的平均值的敏感度高，所以，中值滤波能够更好的保存人脸图像中的图像纹理。

如图5所示，所述构建人脸姿态中的神经网络从人脸图像的输入输出顺序包括：

输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、全连接层、输出层；

所述输入层将图像预处理后的人脸图像进行输入，将经过预处理后的图片信息转换成矩阵信息输入到神经网络中，方便进行数据处理；

所述第一卷积层、第二卷积层、第三卷积层用于提取人脸图像特征。

所述第一池化层、第二池化层的作用是将卷积计算输出的特征图以及权重值进行压缩，减小数据量，以达到减小过拟合的目的，第一池化层、第二池化层对输入该层的特征图像进行压缩，将图像的大小进行压缩，得到尺寸减小的特征图，并对提取到的特征纹理进行压缩，精简特征值，提取最关键的特征信息，避免过拟合。池化操作有两种方式，一种是平均池化，一种是最大池化，平均池化是将池化滤波器与图像重合，将该区域内的像素灰度值做平均运算，求得该区域内的平均值作为池化结果；最大池化是区域内的像素灰度值中的最大值提取出来作为池化结果。

全连接层的作用是将提取到的特征图进行重构，第三卷积层与全连接层之间的所有神经元都有权重连接，全连接层的目的是为了将经过卷积与池化后得到的特征信息最大化的利用起来并重构成对应的接近源图像的人脸图像。

人脸图像首先通过输入层输入，经过第一卷积层进行函数激励，通过第一池化层缩小特征图大小，压缩精简特征，经过第二卷积层进一步进行函数激励，第二池化层进一步缩小特征图大小，压缩精简特征，通过第三卷积层后，将图像信息输出至全连接层，全连接层对提取到的特征图进行全连接，经过输出层输出生成图像。

所述第一卷积层、第二卷积层、第三卷积层对应的权值初始化值为：

arg min||Y-OWⁱX^i-1||² (9)

式中，X^i-1是第i层卷积层的输出特征图数据，Wⁱ是第i层的权重，每层的O是一个二进制矩阵，用于将上一层的特征映射的相同位置上的像素相加在一起，使得OWⁱX^i-1与Y大小相同，Y是该输入的人脸侧脸图像对应的人脸正面图像原图像。

所述把分割好的测试局部图像集代入训练好的姿态重建模型，得到预测后的人脸图像局部小块，将人脸图像局部小块组合后生成人脸图像包括：

将各部分小块图像合成人脸图像局部小块图像，其公式为：

式中，a_i为初始化局部图像块之间的重构系数，作为一次项x_i的参数的初始化值，其表示公式为：γ_i表示初始化的线性因子，其表示公式为：b_i为偏置参数，其初始化值为0。

b_i的值根据误差函数进行参数更新而进行参数优化，其误差函数公式为：

式中，是重构之后得到的人脸正面图像，X⁰是目标人脸正面图像，训练过程也就是是误差函数变小到误差函数最小的过程。

将人脸图像局部小块图像合成人脸图像，其公式为：

在本发明的一个优选的实施例中，在人脸图像数据库中提取5个人，每个人各9个不同的侧面姿态方向，包括左侧4个不同角度，右侧面5个不同角度的人脸图像，一共45幅人脸图像作为本发明的测试集，剩下的图片作为训练集进行训练，首先把训练集的人脸图像的图划分为大小为5*5的小块，每个人脸图像X都划分成32个重叠的小块，该侧脸训练图像可表示为：X＝(x₁,x₂,…,x₃₂),然后，分别利用改进的线性回归算法估计每一个小块对应的正脸部分，X对应的正脸图像为X⁰＝(x₁ ⁰,x₂ ⁰,…,x₃₂ ⁰)。

根据LLR思想，采用单独局部模块一一对应进行人脸姿态重建，包括以下四个步骤：

(1)初始化局部图像块之间的重构系数α_i作为一次项x_i的参数的初始化值：

(2)初始化的线性因子γ_i：

(3)将b_i初始化为0，在根据误差函数进行参数更新而进行参数优化，最后经过优化之后得到损失函数最小值α_i、γ_i、b_i。

(4)根据参数更新方法进行网络的参数更新后，得到对应估计正脸小块为：

最后把所有小块拼成一张预测人脸图像：

对应的参数矩阵为：α＝(α₁,α₂,…,α₃₂)，γ＝(γ₁,γ₂,…,γ₃₂)，b＝(b₁,b₂,…,b₃₂)。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (9)

1.一种基于深度神经网络的人脸姿态重建方法，其特征在于，包括：

人脸图像的预处理，将人脸训练样本分成多个局部小块，组成样本局部图像集，所选取人脸图像满足凸显的大小一致、人脸部分位置一致、人脸的概略对齐，消除对人脸图像对姿态重建的影响；

构建人脸姿态中的神经网络，根据改进后的人脸姿态重建关系式，将样本局部图像集代入神经网络，通过神经网络求出关系式的各因子对应参数，确定重建关系式，训练出改进后的姿态重建模型；

把分割好的测试局部图像集代入训练好的姿态重建模型，得到预测后的人脸图像局部小块，将人脸图像局部小块组合后生成人脸图像。

2.根据权利要求1所述的基于深度神经网络的人脸姿态重建方法，其特征在于，所述人脸图像的预处理包括：

采集人脸图像，制作人脸图像库；

采用加权平均法对人脸图像进行灰度化处理；

对灰度化处理后的人脸图像进行几何归一化处理；

采用线性变换方法进行人脸图像的数据归一化处理；

对人脸图像中值滤波去噪。

3.根据权利要求2所述的基于深度神经网络的人脸姿态重建方法，其特征在于，所述采用加权平均法对人脸图像进行灰度化处理包括：

对人脸图像中的RGB分量进行加权平均，得到灰度图像的灰度值，其公式为：

F(x，y)＝0.2989R(x，y)+0.5870G(x，y)+0.1140B(x，y) (1)

式中，0.2989，0.5870，0.1140分别为(x，y)位置的像素点R分量、G分量、B分量对应的权值，经过公式(1)得到灰度化后的图像(x，y)位置像素点的灰度值F的大小。

4.根据权利要求2所述的基于深度神经网络的人脸姿态重建方法，其特征在于，所述对灰度化处理后的人脸图像进行几何归一化处理包括：

采用LBP算法的人脸检测训练模型，对模型要训练的人脸图像进行检测，在人脸图像中找到人脸部分的位置，确定人脸区域的准确位置，准确获取人脸部分；

采用AdaBoost算法训练检测眼睛位置，对测试图像进行人眼检测，获得图像上的眼睛区域，作为眼睛精确位置的初步估算；

根据图像平面旋转方法，对人脸图像中选取的某一点位置作为基准点，将人脸图像以基准点为中心进行旋转，将人脸图像进行矫正对齐。

5.根据权利要求2所述的基于深度神经网络的人脸姿态重建方法，其特征在于，所述采用线性变换方法进行人脸图像的数据归一化处理包括：线性函数转换方法、对数函数转换方法、反余切函数转换方法、正态分布化方法、小数定标规范化方法、模糊量化模式方法。

6.根据权利要求2所述的基于深度神经网络的人脸姿态重建方法，其特征在于，所述对人脸图像中值滤波去噪包括：

设置滤波模板，并将滤波模板的中心与人脸图像的像素点位置进行重合；

将滤波模板与人脸图像重合区域内的各个对应像素点的灰度值进行排序；

获取人脸图像重合区域灰度值的中间值；

将中值赋值给模板中心位置的像素点。

7.根据权利要求1所述的基于深度神经网络的人脸姿态重建方法，其特征在于，所述构建人脸姿态中的神经网络从人脸图像的输入输出顺序包括：

输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、全连接层、输出层；

人脸图像首先通过输入层输入，经过第一卷积层进行函数激励，通过第一池化层缩小特征图大小，压缩精简特征，经过第二卷积层进一步进行函数激励，第二池化层进一步缩小特征图大小，压缩精简特征，通过第三卷积层后，将图像信息输出至全连接层，全连接层对提取到的特征图进行全连接，经过输出层输出生成图像。

8.根据权利要求7所述的基于深度神经网络的人脸姿态重建方法，其特征在于，所述第一卷积层、第二卷积层、第三卷积层对应的权值初始化值为：

arg min||Y-OWⁱX^i-1||² (2)

式中，X^i-1是第i层卷积层的输出特征图数据，Wⁱ是第i层的权重，每层的O是一个二进制矩阵，用于将上一层的特征映射的相同位置上的像素相加在一起，使得OWⁱX^i-1与Y大小相同，Y是该输入的人脸侧脸图像对应的人脸正面图像原图像。

9.根据权利要求1所述的基于深度神经网络的人脸姿态重建方法，其特征在于，所述把分割好的测试局部图像集代入训练好的姿态重建模型，得到预测后的人脸图像局部小块，将人脸图像局部小块组合后生成人脸图像包括：

将各部分小块图像合成人脸图像局部小块图像，其公式为：

式中，a_i为初始化局部图像块之间的重构系数，作为一次项x_i的参数的初始化值，其表示公式为：γ_i表示初始化的线性因子，其表示公式为：b_i为偏置参数，其初始化值为0。

将人脸图像局部小块图像合成人脸图像，其公式为：