CN108520204A - 一种人脸识别方法 - Google Patents

Abstract

本发明公开了一种人脸识别方法。方法包括将二维与三维人脸数据进行归一化预处理和二维深度图的构造；根据人脸数据特点搭建了一个包含两个卷积层、两个下采样层、两个局部连接层、一个全连接层和一个softmax输出层的卷积神经网络结构；将网络的输入输出、各网络层的卷积核大小，滤波器大小等参数进行配置；将二维人脸数据和三维人脸数据使用RGB‑D方法进行数据融合，输入所搭建的卷积神经网络，进行人脸识别。本发明操作方便高效，克服了现有三维人脸识别方法易受人脸表情、光照等影响的缺点；克服了现有三维人脸识别方法对于高数据量样本识别效率低，识别精度不高等问题。

Description

一种人脸识别方法

技术领域

本发明属于模式识别领域，涉及一种利用卷积神经网络和多维数据融合进行人脸识别的方法，尤其适用于刑侦、日常考勤、档案系统等领域。

背景技术

人脸识别领域很多年的发展一直是基于二维图像的，尽管在识别技术上已趋于成熟，但识别效果仍会受光照、表情、姿态等因素影响而降低。因此，人脸识别领域的学者开始重视三维人脸识别的研究。

一般来说，三维人脸识别指的是将待识别的三维人脸数据与三维人脸数据库做匹配，从而找到待识别对象身份的过程。采集得到的三维人脸数据不随光照、表情以及姿态等因素变化而变化的，同时，三维数据具有显式的空间形状表征，相对于二维数据有更加丰富的信息量。

目前，三维人脸匹配算法主要分为基于空域直接匹配、基于局部特征匹配以及基于整体特征匹配三种。基于空域直接匹配的方法不提取特征，直接进行曲面相似度匹配，常用的方法有ICP和Hausdorff距离法，这一类的方法一般分为对齐和相似度计算两步；基于局部特征的匹配方法关键在于如何从三维人脸曲面中去提取有效的形状几何信息特征，局部特征主要包括局部描述符、曲线特征以及其他一些几何特征和统计特征；基于整体特征匹配的方法，注重于三维模型的整体特征，主要分为用深度图表示三维人脸，直接使用基于表观的方法、将人脸数据映射为EGI，然后进行匹配，以及整体变换三维模型后进行匹配。

在现有的三维人脸识别方法当中，主要存在三大问题：(1)算法对三维人脸数据敏感，对带有光照、人脸表情变化的人脸数据不具有稳定性，视图的变化或者附属物对人脸的遮挡，往往会影响三维人脸识别效果；(2)在现有的三维人脸识别算法中，识别率不高以至于无法应用到现实当中；(3)算法的效率有限，首先对于大样本无法提供良好的识别速度，其次对于可接收人脸数据形式过于单一，常用算法仅接收人脸数据的点云格式。

发明内容

针对现有技术的缺陷和不足，本发明提供了一种人脸识别方法。

首先，本发明提供了一种人脸识别数据库构建方法。本发明提供的人脸识别数据库构建方法利用人脸图像集合F构建人脸识别数据库，方法包括：

一，数据预处理

步骤11，将集合F₃中每幅图像的三维点云数据向笛卡尔坐标系的xy平面进行投影，得到投影图像集合β；F₃为人脸图像库F中所有人脸图像的三维人脸图像集合，

步骤12，对集合β中的每幅投影图像进行分块处理，得到投影图像β_f的多个分块和多个漏洞子块，f∈F，β_f∈β；

步骤13，对投影图像β_f，β_f∈β的多个漏洞子块进行双立方插值修补，得到插值后的矩阵，对插值后的矩阵进行归一化处理，将归一化后的矩阵转化为图片形式，得到投影图像β_f的深度图像，所有投影图像的深度图像构成深度图像集合；

步骤14，对深度图像集合中的每个深度图像进行脸部归一化，得到归一化后的深度图像集合F₃'；

步骤15，采用RGB-D方法对集合F₃'和集合F₂进行融合，得到融合后的人脸数据集合F₂₃，F₂为人脸图像库F中所有人脸图像的二维人脸图像集合；

二、数据训练

采用卷积神经网络对F₂₃进行过滤操作得到数据集合F₂₃ ⁷，数据集合F₂₃ ⁷构成人脸识别数据库，所述卷积神经网络包括输入层、第一卷积层、第一下采样层、第二卷积层、第二下采样层、第一局部连接层、第二局部连接层和全连接层。

进一步，本发明步骤14中以人脸鼻尖为中心对深度图像集合中的每个深度图像进行脸部归一化。

进一步，本发明在进行过滤操作前对卷积神经网络进行参数配置，所述参数配置包括：权重学习速率epsW为0.001，偏置epsB的学习速率为0.002，权重动量momW为0.9，偏置动量momB为0.9，L2范数衰减wc为0。

本发明提供的人脸识别方法包括：

步骤一，采用卷积神经网络对待识别人脸f_x进行过滤操作，得到待识别人脸数据所述卷积神经网络包括输入层、第一卷积层、第一下采样层、第二卷积层、第二下采样层、第一局部连接层、第二局部连接层和全连接层；

步骤二，计算待识别人脸数据与权利要求1构建的人脸识别数据库中各样本的匹配度，若人脸识别数据库中存在与待识别人脸数据匹配度为95％以上的样本，则待识别人脸存在于人脸识别数据库中，否则，待识别人脸不存在于人脸识别数据库。

进一步，本发明步骤二中采用Sotfmax函数计算待识别人脸数据与权利要求1构建的人脸识别数据库中各样本的匹配度。

优选的，本发明将待识别人脸数据与权利要求1构建的人脸识别数据库输入到softmax输出层中计算待识别人脸数据与权利要求1构建的人脸识别数据库中各样本的匹配度。

本发明的有益效果是：

(1)本发明所采用的方法中，卷积神经网络自身的权值共享特性克服了现有技术中对于大量样本进行人脸识别的低效、时间缓慢的缺点；

(2)本发明所采用的方法中，卷积神经网络自身的结构特异化克服了现有技术易受人脸表情及光照影响而降低识别性能的缺点；

(3)本发明所采用的方法中，卷积神经网络对图片数据的良好包容性克服了现有技术对单一形式数据进行识别的缺点，采用多维数据融合方式作为数据输入，有效提高识别性能；

(4)本发明所采用的方法，优于现有技术在人脸识别上的性能，操作方便，自动化程度高，正确率较高，在少样本情况下可达99.8％，多样本情况下可达95.2％的识别率。

(5)本发明使用机器学习中的神经网络模型，它通过多层的网络结构从原始图像数据中提取本质而又高阶的特征，从而实现对图像的识别以及分类，。由于卷积神经网络的层数以及每一个网络层的参数配置根据实际需求的不同而设定不同，其灵活性在特定的数据集上有着较好的效果。

附图说明

图1为原始二维人脸图像

图2为图1所示人脸的三维人脸图像；

图3为图1所示人脸的深度图像；

图4为实施例1中第一个卷积层的滤波效果；

图5为实施例1中第二个卷积层的滤波效果；

图6为实施例1中全连接层的可视化效果；

图7为实施例1中所搭建的人脸数据库随机展示；

图8为实施例2中未知人脸A；

图9为实施例2中未知人脸A在第一个卷积层过滤效果；

图10为实施例2中未知人脸A在第二个卷积层过滤效果；

图11为实施例2中未知人脸B；

图12为实施例2中未知人脸B在第一个卷积层过滤效果；

图13为实施例2中未知人脸B在第二个卷积层过滤效果；

图14为实施例2中对未知人脸A和B的识别结果。

具体实施方式

本发明的人脸数据样本是三维人脸图像对应的人脸深度图和原始的二维人脸图像，参见图1-3。在采集点云数据过程中，由于在采集数据时，坐标原点的设定无从得知，因此所得到点云的三维坐标值并不固定在某个范围内，但点云之间的相对关系是不变的，因此本发明对这些三维数据进行平移化处理，使得三维人脸数据置于一个标准坐标系内，便于后续对三维人脸数据的操作。

本发明将β中的每幅投影图像β_f进行分块处理，根据β_f的横纵坐标最值，设定β_f的宽度W和高度H，其中W＝max(x)-min(x)，H＝max(y)-min(y)，假设投影区域的分块方式为50×50，则每一个子块的宽度w和高度h就可以分别表示为w＝W/50，h＝H/50，假设从上至下、从左至右第(i,j)个子块由φ(i,j)表示，则三维点云数据向二维平面的映射关系可以表示为D(x,y,z)→Φ(i,j)，其中i＝[(X_n-min(x))/d]+1，j＝[(Y_n-min(y))/h]+1，X_n，Y_n为当前子块第一个点云的x，y坐标值,即子块中最左上角点云x，y坐标值。n在这里表示当前子块的序号，因为分块方式为50×50，所以n取值范围为1-2500。而点云数据中含有大量噪声，对β_f中的点云数据进行投影分块处理之后会产生漏洞子块。

而在脸部归一化过程中，检测鼻尖点可以利用子区域统计每个区域内的像素点的深度值和，鼻尖点位于深度值和最大的区域，再在该区域内检测深度值最大的点即鼻尖点。本发明将鼻尖点位于图像中心，对人脸进行归一化处理。三维人脸图像所对应的二维深度图像中，每一个点的像素值即原三维人脸图像在该处的深度值(z坐标值)。

本发明采用八层的卷积神经网络结构对融合后的数据进行过滤操作，该神经网络结构作为识别程序的中枢，接收融合后的人脸数据集合F₂₃，对F₂₃中的每个融合图像进行过滤操作，形成人脸识别数据库；卷积神经网络包括输入层、第一卷积层、第一下采样层、第二卷积层、第二下采样层、第一局部连接层、第二局部连接层和全连接层。

本发明卷积神经网络结构一个具体的过程可解释如下：

步骤1，首先是输入层，网络的输入层因需要采用彩色信息和深度信息，可将F₂₃中的每个人脸数据F_23f设置为一个64×64×4的矩阵J_f；

步骤2，经过数据输入层后，采用第一卷积层—第一下采样层—第二卷积层—第二下采样层的结构进行过滤：

第一个卷积层采用5×5的卷积核、32个滤波器，滑动步长为1，通道数与数据输入层相同，根据不同的输入信息，确定相应的的通道数。假设输入的通道数的为M，则F_23f经过第一个卷积层后的结果可表示为64×64×M～32×5×5×M→60×60×32，得到F_23f ¹，其中“～”表示每个网络层相对应的运算；

第一个下采样层：该层采用max pooling方式，池化窗的大小为2×2，通道数为64，步长设定为2，F_23f ¹经过该层后的结果可表示为60×60×32～32×2×2×64→30×30×32，得到F_23f ²；

第二个卷积层：第二个卷积层采用32个滤波器，64个通道，3×3的卷积核，滑动步长为1，F_23f ²通过该层运算为，30×30×32～32×3×3×64→28×28×32，得到F_23f ³；

第二个下采样层:该下采样层同样采用max pooling方式，池化窗的大小为2×2，通道数位64，F_23f ³通过该层运算可表示为，28×28×32～32×2×2×64→14×14×32，得到F_23f ⁴；

步骤3，在卷积层和下采样的结构之后是两个局部连接层：

第一个局部连接层：该层采用64个滤波器，64个通道，2×2大小的卷积核，步长为1，F_23f ⁴在该层运算为，14×14×32～64×2×2×64→13×13×64，得到F_23f ⁵；

第二个局部连接层：该层采用32个滤波器和32个通道数，卷积核大小仍为2×2，步长仍为1，F_23f ⁵在该层运算为13×13×64～32×2×2×32→12×12×32，得到F_23f ⁶；

局部连接层之后是一个全连接层：该层首先以F_23f ⁶作为输入，仅做局部连接，最后得到个数为q的数据集合F₂₃ ⁷，即可构成人脸识别数据库R。

在搭建卷积神经网络各层之前，需要进行卷积神经网络学习速率的配置以及卷积神经网络各层的权重分配，以调节卷积神经网络训练速度和识别效果。本发明方案中卷积神经网络的参数设定可采用如下方案：权重学习速率epsW为0.001，偏置epsB的学习速率为0.002，权重动量momW为0.9，偏置动量momB为0.9，L2范数衰减wc为0。

权重需要根据当前所在卷积神经网络中的层数进行实时更新，一种实施方案中，本发明在搭建卷积神经网络初始化阶段对卷积神经网络参数配置中采用的权重更新公式如下：

weight_inc[i]:＝momW*weight_inc[i-1]-wc*epsW*weight_inc[i-1]+epsW*weight_grads[i]

weight[i]:＝weight[i-1]+weight_inc[i]

在该公式中，i表示训练过程中样本所在卷积神经网络结构中的层序号，取值范围为1至7。

weight_inc[i]为样本在卷积神经网络中第i层时的训练权重增量，权重学习速率epsW为0.001，

偏置epsB的学习速率为0.002，

权重以及偏置的动量momW,momB都为0.9，

L2范数衰减wc为0，

weight_grads[i]为样本在卷积神经网络中第i层时训练的权重梯度方式，

weight[i]为样本在卷积神经网络中第i层时训练的权重值；在初始阶段，网络的权重以及偏置需要进行初始化，其中，权重以0.00001标准方差的分布进行初始化，偏置设为0。

因为卷积神经网络的计算量大，计算梯度缓慢，在某些具体实施方式汇中，本发明可采用随机批量梯度下降的方式，并将参数Minibatch设定为128。

本发明的未知人脸识别方法是将未知人脸f_x经过上述神经网络结构步骤1-7处理后得到的f_x ⁷与人脸库R中的样本通过softmax函数计算的库中最优匹配人脸的匹配度达到95％以上时，即认为该未知人脸f_x在人脸库R中，或者将f_x与人脸库R中的样本最后输入到softmax输出层，通过soft max函数计算的库中最优匹配人脸的匹配度达到95％以上时，即认为该未知人脸f_x在人脸库R中；网络的输出层是一个Sotfmax回归层。

实施例1：

该实施例采用的人脸数据库是CASIA 3D FACE V1数据库，采用本发明的方案，对数据库图像进行去噪和三维深度图构建、归一化处理和数据二维与三维的融合之后，将数据随机分成5个训练batch，数据输入网络后，经过第一个卷积层的滤波效果参见图4，输入到第二个卷积层的滤波效果参见图5，全连接层可视化效果参见图6，所构建的人脸识别数据库中共有10个类别，因此标签为one-ten,随机抽取库中的每个类别其中一个表情状态图做展示，每幅图下是该数据的标签，即该数据所属类别，参见图7。

实施例2：未知人脸识别

该实施例利用实施例1构建的数据库对未知人脸A和未知人脸B进行识别，未知人脸A图像如图8，经过上述所搭建卷积神经网络中第一个卷积层和第二个卷积层的卷积效果如图9、10。未知人脸B图像如图11，经过上述所搭建的卷积神经网络中第一个卷积层和第二个卷积层的卷积效果图如12、13。最终对未知人脸1和2与人脸数据库输入到softmax输出层的识别结果如图14。

由图14对未知人脸的识别结果可以看出，未知人脸A的识别结果几乎100％为人“one”，因此认定未知人脸A即为人脸数据库中的人“one”；而未知人脸B的识别结果中，其中大概率为“ten”，小概率为“three”或“sev en”，因为识别可能性最高的“ten”的概率值低于95％，所以认为未知人脸B不在人脸数据库中。

Claims (6)

1.一种人脸识别数据库构建方法，方法利用人脸图像集合F构建人脸识别数据库，其特征在于，方法包括：

一，数据预处理

步骤11，将集合F₃中每幅图像的三维点云数据向笛卡尔坐标系的xy平面进行投影，得到投影图像集合β；F₃为人脸图像库F中所有人脸图像的三维人脸图像集合，

步骤12，对集合β中的每幅投影图像进行分块处理，得到投影图像β_f的多个分块和多个漏洞子块，f∈F，β_f∈β；

步骤13，对投影图像β_f，β_f∈β的多个漏洞子块进行双立方插值修补，得到插值后的矩阵，对插值后的矩阵进行归一化处理，将归一化后的矩阵转化为图片形式，得到投影图像β_f的深度图像，所有投影图像的深度图像构成深度图像集合；

步骤14，对深度图像集合中的每个深度图像进行脸部归一化，得到归一化后的深度图像集合F₃′；

步骤15，采用RGB-D方法对集合F₃'和集合F₂进行融合，得到融合后的人脸数据集合F₂₃，F₂为人脸图像库F中所有人脸图像的二维人脸图像集合；

二、数据训练

采用卷积神经网络对F₂₃进行过滤操作得到数据集合F₂₃ ⁷，数据集合F₂₃ ⁷构成人脸识别数据库，所述卷积神经网络包括输入层、第一卷积层、第一下采样层、第二卷积层、第二下采样层、第一局部连接层、第二局部连接层和全连接层。

2.如权利要求1所述的人脸识别数据库构建方法，其特征在于，所述步骤14中以人脸鼻尖为中心对深度图像集合中的每个深度图像进行脸部归一化。

3.如权利要求1所述的人脸识别数据库构建方法，其特征在于，在进行过滤操作前对卷积神经网络进行参数配置，所述参数配置包括：权重学习速率epsW为0.001，偏置epsB的学习速率为0.002，权重动量momW为0.9，偏置动量momB为0.9，L2范数衰减wc为0。

4.一种人脸识别方法，其特征在于，方法包括：

步骤一，采用卷积神经网络对待识别人脸f_x进行过滤操作，得到待识别人脸数据所述卷积神经网络包括输入层、第一卷积层、第一下采样层、第二卷积层、第二下采样层、第一局部连接层、第二局部连接层和全连接层；

步骤二，计算待识别人脸数据与权利要求1构建的人脸识别数据库中各样本的匹配度，若人脸识别数据库中存在与待识别人脸数据匹配度为95％以上的样本，则待识别人脸存在于人脸识别数据库中，否则，待识别人脸不存在于人脸识别数据库。

5.根据权利要求3所述的人脸识别方法，其特征在于，步骤二中采用Sotfmax函数计算待识别人脸数据与权利要求1构建的人脸识别数据库中各样本的匹配度。

6.根据权利要求4所述的人脸识别方法，其特征在于，将待识别人脸数据与权利要求1构建的人脸识别数据库输入到softmax输出层中计算待识别人脸数据与权利要求1构建的人脸识别数据库中各样本的匹配度。