CN110287880A - 一种基于深度学习的姿态鲁棒性人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的姿态鲁棒性人脸识别方法，克服了现有技术中带有姿态变化的人脸识别准确率和速度有待提高的问题。该发明含有以下步骤，步骤1、预处理训练样本；步骤2、构建并训练人脸身份识别网络；步骤3、构建并训练头部姿态识别网络；步骤4、构建并训练特征融合网络。本发明先用卷积神经网络提取出人脸身份特征和姿态特征信息，并将两种信息进行特征融合，最后对包含人脸身份信息和姿态信息的融合特征进行余弦相似度度量，判定其是否属于同一个人，从而完成人脸身份识别。通过特征融合的方法公布了一种具有姿态鲁棒性的人脸识别技术，提高了带有姿态变化的人脸识别准确率和速度。

Description

一种基于深度学习的姿态鲁棒性人脸识别方法

技术领域

本发明涉及图像处理技术领域基于深度学习的姿态鲁棒性人脸识别方法，特别是涉及一种基于深度学习的姿态鲁棒性人脸识别方法。

背景技术

随着人脸识别技术的不断发展，其在安全领域的应用越来越广泛。近几年来开始出现人脸识别解锁，人脸考勤机，人脸识别门禁，刷脸支付等应用，但受到传统人脸识别方法的限制，大部分人脸识别产品只能在用户配合的情况下使用，在非配合、非受控环境下，由于姿态变化、光照变化、表情变化等导致人脸识别精度大大下降，大大限制了人脸识别技术的应用推广。在这些变化中，姿态变化是对人脸识别精度影响最严重的一个因素。本发明针对在实际应用中由于姿态变化导致的人脸识别精度下降的问题，主要研究具有姿态鲁棒性的人脸识别方法，其核心挑战在于如何将身份信息和姿态信息融合用于快速而准确的人脸识别。

杜成、苏光大等人在其发表的论文“多姿态人脸合成”(光电子激光，2004(12))中，提出一种从单张旋转人脸图像合成正面人脸图像的方法。首先把测试人脸图像表示为形状向量和纹理向量，用线性物体类的理论来合成正面形状和纹理，之后把测试图像的纹理和合成的纹理结合产生最终的正面纹理，最后应用分段三角形拉伸算法把合成的纹理和形状结合起来，生成了测试人脸的正面图像。该方法能一定程度上改善姿态问题，但由于姿态变化较大丢失特征较多这一特点，该方法在大姿态情况下效果不太理想。

TangH，YinB等人在其发表的论文“Pose-invariant face recognition Based ona Single View”(JOURNAL OF INFORMATION&COMPUTATIONAL SCIENCE，2010)中提出了用于解决特定姿态变化情况的三维人脸平均处理机制，通过使用多姿态样本建立三维平均形状模型，并将图像的纹理信息加入到该模型生成用于识别的平均三维人脸模型，由于该算法构造模型时姿态局限于0—30°角度变化的图像，因而不能对角度较大的对象进行较好的识别。而且建立三维模型的过程较为复杂，计算量较大。

叶长明、蒋建国在其发表的论文“基于曲面等高线特征的不同姿态三维人脸深度图识别”([J].模式识别与人工智能，2013，26(2).)中提出了一种基于傅里叶描述子与等高线的人脸识别方法(FDAC)，首先利用微分几何相关理论来指导三维深度人脸深度图的校正，再根据曲面等高线来描述人脸的面部特征并使用傅里叶描绘子实现特征提取，最后利用提取的等高线特征进行人脸分类识别。FDAC方法基于三维人脸识别，对于不同姿态下的三维人脸图像有较好的识别率，但其需要通过三维成像系统获得各种姿态下的三维人脸深度图，而三维人脸采集设备价格非常昂贵，因此这种方法难以应用到实际中。

发明内容

本发明克服了现有技术中带有姿态变化的人脸识别准确率和速度有待提高的问题，提供一种处理精度和效率较高的基于深度学习的姿态鲁棒性人脸识别方法。

本发明的技术解决方案是，提供一种具有以下结构的基于深度学习的姿态鲁棒性人脸识别方法：含有以下步骤，步骤1、预处理训练样本；步骤2、构建并训练人脸身份识别网络；步骤3、构建并训练头部姿态识别网络；步骤4、构建并训练特征融合网络。

优选地，所述步骤1包括以下步骤，步骤1a、选择国际公开的CASIA_Webface人脸图像数据库中的人脸图像作为人脸身份信息训练样本，选择国际公开的300W-LP人脸图像数据库中的人脸图像作为人脸姿态信息训练样本；

步骤1b、对于CASIA_Webface数据集，使用opencv库中的Haar特征检测器检测各个训练样本图像中的人脸五官特征点并定位，使用opencv库中的cv.getAffineTransform(·)函数对定位后的特征点进行仿射变换，实现样本图像的对齐预处理，使用opencv库中的cv.SetImageROI(·)函数将对齐后的样本图像进行人脸图像分割预处理，得到相应的精简训练样本图像；对于300W-LP数据集，使用scipy库中的sio读取各个训练样本图像对应的mat文件中的人脸框坐标信息和头部偏转角度信息，使用PIL库中的img.crop()函数裁剪出人脸部分，得到带有姿态变化的人脸训练样本；

步骤1c、利用Pytorch框架将CASIA_Webface训练样本和300W-LP训练样本转变成相应的tensor格式的数据。

优选地，所述步骤2包括以下步骤，步骤2a、构建人脸身份识别卷积神经网络，将卷积神经网络中每个隐藏层的初始权重均赋予一个随机值，每个隐藏层的初始偏置全赋予0值；

该网络主体结构包括一个3×3卷积层Conv3×3，一个3×3深度可分离卷积层Depthwise conv3×3，5个瓶颈卷积层bottleneck，一个1×1卷积层Conv1×1_1，一个线性深度可分离的7×7卷积层Linear GDConv7×7_1和一个线性1×1卷积层Linear Conv1×1_1，激活函数采用PReLu，损失函数选择insightface损失；

步骤2b、基于准备好的CASIA_Webface人脸身份训练集，利用BP反向传播算法，训练人脸身份识别网络；即在训练过程中，基于网络的预测值与标签真实值之间产生的误差，计算识别网络在各层的梯度，利用负梯度方向求分类误差最小时网络的最优化参数，经过70轮的训练，得到训练完成的人脸身份识别网络；

步骤2c、该网络训练完毕后取最后的线性1×1卷积层Linear Conv1×1_1的输出结果，即1×128的向量作为人脸身份特征向量，用于余弦相似度度量，进行初步人脸身份识别。

优选地，所述步骤3包括以下步骤，步骤3a、基于步骤2)中训练完成的人脸身份识别网络，充分利用迁移学习的思想，保持训练好的人脸身份识别网络的瓶颈卷积层bottleneck及其之前的层的结构不变，在第5个瓶颈卷积层bottleneck后添加一个新的1×1卷积层Conv1×1_2、一个新的线性深度可分离的7×7卷积层Linear GDConv7×7_2和一个新的线性1×1卷积层Linear Conv1×1_2用于提取姿态相关的特征，再添加3个全连接层用于对头部偏转角度进行分类，全连接层的激活函数采用SoftMax，其他层采用PReLu，损失函数选择交叉熵损失函数和均方误差损失函数结合，构建头部姿态识别网络；

步骤3b、将准备好的300W-LP训练集对头部姿态识别网络进行多输出分类任务的训练，基于网络预测得到的头部偏转角度和标签真实偏转角度之间的误差，进行反向传播，计算梯度并更新参数，误差最小时网络参数达到最优，经过70轮的训练，得到训练完成的头部姿态识别网络；

步骤3c、该网络预测头部偏转角度，取全连接层之前的线性1×1卷积层LinearConv1×1_2输出的1×128向量作为人脸姿态特征，实现人脸姿态特征的提取。

优选地，所述步骤4包括以下步骤，步骤4a、基于步骤(2)和步骤(3)中训练完成的人脸身份识别网络和头部姿态识别网络，利用特征融合的思想，将人脸身份识别网络1×1卷积层Conv1×1_1输出的特征图和头部姿态识别网络1×1卷积层Conv1×1_2输出的特征图进行特征融合(concat)操作，将concat的结果依次送入一个1×1卷积层Conv1×1_3、一个线性深度可分离的7×7卷积层Linear GDConv7×7_3和一个线性1×1卷积层LinearConv1×1_3，激活函数采用PReLu，损失函数选择insightface损失，构建特征融合网络；

步骤4b、从准备好的CASIA_Webface训练集中挑选出一部分对特征融合网络进行训练，基于网络预测的身份与标签真实身份之间产生的误差进行反向传播，计算梯度并更新参数，误差最小时网络参数达到最优，经过70轮的训练，得到训练完成的特征融合网络；

步骤4c、训练得到的网络输出1×128维的向量，即为包含人脸身份信息和头部姿态信息的特征向量，用于余弦相似度度量，对带有姿态变化的人脸进行姿态鲁棒性人脸识别。

与现有技术相比，本发明基于深度学习的姿态鲁棒性人脸识别方法具有以下优点：

1、本发明使用了卷积神经网络提取图像特征，克服了现有技术自学习能力差，鲁棒性低的缺点，使得本发明具有更强的自主学习能力，更高的鲁棒性。

2、本发明使用了轻量级网络提取图像特征，克服了现有技术网络深度较深，人脸模型容易过拟合，识别速度慢的缺点，使得本发明具有更好的泛化性和更快的识别速度。

3、本发明采用了迁移学习的思想，底层卷积神经网络共享参数，上层网络独享特定参数，从一个模型分别得到人脸身份特征和姿态特征，模型精简且效率高；基于特征融合的思想，将人脸身份特征和人脸姿态特征进行特征融合并进行降维处理，得到了同时包含人脸身份信息和姿态信息的特征向量，对具有多种姿态变化的人脸识别具有一定的鲁棒性。

4、本发明利用深度卷积神经网络提取出图像特征，得到与人脸身份相关和头部姿态相关的两种特征信息，通过特征融合的方法公布了一种具有姿态鲁棒性的人脸识别技术，提高了带有姿态变化的人脸识别准确率和速度。可用于身份认证，公共安全等领域，提高人脸图像处理的精度和效率。

附图说明

图1是本发明基于深度学习的姿态鲁棒性人脸识别方法的流程示意图；

图2是本发明基于深度学习的姿态鲁棒性人脸识别方法的网络结构示意图；

图3是本发明基于深度学习的姿态鲁棒性人脸识别方法的网络结构汉化示意图；

图4是本发明基于深度学习的姿态鲁棒性人脸识别方法中人脸头部定义为三种分姿态后的偏转角度示意图。

其中图2和图3中Prelu和Softmax都是一种激活函数；concat是实现一种特征融合的策略，实现通道数的合并，图2本发明的卷积神经网络结构图，各个层的名称在研究过程中习惯性均用英文表示，图3是图2中卷积神经网络结构图对应的汉化图，其中有些结构相同的层在不同模块中都被使用过，比如1×1卷积层，在人脸身份识别网络、头部姿态识别网络和特征融合网络中都出现过，在图2中用了Conv1×1_1、Conv1×1_2和Conv1×1_3这种下划线加数字的方式区分，汉化后图3中没有区分，只是说明了卷积层的名字。对于头部姿态识别网络最后的三个全连接层，分别对应图2中的fc_yaw、fc_pitch和fc_roll，分别实现yaw、pitch和roll这三个角度的预测，其结构相同，但实现的功能不同。

具体实施方式

下面结合附图和具体实施方式对本发明基于深度学习的姿态鲁棒性人脸识别方法作进一步说明：

本发明所述的卷积神经网络训练的流程为：先训人脸身份识别网络，再训头部姿态识别网络，最后训特征融合网络，完成三个模块的训练才能得到图2所示的完整的网络。训练完成以后进行测试的流程如下：输入图像依次经过3×3卷积层、3×3深度可分离卷积层和5个瓶颈卷积层(bottleneck)，最后一个瓶颈卷积层(bottleneck)的输出分别进入人脸身份识别网络和头部姿态识别网络，分别实现人脸身份特征提取和姿态特征提取的功能，再取人脸身份识别网络和头部姿态识别网络的1×1卷积层的输出作为特征图进行特征融合(concat)，特征图融合的结果依次经过1×1卷积层、7×7线性深度可分离卷积层和1×1线性卷积层，得到同时包含人脸身份信息和姿态信息的融合特征，用于人脸识别。

本发明的技术思路是基于深度学习的姿态鲁棒性人脸识别方法，先用卷积神经网络提取出人脸身份特征和姿态特征信息，并将两种信息进行特征融合，最后对包含人脸身份信息和姿态信息的融合特征进行余弦相似度度量，判定其是否属于同一个人，从而完成人脸身份识别。

实施例过程如下：步骤1，预处理训练样本。

选择国际公开的CASIA_Webface人脸图像数据库中的样本作为人脸身份信息训练样本，选择国际公开的300W-LP人脸图像数据库中的样本作为人脸姿态信息训练样本。

对于CASIA_Webface数据集，使用opencv库中的Haar特征检测器检测训练样本图像中的人脸五官特征点并定位，使用opencv库中的cv.getAffineTransform(·)函数对定位后的特征点进行仿射变换，实现训练样本的对齐预处理，使用opencv库中的cv.SetImageROI(·)函数将对齐后的样本图像进行人脸图像分割预处理，得到精简训练样本；对于300W-LP数据集，使用scipy库中的sio读取各个训练样本图像对应的mat文件中的人脸框坐标信息和头部偏转角度信息，使用PIL库中的img.crop()函数裁剪出人脸部分，得到包含姿态信息的训练样本。

CASIA_Webface数据集包含10575个身份，需要生成0—10574的人脸身份分类标签。由于300W-LP数据集中的角度是连续值，需要生成角度信息的离散标签。选取角度范围在(-99，102)的图片，将角度每隔3°为一类，使用numpy库中的digitize()函数将头部偏转角度分为66类，生成0—65的角度分类标签。利用PyTorch框架脚本将训练样本和标签转变tensor格式的数据。

步骤2，构建并训练人脸身份识别网络。

第1步，构建人脸身份识别网络，人脸身份识别网络结构见如图2所示，包括一个3×3卷积层Conv3×3，一个3×3深度可分离卷积层Depthwise conv3×3，5个瓶颈卷积层bottleneck，一个1×1卷积层Conv1×1_1，一个线性深度可分离的7×7卷积层LinearGDConv7×7_1和一个线性1×1卷积层Linear Conv1×1_1。激活函数采用PReLu；首先将卷积神经网络中每个隐藏层的初始权重均赋予一个随机值，每个隐藏层的初始偏置全赋予0值，最后的损失函数选择insightface损失函数，直接在角度空间(angular space)中最大化分类界限，可以加强类内紧凑性和类间差异性。

第2步，采用反向传播算法训练网络。将人脸身份tensor格式的训练数据集输入网络，按照下式，计算卷积神经网络中每一个隐藏层的输出向量：

其中，x_j ^(l)表示卷积神经网络中第l个隐藏层的第j个输出向量，f表示线性变换操作，∑表示求和操作，i表示第i个输入数据，M表示输入数据的集合，x_i ^(l)表示第l个隐藏层中的第i个输入数据，l表示神经网络的第l个隐藏层，*表示卷积操作，W_i ^(l)表示第l个隐藏层的第i个输入的权重矩阵，b_i ^(l)表示第l个隐藏层的第i个输入的偏置矩阵。

按照下式，更新卷积神经网络的参数：

其中，W_i ^(l)表示卷积神经网络中第l个隐藏层的第i个输入tensor格式的数据的权重矩阵，i表示第i个输入tensor格式的数据，α表示学习率，通常采用经验值0.1，表示对W_i ^(l)求梯度操作，J(W,b)表示第l个隐藏层的输出向量，b_i ^(l)表示卷积神经网络中第l个隐藏层的第i个输入tensor格式的数据的偏置矩阵，表示对b_i ^(l)求梯度操作。

判断神经网络的输出是否满足终止条件，若是，执行本步骤的第3步，否则，继续更新卷积神经网络的参数。

终止条件是指同时满足以下两个条件的情形：

条件1：神经网络输出的准确率不再提高；

条件2：神经网络输出的损失率不再降低。

最终经过70轮的迭代训练，神经网络的每个权重W_i ^(l)和每个偏置b_i ^(l)均收敛到了合适的值，训练得到了最优化卷积神经网络。

第3步，该网络训练完毕后，每输入一张112×96大小的图片，就可在1×1线性卷积层LinearConv1*1_1层提取一个1×128维的人脸特征向量，此向量可用于余弦相似度度量，初步实现人脸身份识别的功能。余弦相似度的计算公式如下：其中，sim(X,Y)表示两个特征向量间的余弦相似度，X和Y分别表示两个人脸图像的特征向量，||||表示求向量大小操作。根据计算出的余弦相似度值的大小，即可判断出两个特征向量所属的人脸照片是否属于同一个人。

步骤3，构建并训练头部姿态识别网络。

第1步，构建人脸头部姿态识别网络。基于步骤2中训练完成的人脸身份识别网络，充分利用迁移学习的思想，保持训练好的人脸身份识别网络的瓶颈卷积层bottleneck及其之前的层的结构不变，在第5个瓶颈卷积层bottleneck后添加一个新的1×1卷积层Conv1×1_2、一个新的线性深度可分离的7×7卷积层Linear GDConv7×7_2和一个新的线性1×1卷积层Linear Conv1×1_2用于提取姿态相关的特征，再添加3个全连接层用于对头部偏转角度进行分类，全连接层的激活函数采用SoftMax，其他层采用PReLu，损失函数选择交叉熵损失函数和均方误差损失函数结合，构建头部姿态识别网络。

损失函数的公式如下所示：其中，α表示权重系数，表示交叉熵损失函数，表示均方误差损失函数，y为样本的真实值，为神经网络给出的预测值。

第2步，利用步骤2第2步中介绍的反向传播算法，将准备好的tensor格式的训练集对头部姿态识别网络进行多输出分类任务的训练。

最终经过70轮的训练，得到头部姿态识别网络；

第3步，训练得到的网络可完成预测头部偏转角度的功能，因此可以直接取全连接层之前的线性1×1卷积层输出的1×128向量作为人脸姿态特征。

步骤4，构建并训练特征融合网络。

第1步，构建特征融合网络。基于步骤2和步骤3中训练完成的人脸身份和头部姿态识别网络，充分利用特征融合的思想，保持训练好的瓶颈卷积层bottleneck及其之前的层、人脸身份识别网络的1×1卷积层Conv1×1_1和头部姿态识别网络的1×1卷积层Conv1×1_2结构不变，取1×1卷积层Conv1×1_1和1×1卷积层Conv1×1_2的输出分别作为人脸身份和姿态相关的特征图，进行特征融合concat操作，实现特征通道数的合并，将特征融合的结果送入一个新的1×1卷积层Conv1×1_3进行降维处理，再经过一个线性深度可分离的7×7卷积层Linear GDConv7×7_3和一个线性1×1卷积层Linear Conv1×1_3得到最终的特征向量。最后的损失函数选择和步骤2相同的insightface损失函数。

第2步，利用步骤2第2步中介绍的反向传播算法，将准备好的tensor格式的训练集对特征融合网络进行人脸身份识别的训练。

最终经过70轮的训练，得到训练完成的特征融合网络；

第3步，训练得到的网络可以提取包含人脸身份信息和姿态信息的特征，从而实现姿态鲁棒性人脸识别。

下面结合仿真实验对本发明的效果做进一步的描述。

1、仿真实验条件：

发明仿真的硬件环境是：Intel Core(TM)i7-6700@3.40GHZ×8，GPU NVIDIATITAN X，8GB运行内存；软件环境：ubuntu16.04，Python3.6；实验框架：PyTorch。

2、仿真和实例内容与结果分析：

仿真1：计算头部姿态识别的准确率。

本发明的计算头部姿态识别准确率仿真实验从国际公开300W-LP数据库中选取IBUG子集中的人脸图像作为实验样本，共1786张图片和对应的1786个.mat文件，利用scipy库读取.mat文件中的人脸框坐标值以及头部偏转角度，将人脸裁剪成112×96大小后，输入到网络中进行实验。计算头部姿态识别的准确率仿真实验的具体实验结果如表1所示：

表1，头部姿态准确率在300W-LP数据集上仿真实验结果一览表

表1中的yaw、pitch、roll分别表示三个方向的头部偏转角，如图4所示，人脸是三维立体的，在三维空间中，yaw表示头部绕y轴旋转的角度(头部直立不动时左右扭动头的角度)，pitch表示头部绕x轴旋转的角度(头部直立不动时前后俯仰头的角度)，roll表示头部绕z轴旋转的角度(头部固定面前视物时左右侧歪头的角度)。从表1中可以看出，本发明方法对300W-LP数据库中IBUG子集的头部偏转角度预测的平均绝对误差均在10以内，其中，yaw方向的预测角度的平均绝对误差为6.96，pitch方向的预测角度的平均绝对误差为9.61，roll方向的预测角度的平均绝对误差为9.34，MAE为三个方向角度误差的平均值，为8.60；表1中的结果说明本发明方法头部姿态识别性能非常好，且1786张人脸照片的头部姿态识别总时间为5.717s，即单张照片的识别时间为3.2ms，识别速度非常快。

仿真2：计算人脸识别的准确率。

一个好的分类算法需要使得识别准确率很高，本发明的计算人脸识别准确率仿真实验从国际公开CFP数据库中任意选取10000组正脸-正脸对和10000组正脸-侧脸对人脸图像作为实验样本，利用scipy库将人脸裁剪成112×96大小后，输入到网络中进行实验。计算人脸身份识别的准确率仿真实验的具体实验结果如表2所示：

表2，人脸识别准确率在CFP数据集上仿真实验结果一览表

准确率(％)	F-F(正-正脸对)	F-P(正-侧脸对)
			ID(人脸身份特征)	89.09	58.07
Fusion(融合特征)	91.01	69.43
			提升	1.91	11.36

在表2中，“F-F”表示正脸-正脸人脸对，“F-P”表示正脸-侧脸人脸对，ID表示步骤2中构建的人脸身份识别网络提取到的人脸身份相关特征，Fusion表示步骤4中构建的特征融合网络提取到的同时包含人脸身份信息和头部姿态信息的融合特征。

从表2中可以看出，本发明方法的特征融合网络对CFP数据集中的正脸-正脸对的识别准确率有1.91％的提升，对正脸-侧脸对的识别准确率有11.36％的提升，说明本发明方法对带有姿态变化的人脸识别具有一定的鲁棒性；且10000对人脸照片的识别时间为88.1s，即单张照片的识别时间为4.4ms，识别速度非常快。

Claims (5)

1.一种基于深度学习的姿态鲁棒性人脸识别方法，其特征在于：含有以下步骤，

步骤1、预处理训练样本；

步骤2、构建并训练人脸身份识别网络；

步骤3、构建并训练头部姿态识别网络；

步骤4、构建并训练特征融合网络。

2.根据权利要求1所述的基于深度学习的姿态鲁棒性人脸识别方法，其特征在于：所述步骤1包括以下步骤，

步骤1a、选择国际公开的CASIA_Webface人脸图像数据库中的人脸图像作为人脸身份信息训练样本，选择国际公开的300W-LP人脸图像数据库中的人脸图像作为人脸姿态信息训练样本；

步骤1b、对于CASIA_Webface数据集，使用opencv库中的Haar特征检测器检测各个训练样本图像中的人脸五官特征点并定位，使用opencv库中的cv.getAffineTransform(·)函数对定位后的特征点进行仿射变换，实现样本图像的对齐预处理，使用opencv库中的cv.SetImageROI(·)函数将对齐后的样本图像进行人脸图像分割预处理，得到相应的精简训练样本图像；对于300W-LP数据集，使用scipy库中的sio读取各个训练样本图像对应的mat文件中的人脸框坐标信息和头部偏转角度信息，使用PIL库中的img.crop()函数裁剪出人脸部分，得到带有姿态变化的人脸训练样本；

步骤1c、利用Pytorch框架将CASIA_Webface训练样本和300W-LP训练样本转变成相应的tensor格式的数据。

3.根据权利要求1所述的基于深度学习的姿态鲁棒性人脸识别方法，其特征在于：所述步骤2包括以下步骤，

步骤2a、构建人脸身份识别卷积神经网络，将卷积神经网络中每个隐藏层的初始权重均赋予一个随机值，每个隐藏层的初始偏置全赋予0值；

该网络主体结构包括一个3×3卷积层Conv3×3，一个3×3深度可分离卷积层Depthwise conv3×3，5个瓶颈卷积层bottleneck，一个1×1卷积层Conv1×1_1，一个线性深度可分离的7×7卷积层Linear GDConv7×7_1和一个线性1×1卷积层Linear Conv1×1_1，激活函数采用PReLu，损失函数选择insightface损失；

步骤2b、基于准备好的CASIA_Webface人脸身份训练集，利用BP反向传播算法，训练人脸身份识别网络；即在训练过程中，基于网络的预测值与标签真实值之间产生的误差，计算识别网络在各层的梯度，利用负梯度方向求分类误差最小时网络的最优化参数，经过70轮的训练，得到训练完成的人脸身份识别网络；

步骤2c、该网络训练完毕后取最后的线性1×1卷积层输出结果Linear Conv1×1_1，即1×128的向量作为人脸身份特征向量，用于余弦相似度度量，进行初步人脸身份识别。

4.根据权利要求1所述的基于深度学习的姿态鲁棒性人脸识别方法，其特征在于：所述步骤3包括以下步骤，

步骤3a、基于步骤(2)中训练完成的人脸身份识别网络，充分利用迁移学习的思想，保持训练好的人脸身份识别网络的瓶颈卷积层bottleneck及其之前的层的结构不变，在第5个瓶颈卷积层bottleneck后添加一个新的1×1卷积层Conv1×1_2、一个新的线性深度可分离的7×7卷积层Linear GDConv7×7_2和一个新的线性1×1卷积层Linear Conv1×1_2用于提取姿态相关的特征，再添加3个全连接层用于对头部偏转角度进行分类，全连接层的激活函数采用SoftMax，其他层采用PReLu，损失函数选择交叉熵损失函数和均方误差损失函数结合，构建头部姿态识别网络；

步骤3b、将准备好的300W-LP训练集对头部姿态识别网络进行多输出分类任务的训练，基于网络预测得到的头部偏转角度和标签真实偏转角度之间的误差，进行反向传播，计算梯度并更新参数，误差最小时网络参数达到最优，经过70轮的训练，得到训练完成的头部姿态识别网络；

步骤3c、该网络预测头部偏转角度，取全连接层之前的线性1×1卷积层Linear Conv1×1_2输出的1×128向量作为人脸姿态特征，实现人脸姿态特征的提取。

5.根据权利要求1所述的基于深度学习的姿态鲁棒性人脸识别方法，其特征在于：所述步骤4包括以下步骤，

步骤4a、基于步骤(2)和步骤(3)中训练完成的人脸身份识别网络和头部姿态识别网络，利用特征融合的思想，将人脸身份识别网络1×1卷积层Conv1×1_1输出的特征图和头部姿态识别网络1×1卷积层Conv1×1_2输出的特征图进行特征融合concat操作，将concat的结果依次送入一个1×1卷积层Conv1×1_3、一个线性深度可分离的7×7卷积层LinearGDConv7×7_3和一个线性1×1卷积层Linear Conv1×1_3，激活函数采用PReLu，损失函数选择insightface损失，构建特征融合网络；

步骤4b、从准备好的CASIA_Webface训练集中挑选出一部分对特征融合网络进行训练，基于网络预测的身份与标签真实身份之间产生的误差进行反向传播，计算梯度并更新参数，误差最小时网络参数达到最优，经过70轮的训练，得到训练完成的特征融合网络；

步骤4c、训练得到的网络输出1×128维的向量，即为包含人脸身份信息和头部姿态信息的特征向量，用于余弦相似度度量，对带有姿态变化的人脸进行姿态鲁棒性人脸识别。