CN110472495B - 一种基于图形推理全局特征的深度学习人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于图形推理全局特征的深度学习人脸识别方法，其步骤包括：（1）收集人脸数据并做好分类标签并分成训练集和验证集；（2）设计图形推理提取人脸全局特征的网络；（3）将图形推理全局特征提取网络集成于残差网络；（4）将（1）获得的训练数据进行训练，得到训练模型；（5）根据测试结果调整训练参数重新训练，如此反复直至获得最佳的训练模型；（6）对测试人脸图像提取特征得到特征向量；（7）用余弦激励度量（6）中得到的最终特征向量，并判断是否是目标人脸，再输出结果。本发明克服了单一的卷积层无法映射人脸图像全局特征之间的联系，针对人脸图像特点设计的网络能够提取更具有判别力的特征以提升人脸识别准确率。

Description

一种基于图形推理全局特征的深度学习人脸识别方法

技术领域

本发明涉及人脸识别领域，尤其涉及一种基于图形推理全局特征和残差结构相结合的深度学习人脸识别方法。

背景技术

随着模式识别和计算机视觉技术的不断发展，人工智能的概念越来越被重视的今天，作为研究的热点的人脸识别技术，不仅具有很高的研究价值更有广泛的实际应用场景，并在我们的日常生活中发挥着其巨大的作用。人脸识别是通过分析人脸并提取有效的特征信息来完成身份鉴别的过程。目前大多数人脸识别的应用场景都是在约束条件下的，及在识别对象配合的情况下，将人脸图像的获取控制在一定场景内，人脸的姿态没有明显的变化，大多数获取的是人脸的正脸图像，同时场景的外部变化也受到控制，例如背景多为单一颜色，场景整体光照无较大的变化。

随着人脸识别技术几十年的不断发展，对于约束条件下的人脸识别已经取得了非常喜人的成果，研究者们提出了大量经典的人脸识别算法。尽管目前大多数已有的人脸识别算法和系统在特定约束条件下识别率已经取得了令人满意的结果，然而在非约束条件下人脸识别常受到表情变化、视角偏差、不同程度的遮挡和曝光等各种综合因素的影响，会导致提取的人脸特征存在较大的差异。因此，获得具有鲁棒性的人脸特征对于实现人脸识别显得尤为重要。

(1)与本发明相关的现有技术一——基于监控场景下人脸识别的系统设计与实现(史家昆.(2018).基于监控场景下的人脸识别的系统设计与实现，北京邮电大学硕士论文)。

该方案是基于传统特征描述子以及深度神经网络的研究和改进，在以前的研究的基础上，提出一种基于多尺度的完全局部二值模式的人脸识别算法以及通过改进损失函数来提高别人脸准确率。但是其缺点在于：1)需要手工设计复杂特征，难度比较大；2)对光线、形变等干扰因素抗性差，准确率低。

(2)与本发明相关的现有技术二——基于模板匹配的人脸识别方法(CN1790374A)。

该方案首先手工设计一种人脸特征，然后选取一张或者几张人脸图像提取特征生成模板，最后通过比较待识别人脸图像提取的特征与模板特征和设定阈值来判断是否是目标人脸。其缺点是：1)需要手工设计复杂特征，难度比较大；2)光线、形变等干扰因素对次方法影响大，准确率低。

(3)与本发明相关的现有技术三——基于卷积神经网络的人脸识别方法(于达岭,黄洪琼.一种基于卷积神经网络的人脸识别方法[J].信息技术与网络安全,2017,36(14):49-51.)。

该方案收集大量人脸数据并制作标签，设计一种卷积神经网络开始训练模型。选取一张或者几张人脸图像提取特征生成模板对待识别人脸图像提取特征，比较待识别人脸特征和模板特征，通过设定阈值来判断是否是目标人脸。但是该方案存在的缺点：1)对非约束场景适应效果差，提取的特征鲁棒性不强；2)提取的特征不能突出五官等重要差异性大的部位及它们之间的联系。

发明内容

本发明所要解决的技术问题是：针对现有技术中的缺点，本发明提出一种基于图形推理全局特征的深度学习人脸识别方法，该网络克服了单一的卷积层无法映射人脸图像全局特征之间的联系，针对人脸图像特点设计的网络能够提取更具有判别力的特征以提升人脸识别准确率。

本发明为解决上述技术问题采用以下技术方案：

本发明提出一种基于图形推理全局特征的深度学习人脸识别方法，包括步骤：

步骤一：收集人脸数据并做好分类标签，对做好标签的人脸图像数据做预处理和数据增强，分成训练集和验证集两部分；

步骤二：设计图形推理提取人脸全局特征的网络：对于一个输入特征图X∈R^S×C，其中C是特征的维度，S是特征图的大小，其值为特征图的高H和宽W的乘积，标准的卷积操作是对一个大小Ω＝{1，...，H}×{1，...,W}的平面区域进行提取特征；

步骤三：将图形推理全局特征提取网络集成于残差网络；

步骤四：将步骤一获得的训练数据送入集成了图形推理提取全局特征的网络的深度卷积神经网络上进行训练，得到训练模型；

步骤五：用步骤一中的验证数据测试步骤四得到的模型，根据测试结果调整训练参数重新训练，如此反复直至获得最佳的训练模型；

步骤六：用步骤五中训练好的模型对测试人脸图像提取特征得到特征向量；

步骤七：用余弦激励度量步骤六中得到的最终特征向量，并判断是否是目标人脸，再输出结果。

进一步的，本发明所提出的基于图形推理全局特征的深度学习人脸识别方法，步骤二中，具体来说，提取全局特征关系的过程是在一个最邻近图上进行操作，这个最近邻图通过相邻矩阵A∈R^S×S表示；如果A_ij＝1，那么则表示区域i和区域j是空间相邻的，通过编码过程得到的最近邻代表的特征图则包含了人脸的面部各部位器官之间的联系，当得到存储每个节点信息的最近邻特征图之后，对特征图进行通用的图形卷积操作，进行图形卷积操作之后的特征图包含每个节点之间的纹理关系。

进一步的，本发明所提出的基于图形推理全局特征的深度学习人脸识别方法，步骤三中，将图形推理全局特征提取网络残差连接方式集成到基准的深度学习网络中。

进一步的，本发明所提出的基于图形推理全局特征的深度学习人脸识别方法，步骤三中，以将图形推理提取全局特征的网络集成在Resnet-50网络上。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1)图形推理提取人脸图像全局信息特征：

由于人脸识别是通过分析人脸并提取有效的特征信息来完成身份鉴别的过程，特别是在非约束条件下依赖具有强鲁棒性的人脸特征。由于普通的卷积操作不能实现建立全局人脸特征的联系，在复杂的人脸识别场景中达不到很高的准确率。通过图形推理操作可实现建立全局人脸特征的联系，获取更具有鲁棒性的人脸特征以实现更有效的人脸识别。

2)图形卷积推理模块复用性强：

在图形卷积操作中，我们可以串联使用多个图形卷积推理操作，并通过实验可知，在Resnet作为基准网络的实例中，串联4个图形卷积操作模块达到最好的效果。

3)图形推理网络具有良好的可移植性：

图形推理提取全局人脸特征的网络良好的可移植性可以灵活而且有效的通过残差连接的方式移植嵌入到其它网络之中。

附图说明

图1是本发明的核心思想图。

图2是基于图形卷积的全局推理网络。

图3是本发明的执行流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

如图3所示，参考图1，本发明包括如下步骤：

1)数据收集和预处理。收集10000类人脸数据，每类20张共200000张人脸图像，对这些数据做人脸矫处理，并且将处理结果数据分成两部分：训练集(每类15张人脸图像)，验证集(每类5张人脸图像)；经过多次实验，我们选择将人脸图像调整到256*256大小；为了使模型得到充分训练，对训练集做颜色直方图均衡化、水平镜像翻转、高斯模糊、添加随机噪声等操作，以此增强数据。

2)设计图形推理提取人脸全局特征的网络。首先，建立人脸特征从坐标平面到交互平面的映射关系。对于一个输入特征向量X，映射到大小为N×C的新特征，这里的N是交互空间中节点的数目。对于交互空间的特征V，其更加适用于不相邻区域之间的全局推理。具体地，如图2中的(1)中所示，为了减少输入维度并增强投影函数的泛化能力，本发明用函数

和B＝θ(X；W_θ)进行从坐标平面到交互平面的映射，其中

和θ(·)均是核大小为1×1的卷积，

和W_θ是卷积操作更新的参数。

提取全局特征关系的过程是在一个最邻近图上进行操作，这个最近邻图可以通过相邻矩阵A∈R^S×S表示；如果A_ij＝1，那么则表示区域i和区域j是空间相邻的，最近邻编码的相似位置节点存储的特征如图1中的(b)下方所示。通过这样的编码过程得到的最近邻代表的特征图已经包含了人脸的面部个部位器官之间的联系了。当得到存储每个节点信息的最近邻特征图之后，对特图进行通用的图形卷积操作；进行图形卷积操作之后的特征图包含每个节点之间的纹理关系。

3)其次，使用图形推理卷积的方法对人脸特征进行推理，如图2中的(2)中所示，卷积是通过两个核大小1x1的卷积层沿着通道方向和节点方向。当特征从坐标空间投影到交互空间中，会得到图形特征每个节点都包含特征描述符。在最邻近图上的每个节点做特征提取，在神经网络的训练期间，相邻矩阵学习到的边缘权重反映了每个节点之间的全局池化特征。假设两个节点分别包含人脸嘴巴和鼻子的信息，那么学习两个节点之间的连接性将会提高人脸特征的鲁棒性。信息扩散之后，每个节点已经接收到所有的必要信息，且需要通过线性变化更新其状态。

4)最后，将人脸特征从交互空间到坐标空间反向投影。这一步骤是将经过全局推理之后的特征图投影到原始空间平面。卷积之后的节点特征矩阵Z∈P^N×C映射到Y∈R^L×C，此过程可以用函数y＝g(Z)操作。如图2中的(3)所示，与步骤2)类似，g(·)映射函数可以通过两个简单的卷积核大小为1x1的卷积实现。通过矩阵的点乘操作，我们可以将图形卷积之后的特征反向投影到原来的坐标平面；

5)将图形推理提取人脸全局特征的网络集成在残差网络上，这里用Resnet-50作为基准的深层神经网络，Resnet-50共有16个卷积单元，将图形推理提取人脸全局特征的网络嵌入到Resnet-50网络的第11个卷积单元之后，以残差块连接的方式嵌入。图形推理提取人脸全局特征的网络的嵌入，建立了人脸全局特征之间的联系。

6)神经网络训练。用1)中的人脸数据集训练模型5)中的网络，根据训练模型在验证集上的测试结果以及训练过程中神经网络损失变化情况调整训练参数以及网络参数继续训练。

7)重复6)，直至得到的预训练模型在验证集人脸数据上测试的结果达到要求，并且训练过程中神经网络损失收敛的一定范围之内，待到其值趋于稳定后，停止重复训练，此时得到最佳预训练模型。

8)人脸特征提取。在进行人脸识别操作时，用7)中得到的基于图形图例全局人脸特征的人脸识别模型对待识别人脸图像提取特征，将网络最后一个池化层输出的特征经过一个全连接层输出目标特征向量。。

9)相似度计算。用6)中训练好的模型对测试人脸图像提取特征得到特征向量，并计算测试人脸图像的特征向量与人脸库中每一个特征向量的余弦距离，找出人脸库中与目标特征向量余弦距离最大的特征向量，若最大余弦距离大于设定的阈值，则输出该特征向量对应的人脸，否则，人脸库中没有与待识别人脸相似的人脸图像。

本发明设计一种利用图形卷积推理操作来获取具有强鲁棒性的人脸特征的方法，该方法建立了人脸全局特征之间的联系，可以实现更加精准的人脸识别；多个图形卷积操作模块串联的方式有效提高了人脸识别率，在以Resnet-50作为基准网络的图形推理全局特征人脸识别方法中设置4个串联图形卷积(如图2中的(2))操作获得最好效果。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于图形推理全局特征的深度学习人脸识别方法，其特征在于，包括步骤：

步骤一：收集人脸数据并做好分类标签，对做好标签的人脸图像数据做预处理和数据增强，分成训练集和验证集两部分；

步骤二：设计图形推理提取人脸全局特征的网络：对于一个输入特征图X∈R^S×C，其中C是特征的维度，S是特征图的大小，其值为特征图的高H和宽W的乘积，标准的卷积操作是对一个大小Ω＝{1，...，H}×{1，...,W}的平面区域进行提取特征；

步骤三：将图形推理全局特征提取网络集成于残差网络；

步骤四：将步骤一获得的训练数据送入集成了图形推理提取全局特征的网络的深度卷积神经网络上进行训练，得到训练模型；

步骤五：用步骤一中的验证数据测试步骤四得到的模型，根据测试结果调整训练参数重新训练，如此反复直至获得最佳的训练模型；

步骤六：用步骤五中训练好的模型对测试人脸图像提取特征得到特征向量；

步骤七：用余弦激励度量步骤六中得到的最终特征向量，并判断是否是目标人脸，再输出结果。

2.根据权利要求1所述的基于图形推理全局特征的深度学习人脸识别方法，其特征在于，步骤二中，具体来说，提取全局特征关系的过程是在一个最邻近图上进行操作，这个最近邻图通过相邻矩阵A∈R^S×S表示；如果A_ij＝1，那么则表示区域i和区域j是空间相邻的，通过编码过程得到的最近邻代表的特征图则包含了人脸的面部各部位器官之间的联系，当得到存储每个节点信息的最近邻特征图之后，对特征图进行通用的图形卷积操作，进行图形卷积操作之后的特征图包含每个节点之间的纹理关系。

3.根据权利要求1所述的基于图形推理全局特征的深度学习人脸识别方法，其特征在于，步骤三中，是将图形推理全局特征提取网络残差连接方式集成到基准的深度学习网络中。

4.根据权利要求3所述的基于图形推理全局特征的深度学习人脸识别方法，其特征在于，步骤三中，是将图形推理提取全局特征的网络集成在Resnet-50网络上。

Images