CN112381075B - 一种机房特定场景下进行人脸识别的方法及系统 - Google Patents

Abstract

本发明涉及一种机房特定场景下进行人脸识别的方法及系统，该方法包括以下步骤：获取待识别的图像；基于特征图金字塔网络分别与多任务卷积神经网络模型的P‑Net网络、R‑Net网络和O‑Net网络进行融合，得到人脸检测模型；基于人脸检测模型对所述图像进行人脸检测，得到对应的人脸图像；对所述人脸图像进行特征提取，得到人脸特征向量；将得到的人脸特征向量与预存的人脸特征向量进行对比，实现人脸识别。本发明可以快速完成对进入机房的人员的身份确认，实现实时人脸检测，确保人员进入权限安全，预防异常入侵。

Description

一种机房特定场景下进行人脸识别的方法及系统

技术领域

本发明属于机房识别领域，尤其涉及一种机房特定场景下进行人脸识别的方法及系统。

背景技术

人脸识别技术是深度学习的重要应用之一，其是基于人的脸部特征信息进行身份识别的一种生物识别技术，已用于金融、公安、司法、电力、教育、医疗等多种领域。机房，作为企业的信息中心，有必要杜绝外来用户的随意进出，提高安全防范能力。智能巡检机器人，具有自主行走，自主充电，自主避障等功能，可用来对企业机房实现全自动巡检，达到无人值守，解决安全，效率等隐患及难题。随着科学技术的进一步成熟和社会认可度的提高，人脸识别产品也可应用于机房的安全管理中，将高清摄像头部署在机房智能巡检机器人上，基于先进的人脸识别技术，通过相机采集目标对象的图像，识别目标对象的人脸信息，决策目标对象的安全性，防止一些敏感区域有生人进入，及时预警，可有效解放生产力，节约人力成本。

传统的人脸识别研究主要基于face-recognition、主成分分析法、基于模板匹配(based on rigid templates)、空间人脸灰度、Cascade CNN等方法，然而，在实际机房应用场景中，进行人脸识别时不可避免会受到环境光线、光源方向和光照强弱、视角、背景等不利影响，造成识别算法效率低下，识别精度很难有进一步的提高。另外，机房实际场景下，人不会主动有意识的看向摄像头，造成了实际场景下人脸的不同的姿态、表情，甚至会因为佩戴帽子、眼镜等饰品而导致的对脸部或多或少的遮挡，也都是如何正确进行人脸识别的难点。因此，需要设计一种机房特定场景下的一种人脸识别技术，能够对机房自然环境中光线，角度和人脸表情变化具有更好的鲁棒性，快速完成对进入机房的人员的身份确认，实现实时人脸检测，确保人员进入权限安全，预防异常入侵。

发明内容

针对上述现有技术中存在的缺陷，本发明的目的在于提供一种机房特定场景下进行人脸识别的方法及系统，可以快速完成对进入机房的人员的身份确认，实现实时人脸检测，确保人员进入权限安全，预防异常入侵。

第一方面，本发明提供一种机房特定场景下进行人脸识别的方法，该方法包括以下步骤：

获取待识别的图像；

基于特征图金字塔网络分别与多任务卷积神经网络模型的P-Net网络、R-Net网络和O-Net网络进行融合，得到人脸检测模型；

基于人脸检测模型对所述图像进行人脸检测，得到对应的人脸图像；

对所述人脸图像进行特征提取，得到人脸特征向量；

将得到的人脸特征向量与预存的人脸特征向量进行对比，实现人脸识别。

其中，所述对所述图像进行人脸检测为人脸识别的预处理操作，其是在获取的待识别图像上准确标定到人脸的位置和大小。

其中，基于特征图金字塔网络分别与多任务卷积神经网络模型的P-Net网络、R-Net网络和O-Net网络进行融合，包括：在P-Net网络、R-Net网络和O-Net网络分别进行自底向上的前向传播，并由多次卷积池化处理得到高层特征后，均利用特征图金字塔网络的自顶向下网络完成自顶向下的上采样特征提取，并且将上采样特征与高层特征融合。

其中，所述基于特征图金字塔网络优化的多任务卷积神经网络模型，对所述图像进行人脸检测包括：

对所述图像进行预处理，将其缩放到不同尺度形成图像金字塔；

在构建图像金字塔的基础上，将所述图像以固定大小的尺寸输入P-Net网络中，并融合特征图金字塔网络，检测生成人脸区域的候选窗口和边框回归向量；

利用边框回归向量做回归，对人脸区域的候选窗口进行校准，然后通过非极大值抑制算法来合并高度重叠的候选框。

其中，所述基于特征图金字塔网络优化的多任务卷积神经网络模型，对所述图像进行人脸检测包括：

R-Net网络与特征图金字塔融合，并将通过P-Net网络的所有候选窗口进行进一步的判断，以通过边框回归向量和非极大值抑制来拒绝掉错误生成的候选窗口。

其中，所述所述基于特征图金字塔网络优化的多任务卷积神经网络模型，对所述图像进行人脸检测包括：

O-Net网络与特征图金字塔网络融合，将通过R-Net网络的所有候选窗口进行进一步的判断，以拒绝掉错误生成的候选窗口，同时输出人脸的五个特征关键点位置。

其中，所述对所述人脸图像进行特征提取，得到人脸特征向量包括：采用FaceNet算法在人脸所在区域中获取人脸的面部特征信息。

其中，所述将得到的人脸特征向量与预存的人脸特征向量进行对比，实现人脸识别包括：

将人脸特征向量与数据库中存储的人脸图像的人脸特征向量模板进行搜索对比，得到对比后的最大阈值；

将最大阈值与设置的阈值进行对比，若最大阈值大于设置的阈值，其表明图像中的人脸为数据库中存储的人脸图像；反之，则表明图像中的人脸不在数据库中。

其中，所述数据库的建立包括：

预先采集机房管理工作人员的正面人脸图像；

基于所述人脸图像建立人脸数据图库；

将人脸图像集利用人脸检测模型进行人脸检测；

利用FaceNet算法进行人脸特征的提取，并进行向量化，构成用于人脸特征向量比对的数据库。

第二方面，本发明还提供一种实施上述方法的识别系统，包括：

图像获取模块，其用于获取待识别的图像；

模型建立模块，其基于特征图金字塔网络分别与多任务卷积神经网络模型的P-Net网络、R-Net网络和O-Net网络进行融合，得到人脸检测模型；

人脸检测模块，其基于人脸检测模型对所述图像进行人脸检测，得到对应的人脸图像；

特征提取模块，其用于对所述人脸图像进行特征提取，得到人脸特征向量；

识别分类模块，其用于将得到的人脸特征向量与预存的人脸特征向量进行对比，实现人脸识别。

与现有技术相比，本发明通过利用特征图金字塔网络改进多任务卷积神经网络（MTCNN）算法，解决了原有的人脸识别技术识别精度不高的问题。并且本发明通过改进的多任务卷积神经网络（MTCNN）算法，实现了机房特定场景下的人脸检测与识别，相比目前人脸识别设备，识别效率有很大提高，快速便捷，实施成本较低，使得产品有较强的应用性和推广性。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是示出根据本发明实施例的一种机房特定场景下进行人脸识别的方法流程图；

图2是示出根据本发明某一实施例的对图像进行人脸检测的流程图；

图3是示出根据本发明某一实施例的数据库的建立流程图；

图4是示出根据本发明某一实施例的进行比对的过程流程图；

图5是示出根据本发明实施例的一种实施人脸识别方法的识别系统的结构框图；以及

图6是示出根据本发明实施例的一种机房特定场景下人脸识别系统的结构框图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述……，但这些……不应限于这些术语。这些术语仅用来将……区分开。例如，在不脱离本发明实施例范围的情况下，第一……也可以被称为第二……，类似地，第二……也可以被称为第一……。

下面结合附图详细说明本发明的可选实施例。

实施例一

参见图1所示，本发明实施例提供一种机房特定场景下进行人脸识别的方法，该方法包括以下步骤：

获取待识别的图像；

基于特征图金字塔网络（FPN，Feature Pyramid Netwoek）分别与多任务卷积神经网络模型的P-Net网络、R-Net网络和O-Net网络进行融合，得到人脸检测模型；

基于人脸检测模型对所述图像进行人脸检测，得到对应的人脸图像；

对所述人脸图像进行特征提取，得到人脸特征向量；

将得到的人脸特征向量与预存的人脸特征向量进行对比，实现人脸识别。

其中，在获取待识别的图像时，可以将装在机器人上的高清摄像头朝向机房门开启的方向，进行摄像采集操作。图像信息是通过高清摄像头实时获取的，通过程序可以获取高清摄像头得到的实时视频流，并逐帧读取其中的图像信息，将图像信息输入到后续训练好的人脸检测模型中以进行人脸识别的操作。

为了抗环境干扰，本发明在人脸检测模型训练的时候添加特定的干扰因素进行图像采集。其不光采集了人物的正脸图像，也采集了人物人脸的多种角度的侧脸，包括上下左右四个方位，还有人物大表情的动作如做鬼脸，和在采集背景光线时候的图像，随机在不同位置添加黑方块图像作为遮挡 ，从而提高训练的人脸检测模型的抗干扰能力。

实施例二

在上述实施例的基础上，本实施例可以包括以下内容：

本发明实施例在进行获取待识别的图像时，待识别的图像包括：利用高清摄像镜头采集用户在高清摄像镜头拍摄范围内的图像。进一步，对所述图像进行人脸检测为人脸识别的预处理操作，其是在获取的待识别图像上准确标定到人脸的位置和大小。

本发明实施例的人脸检测模型是基于特征图金字塔网络进行的改进，在一个应用场景中，基于特征图金字塔网络分别与多任务卷积神经网络模型的P-Net（ProposalNetwork）网络、R-Net（Refine Network）网络和O-Net（Output Network）网络进行融合，包括：在P-Net网络、R-Net网络和O-Net网络分别进行自底向上的前向传播，并由多次卷积池化处理得到高层特征后，均利用特征图金字塔网络的自顶向下网络完成自顶向下的上采样特征提取，并且将上采样特征与高层特征融合。

另外，本发明实施例基于人脸检测模型对所述图像进行人脸检测，得到对应的人脸图像，可以包括以下步骤：

第一阶段：输入获取的图像，由P-Net网络融合FPN网络进行处理，生成大量人脸回归框（边框回归向量）并通过NMS（Non-Maximum ，非极大值抑制算法）去除重叠窗口，以得到处理后的第一图像。

第二阶段：输入第一图像，及上一阶段（第一阶段）生成的大量人脸回归框，经过R-Net融合FPN网络处理后，生成校正了的人脸回归框并通过NMS进行过滤，以得到处理后的第二图像。

第三阶段：输入第二图像，及上一阶段（第二阶段）生成的人脸回归框，经过O-Net融合FPN网络处理后，生成校正了的人脸回归框和关键点,并进行NMS过滤，得到最终的人脸检测结果。

具体地，参见图2所示，所述基于特征图金字塔网络优化的多任务卷积神经网络模型，对所述图像进行人脸检测包括：

对所述图像进行预处理，将其缩放到不尺度形成图像金字塔；

在构建图像金字塔的基础上，将所述图像以固定大小的尺寸输入P-Net网络中，并融合特征图金字塔网络，检测生成人脸区域的候选窗口和边框回归向量；

利用该边界框做回归，对候选的人脸窗口进行校准，然后通过非极大值抑制算法来合并高度重叠的候选框。

更具体地，所述基于特征图金字塔网络优化的多任务卷积神经网络模型，对所述图像进行人脸检测可以包括：

R-Net网络与特征图金字塔融合，并将通过P-Net网络的所有候选窗口进行进一步的判断，以通过边界框回归和非极大值抑制来拒绝掉错误生成的候选窗口。

进一步地，所述所述基于特征图金字塔网络优化的多任务卷积神经网络模型，对所述图像进行人脸检测可以包括：

O-Net网络与特征图金字塔网络融合，将通过R-Net网络的所有候选窗口进行进一步的判断，以拒绝掉错误生成的候选窗口，同时输出人脸的五个特征关键点位置。

更具体地，P-Net+FPN为一个全卷积的神经网络与特征图金字塔融合，输入的人脸图像先自底向上的前向传播，由多次卷积池化处理得到高层特征图，然后进行自顶向下的上采样得到对应的特征图，之后进行侧边连接将上采样的特征图与高层特征图相融合，且上采样与上一层卷积层具有相同的特征尺寸。根据网络得到的特征图，计算损失函数值，并根据反向传播更新参数。

将P-Net+FPN输出的图像输入进R-Net网络。然后R-Net与P-Net一样加入特征图金字塔融合的过程，先通过多次卷积池化处理和前向传播，得到自底向上的高层特征图，然后进入自顶向下网络完成上采样的特征图提取，并将上采样的特征图与自底向上的高层特征图融合，保证上采样与上一层卷积层具有相同特征尺寸，将融合后的特征图转化为全连接层，随后利用与P-Net相同的损失函数并更新参数，最后再用非极大值抑制算法对回归边框过滤。并且R-Net网络将其认为可能有包含人脸的回归边框的图像输入到O-Net中。

该O-Net子网络输出的结果为最终的MTCNN（Multi-task convolutional neuralnetworks，多任务卷积神经网络）的检测结果，从R-Net网络输入一张图像到O-Net网络时，先通过多层卷积池化处理个前向传播，然后与特征图金字塔FPN融合，先得到自底向上的抽象的高层特征图，然后利用此高层特征图与自顶向下的上采样的特征图融合，并保持特征图的尺寸相同，然后将特征图通过全连接操作转化为全连接层，最后得到用于确定人脸分类的特征、用于确定人脸边框位置的四个特征以及用于确定人脸特征点的五个特征。

其中，确定人脸分类的特征，实质上是判断图像中是否为人脸，即为人脸和不是人脸的概率，进一步，判断是否为人脸时，可以判断是否包含回归边框，即判断包含回归边框的特征图为可能含有人脸的图片。人脸边框位置的四个特征即为边框的四个角的精确的位置信息。这两个特征在P-Net和R-Net两层网络均有输出，O-Net网络只是多输出了一个人脸特征点的五个特征，该人脸特征点的五个特征为两个眼球中心点、鼻孔的中点和两个嘴角点。本发明实施例通过在MTCNN的每一层网络(P-Net、R-Net、O-Net网络)都加上FPN，检测结果会更为准确。

在进行人脸检测并得到对应的人脸图像后，对所述人脸图像进行特征提取，得到人脸特征向量包括：采用FaceNet算法在人脸所在区域中获取人脸的面部特征信息。

通过对人脸图像的特征提取得到人脸特征向量后，将得到的人脸特征向量与预存的人脸特征向量进行对比，实现人脸识别可以包括：

将人脸特征向量与数据库中存储的人脸图像的人脸特征向量模板进行搜索对比，得到对比后的最大阈值；

将最大阈值与设置的阈值进行对比，若最大阈值大于设置的阈值，其表明图像中的人脸为数据库中存储的人脸图像；反之，则表明图像中的人脸不在数据库中。

另外，参见图3所示，本发明实施例中所述数据库的建立可以包括：

预先采集机房管理工作人员的正面人脸图像；

基于所述人脸图像建立人脸数据图库；

将人脸图像集利用多任务卷积神经网络算法进行人脸检测；

利用FaceNet算法进行人脸特征的提取，并进行向量化，构成用于人脸特征向量比对的数据库。

实施例三

在上述实施例的基础上，本实施例可以包括以下内容：

在基于人脸检测模型对所述图像进行人脸检测，得到对应的人脸图像中，所述人脸检测是人脸识别的预处理操作，也就是在所述采集得到的图像上准确标定到人脸的位置和大小。在这个过程中输入的是一张含有人脸的图像，输出的是多个人脸的矩形框。获得人脸之后，接下来由于采集的原始图像中存在人脸的姿态和位置差异，需要将人脸进行对齐。为此，需要检测人脸中的关键点。

但是在真实场景下会存在很多非限制性的挑战，例如不同的光照强度、不同的人脸姿态和表情、还包括人脸遮挡的影响，所以在实际场景中利用目前的检测算法精确度不高。针对以上缺点，在确保检测速度的同时，改进算法，提升精确度，本发明实施例利用改进后的MTCNN算法进行人脸的定位，即人脸框坐标的寻找，并检测人脸图像的关键点，根据检测到的人脸关键点将人脸图像对齐。

本发明实施例为了降噪，在人脸检测过程分别进入三个级联的卷积神经网络之前都进行了中值滤波的平滑处理。中值滤波的思想是检查输入信号中的采样，判断它是否可以代表信号，对不同窗口进行采样，将得到的结果进行大小排序，用中位数的值作为输出值，下一次采样之前，舍弃掉最先采集到的数值，重新排序求取中值输出重复上述步骤即可。其中：

特征图金字塔网络，其包含自底向上的卷积神经网络，自顶向下的卷积神经网络，以及特征之间的侧边连接。可以把一张图像中高分辨率、低语义信息的浅层特征和低分辨率、高语义信息的深层特征进行自上而下的侧边连接，融合高层次和低层次的特征，最终融合得到的特征具有高分辨率和高语义性。

MTCNN模型是多任务CNN的人脸检测深度学习模型，该模型中综合考虑了人脸边框回归和人脸关键点检测，可以同时完成人脸检测和人脸对齐的任务。MTCNN算法适用于各种自然条件下复杂的人脸场景检测，其总体网络整体架构由快速生成人脸候选窗口的P-Net、进行高精度候选窗口过滤的R-Net、生成最终边界框和人脸关键点的O-Net三层级联的网络结构组成。这三个网络对人脸的处理依次从粗到细。

Proposal Network：当给定一张照片时，首先对图像进行预处理，将其缩放到不尺度形成图像金字塔，以达到尺度不变，在构建图像金字塔的基础上，将图像以固定大小的尺寸输入网络中，融合特征图金字塔网络，检测生成人脸区域的候选窗口和边框回归向量(bounding box regression vectors)。并用该边界框做回归，对候选的人脸窗口进行校准，然后通过非极大值抑制（NMS）算法来合并高度重叠的候选框。

Refine Network：将通过P-Net的所有候选框(候选窗口)进行进一步的判断，一样加入特征图金字塔融合的过程，该网络结构通过边界框回归和NMS来拒绝掉那些false-positive窗口区域。该网络结构和P-Net网络结构相比多了一个全连接层，所以会取得更好的抑制false-positive的作用，其对于输入数据的筛选也会更加严格。

Output Network：其同样与特征图金字塔网络融合，在R-Net的基础上增加更强的约束，该层比R-Net层又多了一层卷积层，所以处理的结果会更加精细。作用和R-Net层作用一样。但是该层对人脸区域进行了更多的监督，同时还会输出人脸的五个特征关键点（landmark）的位置。

在对所述人脸图像进行特征提取，得到人脸特征向量中，所述人脸图像的特征提取，是在所述人脸检测的基础上，在人脸所在区域中获取人脸面部特征信息的过程。

对齐的人脸向量特征化采用FaceNet算法，该模型没有用传统的softmax的方式去进行分类学习，而是抽取其中某一层作为特征。 FaceNet通过CNN将经过MTCNN后检测对齐后的人脸图像映射(embedding)到一个欧几里得空间，空间距离的长度即代表了人脸图像的相似性。通过计算不同图像之间人脸特征的空间距离来表示人脸的相似度。同一个人脸图像的空间距离比较小，不同人脸图像的空间距离比较大，这样通过人脸图像的空间映射就可以实现人脸识别。

实施例四

在上述实施例的基础上，本实施例可以包括以下内容：

在实施机房特殊场景下的人脸识别方法之前，本发明实施例先构建人脸数据库和人脸特征比对数据库，具体的步骤如下：

预先采集机房管理工作人员近期正脸照片（正面人脸图像）；其中，在获取正面人脸图像时，机房管理工作人员的人脸应该尽可能的与拍摄的摄像头正对，以便获得更为可靠的正面人脸图像。关于摄像头：该摄像头的清晰度应不低于500万像素，便于获得更为精确的人脸特征点位置。人脸对于摄像头的距离应该确保人脸尽可能的占用照片面积；

基于上述采集到的正脸照片建立人脸数据图库，储存于服务端；

将采集到的人脸照片集利用MTCNN算法进行人脸检测；

利用FaceNet算法进行人脸特征的提取，并进行128维向量化，构成人脸特征比对数据库，并储存于服务端。

实施例五

在上述实施例的基础上，本实施例可以包括以下内容：

本发明实施例提供的一种机房特殊场景下的人脸识别方法，其具体的流程步骤可以为：

利用目标相机系统获取待识别的图像。其中，将搭载有高清摄像机的智能巡检机器人的拍摄方向正对于机房门口，以便可以实时对进入机房的人员进行拍摄识别。

对获取的图像进行人脸检测，得到对应的人脸图像。根据MTCNN算法对上述获得的图像进行人脸框操作以及人脸关键位置点进行检测，根据检测到的人脸关键点将人脸图像对齐。

其中，基于tensorflow神经网络框架，利用深度学习技术中的多任务卷积神经网络MTCNN方法对获取的图像进行人脸检测。这是对人脸进行识别和处理的第一步，主要用于判断一幅图像中是否存在人脸，检测并定位图像中的一个或多个人脸，并返回图像中高精度的人脸框坐标及人脸特征点坐标。实现流程如下：

由于多任务卷积神经网络本身在复杂环境条件下进行训练处理会产生很多噪点，造成漏检和误检，对小尺寸的人脸检测的效果不好，而如何在保证速度的情况下提高人脸检测的精度，使得人脸检测的结果不受人脸姿态，遮挡和尺寸大小的影响。并且由于MTCNN算法中的三个级联的卷积神经网络使用最后一层的输出作为特征，但是最后一层主要都是高分辨率的特征，所以对于低分辨率的特征表现力不足，对于不同尺寸的图像的检测性能不是很好。所以在本发明的实施例中对MTCNN算法进行改进，在进行卷积的过程中额外加上特征图金字塔网络融合不同层的特征，使得最后输出的特征既有高分辨率，又有高的语义性。另外，为了减少噪点，本发明实施例在进入MTCNN的三个网络P-Net、R-Net、O-Net之前都进行中值滤波的处理。中值滤波是对输入信号中的采样进行检查，其将像素灰度值按大小排序，排序后求取中位数，用中位数其代表信号，然后滑动窗口，重复此过程。

进一步地，人脸检测步骤可以包括：

构建图像金字塔。由于各种原因，在实际拍摄的人脸图像中的人脸尺度会有大有小，而人脸识别算法需要适应这种目标尺度的变换。首先，本发明实施例将人脸图像进行不同尺度的变换，构建图像金字塔，以适应不同大小的人脸进行检测。构建方式是通过不同的比例，多次等比对图像进行缩放，缩放成不同大小(多尺度)的图像，形成图像的特征金字塔。然后将一定尺度的图像送入改进后的MTCNN的网络中进行训练，其具体的步骤可以包括：

P-Net。P-Net针对图像快速生成一些人脸的候选框，其基本的构造是一个全卷积网络，在与特征图金字塔网络进行融合后，输入的人脸图像先进行自底向上的前向传播，由多次卷积池化处理得到高层特征，然后进行自顶向下的上采样，之后进行侧边连接，同时用上采样的结果跟上一层卷积层的结果进行融合，其中上采样的尺寸跟上一层卷积的结果的尺寸要保持一致。在完成初步提取后，使用边界框做回归，即Bounding Box Regression对候选边框区域进行校准，然后通过非极大值抑制（NMS）合并高度重叠的候选框，进行大部分窗口的过滤。

R-Net。其基本的构造是一个卷积神经网络。在图像经过P-Net后，会留下许多预测人脸的候选窗口，将经过P-Net的所有的预测候选窗口送入R-Net训练，然后与P-Net一样加入特征图金字塔融合的过程，利用边界框的回归值修正候选窗体，再利用NMS去除重叠窗体，最后到全连接层，输出校正后的检测框。

O-Net。其基本结构是一个较为复杂的卷积神经网络，与R-Net工作流程类似，经过多层卷积和池化层之后，同样融合特征图金字塔网络，但相对于R-Net来说多了一个卷积层。O-Net的效果与R-Net的区别在于这一层结构会通过更多的监督来识别人脸面部的区域，而且会对人的面部特征点进行回归，最终输出人脸面部的关键特征点。其中人脸关键特征点选取5个特征点， 分别为2个眼球中心点、鼻孔的中点和2个嘴角点。

在获得人脸和其关键点之后，由于拍摄问题，原始图像中人脸可能存在姿态、位置上的差异，为了之后的统一处理，需要将人脸进行对齐。根据人脸中的5个特征关键点，采用普氏分析法(Procruster Analysis)来对人脸进行对齐操作，以消除不同人物姿态不同带来的误差。Procruster Analysis，这是一种用来分析形状分布的统计方法。简单来说，就是进行不断迭代，寻找一个标准形状，并利用最小二乘法寻找形状A到形状B之间的仿射变化方式。即通过旋转、平移和缩放等变换，使得图像A的向量，尽可能地与图像B的向量点进行对齐。此外，通过最小二乘方法，使得变换后所有向量点与目标向量点之间的距离和最小，来判断对齐的效果。

实施例六

在实施例五的基础上，本实施例可以包括以下内容：

在对人脸进行检测后，本发明实施例对所述人脸图像进行特征提取，得到人脸特征向量。具体地，本发明实施例采用Facenet算法对人脸图像进行特征生成，特征维度可调，对应地在本发明的实施例中，将每个机房管理人员人脸都转化为一个128维的特征向量。

其中，FaceNet算法的主要思想是把原始的人脸图像映射到一个多维空间，通过欧式空间距离表示人脸的相似度。同一个人脸，图像的空间距离比较小，但不同人脸图像之间，它们的空间距离比较大。这样通过人脸图像的空间映射就可以实现人脸识别，FaceNet算法模型中采用基于深度卷积神经网络的图像映射方法，将人脸映射到欧氏空间的特征向量之上，计算不同图像人脸特征的距离，通过同一个人的人脸的空间距离总是小于不同人脸的空间距离这一先验知识，并改变常用的交叉熵损失函数，训练使用了Triplets的Loss(三元组损失函数)损失函数来训练神经网络，网络直接将通过MTCNN检测对齐后的人脸图像映射(embedding)到128维的欧几里得空间，进而可以直接对比两个人脸经过它的网络映射之后的欧几里得距离，判断两个人脸的相似度。

在获得人脸特征向量后，将得到的人脸特征向量进行分类，实现人脸识别。更具体地，将经过FaceNet算法生成的128维的人脸特征向量与服务端已储存的机房管理工作人员的人脸特征比对数据库进行比对，按照一定阀值找出最相似的图像。将实时图像中的人脸特征与数据库中的进行比对，并根据比对结果判断是否进行告警处理。

其中，参见图4所示，进行比对的过程可以包括：

1）获取实时图像中的每一张人脸特征向量；

2）将每一张人脸特征向量和机房管理工作人员的人脸特征比对数据库中所有的人脸进行比较，通过计算不同照片之间的欧几里得距离来判断它们之间的相似度，如果距离小于所设定的门限值，则认为其具有一定的相似度。

3）获得每一张人脸特征向量在特征比对数据库中最相似的人脸的序号；

4）判断这个序号对应的人脸距离是否小于设置的门限值，如果小于则认为人脸识别成功，拍摄检测的就是机房管理工作人员，如果不是，即非人脸数据库中的人脸图像，则进行告警处理。

实施例七

在上述实施例的基础上，本实施例还可以包括以下内容：

参见图5所示，本发明提供一种实施上述方法的识别系统，包括：

图像获取模块，其用于获取待识别的图像；

人脸检测模块，其基于特征图金字塔网络优化的多任务卷积神经网络模型，对所述图像进行人脸检测，得到对应的人脸图像；

特征提取模块，其用于对所述人脸图像进行特征提取，得到人脸特征向量；

识别分类模块，其用于将得到的人脸特征向量与预存的人脸特征向量进行对比，实现人脸识别。

进一步，本发明实施例的识别系统还可以包括模型优化模型，其用于基于特征图金字塔网络对多任务卷积神经网络模型的P-Net网络、R-Net网络和O-Net网络进行优化。

实施例八

在上述实施例的基础上，本实施例还可以包括以下内容：

参见图6所示，本发明实施例中还提供一种机房特定场景下人脸识别系统。该系统可以用集成于互联网企业的终端或系统中，另外，该系统主要包括了以下模块：

图像模块，其利用目标相机系统获取待识别的图像；

人脸模块，其利用改进后的多任务卷积神经网络MTCNN算法对获取的照片进行人脸检测，得到人脸框图和五个人脸关键点；

特征模块，其利用FaceNet算法对所述检测模块得到的人脸数据进行特征提取，得到人脸特征向量；

识别模块，其用于对所述特征提取模块得到的人脸特征与特征对比库中进行对比，以实现人脸识别；

输出模块，其用以输出最终的识别判断结果。

以上介绍了本发明的较佳实施方式，旨在使得本发明的精神更加清楚和便于理解，并不是为了限制本发明，凡在本发明的精神和原则之内，所做的修改、替换、改进，均应包含在本发明所附的权利要求概括的保护范围之内。

Claims (8)

1.一种机房特定场景下进行人脸识别的方法，其特征在于，该方法包括以下步骤：

获取待识别的图像；

基于特征图金字塔网络分别与多任务卷积神经网络模型的P-Net网络、R-Net网络和O-Net网络进行融合，得到人脸检测模型，在对人脸检测模型训练时，添加特定的干扰因素进行图像采集，其采集了人物人脸的多种角度的侧脸，人物大表情的动作，在采集背景光线时的图像，和随机在不同位置添加黑方块图像作为遮挡的图像；

基于人脸检测模型对所述图像进行人脸检测，得到对应的人脸图像，采用普氏分析法对人脸图像中的人脸进行对齐操作，以消除不同人物姿态不同带来的误差；

对所述人脸图像进行特征提取，得到人脸特征向量；

将得到的人脸特征向量与预存的人脸特征向量进行对比，实现人脸识别，包括：

将人脸特征向量与数据库中存储的人脸图像的人脸特征向量模板进行搜索对比，得到对比后的最大阈值；

将最大阈值与设置的阈值进行对比，若最大阈值大于设置的阈值，其表明图像中的人脸为数据库中存储的人脸图像；反之，则表明图像中的人脸不在数据库中；

其中，基于特征图金字塔网络分别与多任务卷积神经网络模型的P-Net网络、R-Net网络和O-Net网络进行融合，包括：在P-Net网络、R-Net网络和O-Net网络分别进行自底向上的前向传播，并由多次卷积池化处理得到高层特征后，均利用特征图金字塔网络的自顶向下网络完成自顶向下的上采样特征提取，并且将上采样特征与高层特征融合。

2.如权利要求1所述方法，其特征在于，所述对所述图像进行人脸检测为人脸识别的预处理操作，其是在获取的待识别图像上准确标定到人脸的位置和大小。

3.如权利要求1所述方法，其特征在于，所述基于人脸检测模型对所述图像进行人脸检测包括：

对所述图像进行预处理，将其缩放到不同尺度形成图像金字塔；

在构建图像金字塔的基础上，将所述图像以固定大小的尺寸输入P-Net网络中，并融合特征图金字塔网络，检测生成人脸区域的候选窗口和边框回归向量；

利用边框回归向量做回归，对人脸区域的候选窗口进行校准，然后通过非极大值抑制算法来合并高度重叠的候选框。

4.如权利要求3所述方法，其特征在于，所述基于人脸检测模型对所述图像进行人脸检测包括：

R-Net网络与特征图金字塔融合，并将通过P-Net网络的所有候选窗口进行进一步的判断，以通过边框回归向量和非极大值抑制来拒绝掉错误生成的候选窗口。

5.如权利要求4所述方法，其特征在于，所述基于人脸检测模型对所述图像进行人脸检测包括：

O-Net网络与特征图金字塔网络融合，将通过R-Net网络的所有候选窗口进行进一步的判断，以拒绝掉错误生成的候选窗口，同时输出人脸的五个特征关键点位置。

6.如权利要求1所述方法，其特征在于，所述对所述人脸图像进行特征提取，得到人脸特征向量包括：采用FaceNet算法在人脸所在区域中获取人脸的面部特征信息。

7.如权利要求1所述方法，其特征在于，所述数据库的建立包括：

预先采集机房管理工作人员的正面人脸图像；

基于所述人脸图像建立人脸数据图库；

将人脸图像集利用人脸检测模型进行人脸检测；

利用FaceNet算法进行人脸特征的提取，并进行向量化，构成用于人脸特征向量比对的数据库。

8.一种实施如权利要求1至7任意一项所述方法的识别系统，其特征在于，包括：

图像获取模块，其用于获取待识别的图像；

模型建立模块，其基于特征图金字塔网络分别与多任务卷积神经网络模型的P-Net网络、R-Net网络和O-Net网络进行融合，得到人脸检测模型；

人脸检测模块，其基于人脸检测模型对所述图像进行人脸检测，得到对应的人脸图像；

特征提取模块，其用于对所述人脸图像进行特征提取，得到人脸特征向量；

识别分类模块，其用于将得到的人脸特征向量与预存的人脸特征向量进行对比，实现人脸识别。

Images