CN114333011B - 网络训练、人脸识别方法、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及人脸识别领域，公开了一种网络训练、人脸识别方法、电子设备及存储介质，其中网络训练方法包括：采集人脸图像，以人脸图像作为第一图像样本构建并训练活体识别网络、以从人脸图像中截取的人眼位置的图像作为第二图像样本构建并训练第二特征提取网络；活体识别网络中某一网络层的输入的特征图为活体识别网络自身提供的人脸特征图与第二特征提取网络中某一网络层输出的特征图的组合特征图；对由活体识别网络、第二特征提取网络、以及在第二特征提取网络的输出端增设的第二分类器构建的联合网络进行联合训练。本方案利用训练的活体识别网络和第二特征提取网络可以辅助现有人脸识别网络进行活体检测以及基于人眼特征的人脸识别。

Description

网络训练、人脸识别方法、电子设备及存储介质

技术领域

本发明涉及人脸识别领域，特别涉及一种网络训练、人脸识别方法、电子设备及存储介质。

背景技术

随着人脸识别技术的发展和落地，攻击人脸识别系统的方法也随之升级，如通过3D打印技术制造的高精度头模/面具，以及通过生成对抗网络(Generative AdversarialNetworks，GAN)等深度学习方法生成的假性眼部区域的干扰来攻击整个人脸识别系统。虽然此类方法攻击成本较高，但是对于安全性较高的金融支付场景和基于人脸识别的智能门锁场景，此类问题在行业内仍然是个棘手的问题。

当前常见的解决此类问题的方案，主要通过配合式连续帧检测比对技术来判断当前待识别人脸是否是假体，比如支付宝中的人脸验证技术需要在人脸验证过程中按要求做出眨眼动作等，其他银行类APP人脸验证技术则需要按照要求人脸配合左右/上下转动等。

但是，上面所述的方案存在以下弊端：

1.基于连续帧的防作伪技术，对实时性要求较高，在满足安全性的前提下，硬件成本较高；

2.需要用户主动配合，交互体验较差；

3.多数算法仍聚焦于人脸识别系统中的防作伪模块，若防作伪模块未能准确辨别真伪，后续的识别算法基本无法阻断攻击。

发明内容

本发明实施方式的目的在于提供一种网络训练、人脸识别方法、电子设备及存储介质，通过将人脸特征与人眼特征在网络层进行融合构建活体识别网络，增强活体识别算法的鲁棒性以应对人脸眼部区域攻击，同时在人脸识别系统必要时激活对人眼特征的识别，从而提高整个人脸识别系统的安全性。

为解决上述技术问题，本发明的实施方式提供了一种网络训练方法，包括：

采集人脸图像，以所述人脸图像作为第一图像样本、以从所述人脸图像中截取的人眼位置的图像作为第二图像样本，并标注各图像样本所属活体或非活体的第一标签，以及图像样本的类别标签，其中，所属同一活体的图像样本对应同一所述类别标签，所属非活体的所有图像样本对应同一所述类别标签；

以所述第一图像样本为输入、所述第一图像样本所属各所述第一标签的第一预测概率为输出，构建活体识别网络；所述活体识别网络包括第一特征提取网络和第一分类器；所述第一特征提取网络用于从输入的图像样本中提取人脸特征，所述第一分类器用于对所述人脸特征进行分类得到所述第一预测概率；

以所述第二图像样本为输入、所述第二图像样本的人眼特征为输出，构建第二特征提取网络；所述第一特征提取网络中第一网络层输出的第一特征图与所述第二特征提取网络中第二网络层输出的第二特征图组合，共同作为所述第一网络层的下一网络层的输入特征图；

对由所述活体识别网络、所述第二特征提取网络、以及在所述第二特征提取网络的输出端增设的第二分类器构建的联合网络进行联合训练；所述第二分类器的输出为所述第二图像样本属于各所述类别标签的第二预测概率；

其中，所述联合训练所采用的损失函数，是基于所述活体识别网络输出的所述第一预测概率与对应的第一实际概率之间的第一损失，以及所述第二分类器输出的所述第二预测概率与对应的第二实际概率之间的第二损失构建。

本发明的实施方式还提供了一种人脸识别方法，包括：

获取待识别人脸的人脸图像，以及从所述人脸图像中截取的人眼位置的人眼图像；

将所述人脸图像输入至通过如上所述的网络训练方法训练得到的联合网络中的活体识别网络，将所述人眼图像输入至所述联合网络中的第二特征提取网络，得到所述待识别人脸是活体或非活体的第一预测结果，以及所述待识别人脸的人眼特征；

如果所述第一预测结果为活体，则采用预先训练的人脸识别模型对所述待识别人脸的人脸图像进行人脸识别得到识别特征，并确定所述识别特征与注册库中多个人脸注册特征之间的第一相似度的最大值；

如果所述第一相似度的最大值大于相似度阈值上限，则确定所述待识别人脸为所述人脸注册特征中所述第一相似度的最大值对应的注册人脸；

如果所述第一相似度的最大值小于相似度阈值下限，则确定所述待识别人脸为非注册人脸；

如果所述第一相似度的最大值不大于所述相似度阈值上限，且不小于所述相似度阈值下限，则确定所述待识别人脸的人眼特征与注册库中多个人眼注册特征之间的第二相似度的最大值；

根据所述第二相似度的最大值与人眼相似阈值的大小关系，确定所述待识别人脸是否为注册人脸。

本发明的实施方式还提供了一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的网络训练方法，或者如上所述的人脸识别方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的网络训练方法，或者如上所述的人脸识别方法。

本发明实施方式相对于现有技术而言，通过采集人脸图像，以人脸图像作为第一图像样本、以从人脸图像中截取的人眼位置的图像作为第二图像样本，并标注各图像样本所属活体或非活体的第一标签，以及图像样本的类别标签，其中，所属同一活体的图像样本对应同一类别标签，所属非活体的所有图像样本对应同一类别标签；以第一图像样本为输入、第一图像样本所属各第一标签的第一预测概率为输出，构建活体识别网络；活体识别网络包括第一特征提取网络和第一分类器；第一特征提取网络用于从输入的图像样本中提取人脸特征，第一分类器用于对人脸特征进行分类得到第一预测概率；以第二图像样本为输入、第二图像样本的人眼特征为输出，构建第二特征提取网络；第一特征提取网络中第一网络层输出的第一特征图与第二特征提取网络中第二网络层输出的第二特征图组合，共同作为第一网络层的下一网络层的输入特征图；对由活体识别网络、第二特征提取网络、以及在第二特征提取网络的输出端增设的第二分类器构建的联合网络进行联合训练；第二分类器的输出为第二图像样本属于各类别标签的第二预测概率；其中，联合训练所采用的损失函数，是基于活体识别网络输出的第一预测概率与对应的第一实际概率之间的第一损失，以及第二分类器输出的第二预测概率与对应的第二实际概率之间的第二损失构建。本方案在构建活体识别网络时，通过将人脸特征与人眼特征在网络层进行融合，以增强活体识别算法的鲁棒性以应对人脸眼部区域攻击；同时在人脸识别系统必要时还可利用第二特征提取网络激活对人眼特征的识别，从而提高整个人脸识别系统的安全性。

附图说明

图1是根据本发明实施方式的网络训练方法的具体流程图一；

图2是根据本发明实施方式的联合网络的结构示意图；

图3是根据本发明实施方式的网络训练方法的具体流程图二；

图4是根据本发明实施方式的网络训练方法的具体流程图三；

图5是根据本发明实施方式的人脸识别方法的具体流程图；

图6是根据本发明实施方式的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的一实施方式涉及一种网络训练方法，该网络训练方法可训练用于识别人脸图像中人脸是否为活体的活体识别网络，以及用于提取人脸图像中人眼特征的特征提取网络。如图1所示，本实施例提供的网络训练方法，包括如下步骤。

步骤101：采集人脸图像，以人脸图像作为第一图像样本、以从人脸图像中截取的人眼位置的图像作为第二图像样本，并标注各图像样本所属活体或非活体的第一标签，以及图像样本的类别标签，其中，所属同一活体的图像样本对应同一所述类别标签，所属非活体的所有图像样本对应同一所述类别标签。

具体地，以活体人脸和非活体人脸为采集对象，采集大量的人脸图像(这里指全脸图像)，然后再从人脸图像中截取出人眼位置的图像。在构建用于网络训练的图像样本时，可以将采集的人脸图像作为第一图像样本，将从人脸图像中截取出的人眼位置的图像作为第二图像样本。同时，对这些图像样本(包括第一图像样本和第二图像样本)设置两类标签，即图像样本所属活体或非活体的第一标签，以及图像样本的类别标签。

第一标签包含两个类别，分别对应活体和非活体。类别标签则包含n+1个类别，其中，n为图像样本对应的活体数量，每个活体对应一个类别的类别标签；1代表图像样本中对应的所有非活体，即本实施例中将所有的非活体的图像样本划分在同一个类别标签下。

在获取到第一图像样本和第二图像样本后，根据这些图像样本所属活体或非活体来标注这些图像样本的第一标签；以及根据这些图像样本所属哪个活体或属于非活体来标注这些图像样本的类别标签。

步骤102：以第一图像样本为输入、第一图像样本所属各第一标签的第一预测概率为输出，构建活体识别网络；活体识别网络包括第一特征提取网络和第一分类器；第一特征提取网络用于从输入的图像样本中提取人脸特征，第一分类器用于对人脸特征进行分类得到第一预测概率。

具体地，如图2所示，以第一图像样本Input Face为输入，图像尺寸可为224x224，Input Face所属活体和非活体的第一预测概率为输出，构建活体识别网络。该活体识别网络中包括第一特征提取网络CNN1_1+CNN1_2和第一分类器Classifier1。其中，CNN1_1+CNN1_2的作用是从输入的图像样本Input Face(后面还包括图像样本Input Eye)中提取人脸特征，Classifier1的作用是对CNN1_2输出的人脸特征进行分类得到该人脸特征，即Input Face所属活体和非活体的第一预测概率。

本实施例中对于CNN1_1+CNN1_2的网络结构并不限定，可以但不局限于为卷积神经网络(Convolutional Neural Networks，CNN)。

步骤103：以第二图像样本为输入、第二图像样本的人眼特征为输出，构建第二特征提取网络；第一特征提取网络中第一网络层输出的第一特征图与第二特征提取网络中第二网络层输出的第二特征图组合，共同作为第一网络层的下一网络层的输入特征图。

具体地，如图2所示，以第二图像样本Input Eye为输入，图像尺寸可为112x56，Input Eye对应的人眼特征为输出，构建第二特征提取网络CNN2_1+CNN2_2。该第二特征提取网络的作用是从输入的图像样本Input Eye中提取人眼特征。为了实现后续对第二特征提取网络进行训练，在第二特征提取网络的输出端还连接有第二分类器Classifier2，该Classifier2的作用是对CNN2_2输出的人眼特征进行分类得到该人眼特征，即Input Eye所属各活体类别和非活体的第二预测概率。

本实施例中对于CNN2_1+CNN2_2的网络结构并不限定，可以但不局限于为卷积神经网络CNN。

此外，本实施例中第一特征提取网络和第二特征提取网络之间还存在特征图的组合，即第一特征提取网络中第一网络层输出的第一特征图(如Feature Map1)与第二特征提取网络中第二网络层输出的第二特征图(如Feature Map2)组合，组合后的特征图共同作为第一网络层的下一网络层的输入特征图。

在一个例子中，如图2所示，活体识别网络中还设置有注意力机制模块，相应地，将第一特征提取网络中第一网络层输出的第一特征图与第二特征提取网络中第二网络层输出的第二特征图组合，可通过如下步骤实现。

步骤一：将第一特征图与第二特征图组合，组合后的特征图的通道数为组合前通道数之和。

具体地，如图2所示，可将Feature Map1与Feature Map2进行特征组合，这里被组合的两种特征图的尺寸相同，如均为28x28，但通道数可以不相同，例如Feature Map1的通道数可以为128，Feature Map2的通道数可以为256。在组合时，各通道的图像尺寸和图像内容均不变，而仅是通道数变为原来通道数之和。例如Feature Map1：28x28x128与FeatureMap2：28x28x256组合(Concat)后，变为28x28x384。

步骤二：采用注意力机制模块为组合后的特征图的各通道设置权重，并将设置权重后的组合后的特征图作为第一网络层的下一网络层的输入特征图。

具体地，本实施例对于注意力机制模块的具体结构不做限定，例如可以是SENet(Squeeze-and-Excitation Networks)，即图2中的SE-Module，也可以为卷积模块的注意力机制模块(Convolutional Block Attention Module，CBAM)。该注意力机制模块的作用是对组合后的特征图的各通道设置权重，并将设置权重后的组合后的特征图作为第一网络层的下一网络层的输入特征图。

由此可见，在第二特征提取网络中第二网络层之前(包含第二网络层)的网络结构具有双重作用，一是提供作为活体识别网络中某中间网络层的部分输入特征图，将人眼信息与人脸信息进行有机组合，使活体识别网络可以有针对性的对人眼位置的图像攻击进行重点防护；二是提供作为第二特征提取网络中某中间网络层的全部输入特征图，通过提取的人眼信息使第二特征提取网络可以利用人眼位置的图像辅助实现人脸识别。

步骤104：对由活体识别网络、第二特征提取网络、以及在第二特征提取网络的输出端增设的第二分类器构建的联合网络进行联合训练；第二分类器的输出为第二图像样本属于各类别标签的第二预测概率。

其中，联合训练所采用的损失函数，是基于活体识别网络输出的第一预测概率与对应的第一实际概率之间的第一损失，以及第二分类器输出的第二预测概率与对应的第二实际概率之间的第二损失构建。

具体地，本实施例中训练的目标网络包括活体识别网络和第二特征提取网络，而为了对第二特征提取网络采用分类损失函数进行监督训练，需要在第二特征提取网络的输出端连接一分类器，即上述第二分类器。该第二分类器的输出为第二图像样本属于各类别标签的第二预测概率。这样本训练过程，即为对由活体识别网络、第二特征提取网络、以及第二分类器构建的联合网络进行联合训练。

本实施例中，对上述联合网络进行联合训练的过程中，所采用的损失函数，是基于活体识别网络输出的第一预测概率与对应的同一第一图像样本所属活体和非活体的实际概率即第一实际概率之间的第一损失，以及第二分类器输出的第二预测概率与对应的同一第二图像样本所属各类别标签的实际概率即第二实际概率之间的第二损失构建。

利用各第一图像样本的第一预测概率和第一实际概率的作为约束，对活体识别网络的网络参数进行监督训练；利用各第二图像样本的第二预测概率和第二实际概率的作为约束，对第二特征提取网络+第二分类器的网络参数进行监督训练。而由于活体识别网络中的第一特征提取网络的部分中间层的输入特征图是由第二特征提取网络的中间网络层提供，因此对活体识别网络的网络参数进行监督训练的同时，也实现了对第二特征提取网络中的部分网络层进行监督训练。

具体地，可将第一损失与第二损失的和损失作为联合训练过程中的总损失，实现对活体识别网络以及第二特征提取网络的网络参数的联合训练过程。

与相关技术相比，本实施例通过采集人脸图像，以人脸图像作为第一图像样本、以从人脸图像中截取的人眼位置的图像作为第二图像样本，并标注各图像样本所属活体或非活体的第一标签，以及图像样本的类别标签，其中，所属同一活体的图像样本对应同一类别标签，所属非活体的所有图像样本对应同一类别标签；以第一图像样本为输入、第一图像样本所属各第一标签的第一预测概率为输出，构建活体识别网络；活体识别网络包括第一特征提取网络和第一分类器；第一特征提取网络用于从输入的图像样本中提取人脸特征，第一分类器用于对人脸特征进行分类得到第一预测概率；以第二图像样本为输入、第二图像样本的人眼特征为输出，构建第二特征提取网络；第一特征提取网络中第一网络层输出的第一特征图与第二特征提取网络中第二网络层输出的第二特征图组合，共同作为第一网络层的下一网络层的输入特征图；对由活体识别网络、第二特征提取网络、以及在第二特征提取网络的输出端增设的第二分类器构建的联合网络进行联合训练；第二分类器的输出为第二图像样本属于各类别标签的第二预测概率；其中，联合训练所采用的损失函数，是基于活体识别网络输出的第一预测概率与对应的第一实际概率之间的第一损失，以及第二分类器输出的第二预测概率与对应的第二实际概率之间的第二损失构建。本方案在构建活体识别网络时，通过将人脸特征与人眼特征在网络层进行融合，以增强活体识别算法的鲁棒性以应对人脸眼部区域攻击；同时在人脸识别系统必要时还可利用第二特征提取网络激活对人眼特征的识别，从而提高整个人脸识别系统的安全性。

本发明的另一实施方式涉及一种网络训练方法，如图3所示，该网络训练方法是对图1所示方法步骤的改进，改进之处在于，对联合训练过程进行细化。本实施例中，第一损失是利用分类损失函数Softmax Loss计算各第一图像样本的第一预测概率与第一实际概率的损失获得；第二损失是利用分类损失函数Softmax Loss计算各第二图像样本的第二预测概率与第二实际概率的损失获得。

其中，Softmax Loss的计算公式如下。

其中，y_j为第j个输入样本(如第一图像样本、第二图像样本)所属各标签(如各第一标签、各类别标签)的实际概率(如第一实际概率、第二实际概率)，p_j为第j个输入样本(如第一图像样本、第二图像样本)所属各标签(如各第一标签、各类别标签)的预测概率(如第一预测概率、第二预测概率)。

通过公式(1)对活体识别网络进行监督训练时得到的损失即为第一损失，通过公式(1)对第二特征提取网络进行监督训练时得到的损失即为第二损失。

如图3所示，上述步骤104可包括如下子步骤。

子步骤1041：对联合网络进行初次训练，训练过程中采用的损失函数是基于第一损失和第二损失的和损失构建，训练的结束条件为活体识别网络收敛。

具体地，由于引入注意力机制模块，且同时活体识别网络涉及到全局特征(人脸信息)和局部特征(人眼信息)的融合，因此整个网络需要从初始化训练开始。对于活体识别网络，其第一分类器输出为2类，对应的第一损失记为softmaxloss₂，即活体(真人)和非活体(假人)两种。对于第二特征提取网络，需要在图2的第二特征提取网络的输出端接一个额外的第二分类器(classifier2)，此分类器输出N+1类，记为softmaxloss_N+1,其中N为该训练集中真人的数量，1代表训练集中所有的假人。训练过程中的Total_loss＝softmaxloss₂+a(softmaxloss_N+1)(a为权重，控制着softmaxloss_N+1在Total_loss中的重要程度，因需要优先确保活体识别网络的收敛性，此参数一般设置为0.5左右，待活体识别网络收敛后即可暂停该初始化训练过程。

子步骤1042：对第二特征提取网络中第二网络层之后的网络结构及第二分类器进行训练，训练过程中采用的损失函数是基于第二损失构建。

具体地，由于在上述子步骤1041中，第二特征提取网络仅使用人脸局部(眼睛)信息进行训练，且训练N+1类别要比活体识别网络(训练2类)收敛困难的多，因此本子步骤需要首先冻结活体识别网络所涉及的网络参数(包含第二特征提取网络的第二网络层及其之前的网络部分)，只训练第二特征提取网络后半部分(第二网络层之后的网络部分)及第二分类器，对这部分的网络参数进行更新，且训练类别为N+1，训练过程中的Total_loss＝softmaxloss_N+1，待此部分的网络参数接近收敛后即可暂停。

子步骤1043：对联合网络进行再次训练，训练过程中采用的损失函数是基于第一损失和第二损失的和损失构建，训练的结束条件为活体识别网络和第二特征提取网络均收敛。

具体地，待子步骤1042完成后，重新回到子步骤1041，即将联合网络的所有网络层参数全部参与微调训练，训练过程中的Total_loss＝softmaxloss₂+softmaxloss_N+1。待活体识别网络和第二特征提取网络均达到较好的收敛状态即可停止本子步骤的训练过程。

此外，为了避免网络抖动，对联合网络进行再次训练(步骤1043的训练过程)的学习率小于对联合网络进行初次训练(步骤1041的训练过程)的学习率。例如，初次训练的学习率为1^-4，则再次训练的学习率可进一步缩小为1^-5。

与相关技术比较，本实施例中通过对联合网络进行初次训练，训练过程中采用的损失函数是基于第一损失和第二损失的和损失构建，训练的结束条件为活体识别网络收敛；然后，对第二特征提取网络中第二网络层之后的网络结构及第二分类器进行训练，训练过程中采用的损失函数是基于第二损失构建；最后，对联合网络进行再次训练，训练过程中采用的损失函数是基于第一损失和第二损失的和损失构建，训练的结束条件为活体识别网络和第二特征提取网络均收敛。即通过三部走：整体-局部-整体的训练方式得到较好的收敛状态下的联合网络。

本发明的另一实施方式涉及一种网络训练方法，如图4所示，该网络训练方法是对图1或图3所示方法步骤的改进，改进之处在于，在联合训练过程结束后，继续采用三元组损失tripletloss对之前训练好的去除第二分类器后的联合网络进行微调训练。相应地，如图4所示，在步骤104之后还包括如下步骤。

步骤105：以所属同一活体的两个第二图像样本分别为锚定样本、正样本，以与该同一活体为不同活体或非活体的一个第二图像样本为负样本构建三元组样本。

具体地，本实施例将使用tripletloss对第二特征提取网络的后半部分网络的网络参数进行训练，在构建训练样本时，则采用构建三元组样本来完成后续训练过程。在组成训练的三元组(anchor，positive，negative)中，同一个真人(活体)的任意两个第二图像样本可组成锚定样本(anchor)和正样本(positive)对，而对应的负样本(negative)则由其他真人的第二图像样本组成或者由假人(非活体)的第二图像样本组成。同时为了训练的样本均衡性，刚开始微调训练时需确保negative中的真人和假人的样本数比例维持在1:1，以确保第二特征提取网络所提取的人眼特征具有区分性。

步骤106：以三元组样本作为第二特征提取网络的输入样本，对第二特征提取网络中第二网络层之后的网络结构进行训练，训练过程中采用的损失函数是基于各三元组样本对应的三元组损失构建。

具体地，类似子步骤1042中，先冻结活体识别网络所涉及的网络参数(包含第二特征提取网络的第二网络层及其之前的网络部分)，只训练第二特征提取网络后半部分(第二网络层之后的网络部分)，更新这部分的网络参数。同时由于本训练过程采用tripletloss的度量学习，因此还需丢弃图2中原先在第二特征提取网络的输出端额外所增加的N+1类的第二分类器，且此次训练只使用第二特征提取网络提取的人眼特征即可。训练过程中的Total_loss＝tripletloss。待第二特征提取网络达到较好的收敛状态即可停止本子步骤的训练过程。

其中，tripletloss的计算公式如下。

其中，

为第i个三元组样本中的锚定样本、

为第i个三元组样本中的正样本、

为第i个三元组样本中的负样本、f(*)为样本*经第二特征提取网络计算得到的人眼特征、

为正样本与锚定样本之间的欧式距离度量、

为负样本与锚定样本之间的欧式距离度量；M为间隔参数，“+”表示“[]”内的值大于零的时候，取该值为损失，小于零的时候，损失为0。

为了更进一步对网络整体进行网络参数微调，在步骤106之后，还可以继续执行步骤107。

步骤107：挖掘三元组样本中的困难样本，并以困难样本为第二特征提取网络的输入样本，对活体识别网络和第二特征提取网络进行训练，训练过程中采用的损失函数，是基于第一损失，以及各三元组样本对应的三元组损失构建，训练的结束条件为活体识别网络和第二特征提取网络均收敛。

其中，根据公式(2)计算各三元组样本的三元组损失tripletloss，并提取其中三元组损失tripletloss大于0的三元组样本作为困难样本。

具体地，类似子步骤1043中，放开之前所冻结的网络参数再一次对活体识别网络和第二特征提取网络进行整体训练，更新网络参数。在本次训练过程中，针对活体识别网络仍采用第一损失进行监督训练；而对于第二特征提取网络，则摒弃了利用第二分类器来计算二分类损失函数的方式，而是通过计算三元组样本的tripletloss完成监督训练。与步骤106不同的是，本步骤107中计算tripletloss的三元组样本是从步骤107的训练过程中提取出的困难样本。训练过程中的Total_loss＝softmaxloss₂+tripletloss。待活体识别模型和第二特征提取网络均达到较好的收敛状态即可停止本步骤的训练过程。

此外，为了避免网络抖动，在引入了三元组损失的训练过程中，对第二特征提取网络中第二网络层之后的网络结构进行训练的学习率，小于对活体识别网络和第二特征提取网络进行训练的学习率。例如，对第二特征提取网络中第二网络层之后的网络结构进行训练的学习率为1^-4，则对活体识别网络和第二特征提取网络进行训练的学习率可进一步缩小为1^-5。

与相关技术比较，本实施例中通过以所属同一活体的两个第二图像样本分别为锚定样本、正样本，以与同一活体为不同活体或非活体的一个第二图像样本为负样本构建三元组样本；以三元组样本作为第二特征提取网络的输入样本，对第二特征提取网络中第二网络层之后的网络结构进行训练，训练过程中采用的损失函数是基于各三元组样本对应的三元组损失构建。即利用三元组损失进一步对活体识别模型和第二特征提取模型进行微调训练，以进一步得到较好的收敛状态下的网络。

本发明的另一实施方式涉及一种人脸识别方法，如图5所示，该人脸识别方法是基于图1、图3和图4中任一方法实施例所训练出来的活体识别网络和第二特征提取网络实现。如图5所示，该人脸识别方法包括如下步骤。

步骤201：获取待识别人脸的人脸图像，以及从人脸图像中截取的人眼位置的人眼图像。

具体地，针对待识别人脸，在获取待识别人脸的人脸图像中，从该人脸图像中进一步截取人眼位置的图像，并记作为人眼图像。

步骤202：将人脸图像输入至通过网络训练方法训练得到的联合网络中的活体识别网络，将人眼图像输入至联合网络中的第二特征提取网络，得到待识别人脸是活体或非活体的第一预测结果，以及待识别人脸的人眼特征。

具体地，将待识别人脸的人脸图像输入至上述方法实施例所训练得到的联合网络中的活体识别网络，同时将待识别人脸的人眼图像输入至该联合网络中的第二特征提取网络；通过这两个网络对人脸图像和人眼图像进行计算，得到待识别人脸是活体或非活体的第一预测结果(该结果由活体识别网络输出)，以及待识别人脸的人眼特征(该结果由第二特征提取网络输出)。

步骤203：如果第一预测结果为活体，则采用预先训练的人脸识别模型对待识别人脸的人脸图像进行人脸识别得到识别特征，并确定识别特征与注册库中多个人脸注册特征之间的第一相似度的最大值。

具体地，在得到第一预测结果为活体时，可以采用预先训练的人脸识别模型对待识别人脸的人脸图像进行人脸识别得到识别特征。该预先训练的人脸识别模型可采用已有的任何模型结构和训练方法进行训练后所得，本实施例对该人脸识别模型不做限定。在得到识别特征后，将该识别特征与注册库中已注册的多个人脸注册特征进行相似比对，分别获取每二者之间的相似度，分别记为第一相似度，并从所有第一相似度中确定出第一相似度的最大值。

其中，注册库中预先存储的人脸注册特征为注册的人脸图像经上述预先训练的人脸识别模型计算后输出的人脸特征，并记为人脸注册特征。

此外，如果得到的第一预测结果为非活体，则可以直接确定待识别人脸为非注册人脸，并结束本次的人脸识别操作。

步骤204：如果第一相似度的最大值大于相似度阈值上限，则确定待识别人脸为人脸注册特征中第一相似度的最大值对应的注册人脸。

具体地，本实施例在人脸识别阶段设置了两个相似阈值分别为μ和

作为衡量识别相似度的上限和下限，其中

当待识别人脸和注册库中某个人脸注册特征之间的第一相似度最大，且该第一相似度>μ时，表示当前人脸安全性较高，识别通过，待识别人脸即为人脸注册特征中上述第一相似度的最大值对应的注册人脸。

步骤205：如果第一相似度的最大值小于相似度阈值下限，则确定待识别人脸为非注册人脸。

具体地，当待识别人脸和注册库中某个人脸注册特征之间的第一相似度最大，且该

时，表示当前待识别人脸为外来人员，识别不通过，待识别人脸不为注册库中的任一注册人脸。

步骤206：如果第一相似度的最大值不大于相似度阈值上限，且不小于相似度阈值下限，则确定待识别人脸的人眼特征与注册库中多个人眼注册特征之间的第二相似度的最大值。

具体地，当待识别人脸和注册库中某个人脸注册特征之间的第一相似度最大，且该第一相似度介于μ和

之间时，表示人脸识别系统可能存在未知攻击(如非活体攻击、易误识人脸攻击、低质量人脸攻击)，此时即需要用到第二特征提取网络所提取的待识别人脸的人眼特征来进一步进行特征相似度比较，来确保人脸系统的安全性。

具体如下：将待识别人脸的人眼特征与注册库中已注册的多个人眼注册特征进行相似比对，分别获取每二者之间的相似度，分别记为第二相似度，并从所有第二相似度中确定出第二相似度的最大值。

步骤207：根据第二相似度的最大值与人眼相似阈值的大小关系，确定待识别人脸是否为注册人脸。

具体地，预先设置此阶段使用的描述人眼相似度的人眼相似阈值为γ，根据第二相似度的最大值与γ的大小关系，确定待识别人脸是否为注册人脸。

例如，当上述第二相似度的最大值＞γ时，此阶段识别通过，整个人脸识别系统识别通过，并确定待识别人脸为人眼注册特征中第二相似度的最大值对应的注册人脸。当上述第二相似度的最大值≤γ时，此阶段识别不通过，整个人脸识别系统识别不通过(系统拒识)，确定待识别人脸为非注册人脸。

本实施例中，μ、

和γ均为在该人脸识别系统应用场景下对应的测试集上评估后选定的阈值。

与相关技术比较，本实施例通获取待识别人脸的人脸图像，以及从人脸图像中截取的人眼位置的人眼图像；将人脸图像输入至活体识别网络，将人眼图像输入至第二特征提取网络，得到待识别人脸是活体或非活体的第一预测结果，以及待识别人脸的人眼特征；如果第一预测结果为活体，则采用预先训练的人脸识别模型对待识别人脸的人脸图像进行人脸识别得到识别特征，并确定识别特征与注册库中多个人脸注册特征之间的第一相似度的最大值；如果第一相似度的最大值大于相似度阈值上限，则确定待识别人脸为人脸注册特征中第一相似度的最大值对应的注册人脸；如果第一相似度的最大值小于相似度阈值下限，则确定待识别人脸为非注册人脸；如果第一相似度的最大值不大于相似度阈值上限，且不小于相似度阈值下限，则确定待识别人脸的人眼特征与注册库中多个人眼注册特征之间的第二相似度的最大值；根据第二相似度的最大值与人眼相似阈值的大小关系，确定待识别人脸是否为注册人脸。本方案中：

1.通过在活体识别网络中增加人眼局部信息，并将此局部信息与人脸全局信息进行融合，使得活体识别网络能够综合人脸全局信息和人眼局部信息，进一步提升活体识别网络的活体检测鲁棒性，尤其是针对眼部信息攻击的假体。

2.第二特征提取网络属于轻量型模型，且在人脸识别系统适当条件下才会激活发挥作用，不会给是整个人脸识别系统的通行效率带来较大的负担，同时由于和人脸识别算法不共用同一个网络，其提取的人眼局部信息和人脸识别算法的特征具有明显的区分度，当激活此人眼特征的识别功能后，其综合判定的结果更为可靠，从而提升整个人脸识别系统的安全性，也能改善用户使用体验。

3.对于带口罩人群通过人脸识别系统的特殊应用需求(此时默认带口罩人脸能顺利通过人脸识别模块之前的模块(如防作伪模块、质量评价模块等))，在结合人眼特征的识别方法后，其人脸系统安全性将会大大增强。

本发明的另一实施方式涉及一种电子设备，如图6所示，包括至少一个处理器302；以及，与至少一个处理器302通信连接的存储器301；其中，存储器301存储有可被至少一个处理器302执行的指令，指令被至少一个处理器302执行，以使至少一个处理器302能够执行上述任一方法实施例。

其中，存储器301和处理器302采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器302和存储器301的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器302处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器302。

处理器302负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器301可以被用于存储处理器302在执行操作时所使用的数据。

本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种网络训练方法，其特征在于，包括：

采集人脸图像，以所述人脸图像作为第一图像样本、以从所述人脸图像中截取的人眼位置的图像作为第二图像样本，并标注各图像样本所属活体或非活体的第一标签，以及图像样本的类别标签，其中，所属同一活体的图像样本对应同一所述类别标签，所属非活体的所有图像样本对应同一所述类别标签；

以所述第一图像样本为输入、所述第一图像样本所属各所述第一标签的第一预测概率为输出，构建活体识别网络；所述活体识别网络包括第一特征提取网络和第一分类器；所述第一特征提取网络用于从输入的图像样本中提取人脸特征，所述第一分类器用于对所述人脸特征进行分类得到所述第一预测概率；

以所述第二图像样本为输入、所述第二图像样本的人眼特征为输出，构建第二特征提取网络；所述第一特征提取网络中第一网络层输出的第一特征图与所述第二特征提取网络中第二网络层输出的第二特征图组合，共同作为所述第一网络层的下一网络层的输入特征图；

对由所述活体识别网络、所述第二特征提取网络、以及在所述第二特征提取网络的输出端增设的第二分类器构建的联合网络进行联合训练；所述第二分类器的输出为所述第二图像样本属于各所述类别标签的第二预测概率；

其中，所述联合训练所采用的损失函数，是基于所述活体识别网络输出的所述第一预测概率与对应的第一实际概率之间的第一损失，以及所述第二分类器输出的所述第二预测概率与对应的第二实际概率之间的第二损失构建。

2.根据权利要求1所述的方法，其特征在于，所述活体识别网络中还设置有注意力机制模块；将所述第一特征提取网络中第一网络层输出的第一特征图与所述第二特征提取网络中第二网络层输出的第二特征图组合，包括：

将所述第一特征图与所述第二特征图组合，组合后的特征图的通道数为组合前通道数之和；

采用所述注意力机制模块为所述组合后的特征图的各通道设置权重，并将设置权重后的所述组合后的特征图作为所述第一网络层的下一网络层的输入特征图。

3.根据权利要求1或2所述的方法，其特征在于，所述第一损失是利用分类损失函数Softmax Loss计算各所述第一图像样本的所述第一预测概率与所述第一实际概率的损失获得；所述第二损失是利用分类损失函数Softmax Loss计算各所述第二图像样本的所述第二预测概率与所述第二实际概率的损失获得；

所述对由所述活体识别网络、所述第二特征提取网络、以及在所述第二特征提取网络的输出端增设的第二分类器构建的联合网络进行联合训练，包括：

对所述联合网络进行初次训练，训练过程中采用的损失函数是基于所述第一损失和所述第二损失的和损失构建，训练的结束条件为所述活体识别网络收敛；

对所述第二特征提取网络中所述第二网络层之后的网络结构及所述第二分类器进行训练，训练过程中采用的损失函数是基于所述第二损失构建；

对所述联合网络进行再次训练，训练过程中采用的损失函数是基于所述第一损失和所述第二损失的和损失构建，训练的结束条件为所述活体识别网络和所述第二特征提取网络均收敛。

4.根据权利要求3所述的方法，其特征在于，对所述联合网络进行再次训练的学习率小于对所述联合网络进行初次训练的学习率。

5.根据权利要求1所述的方法，其特征在于，所述对由所述活体识别网络、所述第二特征提取网络、以及在所述第二特征提取网络的输出端增设的第二分类器构建的联合网络进行联合训练之后，还包括：

以所属同一活体的两个所述第二图像样本分别为锚定样本、正样本，以与所述同一活体为不同活体或非活体的一个所述第二图像样本为负样本构建三元组样本；

以所述三元组样本作为所述第二特征提取网络的输入样本，对所述第二特征提取网络中所述第二网络层之后的网络结构进行训练，训练过程中采用的损失函数是基于各所述三元组样本对应的三元组损失构建。

6.根据权利要求5所述的方法，其特征在于，所述以所述三元组样本作为所述第二特征提取网络的输入样本，对所述第二特征提取网络中所述第二网络层之后的网络结构进行训练之后，还包括：

挖掘所述三元组样本中的困难样本，并以所述困难样本为所述第二特征提取网络的输入样本，对所述活体识别网络和所述第二特征提取网络进行训练，训练过程中采用的损失函数，是基于所述第一损失，以及各所述三元组样本对应的所述三元组损失构建，训练的结束条件为所述活体识别网络和所述第二特征提取网络均收敛。

7.根据权利要求6所述的方法，其特征在于，在引入了所述三元组损失的训练过程中，所述对所述第二特征提取网络中所述第二网络层之后的网络结构进行训练的学习率，小于所述对所述活体识别网络和所述第二特征提取网络进行训练的学习率。

8.一种人脸识别方法，其特征在于，包括：

获取待识别人脸的人脸图像，以及从所述人脸图像中截取的人眼位置的人眼图像；

将所述人脸图像输入至通过如上所述的权利要求1-7中任一项网络训练方法训练得到的联合网络中的活体识别网络，将所述人眼图像输入至所述联合网络中的第二特征提取网络，得到所述待识别人脸是活体或非活体的第一预测结果，以及所述待识别人脸的人眼特征；

如果所述第一预测结果为活体，则采用预先训练的人脸识别模型对所述待识别人脸的人脸图像进行人脸识别得到识别特征，并确定所述识别特征与注册库中多个人脸注册特征之间的第一相似度的最大值；

如果所述第一相似度的最大值大于相似度阈值上限，则确定所述待识别人脸为所述人脸注册特征中所述第一相似度的最大值对应的注册人脸；

如果所述第一相似度的最大值小于相似度阈值下限，则确定所述待识别人脸为非注册人脸；

如果所述第一相似度的最大值不大于所述相似度阈值上限，且不小于所述相似度阈值下限，则确定所述待识别人脸的人眼特征与注册库中多个人眼注册特征之间的第二相似度的最大值；

根据所述第二相似度的最大值与人眼相似阈值的大小关系，确定所述待识别人脸是否为注册人脸。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的网络训练方法，或者如权利要求8中所述的人脸识别方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的网络训练方法，或者如权利要求8中所述的人脸识别方法。

Images