CN112215043A

CN112215043A - 一种人脸活体检测方法

Info

Publication number: CN112215043A
Application number: CN201910628662.6A
Authority: CN
Inventors: 王楠
Original assignee: Potevio Information Technology Co Ltd
Current assignee: Potevio Information Technology Co Ltd
Priority date: 2019-07-12
Filing date: 2019-07-12
Publication date: 2021-01-12

Abstract

本申请公开了一种人脸活体检测方法，包括：摄像头采集不同光照条件下的真实人脸，得到真脸数据；对真实人脸的采集输出进行二次采集，得到假脸数据；将采集真实人脸得到的真脸数据和二次采集的假脸数据作为训练数据，进行特征提取神经网络模型的训练；摄像头获取待检测的图片，输入训练得到的所述特征提取神经网络模型进行特征向量的提取；将提取的特征向量输入softmax函数计算概率值，并判断是否为活体；其中，在进行训练时，将特征相似度计算任务和真假人脸分类任务按照任务重要性进行加权训练所述特征提取神经网络模型；特征相似度计算任务中，使不同光照下真脸数据的特征的相似度大于相同人脸的正负样本特征之间的相似度。通过本申请，能够有效提高不同光照的人脸活体检测的准确性。

Description

一种人脸活体检测方法

技术领域

本申请涉及人脸检测技术，特别涉及一种人脸活体检测方法。

背景技术

随着人工智能的不断发展，生物特征识别技术广泛的应用于安全领域，是认证用户身份的主要手段之一。人脸识别由于其具有方便易用、用户友好性、非接触式等优点，被广泛应用于各个领域，如金融支付领域、门禁安全领域等。在人脸识别技术的应用范围不断扩大的同时，也出现了对人脸识别技术的非活体攻击，攻击者利用合法用户的人脸图片或者带有合法用户人脸的视频伪造合法用户进行业务交易，给被伪造的合法用户造成较大的损失。因此，如何提高人脸识别系统的安全性成为一个广泛关注的问题。

为了解决上述问题，人脸活体检测技术作为一项人脸识别系统安全性的保障技术越来越受到业界的关注。目前人脸活体检测技术大致分为三类：基于彩色图像特征的方法、用户动作配合式的方法、基于特殊摄像头设备的方法。具体地：

1、基于彩色图像特征的技术利用图像二次采集的人像破绽，如摩尔纹、成像畸形等，采用颜色统计、纹理特征等传统图像处理特征，结合支持向量机等分类器做真假人脸二分类，或者直接将标准化的人脸图像输入神经网络训练模型，这种方法依赖于训练数据，且易受光照等条件的影响，缺乏一定的鲁棒性；

2、用户配合式的活体检测方法基于一定的检测周期，通过一次或随机多次动作配合的方式进行判断，此方法能有效防止照片攻击，但对于电子设备录好动作的视频则难以抵御，而且该方法与用户交互较多，实时性低，降低人脸识别系统的用户体验；

3、基于深度摄像机的活体检测方法是利用双摄像头标定或专业的深度相机，具有技术复杂或较高的设备费用，再加上目前还没有专门的针对深度信息的人脸定位技术，数据难以处理，使得该方法更加难以被利用和推广。

由上述比较可见，基于彩色图像特征的方法相较于其他两种，具有与用户交互少、不需要额外设备的优点，被广泛使用和关注。但此方法基于数据、基于模型，受训练数据和光照环境影响较大，缺乏一定的鲁棒性。

发明内容

本申请提供一种人脸活体检测方法，能够有效提高不同光照的人脸活体检测的准确性。

为实现上述目的，本申请采用如下技术方案：

一种人脸活体检测方法，包括：

摄像头采集不同光照条件下的真实人脸，得到真脸数据；对真实人脸的采集输出进行二次采集，得到假脸数据；

将采集真实人脸得到的真脸数据和二次采集的假脸数据作为训练数据，进行特征提取神经网络模型的训练；

摄像头获取待检测的图片，输入训练得到的所述特征提取神经网络模型进行特征向量的提取；

将提取的特征向量输入softmax函数计算概率值，并判断是否为活体；

其中，在进行特征提取神经网络模型的训练时，将特征相似度计算任务和真假人脸分类任务按照任务重要性进行加权融合作为多任务模型训练所述特征提取神经网络模型；所述特征相似度计算任务中，使不同光照下真脸数据的特征的相似度大于相同人脸的正负样本特征之间的相似度；相同人脸的真脸数据和二次采集的假脸数据互为正负样本。

较佳地，所述神经网络模型的损失函数为多任务损失函数，并采用随机梯度下降的方法训练所述神经网络模型。

较佳地，所述多任务损失函数为：

其中，α_Trip为特征相似度计算任务的设定加权值，α_cls为真假人脸分类任务的设定加权值，α_Trip+α_cls＝1，N为训练样本数量，i为训练样本的索引值，L_Trip为特征相似度计算任务的损失函数，L_cls为真假人脸分类任务的损失函数。

较佳地，所述特征相似度计算任务的损失函数L_Trip采用Triplet Loss三联子损失函数，在所述训练中，将目标样本

Positive正样本

与Negative负样本

构造三联子，通过迭代优化使目标样本

与正样本

间的距离小于目标样本

与负样本

间的距离；

其中，

为目标样本，

为Positive 正样本，

为Negative负样本，

为当前训练的特征提取网络对目标样本x所提取的特征，

为当前训练的特征提取网络对正样本

所提取的特征，

为当前训练的特征提取网络对负样本

所提取的特征，α为正、负样本对之间的距离阈值， n为三联子对个数，i为三联子对的索引值，(a-b)₊＝max((a-b),0)。

较佳地，当目标样本为真脸数据时，对应的Positive正样本为不同光照下相同人脸的真脸数据，Negative负样本为各种方式构造的假脸数据；

当目标样本为假脸数据时，对应的Positive正样本为各种方式构造的假脸数据，Negative负样本为不同光照下相同人脸的真脸数据；

一个目标样本对应一个或多个三联子对。

较佳地，所述真假人脸分类任务的损失函数L_cls为交叉熵损失函数：

其中，x为本次训练的目标样本，p(x) 为期望输出的真假人脸概率值，q(x)为当前训练的特征提取网络对目标样本x提取特征后经softmax函数计算实际输出的真假人脸概率值。

由上述技术方案可见，本申请中，摄像头采集不同光照条件下的真实人脸，得到真脸数据；对真实人脸的采集输出进行二次采集，得到假脸数据；将采集真实人脸得到的真脸数据和二次采集的假脸数据作为训练数据，进行特征提取神经网络模型的训练；摄像头获取待检测的图片，输入训练得到的所述特征提取神经网络模型进行特征向量的提取；将提取的特征向量输入softmax函数计算概率值，并判断是否为活体；其中，在进行特征提取神经网络模型的训练时，将特征相似度计算任务和真假人脸分类任务按照任务重要性进行加权融合作为多任务模型训练所述特征提取神经网络模型；所述特征提取任务中，使不同光照下真脸数据的特征的相似度大于相同人脸的正负样本特征之间的相似度；相同人脸的真脸数据和二次采集的假脸数据互为正负样本。在上述处理中，通过在神经网络模型的训练中引入特征相似度计算任务，能够保证特征提取网络提取的特征更突显真脸数据间的相似度和真假脸数据间的差别度，同时，通过联合考虑特征相似度计算任务和真假人脸分类任务进行神经网络模型训练，还能够保证最终活体检测结果的准确性。

附图说明

图1为本申请中人脸活体检测方法的总体流程示意图；

图2为图1步骤104～105的具体处理示意图；

图3为三联子损失函数的核心思想示意图；

图4为多任务网络模型的结构示意图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

图1为本申请中人脸活体检测方法的总体流程示意图。如图1所示，该方法包括：

步骤101，摄像头采集不同光照条件下的真实人脸，得到真脸数据；对真实人脸的采集输出进行二次采集，得到假脸数据。

通过普通摄像头采集不同光照条件下的真实人脸的图片，并通过打印照片、电子屏幕呈现的方式输出该真实人脸的采集结果，使用该摄像头对采集结果进行二次采集，拍摄的真实人脸照片为真脸，二次采集的图片为假脸。

步骤102，将采集真实人脸得到的真脸数据和二次采集的假脸数据作为训练数据。

将真假脸数据通过人脸检测算法，检测并截取人脸图像，归一化作为训练数据。将真脸按照不同的光照分成不同的光照数据集，将假脸按照不同的假脸构造方式和光照不同分成相应的数据集。由于假脸是对真脸照片二次采集，二者对应同一个拍摄对象，将同一人的真假人脸对应统一身份标签。训练样本标签以三维向量的形式构造，如表1所示：

表1

步骤103，利用训练数据进行特征提取神经网络模型的训练。

本申请基于神经网络多任务模型，提出基于光照鲁棒任务和活体判别任务的损失函数，训练神经网络特征提取模型。

具体地，在进行特征提取神经网络模型的训练时，将特征相似度计算任务和真假人脸分类任务按照任务重要性进行加权融合作为多任务模型训练所述特征提取神经网络模型；特征相似度计算任务中，使不同光照下真脸数据的特征的相似度大于相同人脸的正负样本特征之间的相似度；相同人脸的真脸数据和二次采集的假脸数据互为正负样本。

步骤104，摄像头获取待检测的图片，将图片输入训练得到的特征提取神经网络模型进行特征向量的提取。

在获取待检测的图片时，可以通过人脸检测算法，判断图片是否含有人脸，如果是，则将全景图截取出与训练数据相同处理的人脸图片，将标准化的人脸图片输入训练好的特征提取神经网络模型，提取特征向量，并进入步骤105；否则，输出“不包含人脸”。

步骤105，将提取的特征向量输入softmax函数计算概率值，并判断是否为活体。

具体步骤104～105的处理如图2所示。

至此，本申请中的活体人脸检测的基本方法流程结束。在上述流程中，与现有方式存在本质性区别的是特征提取神经网络模型的训练方式，下面给出一个具体的例子说明本申请中的多任务模型训练方式。

本申请中特征提取神经网络模型是一个光照鲁棒的多任务神经网络模型，下面以卷积网络视讯该网络模型为例进行说明。

本例中的神经网络模型采用四层卷积网络，两层全连接网络结构，并以多任务损失作为损失函数，采用随机梯度下降的方法训练该模型。本例中提到的卷积神经网络结构可替换为其他网络结构，也可以通过现有的网络结构做基于目标任务的微调训练。

多任务损失函数可以如下建立：

基于光照鲁棒任务和训练数据的构造形式，目的是让具有不同光照的样本具有较高的相似度，而具有二次重拍的假脸与对应的真脸之间的相似度具有较低的相似度。而在特征变换之前，真脸与对应的假脸之间存在较高的相似度，而具有不同光照信息的不同人脸之间相似度较低。接下来，分别介绍特征相似度计算的损失函数L_Trip和真假人脸分类的损失函数L_cls的构造方式。

特征相似度计算的损失函数L_Trip采用Triplet Loss三联子损失函数，每次训练中选择出Anchor目标样本、Positive正样本与Negative负样本构造三联子，训练中通过迭代优化使Anchor与Positive的距离小于Anchor与Negative样本的距离，实现样本的相似性计算，从而保证真脸数据间的相似度高于真假脸数据间的相似度。其核心思想示意图如图3所示。

Triplet Loss三联子损失函数具体计算公式可以为：

其中，

为目标样本，

为Positive正样本，

为Negative负样本，

为当前训练的特征提取网络对目标样本x所提取的特征，

为当前训练的特征提取网络对正样本

所提取的特征，

为当前训练的特征提取网络对负样本

所提取的特征，α为正、负样本对之间的距离阈值，n为三联子对个数，i为三联子对的索引值， (·)₊表示取正值，也就是说(a-b)₊＝max((a-b),0)。

Anchor目标样本、Positive正样本与Negative负样本的选取方式如下：

当Anchor目标样本为真脸时，其对应的Positive正样本为不同光照下的同一真脸或不同真脸，Negative负样本为不同方式构造的假脸。一个目标样本可对应多个三联子对。同时相对应的，当Anchor目标样本为假脸时，其对应的Positive正样本为不同方式构造的假脸，Negative负样本为目标样本构造时对应的真脸。

真假人脸分类的损失函数L_cls可以为交叉熵损失函数：

其中，x为本次训练的目标样本，p(x)为期望输出的真假人脸概率值，q(x)为当前训练的特征提取网络对目标样本x提取特征后经softmax函数计算实际输出的真假人脸概率值。

按照上述方式进行特征提取神经网络训练的多任务模型网络结构如图4所示。其中，首先利用步骤103中的训练数据进行三联子选择，然后利用当前训练的特征提取网络对选择出的三联子进行特征提取，得到特征向量，一方面利用得到的特征向量计算三联子损失函数的结果，另一方面利用得到的特征向量输入softmax 函数计算概率值，并利用得到的概率值计算真假人脸分类的损失函数的结果，再根据公式(1)得出最后多任务损失函数的结果，并根据多任务损失函数的结果调整当前特征提取网络的参数。

上述即为本申请的具体实现。由上述本申请的处理可见，本申请通过对不同光照及假脸构造方式的正负样本建立基于三联子损失的深度特征提取模型，使得不同光照的特征的相似度大于相同人脸的正负样本特征之间的相似度，实现模型对不同光照条件具有鲁棒性。同时，在模型训练时，将特征提取任务与活体判别任务按照任务的重要性加权融合作为多任务模型，在模型使用时直接输出基于特征提取任务的活体判别结果。本申请的人脸活体检测方法不需要与用户交互、不需要额外设备，并且不需要检测周期可以实时反馈是否是活体的信息，克服了彩色图像受光照影响较大的缺点。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。