CN110472519B - 一种基于多模型的人脸活体检测方法 - Google Patents

Abstract

一种基于多模型的人脸活体检测方法，其步骤如下：(1)挑选训练样本并标注；(2)基于多模型的人脸活体检测模型训练；(3)人脸活体检测模型转换；4)进行防照片攻击人脸活体检测，检测通过进入步骤(5)，否则认为该图像不存在活体人脸，结束整个流程；(5)防屏幕攻击人脸活体检测；检测通过则存在活体人脸，否则不存在活体人脸。本发明用3个人脸活体检测模型和1个人脸定位模型来进行人脸活体检测，使其不仅能防御照片攻击，也能防御屏幕攻击，防御攻击能力增强。根据红外摄像头采集的屏幕人脸图像的特性，用人脸定位模型来代替人脸活体检测模型进行人脸活体检测，进一步提高了人脸活体检测的精度。

Description

一种基于多模型的人脸活体检测方法

技术领域

本发明属于人脸识别技术领域，涉及一种基于多模型的人脸活体检测方法。

背景技术

人脸识别已广泛应用于安防和金融等领域，而人脸活体检测是人脸识别的应用前提。人脸活体检测的作用是检测图像或视频中是否存在活体人脸，防御来自照片、屏幕、视频、面具或头套等对人脸识别相关应用的攻击。现有的人脸活体检测方法包括基于交互的活体检测、基于立体性的活体检测、基于亚表面的活体检测和基于深度学习的活体检测。其中基于深度学习的活体检测方法因其鲁棒性和检测精度，应用最为广泛。其中交互式的活体检测，需要用户用眨眼、张嘴、点头和摇头等动作进行配合。但是，现有的人脸活体检测方法，仅依靠单一摄像头或只用单一的活体检测模型进行检测，不仅检测精度低，而且只能防御单一的攻击方式，远不能满足市场的需求。而且随着人脸活体检测攻击方式的增多，人脸识别应用场景的复杂多变，这对人脸活体检测的灵活性和适应性提出了要求，在复杂场景下保证检测的精度是人脸活体检测的难点之一。在受限设备上，现有的人脸活体检测模型没有速度优势，甚至在某些设备上因为空间功耗等原因无法运行。

即现有方案存在以下缺点：

1)采用单一摄像头采集人脸图像并训练活体检测模型，活体检测的精度有待提高；

2)现有的活体检测方法，仅能防照片攻击，并不能防屏幕攻击,防攻击手段单一。

现在亟需一种新的检测精度高且可以防御多种方式攻击的人脸活体检测方法。

发明内容

为了克服现有技术中存在的不足，本发明在于提供了一种检测精度高且可以防御多种方式攻击的基于多模型的人脸活体检测方法。

本发明采用的技术方案是：

一种基于多模型的人脸活体检测方法，其步骤如下：

(1)挑选训练样本并标注：分别用自然光摄像头和红外摄像头采集用于训练的活体样本和非活体样本，并对这两类样品进行标注；

(2)基于多模型的人脸活体检测模型训练：将活体样本和相应的非活体样本分别输入到全卷积网络进行深度学习训练，分别得到基于自然光的防照片攻击人脸活体检测模型、基于红外光的防照片攻击人脸活体检测模型和基于自然光的防屏幕攻击人脸活体检测模型；

(3)人脸活体检测模型转换：将得到的基于自然光的防照片攻击人脸活体检测模型、基于红外光的防照片攻击人脸活体检测模型和基于自然光的防屏幕攻击人脸活体检测模型进行量化和加密；

(4)防照片攻击人脸活体检测：首先取一帧自然光摄像头采集的人脸图像，用基于自然光的防照片攻击人脸活体检测模型进行检测，得到图像的活体检测分数；其次取一帧红外摄像头采集的人脸图像，用基于红外光的防照片攻击人脸活体检测模型进行检测，得到图像的活体检测分数；只有当两个活体检测分数均大于某个阈值(60)，才进入步骤(5)，否则认为该图像不存在活体人脸，结束整个流程；

(5)防屏幕攻击人脸活体检测：首先取一帧自然光摄像头采集的人脸图像，用基于自然光的防屏幕攻击人脸活体检测模型进行检测，得到图像的活体检测分数；其次取一帧红外摄像头采集的人脸图像，用基于红外光的人脸定位模型进行定位，得到定位结果；当活体检测分数大于某个阈值(60)且定位到人脸，判定该图像存在活体人脸，否则不存在活体人脸。本发明用3个人脸活体检测模型和1个人脸定位模型来进行人脸活体检测，使其不仅能防御照片攻击，也能防御屏幕攻击，防御攻击能力增强。根据红外摄像头采集的屏幕人脸图像的特性，用人脸定位模型来代替人脸活体检测模型进行人脸活体检测，进一步提高了人脸活体检测的精度。

进一步，用于基于自然光的防照片攻击人脸活体检测模型训练的活体样本为自然光摄像头采集的活体人脸图像，非活体样本为自然光摄像头采集的各种打印照片，打印照片包括各种场景下的人脸照片和戴辅助用具的人脸照片。

进一步，用于基于红外光的防照片攻击人脸活体检测模型训练的活体样本为红外摄像头采集的活体人脸图像，非活体样本为红外摄像头采集的各种打印照片，打印照片包括各种场景下的人脸照片和戴辅助用具的人脸照片。

进一步，用于基于自然光的防屏幕攻击人脸活体检测模型训练的活体样本为自然光摄像头采集的活体人脸图像，非活体样本为自然光摄像头采集的各种屏幕人脸图像。

进一步，人脸活体检测模型的训练过程包括：将标注后的相应的活体样本和非活体样本进行缩放转换成深度学习框架训练所需的数据格式，按照活体样本和非活体样本1:1的数据比率送入全卷积网络进行训练，得到相应的人脸活体检测模型。

进一步，步骤(2)中的全卷积网络包括6个卷积层和最后1个用于分类的softmax层，所述卷积层与softmax层之间采用flatten层连接。本发明的全卷积网络并未使用需要大量参数的全连接层，而是用flatten层代替全连接层，大大降低了参数量。本发明采用自己设计的全卷积网络来训练人脸活体检测模型，通过该网络训练的模型不仅参数量少，而且前向传播速度快，预测准确率高。

进一步，所述全卷积网络的输入图像大小为128*128，所述卷积层中,5个卷积层采用的卷积核大小为3*3，填充方式为valid，步长为2；最后一个卷积层采用的卷积核大小为3*3，填充方式为valid，步长为1。

进一步，步骤(3)中对转换后的模型进行量化是将参数储存类型直接由float32变成int8，不仅大大减小了模型大小，而且提高了模型前向传播的速度,更适合应用在条件受限的设备。

进一步，步骤(4)、步骤(5)中的图像的活体检测分数是通过全卷积网络的softmax层计算得到的。

本发明的有益效果：

1)采用自己设计的全卷积网络来训练人脸活体检测模型，通过该网络训练的模型不仅参数量少，而且前向传播速度快，预测准确率高。

2)用3个人脸活体检测模型和1个人脸定位模型来进行人脸活体检测，使其不仅能防御照片攻击，也能防御屏幕攻击，防御攻击能力增强。

3)根据红外摄像头采集的屏幕人脸图像的特性，用人脸定位模型来代替人脸活体检测模型进行人脸活体检测，进一步提高了人脸活体检测的精度。

附图说明

图1是本发明的模型训练流程示意图。

图2是本发明的检测流程示意图。

图3是本发明的全卷积网络的结构示意图。

图4是本发明在手机刷脸解锁的框图示意图。

具体实施方式

下面结合具体实施例来对本发明进行进一步说明，但并不将本发明局限于这些具体实施方式。本领域技术人员应该认识到，本发明涵盖了权利要求书范围内所可能包括的所有备选方案、改进方案和等效方案。

本发明涉及的专业术语如下：

深度学习(Deep Learning):是机器学习的技术和研究领域之一，通过建立具有阶层结构的人工神经网络(ANN),在计算机系统中实现人工智能。由于人工神经网络(ANN)能够对输入信息进行逐层提取和筛选，因此深度学习具有表征学习的能力，可以实现端到端的监督学习和非监督学习。此外深度学习也可参与构建深度学习系统，形成深度强化学习。

监督学习：利用标记的训练数据调整神经网络的参数，使其达到所要求性能的过程，也称为监督训练。在监督学习中，每个实例都是由一个对象和一个期望的输出值组成。

卷积神经网络(CNN):是一类包含卷积计算且具有深度结构的前馈神经网络(FNN)，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。卷积神经网络仿造生物的视知觉机制构建，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络的计算量大大降低。

超参数：在开始学习之前就需设置的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给网络选择一组最优超参数，以提高学习的性能和效果。

机器学习(Machine Learning)：是一门多领域交叉学科，设计概率论、统计学、逼近论、凸分析和算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

基于全卷积网络的特征提取技术：将大量的指纹图像数据输入全卷积网络，以提取指纹图像的特征。

参见图1-3，本实施例提供了一种基于多模型的人脸活体检测方法，可以分为模型训练和检测两大部分；其步骤如下：

(1)挑选训练样本并标注：分别用自然光摄像头和红外摄像头采集用于训练的活体样本和非活体样本，并对这两类样品进行标注；

(2)基于多模型的人脸活体检测模型训练：这里选择用mxnet(深度学习)框架训练人脸活体检测模型，将活体样本和相应的非活体样本分别输入到全卷积网络进行深度学习训练，分别得到基于自然光的防照片攻击人脸活体检测模型、基于红外光的防照片攻击人脸活体检测模型和基于自然光的防屏幕攻击人脸活体检测模型；为了提高人脸活体检测模型的精度，样本应尽量多，且应覆盖尽量多的情况。其中全卷积网络包括6个卷积层和最后1个用于分类的softmax层，所述卷积层与softmax层之间采用flatten层连接。本发明的全卷积网络并未使用需要大量参数的全连接层，而是用flatten层代替全连接层，大大降低了参数量。所述全卷积网络的输入图像大小为128*128，所述卷积层中,5个卷积层采用的卷积核大小为3*3，填充方式为valid，步长为2；最后一个卷积层采用的卷积核大小为3*3，填充方式为valid，步长为1。本发明的模型都是用已知类别的样本进行训练得到的，其学习过程属于监督学习。

具体如下：

基于自然光的防照片攻击人脸活体检测模型训练：活体样本为自然光摄像头采集的活体人脸图像，非活体样本为自然光摄像头采集的各种打印照片包括各种场景下的人脸照片和戴辅助用具的人脸照片。将两类样本进行标注，并缩放到固定大小(128*128)，然后按照1:1的数据比率送入全卷积网络进行训练，选择合适的超参数，不断调整网络参数，得到基于自然光的防照片攻击人脸活体检测模型。

基于红外光的防照片攻击人脸活体检测模型训练:活体样本为红外摄像头采集的活体人脸图像，非活体样本为红外摄像头采集的各种打印照片包括各种场景下的人脸照片和戴辅助用具的人脸照片。将两类样本进行标注，并缩放到固定大小(128*128)，然后按照1：1的数据比率送入全卷积网络进行训练，得到基于红外光的防照片攻击人脸活体检测模型。

基于自然光的防屏幕攻击人脸活体检测模型训练:活体样本为自然光摄像头采集的活体人脸图像，非活体样本为自然光摄像头采集的各种屏幕人脸图像。为了增加模型的鲁棒性和防止过拟合，这里的屏幕应覆盖尽量多的情况，包括各种不同型号的手机，各种不同型号的iPad和各种不同型号的电脑等。将两类样本进行标注，并缩放到固定大小(128*128)，然后按照1:1的数据比率送入全卷积网络进行训练，得到基于自然光的防屏幕攻击人脸活体检测模型。

(3)人脸活体检测模型转换：将得到的基于自然光的防照片攻击人脸活体检测模型、基于红外光的防照片攻击人脸活体检测模型和基于自然光的防屏幕攻击人脸活体检测模型进行量化和加密；其中量化就是将人脸活体检测模型中每层的权值和偏置值用更低精度的数据类型进行存储，以float32量化成int8为例，就是统计每层权值和偏置值中的最大值和最小值，并把权值和偏置值均匀对应到0到255区间中。加密：人脸活体检测模型的网络结构是明文可见的，很不安全，因此需要读取网络结构中的明文信息，并以二进制的形式进行保存，以隐藏明文信息。以上将明文信息转换成二进制信息的过程称为加密。量化后，一个网络参数储存所需位数由32位降为8位，不仅大大减小了模型大小，而且提高了模型前向传播的速度,更适合应用在条件受限的设备。加密后，网络的结构文件更不容易被获得，更具有安全性。

(4)防照片攻击人脸活体检测：首先取一帧自然光摄像头采集的人脸图像，用基于自然光的防照片攻击人脸活体检测模型进行检测，得到图像的活体检测分数；其次取一帧红外摄像头采集的人脸图像，用基于红外光的防照片攻击人脸活体检测模型进行检测，得到图像的活体检测分数，图像的活体检测分数是通过全卷积网络的softmax层计算得到的；只有当两个活体检测分数均大于某个阈值(60)，才进入步骤(5)，否则认为该图像不存在活体人脸，结束整个流程；假设待预测图像的大小为320*320，经过人脸活体检测模型进行前向预测将得到7*7个活体检测分数(分数取值范围0～100，分数越高说明存在活体人脸的概率越大)，将所有活体检测分数取均值，就得到整幅图像的活体检测分数。

(5)防屏幕攻击人脸活体检测：首先取一帧自然光摄像头采集的人脸图像，用基于自然光的防屏幕攻击人脸活体检测模型进行检测，得到图像的活体检测分数；其次取一帧红外摄像头采集的人脸图像，用基于红外光的人脸定位模型进行定位，得到定位结果；当活体检测分数大于某个阈值(60)且定位到人脸，判定该图像存在活体人脸，否则不存在活体人脸。本发明用基于红外光的人脸定位模型来进行人脸活体检测。之所以采用这种方法，是因为通过对红外摄像头采集的屏幕人脸图像进行分析发现，由于屏幕的反光，红外摄像头采集的屏幕人脸图像整体亮度很低且很难分辨出人脸，若用人脸定位模型进行定位，很难定位到人脸。跟据这一特性，本发明借助基于红外光的人脸定位模型来实现红外防屏幕攻击：若定位成功则判定该图像存在活体人脸，否则不存在活体人脸。其中人脸定位模型就是指能够在图像中找出人脸所在位置的模型，如mtcnn模型。

本发明用两个摄像头分别采集人脸图像并训练人脸活体检测模型，最后根据两个摄像头得到的活体检测分数进行综合判断，提高了人脸活体检测的精度。用3个人脸活体检测模型和1个人脸定位模型来进行人脸活体检测，可以同时防御照片攻击和屏幕攻击，不仅增加了人脸活体检测的防御攻击能力也提高了人脸活体检测的精度。根据红外摄像头采集的屏幕人脸图像人脸模糊难以定位的特点，用人脸定位模型代替人脸活体检测模型进行人脸活体检测，进一步提高了人脸活体检测的精度。

本发明的应用场合：

1)手机刷脸解锁:目前几乎所有的高端手机均配备了刷脸解锁功能，而其中都会应用活体检测技术来防范假脸攻击，保护手机安全。

2)刷脸支付：支付场景对人脸识别的精度要求极高，活体检测是保障安全及识别精准度的关键。

3)远程身份认证：在银行证券、金融保险、民生社保、在线教育、汽车金融、房屋租住和共享服务等场景，有时需要用户进行远程身份验证来确认身份信息，人脸识别和活体检测是其中成熟的方案。

参见图4，本发明将以手机刷脸解锁为例详细介绍本发明的应用：

1)当人脸靠近手机屏幕时，自然光摄像头和红外摄像头同时开始启动，拍摄人脸视频，并在手机屏幕上进行显示。

2)将两个摄像头拍摄的人脸视频均传入后台的人脸活体检测模块，并选取用于人脸活体检测的图像。

3)调用两个防照片攻击的人脸活体检测模型，当两个模型都认为存在活体人脸时进入后续流程，否则认为不存在活体人脸，流程结束。

4)调用基于自然光的防屏幕攻击人脸活体检测模型和基于红外光的人脸定位模型，当人脸活体检测模型认为存在活体人脸且人脸定位成功时，进入后续流程，否则认为不存在活体人脸，流程结束。

5)将自然光摄像头采集的图像传入基于自然光的人脸定位模型进行人脸定位，若定位成功进入后续流程，否则流程结束。

6)截取人脸，用基于自然光的人脸识别模型提取特征，并与手机中用户注册时保存的特征进行比对。比对通过，手机解锁成功，否则手机解锁失败。

Claims (6)

1.一种基于多模型的人脸活体检测方法，其步骤如下：

(1)挑选训练样本并标注：分别用自然光摄像头和红外摄像头采集用于训练的活体样本和非活体样本，并对这两类样品进行标注；

(2)基于多模型的人脸活体检测模型训练：将活体样本和相应的非活体样本分别输入到全卷积网络进行深度学习训练，分别得到基于自然光的防照片攻击人脸活体检测模型、基于红外光的防照片攻击人脸活体检测模型和基于自然光的防屏幕攻击人脸活体检测模型；其中用于基于自然光的防照片攻击人脸活体检测模型训练的活体样本为自然光摄像头采集的活体人脸图像，非活体样本为自然光摄像头采集的各种打印照片，打印照片包括各种场景下的人脸照片和戴辅助用具的人脸照片；用于基于红外光的防照片攻击人脸活体检测模型训练的活体样本为红外摄像头采集的活体人脸图像，非活体样本为红外摄像头采集的各种打印照片，打印照片包括各种场景下的人脸照片和戴辅助用具的人脸照片；用于基于自然光的防屏幕攻击人脸活体检测模型训练的活体样本为自然光摄像头采集的活体人脸图像，非活体样本为自然光摄像头采集的各种屏幕人脸图像；

(3)人脸活体检测模型转换：将得到的基于自然光的防照片攻击人脸活体检测模型、基于红外光的防照片攻击人脸活体检测模型和基于自然光的防屏幕攻击人脸活体检测模型进行量化和加密；

(4)防照片攻击人脸活体检测：首先取一帧自然光摄像头采集的待检测对象的人脸图像，用基于自然光的防照片攻击人脸活体检测模型进行检测，得到图像的活体检测分数；其次取一帧红外摄像头采集的同一待检测对象的人脸图像，用基于红外光的防照片攻击人脸活体检测模型进行检测，得到图像的活体检测分数；只有当两个活体检测分数均大于某个阈值，才进入步骤(5)，否则认为该图像不存在活体人脸，结束整个流程；

(5)防屏幕攻击人脸活体检测：首先取一帧自然光摄像头采集的待检测对象的人脸图像，用基于自然光的防屏幕攻击人脸活体检测模型进行检测，得到图像的活体检测分数；其次取一帧红外摄像头采集的同一待检测对象的人脸图像，用基于红外光的人脸定位模型进行定位，得到定位结果；当活体检测分数大于某个阈值且定位到人脸，判定该图像存在活体人脸，否则不存在活体人脸。

2.根据权利要求1所述的一种基于多模型的人脸活体检测方法，其特征在于：人脸活体检测模型的训练过程包括：将标注后的相应的活体样本和非活体样本进行缩放转换成深度学习框架训练所需的数据格式，按照活体样本和非活体样本1:1的数据比率送入全卷积网络进行训练，得到相应的人脸活体检测模型。

3.根据权利要求2所述的一种基于多模型的人脸活体检测方法，其特征在于：步骤(2)中的全卷积网络包括6个卷积层和最后1个用于分类的softmax层，所述卷积层与softmax层之间采用flatten层连接。

4.根据权利要求3所述的一种基于多模型的人脸活体检测方法，其特征在于：所述全卷积网络的输入图像大小为128*128，所述卷积层中,5个卷积层采用的卷积核大小为3*3，填充方式为valid，步长为2；最后一个卷积层采用的卷积核大小为3*3，填充方式为valid，步长为1。

5.根据权利要求4所述的一种基于多模型的人脸活体检测方法，其特征在于：步骤(3)中对转换后的模型进行量化是将参数储存类型直接由float32变成int8。

6.根据权利要求5所述的一种基于多模型的人脸活体检测方法，其特征在于：步骤(4)、步骤(5)中的图像的活体检测分数是通过全卷积网络的softmax层计算得到的。

Images