CN109558840A - 一种特征融合的活体检测方法 - Google Patents

Abstract

本发明涉及一种特征融合的活体检测方法，属于图像处理领域。该方法深度结合了两类图像的优点，简单、有效的提高了真人人脸和照片、视频、三维面具等假体人脸的分类准确率，鲁棒性也更强。本发明充分利用了可见光图像中丰富的颜色纹理信息以及近红外图像中的反射信息，采用端到端的深度学习的方法自动全局学习、融合两类图像的特征并进行分类，方法结合了两类图像的优点，简单、有效的提高了真人人脸和假体人脸的分类准确率；能够同时识别照片、视频、三维面具的攻击，跨数据、攻击类型的鲁棒性强；无需用户交互配合，实现了无感活体检测，用户体验好。

Description

一种特征融合的活体检测方法

技术领域

本发明属于图像处理领域，涉及一种特征融合的活体检测方法

背景技术

传统的人脸识别系统不能辨别当前获取的图像中的人脸是活体人脸还是假体人脸。随着人脸识别技术的广泛应用，人脸照片、人脸视频、三维面具等假体人脸攻击方式层出不穷，人脸活体检测越来越受到工业界以及学术界的关注。人脸活体检测也逐渐成为人脸识别系统中不可或缺的环节。从处理图像类型的角度看，目前常见的人脸活体检测的方法有基于可见光图像处理的方法和基于多光谱图像处理的方法。

基于可见光图像处理的方法通常从可见光图像中分析图像纹理信息、运动信息、脉搏血液生命信号、图像质量失真信息、用户配合动作等来区分真人人脸和假体人脸。纹理分析、生命信息分析的方法充分利用了图像中的颜色纹理信息，但是模型的跨数据迁移能力不佳，整体不够鲁棒。图像失真分析需要高质量的原始图像，对硬件要求较高，同时对于面具攻击的防范能力较弱。用户配合动作的方法虽然能够防住二维假体人脸，但是难以防范制作精良的面具攻击，同时用户体验感差，不能做到无感活体检测。

基于多光谱图像处理的方法利用不同材质在近红外、远红外、热红外等多个光谱下的反射信息差异区分真人人脸和假体人脸。多光谱图像处理的方法跨数据通用能力更强，但是受外界光照强度、样本拍摄距离的影响，采集的图像也在很大程度上损失了颜色纹理信息。

基于可见光图像处理的方法和基于多光谱图像处理的方法各有长短，可相互补充，因此综合利用可见光图像和多光谱图像信息的前景是可观的，能够进一步提高活体检测方法的准确率和鲁棒性。

发明内容

有鉴于此，本发明的目的在于提供一种特征融合的活体检测方法。

为达到上述目的，本发明提供如下技术方案：

一种特征融合的活体检测方法，该方法包括网络参数训练部分和模型分类预测部分；其中，网络参数训练部分是离线进行的，模型分类预测部分是实时在线进行的；

所述网络参数训练部分包括以下步骤：

S11：采集成对图像：利用双目摄像头分别采集真人、打印照片、电子设备显示的照片、视频和三维面具样本同一时刻的可见光图像和红外图像，组成活体人脸和假体人脸的可见光红外光图像对训练数据；

S12：成对图像人脸检测正规化：对图像对中的可见光图像和近红外光图像分别进行人脸检测、正规化处理，将可见光图像和近红外光图像归一化处理为144*144大小的可见光近红外光人脸图像对；同时检测出人脸的可见光图像和近红外光图像用于后续的模型训练；

S13：深度融合特征学习：利用卷积神经网络全局自动提取可见光人脸图像和近红外人脸图像对的融合特征；卷积神经网络采用2个数据层，5层卷积网络加3层全连接层的网络结构，可见光图像和近红外图像分别作为卷积神经网络的输入，数据层采用裁剪个对称翻转数据增强操作，图像统一裁剪为128×128大小；利用层连接操作或者层加和操作对可见光图像和近红外图像数据层进行数据融合，作为后续卷积层和全连接层的输入数据；后续的网络在融合的数据层上抽取融合特征；每一层卷积层和前两层全连接层后进行ReLU和批量归一化处理；第一层全连接层后使用dropout舍弃部分参数，以防过拟合的发生；

S14：训练网络模型：以Softmax Loss为损失函数，采用随机梯度下降的方法训练网络模型，得到人脸活体检测模型；

所述模型分类预测部分包括以下步骤：

S21：采集成对图像：利用双目摄像头采集待测试样本的可见光图像和红外图像对；

S22：成对图像人脸检测正规化：检测图像对中的人脸，对检测到的可见光红外光人脸图像对进行正规化处理，将可见光图像和近红外光图像归一化处理为144*144大小的可见光近红外光人脸图像对；电子设备显示的照片、视频的近红外光图像中没有人脸信息；若没有同时检测出人脸则直接判断是电子设备显示的照片、视频之类假体人脸，若同时检测出人脸，则继续后续步骤；

S23：网路特征计算：将可见光近红外光人脸图像对输入训练过程得到的人脸活体检测模型，运行模型进行计算，利用Softmax操作给出可见光红外光图像对中的人脸是活体人脸以及假体人脸的概率；

S24：真假人脸判断：首先根据验证集选取阈值，选取的阈值使得验证集的错误拒绝率和错误接受率相等；当需要对采集的成对图像进行预测时，若活体人脸的概率大于选取的阈值时，模型分类预测部分判断可见光近红外光图像对中的人脸是活体人脸。

进一步，在步骤S12中，所述人脸检测、正规化处理采用dlib进行操作。

进一步，在步骤S13中，所述网络结构参数如下：

DataVIS，输出大小为128×128×3；

DataNIR，输出大小为128×128×3；

DataFusing，输出大小为128×128×6；

Conv1，过滤器和步长为5×5×1，输出大小为96×128×128；

Pool1，过滤器和步长为2×2×2，输出大小为96×64×64；

Conv2，过滤器和步长为3×3×1，输出大小为128×64×64；

Pool2，过滤器和步长为2×2×2，输出大小为128×32×32；

Conv3，过滤器和步长为3×3×1，输出大小为192×32×32；

Pool3，过滤器和步长为2×2×2，输出大小为192×16×16；

Conv4，过滤器和步长为3×3×1，输出大小为256×16×16；

Pool4，过滤器和步长为2×2×2，输出大小为256×8×8；

Conv5，过滤器和步长为3×3×1，输出大小为384×8×8；

Pool1，过滤器和步长为2×2×2，输出大小为384×4×4；

FC1，过滤器和步长为4×4×1，输出大小为1024×1×1；

FC2，过滤器和步长为1×1×1，输出大小为512×1×1；

FC3，过滤器和步长为2，输出大小为1×1。

进一步，在步骤S13中，卷积神经网络能够替换为Alexnet或Lenet网络。

本发明的有益效果在于：

(1)充分利用了可见光图像中丰富的颜色纹理信息以及近红外图像中的反射信息，采用端到端的深度学习的方法自动全局学习、融合两类图像的特征并进行分类，方法结合了两类图像的优点，简单、有效的提高了真人人脸和假体人脸的分类准确率。

(2)能够同时识别照片、视频、三维面具的攻击，跨数据、攻击类型的鲁棒性强。

(3)无需用户交互配合，实现了无感活体检测，用户体验好。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为本发明中网络参数训练过程；

图2为本发明中模型分类预测过程。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明提出了一种全局自动融合可见光和近红外图像信息的人脸活体检测方法，该方法深度结合了两类图像的优点，简单、有效的提高了真人人脸和照片、视频、三维面具等假体人脸的分类准确率，鲁棒性也更强。

可见光图像中包含了丰富的颜色、亮度、色度分布信息，清晰的面部纹理信息等。这些信息是辨别活体人脸和假体人脸的重要线索。目前常见的假体人脸如照片、面具采用的材质和真人皮肤具有一定差异。不同材质在近红外光谱下具有不同的反射信息。这些被记录在采集的近红外图像中的反射信息也是可以作为辨别活体人脸和假体人脸的重要线索。本发明旨在自动融合利用可见光图像中的颜色纹理信息以及近红外图像中的反射信息以提高活体人脸和假体人脸的分类准确率以及鲁棒性。

本发明主要包含网络参数训练、模型分类预测两个部分。网络参数训练是离线进行的。模型分类预测是实时在线进行的。

网络参数训练部分主要实现步骤如下，如图1所示：

S11：采集成对图像：利用双目摄像头分别采集真人、打印照片、电子设备显示的照片、视频、三维面具样本同一时刻的可见光图像和红外图像，组成活体人脸和假体人脸的可见光红外光图像对训练数据。

S12：成对图像人脸检测正规化：对图像对中的可见光图像和近红外光图像分别进行人脸检测、正规化处理，将可见光图像和近红外光图像归一化处理为144*144大小的可见光近红外光人脸图像对。人脸检测、正规化处理可以采用dlib进行操作，亦可采用其他业内常用方法。同时检测出人脸的可见光图像和近红外光图像用于后续的模型训练。

S13：深度融合特征学习：利用卷积神经网络全局自动提取可见光人脸图像和近红外人脸图像对的融合特征。卷积神经网络可采用2个数据层，5层卷积网络加3层全连接层的网络结构，网络参数如表1所示。可见光图像和近红外图像分别作为卷积神经网络的输入，数据层采用裁剪、对称翻转等数据增强操作，图像统一裁剪为128×128大小。利用层连接操作或者层加和操作对可见光图像和近红外图像数据层进行数据融合，作为后续卷积层和全连接层的输入数据。后续的网络在融合的数据层上抽取融合特征。每一层卷积层和前两层全连接层后进行ReLU和批量归一化处理。第一层全连接层后使用dropout舍弃部分参数，以防过拟合的发生。卷积神经网络的结构亦可采用其他的网络结构。

表1网络结构示例

S14：训练网络模型：以Softmax Loss为损失函数，采用随机梯度下降的方法训练网络模型，得到人脸活体检测模型。

模型分类预测部分主要实现步骤如下，如图2所示：

S21：采集成对图像：利用双目摄像头采集待测试样本的可见光图像和红外图像对

S22：成对图像人脸检测正规化：检测图像对中的人脸，对检测到的可见光红外光人脸图像对进行正规化处理，将可见光图像和近红外光图像归一化处理为144*144大小的可见光近红外光人脸图像对。电子设备显示的照片、视频的近红外光图像中没有人脸信息。若没有同时检测出人脸则直接判断是电子设备显示的照片、视频之类假体人脸，若同时检测出人脸，则继续后续步骤。

S23：网路特征计算：将可见光近红外光人脸图像对输入训练过程得到的人脸活体检测模型，运行模型进行计算，利用Softmax操作给出可见光红外光图像对中的人脸是活体人脸以及假体人脸的概率。

S24：真假人脸判断：首先根据验证集选取阈值，选取的阈值使得验证集的错误拒绝率和错误接受率相等。当需要对采集的成对图像进行预测时，若活体人脸的概率大于选取的阈值时，模型分类预测部分判断可见光近红外光图像对中的人脸是活体人脸。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (4)

1.一种特征融合的活体检测方法，其特征在于：该方法包括网络参数训练部分和模型分类预测部分；其中，网络参数训练部分是离线进行的，模型分类预测部分是实时在线进行的；

所述网络参数训练部分包括以下步骤：

S11：采集成对图像：利用双目摄像头分别采集真人、打印照片、电子设备显示的照片、视频和三维面具样本同一时刻的可见光图像和红外图像，组成活体人脸和假体人脸的可见光红外光图像对训练数据；

S12：成对图像人脸检测正规化：对图像对中的可见光图像和近红外光图像分别进行人脸检测、正规化处理，将可见光图像和近红外光图像归一化处理为144*144大小的可见光近红外光人脸图像对；同时检测出人脸的可见光图像和近红外光图像用于后续的模型训练；

S13：深度融合特征学习：利用卷积神经网络全局自动提取可见光人脸图像和近红外人脸图像对的融合特征；卷积神经网络采用2个数据层，5层卷积网络加3层全连接层的网络结构，可见光图像和近红外图像分别作为卷积神经网络的输入，数据层采用裁剪个对称翻转数据增强操作，图像统一裁剪为128×128大小；利用层连接操作或者层加和操作对可见光图像和近红外图像数据层进行数据融合，作为后续卷积层和全连接层的输入数据；后续的网络在融合的数据层上抽取融合特征；每一层卷积层和前两层全连接层后进行ReLU和批量归一化处理；第一层全连接层后使用dropout舍弃部分参数，以防过拟合的发生；

S14：训练网络模型：以Softmax Loss为损失函数，采用随机梯度下降的方法训练网络模型，得到人脸活体检测模型；

所述模型分类预测部分包括以下步骤：

S21：采集成对图像：利用双目摄像头采集待测试样本的可见光图像和红外图像对；

S22：成对图像人脸检测正规化：检测图像对中的人脸，对检测到的可见光红外光人脸图像对进行正规化处理，将可见光图像和近红外光图像归一化处理为144*144大小的可见光近红外光人脸图像对；电子设备显示的照片、视频的近红外光图像中没有人脸信息；若没有同时检测出人脸则直接判断是电子设备显示的照片、视频之类假体人脸，若同时检测出人脸，则继续后续步骤；

S23：网路特征计算：将可见光近红外光人脸图像对输入训练过程得到的人脸活体检测模型，运行模型进行计算，利用Softmax操作给出可见光红外光图像对中的人脸是活体人脸以及假体人脸的概率；

S24：真假人脸判断：首先根据验证集选取阈值，选取的阈值使得验证集的错误拒绝率和错误接受率相等；当需要对采集的成对图像进行预测时，若活体人脸的概率大于选取的阈值时，模型分类预测部分判断可见光近红外光图像对中的人脸是活体人脸。

2.根据权利要求1所述的一种特征融合的活体检测方法，其特征在于：在步骤S12中，所述人脸检测、正规化处理采用dlib进行操作。

3.根据权利要求1所述的一种特征融合的活体检测方法，其特征在于：在步骤S13中，所述网络结构参数如下：

DataVIS，输出大小为128×128×3；

DataNIR，输出大小为128×128×3；

DataFusing，输出大小为128×128×6；

Conv1，过滤器和步长为5×5×1，输出大小为96×128×128；

Pool1，过滤器和步长为2×2×2，输出大小为96×64×64；

Conv2，过滤器和步长为3×3×1，输出大小为128×64×64；

Pool2，过滤器和步长为2×2×2，输出大小为128×32×32；

Conv3，过滤器和步长为3×3×1，输出大小为192×32×32；

Pool3，过滤器和步长为2×2×2，输出大小为192×16×16；

Conv4，过滤器和步长为3×3×1，输出大小为256×16×16；

Pool4，过滤器和步长为2×2×2，输出大小为256×8×8；

Conv5，过滤器和步长为3×3×1，输出大小为384×8×8；

Pool1，过滤器和步长为2×2×2，输出大小为384×4×4；

FC1，过滤器和步长为4×4×1，输出大小为1024×1×1；

FC2，过滤器和步长为1×1×1，输出大小为512×1×1；

FC3，过滤器和步长为2，输出大小为1×1。

4.根据权利要求1所述的一种特征融合的活体检测方法，其特征在于：在步骤S13中，卷积神经网络能够替换为Alexnet或Lenet网络。