CN110443192A - 一种基于双目图像的非交互式人脸活体检测方法及系统 - Google Patents

Abstract

本发明提供一种基于双目图像的非交互式人脸活体检测方法，包括有同时采集可见光图像信息和红外光图像信息；检测可见光图像信息中的人脸图像和红外光图像信息中的人脸图像；根据检测到的人脸图像计算多维度子模型的输出概率；并与各自对应的预设权重值进行加权融合，计算检测到的人脸图像被判定为活体人脸的实际概率，根据实际概率判断检测到的人脸图像是否为活体人脸。本发明有机结合了可见光和红外光人脸图像中不同的成像特征，使得对于真假人脸的判别更加准确；本发明通过在多个特征维度的学习，对多条检测支路的时序判别结果进行了加权融合，使得人脸识别系统对于照片、视频、面具等常见欺骗攻击手段的抗性更高，检测结果也更加可靠稳定。

Description

一种基于双目图像的非交互式人脸活体检测方法及系统

技术领域

本发明涉及图像识别技术领域，特别是涉及一种基于双目图像的非交互式人脸活体检测方法及系统。

背景技术

为防止恶意入侵者窃取或伪造他人的生物特征用于身份认证，生物识别系统需要具备活体检测功能，即判断所提交的生物特征是否来自有生命的真实个体。

人脸活体检测即是在人脸检测的基础上，辨别当前所获取图像中的人脸是活体人脸(有生命的真实人脸)还是假体人脸(冒充真人身份的仿造人脸)，以达到防止不法分子冒用合法用户人脸信息的目的。

智能手机和3D打印技术的发展使得人们能够越来越容易地获取合法用户的照片、视频、面具等。因此，对于人脸身份认证系统而言，尤其是在一些无人值守的应用场景下，活体检测模块成为了不可或缺的一部分。

现今较多的人脸活体检测算法集中在图像纹理分析、运动信息分析、交互式辨别等方面，然而由于攻击方式的多样性以及成像环境的差异性，给传统的活检测方法带来了巨大的挑战。常见的交互式人脸活体检测方法一般用时较长，且需要用户进行配合并完成指定动作。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于双目图像的非交互式人脸活体检测方法及系统，用于解决现有技术中活体人脸检测的问题。

为实现上述目的及其他相关目的，本发明提供一种基于双目图像的非交互式人脸活体检测方法，包括以下步骤：

采集图像信息，所述图像信息包括同时采集的可见光图像信息和红外光图像信息；

对所述图像信息进行预处理，所述预处理至少包括对所述图像信息进行人脸检测，获取含有人脸的图像；并通过对比其对应的可见光图像信息和红外光图像信息，对所述含有人脸的图像进行初步活体检测，获取初步活体检测结果；

建立多维度活体检测模型，所述多维度活体检测模型包括用于根据图像类别特征进行活体检测的第一子模型、用于根据图像指定区域特征进行活体检测的第二子模型，以及用于根据图像像素点特征进行活体检测的第三子模型；

将所述初步活体检测结果中判定为活体的检测结果分别输入至各子模型中，分别获取各子模型的输出结果；

对所述各子模型的输出结果进行加权融合，获取非交互式人脸活体检测结果。

可选地，对同时采集的可见光图像信息和红外光图像信息进行预处理，包括：

检测可见光图像信息和红外光图像信息中是否分别包含有人脸图像，若是，则检测到包含有活体人脸的图像信息；反之，未检测到包含有活体人脸的图像信息，则重新采集可见光图像信息和红外光图像信息；

以及，

若检测到含有活体人脸的图像信息，则分别选取其中可见光图像信息与红外光图像信息中包含像素点数最多的人脸边界区域，计算可见光人脸边界区域和红外光人脸边界区域的交并比值；

预设一阈值，判断交并比值与所述阈值的数值关系，输出判断结果；根据判断结果重新采集图像信息，或者根据判断结果截取可见光图像信息与红外光图像信息中的人脸图像，并对截取后的人脸图像进行关键点检测，根据关键点检测结果分别对截取后的人脸图像进行人脸对齐。

可选地，将所述初步活体检测结果中判定为活体的检测结果输入至第一子模型中，获取第一子模型的输出结果；包括有：

分别输入对齐后的可见光图像信息和红外光图像信息；

对可见光图像信息和红外光图像信息进行卷积；

对卷积结果进行叠加和融合，输出叠加和融合的结果；

获取叠加和融合的结果，通过归一化指数函数计算后输出第一子模型的结果。

可选地，将所述初步活体检测结果中判定为活体的检测结果输入至第二子模型中，获取第二子模型的输出结果；包括有：

截取对齐后的可见光图像信息中人脸图像的指定区域，输入至第二子模型；

对输入的指定区域进行卷积；

提取卷积后指定区域的特征，对指定区域具有时序信息的特征进行记忆学习，输出记忆学习结果；

获取记忆学习结果，通过归一化指数函数计算对齐后的可见光图像信息中人脸图像的睁眼概率；

计算某一时间段内睁眼概率最大值与最小值的绝对差值，根据所述绝对差值输出第二子模型的结果。

可选地，将所述初步活体检测结果中判定为活体的检测结果输入至第三子模型中，获取第三子模型的输出结果；包括有：

将对齐后的可见光图像中的人脸图像输入至第三子模型；

对对齐后的可见光图像中的人脸图像进行颜色空间转换；

根据转换后颜色空间中所有色度分量通道各自预设的阈值范围，统计对齐后可见光图像中的人脸图像中满足预设条件的像素点数量占对齐后的可见光图像中人脸图像总像素点的比例；

通过所述比例计算出对应的人脸肤色分数，根据所述人脸肤色分数计算后输出第三子模型的结果。

可选地，可见光人脸边界区域和红外光人脸边界区域的交并比值IoU_AB的计算包括有：

式中，A表示可见光人脸边界区域，B表示红外光人脸边界区域，A∩B表示可见光人脸边界区域与红外光人脸边界区域的交集，A∪B表示可见光人脸边界区域与红外光人脸边界区域的并集，S_A表示可见光人脸边界区域的面积，S_B表示红外光人脸边界区域的面积，S_A∩B表示可见光人脸边界区域与红外光人脸边界区域相重叠部分的面积，S_A∪B表示可见光人脸边界区域与红外光人脸边界区域合并区域的总面积。

可选地，对所述各子模型的输出结果进行加权融合，获取非交互式人脸活体检测结果，包括有：

根据所有子模型的输出结果进行加权融合，获取非交互式人脸活体检测的实际概率P；

P＝ω₁P₁+ω₂P₂+ω₃P₃；

式中，P为所有子模型进行加权融合得到的实际概率，ω₁为第一子模型的预设权重值，ω₂为第二子模型的预设权重值，ω₃为第三子模型的预设权重值；P₁为第一子模型的输出概率，P₂为第二子模型的输出概率，P₃为第三子模型的输出概率；

还包括有，预设一假体人脸阈值和一活体人脸阈值，

若所述实际概率P大于等于所述活体人脸阈值，则判定为活体人脸；

若所述实际概率P小于等于所述假体人脸阈值，则判定为假体人脸；

若所述实际概率P大于所述假体人脸阈值，且小于所述活体人脸阈值，则重新采集彼此成对地可见光图像和红外光图像。

本发明还提供一种基于双目图像的非交互式人脸活体检测系统，包括有：

图像采集模块，用于采集图像信息；所述图像信息包括同时采集的可见光图像信息和红外光图像信息；

预处理模块，用于对所述图像信息进行预处理；所述预处理至少包括对所述图像信息进行人脸检测，获取含有人脸的图像；并通过对比其对应的可见光图像信息和红外光图像信息，对所述含有人脸的图像进行初步活体检测，输出初步活体检测结果；

多维度活体检测模块，包括有用于根据图像类别特征进行活体检测的第一子模型、用于根据图像指定区域特征进行活体检测的第二子模型，以及用于根据图像像素点特征进行活体检测的第三子模型；将所述初步活体检测结果中判定为活体的检测结果分别输入至各子模型中，分别获取各子模型的输出结果；

活体人脸判断模块，对所述各子模型的输出结果进行加权融合，获取非交互式人脸活体检测结果。

可选地，所述预处理模块对所述图像信息进行预处理包括有：

检测可见光图像信息和红外光图像信息中是否分别包含有人脸图像，若是，则检测到包含有活体人脸的图像信息；反之，未检测到包含有活体人脸的图像信息，则重新采集可见光图像信息和红外光图像信息；

以及，

若检测到含有活体人脸的图像信息，则分别选取其中可见光图像信息与红外光图像信息中包含像素点数最多的人脸边界区域，计算可见光人脸边界区域和红外光人脸边界区域的交并比值；

预设一阈值，判断交并比值与所述阈值的数值关系，输出判断结果；根据判断结果重新采集图像信息，或者根据判断结果截取可见光图像信息与红外光图像信息中的人脸图像，并对截取后的人脸图像进行关键点检测，根据关键点检测结果分别对截取后的人脸图像进行人脸对齐。

可选地，所述活体人脸判断模块对多维度活体检测模块输出的再次活体检测结果进行加权融合后，获得一实际概率；

所述活体人脸判断模块还设置有一比较单元，所述比较单元预设一假体人脸阈值和一活体人脸阈值；

若所述实际概率大于等于所述活体人脸阈值，则判定为活体人脸；

若所述实际概率小于等于所述假体人脸阈值，则判定为假体人脸；

若所述实际概率大于所述假体人脸阈值，且小于所述活体人脸阈值，则重新采集彼此成对地可见光图像和红外光图像。

如上所述，本发明的一种基于双目图像的非交互式活体检测方法及系统，具有以下有益效果：本发明有机结合了可见光和红外光人脸图像中不同的成像特征，使得对于真假人脸的判别更加准确，且能够拒绝几乎所有的电子显示屏攻击，大大提升了系统鲁棒性；本发明通过在多个特征维度的学习，对多条检测支路的时序判别结果进行了加权融合，使得人脸识别系统对于照片、视频、面具等常见欺骗攻击手段的抗性更高，检测结果也更加可靠稳定。

附图说明

图1为基于双目图像的非交互式人脸活体检测方法的流程示意图。

图2为第一子模型的结构示意图。

图3为第二子模型的结构示意图。

图4为第三子模型选择人眼区域时的示意图。

元件标号说明

Conv 卷积层

Pool 池化层

Concat 数据拼接层

FC 全连接层

GRU 门控循环单元

BN 批量归一化层

Drop 随机失活层

RGB 颜色空间

YCbCr 颜色空间

Y 亮度分量

Cb 蓝色色度分量

Cr 红色色度分量

c 睁眼概率

c′ 闭眼概率

IoU 交并比

IoU_AB 可见光人脸边界区域与红外光人脸边界区域的交并比

A 可见光人脸边界区域

B 红外光人脸边界区域

A∩B 可见光人脸边界区域与红外光人脸边界区域的交集

A∪B 可见光人脸边界区域与红外光人脸边界区域的并集

S_A 可见光人脸边界区域的面积

S_B 红外光人脸边界区域的面积

S_A∩B 可见光人脸边界区域与红外光人脸边界区域相重叠部分的面积

S_A∪B 可见光人脸边界区域与红外光人脸边界区域合并区域的总面积

P 所有子模型进行加权融合得到的实际概率

ω₁ 第一子模型的预设权重值

ω₂ 第二子模型的预设权重值

ω₃ 第三子模型的预设权重值

P₁ 第一子模型的输出概率

P₂ 第二子模型的输出概率

P₃ 第三子模型的输出概率

P_真′ 真脸概率

P_假 假脸概率

W 对齐后的可见光图像中的人脸图像的像素点宽度

H 对齐后的可见光图像中的人脸图像的像素点高度

α 预设比例阈值

N 对齐后的可见光图像中满足Cb通道与Cr通道阈值条件的像

素点个数

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

IoU(Intersection over Union)是一种常见的用于衡量目标定位精度的指标，是一种简单而有效的测量标准，可以理解为两个边界区域之间的重叠度。IoU可以用于衡量任意大小形状的目标检测，其值表示真实目标和预测目标之间的相关度，相关度越高，该值也越高。

实施例1，请参阅图1，本实施例提供一种基于双目图像的非交互式人脸活体检测方法，包括如下步骤：

S1.在同一时刻通过双目摄像头，同时采集可见光图像信息和红外光图像信息，其中，同时采集的可见光图像信息与红外光图像信息相互之间彼此成对；作为示例，本实施例中的红外光图像例如可以设置为近红外图像、中红外图像以及远红外图像中的一种或多种。

S2.对图像信息进行预处理，预处理至少包括对图像信息进行人脸检测，获取含有人脸的图像；并通过对比其对应的可见光图像信息和红外光图像信息，对含有人脸的图像进行初步活体检测，获取初步活体检测结果；

S3.建立多维度活体检测模型，多维度活体检测模型包括用于根据图像类别特征进行活体概率检测的第一子模型、用于根据图像指定区域特征进行活体概率检测的第二子模型，以及用于根据图像像素点特征进行活体概率检测的第三子模型；

S4.将初步活体检测结果中判定为活体的检测结果分别输入至各子模型中，分别获取各子模型的输出概率；

S5.对各子模型的输出概率进行加权融合，计算得到非交互式人脸活体检测的实际概率P；根据实际概率P判断非交互式人脸活体检测结果。

步骤S2中对采集的用于进行活体人脸判断的可见光图像信息和红外光图像信息进行预处理，具体包括有：

在可见光图像和红外光图像中是否分别检测有人脸图像；若是，则检测到人脸图像；反之，未检测到人脸图像，则返回步骤S1，重新采集彼此成对地可见光图像信息和红外光图像信息。

在本实施例的一个例子中，具体的检测过程如下：

S21.对步骤S1中采集的可见光图像信息进行检测，若在可见光图像信息中未检测到人脸图像信息，则返回步骤S1，重新采集可见光图像信息和红外光图像信息。

S22.若在可见光图像信息中检测到人脸，则对步骤S1中采集的红外光图像信息进行检测。若在红外光图像信息中未检测到人脸图像，则判定为假体人脸，并返回步骤S1；

S23.在可见光图像信息和红外光图像信息中均检测到人脸图像，则进入步骤S24。

S24.若检测到人脸图像，则分别选取可见光图像与红外光图像中包含像素点数最多的人脸边界区域，计算可见光人脸边界区域和红外光人脸边界区域的交并比值(IoU值)。其中，IoU是一种常见的用于衡量目标定位精度的指标，是一种简单而有效的测量标准，可以理解为两个边界区域之间的重叠度。IoU可以用于衡量任意大小形状的目标检测，其值表示真实目标和预测目标之间的相关度，相关度越高，该值也越高。

S25.预设一阈值，若IoU值小于阈值，则重新采集彼此成对地可见光图像和红外光图像；若IoU值大于阈值，则截取可见光人脸边界区域和红外光人脸边界区域中的人脸图像，并对截取后的人脸图像中的人脸进行关键点检测，根据关键点检测结果分别对可见光图像和红外光图像中的人脸图像进行人脸对齐，并缩放到一个固定的像素尺寸大小。其中，像素尺寸大小可以根据实际情况进行灵活设定，例如：水平像素设置为96，垂直像素设置为96。由于双目摄像头可能存在的固定视差，IoU阈值可以根据实际情况进行灵活设定，例如：IoU阈值设置为0.5。

作为示例，在本实施例的一个例子中，步骤S24中可见光人脸边界区域和红外光人脸边界区域的交并比值IoU_AB的计算方式如下：

其中，A表示可见光人脸边界区域，B表示红外光人脸边界区域，A∩B表示可见光人脸边界区域与红外光人脸边界区域的交集，A∪B表示可见光人脸边界区域与红外光人脸边界区域的并集，S_A表示可见光人脸边界区域的面积，S_B表示红外光人脸边界区域的面积，S_A∩B表示可见光人脸边界区域与红外光人脸边界区域相重叠部分的面积，S_A∪B表示可见光人脸边界区域与红外光人脸边界区域合并区域的总面积。

如图2所示，第一子模型包括有两个以上第一输入通道；第一输入通道的个数可以根据实际情况进行灵活设定，例如：第一输入通道设置为2个。其中，每个输入通道的像素尺寸大小可以根据实际情况进行灵活设定，例如：水平像素可以设置为96，垂直像素可以设置为96。

步骤S4中将初步活体检测结果中判定为活体的检测结果输入至第一子模型中，获取第一子模型的输出概率，具体包括有：

S401.将步骤S25中对齐后的可见光图像信息和红外光图像信息输入至两个第一输入通道中；

S402.第一输入通道中的卷积层对输入的对齐后的可见光图像信息和红外光图像信息进行卷积；

S403.第一子模型中的数据拼接层对完成卷积的两个第一输入通道进行叠加和融合；

S404.根据叠加和融合后的结果，通过归一化指数函数计算第一子模型的输出概率。

作为示例，在本实施例的一个例子中，图像类别特征的区分例如可以设置为真人与假体攻击，其中假体攻击包括但不限于：照片、视频和面具。第一子模型以步骤S25对齐后的可见光人脸与红外光人脸作为输入，学习多层次的图像特征信息，以增大真人和假体攻击之间的分类距离，从而使第一子模型能够对真人与照片、视频和面具等进行初步判断，即对活体人脸和假体人脸进行初步判断。

每个输入通道后分别连接5层卷积层Conv，每层卷积网络中的卷积核大小、步长、通道数量、池化核大小、步长、全连接层维度、激活函数等参数可以根据具体实际进行调整。卷积神经网络例如包括有Lenet、Alexnet或VGG16等预训练网络结构。在每一卷积层后加入批量归一化层(Batch Normalization，BN)用以执行批归一化操作，每一卷积层后均连接有一层池化层Pool。2个输入通道完成所有卷积操作后连接到同一个数据拼接层Concat，以通道叠加的方式对2个输入通道所提取出的卷积特征进行融合，再将融合特征输入到三层全连接层FC。在第二层全连接层后可加入随机失活层(Dropout，Drop)用以缓解过拟合，作为示例，其系数例如可设置为0.5。最后一层全连接层输出维度为2，分别表示类别中的真脸与假脸，最后通过归一化指数函数Softmax计算第一子模型的输出概率。

Softmax函数，又称归一化指数函数，能够将一个含任意实数的K维向量z压缩到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1，具体根据下式进行计算：

具体地，记最后一层全连接层的真脸输出为z_真，假脸输出为z_假，则根据归一化指数函数Softmax的计算公式，得出真脸概率为假脸概率为将所计算出的真脸概率P_真设置为第一子模型的输出概率P₁，即P_真＝P₁。

如图3和图4所示，第二子模型包括有至少一个第二输入通道；第二输入通道的个数可以根据实际情况进行灵活设定，例如：第二输入通道设置为1个。

步骤S4中将初步活体检测结果中判定为活体的检测结果输入至第二子模型中，获取第二子模型的输出概率；具体包括有：

S411.截取步骤S25对齐后的可见光图像中人脸图像中人脸的眼部区域，并输入至第二输入通道中；

S412.第二输入通道中的卷积层对输入的眼部区域进行卷积；

S413.第二子模型中的全连接层提取卷积后的眼部区域特征，并输入至门控循环单元中，门控循环单元对具有时序信息的眼部区域特征进行记忆学习；

S414.根据记忆学习结果，通过归一化指数函数计算对齐后的可见光图像中人脸图像的睁眼概率；

S415.将睁眼概率存储至与第二子模型连接的缓存单元中，并计算缓存单元中睁眼概率最大值与最小值的绝对差值；根据绝对差值计算第二子模型的输出概率。

作为示例，在本实施例的一个例子中，图像指定区域例如可以设置为人眼区域、耳朵区域、嘴巴区域和鼻子区域等，本实施例选择人眼区域。第二子模型以从对齐后的可见光人脸图像中截取的人眼区域图像为输入，是基于卷积神经网络与循环神经网络所训练的分类器，能够判断连续的多帧可见光图像中是否存在眨眼特征。如图4所示，人眼区域需要包含且仅需要包含人眼部的六个关键点，在对齐人脸区域的固定坐标位置(左眼或右眼)截取即可。作为示例，本实施例中例如可以固定使用左眼，且人眼区域图像的像素尺寸缩放大小可以根据实际情况进行灵活设定，例如设置为64×64。

其中，第二子模型包含一个输入通道，数据输入层后连接3层卷积层Conv，且每一层卷积层Conv后均连接有一层池化层Pool，完成所有卷积操作后连接到一层全连接层FC，以提取出固定长度的眼部区域特征，输入到门控循环单元(Gate Recurrent Unit,GRU)中对具有时序信息的眼部区域特征进行记忆学习，而后连接到一层全连接层FC中，该全连接层输出维度为2，分别表示所输入眼部区域的睁眼状态与闭眼状态，最后第二子模型通过归一化指数函数Softmax计算出当前人眼区域图像被判定为睁眼的概率。

Softmax函数，又称归一化指数函数，能够将一个含任意实数的K维向量z压缩到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1，具体根据下式进行计算：

具体地，记最后一层全连接层的睁眼状态输出为z_睁，闭眼状态输出为z_闭，则根据归一化指数函数Softmax的计算公式，得出睁眼概率为闭眼概率为这里将所计算出的睁眼概率记为当前人眼区域图像被判定为睁眼的概率。

第二子模型末端连接有一个缓存单元，缓存单元用于存储某一时间段内所有睁眼概率的输出。每当第二子模型输出一次睁眼概率结果时，便更新时间窗口缓存，并输出当前缓存中某一时间段内最大睁眼概率值与最小睁眼概率值之间的绝对差值，根据绝对差值计算第二子模型的输出概率。其中，某一时间段可以根据实际情况进行灵活设定，例如：可以设置为包括当前时刻在内的过去连续10帧长度的时间。

缓冲单元内设置有一个用于接收睁眼概率输入的缓存队列，每接收到一次睁眼概率的输入时，通过输出缓冲队列或者输入缓冲队列进行更新。具体地，时间距离最近的一次睁眼概率从缓冲队列的起始位置输入至缓冲队列中，同时时间距离最远的一次睁眼概率从缓冲队列终点位置中输出，且每次更新后缓冲队列的长度不变。并根据下式计算第二子模型的输出概率P₂：

式中，c为一时间段内某一帧的睁眼概率，本实施例中c为连续10帧时间段内单帧的睁眼概率。

作为示例，在本实施例的一个例子中，步骤S4中将所述初步活体检测结果中判定为活体的检测结果输入至第三子模型中，获取第三子模型的输出概率；包括有：

S421.将步骤S25对齐后的可见光图像中的人脸图像输入至第三子模型；

S422.对对齐后的可见光图像中的人脸图像进行颜色空间转换；

S423.根据转换后颜色空间中所有色度分量通道各自预设的阈值范围，统计对齐后可见光图像中的人脸图像中满足预设条件的像素点数量占对齐后的可见光图像中人脸图像总像素点的比例；

S424.通过比例计算出对应的人脸肤色分数，根据人脸肤色分数计算第三子模型的输出概率。

作为示例，在本实施例的一个例子中，以对齐后的可见光人脸图像作为第三子模型的输入，首先将可见光人脸图像从默认的RGB颜色空间转换到YCbCr颜色空间，而后根据蓝色色度分量Cb通道与红色色度分量Cr通道分别设置的阈值范围，统计可见光人脸图像中满足预设条件的像素点数量占所有像素点总数量的比例，最后根据比例阈值公式计算出对应的人脸肤色分数，从而得到第三子模型的输出概率。本实施例中，第三子模型根据图像像素点的特征来判断人脸图像中的肤色。

其中，根据比例阈值公式计算出对应的人脸肤色分数，从而得到第三子模型的输出概率P₃有：

式中，W为对齐后的可见光图像中的人脸图像的像素点宽度，H为对齐后的可见光图像中的人脸图像的像素点高度，α为预设比例阈值，N表示对齐后的可见光人脸图像中同时满足Cb通道与Cr通道阈值条件的像素点个数；

作为示例，本实施例中蓝色色度分量Cr通道最小阈值例如可以设定为130，最大阈值例如可以设定为180。红色色度分量Cb通道最小阈值例如可以设定为80，最大阈值例如可以设定为130；预设比例阈值α例如可以设定为0.6。

步骤S5中，根据所有子模型的输出结果进行加权融合，获取非交互式人脸活体检测的实际概率P；

P＝ω₁P₁+ω₂P₂+ω₃P₃；

式中，P为所有子模型进行加权融合得到的实际概率，ω₁为第一子模型的预设权重值，ω₂为第二子模型的预设权重值，ω₃为第三子模型的预设权重值；P₁为第一子模型的输出概率，P₂为第二子模型的输出概率，P₃为第三子模型的输出概率；ω₁+ω₂+ω₃＝1。

作为示例，本实施例中的ω₁例如可以设定为0.5，ω₂例如可以设定为0.3，ω₃例如可以设定为0.2。

在本实施例的一个例子中，还包括有预设一假体人脸阈值和一活体人脸阈值，

若实际概率P大于等于活体人脸阈值，则判定为活体人脸；

若实际概率P小于等于假体人脸阈值，则判定为假体人脸；

若实际概率P大于假体人脸阈值，且小于活体人脸阈值，则重新采集彼此成对地可见光图像和红外光图像。

作为示例，本实施例中用于判定的假体人脸阈值例如可以设定为0.4，活体人脸阈值例如可以设定为0.6。

综上所述，本发明提出一种基于双目图像的非交互式人脸活体检测方法，有机结合了可见光和红外光人脸图像中不同的成像特征，使得人脸识别系统对于真假人脸的判别更加准确，且能够拒绝几乎所有的电子显示屏攻击，大大提升了系统鲁棒性；还克服了传统交互式活体检测方法的诸多不足，不需要用户刻意进行配合并完成指定动作，识别效率更高，同时用户体验也更加友好；同时通过在多个特征维度的学习，对多条检测支路的时序判别结果进行了加权融合，使得人脸识别系统对于照片、视频、面具等常见欺骗攻击手段的抗性更高，检测结果也更加可靠稳定。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

实施例2，如图2至图4所示，本发明还提供一种基于双目图像的非交互式活体检测系统，包括有：

图像采集模块，用于采集图像信息；所述图像信息包括同时采集的可见光图像信息和红外光图像信息；

预处理模块，用于对所述图像信息进行预处理；所述预处理至少包括对所述图像信息进行人脸检测，获取含有人脸的图像；并通过对比其对应的可见光图像信息和红外光图像信息，对所述含有人脸的图像进行初步活体检测，输出初步活体检测结果；

多维度活体检测模块，包括有用于根据图像类别特征进行活体检测的第一子模型、用于根据图像指定区域特征进行活体检测的第二子模型，以及用于根据图像像素点特征进行活体检测的第三子模型；将所述初步活体检测结果中判定为活体的检测结果分别输入至各子模型中，分别获取各子模型的输出结果；

活体人脸判断模块，对所述各子模型的输出结果进行加权融合，获取非交互式人脸活体检测结果。

作为示例，在本实施例的一个例子中，人脸图像检测模块检测可见光图像中的人脸图像和红外光图像中的人脸图像具体包括有：

在可见光图像和红外光图像中是否分别检测有人脸图像，若是，则检测到人脸图像；反之，未检测到人脸图像，则返回图像采集模块，重新采集彼此成对地可见光图像和红外光图像。

在本实施例的一个例子中，具体的检测过程如下：

S021.对图像采集模块采集的可见光图像信息进行检测，若在可见光图像信息中未检测到人脸图像，则重新采集可见光图像和红外光图像。

S022.若在可见光图像信息中检测到人脸，则对图像采集模块中采集的红外光图像信息进行检测。若在红外光图像信息中未检测到人脸图像，则判定为假体人脸，并重新采集可见光图像信息和红外光图像信息；

S023.在可见光图像信息和红外光图像信息中均检测到人脸图像，则进入步骤S024。

S024.若检测到人脸图像，则分别选取可见光图像与红外光图像中包含像素点数最多的人脸边界区域，计算可见光人脸边界区域和红外光人脸边界区域的交并比值(IoU值)。其中，IoU是一种常见的用于衡量目标定位精度的指标，是一种简单而有效的测量标准，可以理解为两个边界区域之间的重叠度。IoU可以用于衡量任意大小形状的目标检测，其值表示真实目标和预测目标之间的相关度，相关度越高，该值也越高。

S025.预设一阈值，若IoU值小于阈值，则重新采集彼此成对地可见光图像和红外光图像；若IoU值大于阈值，则截取可见光人脸边界区域和红外光人脸边界区域中的人脸图像，并对截取后的人脸图像中的人脸进行关键点检测，根据关键点检测结果分别对可见光图像和红外光图像中的人脸图像进行人脸对齐，并缩放到一个固定的像素尺寸大小。其中，像素尺寸大小可以根据实际情况进行灵活设定，例如：水平像素设置为96，垂直像素设置为96。由于双目摄像头可能存在的固定视差，IoU阈值可以根据实际情况进行灵活设定，例如：IoU阈值设置为0.5。

作为示例，在本实施例的一个例子中，步骤S024中可见光人脸边界区域和红外光人脸边界区域的交并比值IoU_AB的计算方式如下：

其中，A表示可见光人脸边界区域，B表示红外光人脸边界区域，A∪B表示可见光人脸边界区域与红外光人脸边界区域的交集，A∪B表示可见光人脸边界区域与红外光人脸边界区域的并集，S_A表示可见光人脸边界区域的面积，S_B表示红外光人脸边界区域的面积，S_A∩B表示可见光人脸边界区域与红外光人脸边界区域相重叠部分的面积，S_A∪B表示可见光人脸边界区域与红外光人脸边界区域合并区域的总面积。

如图2所示，第一子模型包括有两个以上第一输入通道；第一输入通道的个数可以根据实际情况进行灵活设定，例如：第一输入通道设置为2个。其中，每个输入通道的像素尺寸大小可以根据实际情况进行灵活设定，例如：水平像素可以设置为96，垂直像素可以设置为96。

多维度活体检测模块中将初步活体检测结果中判定为活体的检测结果输入至第一子模型中，获取第一子模型的输出概率，具体包括有：

S0401.将步骤S025中对齐后的可见光图像信息和红外光图像信息输入至两个第一输入通道中；

S0402.第一输入通道中的卷积层对输入的对齐后的可见光图像信息和红外光图像信息进行卷积；

S0403.第一子模型中的数据拼接层对完成卷积的两个第一输入通道进行叠加和融合；

S0404.根据叠加和融合后的结果，通过归一化指数函数计算第一子模型的输出概率。

作为示例，在本实施例的一个例子中，图像类别特征的区分例如可以设置为真人与假体攻击，其中假体攻击包括但不限于：照片、视频和面积。第一子模型以步骤S025对齐后的可见光人脸与红外光人脸作为输入，学习多层次的图像特征信息，以增大真人和假体攻击之间的分类距离，从而使第一子模型能够对真人与照片、视频和面具等进行初步判断，即对活体人脸和假体人脸进行初步判断。

每个输入通道后分别连接5层卷积层Conv，每层卷积网络中的卷积核大小、步长、通道数量、池化核大小、步长、全连接层维度、激活函数等参数可以根据具体实际进行调整。卷积神经网络例如包括有Lenet、Alexnet或VGG16等预训练网络结构。在每一卷积层后加入批量归一化层(Batch Normalization，BN)用以执行批归一化操作，每一卷积层后均连接有一层池化层Pool。2个输入通道完成所有卷积操作后连接到同一个数据拼接层Concat，以通道叠加的方式对2个输入通道所提取出的卷积特征进行融合，再将融合特征输入到三层全连接层FC。在第二层全连接层后可加入随机失活层(Dropout，Drop)用以缓解过拟合，作为示例，其系数例如可设置为0.5。最后一层全连接层输出维度为2，分别表示类别中的真脸与假脸，最后通过归一化指数函数Softmax计算第一子模型的输出概率。

Softmax函数，又称归一化指数函数，能够将一个含任意实数的K维向量z压缩到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1，具体根据下式进行计算：

具体地，记最后一层全连接层的真脸输出为z_真，假脸输出为z_假，则根据归一化指数函数Softmax的计算公式，得出真脸概率为假脸概率为将所计算出的真脸概率P_真设置为第一子模型的输出概率P₁，即P_真＝P₁。

如图3和图4所示，第二子模型包括有至少一个第二输入通道；第二输入通道的个数可以根据实际情况进行灵活设定，例如：第二输入通道设置为1个。

多维度活体检测模块中将初步活体检测结果中判定为活体的检测结果输入至第二子模型中，获取第二子模型的输出概率；具体包括有：

S0411.截取步骤S025对齐后的可见光图像中人脸图像中人脸的眼部区域，并输入至第二输入通道中；

S0412.第二输入通道中的卷积层对输入的眼部区域进行卷积；

S0413.第二子模型中的全连接层提取卷积后的眼部区域特征，并输入至门控循环单元中，门控循环单元对具有时序信息的眼部区域特征进行记忆学习；

S0414.根据记忆学习结果，通过归一化指数函数计算对齐后的可见光图像中人脸图像的睁眼概率；

S0415.将睁眼概率存储至与第二子模型连接的缓存单元中，并计算缓存单元中睁眼概率最大值与最小值的绝对差值；根据绝对差值计算第二子模型的输出概率。

作为示例，在本实施例的一个例子中，图像指定区域例如可以设置为人眼区域、耳朵区域、嘴巴区域和鼻子区域等，本实施例选择人眼区域。第二子模型以从对齐后的可见光人脸图像中截取的人眼区域图像为输入，是基于卷积神经网络与循环神经网络所训练的分类器，能够判断连续的多帧可见光图像中是否存在眨眼特征。如图4所示，人眼区域需要包含且仅需要包含人眼部的六个关键点，在对齐人脸区域的固定坐标位置(左眼或右眼)截取即可。作为示例，本实施例中例如可以固定使用左眼，且人眼区域图像的像素尺寸缩放大小可以根据实际情况进行灵活设定，例如设置为64×64。

其中，第二子模型包含一个输入通道，数据输入层后连接3层卷积层Conv，且每一层卷积层Conv后均连接有一层池化层Pool，完成所有卷积操作后连接到一层全连接层FC，以提取出固定长度的眼部区域特征，输入到门控循环单元(Gate Recurrent Unit,GRU)中对具有时序信息的眼部区域特征进行记忆学习，而后连接到一层全连接层FC中，该全连接层输出维度为2，分别表示所输入眼部区域的睁眼状态与闭眼状态，最后第二子模型通过归一化指数函数Softmax计算出当前人眼区域图像被判定为睁眼的概率。

Softmax函数，又称归一化指数函数，能够将一个含任意实数的K维向量z压缩到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1，具体根据下式进行计算：

具体地，记最后一层全连接层的睁眼状态输出为z_睁，闭眼状态输出为z_闭，则根据归一化指数函数Softmax的计算公式，得出睁眼概率为闭眼概率为这里将所计算出的睁眼概率记为当前人眼区域图像被判定为睁眼的概率。

第二子模型末端连接有一个缓存单元，缓存单元用于存储某一时间段内所有睁眼概率的输出。每当第二子模型输出一次睁眼概率结果时，便更新时间窗口缓存，并输出当前缓存中某一时间段内最大睁眼概率值与最小睁眼概率值之间的绝对差值，根据绝对差值计算第二子模型的输出概率。其中，某一时间段可以根据实际情况进行灵活设定，例如：可以设置为包括当前时刻在内的过去连续10帧长度的时间。

缓冲单元内设置有一个用于接收睁眼概率输入的缓存队列，每接收到一次睁眼概率的输入时，通过输出缓冲队列或者输入缓冲队列进行更新。具体地，时间距离最近的一次睁眼概率从缓冲队列的起始位置输入至缓冲队列中，同时时间距离最远的一次睁眼概率从缓冲队列终点位置中输出，且每次更新后缓冲队列的长度不变。并根据下式计算第二子模型的输出概率P₂：

式中，c为一时间段内某一帧的睁眼概率，本实施例中c为连续10帧时间段内单帧的睁眼概率。

作为示例，在本实施例的一个例子中，多维度活体检测模块中将所述初步活体检测结果中判定为活体的检测结果输入至第三子模型中，获取第三子模型的输出概率；包括有：

S0421.将步骤S025对齐后的可见光图像中的人脸图像输入至第三子模型；

S0422.对对齐后的可见光图像中的人脸图像进行颜色空间转换；

S0423.根据转换后颜色空间中所有色度分量通道各自预设的阈值范围，统计对齐后可见光图像中的人脸图像中满足预设条件的像素点数量占对齐后的可见光图像中人脸图像总像素点的比例；

S0424.通过比例计算出对应的人脸肤色分数，根据人脸肤色分数计算第三子模型的输出概率。

作为示例，在本实施例的一个例子中，以对齐后的可见光人脸图像作为第三子模型的输入，首先将可见光人脸图像从默认的RGB颜色空间转换到YCbCr颜色空间，而后根据蓝色色度分量Cb通道与红色色度分量Cr通道分别设置的阈值范围，统计可见光人脸图像中满足预设条件的像素点数量占所有像素点总数量的比例，最后根据比例阈值公式计算出对应的人脸肤色分数，从而得到第三子模型的输出概率。本实施例中，第三子模型根据图像像素点的特征来判断人脸图像中的肤色。

其中，根据比例阈值公式计算出对应的人脸肤色分数，从而得到第三子模型的输出概率P₃有：

式中，W为对齐后的可见光图像中的人脸图像的像素点宽度，H为对齐后的可见光图像中的人脸图像的像素点高度，α为预设比例阈值，N表示对齐后的可见光人脸图像中同时满足Cb通道与Cr通道阈值条件的像素点个数；

作为示例，本实施例中蓝色色度分量Cr通道最小阈值例如可以设定为130，最大阈值例如可以设定为180。红色色度分量Cb通道最小阈值例如可以设定为80，最大阈值例如可以设定为130；预设比例阈值α例如可以设定为0.6。

活体人脸判断模块中，根据所有子模型的输出结果进行加权融合，获取非交互式人脸活体检测的实际概率P；

P＝ω₁P₁+ω₂P₂+ω₃P₃；

式中，P为所有子模型进行加权融合得到的实际概率，ω₁为第一子模型的预设权重值，ω₂为第二子模型的预设权重值，ω₃为第三子模型的预设权重值；P₁为第一子模型的输出概率，P₂为第二子模型的输出概率，P₃为第三子模型的输出概率；ω₁+ω₂+ω₃＝1。

作为示例，本实施例中的ω₁例如可以设定为0.5，ω₂例如可以设定为0.3，ω₃例如可以设定为0.2。

在本实施例的一个例子中，还包括有预设一假体人脸阈值和一活体人脸阈值，

若实际概率P大于等于活体人脸阈值，则判定为活体人脸；

若实际概率P小于等于假体人脸阈值，则判定为假体人脸；

若实际概率P大于假体人脸阈值，且小于活体人脸阈值，则重新采集彼此成对地可见光图像和红外光图像。

作为示例，本实施例中用于判定的假体人脸阈值例如可以设定为0.4，活体人脸阈值例如可以设定为0.6。

综上所述，本发明提出一种基于双目图像的非交互式人脸活体检测系统，有机结合了可见光和红外光人脸图像中不同的成像特征，使得人脸识别系统对于真假人脸的判别更加准确，且能够拒绝几乎所有的电子显示屏攻击，大大提升了系统鲁棒性；还克服了传统交互式活体检测方法的诸多不足，不需要用户刻意进行配合并完成指定动作，识别效率更高，同时用户体验也更加友好；同时通过在多个特征维度的学习，对多条检测支路的时序判别结果进行了加权融合，使得人脸识别系统对于照片、视频、面具等常见欺骗攻击手段的抗性更高，检测结果也更加可靠稳定。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于双目图像的非交互式人脸活体检测方法，其特征在于，所述方法包括以下步骤：

采集图像信息，所述图像信息包括同时采集的可见光图像信息和红外光图像信息；

对所述图像信息进行预处理，所述预处理至少包括对所述图像信息进行人脸检测，获取含有人脸的图像；并通过对比其对应的可见光图像信息和红外光图像信息，对所述含有人脸的图像进行初步活体检测，获取初步活体检测结果；

建立多维度活体检测模型，所述多维度活体检测模型包括用于根据图像类别特征进行活体检测的第一子模型、用于根据图像指定区域特征进行活体检测的第二子模型，以及用于根据图像像素点特征进行活体检测的第三子模型；

将所述初步活体检测结果中判定为活体的检测结果分别输入至各子模型中，分别获取各子模型的输出结果；

对所述各子模型的输出结果进行加权融合，获取非交互式人脸活体检测结果。

2.根据权利要求1所述的基于双目图像的非交互式人脸活体检测方法，其特征在于：对同时采集的可见光图像信息和红外光图像信息进行预处理，包括：

检测可见光图像信息和红外光图像信息中是否分别包含有人脸图像，若是，则检测到包含有活体人脸的图像信息；反之，未检测到包含有活体人脸的图像信息，则重新采集可见光图像信息和红外光图像信息；

以及，

若检测到含有活体人脸的图像信息，则分别选取其中可见光图像信息与红外光图像信息中包含像素点数最多的人脸边界区域，计算可见光人脸边界区域和红外光人脸边界区域的交并比值；

预设一阈值，判断交并比值与所述阈值的数值关系，输出判断结果；根据判断结果重新采集图像信息，或者根据判断结果截取可见光图像信息与红外光图像信息中的人脸图像，并对截取后的人脸图像进行关键点检测，根据关键点检测结果分别对截取后的人脸图像进行人脸对齐。

3.根据权利要求2所述的基于双目图像的非交互式人脸活体检测方法，其特征在于：将所述初步活体检测结果中判定为活体的检测结果输入至第一子模型中，获取第一子模型的输出结果；包括有：

分别输入对齐后的可见光图像信息和红外光图像信息；

对可见光图像信息和红外光图像信息进行卷积；

对卷积结果进行叠加和融合，输出叠加和融合的结果；

获取叠加和融合的结果，通过归一化指数函数计算后输出第一子模型的结果。

4.根据权利要求2所述的基于双目图像的非交互式人脸活体检测方法，其特征在于：将所述初步活体检测结果中判定为活体的检测结果输入至第二子模型中，获取第二子模型的输出结果；包括有：

截取对齐后的可见光图像信息中人脸图像的指定区域，输入至第二子模型；

对输入的指定区域进行卷积；

提取卷积后指定区域的特征，对指定区域具有时序信息的特征进行记忆学习，输出记忆学习结果；

获取记忆学习结果，通过归一化指数函数计算对齐后的可见光图像信息中人脸图像的睁眼概率；

计算某一时间段内睁眼概率最大值与最小值的绝对差值，根据所述绝对差值输出第二子模型的结果。

5.根据权利要求2所述的基于双目图像的非交互式人脸活体检测方法，其特征在于：将所述初步活体检测结果中判定为活体的检测结果输入至第三子模型中，获取第三子模型的输出结果；包括有：

将对齐后的可见光图像中的人脸图像输入至第三子模型；

对对齐后的可见光图像中的人脸图像进行颜色空间转换；

根据转换后颜色空间中所有色度分量通道各自预设的阈值范围，统计对齐后可见光图像中的人脸图像中满足预设条件的像素点数量占对齐后的可见光图像中人脸图像总像素点的比例；

通过所述比例计算出对应的人脸肤色分数，根据所述人脸肤色分数计算后输出第三子模型的结果。

6.根据权利要求2至5任一权利要求所述的基于双目图像的非交互式人脸活体检测方法，其特征在于：可见光人脸边界区域和红外光人脸边界区域的交并比值IoU_AB的计算包括有：

式中，A表示可见光人脸边界区域，B表示红外光人脸边界区域，A∩B表示可见光人脸边界区域与红外光人脸边界区域的交集，A∪B表示可见光人脸边界区域与红外光人脸边界区域的并集，S_A表示可见光人脸边界区域的面积，S_B表示红外光人脸边界区域的面积，S_A∩B表示可见光人脸边界区域与红外光人脸边界区域相重叠部分的面积，S_A∪B表示可见光人脸边界区域与红外光人脸边界区域合并区域的总面积。

7.根据权利要求1至5任一权利要求所述的基于双目图像的非交互式人脸活体检测方法，其特征在于：对所述各子模型的输出结果进行加权融合，获取非交互式人脸活体检测结果，包括有：

根据所有子模型的输出结果进行加权融合，获取非交互式人脸活体检测的实际概率P；

P＝ω₁P₁+ω₂P₂+ω₃P₃；

式中，P为所有子模型进行加权融合得到的实际概率，ω₁为第一子模型的预设权重值，ω₂为第二子模型的预设权重值，ω₃为第三子模型的预设权重值；P₁为第一子模型的输出概率，P₂为第二子模型的输出概率，P₃为第三子模型的输出概率；

还包括有，预设一假体人脸阈值和一活体人脸阈值，

若所述实际概率P大于等于所述活体人脸阈值，则判定为活体人脸；

若所述实际概率P小于等于所述假体人脸阈值，则判定为假体人脸；

若所述实际概率P大于所述假体人脸阈值，且小于所述活体人脸阈值，则重新采集彼此成对地可见光图像和红外光图像。

8.一种基于双目图像的非交互式人脸活体检测系统，其特征在于，所述系统包括有：

图像采集模块，用于采集图像信息；所述图像信息包括同时采集的可见光图像信息和红外光图像信息；

预处理模块，用于对所述图像信息进行预处理；所述预处理至少包括对所述图像信息进行人脸检测，获取含有人脸的图像；并通过对比其对应的可见光图像信息和红外光图像信息，对所述含有人脸的图像进行初步活体检测，输出初步活体检测结果；

多维度活体检测模块，包括有用于根据图像类别特征进行活体检测的第一子模型、用于根据图像指定区域特征进行活体检测的第二子模型，以及用于根据图像像素点特征进行活体检测的第三子模型；将所述初步活体检测结果中判定为活体的检测结果分别输入至各子模型中，分别获取各子模型的输出结果；

活体人脸判断模块，对所述各子模型的输出结果进行加权融合，获取非交互式人脸活体检测结果。

9.根据权利要求8所述的基于双目图像的非交互式人脸活体检测系统，其特征在于：

所述预处理模块对所述图像信息进行预处理包括有：

检测可见光图像信息和红外光图像信息中是否分别包含有人脸图像，若是，则检测到包含有活体人脸的图像信息；反之，未检测到包含有活体人脸的图像信息，则重新采集可见光图像信息和红外光图像信息；

以及，

若检测到含有活体人脸的图像信息，则分别选取其中可见光图像信息与红外光图像信息中包含像素点数最多的人脸边界区域，计算可见光人脸边界区域和红外光人脸边界区域的交并比值；

预设一阈值，判断交并比值与所述阈值的数值关系，输出判断结果；根据判断结果重新采集图像信息，或者根据判断结果截取可见光图像信息与红外光图像信息中的人脸图像，并对截取后的人脸图像进行关键点检测，根据关键点检测结果分别对截取后的人脸图像进行人脸对齐。

10.根据权利要求8所述的基于双目图像的非交互式人脸活体检测系统，其特征在于：

所述活体人脸判断模块对多维度活体检测模块输出的再次活体检测结果进行加权融合后，获得一实际概率；

所述活体人脸判断模块还设置有一比较单元，所述比较单元预设一假体人脸阈值和一活体人脸阈值；

若所述实际概率大于等于所述活体人脸阈值，则判定为活体人脸；

若所述实际概率小于等于所述假体人脸阈值，则判定为假体人脸；

若所述实际概率大于所述假体人脸阈值，且小于所述活体人脸阈值，则重新采集彼此成对地可见光图像和红外光图像。