CN110674800B - 一种人脸活体检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种人脸活体检测方法、装置、电子设备及存储介质，用于改善传统的神经网络判断人脸图像中的人脸是否为活体人脸的正确率不高的问题。该方法包括：使用双线性卷积神经网络模型的多个卷积层对获得的人脸图像提取特征，获得多个卷积特征图，双线性卷积神经网络模型是预先对双线性卷积神经网络进行训练获得的神经网络模型；使用双线性卷积神经网络模型的至少一个双线性层对多个卷积特征图进行双线性操作，获得至少一个双线性特征图；使用双线性卷积神经网络模型的拼接层、全连接层和归一化指数函数层依次对至少一个双线性特征图进行处理，获得人脸图像的分类结果，分类结果用于确定人脸图像中的人脸是否为活体。

Description

一种人脸活体检测方法、装置、电子设备及存储介质

技术领域

本申请涉及图像识别技术领域，具体而言，涉及一种人脸活体检测方法、装置、电子设备及存储介质。

背景技术

活体检测是在一些身份验证场景确定对象真实生理特征的方法，用于验证用户是否为真实活体，可有效抵御照片、面具以及屏幕翻拍等常见的攻击手段，从而帮助甄别欺诈行为。

目前的判断人脸图像中的人脸是否为活体任务中，通常是基于传统的神经网络来实现的图像分类，这种图像分类方法是将人脸活体检测任务无差别地当作通用图像分类的任务来处理，然而在具体的实施过程中，发现传统的神经网络判断人脸图像中的人脸是否为活体人脸的正确率不高的问题。

发明内容

本申请的目的在于提供一种人脸活体检测方法、装置、电子设备及存储介质，用于改善传统的神经网络判断人脸图像中的人脸是否为活体人脸的正确率不高的问题。

本申请提供了一种人脸活体检测方法，该方法包括：使用双线性卷积神经网络模型的多个卷积层对获得的人脸图像提取特征，获得多个卷积特征图，所述卷积特征图为人脸图像经过至少一次卷积操作后获得的特征矩阵，所述双线性卷积神经网络模型是预先对双线性卷积神经网络进行训练获得的神经网络模型；使用所述双线性卷积神经网络模型的至少一个双线性层对所述多个卷积特征图进行双线性操作，获得至少一个双线性特征图，所述双线性特征图为所述卷积特征图经过至少一次双线性操作后获得的特征矩阵；使用所述双线性卷积神经网络模型的拼接层、全连接层和归一化指数函数层依次对所述至少一个双线性特征图进行处理，获得所述人脸图像的分类结果，所述分类结果用于确定所述人脸图像中的人脸是否为活体。在上述的实现过程中，非活体图像可以看成是一种在活体图像上加了非活体噪声（spoof noise）的图像，所以只需将这种噪声和原信号进行分离和发现即可达到高效的预测。由于非活体与活体的差别非常细微（subtle），需要通过更强辨别力的手段进行差别的捕捉；非活体和活体的差异在图像中是无处不在的(ubiquitous)，需要更好的方式去在全局和局部进行特征的捕捉；所以用细粒度分类的建模方式远优于无差别的使用通用图像分类技术对进行人脸活体识别。因此，相比于传统的神经网络模型，通过在所述双线性卷积神经网络模型增加了至少一个双线性层，对所述多个卷积特征图进行双线性操作，双线性模型可以很好地建模并捕捉到特征两两之间的交互，可以很高效地找到这种重复的特征，且可以很好地建模并分离两种交叠的因素（factors）。因此，利用双线性模型中的至少一个双线性层对多个卷积特征图进行双线性操作，能够提高判断人脸图像中的人脸是否为活体人脸的正确率。

可选地，在本申请实施例中，在所述使用双线性卷积神经网络模型的多个卷积层对获得的人脸图像提取特征，获得多个卷积特征图之前，还包括：获得多个样本图像及对应的样本标签，所述样本图像为用于训练所述双线性卷积神经网络模型的人脸图像，所述样本标签用于表征对应的样本图像是否为活体人脸图像；以所述多个样本图像为训练数据，以所述样本标签为训练标签，对双线性卷积神经网络进行训练，获得双线性卷积神经网络模型，所述双线性卷积神经网络包括依次连接的多个卷积层、至少一个双线性层、拼接层、全连接层和归一化指数函数层。

可选地，在本申请实施例中，所述以所述多个样本图像为训练数据，以所述样本标签为训练标签，对双线性卷积神经网络进行训练，获得双线性卷积神经网络模型，包括：使用双线性卷积神经网络模型的多个卷积层对多个样本图像中的每个样本图像提取特征，获得多个第一特征图；使用所述双线性卷积神经网络模型的至少一个双线性层对所述多个第一特征图进行双线性操作，获得至少一个第二特征图；使用所述双线性卷积神经网络模型的拼接层、全连接层和归一化指数函数层依次对所述至少一个第二特征图进行处理，获得所述样本图像对应的分类结果；根据所述样本图像对应的分类结果和所述训练标签对应的分类结果构造的所述双线性卷积神经网络模型的损失函数，对所述双线性卷积神经网络模型进行训练，获得训练后的双线性卷积神经网络模型。

可选地，在本申请实施例中，所述使用所述双线性卷积神经网络模型的至少一个双线性层对所述多个卷积特征图进行双线性操作，获得至少一个双线性特征图，包括：根据Z=P ^T (U ^T X

V ^T X)对所述至少一个双线性层的多个权重矩阵和所述多个卷积特征图进行计算，获得至少一个双线性特征图；其中，Z为所述双线性特征图，P为值全为1的矩阵，X为所述多个卷积特征图的第一卷积特征图，所述第一卷积特征图是使用所述多个卷积层中的第一卷积层对所述人脸图像进行至少一次卷积操作获得的，U为所述多个权重矩阵中的第一权重矩阵，V为所述多个权重矩阵中不同于所述第一权重矩阵的第二权重矩阵，

表征计算两个矩阵的哈达玛积。

可选地，在本申请实施例中，所述使用所述双线性卷积神经网络模型的至少一个双线性层对所述多个卷积特征图进行双线性操作，获得至少一个双线性特征图，包括：根据Z=P ^T (U ^T X

V ^T Y)对所述至少一个双线性层的多个权重矩阵和所述多个卷积特征图进行计算，获得至少一个双线性特征图；其中，Z为所述双线性特征图，P为值全为1的矩阵，X为所述多个卷积特征图的第一卷积特征图，所述第一卷积特征图是使用所述多个卷积层中的第一卷积层对所述人脸图像进行至少一次卷积操作获得的，Y为所述多个卷积特征图的第二卷积特征图，所述第二卷积特征图是使用所述多个卷积层中的第二卷积层对所述第一卷积特征图进行至少一次卷积操作获得的，所述第二卷积层是所述多个卷积层中不同于所述第一卷积层的卷积层，U为所述多个权重矩阵中的第一权重矩阵，V为所述多个权重矩阵中不同于所述第一权重矩阵的第二权重矩阵，

表征计算两个矩阵的哈达玛积。

本申请实施例还提供了一种人脸活体检测装置，包括：第一获得模块，用于使用双线性卷积神经网络模型的多个卷积层对获得的人脸图像提取特征，获得多个卷积特征图，所述卷积特征图为人脸图像经过至少一次卷积操作后获得的特征矩阵，所述双线性卷积神经网络模型是预先对双线性卷积神经网络进行训练获得的神经网络模型；第二获得模块，用于使用所述双线性卷积神经网络模型的至少一个双线性层对所述多个卷积特征图进行双线性操作，获得至少一个双线性特征图，所述双线性特征图为所述卷积特征图经过至少一次双线性操作后获得的特征矩阵；第三获得模块，用于使用所述双线性卷积神经网络模型的拼接层、全连接层和归一化指数函数层依次对所述至少一个双线性特征图进行处理，获得所述人脸图像的分类结果，所述分类结果用于确定所述人脸图像中的人脸是否为活体。在上述的实现过程中，相比于传统的神经网络模型，通过在所述双线性卷积神经网络模型增加了至少一个双线性层，对所述多个卷积特征图进行双线性操作；由于传统的卷积神经网络的过程中只考虑到了图像的空间特征，没有考虑到图像的通道之间特征，而使用双线性卷积神经网络模型的卷积操作和双线性操作能够既抓取到图像的空间特征，又能够抓取到图像的通道之间特征。因此，利用双线性模型中的至少一个双线性层对多个卷积特征图进行双线性操作，来提高对人脸图像中的人脸是否为活体的判断正确率。

可选地，在本申请实施例中，还包括：第四获得模块，用于获得多个样本图像及对应的样本标签，所述样本图像为用于训练所述双线性卷积神经网络模型的人脸图像，所述样本标签用于表征对应的样本图像是否为活体人脸图像；第五获得模块，用于以所述多个样本图像为训练数据，以所述样本标签为训练标签，对双线性卷积神经网络进行训练，获得双线性卷积神经网络模型，所述双线性卷积神经网络包括依次连接的多个卷积层、至少一个双线性层、拼接层、全连接层和归一化指数函数层。

可选地，在本申请实施例中，所述第五获得模块包括：第六获得模块，用于使用双线性卷积神经网络模型的多个卷积层对多个样本图像中的每个样本图像提取特征，获得多个第一特征图；第七获得模块，用于使用所述双线性卷积神经网络模型的至少一个双线性层对所述多个第一特征图进行双线性操作，获得至少一个第二特征图；第八获得模块，用于使用所述双线性卷积神经网络模型的拼接层、全连接层和归一化指数函数层依次对所述至少一个第二特征图进行处理，获得所述样本图像对应的分类结果；第九获得模块，用于根据所述样本图像对应的分类结果和所述训练标签对应的分类结果构造的所述双线性卷积神经网络模型的损失函数，对所述双线性卷积神经网络模型进行训练，获得训练后的双线性卷积神经网络模型。

本申请还提供了一种电子设备，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如上所述的方法。

本申请还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上所述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例提供的人脸活体检测方法流程示意图；

图2示出了本申请实施例提供的第一种获得交互矩阵的方式示意图；

图3示出了本申请实施例提供的第二种获得交互矩阵的方式的其中一种示意图；

图4示出了本申请实施例提供的分类结果处理方法的示意图；

图5示出了本申请实施例提供的人脸活体检测装置结构示意图；

图6示出了本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。

在介绍本申请实施例的方法之前，先对传统的方法进行介绍：传统的方法是基于神经网络方法来实现的图像分类，这种图像分类方法是将人脸活体检测任务无差别地当作通用图像分类的任务来处理，然而由于活体的人脸图像和非活体的人脸图像的区别非常小，即非活体的人脸图像的视觉表征的与活体人脸的图像的差别非常的小，然而使用传统的神经网络识别活体人脸的任务，获得的结果容易受到其他因素如角度、光照和成像质量的影响，传统的神经网络没有考虑活体图像的特殊性，因此，传统的神经网络判断人脸图像中的人脸是否为活体人脸的正确率不高。

第一实施例

为了解决上述问题，本申请实施例提供了人脸活体检测方法，该方法请参见图1，图1示出了本申请实施例提供的人脸活体检测方法流程示意图。该方法可以由图像采集装置执行，该图像采集装置例如：红外热像仪、监控摄像机、照相机或带摄像头的终端等，带摄像头的设备例如：手机、平板电脑或笔记本等。该方法也可以由图像采集装置之外的设备终端或服务器执行，该图像采集装置将采集的图像传输给具有执行计算机程序功能的该设备终端或服务器，该设备终端例如：个人电脑、网络交换机、网络路由器、台式主机或服务器等，该服务器是指通过网络提供计算服务的设备，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和UNIX服务器。

需要说明的是，本申请实施例提供的方法适用的场景包括但不限于：安防监控、手机解锁、电子门锁和金融认证等等领域场景，以手机解锁场景为例进行说明，通过本申请实施例提供的方法获得的分类结果可以用于判断手机是否解锁，例如：分类结果表明手机实时获取的图像为活体人脸图像，则可以根据该分类结果确定手机解锁的过程中没有受到攻击，可以继续进行下一步的操作，这里的下一步的操作例如：人脸认证、虹膜认证或指纹认证等等；相反地，若分类结果表明手机实时获取的图像为非活体人脸图像，则可以根据该分类结果确定手机解锁的过程中受到攻击，可以对受到攻击的过程向手机的主人进行预警或者报警。再以金融认证场景进行说明，在银行自动存取机器上取款时，需要对取款人进行人脸认证是否为本人操作，若使用本申请实施例提供的方法获得的分类结果表明自动存取机器上的摄像头实时获取的图像为活体人脸图像，则通过活体认证，继续下一步的操作，这里的下一步的操作例如：人脸认证、指纹认证或者直接取款等等；相反地，若分类结果表明自动存取机器上的摄像头实时获取的图像为非活体人脸图像，例如：有人带面具冒充其它人取款，或者用手机回放其它人的人脸视频，以欺骗自动存取机器的认证系统，那么可以将报警信号传送到最近的服务器系统，或者直接现场关门发出报警声响或者报警灯光等等。

当然，在具体的实施过程中，图像采集装置（或带图像采集装置的设备）与上述设备终端、服务器之间可以是通过高速传输线路连接，也可以是通过有线网络或者无线网络的方式进行连接，这里的高速传输线路包括但不限于：光纤、串口、并行总线或通用串行总线等。应理解，图像采集装置（或带图像采集装置的设备）可以经由一个或多个中间设备将采集的图像传输给上述设备终端或服务器，该中间设备可以为路由设备或其他的设备终端或服务器。

请参见图1，该人脸活体检测方法可以包括如下步骤：

步骤S100：使用双线性卷积神经网络模型的多个卷积层对获得的人脸图像提取特征，获得多个卷积特征图。

可以理解的是，继续上面的描述说明人脸图像的获得方式：以该方法被终端设备执行为例进行说明，当该方法被终端设备执行时，可以获取预先存储的人脸图像，也可以接收摄像机发送的人脸图像数据，还可以从网络上爬取或者抓取人脸图像。当该方法被服务器执行时，可以获取预先存储的人脸图像，也可以接收终端设备发送的人脸图像数据，也可以接收摄像机发送的人脸图像数据，还可以从网络上爬取或者抓取人脸图像。

其中，双线性卷积神经网络模型是指需要进行至少一次双线性操作的卷积神经网络模型，双线性操作的具体内容将在下面仅详细的说明。这里的卷积特征图为人脸图像经过至少一次卷积操作后获得的特征矩阵，双线性卷积神经网络模型是预先对双线性卷积神经网络进行训练获得的神经网络模型。可以理解的是，双线性卷积神经网络模型的获得方式有两种方式，一种是从零开始构建和训练模型，另一种方式是使用已经训练好的模型进行裁剪、修剪、组合添加和预训练等方式获得模型，例如：对人脸识别的预训练模型或者人脸属性识别的预训练模型进行再训练后获得双线性卷积神经网络模型，相比于常用的从零开始构建和训练模型（例如使用ImageNet数据库训练）获得的方式，这种方式能大幅度提升人脸活体检测的正确率和技术效果，其中，ImageNet项目是一个用于视觉对象识别研究的大型图像数据库。

可以理解的是，这里的多个卷积层表示大于一个卷积层，可以是多个卷积层对获得的人脸图像进行卷积操作获得的多个卷积特征图，也可以是多个卷积层中的一个卷积层对获得的人脸图像进行卷积操作获得第一卷积特征图后，再由多个卷积层中的另一个卷积层对该第一卷积特征图进行卷积操作获得的第二卷积特征图，以此类推，详细的例子请见下面的描述。这里的多个卷积层的个数可以是2、3或5，也可以是100或200的深度神经网络，同样获得的卷积特征图的个数也可以是2、3、5、100或200，因此，这里的卷积层个数和获得的卷积特征图个数不应理解为对本申请实施例的限制。

步骤S200：使用双线性卷积神经网络模型的至少一个双线性层对多个卷积特征图进行双线性操作，获得至少一个双线性特征图。

其中，双线性特征图为卷积特征图经过至少一次双线性操作后获得的特征矩阵；使用双线性卷积神经网络模型的至少一个双线性层对多个卷积特征图进行双线性操作，获得至少一个双线性特征图的方法有很多种，这里仅列举三种方法进行说明，这三种方法包括：

第一种方法，在层内进行双线性操作获得双线性特征图，具体请参见图2，图2示出了本申请实施例提供的第一种获得交互矩阵的方式示意图；该方法可以包括如下步骤：

步骤S210：根据Z=P ^T (U ^T X

V ^T X)对至少一个双线性层的多个权重矩阵和多个卷积特征图进行计算，获得双线性特征图；

其中，Z为双线性特征图，P为值全为1的矩阵，X为多个卷积特征图的第一卷积特征图，第一卷积特征图是使用多个卷积层中的第一卷积层对人脸图像进行至少一次卷积操作获得的，U为多个权重矩阵中的第一权重矩阵，V为多个权重矩阵中不同于第一权重矩阵的第二权重矩阵，

表征计算两个矩阵的哈达玛积。

当然，在具体的实施过程中，上述的公式的另一种表示为z _i =P _i ^T （U _i ^T x

V _i ^T y），其中，U _i ∈R ^N×d 为第一权重矩阵，V _i ∈R ^M×d 为第二权重矩阵，P _i ∈R ^d×1是值全为1的矩阵，z∈R ^d×1为双线性模型的输出特征，x∈R ^N×1为在特征图（feature map）上某个位置沿着通道维度（channel）的特征，y∈R ^M×1为在特征图上某个位置沿着通道维度的特征，i∈C，用于控制输出Z的大小，C为超参数，

表征计算两个矩阵的哈达玛积（Hadamard product）。然后再遍历C，则获得Z=[z _i ]，将所有位置L得到的Z进行相加池化（sum pooling），这里的L表征第一卷积特征图的尺寸大小，得到最终的Z。再将每个双线性模块输出的特征进行合并（concatenation），通过全连接（fully connection layers）层和归一化指数函数（softmax）层进行分类操作。

第二种方法，在层间进行双线性操作获得双线性特征图，具体请参见图3，图3示出了本申请实施例提供的第二种获得交互矩阵的方式的其中一种示意图；该方法可以包括如下步骤：

步骤S220：根据Z=P ^T (U ^T X

V ^T Y)对至少一个双线性层的多个权重矩阵和多个卷积特征图进行计算，获得至少一个双线性特征图；

其中，Z为双线性特征图，P为值全为1的矩阵，X为多个卷积特征图的第一卷积特征图，第一卷积特征图是使用多个卷积层中的第一卷积层对人脸图像进行至少一次卷积操作获得的，Y为多个卷积特征图的第二卷积特征图，第二卷积特征图是使用多个卷积层中的第二卷积层对第一卷积特征图进行至少一次卷积操作获得的，第二卷积层是多个卷积层中不同于第一卷积层的卷积层，U为多个权重矩阵中的第一权重矩阵，V为多个权重矩阵中不同于第一权重矩阵的第二权重矩阵，

表征计算两个矩阵的哈达玛积。

需要说明的是，第一卷积特征图和第二卷积特征图需要在宽（Width）和高（Height）这两个维度上可以是一致的，也可以是不一致的。下面将对这两种情况分别进行说明：第一种情况，第一卷积特征图和第二卷积特征图在宽和高这两个维度上是一致的时候，即第一卷积特征图和第二卷积特征图的尺寸大小一样，例如：第一卷积特征图是高为200且宽为300的矩阵，那么第二卷积特征图也应该是高为200且宽为300的矩阵；第二种情况，第一卷积特征图和第二卷积特征图在宽和高上是不一致的时候，可以使用一层的卷积层将上述的其中一个卷积特征图的大小转换为另一个卷积特征图的尺寸大小，使两个卷积特征图的尺寸大小相同，即可以通过一层的卷积层运用于在这两个维度上较大的特征图，将其通过卷积层转换到和另外一个进行双线性操作的特征图保持大小一致，当然，在具体的实施过程中，可以利用填充（padding）和步长（stride）等参数进行调节。

第三种方法，在层间和层内的双线性模型的合并操作获得双线性特征图，该方法可以包括如下步骤：

步骤S230：根据如下公式对至少一个双线性层的多个权重矩阵和多个卷积特征图进行计算，获得至少一个双线性特征图；

Zall=concat(concat ^l _j P ^jT (U ^jT X

V ^jT X), concat ^l-1 _k P ^jT (U ^kT X

U ^k+1T Y))；

其中，Zall为经过双线性模型和合并操作的输出特征向量，concat表征合并操作，即把多个向量头尾相接组成一个向量，U=[Ui]为由Ui组成的三阶张量，V=[Vi]为由Vi组成的三阶张量，P=[Pi]为由Pi组成的二阶张量，l为进行层间或层内双线性模型操作的卷积层数，j表示不同的U或者V，P ^T (U ^T X

V ^T Y)其计算的方式定义为上文描述的双线性模型操作。

当然，在具体的实施过程中，双线性特征图的获得方法除了上述的三种方法还有很多种，可以根据具体的实际情况进行组合和变化，这些变化主要在于层内和层间进行至少一次双线性操作获得的至少一个结果可以进行至少一次合并操作，应理解的是任何基于以上思路进行变化的方法都应包括在本申请实施例的保护范围之内，因此，上述的双线性特征图的获得方法的具体实施方式和组合形式不应理解为对本申请实施例的限制。

在步骤S200之后，还包括步骤S300：使用双线性卷积神经网络模型的拼接层、全连接层和归一化指数函数层依次对至少一个双线性特征图进行处理，获得人脸图像的分类结果，分类结果用于确定人脸图像中的人脸是否为活体。

请参见图4，图4示出了本申请实施例提供的分类结果处理方法的示意图，其中图中没有描述的具体含义请参见对上图的描述，第四双线性操作的方框表示使用第四双线性层进行双线性操作，第五双线性操作的方框表示使用第五双线性层进行双线性操作。其中，根据分类结果确定人脸图像中的人脸是否为活体的具体方式可以为：获得多个分类结果的概率，将多个分类结果中的概率最大的分类结果作为人脸图像中的人脸是否为活体的结果，多个分类结果例如；是活体的概率为70%，不是活体的概率为30%，则确定该人脸图像是活体。

在具体的实施过程中，拼接层（Contact layers）、全连接层(fully connectedlayers)和归一化指数函数层(SoftMax layers)可以根据具体的情况进行改变，当然与上述的双线性层的组合方式也可以根据具体的情况进行调整，因此，使用双线性卷积神经网络模型的拼接层、全连接层和归一化指数函数层依次对至少一个双线性特征图进行处理的具体方式不应理解为对本申请实施例的限制。

在上述的实现过程中，非活体图像可以看成是一种在活体图像上加了非活体噪声（spoof noise）的图像，所以只需将这种噪声和原信号进行分离和发现即可达到高效的预测。由于非活体与活体的差别非常细微（subtle），需要通过更强辨别力的手段进行差别地捕捉；非活体和活体的差异在图像中是无处不在的(ubiquitous)，需要更好的方式去在全局和局部进行特征捕捉；所以用细粒度分类的建模方式远优于无差别的使用通用图像分类技术对进行人脸活体识别。

因此，相比于传统的神经网络模型，通过在双线性卷积神经网络模型增加了至少一个双线性层，对多个卷积特征图进行双线性操作，双线性模型可以很好地建模并捕捉到特征两两之间的交互，可以很高效地找到这种重复的特征，且可以很好地建模并分离两种交叠的因素（factors）。因此，利用双线性模型中的至少一个双线性层对多个卷积特征图进行双线性操作，能够有效地提高判断人脸图像中的人脸是否为活体人脸的正确率。

第二实施例

请参见图5，图5示出了本申请实施例提供的人脸活体检测装置结构示意图。本申请实施例提供了一种人脸活体检测装置100，包括：

第一获得模块110，用于使用双线性卷积神经网络模型的多个卷积层对获得的人脸图像提取特征，获得多个卷积特征图，卷积特征图为人脸图像经过至少一次卷积操作后获得的特征矩阵，双线性卷积神经网络模型是预先对双线性卷积神经网络进行训练获得的神经网络模型。

第二获得模块120，用于使用双线性卷积神经网络模型的至少一个双线性层对多个卷积特征图进行双线性操作，获得至少一个双线性特征图，双线性特征图为卷积特征图经过至少一次双线性操作后获得的特征矩阵。

第三获得模块130，用于使用双线性卷积神经网络模型的拼接层、全连接层和归一化指数函数层依次对至少一个双线性特征图进行处理，获得人脸图像的分类结果，分类结果用于确定人脸图像中的人脸是否为活体。

可选地，在本申请实施例中，第二获得模块包括：

第一计算模块，用于根据Z=P ^T (U ^T X

V ^T X)对至少一个双线性层的多个权重矩阵和多个卷积特征图进行计算，获得至少一个双线性特征图；其中，Z为双线性特征图，P为值全为1的矩阵，X为多个卷积特征图的第一卷积特征图，第一卷积特征图是使用多个卷积层中的第一卷积层对人脸图像进行至少一次卷积操作获得的，U为多个权重矩阵中的第一权重矩阵，V为多个权重矩阵中不同于第一权重矩阵的第二权重矩阵，

表征计算两个矩阵的哈达玛积。

可选地，在本申请实施例中，第二获得模块还包括：

第二计算模块，用于根据Z=P ^T (U ^T X

V ^T Y)多个权重矩阵和多个卷积特征图对至少一个双线性层的多个权重矩阵和多个卷积特征图进行计算，获得至少一个双线性特征图；其中，Z为双线性特征图，P为值全为1的矩阵，X为多个卷积特征图的第一卷积特征图，第一卷积特征图是使用多个卷积层中的第一卷积层对人脸图像进行至少一次卷积操作获得的，Y为多个卷积特征图的第二卷积特征图，第二卷积特征图是使用多个卷积层中的第二卷积层对第一卷积特征图进行至少一次卷积操作获得的，第二卷积层是多个卷积层中不同于第一卷积层的卷积层，U为多个权重矩阵中的第一权重矩阵，V为多个权重矩阵中不同于第一权重矩阵的第二权重矩阵，

表征计算两个矩阵的哈达玛积。

可选地，在本申请实施例中，还包括：

第四获得模块，用于获得多个样本图像及对应的样本标签，样本图像为用于训练双线性卷积神经网络模型的人脸图像，样本标签用于表征对应的样本图像是否为活体人脸图像；

第五获得模块，用于以多个样本图像为训练数据，以样本标签为训练标签，对双线性卷积神经网络进行训练，获得双线性卷积神经网络模型，双线性卷积神经网络包括依次连接的多个卷积层、至少一个双线性层、拼接层、全连接层和归一化指数函数层。

可选地，在本申请实施例中，第五获得模块包括：

第六获得模块，用于使用双线性卷积神经网络模型的多个卷积层对多个样本图像中的每个样本图像提取特征，获得多个第一特征图；

第七获得模块，用于使用双线性卷积神经网络模型的至少一个双线性层对多个第一特征图进行双线性操作，获得至少一个第二特征图；

第八获得模块，用于使用双线性卷积神经网络模型的拼接层、全连接层和归一化指数函数层依次对至少一个第二特征图进行处理，获得样本图像对应的分类结果；

第九获得模块，用于根据样本图像对应的分类结果和训练标签对应的分类结果构造的双线性卷积神经网络模型的损失函数，对双线性卷积神经网络模型进行训练，获得训练后的双线性卷积神经网络模型。

应理解的是，该装置与上述的方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件（firmware）的形式存储于存储器中或固化在装置的操作系统（operating system，OS）中的软件功能模块。

请参见图6，图6示出了本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备101，包括：处理器102和存储器103，存储器103存储有处理器102可执行的机器可读指令，机器可读指令被处理器102执行时执行如上的方法。

本申请实施例还提供了一种存储介质104，该存储介质104上存储有计算机程序，该计算机程序被处理器102运行时执行如上的方法。

其中，存储介质104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。

本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请实施例各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得计算机设备执行本申请实施例各个实施例方法的全部或部分步骤。前述的计算机设备包括：个人计算机、服务器、移动设备、智能穿戴设备、网络设备、虚拟设备等各种具有执行程序代码能力的设备，前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟、磁带或者光盘等各种可以存储程序代码的介质。

以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (8)

1.一种人脸活体检测方法，其特征在于，该方法包括：

使用双线性卷积神经网络模型的多个卷积层对获得的人脸图像提取特征，获得多个卷积特征图，所述卷积特征图为人脸图像经过至少一次卷积操作后获得的特征矩阵，所述双线性卷积神经网络模型是预先对双线性卷积神经网络进行训练获得的神经网络模型；

使用所述双线性卷积神经网络模型的至少一个双线性层对所述多个卷积特征图进行双线性操作，获得至少一个双线性特征图，所述双线性特征图为所述卷积特征图经过至少一次双线性操作后获得的特征矩阵；

使用所述双线性卷积神经网络模型的拼接层、全连接层和归一化指数函数层依次对所述至少一个双线性特征图进行处理，获得所述人脸图像的分类结果，所述分类结果用于确定所述人脸图像中的人脸是否为活体；

其中，所述使用所述双线性卷积神经网络模型的至少一个双线性层对所述多个卷积特征图进行双线性操作，包括：根据公式Z=P ^T (U ^T X

V ^T Y)对所述至少一个双线性层的多个权重矩阵和所述多个卷积特征图进行计算；其中，Z为所述双线性特征图，P为值全为1的矩阵，X为所述多个卷积特征图的第一卷积特征图，所述第一卷积特征图是使用所述多个卷积层中的第一卷积层对所述人脸图像进行至少一次卷积操作获得的，Y为所述多个卷积特征图的第二卷积特征图，所述第二卷积特征图是使用所述多个卷积层中的第二卷积层对所述第一卷积特征图进行至少一次卷积操作获得的，所述第二卷积层是所述多个卷积层中不同于所述第一卷积层的卷积层，U为所述多个权重矩阵中的第一权重矩阵，V为所述多个权重矩阵中不同于所述第一权重矩阵的第二权重矩阵；

上述的公式Z=P ^T (U ^T X

V ^T Y)的另一种表示为z _i =P _i ^T （U _i ^T x

V _i ^T y），其中，U _i ∈R ^N×d 为第一权重矩阵，V _i ∈R ^M×d 为第二权重矩阵，P _i ∈R ^d×1是值全为1的矩阵，z∈R ^d×1为双线性模型的输出特征，x∈R ^N×1为在特征图上某个位置沿着通道维度的特征，y∈R ^M×1为在特征图上某个位置沿着通道维度的特征，i∈C，用于控制输出Z的大小，C为超参数，

表征计算两个矩阵的哈达玛积。

2.根据权利要求1所述的方法，其特征在于，在所述使用双线性卷积神经网络模型的多个卷积层对获得的人脸图像提取特征，获得多个卷积特征图之前，还包括：

获得多个样本图像及对应的样本标签，所述样本图像为用于训练所述双线性卷积神经网络模型的人脸图像，所述样本标签用于表征对应的样本图像是否为活体人脸图像；

以所述多个样本图像为训练数据，以所述样本标签为训练标签，对双线性卷积神经网络进行训练，获得双线性卷积神经网络模型，所述双线性卷积神经网络包括依次连接的多个卷积层、至少一个双线性层、拼接层、全连接层和归一化指数函数层。

3.根据权利要求2所述的方法，其特征在于，所述以所述多个样本图像为训练数据，以所述样本标签为训练标签，对双线性卷积神经网络进行训练，获得双线性卷积神经网络模型，包括：

使用双线性卷积神经网络模型的多个卷积层对多个样本图像中的每个样本图像提取特征，获得多个第一特征图；

使用所述双线性卷积神经网络模型的至少一个双线性层对所述多个第一特征图进行双线性操作，获得至少一个第二特征图；

使用所述双线性卷积神经网络模型的拼接层、全连接层和归一化指数函数层依次对所述至少一个第二特征图进行处理，获得所述样本图像对应的分类结果；

根据所述样本图像对应的分类结果和所述训练标签对应的分类结果构造的所述双线性卷积神经网络模型的损失函数，对所述双线性卷积神经网络模型进行训练，获得训练后的双线性卷积神经网络模型。

4.一种人脸活体检测装置，其特征在于，包括：

第一获得模块，用于使用双线性卷积神经网络模型的多个卷积层对获得的人脸图像提取特征，获得多个卷积特征图，所述卷积特征图为人脸图像经过至少一次卷积操作后获得的特征矩阵，所述双线性卷积神经网络模型是预先对双线性卷积神经网络进行训练获得的神经网络模型；

第二获得模块，用于使用所述双线性卷积神经网络模型的至少一个双线性层对所述多个卷积特征图进行双线性操作，获得至少一个双线性特征图，所述双线性特征图为所述卷积特征图经过至少一次双线性操作后获得的特征矩阵；

第三获得模块，用于使用所述双线性卷积神经网络模型的拼接层、全连接层和归一化指数函数层依次对所述至少一个双线性特征图进行处理，获得所述人脸图像的分类结果，所述分类结果用于确定所述人脸图像中的人脸是否为活体；

其中，所述使用所述双线性卷积神经网络模型的至少一个双线性层对所述多个卷积特征图进行双线性操作，包括：根据公式Z=P ^T (U ^T X

V ^T Y)对所述至少一个双线性层的多个权重矩阵和所述多个卷积特征图进行计算；其中，Z为所述双线性特征图，P为值全为1的矩阵，X为所述多个卷积特征图的第一卷积特征图，所述第一卷积特征图是使用所述多个卷积层中的第一卷积层对所述人脸图像进行至少一次卷积操作获得的，Y为所述多个卷积特征图的第二卷积特征图，所述第二卷积特征图是使用所述多个卷积层中的第二卷积层对所述第一卷积特征图进行至少一次卷积操作获得的，所述第二卷积层是所述多个卷积层中不同于所述第一卷积层的卷积层，U为所述多个权重矩阵中的第一权重矩阵，V为所述多个权重矩阵中不同于所述第一权重矩阵的第二权重矩阵；

上述的公式Z=P ^T (U ^T X

V ^T Y)的另一种表示为z _i =P _i ^T （U _i ^T x

V _i ^T y），其中，U _i ∈R ^N×d 为第一权重矩阵，V _i ∈R ^M×d 为第二权重矩阵，P _i ∈R ^d×1是值全为1的矩阵，z∈R ^d×1为双线性模型的输出特征，x∈R ^N×1为在特征图上某个位置沿着通道维度的特征，y∈R ^M×1为在特征图上某个位置沿着通道维度的特征，i∈C，用于控制输出Z的大小，C为超参数，

表征计算两个矩阵的哈达玛积。

5.根据权利要求4所述的装置，其特征在于，还包括：

第四获得模块，用于获得多个样本图像及对应的样本标签，所述样本图像为用于训练所述双线性卷积神经网络模型的人脸图像，所述样本标签用于表征对应的样本图像是否为活体人脸图像；

第五获得模块，用于以所述多个样本图像为训练数据，以所述样本标签为训练标签，对双线性卷积神经网络进行训练，获得双线性卷积神经网络模型，所述双线性卷积神经网络包括依次连接的多个卷积层、至少一个双线性层、拼接层、全连接层和归一化指数函数层。

6.根据权利要求5所述的装置，其特征在于，所述第五获得模块包括：

第六获得模块，用于使用双线性卷积神经网络模型的多个卷积层对多个样本图像中的每个样本图像提取特征，获得多个第一特征图；

第七获得模块，用于使用所述双线性卷积神经网络模型的至少一个双线性层对所述多个第一特征图进行双线性操作，获得至少一个第二特征图；

第八获得模块，用于使用所述双线性卷积神经网络模型的拼接层、全连接层和归一化指数函数层依次对所述至少一个第二特征图进行处理，获得所述样本图像对应的分类结果；

第九获得模块，用于根据所述样本图像对应的分类结果和所述训练标签对应的分类结果构造的所述双线性卷积神经网络模型的损失函数，对所述双线性卷积神经网络模型进行训练，获得训练后的双线性卷积神经网络模型。

7.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1-3任一所述的方法。

8.一种存储介质，其特征在于，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-3任一所述的方法。

Images