CN115937992A

CN115937992A - 活体攻击检测方法和活体攻击检测模型的训练方法

Info

Publication number: CN115937992A
Application number: CN202211531023.6A
Authority: CN
Inventors: 武文琦
Original assignee: Alipay Hangzhou Information Technology Co Ltd
Current assignee: Alipay Hangzhou Information Technology Co Ltd
Priority date: 2022-12-01
Filing date: 2022-12-01
Publication date: 2023-04-07

Abstract

本说明书实施例公开了一种活体攻击检测方法、活体攻击检测模型的训练方法、装置、存储介质及电子设备，从目标对象的人脸验证视频中获取多个打光帧和多个非打光帧，其中，多个打光帧是在对目标对象进行打光的情况下采集的，该多个非打光帧是在未对该目标对象进行打光的情况下采集的。基于多个打光帧与多个非打光帧之间的差异，确定多个差值图。将多个差值图输入活体攻击检测模型来进行特征提取，得到多个差值图的差值图特征，基于多个差值图的差值图特征能够确定该人脸验证视频的类型，从而实现活体攻击检测。

Description

活体攻击检测方法和活体攻击检测模型的训练方法

技术领域

本说明书涉及计算机技术领域，尤其涉及一种活体攻击检测方法、活体攻击检测模型的训练方法、装置、存储介质及电子设备。

背景技术

随着计算机技术的发展，人脸识别技术在近年来得到了广泛应用，比如，应用人脸识别技术的人脸识别系统被广泛部署在支付平台上，用户通过人脸识别系统能够快速完成支付。

但是，在为人们的生产和生活带来便利的同时，人脸识别系统也在遭受各类攻击的考验，比如，活体攻击是威胁较大的一类攻击方式，活体攻击是指在人脸识别阶段，通过使用照片、手机屏幕以及佩戴面具等方式进行身份仿冒攻击。一旦活体攻击成功，会造成巨大的损失，因此，亟须一种活体攻击检测方法。

发明内容

本说明书提供一种活体攻击检测方法、活体攻击检测模型的训练方法、装置、存储介质及电子设备，能够在人脸识别过程中进行活体攻击的检测，提高人脸识别的安全性。

一方面，本说明书实施例提供一种活体攻击检测方法，包括：

从目标对象的人脸验证视频中获取多个打光帧和多个非打光帧，所述多个打光帧是在对所述目标对象进行打光的情况下采集的，所述多个非打光帧是在未对所述目标对象进行打光的情况下采集的；

基于所述多个打光帧和所述多个非打光帧，确定多个差值图，所述差值图用于表示打光帧与对应非打光帧之间的差异；

将所述多个差值图输入活体攻击检测模型，通过所述活体攻击检测模型对所述多个差值图进行特征提取，得到各个所述差值图的差值图特征；

通过所述活体攻击检测模型，基于所述多个差值图的差值图特征进行预测，输出所述人脸验证视频的视频类型，所述视频类型用于表示所述人脸验证视频是否为活体攻击视频。

一方面，本说明书实施例提供一种活体攻击检测模型的训练方法，包括：

从样本对象的样本人脸验证视频中获取多个样本打光帧和多个样本非打光帧，所述多个样本打光帧是在对所述样本对象进行打光的情况下采集的，所述多个样本非打光帧是在未对所述样本对象进行打光的情况下采集的；

基于所述多个样本打光帧和所述多个样本非打光帧，确定多个样本差值图，所述样本差值图用于表示样本打光帧与对应样本非打光帧之间的差异；

将所述多个样本差值图输入活体攻击检测模型，通过所述活体攻击检测模型对所述多个样本差值图进行特征提取，得到各个所述样本差值图的差值图特征；

通过所述活体攻击检测模型，基于所述多个样本差值图的差值图特征进行预测，输出所述样本人脸验证视频的预测视频类型，所述视频类型用于表示所述样本人脸验证视频是否为活体攻击视频；

基于所述预测视频类型和所述样本人脸验证视频的标注类型之间的差异信息，对所述活体攻击检测模型进行训练。

一方面，本说明书实施例提供一种活体攻击检测装置，包括：

打光帧获取模块，用于从目标对象的人脸验证视频中获取多个打光帧和多个非打光帧，所述多个打光帧是在对所述目标对象进行打光的情况下采集的，所述多个非打光帧是在未对所述目标对象进行打光的情况下采集的；

差值图获取模块，用于基于所述多个打光帧和所述多个非打光帧，确定多个差值图，所述差值图用于表示打光帧与对应非打光帧之间的差异；

第一特征提取模块，用于将所述多个差值图输入活体攻击检测模型，通过所述活体攻击检测模型对所述多个差值图进行特征提取，得到各个所述差值图的差值图特征；

第一预测模块，用于通过所述活体攻击检测模型，基于所述多个差值图的差值图特征进行预测，输出所述人脸验证视频的视频类型，所述视频类型用于表示所述人脸验证视频是否为活体攻击视频。

在一种可能的实施方式中，所述打光帧获取模块，用于执行下述任一项：

对所述人脸验证视频的多个视频帧进行颜色分布统计，得到各个所述视频帧的颜色分布统计结果；基于各个所述视频帧的颜色分布统计结果，从所述多个视频帧中确定所述多个打光帧和所述多个非打光帧，打光帧与非打光帧的颜色分布统计结果不同；

基于所述人脸验证视频对应的打光周期，从所述人脸验证视频的多个视频帧中获取所述多个打光帧和所述多个非打光帧；

将所述人脸验证视频的多个视频帧输入视频帧分类模型，通过所述视频帧分类模型对所述多个视频帧进行分类，输出各个所述视频帧的视频帧类型，视频帧类型用于表示视频帧为打光帧还是非打光帧；基于各个所述视频帧的视频帧类型，从所述多个视频帧中获取所述多个打光帧和所述多个非打光帧。

在一种可能的实施方式中，所述打光帧获取模块，用于对各个所述视频帧中多个像素点进行颜色分布统计，得到各个所述视频帧的颜色直方图；所述基于各个所述视频帧的颜色分布统计结果，从所述多个视频帧中确定所述多个打光帧和所述多个非打光帧包括：基于各个所述视频帧的颜色直方图，从所述多个视频帧中确定所述多个打光帧和所述多个非打光帧。

在一种可能的实施方式中，所述打光帧获取模块，用于基于所述人脸验证视频对应的打光周期，将所述人脸验证视频划分为多个第一类视频片段和多个第二类视频片段，所述第一类视频片段是在所述目标对象进行打光的情况下采集的，所述第二类视频片段是在未对所述目标对象进行打光的情况下采集的；从所述多个第一类视频片段中获取所述多个打光帧；从所述第二类视频片段中获取所述多个非打光帧。

在一种可能的实施方式中，所述打光帧获取模块，用于通过所述视频帧分类模型对所述多个视频帧进行特征提取，得到各个所述视频帧的视频帧特征；通过所述视频帧分类模型对各个所述视频帧的视频帧特征进行全连接和归一化，输出各个所述视频帧的视频帧类型。

在一种可能的实施方式中，所述差值图获取模块，用于基于所述多个打光帧和所述多个非打光帧，确定多个初始差值图；对所述多个初始差值图进行图像增强，得到所述多个差值图。

在一种可能的实施方式中，所述差值图获取模块，用于执行下述任一项：

对于所述多个打光帧中的任一打光帧，在所述多个非打光帧中确定与所述打光帧对应的非打光帧；将所述打光帧与所述非打光帧中对应像素点的像素值相减，得到所述打光帧对应的初始差值图；

对于所述多个非打光帧中的任一非打光帧，在所述多个打光帧中确定与所述非打光帧对应的打光帧；将所述非打光帧与所述打光帧中对应像素点的像素值相减，得到所述非打光帧对应的初始差值图。

在一种可能的实施方式中，所述差值图获取模块，用于对所述多个初始差值图进行直方图均衡化、拉普拉斯变换、对数变换以及伽马变换中的至少一项，得到所述多个差值图。

在一种可能的实施方式中，所述第一特征提取模块，用于执行下述任一项：

通过所述活体攻击检测模型对所述多个差值图进行至少一次卷积，得到各个所述差值图的差值图特征；

通过所述活体攻击检测模型对所述多个差值图进行至少一次全连接，得到各个所述差值图的差值图特征；

通过所述活体攻击检测模型，基于注意力机制对所述多个差值图进行编码，得到各个所述差值图的差值图特征。

在一种可能的实施方式中，所述第一预测模块，用于通过所述活体攻击检测模型，将所述多个差值图的差值图特征进行融合，得到所述人脸验证视频的分类特征；通过所述活体攻击检测模型，基于所述分类特征进行预测，输出所述人脸验证视频的视频类型。

在一种可能的实施方式中，所述第一预测模块，用于通过所述活体攻击检测模型，对所述分类特征进行全连接和归一化，得到所述人脸验证视频的分类值；在所述分类值大于或等于分类值阈值的情况下，确定所述人脸验证视频为活体攻击视频；在所述分类值小于所述分类值阈值的情况下，确定所述人脸验证视频不是活体攻击视频。

一方面，本说明书实施例提供一种活体攻击检测模型的训练装置，包括：

样本打光帧获取模块，用于从样本对象的样本人脸验证视频中获取多个样本打光帧和多个样本非打光帧，所述多个样本打光帧是在对所述样本对象进行打光的情况下采集的，所述多个样本非打光帧是在未对所述样本对象进行打光的情况下采集的；

样本差值图获取模块，用于基于所述多个样本打光帧和所述多个样本非打光帧，确定多个样本差值图，所述样本差值图用于表示样本打光帧与对应样本非打光帧之间的差异；

第二特征提取模块，用于将所述多个样本差值图输入活体攻击检测模型，通过所述活体攻击检测模型对所述多个样本差值图进行特征提取，得到各个所述样本差值图的差值图特征；

第二预测模块，用于通过所述活体攻击检测模型，基于所述多个样本差值图的差值图特征进行预测，输出所述样本人脸验证视频的预测视频类型，所述视频类型用于表示所述样本人脸验证视频是否为活体攻击视频；

训练模块，用于基于所述预测视频类型和所述样本人脸验证视频的标注类型之间的差异信息，对所述活体攻击检测模型进行训练。

一方面，本说明书实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法。

一方面，本说明书实施例提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法。

一方面，本说明书实施例提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或处理器执行上述的方法。

通过本说明书实施例提供的技术方案，从目标对象的人脸验证视频中获取多个打光帧和多个非打光帧，其中，多个打光帧是在对目标对象进行打光的情况下采集的，该多个非打光帧是在未对该目标对象进行打光的情况下采集的。基于多个打光帧与多个非打光帧之间的差异，确定多个差值图。将多个差值图输入活体攻击检测模型来进行特征提取，得到多个差值图的差值图特征，基于多个差值图的差值图特征能够确定该人脸验证视频的类型，从而实现活体攻击检测。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书实施例提供的一种活体攻击检测方法的实施环境的示意图；

图2为本说明书实施例提供的一种活体攻击检测方法的流程图；

图3为本说明书实施例提供的另一种活体攻击检测方法的流程图；

图4为本说明书实施例提供的一种差值图的获取方法的流程图；

图5为本说明书实施例提供的又一种活体攻击检测方法的流程图；

图6为本说明书实施例提供的一种活体攻击检测模型的训练方法的流程图；

图7为本说明书实施例提供的一种活体攻击检测装置的结构示意图；

图8为本说明书实施例提供的一种活体攻击检测模型的训练装置的结构示意图；

图9为本说明书实施例提供的一种电子设备的结构示意图。

具体实施方式

为使得本说明书的特征和优点能够更加的明显和易懂，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而非全部实施例。基于本说明书中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

首先，对本说明书一个或多个实施例涉及的名词术语进行解释。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

生物识别：生物识别技术就是通过计算机与光学、声学、生物传感器和生物统计学原理等高科技手段密切结合，利用人体固有的生理特性，(如指纹、脸像、虹膜等)和行为特征(如笔迹、声音、步态等)来进行个人身份的鉴定。

人脸识别：人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。

活体检测：活体检测是在一些身份验证场景确定对象真实生理特征的方法，在人脸识别应用中，活体检测能通过眨眼、张嘴、摇头、点头等组合动作，使用人脸关键点定位和人脸追踪等技术，验证用户是否为真实活体本人操作。可有效抵御照片、视频、换脸、面具、遮挡、3D动画以及屏幕翻拍等常见的攻击手段，从而帮助用户甄别欺诈行为，保障用户的利益。

炫彩活体：在人脸识别核身系统中包括炫彩交互过程，通过屏幕打光的方式，采集到打光人脸的视频，以用于判断人脸识别过程中的真人与攻击，该过程称之为炫彩活体。

绕过攻击检测：在人脸识别系统中会存在绕过摄像头的注入攻击类型，比如直接向人脸识别系统中上传视频。

颜色直方图分析：对整幅图像统计分析不同色彩所占的比例，从而提取到整幅图像的颜色特征。

视频帧差颜色放大：在炫彩活体中的唯一信息来自人脸针对与打光新号的反光效果，而采集到的打光新号强弱与环境光存在较大的相关性，因此需要尽可能放大打光效果。

归一化：将取值范围不同的数列映射到(0，1)区间上，便于数据的处理。在一些情况下，归一化后的数值可以直接被实现为概率。

随机失活(Dropout)：是对具有深度结构的人工神经网络进行优化的方法，在学习过程中通过将隐含层的部分权重或输出随机归零，降低节点间的相互依赖性从而实现神经网络的正则化，降低其结构风险。例如在模型训练过程中，存在一个向量(1，2，3，4)，将该向量输入随机失活层后，随机失活层可以随机将向量(1，2，3，4)中的一个数字转化为0，比如将2转化为0，那么向量就变成了(1，0，3，4)。

学习率(Learning Rate)：用于控制模型的学习进度，学习率可以指导模型在梯度下降法中，如何使用损失函数的梯度调整网络权重。学习率如果过大，可能会使损失函数直接越过全局最优点，此时表现为损失过大；学习率如果过小，损失函数的变化速度很慢，会大大增加网络的收敛复杂度，并且很容易被困在局部最小值或者鞍点。

嵌入编码(Embedded Coding)：嵌入编码在数学上表示一个对应关系，即通过一个函数F将X空间上的数据映射到Y空间上，其中该函数F是单射函数，映射的结果是结构保存，单射函数表示映射后的数据与映射前的数据唯一对应，结构保存表示映射前数据的大小关系后映射后数据的大小关系相同，例如映射前存在数据X1以及X2，映射后得到X1对应的Y1以及X2对应的Y2。若映射前的数据X1＞X2，那么相应地，映射后的数据Y1大于Y2。对于词语来说，就是将词语映射到另外一个空间，便于后续的机器学习和处理。

注意力权重：可以表示训练或预测过程中某个数据的重要性，重要性表示输入的数据对输出数据影响的大小。重要性高的数据其对应的注意力权重的值较高，重要性低的数据其对应的注意力权重的值较低。在不同的场景下，数据的重要性并不相同，模型的训练注意力权重的过程也即是确定数据重要性的过程。

需要说明的是，本说明书实施例所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本说明书实施例中涉及的人脸图像是在充分授权的情况下获取的。

下面，对本说明书实施例提供的技术方案的实施环境进行介绍。

图1是本说明书实施例提供的一种活体攻击检测方法的实施环境示意图，参见图1，该实施环境包括终端110以及服务器120。

终端110通过无线网络或有线网络与服务器120相连。可选地，终端110是智能手机、平板电脑、笔记本电脑、台式计算机、智能手表等，但并不局限于此。该终端110上设置有拍摄装置，该拍摄装置用于拍摄图像，在本说明书实施例中，该拍摄装置用于拍摄目标对象的人脸验证视频。终端110安装和运行有支持人脸识别的应用程序。

服务器120是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器120为终端110上运行的应用程序提供后台服务，比如，服务器120为终端110上运行的应用程序提供对应的服务，在本说明书实施例中，服务器120为终端运行的支持人脸识别的应用程序提供后台服务，比如使用活体攻击检测模型来确定是否受到活体攻击，或者训练用于活体攻击检测的活体攻击检测模型。

本领域技术人员可以知晓，上述终端110和服务器120的数量可以更多或更少。比如上述终端110和服务器120均仅为一个，或者上述终端110和服务器120均为几十个或几百个，或者更多数量，此时上述实施环境中还包括其他终端和服务器，本说明书实施例对终端的数量和设备类型不加以限定。

介绍完本说明书实施例的实施环境之后，下面将结合上述实施环境对本说明书实施例的应用场景进行介绍，在下述说明过程中，终端也即是上述实施环境中的终端110，服务器也即是上述实施环境中的服务器120。本说明书实施例提供的技术方案能够应用在各类应用人脸识别系统的场景中，比如，应用在各类提供刷脸支付功能的支付类应用中，或者应用在各类提供刷脸支付功能的支付设备中，或者应用在各类带有刷脸支付功能的自动售货机中，或者应用在各类具有人脸识别的门禁设备中，本说明书实施例对此不作限定。

在本说明书实施例提供的技术方案应用在各类提供刷脸支付功能的支付类应用中为例，在使用支付类应用提供的刷脸支付功能时，终端采集目标对象的人脸验证视频，该人脸验证视频用于验证该目标对象的身份，该终端为运行该支付类应用的终端，该目标对象为使用该终端的用户。终端将该目标对象的人脸验证视频发送给服务器，服务器获取该目标对象的人脸验证视频。服务器从目标对象的人脸验证视频中获取多个打光帧和多个非打光帧，其中，多个打光帧是在对目标对象进行打光的情况下采集的，该多个非打光帧是在未对该目标对象进行打光的情况下采集的。服务器基于多个打光帧与多个非打光帧之间的差异，确定多个差值图。将多个差值图输入活体攻击检测模型来进行特征提取，得到多个差值图的差值图特征。服务器基于多个差值图的差值图特征能够确定该人脸验证视频的类型，从而实现活体攻击检测。在上述活体攻击检测的过程中，获取了人脸验证视频中的打光帧和非打光帧，利用表示打光帧和非打光帧之间差异的差值图来进行活体攻击检测，充分利用了人脸验证视频提供的信息，提高了活体攻击检测的准确性。

上述是以本说明书实施例提供的技术方案应用在各类提供刷脸支付功能的支付类应用中为例进行说明的，在上述其他应用场景中，均能够通过上述方式来检测活体攻击，具体过程在此不再赘述。

在介绍完本说明书实施例的实施环境和应用场景之后，下面对本说明书实施例提供的技术方案进行介绍，参见图2，以执行主体为服务器，方法包括下述步骤。

202、服务器从目标对象的人脸验证视频中获取多个打光帧和多个非打光帧，该多个打光帧是在对该目标对象进行打光的情况下采集的，该多个非打光帧是在未对该目标对象进行打光的情况下采集的。

其中，该人脸验证视频为目标对象的人脸验证视频，该人脸验证视频用于使用人脸识别服务，使用人脸识别服务是为了进行身份验证，目标对象为使用人脸识别服务的用户。该人脸验证视频包括多个视频帧，该多个视频帧包括多个打光帧和多个非打光帧，打光帧是在对目标对象进行打光的情况下采集的，非打光帧是在未对该目标对象进行打光的情况下采集的，打光是指在对目标对象进行拍摄的过程中以不同颜色的光照射目标对象，不打光是指在对目标对象进行拍摄的过程中使用不同颜色的光照射目标对象，这个过程也被称为打光炫彩。在一些实施例中，对目标对象进行打光是以一定周期进行的，比如以打光、不打光、打光、不打光……的顺序来进行。在一些实施例中，打光是由采集该人脸验证视频的终端的屏幕进行的。

204、服务器基于该多个打光帧和该多个非打光帧，确定多个差值图，该差值图用于表示打光帧与对应非打光帧之间的差异。

其中，由于该人脸验证视频是对该目标对象进行拍摄后获取的，那么由于存在打光与不打光的差异，打光帧和不打光帧会有差异，差值图就是用于体现这种差异的。对于真人和活体攻击来说，真人的打光帧与非打光帧之间的差值图与活体攻击的打光帧与非打光帧之间的差值图的规律是不同的，利用差值图能够实现活体攻击的检测。打光帧与非打光帧之间的对应关系由技术人员根据实际情况进行设置，本说明书实施例对此不作限定。

206、服务器将该多个差值图输入活体攻击检测模型，通过该活体攻击检测模型对该多个差值图进行特征提取，得到各个差值图的差值图特征。

其中，该活体攻击检测模型用于检测活体攻击，在本说明书实施例中，该活体攻击检测模型能够通过体现打光帧和非打光帧之间差异的差值图来实现活体攻击的检测。对差值图进行特征提取是为了对该差值图进行抽象化表达，使得该活体攻击检测模型更加准确且高效地处理差值图。

208、服务器通过该活体攻击检测模型，基于该多个差值图的差值图特征进行预测，输出该人脸验证视频的视频类型，该视频类型用于表示该人脸验证视频是否为活体攻击视频。

其中，该活体攻击检测模型是一个二分类模型，该活体攻击检测模型将输入的人脸验证视频分为两种类型，一种是活体攻击视频，另一种是不是活体攻击视频。在该人脸验证视频为活体攻击视频的情况下，也就表示受到了活体攻击；在该人脸验证视频不是活体攻击视频的情况下，也就表示未受到活体攻击，可以基于该人脸验证视频正常进行身份验证。

上述步骤202-208是对本说明书实施例提供的技术方案的简单介绍，为了对本说明书实施例提供的技术方案进行更加清楚地说明，下面将结合一些例子，对本说明书实施例提供的技术方案进行说明，参见图3，方法包括下述步骤。

302、服务器获取目标对象的人脸验证视频。

其中，该人脸验证视频为目标对象的人脸验证视频，该人脸验证视频用于使用人脸识别服务，使用人脸识别服务是为了进行身份验证，目标对象为使用人脸识别服务的用户。在一些实施例中，该人脸验证视频是该目标对象在使用人脸识别服务时采集的，该人脸验证视频的采集和使用经过该目标对象的充分授权。另外，服务器不会存储该目标对象的人脸验证视频，在基于该人脸验证视频完成活体攻击检测和人脸识别之后，服务器会删除该人脸验证视频或者对该人脸验证视频进行匿名化，消除人脸验证视频与目标对象之间的关联，从而保护目标对象的隐私。该人脸验证视频是在对目标对象进行炫彩打光的过程中采集的，也即是在采集该人脸验证视频的过程中，以不同颜色的光照射目标对象。在一些实施例中，目标对象的人脸验证视频也被称为目标对象的打光视频或者炫彩视频。

在一种可能的实施方式中，服务器通过终端获取目标对象的人脸验证视频。

其中，该终端为运行有支付类应用的终端，或者为提供刷脸支付功能的支付设备，或者为带有刷脸支付功能的自动售货机，或者为具有人脸识别的门禁设备等，本说明书实施例对此不作限定。

在这种实施方式下，服务器能够从终端快捷地获取目标对象的人脸验证视频，后续能够基于该人脸验证视频来对目标对象进行身份验证。

举例来说，服务器获取终端上传的目标对象的初始验证视频，该初始验证视频用于进行身份验证。服务器对该初始验证视频进行人脸识别，确定该初始验证视频是否包括人脸。在该初始验证视频包括人脸的情况下，服务器将该初始验证视频确定为该目标对象的人脸验证视频。在该初始验证视频不包括人脸的情况下，服务器向终端发送提示信息，该提示信息用于提示目标对象重新拍摄初始验证视频。通过这种实施方式，服务器能够对终端上传的初始验证视频进行人脸识别，在该初始验证视频包括人脸的情况下再基于该初始验证视频进行进一步的处理，避免浪费服务器的运算资源。当然，在一些实施例中，也可以由终端来判定初始验证视频是包括人脸，在初始验证视频包括人脸的情况下才会将该初始验证视频上传至服务器，才是该初始验证视频也即是该目标对象的人脸验证视频；在该初始验证视频不包括人脸的情况下，终端显示提示信息。

比如，响应于人脸识别操作，终端显示人脸识别界面，该人脸识别界面用于提示目标对象即将开始进行人脸识别。在目标时长之后，终端采集目标对象的初始验证视频，其中，目标时长由技术人员根据实际情况进行设置，本说明书实施例对此不作限定。终端将拍摄到的该目标对象的初始验证视频发送给服务器，服务器获取该目标对象的初始验证视频。服务器将该初始验证视频输入人脸识别模型，通过该人脸识别模型对该初始验证视频进行识别，确定该初始验证视频是否包括人脸，其中，该人脸识别模型可以为任一结构的模型，本说明书实施例对此不作限定。在初始验证视频包括人脸的情况下，服务器将该初始验证视频确定为该目标对象的人脸验证视频。

在一种可能的实施方式中，服务器从对象视频数据库中获取该目标对象的人脸验证视频，该对象视频数据库存储有多个对象的人脸验证视频。在一些实施例中，对于该多个对象中的任一对象，该对象使用的终端采集到该对象的人脸验证视频之后，将该对象的人脸验证视频上传至对象视频数据库，由服务器从该对象视频数据库中获取该对象的人脸验证视频，并基于该对象的人脸验证视频进行后续人脸识别的相关操作。当然，在服务器对该对象视频数据库中的人脸验证视频进行处理之后，会将该对象视频数据库中的人脸验证视频删除，从而保护对象的隐私，避免人脸验证视频被滥用。

在这种实施方式下，通过设置对象视频数据库作为人脸验证视频的中转，从而在出现大量并发的人脸识别和活体攻击检测任务时服务器无法及时处理而导致数据丢失的情况，提高人脸识别和活体攻击检测的成功率。

在一些实施例中，在服务器获取人脸验证视频之后，服务器还能够对该人脸验证视频进行质量评分，得到人脸验证视频的视频质量分数。在该人脸验证视频的视频质量分数大于或等于视频质量分数阈值的情况下，服务器基于该人脸验证视频执行后续活体攻击检测。在该人脸验证视频的视频质量分数小于该视频质量分数阈值的情况下，服务器重新获取目标对象的人脸验证视频。视频质量分数用于表示人脸验证视频的质量，视频质量分数越高，那么人脸验证视频的质量也就越好。视频质量分数越低，那么人脸验证视频的质量也就越差。该视频质量分数阈值由技术人员根据实际情况进行设置，本说明书实施例对此不作限定。

通过这种实施方式，服务器在基于该人脸验证视频进行活体攻击检测之前，能够对该人脸验证视频进行质量评分，并基于人脸验证视频的视频质量分数来对人脸验证视频进行过滤，保证以质量较高的人脸验证视频来进行活体攻击检测，保证活体攻击检测的准确性。

304、服务器从目标对象的人脸验证视频中获取多个打光帧和多个非打光帧，该多个打光帧是在对该目标对象进行打光的情况下采集的，该多个非打光帧是在未对该目标对象进行打光的情况下采集的。

其中，该人脸验证视频包括多个视频帧，该多个视频帧包括多个打光帧和多个非打光帧，打光帧是在对目标对象进行打光的情况下采集的，非打光帧是在未对该目标对象进行打光的情况下采集的，打光是指在对目标对象进行拍摄的过程中以不同颜色的光照射目标对象，不打光是指在对目标对象进行拍摄的过程中使用不同颜色的光照射目标对象，这个过程也被称为打光炫彩。在一些实施例中，对目标对象进行打光是以一定周期进行的，比如以打光、不打光、打光、不打光……的顺序来进行。在一些实施例中，打光是由采集该人脸验证视频的终端的屏幕进行的，也即是，在目标对象使用终端拍摄人脸验证视频的过程中，该终端的屏幕发出多种颜色的光，多种颜色的光照在目标对象的脸上产生不同的效果，终端在打光过程中对目标对象进行拍摄。

在一种可能的实施方式中，服务器对该人脸验证视频的多个视频帧进行颜色分布统计，得到各个视频帧的颜色分布统计结果。服务器基于各个视频帧的颜色分布统计结果，从该多个视频帧中确定该多个打光帧和该多个非打光帧，打光帧与非打光帧的颜色分布统计结果不同。

其中，由于打光帧是对目标对象进行打光时采集的，非打光帧是未对目标对象进行打光时采集的，那么打光帧和非打光帧在颜色分布上就有显著的区别，通过对多个视频帧进行颜色分布统计，能够对打光帧和非打光帧进行区分。比如，在对目标对象进行打光时采用红绿蓝三原色的光来进行，那么在打光帧中，红绿蓝的分布要明显多余非打光帧。

在这种实施方式下，服务器能够通过颜色分布统计的方式来确定打光帧和非打光帧，由于打光帧和非打光帧在颜色分布上存在显著区别，那么通过颜色分布统计来进行划分时的准确性较高。

举例来说，服务器对各个视频帧中多个像素点进行颜色分布统计，得到各个视频帧的颜色直方图。服务器基于各个视频帧的颜色直方图，从该多个视频帧中确定该多个打光帧和该多个非打光帧。其中，颜色直方图是对视频帧中像素点进行颜色分布统计得到的，能够反映视频帧中像素点的颜色分布情况，打光帧的颜色直方图与非打光帧的颜色直方图不同。在一些实施例中，视频帧的颜色直方图包括视频帧中红绿蓝三个颜色的分布情况，通过红绿蓝三个颜色的分布情况来反映视频帧中像素点的颜色分布情况。

比如，对于该人脸验证视频中的任一视频帧，服务器分别统计该视频帧的像素点在三个颜色通道上的通道值，得到该视频帧的颜色直方图，该颜色直方图用于体现该视频帧的像素点在三个颜色通道上通道值的分布情况，在一些实施例中，该颜色直方图的横坐标为颜色通道值，该颜色直方图的纵坐标为像素点的数量。通过上述方式，服务器能够生成该人脸验证视频中多个视频帧的颜色直方图。服务器基于该多个视频帧的颜色直方图，将该多个视频帧分为多个打光帧和多个非打光帧。

在一种可能的实施方式中，服务器基于该人脸验证视频对应的打光周期，从该人脸验证视频的多个视频帧中获取该多个打光帧和该多个非打光帧。

其中，打光周期包括多个打光期和多个非打光期，在打光期(Flash)会对目标对象进行打光，在非打光期(Peace)内不会对目标对象进行打光，多个打光期和多个非打光期交叉排列形成打光周期。相应地，打光帧对应于打光期，非打光帧对应于非打光期，根据打光周期就能够确定多个视频帧中的打光帧和非打光帧。在一些实施例中，该人脸验证视频对应的打光周期是由采集该人脸验证视频的终端上传的，服务器直接通过该终端获取该打光周期即可。

在这种实施方式下，服务器能够通过打光周期来划分打光帧和非打光帧，无需进行复杂的运算，划分的效率较高。

举例来说，服务器基于该人脸验证视频对应的打光周期，将该人脸验证视频划分为多个第一类视频片段和多个第二类视频片段，该第一类视频片段是在该目标对象进行打光的情况下采集的，该第二类视频片段是在未对该目标对象进行打光的情况下采集的。服务器从该多个第一类视频片段中获取该多个打光帧。服务器从该第二类视频片段中获取该多个非打光帧。

其中，第一类视频片段和第二类视频片段是基于打光周期对人脸验证视频进行切分后得到的，该第一类视频片段也可以被称为打光视频片段，该第二类视频片段也可以被称为非打光视频片段。

在一种可能的实施方式中，服务器将该人脸验证视频的多个视频帧输入视频帧分类模型，通过该视频帧分类模型对该多个视频帧进行分类，输出各个视频帧的视频帧类型，视频帧类型用于表示视频帧为打光帧还是非打光帧。基于各个视频帧的视频帧类型，从该多个视频帧中获取该多个打光帧和该多个非打光帧。

其中，该视频帧分类模型为一个二分类模型，能够将输入的视频帧分为打光帧或者非打光帧，该视频帧分类模型可以采用任一结构的模型，本说明书实施例对此不作限定。

在这种实施方式下，服务器能够通过视频帧分类模型来对该人脸验证视频中的视频帧进行分类，从而得到该人脸验证视频中的多个打光帧和多个非打光帧。使用视频帧分类模型能够在保证分类准确性的前提下，提高分类的效率。

举例来说，服务器将该人脸验证视频的多个视频帧输入视频帧分类模型，通过该视频帧分类模型对该多个视频帧进行特征提取，得到各个视频帧的视频帧特征。服务器通过该视频帧分类模型对各个视频帧的视频帧特征进行全连接和归一化，输出各个视频帧的视频帧类型。

需要说明的是，服务器能够采用上述任一种方式来从该人脸验证视频中获取打光帧和非打光帧，本说明书实施例对此不作限定。

可选地，在服务器从目标对象的人脸验证视频中获取多个打光帧和多个非打光帧之前，服务器还能够执行下述步骤。

在一种可能的实施方式中，服务器对该人脸验证视频的多个视频帧进行人脸识别，得到各个视频帧中的人脸区域。服务器从各个视频帧中裁剪出人脸区域，得到该人脸验证视频的多个人脸视频帧。服务器基于该多个人脸视频帧进行后续处理，比如从该多个人脸视频帧中获取多个打光帧和多个非打光帧。在人脸识别过程中，相较于背景区域，更加关注人脸区域，通过人脸识别和裁剪的方式，使得后续处理过程集中在人脸区域上，提高活体攻击检测的准确性。

306、服务器基于该多个打光帧和该多个非打光帧，确定多个差值图，该差值图用于表示打光帧与对应非打光帧之间的差异。

在一种可能的实施方式中，服务器基于该多个打光帧和该多个非打光帧，确定多个初始差值图。服务器对该多个初始差值图进行图像增强，得到该多个差值图。

其中，图像增强能够提高图像的清晰度，由于差值图能够反映打光帧和非打光帧之间的差异，该差值图也被称为打光线索，对该差值图进行图像增强能够放大打光帧和非打光帧之间的差异，因此也被称为打光线索放大。

在这种实施方式下，服务器在获取多个初始差值图的情况下，能够对该多个初始差值图进行图像增强，得到的多个差值图能够更加清楚地反映打光帧和非打光帧之间的差异，从而能够提高后续基于差值图进行活体攻击检测的准确性。

为了对上述实施方式进行更加清楚地说明，下面将分为两个部分对上述实施方式进行说明。

第一部分、服务器基于该多个打光帧和该多个非打光帧，确定多个初始差值图。

在一种可能的实施方式中，对于该多个打光帧中的任一打光帧，服务器在该多个非打光帧中确定与该打光帧对应的非打光帧。服务器将该打光帧与该非打光帧中对应像素点的像素值相减，得到该打光帧对应的初始差值图。

其中，该打光帧与非打光帧中对应像素点是指该打光帧与该非打光帧中相同位置的像素点，比如，该打光帧左上角的第一个像素点和该非打光帧左上角的第一个像素点就是对应像素点。通过打光帧与对应非打光帧的相减，能够有效消除打光帧和非打光帧中非人脸区域的信息，有利于后续活体攻击检测模型集中在人脸区域进行活体攻击检测。

举例来说，对于该多个打光帧中的任一打光帧，服务器基于该打光帧在该人脸验证视频的多个视频帧中的序号，确定与该打光帧对应于的非打光帧，其中，打光帧在该多个视频帧中的序号用于表示该打光帧在该多个视频帧中的顺序。服务器将该打光帧与该非打光帧中对应像素点的像素值相减，得到该打光帧对应的初始差值图。

比如，对于该多个打光帧中的任一打光帧，服务器将该打光帧在该人脸验证视频的多个视频帧中的序号与目标数值相加，得到与该打光帧对应于的非打光帧的序号，该目标数值为该打光帧所在打光帧集合中打光帧的数量，其中，该打光帧所在的打光帧集合也可以被称为该人脸验证视频的一个第一类视频片段。服务器基于该非打光帧的序号，确定与该打光帧对应的非打光帧。比如，该打光帧的序号为6，该打光帧所在的打光帧集合中打光帧的数量为5，那么该打光帧对应的非打光帧的序号为5+6＝11，服务器将序号为11的视频帧确定为该打光帧对应的非打光帧。

下面结合图4来进一步说明，参见图4，以人脸验证视频包括15个视频帧为例，该15个视频帧的编号为1-15。该15个视频帧的前5个视频(1-5)帧为非打光视频帧(Peace)，中间5个视频帧(6-10)为打光视频帧(Flash)，后五个视频帧(11-15)为非打光视频帧(Peace)。视频帧6与视频帧1相减能够得到一个差值图S1，视频帧10与视频帧5相减能够得到另一个差值图S2，视频帧11与视频帧6相减能够得到又一个差值图S3。

在一种可能的实施方式中，对于该多个非打光帧中的任一非打光帧，服务器在该多个打光帧中确定与该非打光帧对应的打光帧。服务器将该非打光帧与该打光帧中对应像素点的像素值相减，得到该非打光帧对应的初始差值图。

举例来说，对于该多个非打光帧中的任一非打光帧，服务器基于该非打光帧在该人脸验证视频的多个视频帧中的序号，确定与该非打光帧对应于的打光帧，其中，非打光帧在该多个视频帧中的序号用于表示该非打光帧在该多个视频帧中的顺序。服务器将该非打光帧与该打光帧中对应像素点的像素值相减，得到该非打光帧对应的初始差值图。

比如，对于该多个非打光帧中的任一非打光帧，服务器将该非打光帧在该人脸验证视频的多个视频帧中的序号与目标数值相加，得到与该非打光帧对应于的打光帧的序号，该目标数值为该非打光帧所在非打光帧集合中非打光帧的数量，其中，该非打光帧所在的非打光帧集合也可以被称为该人脸验证视频的一个第一类视频片段。服务器基于该打光帧的序号，确定与该非打光帧对应的打光帧。比如，该非打光帧的序号为1，该非打光帧所在的非打光帧集合中非打光帧的数量为5，那么该非打光帧对应的打光帧的序号为1+5＝6，服务器将序号为6的视频帧确定为该非打光帧对应的打光帧。

第二部分、服务器对该多个初始差值图进行图像增强，得到该多个差值图。

在一种可能的实施方式中，服务器对该多个初始差值图进行直方图均衡化、拉普拉斯变换、对数变换以及伽马变换中的至少一项，得到该多个差值图。

其中，直方图均衡化、拉普拉斯变换、对数变换以及伽马变换均是图像增强的方法，服务器能够采用上述一项或者多项方法来对初始差值图进行图像增强，从而得到差值图，下面分别对这些图像增强的方法进行说明。

直方图均衡化：直方图均衡化则是利用累积函数对灰度值进行调整，实现对比度的增强。原理是将原始图像的灰度图从比较集中的某个灰度区间均匀分布在整个灰度空间中，实现对图像的非线性拉伸，重新分配图像像素值。直方图均衡化保证在图像像素映射过程中原来的大小关系保持不变，即较亮的区域依旧较亮，较暗的依旧较暗，只是对比度增加，不能明暗颠倒；保证像素映射函数的值域在0和255之间。累积分布函数是单增长函数，并且值域是0到1，累积分布函数的形式如下述公式(1)。

其中，s_k为累积分布函数，n为图像中像素点的总数，n_j是当前灰度级的像素点个数，L为图像中可能的灰度级总数，k和L均为正整数。

拉普拉斯变换：利用拉普拉斯算子进行图像增强本质是利用图像的二次微分对图像进行蜕化，在图像领域中微分是锐化，积分是模糊，利用二次微分对图像进行蜕化即利用邻域像素提高对比度。

对数变换：对数变换可以将图像的低灰度值部分扩展，显示出低灰度部分更多的细节，将其高灰度值部分压缩，减少高灰度值部分的细节，从而达到强调图像低灰度部分的目的。

伽马变换：伽马变换主要用于图像的校正，将灰度过高或者灰度过低的图片进行修正，增强对比度。变换公式就是对原图像上每一个像素值做乘积运算。

需要说明的是，上述提供的图像增强方法仅仅是一种示例，也可以采用其他图像增强方法，本说明书实施例对此不作限定。

308、服务器将该多个差值图输入活体攻击检测模型，通过该活体攻击检测模型对该多个差值图进行特征提取，得到各个差值图的差值图特征。

在一种可能的实施方式中，通过该活体攻击检测模型对该多个差值图进行至少一次卷积，得到各个差值图的差值图特征。

在上述实施方式中，服务器能够通过卷积运算的方式来提取差值图的差值图特征，由于卷积运算的速度较快，且卷积运算能够提取到更加深层的特征，那么服务器也就能够又快又准地完成特征提取。

举例来说，对于该多个差值图中的任一差值图，服务器通过该活体攻击检测模型的卷积层对该差值图进行卷积，得到该差值图的差值图特征。比如，服务器通过该活体攻击检测模型的卷积层，采用多个卷积核在该差值图上进行滑动，在滑动过程中与被覆盖部分进行卷积运算，得到多个卷积核分别对应的多个卷积特征。服务器通过该活体攻击检测模型，将该多个卷积特征进行融合，得到该差值图的差值图特征。在一些实施例中，该多个卷积核的数量与该差值图的颜色通道的数量相关联，比如为该差值图的颜色通道的数量的整数倍，在这种情况下，该多个卷积核分别用于提取该差值图不同颜色通道的卷积特征。

上述是以服务器通过活体攻击检测模型对一个差值图进行特征提取为例进行说明的，对于该多个差值图中的其他差值图，进行特征提取的过程与上述描述属于同一发明构思，在此不再赘述。

在一种可能的实施方式中，服务器通过该活体攻击检测模型对该多个差值图进行至少一次全连接，得到各个差值图的差值图特征。

在这种实施方式中，服务器能够通过全连接的方式来提取该差值图的差值图特征，由于全连接的速度较快，服务器能够快速完成对差值图的特征提取。

举例来说，对于该多个差值图中的任一差值图，服务器通过该活体攻击检测模型的全连接层对该差值图进行至少一次全连接，得到该差值图的差值图特征。比如，服务器通过该活体攻击检测模型的全连接层，将该差值图与至少一个全连接矩阵相乘，得到该差值图的差值图特征。

在一种可能的实施方式中，服务器通过该活体攻击检测模型，基于注意力机制对该多个差值图进行编码，得到各个差值图的差值图特征。

在这种实施方式下，服务器能够利用注意力机制对差值图进行编码，从而充分利用差值图不同部分之间的关联，得到的差值图特征能够更加准确地反映差值图的特性。

举例来说，对于该多个差值图中的任一差值图，服务器将该差值图划分为多个图像块。服务器对该多个图像块进行嵌入编码，得到各个图像块的嵌入特征。服务器将该多个图像块的多个嵌入特征输入该活体攻击检测模型，通过该活体攻击检测模型的注意力编码层，确定每两个图像块之间的注意力权重。服务器通过该注意力编码层，基于每两个图像块之间的注意力权重以及该多个图像块的多个嵌入特征，确定各个图像块的注意力特征。服务器通过该注意力编码层，将该多个图像块的多个注意力特征进行融合，得到该差值图的差值图特征。

需要说明的是，服务器能够通过上述任一种方式来对该多个差值图进行特征提取，得到各个差值图的差值图特征，本说明书实施例对此不作限定。

310、服务器通过该活体攻击检测模型，将该多个差值图的差值图特征进行融合，得到该人脸验证视频的分类特征。

其中，该活体攻击检测模型是一个二分类模型，该活体攻击检测模型将输入的人脸验证视频分为两种类型，一种是活体攻击视频，另一种是不是活体攻击视频。分类特征用于对人脸验证视频进行分类，也即是确定该人脸验证视频是否为活体攻击视频。

在一种可能的实施方式中，服务器通过该活体攻击检测模型，将该多个差值图的差值图特征进行拼接或者相加，得到该人脸验证视频的分类特征。

下面通过两个例子对上述实施方式进行说明。

例1、服务器通过该活体攻击检测模型，将该多个差值图的差值图特征进行拼接，得到该多个差值图的拼接特征。服务器通过该活体攻击检测模型，对该多个差值图的拼接特征进行卷积和池化，得到该人脸验证视频的分类特征。

在这种实施方式下，通过对该拼接特征进行卷积，能够对该拼接特征进行进一步的特征提取，通过池化能够降低拼接特征中的数据量，提高运算效率。

例2、服务器通过该活体攻击检测模型，将该多个差值图的差值图特征进行相加，得到该多个差值图的融合特征。服务器通过该活体攻击检测模型，对该融合特征进行卷积和池化，得到该人脸验证视频的分类特征。

在这种实施方式下，通过对该融合特征进行卷积，能够对该融合特征进行进一步的特征提取，通过池化能够降低融合特征中的数据量，提高运算效率。

312、服务器通过该活体攻击检测模型，基于该分类特征进行预测，输出该人脸验证视频的视频类型，该视频类型用于表示该人脸验证视频是否为活体攻击视频。

其中，在该人脸验证视频为活体攻击视频的情况下，也就表示受到了活体攻击。在该人脸验证视频不是活体攻击视频的情况下，也就表示未受到活体攻击，可以基于该人脸验证视频正常进行身份验证。

在一种可能的实施方式中，服务器通过该活体攻击检测模型，对该分类特征进行全连接和归一化，得到该人脸验证视频的分类值。在该分类值大于或等于分类值阈值的情况下，服务器确定该人脸验证视频为活体攻击视频。在该分类值小于该分类值阈值的情况下，服务器确定该人脸验证视频不是活体攻击视频。其中，该分类值阈值由技术人员根据实际情况进行设置，本说明书实施例对此不作限定。

在一些实施例中，归一化时采用Softmax(软最大化)函数、Sigmoid(S型生长)函数或者Relu函数中的任一项，本说明书实施例对此不作限定。

下面结合图5对本说明书实施例提供的活体攻击检测方法进行说明。

参见图5，从打光视频(人脸验证视频)中获取多个打光帧和多个非打光帧。基于该多个打光帧和该多个非打光帧确定多个初始差值图，可以有效消除视频帧中人脸区域以外的颜色特征。对多个初始差值图进行图像增强，得到多个差值图，从而对打光颜色进行放大，也就可以进一步方法活体攻击与正常识别之间的差异。将该多个差值图输入炫彩活体模型(活体攻击检测模型)，通过该炫彩活体模型对该多个差值图特征提取，得到各个差值图的差值图特征。将多个差值图的差值图特征进行融合，从而得到更具鲁棒性的分类特征，通过该分类特征进行分类能够提高分类的准确性。基于该分类特征实现最终的视频分类，也即是进行活体攻击的检测。

上述所有可选技术方案，可以采用任意结合形成本说明书的可选实施例，在此不再一一赘述。

为了对本说明书实施例提供的技术方案进行更加清楚地说明，下面对该活体攻击检测模型的训练方法进行说明，以训练该活体攻击检测模型的执行主体为服务器为例，参见图6，方法包括下述步骤，模型的训练包括多个迭代过程，下面以一个迭代过程为例进行说明，其它迭代过程属于同一发明构思。

602、服务器从样本对象的样本人脸验证视频中获取多个样本打光帧和多个样本非打光帧，该多个样本打光帧是在对该样本对象进行打光的情况下采集的，该多个样本非打光帧是在未对该样本对象进行打光的情况下采集的。

其中，样本人脸验证视频是用于进行模型训练的人脸验证视频，该样本人脸验证视频的收集和使用均经过样本人脸验证视频对应对象的充分授权。步骤602获取样本打光帧和样本非打光帧的方法与上述步骤304中获取打光帧和非打光帧的方法属于同一发明构思，实现过程参见上述步骤304的相关描述，在此不再赘述。

604、服务器基于该多个样本打光帧和该多个样本非打光帧，确定多个样本差值图，该样本差值图用于表示样本打光帧与对应样本非打光帧之间的差异。

其中，步骤604中确定样本差值图的方法与上述步骤306中确定差值图的方法属于同一发明构思，实现过程参见上述步骤306的相关描述，在此不再赘述。

606、服务器将该多个样本差值图输入活体攻击检测模型，通过该活体攻击检测模型对该多个样本差值图进行特征提取，得到各个该样本差值图的差值图特征。

其中，步骤606中确定差值图特征的方法与上述步骤308中确定差值图特征的方法属于同一发明构思，实现过程参见上述步骤308的相关描述，在此不再赘述。

608、服务器通过该活体攻击检测模型，基于该多个样本差值图的差值图特征进行预测，输出该样本人脸验证视频的预测视频类型，该视频类型用于表示该样本人脸验证视频是否为活体攻击视频。

其中，步骤608中的处理方式与上述步骤310和312属于同一发明构思，实现过程参见上述步骤310和312的相关描述，在此不再赘述。

610、服务器基于该预测视频类型和该样本人脸验证视频的标注类型之间的差异信息，对该活体攻击检测模型进行训练。

其中，样本人脸验证视频的标注类型是技术人员配置的训练标注，该标注类型用于表示该样本人脸验证视频是否为活体攻击图像。基于该差异信息对该活体攻击检测模型进行训练的目的是使得该差异信息尽可能减小。

在一种可能的实施方式中，服务器基于该预测类型和该标注类型之间的差异信息，构建损失函数。服务器采用梯度下降法，基于该损失函数对该活体攻击检测模型进行训练。

通过本说明书实施例提供的技术方案，从样本对象的样本人脸验证视频中获取多个样本打光帧和多个样本非打光帧，其中，多个样本打光帧是在对样本对象进行打光的情况下采集的，该多个样本非打光帧是在未对该样本对象进行打光的情况下采集的。基于多个样本打光帧与多个样本非打光帧之间的差异，确定多个样本差值图。将多个样本差值图输入活体攻击检测模型来进行特征提取，得到多个样本差值图的差值图特征，基于多个样本差值图的差值图特征能够确定该样本人脸验证视频的预测类型。基于预测类型和标注类型之间的差异信息对该活体攻击检测模型进行训练，使得该活体攻击检测模型具有活体攻击检测的能力。

图7是本说明书实施例提供的一种活体攻击检测装置的结构示意图，参见图7，装置包括：打光帧获取模块701、差值图获取模块702、第一特征提取模块703以及第一预测模块704。

打光帧获取模块701，用于从目标对象的人脸验证视频中获取多个打光帧和多个非打光帧，该多个打光帧是在对该目标对象进行打光的情况下采集的，该多个非打光帧是在未对该目标对象进行打光的情况下采集的。

差值图获取模块702，用于基于该多个打光帧和该多个非打光帧，确定多个差值图，该差值图用于表示打光帧与对应非打光帧之间的差异。

第一特征提取模块703，用于将该多个差值图输入活体攻击检测模型，通过该活体攻击检测模型对该多个差值图进行特征提取，得到各个该差值图的差值图特征。

第一预测模块704，用于通过该活体攻击检测模型，基于该多个差值图的差值图特征进行预测，输出该人脸验证视频的视频类型，该视频类型用于表示该人脸验证视频是否为活体攻击视频。

在一种可能的实施方式中，该打光帧获取模块701，用于执行下述任一项：

对该人脸验证视频的多个视频帧进行颜色分布统计，得到各个该视频帧的颜色分布统计结果。基于各个该视频帧的颜色分布统计结果，从该多个视频帧中确定该多个打光帧和该多个非打光帧，打光帧与非打光帧的颜色分布统计结果不同。

基于该人脸验证视频对应的打光周期，从该人脸验证视频的多个视频帧中获取该多个打光帧和该多个非打光帧。

将该人脸验证视频的多个视频帧输入视频帧分类模型，通过该视频帧分类模型对该多个视频帧进行分类，输出各个该视频帧的视频帧类型，视频帧类型用于表示视频帧为打光帧还是非打光帧。基于各个该视频帧的视频帧类型，从该多个视频帧中获取该多个打光帧和该多个非打光帧。

在一种可能的实施方式中，该打光帧获取模块701，用于对各个该视频帧中多个像素点进行颜色分布统计，得到各个该视频帧的颜色直方图。该基于各个该视频帧的颜色分布统计结果，从该多个视频帧中确定该多个打光帧和该多个非打光帧包括：基于各个该视频帧的颜色直方图，从该多个视频帧中确定该多个打光帧和该多个非打光帧。

在一种可能的实施方式中，该打光帧获取模块701，用于基于该人脸验证视频对应的打光周期，将该人脸验证视频划分为多个第一类视频片段和多个第二类视频片段，该第一类视频片段是在该目标对象进行打光的情况下采集的，该第二类视频片段是在未对该目标对象进行打光的情况下采集的。从该多个第一类视频片段中获取该多个打光帧。从该第二类视频片段中获取该多个非打光帧。

在一种可能的实施方式中，该打光帧获取模块701，用于通过该视频帧分类模型对该多个视频帧进行特征提取，得到各个该视频帧的视频帧特征。通过该视频帧分类模型对各个该视频帧的视频帧特征进行全连接和归一化，输出各个该视频帧的视频帧类型。

在一种可能的实施方式中，该差值图获取模块702，用于基于该多个打光帧和该多个非打光帧，确定多个初始差值图。对该多个初始差值图进行图像增强，得到该多个差值图。

在一种可能的实施方式中，该差值图获取模块702，用于执行下述任一项：

对于该多个打光帧中的任一打光帧，在该多个非打光帧中确定与该打光帧对应的非打光帧。将该打光帧与该非打光帧中对应像素点的像素值相减，得到该打光帧对应的初始差值图。

对于该多个非打光帧中的任一非打光帧，在该多个打光帧中确定与该非打光帧对应的打光帧。将该非打光帧与该打光帧中对应像素点的像素值相减，得到该非打光帧对应的初始差值图。

在一种可能的实施方式中，该差值图获取模块702，用于对该多个初始差值图进行直方图均衡化、拉普拉斯变换、对数变换以及伽马变换中的至少一项，得到该多个差值图。

在一种可能的实施方式中，该第一特征提取模块703，用于执行下述任一项：

通过该活体攻击检测模型对该多个差值图进行至少一次卷积，得到各个该差值图的差值图特征。

通过该活体攻击检测模型对该多个差值图进行至少一次全连接，得到各个该差值图的差值图特征。

通过该活体攻击检测模型，基于注意力机制对该多个差值图进行编码，得到各个该差值图的差值图特征。

在一种可能的实施方式中，该第一预测模块704，用于通过该活体攻击检测模型，将该多个差值图的差值图特征进行融合，得到该人脸验证视频的分类特征。通过该活体攻击检测模型，基于该分类特征进行预测，输出该人脸验证视频的视频类型。

在一种可能的实施方式中，该第一预测模块704，用于通过该活体攻击检测模型，对该分类特征进行全连接和归一化，得到该人脸验证视频的分类值。在该分类值大于或等于分类值阈值的情况下，确定该人脸验证视频为活体攻击视频。在该分类值小于该分类值阈值的情况下，确定该人脸验证视频不是活体攻击视频。

需要说明的是：上述实施例提供的活体攻击检测装置在检测活体攻击时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的活体攻击检测装置与活体攻击检测方法实施例属于同一发明构思，其具体实现过程详见方法实施例，这里不再赘述。

图8是本说明书实施例提供的一种活体攻击检测模型的训练装置的结构示意图，参见图8，装置包括：样本打光帧获取模块801、样本差值图获取模块802、第二特征提取模块803、第二预测模块804以及训练模块805。

样本打光帧获取模块801，用于从样本对象的样本人脸验证视频中获取多个样本打光帧和多个样本非打光帧，该多个样本打光帧是在对该样本对象进行打光的情况下采集的，该多个样本非打光帧是在未对该样本对象进行打光的情况下采集的。

样本差值图获取模块802，用于基于该多个样本打光帧和该多个样本非打光帧，确定多个样本差值图，该样本差值图用于表示样本打光帧与对应样本非打光帧之间的差异。

第二特征提取模块803，用于将该多个样本差值图输入活体攻击检测模型，通过该活体攻击检测模型对该多个样本差值图进行特征提取，得到各个该样本差值图的差值图特征。

第二预测模块804，用于通过该活体攻击检测模型，基于该多个样本差值图的差值图特征进行预测，输出该样本人脸验证视频的预测视频类型，该视频类型用于表示该样本人脸验证视频是否为活体攻击视频。

训练模块805，用于基于该预测视频类型和该样本人脸验证视频的标注类型之间的差异信息，对该活体攻击检测模型进行训练。

需要说明的是：上述实施例提供的活体攻击检测模型的训练装置在训练活体攻击检测模型时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的活体攻击检测装置与活体攻击检测方法实施例属于同一发明构思，其具体实现过程详见方法实施例，这里不再赘述。

本说明书实施例还提供了一种计算机存储介质，该计算机存储介质可以存储有多条程序指令，该程序指令适于由处理器加载并执行如上述方法实施例所描述的方案，在此不进行赘述。

本说明书实施例还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，该至少一条指令由处理器加载并执行如上述方法实施例所描述的方案，在此不进行赘述。

请参见图9，其示出了本说明书一个示例性实施例提供的电子设备的结构示意图，该电子设备可以提供为服务器或者终端。本说明书中的电子设备可以包括一个或多个如下部件：处理器910、存储器920、输入装置930、输出装置940和总线960。处理器910、存储器920、输入装置930和输出装置940之间可以通过总线960连接。

处理器910可以包括一个或者多个处理核心。处理器910利用各种接口和线路连接整个电子设备内的各个部分，通过运行或执行存储在存储器920内的指令、程序、代码集或指令集，以及调用存储在存储器920内的数据，执行电子设备900的各种功能和处理数据。可选地，处理器910可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器910可集成中心处理器(CentralProcessing Unit，CPU)、活体攻击检测器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器910中，单独通过一块通信芯片进行实现。

存储器920可以包括随机存储器(random Access Memory，RAM)，也可以包括只读存储器(Read-only Memory，ROM)。可选地，该存储器920包括非瞬时性计算机可读介质(Non-transitory Computer-readable Storage Medium)。存储器920可用于存储指令、程序、代码、代码集或指令集。存储器920可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(例如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等，该操作系统可以是安卓(Android)系统，包括基于Android系统深度开发的系统、苹果公司开发的IOS系统，包括基于IOS系统深度开发的系统或其他系统。

为了使操作系统能够区分第三方应用程序的具体应用场景，需要打通第三方应用程序与操作系统之间的数据通信，使得操作系统能够随时获取第三方应用程序当前的场景信息，进而基于当前场景进行针对性的系统资源适配。

其中，输入装置930用于接收输入的指令或数据，输入装置930包括但不限于键盘、鼠标、摄像头、麦克风或触控设备。输出装置940用于输出指令或数据，输出装置940包括但不限于显示设备和扬声器等。在一个示例中，输入装置930和输出装置940可以合设，输入装置930和输出装置940为触摸显示屏。

除此之外，本领域技术人员可以理解，上述附图所示出的电子设备的结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，电子设备中还包括射频电路、输入单元、传感器、音频电路、无线保真(Wireless Fidelity，WiFi)模块、电源、蓝牙模块等部件，在此不再赘述。

在图9所示的电子设备中，处理器910可以用于调用存储器920中存储的活体攻击检测或训练活体攻击检测模型的应用程序，用于执行上述方法实施例描述的方法。

上述为本说明书实施例的一种电子设备的示意性方案。需要说明的是，该电子设备的技术方案与上述的活体攻击检测方法和活体攻击检测模型的训练方法的技术方案属于同一发明构思，电子设备的技术方案未详细描述的细节内容，均可以参见上述活体攻击检测方法的技术方案的描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，计算机程序的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

上述仅为本说明书的可选实施例，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。

上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

Claims

1.一种活体攻击检测方法，包括：

2.根据权利要求1所述的方法，所述从目标对象的人脸验证视频中获取多个打光帧和多个非打光帧包括下述任一项：

3.根据权利要求2所述的方法，所述对所述人脸验证视频的多个视频帧进行颜色分布统计，得到各个所述视频帧的颜色分布统计结果包括：

对各个所述视频帧中多个像素点进行颜色分布统计，得到各个所述视频帧的颜色直方图；

所述基于各个所述视频帧的颜色分布统计结果，从所述多个视频帧中确定所述多个打光帧和所述多个非打光帧包括：

基于各个所述视频帧的颜色直方图，从所述多个视频帧中确定所述多个打光帧和所述多个非打光帧。

4.根据权利要求2所述的方法，所述基于所述人脸验证视频对应的打光周期，从所述人脸验证视频的多个视频帧中获取所述多个打光帧和所述多个非打光帧包括：

基于所述人脸验证视频对应的打光周期，将所述人脸验证视频划分为多个第一类视频片段和多个第二类视频片段，所述第一类视频片段是在所述目标对象进行打光的情况下采集的，所述第二类视频片段是在未对所述目标对象进行打光的情况下采集的；

从所述多个第一类视频片段中获取所述多个打光帧；

从所述第二类视频片段中获取所述多个非打光帧。

5.根据权利要求2所述的方法，所述通过所述视频帧分类模型对所述多个视频帧进行分类，输出各个所述视频帧的视频帧类型包括：

通过所述视频帧分类模型对所述多个视频帧进行特征提取，得到各个所述视频帧的视频帧特征；

通过所述视频帧分类模型对各个所述视频帧的视频帧特征进行全连接和归一化，输出各个所述视频帧的视频帧类型。

6.根据权利要求1所述的方法，所述于所述多个打光帧和所述多个非打光帧，确定多个差值图包括：

基于所述多个打光帧和所述多个非打光帧，确定多个初始差值图；

对所述多个初始差值图进行图像增强，得到所述多个差值图。

7.根据权利要求6所述的方法，所述基于所述多个打光帧和所述多个非打光帧，确定多个初始差值图包括下述任一项：

8.根据权利要求6所述的方法，所述对所述多个初始差值图进行图像增强，得到所述多个差值图包括：

对所述多个初始差值图进行直方图均衡化、拉普拉斯变换、对数变换以及伽马变换中的至少一项，得到所述多个差值图。

9.根据权利要求1所述的方法，所述通过所述活体攻击检测模型对所述多个差值图进行特征提取，得到各个所述差值图的差值图特征包括下述任一项：

10.根据权利要求1所述的方法，所述通过所述活体攻击检测模型，基于所述多个差值图的差值图特征进行预测，输出所述人脸验证视频的视频类型包括：

通过所述活体攻击检测模型，将所述多个差值图的差值图特征进行融合，得到所述人脸验证视频的分类特征；

通过所述活体攻击检测模型，基于所述分类特征进行预测，输出所述人脸验证视频的视频类型。

11.根据权利要求10所述的方法，所述通过所述活体攻击检测模型，基于所述分类特征进行预测，输出所述人脸验证视频的视频类型包括：

通过所述活体攻击检测模型，对所述分类特征进行全连接和归一化，得到所述人脸验证视频的分类值；

在所述分类值大于或等于分类值阈值的情况下，确定所述人脸验证视频为活体攻击视频；

在所述分类值小于所述分类值阈值的情况下，确定所述人脸验证视频不是活体攻击视频。

12.一种活体攻击检测模型的训练方法，包括：

13.一种活体攻击检测装置，包括：

14.一种活体攻击检测模型的训练装置，包括：

15.一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～12任一项所述方法。

16.一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～12任一项所述方法。

17.一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1～12任一项所述的方法。