CN115880740A

CN115880740A - 人脸活体检测方法、装置、计算机设备和存储介质

Info

Publication number: CN115880740A
Application number: CN202111137119.XA
Authority: CN
Inventors: 尹邦杰; 姚太平; 吴双; 李泽鑫; 孟嘉; 丁守鸿; 李季檩
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-09-27
Filing date: 2021-09-27
Publication date: 2023-03-31

Abstract

本申请涉及一种人脸活体检测方法、装置、计算机设备和存储介质，涉及计算机视觉技术领域。该方法包括：获取待测人脸图像；通过训练好的人脸活体检测模型，对待测人脸图像进行检测，其中，人脸活体检测模型是预先基于多任务联合损失的约束训练得到的，多任务联合损失至少包括活体人脸分类任务和活体特征检测任务的联合损失；根据活体人脸分类任务分支的输出，得到活体人脸检测结果。该方法能够提高检测的准确度。本发明实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。

Description

人脸活体检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及人工智能、计算机视觉和图像处理技术领域，特别是涉及一种人脸活体检测方法、装置、计算机设备和存储介质。

背景技术

随着人脸识别技术的发展，人脸识别技术在越来越多的业务场景中得到的应用，如刷脸支付等。为提高人脸识别在各业务场景中的安全性能，越来越多的人脸活体检测技术被应用到产品中，有力的保障了业务安全。

具体地，人脸活体检测技术是人脸识别安全性的前哨站，通过采集数字图像数据，进行人脸活体判断，若判断为真人，则可进入到后续的业务流程中，如支付、打开门禁等。而若判断为攻击图片(如高清照片)，则会进行报错提示。

目前，人脸活体检测常用的技术为基于数字图像的多分类模型训练方法。该方法主要的思路就是通过一个多分类的损失函数进行模型参数的约束，当分类损失不断下降时，表示模型对于人脸活体检测的精度不断提升，一旦损失收敛，就认为模型训练完成。这种方法的缺点在于，只是通过数字图像作为基础，然后凭借一个单独的分类任务来约束模型的精度，在较多和较复杂的攻击类型时，检测准确度较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高检测准确度的人脸活体检测方法、装置、计算机设备和存储介质。

一种人脸活体检测方法，所述方法包括：

获取待测人脸图像；

通过训练好的人脸活体检测模型，对所述待测人脸图像进行检测，其中，在所述人脸活体检测模型的主干网络后连接各任务的任务分支，其中一个任务分支为基于人脸图像特征的活体人脸分类任务分支，其它任务分支中至少一个分支为基于活体特征的活体特征检测任务分支；所述人脸活体检测模型是预先基于多任务联合损失的约束训练得到的，所述多任务联合损失至少包括活体人脸分类任务和活体特征检测任务的联合损失；

根据所述活体人脸分类任务分支的输出，得到活体人脸检测结果。

一种人脸活体检测装置，所述装置包括：

图像获取模块，用于获取待测人脸图像；

检测模块，用于通过训练好的人脸活体检测模型，对所述待测人脸图像进行检测，其中，在所述人脸活体检测模型的主干网络后连接各任务的任务分支，其中一个任务分支为基于人脸图像特征的活体人脸分类任务分支，其它任务分支中至少一个分支为基于活体特征的活体特征检测任务分支；所述人脸活体检测模型是预先基于多任务联合损失的约束训练得到的，所述多任务联合损失至少包括活体人脸分类任务和活体特征检测任务的联合损失；

检测输出模块，用于根据所述活体人脸分类任务分支的输出，得到活体人脸检测结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待测人脸图像；

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待测人脸图像；

一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行时实现以下步骤：

获取待测人脸图像；

上述人脸活体检测方法、装置、计算机设备和存储介质，通过利用训练好的人脸活体检测模型，对待测人脸图像进行预测，由于人脸活体检测模型为多任务模型，该模型至少基于活体人脸分类任务和活体特征检测任务的联合损失的约束训练得到，能够在训练过程中联合活体检测和分类任务共同训练模型，使二者相互约束，从而活体人脸分类任务分支受到活体特征检测任务分支的影响，使得活体人脸分类任务分支的输出结果考虑了活体特征，相较于单一维度的图像特征，提升了模型对抗不同攻击类型的防御能力，进而提高检测的准确度。

附图说明

图1为一个实施例中人脸活体检测方法的应用环境图；

图2为一个实施例中人脸活体检测方法的流程示意图；

图3为一个实施例中人脸活体检测模型的结构示意图；

图4为一个实施例中具有两个网络分支的人脸活体检测模型的各任务的损失关系示意图；

图5为另一个实施例中人脸活体检测方法的流程示意图；

图6为另一个实施例中人脸活体检测模型的结构示意图；

图7为一个实施例中人脸活体检测装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

本申请实施例提供的方案涉及人工智能的计算机视觉技术等技术，具体通过如下实施例进行说明:

本申请提供的人脸活体检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信，由服务器提供人脸活体检测服务。终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等，也可以为设置在固定营业场景的终端，如设置有摄像头的自助服务终端(如ATM机、自助图书馆等自助服务终端)。本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。终端采集用户的人脸图像，并发送至服务器，服务器获取待测人脸图像；通过训练好的人脸活体检测模型，对待测人脸图像进行检测，其中，人脸活体检测模型为多任务模型，在人脸活体检测模型的主干网络后连接各任务的任务分支，其中一个任务分支为基于人脸图像特征的活体人脸分类任务分支，其它任务分支中至少一个分支为基于活体特征的活体特征检测任务分支；人脸活体检测模型是预先基于多任务联合损失的约束训练得到的，多任务联合损失至少包括活体人脸分类任务和活体特征检测任务的联合损失；根据活体人脸分类任务分支的输出，得到活体人脸检测结果。其中，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种人脸活体检测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

步骤202，获取待测人脸图像。

其中，待测人脸图像是在业务场景中触发人脸检测，由终端的摄像头实时采集的人脸图像。业务场景包括了所有人脸识别相关的业务场景，包括但不限于手机人脸解锁、APP(应用程序)人脸登录、远程人脸验证、刷脸门禁系统、线下刷脸支付、自动刷脸通关等。

其中，在采集得到人脸图像中，为使人脸图像满足人脸活体检测模型的输入要求，可将采集的人脸图像进行处理。例如，人脸活体检测模型要求输入图像的尺寸为224*224*3，则对采集的人脸图像进行裁剪处理，以人脸区域为中心，裁剪为指定尺寸的图像作为待测人脸图像。

步骤204，通过训练好的人脸活体检测模型，对待测人脸图像进行检测，其中，在人脸活体检测模型的主干网络后连接各任务的任务分支，其中一个任务分支为基于人脸图像特征的活体人脸分类任务分支，其它任务分支中至少一个分支为基于活体特征的活体特征检测任务分支；人脸活体检测模型是预先基于多任务联合损失的约束训练得到的，多任务联合损失至少包括活体人脸分类任务和活体特征检测任务的联合损失。

具体地，人脸活体检测模型是预先训练得到的，训练过程中不断调整人脸活检模型的参数，使之能够通过输入的人脸图像准确预测是否为活体人脸。

本实施例中，人脸活体检测模型为多任务模型。多任务模型是指一个神经网络结构能够实现多种任务的神经网络模型，以本案为例，能够实现活体人脸分类任务以及活体特征检测任务。具体地，人脸活体检测模型30的结构如图3所示，包括主干网络301，以及连接在主干网络之后的多个分支网络，每个分支网络实现一个任务。多个分支网络中的一个任务分支为基于人脸图像特征的活体人脸分类任务分支302，其它任务分支中的至少一个分支为基于活体特征的活体特征检测任务分支303。

其中，基于人脸图像特征的活体人脸分类任务分支302，通过提取待测人脸图像的人脸图像特征判断是否为活体人脸，其任务是实现活体人脸分类，输出结果包括两个类别，一个类别为活体人脸，一个类别为攻击图像。其中，人脸图像特征包括图像所体现的人脸外在特征，如人脸五官的特征等。

活体特征是指从图像所反应的活体所具有的特征，如活体通常是动作的，活体在空间被拍摄时，具有深度信息。基于活体特征的活体特征检测任务分支303，通过提取待测人脸图像所体现的活体特征判断拍摄对象是否为活体，其任务是实现提取活体特征，输出的结果根据活体特征的类型而有差异。如活体特征为深度信息，则输出的结果为深度图，如活体特征为动图，则输出的结果为动图检测分类。如活体特征为指定动作，则输出的结果为是否做出指定动作分类。

基于人脸图像特征的活体人脸分类任务分支，是从人脸图像特征的角度，对待测人脸图像进行识别，确定是否为活体人脸图像。对于基于活体特征的活体特征检测任务分支，是从活体特征的角度，对待测人脸图像进行识别，确定待测人脸图像是否来源于活体。而由于人脸活体检测模型的参数至少基于活体人脸分类任务和活体特征检测任务的联合损失的约束训练得到，从而使得人脸图像特征和活体特征共同影响人脸活体检测模型。相较于单任务方法通过单一分类损失约束模型的方案而言，本实施例中，通过多任务，并至少基于活体人脸分类任务和活体特征检测任务的联合损失的约束进行模型训练，可以联合优化各任务，联合损失的约束使得训练过程中活体人脸分类任务和活体特征检测任务相互约束，相互促进，即活体人脸分类任务分支受到活体特征检测任务分支的影响，使得活体人脸分类任务分支的输出结果考虑了活体特征，相较于单一维度的图像特征，提升模型对抗不同攻击类型的防御能力，进而提高检测的准确度。

在实际业务中，常用的多任务辅助训练活体检测模型的方式，还可以为每个任务对应一个输入对象，联合多个输入对象获得多个维度的特征，并融合多个维度的特征进行人脸活体检测。例如，输入一张RGB数字图像，检测模型除了输出分类的结果并计算分类损失以外，还会输出一张深度图，该深度图会和RGB图像对应的真实深度图计算一个回归损失。这种方式需要多个维度的特征输入，相应的需要采集更多维度的特征，如深度图等。市面上红外和深度传感设备同常较RGB摄像头而言更加昂贵。

本实施例中，除了待测人脸图像外，无需输入其它维度的特征信息，无疑大大降低了物料成本。

步骤S206，根据活体人脸分类任务分支的输出，得到活体人脸检测结果。

通过人脸活体检测模型，每个任务分支均会输出相应的预测结果，预测结果至少包括活体人脸分类的预测结果，即预测为活体图像或是攻击图像，预测结果至少还包括活体特征检测任务的预测结果，即与活体特征相关的预测信息，如深度图等。在实际应用中，只取活体人脸分类任务分支的预测结果，其中，该分支的概率向量最大值对应的位置的类别标签就是最终模型输出的真人/攻击预测结果。

人脸活体检测模型可以直接部署于人脸识别模型之前，对人脸识别输入的图片进行检测，如果是活体人脸则通过进入到后续的识别流程中，如果是攻击图片则进行报错提示重试。

上述的人脸活体检测方法，通过利用训练好的人脸活体检测模型，对待测人脸图像进行预测，由于人脸活体检测模型为多任务模型，该模型至少基于活体人脸分类任务和活体特征检测任务的联合损失的约束训练得到，能够在训练过程中联合活体检测和分类任务共同训练模型，使二者相互约束，从而活体人脸分类任务分支受到活体特征检测任务分支的影响，使得活体人脸分类任务分支的输出结果考虑了活体特征，相较于单一维度的图像特征，提升了模型对抗不同攻击类型的防御能力，进而提高检测的准确度。

在另一个实施例中，活体特征检测任务为深度信息检测任务、动图检测任务和指定动作检测任务中的任意一种。

具体地，活体特征是指从图像所反应的活体所具有的特征，如活体通常是动作的，活体处于空间进行拍报时，具有深度信息，具有动态信息，能够完成指定动作，因此，活体特征检测任务为深度信息检测任务、动图检测任务和指定动作检测任务中的任意一种。

具体地，物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息。因此，当对活体进行拍摄时，能够检测到深度信息，而对攻击图片，如高清纸片和翻拍照片等进行拍摄时，高清纸片和翻找照片处于同一平面，不具有深度信息。因此，深度信息为活体的检测特征之一。

动图检测，是指通过一段图像序列判断拍摄对象是否动作变化。

指定动作检测，是指拍摄对象是否能够做出指定动作，如眨眼、摇头等。

本实施例中，可以从上述任意维度对待测人脸图像是否为活体的人脸图像进行检测，丰富了检测的方式，可以进行多种特征组合进行人脸活体检测模型的训练，如RGB图像和深度信息联合训练人脸活体检测模型，又如RGB图像和动图检测联合训练人脸活体检测模型，还可以为RGB图像和指定动作检测联合训练人脸活体检测模型。其中，RGB图像还可以替换为红外图像。

在另一个实施例中，多任务联合损失通过对各任务损失的权重系数以及各任务的损失进行加权计算得到，每一轮迭代训练中各权重系数基于该轮迭代训练的各任务的损失动态确定。

其中，各任务的损失通过各任务的预测结果与输入样本的标注结果计算得到，可以为预测结果与标注结果的交叉熵或均方误差。

本实施例中，各任务损失的权重系数并不是固定不变的，每一轮迭代训练中各任务损失的权重系数基于该轮迭代训练的各任务的损失动态确定，其中，各任务的损失的权重系数和为1。

多任务联合损失的约束目标是优化各分支网络，训练一个精度更高的人脸活体检测模型。因此，多目标优化可以动态确定每一轮迭代中各任务损失的权重系数，使各任务得到平衡。例如，多目标优化可以使用基于不确定性的方法实现，又例如，多目标优化可以根据各任务损失的梯度比确定。

传统多目标优化的方式中，对于各任务的权重系数通常是采用固定的系数，人为地分配系数权重，如三个任务占比的分配可以为0.2、0.4和0.4，又如两个任务，则各任务的权重系数可分别为0.5，即认为两个任务的重要程度相同。这种方式中权重系数是人为规定的，这种这样的方式既有较高的时间成本，同时又无法保证挑出来的系数是模型的最优解。

本实施例中，通过在每一轮迭代训练中，通过各任务的损失，学习对各任务的权重进行合理分配，通过大量样本的学习，使体特征检测任务和活体人脸分类任务的重要性得到了平衡，且反应了真实要求，进而能够提高检测的精度。

在另一个实施例中，每一轮迭代训练中各权重系数基于该轮迭代训练的各任务的损失的梯度确定。

具体地，对于机器学习来说，如何评价一个算法是否是比较好的算法，需要提前定义一个损失函数，来判断这个算法是否是最优的，而后面不断的优化求梯度下降，使得损失函数最小，从而使算法达到意义上的最优解。可见，损失、梯度以及模型的准确度之间存在关联关系。

本实施例中，利用这种关联关系，先计算各任务的损失，基于损失计算各任务的梯度，利用梯度确定权重系数。具体地，先分别基于活体人脸分类任务和活体特征检测任务计算各任务损失，根据损失进行梯度计算，再计算各任务损失的梯度后，基于一元凸二次规划定理，根据梯度和损失计算活体特征检测任务的损失的权重系数，再进一步计算活体特征检测任务的损失。以人脸活体检测模型具有两个任务为例，一个任务为活体人脸分类任务，一个任务为活体特征检测任务，获得了两个分支输出的两个损失以后，需要联合优化这两个任务的损失函数。由于两个任务的优化目标不同，因此需要思考如何更好的找到两个目标的最优权重系数配比。如图4所示，假设共享层的参数为θ，那么两个损失函数在空间中的优化方向如坐标系ο中的两个坐标轴所示，最优的权重系数应该位于Λ_solu边界的

由于是两个任务的权衡，因此根据一元凸二次规划定理：

表示梯度计算操作，L_depth表示活体特征检测任务的损失，L_cls表示活体人脸分类任务的损失，/>

为活体人脸分类任务的损失的权重系数，根据上式可得知，/>

本质上就是两个任务的梯度方向构成的三角形的垂线划分的对边比例。每一轮训练都会去获取这样一个/>

作为两个任务损失的权重系数比，最终联合优化的损失函数计算如下所示：

本实施例中，通过活体特征和分类任务的联合损失进行目标优化，更好的权衡了不同任务之间的重要性，使两个任务在人脸活体检测的模型训练中相辅相成，互相促进，从而实现了更高的活体检测精度。

在另一个实施例中，训练人脸活体检测模型的方式，如图5所示，包括：

S502，获取训练样本集，训练样本集包括活体人脸样本和攻击样本，以及各样本的标注结果，各样本的标注结果至少包括活体人脸分类标注结果和活体标注特征。

为了训练人脸活体检测模型，需要一定数据的训练样本。训练样本集中包括了正样本和负样本。其中，以活体人脸照片作为正样本，以攻击照片作为负样本。活体人脸样本是对活体人脸进行采集得到人脸图像。攻击样本为非活体人脸图像，包括人脸的高清纸片或屏幕翻拍照片。

其中，对于训练样本集中的各训练样本，标注了人脸分类标注结果和活体标注特征，其中，人脸分类标注结果可以为样本类型，样本类型包括活体人脸样本和攻击样本。活体标注特征，如深度图。其中，利用具有深度图采集功能的相机对相本进行拍摄，能够得到人脸样本以及该人脸样本的深度图。

模型输入为224*224*3的图像，为了达到这一目的，需要把所有的样本集都对齐到这个尺度。此外，关注的是人脸活体检测，因此输入图像需要做人脸扣图的预处理，具体操作为：

1)首先利用人脸检测工具对真人和高清翻拍的原图上进行人脸检测；

2)然后根据检测结果在RGB原图上抠出人脸区域；

3)对抠出来的人脸区域进行对齐到256*256*3；

4)最后，利用随机裁剪方法获取224*224*3的输入图像。

S504，将训练样本集中的样本，输入待预测的人脸活体检测模型，通过待预测的人脸活体检测模型的主干网络处理后，分别通过各任务的任务分支，至少得到活体人脸分类预测结果和活体预测特征，其中一个任务分支为基于人脸图像特征的活体人脸分类任务分支，其它任务分支中至少一个分支为基于活体特征的活体特征检测任务分支。

具体地，人脸活体检测模型的结构如图3所示，包括主干网络，以及连接在主干网络之后的多个任务分支网络，各任务分支网络实现相应任务。如基于活体特征的活体特征检测任务分支303，通过提取待测人脸图像所体现的活体特征判断拍摄对象是否为活体，其任务是实现提取活体特征，输出的结果根据活体特征的类型而有差异。如活体特征为深度信息，则输出的结果为深度图，如活体特征为动图，则输出的结果为动图检测分类。如活体特征为指定动作，则输出的结果为是否做出指定动作分类。

各任务分支分别输出预测结果，如活体人脸分类任务分支输出活体人脸分类预测结果，活体特征检测任务分支输出活体预测特征。

S506，根据活体人脸分类标注结果以及活体人脸分类预测结果，计算活体人脸分类任务的损失，根据活体标注特征以及活体预测特征，计算活体特征检测任务的损失。

其中，损失根据损失函数计算得到。损失函数(loss function)是用来估量模型的预测值f(x)与真实值Y的不一致程度。在神经网络模型中，可以反向传播算法可以根据定义好的损失函数优化神经网络中参数的取值，从而使神经网络模型在训练数据集上的损失函数达到一个较小值。常用损失包括均方误差损失函数(MSE)(表示预测值与实际值的差值)，以及交叉熵损失函数(表示预测值和实际值的相似性，如p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量p与q的相似性)。

具体到本实施例中，活体人脸分类任务的损失，可以为活体人脸分类标注结果与活体人脸分类预测结果的差值或相似性，活体特征检测任务的损失可以为活体标注特征以及活体预测特征的差值或相似性。

S508，至少根据活体人脸分类任务的损失和活体特征检测任务的损失计算多任务联合损失，基于多任务联合损失调整待预测的人脸活体检测模型的参数。

S510，当满足训练结束条件时，得到训练好的人脸活体检测模型。

本实施例中，该模型是基于多任务联合损失的约束训练得到的，包括了活体人脸分类任务和活体特征检测任务，能够在训练过程中联合活体检测和分类任务共同训练模型，使二者相互约束，从而得到的模型能够从多个维度得到训练，提高了模型的精确度。

在另一个实施例中，至少根据活体人脸分类任务的损失和活体特征检测任务的损失计算多任务联合损失，基于多任务联合损失调整待预测的人脸活体检测模型的参数，包括：至少基于活体人脸分类任务的损失和活体特征检测任务的损失，计算损失的梯度；根据损失的梯度确定各任务损失的权重系数，根据各任务的损失和权重系数计算多任务联合损失；基于多任务联合损失调整待预测的人脸活体检测模型的参数。

本实施例中，利用这种关联关系，先计算各任务的损失，基于损失计算各任务的梯度，利用梯度确定权重系数。具体地，先分别基于活体人脸分类任务和活体特征检测任务计算各任务损失，根据损失进行梯度计算，再计算各任务损失的梯度后，基于一元凸二次规划定理，根据梯度和损失计算活体特征检测任务的损失的权重系数，再进一步计算活体特征检测任务的损失。

以人脸活体检测模型具有两个任务为例，一个任务为活体人脸分类任务，一个任务为活体特征检测任务，获得了两个分支输出的两个损失以后，需要联合优化这两个任务的损失函数。由于两个任务的优化目标不同，因此需要思考如何更好的找到两个目标的最优权重系数配比。如图4所示，假设共享层的参数为θ，那么两个损失函数在空间中的优化方向如坐标系ο中的两个坐标轴所示，最优的权重系数应该位于Λ_solu边界的

由于是两个任务的权衡，因此根据一元凸二次规划定理：

基于联合优化的损失函数，对模型进行反向传播，调整模型参数。

在另一个实施例中，活体标注特征包括标注深度图；活体预测特征包括预测深度图；活体特征检测任务为基于深度信息的深度信息检测任务。

根据活体人脸分类标注结果以及活体人脸分类预测结果，计算活体人脸分类任务的损失，包括：根据活体人脸分类标注结果以及活体人脸分类预测结果，计算交叉熵损失，得到活体人脸分类任务的损失。

根据活体标注特征以及活体预测特征，计算活体特征检测任务的损失，包括：根据预测深度图与标注深度图，计算均方误差损失，得到活体特征检测任务的损失。

本实施例中，利用人脸图像特征以及深度信息特征联合训练人脸活体检测模型。

具体地，如图6所示，设计了人脸活体检测模型的双分支网络框架，以resnet18作为主干网络，除了resnet18以外，也可以选取其他的网络模型作为backbone。当然，为了保证前向推理的时效性，可以用NAS等搜索一个参数量较小的网络模型作为主干网络。

同时其不太深的网络层数也保证了前向推理(forward inference)的时效性。选择在resnet18的第10层处进行双分支结构的划分起点，然后复制第11层到最后一层这部分的框架构建双分支来处理不同的任务。

当构建好网络结构以后，将样本(裁剪好的224*224*3大小的图像)输入到网络当中，通过前向传播，最终网络的两个分支末尾会得到两个输出，分别是多分类任务的概率(如图中的logits_p，1*c长度的向量，c为类别总数)以及深度图(图中DM_p，为一个24*24的矩阵)。

分别计算分类损失和深度回归损失，对于前者采用传统的多分类交叉熵损失函数(cross-entropy loss function)，利用得到的概率logits_p，通过softmax层计算一个1*c长度的概率向量，该向量最大值对应的位置就是网络预测的类别标签，再用该向量和真实的类别标签计算交叉熵，就可以得到分类损失。针对该损失函数的最小化将会约束分类分支输出概率向量表现如下：概率向量值最大的位置对应的类别标签和真实的类别标签保持一致。对于深度信息，采用均方误差损失函数(Mean Square Error，MSE)计算深度回归损失。如上，深度回归分支会输出一个24*24的实数矩阵，而预测的深度图(ground-truth)也是一个同样大小的矩阵，因此，直接计算二者的MSE损失就可以度量二者的深度回归损失了。针对该损失函数的最小化将会约束深度回归分支输出的深度矩阵表现如下：DM_p和ground-truth矩阵中的每一个元素值误差越来越小。

最后，获得了两个分支输出的两个损失以后，需要联合优化这两个任务的损失函数。由于两个任务的优化目标不同，因此需要思考如何更好的找到两个目标的最优权重系数配比。如图6所示，假设共享层的参数为θ，那么两个损失函数在空间中的优化方向如坐标系ο中的两个坐标轴所示，最优的权重系数应该位于Λ_solu边界的

由于优化目标两个任务的权衡，因此根据一元凸二次规划定理：

表示梯度计算操作，由上可知，/>

在训练完成双分支模型以后，对人脸活体检测模型进行测试。假设现在线上业务传来了一张人脸图像数据，类型未知(即不知是真人还是高清翻拍攻击)，采用和训练同样的方式获取裁剪好的人脸图像(即尺寸为224*224*4，以人脸区域为中心裁剪)输入到模型当中，虽然模型同时输出分类预测结果和深度图回归结果，但是这里只取分类分支的预测结果。概率向量最大值对应的位置的类别标签就是最终模型输出的真人/攻击预测结果。

本申请通过提出的多任务多目标优化方法，并将之应用到人脸活体检测中的分类和深度回归两种任务的联合优化中，更好的权衡了不同任务之间的重要性，使两个任务在人脸活体检测的模型训练中相辅相成，互相促进，从而实现了更高的活体检测精度。同时，双分支的多任务结构无需额外不同传感器的图片作为输入，也能提升模型针对不同攻击类型的防御能力，大大降低了摄像头成本，而且耗时较短，提高了用户体验。

应该理解的是，虽然图2和图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图7所示，提供了一种人脸活体检测装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：

图像获取模块602，用于获取待测人脸图像；

检测模块604，用于通过训练好的人脸活体检测模型，对待测人脸图像进行检测，其中，在人脸活体检测模型的主干网络后连接各任务的任务分支，其中一个任务分支为基于人脸图像特征的活体人脸分类任务分支，其它任务分支中至少一个分支为基于活体特征的活体特征检测任务分支；人脸活体检测模型是预先基于多任务联合损失的约束训练得到的，多任务联合损失至少包括活体人脸分类任务和活体特征检测任务的联合损失；

检测输出模块606，用于根据活体人脸分类任务分支的输出，得到活体人脸检测结果。

上述人脸活体检测装置，通过利用训练好的人脸活体检测模型，对待测人脸图像进行预测，由于人脸活体检测模型为多任务模型，该模型至少基于活体人脸分类任务和活体特征检测任务的联合损失的约束训练得到，能够在训练过程中联合活体检测和分类任务共同训练模型，使二者相互约束，从而活体人脸分类任务分支受到活体特征检测任务分支的影响，使得活体人脸分类任务分支的输出结果考虑了活体特征，相较于单一维度的图像特征，提升了模型对抗不同攻击类型的防御能力，进而提高检测的准确度。

在其中一个实施例中，联合损失通过对各任务损失的权重系数以及各任务的损失进行加权计算得到，每一轮迭代训练中各权重系数基于该轮迭代训练的各任务的损失动态确定。

在其中一个实施例中，每一轮迭代训练中各权重系数基于该轮迭代训练的各任务的损失的梯度确定。

在其中一个实施例中，活体特征检测任务为深度信息检测任务、动图检测任务和指定动作检测任务中的任意一种。

在其中一个实施例中，图像获取模块，用于获取训练样本集，训练样本集包括活体人脸样本和攻击样本，以及各样本的标注结果，各样本的标注结果至少包括活体人脸分类标注结果和活体标注特征；

检测模块，还用于将训练样本集中的样本，输入待预测的人脸活体检测模型，通过待预测的人脸活体检测模型的主干网络处理后，分别通过各任务的任务分支，至少得到活体人脸分类预测结果和活体预测特征，其中一个任务分支为基于人脸图像特征的活体人脸分类任务分支，其它任务分支中至少一个分支为基于活体特征的活体特征检测任务分支；

还包括：

损失计算模块，用于根据活体人脸分类标注结果以及活体人脸分类预测结果，计算活体人脸分类任务的损失，根据活体标注特征以及活体预测特征，计算活体特征检测任务的损失；

调整模块，用于至少根据活体人脸分类任务的损失和活体特征检测任务的损失计算联合损失，基于联合损失调整待预测的人脸活体检测模型的参数；

训练模块，用于当满足训练结束条件时，得到训练好的人脸活体检测模型。

在另一个实施例中，调整模块，用于至少基于活体人脸分类任务的损失和活体特征检测任务的损失，计算损失的梯度；根据损失的梯度确定各任务损失的权重系数，根据各任务的损失和权重系数计算多任务联合损失；基于多任务联合损失调整待预测的人脸活体检测模型的参数。

在另一个实施例中，活体特征包括深度信息，活体标注特征包括标注深度图；活体预测特征包括预测深度图；活体特征检测任务为基于深度信息的深度信息检测任务

损失计算模块，用于根据活体人脸分类标注结果以及活体人脸分类预测结果，计算交叉熵损失，得到活体人脸分类任务的损失；根据预测深度图与标注深度图，计算均方误差损失，得到活体特征检测任务的损失。

关于人脸活体检测装置的具体限定可以参见上文中对于人脸活体检测方法的限定，在此不再赘述。上述人脸活体检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待测人脸图像和训练样本集。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸活体检测方法。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种人脸活体检测方法，所述方法包括：

获取待测人脸图像；

2.根据权利要求1所述的方法，其特征在于，所述多任务联合损失通过对各任务损失的权重系数以及各任务的损失进行加权计算得到，每一轮迭代训练中各权重系数基于该轮迭代训练的各任务的损失动态确定。

3.根据权利要求2所述的方法，其特征在于，每一轮迭代训练中各权重系数基于该轮迭代训练的各任务的损失的梯度确定。

4.根据权利要求1所述的方法，其特征在于，所述活体特征检测任务为深度信息检测任务、动图检测任务和指定动作检测任务中的任意一种。

5.根据权利要求1至4任一项所述的方法，其特征在于，训练所述人脸活体检测模型的方式，包括：

获取训练样本集，所述训练样本集包括活体人脸样本和攻击样本，以及各样本的标注结果，各样本的标注结果至少包括活体人脸分类标注结果和活体标注特征；

将所述训练样本集中的样本，输入待预测的人脸活体检测模型，通过所述待预测的人脸活体检测模型的主干网络处理后，分别通过各任务的任务分支，至少得到活体人脸分类预测结果和活体预测特征，其中一个任务分支为基于人脸图像特征的活体人脸分类任务分支，其它任务分支中至少一个分支为基于活体特征的活体特征检测任务分支；

根据所述活体人脸分类标注结果以及所述活体人脸分类预测结果，计算活体人脸分类任务的损失，根据所述活体标注特征以及所述活体预测特征，计算活体特征检测任务的损失；

至少根据所述活体人脸分类任务的损失和所述活体特征检测任务的损失计算多任务联合损失，基于所述多任务联合损失调整所述待预测的人脸活体检测模型的参数；

当满足训练结束条件时，得到训练好的人脸活体检测模型。

6.根据权利要求5所述的方法，其特征在于，至少根据所述活体人脸分类任务的损失和所述活体特征检测任务的损失计算多任务联合损失，基于所述多任务联合损失调整所述待预测的人脸活体检测模型的参数，包括：

至少基于活体人脸分类任务的损失和活体特征检测任务的损失，计算损失的梯度；

根据损失的梯度确定各任务损失的权重系数，根据各任务的损失和权重系数计算多任务联合损失；

基于所述多任务联合损失调整所述待预测的人脸活体检测模型的参数。

7.根据权利要求5所述的方法，其特征在于，所述活体特征包括深度信息，所述活体标注特征包括标注深度图；所述活体预测特征包括预测深度图；

所述活体特征检测任务为基于深度信息的深度信息检测任务；

所述根据所述活体人脸分类标注结果以及所述活体人脸分类预测结果，计算活体人脸分类任务的损失，包括：根据所述活体人脸分类标注结果以及所述活体人脸分类预测结果，计算交叉熵损失，得到活体人脸分类任务的损失；

所述根据所述活体标注特征以及所述活体预测特征，计算活体特征检测任务的损失，包括：根据预测深度图与标注深度图，计算均方误差损失，得到活体特征检测任务的损失。

8.一种人脸活体检测装置，其特征在于，所述装置包括：

图像获取模块，用于获取待测人脸图像；

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

11.一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行权利要求1至7中任一项所述的方法的步骤。