CN115830720A - 活体检测方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及人工智能领域，具体涉及一种活体检测方法、装置、计算机设备和存储介质。所述方法包括：获取与对待检测对象对应的待检测图像；确定至少一个处理单元各自对应的输入数据；每个处理单元的输入数据包括待检测图像、以及在相应处理单元之前的在前处理单元输出的融合特征中的至少一种；通过各处理单元分别对各自的输入数据进行特征提取，得到全局维度特征和局部维度特征，并对全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征；根据每个处理单元各自输出的融合特征，确定与待检测对象对应的活体检测结果。本方法可应用于智慧交通场景，采用本方法能够提升活体检测准确性。

Description

活体检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种活体检测方法、装置、计算机设备和存储介质。

背景技术

随着技术的发展，人脸识别系统的应用场景越来越广泛，目前出现了许多通过使用包含有他人人脸的照片、视频，或者套用他人的人脸面具等方式来伪装成他人，以蒙混通过人脸识别，对他人的权益安全产生威胁的现象。因此，在进行人脸识别之前，需要先使用活体检测方法进行活体检测，以确定所要识别的图像数据中的待检测对象是否是真实的人类的脸，而非照片、视频或面具等。

传统技术中，是通过假设待检测图像和真实图像之间的差别可能符合的某种分布的噪声，之后通过神经网络估算出噪声的特征图，并基于该噪声的特征图对待检测图像进行活体检测。但是当待检测图像不满足“待检测图像和真实图像之间的差别可能符合的某种分布的噪声”这一前提时，就会导致检测错误。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升活体检测准确性的活体检测方法、装置、计算机设备和存储介质。

一种活体检测方法，所述方法包括：

获取与对待检测对象对应的待检测图像；

确定至少一个处理单元各自对应的输入数据；每个处理单元的输入数据包括所述待检测图像、以及在相应处理单元之前的在前处理单元输出的融合特征中的至少一种；

通过各所述处理单元分别对各自的输入数据进行特征提取，得到全局维度特征和局部维度特征，并对所述全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征；

根据每个所述处理单元各自输出的融合特征，确定与所述待检测对象对应的活体检测结果。

一种活体检测方法装置，所述装置包括：

数据获取模块，用于获取与对待检测对象对应的待检测图像；确定至少一个处理单元各自对应的输入数据；每个处理单元的输入数据包括所述待检测图像、以及在相应处理单元之前的在前处理单元输出的融合特征中的至少一种；

特征处理模块，用于通过各所述处理单元分别对各自的输入数据进行特征提取，得到全局维度特征和局部维度特征，并对所述全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征；

结果输出模块，用于根据每个所述处理单元各自输出的融合特征，确定与所述待检测对象对应的活体检测结果。

在一个实施例中，所述数据获取模块包括图像获取模块，用于获取原始图像，并识别所述原始图像中待检测对象的面部区域；对所述面部区域进行尺寸调整，得到目标区域；剪裁所述目标区域，得到包括有待检测对象的待检测图像。

在一个实施例中，所述数据获取模块用于对于至少一个处理单元中的首个处理单元，将所述待检测图像作为所述首个处理单元的输入数据；对于至少一个处理单元中的除首个处理单元之外的每个处理单元，均将相应处理单元之前的在前处理单元输出的融合特征，作为相应处理单元的输入数据。

在一个实施例中，所述特征处理模块用于通过多个处理单元中的首个处理单元，对所述待检测图像进行特征提取，得到第一全局维度特征和第一局部维度特征，并对所述第一全局维度特征和第一局部维度特征进行特征融合处理，得到首个处理单元输出的融合特征；对于除首个处理单元之外的各处理单元，均对相应处理单元之前的在前处理单元输出的融合特征进行特征提取，得到第二全局维度特征和第二局部维度特征，并对所述第二全局维度特征和第二局部维度特征进行特征融合处理，得到相应处理单元输出的融合特征。

在一个实施例中，所述特征处理模块包括特征提取模块，用于对于至少一个处理单元中的每个处理单元，均通过当前处理单元提取相应输入数据中的全局初始特征和局部初始特征；通过所述当前处理单元，对所述局部初始特征进行局部池化处理，得到所述局部处理特征中的局部统计特征，并根据所述局部初始特征与局部统计特征之间的特征差异，得到相应的局部差异特征；通过所述当前处理单元，分别对所述全局初始特征和局部差异特征进行特征补充处理，得到对应的全局维度特征和局部维度特征。

在一个实施例中，所述特征提取模块还用于从所述局部差异特征中提取全局面部信息，并将所述全局面部信息补充至所述全局初始特征，得到全局维度特征；从所述全局初始特征中提取局部部位信息，并将所述局部部位信息补充至所述局部差异特征，得到局部维度特征。

在一个实施例中，所述特征处理模块还包括特征融合模块，用于确定所述全局维度特征和局部维度特征各自对应的特征权重；基于所述全局维度特征和局部维度特征各自对应的特征权重，对所述全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征。

在一个实施例中，所述特征融合模块还用于分别对所述全局维度特征和局部维度特征进行卷积处理，得到全局维度卷积结果和局部维度卷积结果，并对所述全局维度卷积结果和局部维度卷积结果进行聚合处理，得到对应的聚合特征；根据所述聚合特征，确定所述全局维度特征和局部维度特征各自对应的特征权重。

在一个实施例中，所述特征融合模块还用于确定与所述全局维度特征相对应的第一矩阵向量和第一归一化函数，以及确定与所述局部维度特征相对应的第二矩阵向量和第二归一化函数；对所述聚合特征进行全局平均池化处理，得到全局池化结果；通过所述第一矩阵向量和第一归一化函数对所述全局池化结果进行第一处理，得到与所述全局维度特征对应的特征权重；通过所述第二矩阵向量和第二归一化函数对所述全局池化结果进行第二处理，得到与所述局部维度特征对应的特征权重。

在一个实施例中，所述活体检测装置还包括训练模块，用于获取待训练的活体检测模型、样本图像、以及与所述样本图像相对应的样本标签；所述活体检测模型包括至少一个待训练处理单元；确定至少一个待训练处理单元分别对应的输入样本；所述至少一个待训练处理单元中的当前待训练处理单元的输入样本包括所述样本图像、以及在前待训练处理单元输出的融合预测特征中的至少一种；通过各所述处理单元分别对各自的输入样本进行特征提取，得到全局预测特征和局部预测特征，并对所述全局预测特征和局部预测特征进行特征融合处理，得到相应的融合预测特征；根据每个所述待训练处理单元各自输出的融合预测特征，确定对所述样本图像进行活体预测的预测结果；根据所述预测结果和所述样本标签，对所述活体检测模型进行训练，直至达到训练停止条件时停止，得到训练完成的活体检测模型。

在一个实施例中，所述预测结果包括预测深度图和活体预测标签；所述训练模块还用于通过所述活体检测模型中的深度图构造结构，对每个所述待训练处理单元各自输出的融合预测特征进行深度图构造处理，得到对应的预测深度图；通过所述活体检测模型中的活体分类结构，对每个所述待训练处理单元各自输出的融合预测特征进行活体分类处理，得到对应的活体预测标签。

在一个实施例中，所述样本标签包括目标深度图和活体分类标签；所述训练模块还用于确定所述预测深度图与所述目标深度图之间的第一差异，以及确定所述活体预测标签与所述活体分类标签之间的第二差异；通过所述第一差异和所述第二差异，对所述活体检测模型进行训练，直至达到训练停止条件时停止。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本申请实施例提供的任一种活体检测方法中的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的任一种活体检测方法中的步骤。

一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行实现本申请实施例提供的任一种活体检测方法中的步骤。

上述活体检测方法方法、装置、计算机设备、存储介质和计算机程序，通过获取待检测图像以及在前处理单元输出的融合特征，可基于待检测图像和在前处理单元输出的融合特征，确定每个处理单元各自对应的输入数据，从而各处理单元均可对各自对应的输入数据进行特征提取和特征融合处理，得到相应的融合特征；通过得到每个处理单元各自输出的融合特征，可综合各融合特征，得到与待检测对象对应的活体检测结果。由于是综合全局维度特征和局部维度特征来对待检测图像进行活体检测的，相比于通过噪声分布来确定活体检测结果，本申请可在待检测图像不满足“待检测图像和真实图像之间的差别可能符合的某种分布的噪声”这一前提时，依旧能够得到准确的活体检测结果。

此外，由于没有对全局维度特征和局部维度特征施加过于强硬的先验假设，因此，对于泛化性的影响较小，从而能够很好的泛化到不同的数据分布上，使得活体检测模型能够识别采用普通RGB图像作为载体的伪造图像。同时本申请无需用户配合做出任何的脸部动作，也无需特定的硬件设备，仅基于单张图像即可进行活体判别，大大降低了活体检测的检测成本。

附图说明

图1为一个实施例中活体检测方法方法的应用环境图；

图2为一个实施例中活体检测方法方法的流程示意图；

图3为一个实施例中待检测图像的获取示意图；

图4为一个实施例中活体检测模型的整体框架示意图；

图5为一个实施例中特征提取结构的示意图；

图6为一个实施例中特征融合结构的示意图；

图7为一个实施例中活体检测模型的训练示意图；

图8为一个具体实施例中活体检测方法的流程示意图；

图9为另一个具体实施例中活体检测方法的流程示意图；

图10为一个实施例中活体检测方法装置的结构框图；

图11为另一个实施例中活体检测方法装置的结构框图；

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中描述活体检测方法的应用环境图。参照图1，该活体检测方法应用于活体检测系统100。该活体检测系统100包括终端102和服务器104。终端102和服务器104均可单独用于执行本申请实施例中提供的活体检测方法。终端102和服务器104也可协同用于执行本申请实施例中提供的活体检测方法。以终端102和服务器104协同执行为例进行说明，终端102可获取待检测图像，并将待检测图像发送至服务器104，以使服务器104调用活体检测模型，通过活体检测模型对待检测图像进行活体检测，得到活体检测结果，并将活体检测结果返回至终端102进行展示。

其中，服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等，但并不局限于此。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

本申请还涉及人工智能领域，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。容易立即地，本申请具体涉及人工智能领域中的计算机视觉技术(Computer Vision,CV)。计算机视觉是一门研究如何使机器“看”的科学，通过计算机视觉技术可对图像进行活体检测。

值得注意的，本申请实施例还可应用于云技术、人工智能、智慧交通等各种场景，比如，当终端102为车载终端时，本申请实施例即可应用于智慧交通场景，当服务器104为提供云计算的云服务器时，本申请实施例即可应用于云技术场景。

在一个实施例中，如图2所示，提供了一种活体检测方法，以该方法应用于图1中的计算机设备为例进行说明，该计算机设备具体包括上述终端和服务器。

活体检测方法包括以下步骤：

步骤S202，获取与对待检测对象对应的待检测图像。

其中，活体指的是具有生命的物体，如活着的动物、植物、人体及其组织。例如，活体具体可为人体、眼球、虹膜等。在本申请实施例中，为活体的待检测对象可以为动物、植物、人体及其组织等。活体检测指的是在一些身份验证、身份识别场景中确定对象真实生理特征的方法，即确定检测对象是否为活体的方法。例如，针对人体进行活体检测时，通常检测人脸，通过检测人脸的特征与真实人脸生理特征进行比对，来确定用户是否为真实活体。容易理解地，在本申请实施例中，待检测对象可以是活体，也可以不是活体，

具体地，当需要进行活体检测时，计算机设备可获取待检测图像。比如，当用户需要登录目标应用时，为了提升目标应用的安全性，目标应用可采集用以进行登录验证的待检测图像。其中，待检测图像的活体检测结果可以包括待检测图像中的待检测对象为活体、以及待检测图像中的待检测对象为非活体。当活体检测结果表征待检测图像中的待检测对象为活体时，可以认为该待检测图像为针对真实活体所采集的图像；当活体检测结果表征待检测图像中的待检测对象为非活体时，可以认为该待检测图像为针对他人人脸的照片、视频，或者套用他人的人脸面具而得到的图像。

在一个实施例中，用户可通过终端对自身面部进行拍摄，得到待检测图像，用户也可以通过终端对他人照片进行翻拍，得到待检测图像，用户还可以通过终端对他人的人脸面具进行拍摄，得到待检测图像。本实施例在此不作限定。

在一个实施例中，获取与对待检测对象对应的待检测图像，包括：获取原始图像，并识别所述原始图像中待检测对象的面部区域；对所述面部区域进行尺寸调整，得到目标区域；剪裁所述目标区域，得到包括有待检测对象的待检测图像。

具体地，计算机设备可获取原始图像，并通过预设的人脸识别策略识别原始图像中的待检测对象的面部区域，得到用以框选面部区域的人脸识别框。其中，人脸识别策略可根据需求自由设置，比如可以为计算机设备自带的人脸识别算法，也可以为通过训练好的机器学习模型进行人脸的识别。本申请实施例在此不作限定。进一步地，为了得到包括有完整面部的待检测对象，计算机设备还可以扩大人脸识别框的尺寸，以实现对面部区域的尺寸调整，得到对应的目标区域，并剪裁该目标区域，得到包括有待检测对象面部的待检测图像。

比如，参考图3，图3示出了一个实施例中待检测图像的获取示意图。当获取得到用以框选待检测对象面部的人脸识别框302时，计算机设备可以该人脸识别框302的中心点为中心，对该人脸识别框进行尺寸扩大处理，得到尺寸扩大后的目标识别框304，并将目标识别框304所框选的图像区域作为待检测图像所对应的图像区域。

本实施例中，通过对面部区域进行尺寸调整，能否使得基于尺寸调整后的待检测图像能够包括有完整的面部区域，从而后续基于完整的面部区域进行活体检测的检测结果能够更为准确。

步骤S204，确定至少一个处理单元各自对应的输入数据；每个处理单元的输入数据包括待检测图像、以及在相应处理单元之前的在前处理单元输出的融合特征中的至少一种。

具体地，可通过活体检测模型对待检测图像中的待检测对象进行活体检测。其中，活体检测模型可以是已经训练完成的通用的具有活体检测能力的机器学习模型。该活体检测模型具体可以包括至少一个处理单元，每个处理单元分别对各自的输入数据进行处理，从而得到每个处理单元各自输出的融合特征。其中，至少一个处理单元中的当前处理单元的输入数据包括待检测图像、以及在前处理单元输出的融合特征中的至少一种。

在一个实施例中，确定至少一个处理单元各自对应的输入数据包括：对于至少一个处理单元中的首个处理单元，将待检测图像作为首个处理单元的输入数据；对于至少一个处理单元中的除首个处理单元之外的每个处理单元，均将相应处理单元之前的在前处理单元输出的融合特征，作为相应处理单元的输入数据。

具体地，活体检测模型中的各处理单元可以首尾相连，形成处理单元序列，计算机设备将待检测图像作为处理单元序列中的首个处理单元的输入数据，也即将待检测图像作为至少一个处理单元序列中的首个处理单元的输入数据；对于处理单元序列中的除首个处理单元之外的每个处理单元，均将相应的在前处理单元输出的融合特征作为当前处理单元的输入数据，也即，将相应的在前处理单元输出的融合特征，作为至少一个处理单元中除首个处理单元之外的当前处理单元的输入数据。其中，在前处理单元指的是与当前处理单元相邻、且位于当前处理单元之前的一个处理单元。

比如，参考图4，该活体检测模型中可包括有三个处理单元，分别为处理单元1、处理单元2和处理单元3，其中，处理单元1的输入数据为待检测图像，处理单元2的输入数据为处理单元1输出的融合特征，处理单元3的输入数据均为处理单元2输出的融合特征。图4示出了一个实施例中活体检测模型的整体框架示意图。

本实施例中，通过确定各处理单元各自对应的输入数据，使得各处理单元可以对各自的输入数据进行处理，从而得到各处理单元各自输出的输出数据。

步骤S206，通过各处理单元分别对各自的输入数据进行特征提取，得到全局维度特征和局部维度特征，并对全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征。

其中，处理单元包括特征提取结构和特征融合结构。特征提取结构指的是用以提取输入数据中的全局维度特征和局部维度特征的模型结构；特征融合结构指的是用以对全局维度特征和局部维度特征进行特征融合的模型结构。特征提取结构和特征融合结构均可以是由互相连接的多层而形成的复杂网络结构，比如，特征提取结构可以是由卷积层、局部平均池化层和采样层所构成的网络结构。特征融合结构可以是由卷积层、全局平均池化层、归一化层和全连层所构成的网络结构。

其中，全局维度特征指的是用以反映待检测对象整体信息的特征，比如，全局维度特征可以为反映面部大尺度信息的特征，其具体可以为面部轮廓特征、面部纹理特征等。面部纹理特征可以包括待检测图像中面部区域的像素点的颜色值分布和亮度值分布。局部维度特征指的是用以反映待检测对象局部信息的特征，比如，局部维度特征可以为反映面部特定区域的特征，其具体可以为发型、眼镜、鼻子、嘴以及各个脸部器官之间的距离等其中的一种或多种特征。

具体地，计算机设备可通过每个处理单元分别对各自的输入数据进行特征提取处理，比如，对于至少一个处理单元中的当前处理单元，计算机设备可通过当前处理单元中的特征提取结构提取出输入数据中的全局维度特征和局部维度特征。进一步地，计算机设备还可通过每个处理单元分别对各自提取出的全局维度特征和局部维度特征进行特征融合处理，以得到相应的融合特征。比如，对于至少一个处理单元中的当前处理单元，计算机设备可通过当前处理单元中的特征融合结构，对当前处理单元中的特征提取结构提取出的全局维度特征和局部维度特征进行特征融合处理，得到当前处理单元输出的融合特征。

容易理解地，当活体检测模型中仅包括有一个处理单元时，步骤S202和步骤S204按顺序执行；当活体检测模型中包括有多于一个的处理单元时，步骤S202和步骤S204交替执行，也即可先确定首个处理单元的输入数据，并通过首个处理单元对输入数据进行处理，得到首个处理单元输出的融合特征，再确定下一顺序处理单元的输入数据，并通过下一顺序处理单元对该输入数据进行处理，得到下一顺序处理单元输出的融合特征。依次类推，直至得到最后顺序处理单元输出的融合特征。

在一个实施例中，通过各处理单元分别对各自的输入数据进行特征提取，得到全局维度特征和局部维度特征，并对全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征，包括：通过多个处理单元中的首个处理单元，对待检测图像进行特征提取，得到第一全局维度特征和第一局部维度特征，并对第一全局维度特征和第一局部维度特征进行特征融合处理，得到首个处理单元输出的融合特征；对于除首个处理单元之外的各处理单元，均对相应处理单元之前的在前处理单元输出的融合特征进行特征提取，得到第二全局维度特征和第二局部维度特征，并对第二全局维度特征和第二局部维度特征进行特征融合处理，得到相应处理单元输出的融合特征。

具体地，由于首个处理单元的输入数据为待检测图像，因此，计算机设备通过首个处理单元对待检测图像进行特征提取处理，得到第一全局维度特征和第一局部维度特征，并对第一全局维度特征和第一局部维度特征进行特征融合处理，得到首个处理单元输出的融合特征，比如，首个处理单元对第一全局维度特征和第一局部维度特征进行加权求和处理，得到相应的融合特征。进一步地，活体检测模型将首个处理单元输出的融合特征作为第二顺序处理单元的输入数据，并通过第二顺序处理单元对该输入数据进行进一步的特征提取以及特征融合处理，得到第二顺序处理单元输出的融合特征。依次类推，直至得到最后顺序处理单元输出的融合特征。

在其中一个实施例中，计算机设备获取与待检测对象对应的待检测图像，并通过多个处理单元中的首个处理单元，对待检测图像进行特征提取，得到第一全局维度特征和第一局部维度特征，并对第一全局维度特征和第一局部维度特征进行特征融合处理，得到首个处理单元输出的融合特征；对于除首个单元之外的各处理单元，均对相应处理单元之前的在前处理单元输出的融合特征进行特征提取，得到第二全局维度特征和第二局部维度特征，并对第二全局维度特征和第二局部维度特征进行特征融合处理，得到相应处理单元输出的融合特征；根据每个处理单元各自输出的融合特征，确定与待检测对象对应的活体检测结果。

本实施例中，通过部署多个待处理单元，并将在前处理单元的输出作为当前处理单元的输入，可以使得处理单元序列中各处理单元输出的融合特征能够越来越抽象，从而得到更好的特征表示。

步骤S208，根据每个处理单元各自输出的融合特征，确定与待检测对象对应的活体检测结果。

其中，活体检测模型中还可包括有活体分类结构，通过活体分类结构可输出活体检测结果。比如，当活体分类结构输出目标数值时，可认为待检测图像为针对真实活体所采集的图像，当活体分类结构输出非目标数值时，可认为待检测图像为针对他人人脸的照片、视频，或者套用他人的人脸面具而得到的图像。

具体地，当获取得到每个处理单元各自输出的融合特征时，活体检测模型可将每个处理单元各自输出的融合特征输入至活体分类结构中，通过活体分类结构输出对待检测图像进行活体检测的检测分值。进一步地，活体检测模型判断该检测分值是否大于或等于预设分值阈值，若大于或等于预测分值阈值，则可认为待检测图像为针对真实活体所采集的图像，若小于预测分值阈值时，则认为待检测图像为针对非真实活体所采集的图像。

参考图4，由于除首个处理单元之外的每个处理单元，均是将在前处理单元的输出作为当前处理单元的输入，由当前处理单元对在前处理单元的输出进行进一步的处理，以得到更为抽象的融合特征的，因此，各处理单元各自输出的融合特征的抽象程度各不相同，从而使得综合抽象程度各不相同的融合特征所得到的活体检测结果能够更为准确。

上述活体检测方法中，通过获取待检测图像以及在前处理单元输出的融合特征，可基于待检测图像和在前处理单元输出的融合特征，确定每个处理单元各自对应的输入数据，从而各处理单元均可对各自对应的输入数据进行特征提取和特征融合处理，得到相应的融合特征；通过得到每个处理单元各自输出的融合特征，可综合各融合特征，得到与待检测对象对应的活体检测结果。由于是综合全局维度特征和局部维度特征来对待检测图像进行活体检测的，相比于通过噪声分布来确定活体检测结果，本申请可在待检测图像不满足“待检测图像和真实图像之间的差别可能符合的某种分布的噪声”这一前提时，依旧能够得到准确的活体检测结果。

此外，由于没有对全局维度特征和局部维度特征施加过于强硬的先验假设，因此，对于泛化性的影响较小，从而能够很好的泛化到不同的数据分布上，使得活体检测模型能够识别采用普通RGB图像作为载体的伪造图像。同时本申请无需用户配合做出任何的脸部动作，也无需特定的硬件设备，仅基于单张图像即可进行活体判别，大大降低了活体检测的检测成本。

在一个实施例中，通过各处理单元分别对各自的输入数据进行特征提取，得到全局维度特征和局部维度特征，包括：对于至少一个处理单元中的每个处理单元，均通过当前处理单元提取相应输入数据中的全局初始特征和局部初始特征；通过当前处理单元，对局部初始特征进行局部池化处理，得到局部初始特征中的局部统计特征，并根据局部初始特征与局部统计特征之间的特征差异，得到相应的局部差异特征；通过当前处理单元，分别对全局初始特征和局部差异特征进行特征补充处理，得到对应的全局维度特征和局部维度特征。

具体地，为了得到更为准确的活体检测结果，每个处理单元中的特征提取结构均可提取相应输入数据中的多维度特征，得到全局维度特征和局部维度特征。参考图5，图5示出了一个实施例中特征提取结构的示意图。为了更好地描述本申请实施例，下述以至少一个处理单元中的任意一个处理单元对进行特征提取为例进行说明。如图5所示，处理单元中的特征提取结构中可包括有全局特征提取通道和局部特征提取通道，在处理单元获取得到输入数据时，可将该输入数据输入至全局特征提取通道和局部特征提取通道，使得全局特征提取通道对输入数据进行卷积处理，得到全局初始特征(X^C)，以及使得局部特征提取通道对输入数据进行卷积处理，得到局部初始特征(X^F)。

为了进一步提取输入数据中的细节特征，以得到更为纯粹的局部维度特征，特征提取结构中的局部特征提取通道还可对局部初始特征进行局部池化处理(Local AveragePooling，LAP)，得到局部初始特征中的局部统计特征，并确定局部初始特征与局部统计特征之间的特征差异，基于特征差异得到更为纯粹的局部维度特征，也即得到局部差异特征。

由于全局初始特征中可包括有输入数据中的细节特征，局部差异特征也可包括有输入数据中的全局特征，因此，特征提取结构可分别对全局初始特征和局部差异特征进行特征补充处理，得到全局维度特征和局部维度特征。

在其中一个实施例中，全局初始特征的特征尺寸不同于局部初始特征的特征尺寸，具体地，两者的特征尺寸可相差一倍，比如，全局初始特征X^C可为

局部初始特征X^F可以为X^F∈R^e*h*w。其中，R表示特征里的每一个参数均为实数；e表示特征的通道数；h表示特征的高度；w表示特征的中的宽度。

在其中一个实施例中，处理单元可通过公式LAP(X^F；)对局部初始特征进行局部池化处理，得到局部处理特征中的局部统计特征。其中，α表示局部平均池化时的感受野大小。比如，处理单元可确定滑动窗口的大小，将该滑动窗口在局部初始特征所对应的特征图中进行滑动处理，并提取滑动后的滑动窗口所框选的特征图中的子区域，对该子区域进行求平均处理。依次类推，直至得到最后一个子区域的平均值。

在其中一个实施例中，处理单元可通过公式

确定局部区域差异特征

通过直接将局部初始特征与局部统计特征相减，可以快速得到相应的局部差异特征，从而提升了局部差异特征的确定效率。

在其中一个实施例中，参考图5，处理单元可包括有特征提取结构，用以提取输入数据中的全局维度特征和局部维度特征。其中，特征提取结构可包括有全局特征提取通道和局部特征提取通道，通过全局特征提取通道可提取输入数据中的全局初始特征，并对全局初始特征进行特征补充处理，得到全局维度特征；通过局部特征提取通道可提取输入数据中的局部初始特征，并对局部初始特征进行局部池化处理，得到局部统计特征，以及根据局部初始特征与局部统计特征之间的特征差异，得到局部差异特征，对局部差异特征进行特征补充处理，得到局部维度特征。由于处理单元中的局部特征提取通道是用以提取输入数据中的局部维度特征，其主要针对于输入数据中的细节特征，而全局特征提取通道是用以提取输入数据中的全局维度特征，因此，在局部特征提取通道中，将局部初始特征减去局部统计特征，可以得到更好的细节特征。而全局特征提取通道无需提取细节特征，因此，全局特征提取通道无需执行特征差异确定的确定过程。

上述实施例中，通过确定局部初始特征与局部统计特征之间的特征差异，可以得到包含有更纯粹细节特征的局部差异特征，从而基于使得后续基于局部差异特征得到的局部维度特征能够更为准确。此外，通过在局部初始特征中剔除局部统计特征，可以实现将与活体特征无关的信息剔除的目的，从而使得减小到拟合无关信息的风险，提升了活体检测模型的泛化性。

在一个实施例中，分别对全局初始特征和局部差异特征进行特征补充处理，得到对应的全局维度特征和局部维度特征，包括：从局部差异特征中提取全局面部信息，并将全局面部信息补充至全局初始特征，得到全局维度特征；从全局初始特征中提取局部部位信息，并将局部部位信息补充至局部差异特征，得到局部维度特征。

具体地，局部差异特征中可能包括有全局面部信息，相应的，全局初始特征中也可能包括有局部部位信息，因此，为了得到包括有更多细节信息的局部维度特征，处理单元还可以从全局初始特征中提取出局部部位信息，并将局部部位信息补充至局部差异特征中，得到局部维度特征。以及为了得到包括有更多全局信息的全局维度特征，当前处理单元可从局部差异特征中提取出全局面部信息，并将全局面部信息补充至全局初始特征中，得到全局维度特征。其中，全局面部信息反映了待检测对象的整体信息，局部部位信息反映了待检测对象的局部部位的信息。

在其中一个实施例中，处理单元可通过以下公式确定局部维度特征

其中，

表示卷积操作，其输入是局部差异特征

卷积核的参数是W^{F →F}，W^F→F代表的是细粒度到细粒度的卷积核参数；

表示卷积操作，其输入是全局初始特征X^C，卷积核的参数是W^C→F，W^C→F代表的是粗粒度到细粒度的卷积核参数；upsample代表的是上采样。

在其中一个实施例中，处理单元可通过以下公式确定全局维度特征

其中，X^C代表全局初始特征，

代表局部差异特征，f(X^C；W^C→C)表示卷积操作，其输入是X^C，卷积核的参数是W^C→C，W^C→C代表的是粗粒度到粗粒度的卷积核参数；

表示卷积操作，其输入是

卷积核的参数是W^F→C，W^F→c代表的是细粒度到粗粒度的卷积核参数，

代表的是池化处理，α为池化处理时的感受野大小。

在其中一个实施例中，参考图5，处理单元可通过全局特征提取通道对全局初始特征进行卷积处理，得到第一卷积结果，以及对局部差异特征进行卷积处理和上采样处理，得到全局面部信息。进一步地，全局特征提取通道可对全局面部信息和第一卷积结果进行融合处理，以将全局面部信息补充至全局初始特征中，得到全局维度特征。比如，全局特征提取通过对全局面部信息和第一卷积结果进行叠加处理，得到相应的全局维度特征。

处理单元可通过局部特征提取通道对局部差异特征进行卷积处理，得到第二卷积结果，以及对全局初始特征进行卷积处理，得到局部部位信息，并将局部部位信息与第二卷积结果进行融合处理，以将局部部位信息补充至局部差异特征中，得到局部维度信息。

上述实施例中，通过将局部差异特征中的全局面部信息补充至全局初始特征中，可以得到包括有更多待检测对象整体信息的全局维度特征；通过将全局初始特征中的局部部位信息补充至局部差异特征中，可以得到包括有更多待检测对象局部部位信息的局部维度特征；通过得到包括有更多待检测对象整体信息的全局维度特征、和包括有更多待检测对象局部部位信息的局部维度特征，可以使得基于全局维度特征和局部维度特征确定得到的活体检测结果更为准确。

在一个实施例中，对全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征，包括：确定全局维度特征和局部维度特征各自对应的特征权重；基于全局维度特征和局部维度特征各自对应的特征权重，对全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征。

具体地，对于至少一个处理单元中的每个处理单元，均可通过各处理单元中的特征融合结构对相应的全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征。为了更好地描述本实施例，下述以至少一个处理单元中的任意一个处理单元为例，进行阐述：

在处理单元中的特征提取结构提取出输入数据中的全局维度特征和局部维度特征时，处理单元中的特征融合结构即可确定该全局维度特征和局部维度特征各自对应的特征权重，并基于全局维度特征和局部维度特征各自对应的特征权重，对全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征。比如，处理单元中的特征融合结构可对全局维度特征和局部维度特征进行加权求和处理，得到融合特征。

在其中一个实施例中，参考图6，在与全局维度特征相对应的特征权重为C_C时、与局部维度特征相对应的特征权重为F_C时，特征融合结构可将全局维度特征

乘以特征权重C_C，得到第一权重特征

以及特征融合结构可将局部维度特征

乘以特征权重F_C，得到第二权重特征

并将第一权重特征和第二权重特征分别进行卷积处理，将卷积处理后的结果进行叠加，得到最终输出的融合特征X_fina。其中，图6示出了一个实施例中特征融合结构的示意图。

上述实施例中，通过赋予不同维度特征不同的权重值，可以使得特征融合结构能够自适应的选择有效的多维度信息，进而使得基于选择出的有效多维度信息得到的融合特征能够更能体现活体特征。

在一个实施例中，确定全局维度特征和局部维度特征各自对应的特征权重，包括：分别对全局维度特征和局部维度特征进行卷积处理，得到全局维度卷积结果和局部维度卷积结果，并对全局维度卷积结果和局部维度卷积结果进行聚合处理，得到对应的聚合特征；根据聚合特征，确定全局维度特征和局部维度特征各自对应的特征权重。

具体地，在处理单元需要确定全局维度特征和局部维度特征各自对应的特征权重时，处理单元中的特征融合结构可分别对全局维度特征和局部维度特征进行卷积处理，得到全局维度卷积结果和局部维度卷积结果，并对全局维度卷积结果和局部维度卷积结果进行聚合，得到用以确定特征权重的基础。比如，参考图6，特征融合结构可通过公式

得到聚合特征。其中。

表示局部维度卷积结果，

表示全局维度卷积结果，X_all表示聚合特征。

进一步地，特征融合结构根据聚合特征，确定全局维度特征和局部维度特征各自对应的特征权重。从而后续可通过所确定的特征权重，从局部维度特征和全局维度特征中筛选出更具有泛化性的特征，以避免活体检测拟合到无用的信息上，从而提升了活体检测模型的泛化性。

在一个实施例中，根据聚合特征，确定全局维度特征和局部维度特征各自对应的特征权重，包括：确定与全局维度特征相对应的第一矩阵向量和第一归一化函数，以及确定与局部维度特征相对应的第二矩阵向量和第二归一化函数；对聚合特征进行全局平均池化处理，得到全局池化结果；通过第一矩阵向量和第一归一化函数对全局池化结果进行第一处理，得到与全局维度特征对应的特征权重；通过第二矩阵向量和第二归一化函数对全局池化结果进行第二处理，得到与局部维度特征对应的特征权重。

具体地，处理单元中的特征融合结构可确定与全局维度特征相对应的第一矩阵向量和第一归一化函数，以及确定与局部维度特征相对应的第二矩阵向量和第二归一化函数。其中，第一矩阵向量、第一归一化函数、第二矩阵向量和第二归一化函数均可通过活体检测模型训练得到，比如，活体检测模型可通过最后一次迭代训练，得到第一矩阵向量、第一归一化函数、第二矩阵向量和第二归一化函数。其中，第一矩阵向量和第二矩阵向量具体可分别为一个全连层。第一归一化函数和第二归一化函数具体也可分别为一个归一化层。

进一步地，当获取得到聚合特征时，特征融合结构可对该聚合特征进行全局平均池化处理(Global Average Pooling，GAP)，得到全局池化结果。比如，特征融合结构可对集合特征所对应的整个特征图进行求平均运算，得到全局池化结果。特征融合结构将全局池化结果输入至与第一矩阵向量相对应的全连层，并将与第一矩阵向量对应的全连层输出的数据输入至与第一归一化函数对应的归一化层，以通过第一矩阵向量和第一归一化函数对全局池化结果进行第一处理，得到与全局维度特征对应的特征权重。相应的，特征融合结构将全局池化结果输入至与第二矩阵向量相对应的全连层，并将与第二矩阵向量对应的全连层输出的数据输入至与第二归一化函数对应的归一化层，以通过第二矩阵向量和第二归一化函数对全局池化结果进行第二处理，得到与局部维度特征对应的特征权重。

在其中一个实施例中，处理单元中的特征融合结构可通过以下公式确定与全局维度特征相对应的特征权重：

C_C＝relu(BN_C(W_C·GAP(X_all)))

其中，relu表示激活函数，BN_C表示第一归一化函数，w_C表示第一矩阵向量，GAP(X_all)表示全局池化结果。

在其中一个实施例中，处理单元中的特征融合结构可通过以下公式确定与局部维度特征相对应的特征权重：

F_C＝relu(BN_F(W_F·GAP(X_all)))

其中，relu表示激活函数，BN_F表示第二归一化函数，W_F表示第二矩阵向量，GAP(X_all)表示全局池化结果。

上述实施例中，只需对全局池化结果进行全连层处理和归一化处理，即可确定相应的特征权重，如此，大大提升了特征权重的确定效率。

在一个实施例中，当活体检测模型中仅包括有一个处理单元时，计算机设备获取待检测图像，并将待检测图像作为处理单元的输入数据，通过该处理单元对输入数据进行特征提取，得到全局维度特征和局部维度特征，并对全局维度特征和局部维度特征进行特征融合处理，得到融合特征。进一步地，活体检测模型将处理单元输出的融合特征输入至活体分类结构中，通过活体分类结构输出对待检测图像进行活体检测的活体检测结果。

在一个实施例中，当活体检测模型包括有多个处理单元时，计算机设备获取待检测图像，并将待检测图像作为首个处理单元的输入数据，通过首个处理单元对输入数据进行特征提取、特征融合处理，得到首个处理单元输出的融合特征。活体检测模型将首个处理单元输出的融合特征作为第二顺序处理单元的输入数据，以使第二顺序处理单元对输入数据进行特征提取、特征融合处理，得到第二顺序处理单元输出的融合特征，依次类推，直至得到各处理单元各自输出的融合特征，从而活体检测模型中的活体分类结构可基于各处理单元各自输出的融合特征，得到活体检测结果。

传统技术中，是通过假设待检测图像和真实图像之间的差别可能符合的某种分布的噪声，之后通过神经网络估算出噪声的特征图，并基于该噪声的特征图对待检测图像进行分类。但是该方式仅使用了待检测图像中的部分信息(为噪声的信息)来进行活体检测，而舍弃了待检测图像中非噪声的信息，从而使得当待检测图像不满足“待检测图像和真实图像之间的差别可能符合的某种分布的噪声”这一前提时，就会导致检测错误。而本申请实施例通过从多维度的特征信息中自适应的挑选出目标特征并进行融合，可以减少因单一维度信息的不足而导致检测错误的概率，同时也避免了多余信息的干扰，从而可以有效提升活体检测模型对不同形式的待检测图像的检测能力，有效提高了模型的泛化能力。

在一个实施例中，活体检测方法由活体检测模型执行，活体检测模型通过模型训练步骤训练获得，模型训练步骤包括：获取待训练的活体检测模型、样本图像、以及与样本图像相对应的样本标签；活体检测模型包括至少一个待训练处理单元；确定至少一个待训练处理单元分别对应的输入样本；至少一个待训练处理单元中的当前待训练处理单元的输入样本包括样本图像、以及在前待训练处理单元输出的融合预测特征中的至少一种；通过各处理单元分别对各自的输入样本进行特征提取，得到全局预测特征和局部预测特征，并对全局预测特征和局部预测特征进行特征融合处理，得到相应的融合预测特征；根据每个待训练处理单元各自输出的融合预测特征，确定对样本图像进行活体预测的预测结果；根据预测结果和样本标签，对活体检测模型进行训练，直至达到训练停止条件时停止，得到训练完成的活体检测模型。

具体地，在通过活体检测模型对待检测图像进行活体检测之前，还需对该活体检测模型进行训练。计算机设备可获取大量的样本图像、以及各样本图像各自对应的样本标签，从而计算机设备可基于获取得到的样本图像和相应的样本标签，对待训练的活体检测模型进行迭代训练。在迭代训练的单次训练过程中，计算机设备将样本图像作为至少一个待训练处理单元中的首个待训练处理单元的输入样本，从而首个待训练处理单元可对输入样本进行特征提取，得到全局预测特征和局部预测特征，并对全局预测特征和局部预测特征进行特征融合处理，得到首个待训练处理单元输出的融合预测特征。进一步地，当待训练的活体检测模型中包括有多个处理单元时，活体检测模型可将首个待训练处理单元输出的融合预测特征作为第二顺序待训练处理单元的输入样本，以使第二顺序待训练处理单元对输入样本进行特征提取和特征融合处理，得到第二顺序待训练处理单元输出的融合预测特征。进一步地，活体检测模型将第二顺序待训练处理单元输出的融合预测特征，作为第三顺序待训练处理单元的输入样本，依次类推，直至得到最后顺序待训练处理单元输出的融合预测特征。其中，待训练处理单元输出融合预测特征的过程可参照上述处理单元输出融合特征的过程。

进一步地，活体检测模型根据每个待训练处理单元各自输出的融合预测特征，确定对样本图像进行活体预测的预测结果，并根据预测结果与相应的样本标签之间的差异，对活体检测模型进行训练。当进行预设次数的迭代训练，或者活体检测模型输出的结果符合预设要求时，可认为已达到训练停止条件，此时计算机设备停止对活体检测模型进行训练，得到训练完成的活体检测模型。

本实施例中，对待训练的活体检测模型进行训练，使得基于训练后的活体检测模型输出的检测结果可以更为准确。

在一个实施例中，预测结果包括预测深度图和活体预测标签；根据每个待训练处理单元各自输出的融合预测特征，确定对样本图像进行活体预测的预测结果，包括：通过活体检测模型中的深度图构造结构，对每个待训练处理单元各自输出的融合预测特征进行深度图构造处理，得到对应的预测深度图；通过活体检测模型中的活体分类结构，对每个待训练处理单元各自输出的融合预测特征进行活体分类处理，得到对应的活体预测标签。

其中，预测深度图指的是待训练活体检测模型输出的用以反映样本图像中待检测对象深度信息的深度图，比如，预测深度图具体可为样本图像中待检测对象面部的深度图。活体预测标签指的是待训练活体检测模型输出的、用以反映训练样本是否为针对活体拍摄的标签，比如，活体预测标签具体可以为“样本图像为针对真实活体所采集的图像”，以及可以为“样本图像为针对他人人脸的照片、视频，或者套用他人的人脸面具而采集得到的图像”。

具体地，待训练的活体检测模型中可包括有深度图构造结构和活体分类结构。当获取得到各处理单元各自输出的融合预测特征时，活体检测结构可将各处理单元各自输出的融合预测特征输入至深度图构造结构、以及输入至活体分类结构，从而深度图构造结构可基于各处理单元各自输出的融合预测特征，得到与样本图像相对应的预测深度图，活体分类结构可基于各处理单元各自输出的融合预测特征，得到与样本图像相对应的活体预测标签。其中，活体分类结构具体可以为一个二分类网络。在其中一个实施例中，深度图构造结构可仅用于对活体检测模型进行训练，而不参与对待检测图像进行检测的过程。

在其中一个实施例中，参考图7，图7示出了一个实施例中活体检测模型的训练示意图。待训练的活体检测模型可通过各待训练处理单元输出相应的融合预测特征，从而深度图构造结构和活体分类结构可基于各融合预测特征得到相应的预测深度图和活体预测标签。

上述实施例中，通过得到预测深度图和活体预测标签，可基于预测深度图和活体预测标签对待训练活体检测模型进行训练处理。

在一个实施例中，样本标签包括目标深度图和活体分类标签；根据预测结果和样本标签，对活体检测模型进行训练，直至达到训练停止条件时停止，包括：确定预测深度图与目标深度图之间的第一差异，以及确定活体预测标签与活体分类标签之间的第二差异；通过第一差异和第二差异，对活体检测模型进行训练，直至达到训练停止条件时停止。

其中，目标深度图指的是标准的深度图，活体分类标签指的是准确的分类标签。在获取得到样本图像时，模型训练人员可对样本图像进行标签标注处理，得到相应的目标深度图和活体分类标签。在其中一个实施例中，针对非活体对象采集得到的样本图像的目标深度图可以为一张全黑的图像。

具体地，计算机设备可确定预测深度图与相应的目标深度图之间的第一差异，以及确定活体预测标签与活体分类标签之间的第二差异，并通过第一差异构造第一损失函数、以及通过第二差异构造第二损失函数，通过所构建的第一损失函数和第二损失函数对活体检测模型进行训练，直至达到训练停止条件时停止。

在其中一个实施例中，计算机设备可通过以下函数确定第一损失函数L_Dep：

其中，Data为样本集，x_i表示样本集中的第i个样本图像，dep_i表示样本集中的与第i个样本相对应的目标深度图，Dep(Ext(x_i))表示预测深度图，Ext(x_i)表示与第i个样本相对应的至少一个融合预测特征，Dep(.)表示深度图构造结构进行深度图构造处理。

在其中一个实施例中，计算机设备可通过以下函数确定第二损失函数L_Cls：

其中，Data为样本集，x_i表示样本集中的第i个样本图像，dep_i表示样本集中的与第i个样本相对应的活体分类标签，Ext(x_i)表示与第i个样本相对应的至少一个融合预测特征，BC(.)表示归一化层。

在其中一个实施例中，计算机设备还可通过各自输出的融合预测特征确定相应的LBP(Local Binary Pattern,局部二值模式)特征和反射图特征，通过所确定的LBP特征和反射图特征对待训练的活体检测模型进行训练。

上述实施例中，通过构造预测深度图和活体预测标签，可综合预测深度图与目标深度图之间的第一差异、以及活体预测标签与活体分类标签之间的第二差异，对活体检测模型进行训练，使得训练后的活体检测模型可以更为准确。

本申请还提供一种应用场景，该应用场景应用上述的活体检测方法。具体地，该活体检测方法在该应用场景的应用如下：

为了提升应用程序的安全性，当登录应用程序，或者通过应用程序进行资源转移时，可通过该应用程序采集待检测的人脸图像，并通过活体检测模型对采集得到的人脸图像进行活体检测处理，得到相应的活体检测结果。当基于活体检测结果确定该人脸图像为针对自然人采集得到的图像时，应用程序执行登录操作或者执行资源转移操作；当基于活体检测结果确定该人脸图像为针对他人人脸的照片、视频，或者套用他人的人脸面具而采集得到的图像时，应用程序暂停执行登录操作或者暂停执行资源转移操作，并展示相应的风险提示信息。

本申请还另外提供一种应用场景，该应用场景应用上述的活体检测方法。具体地，该活体检测方法在该应用场景的应用如下：

当需要进行远程开户时，为了确认开户人的真实身份，终端可通过前置摄像头采集包括有开户人面部的人脸图像，并将该人脸图像输入至活体检测模型中，通过活体检测模型进行活体检测，并在活体检测结果表征该人脸图像为针对自然人采集得到的图像时，判定活体检测结果通过。

上述应用场景仅为示意性的说明，可以理解，本申请各实施例所提供的活体检测方法的应用不局限于上述场景，比如还可用于小区门禁验核场景、司机远程认证场景中等。

在一个具体实施例中，参考题8，活体检测方法包括：

S802，获取原始图像，并识别原始图像中待检测对象的面部区域；对面部区域进行尺寸调整，得到目标区域(比如，对人脸识别框进行尺寸扩大处理，得到包括有完成人脸和部分背景的目标区域)；剪裁目标区域，得到包括有待检测对象的待检测图像。

S804，对于至少一个处理单元中的首个处理单元，将待检测图像作为首个处理单元的输入数据。

S806，对于至少一个处理单元中的除首个处理单元之外的每个处理单元，均将相应处理单元之前的在前处理单元输出的融合特征，作为相应处理单元的输入数据，其中，在前处理单元指的是与当前处理单元相邻、且位于当前处理单元之前的一个处理单元。

S808，处理单元包括特征提取结构，对于至少一个处理单元中的每个处理单元，均通过当前处理单元中的特征提取结构提取相应输入数据中的全局初始特征和局部初始特征，并对局部初始特征进行局部池化处理，得到局部处理特征中的局部统计特征，根据局部初始特征与局部统计特征之间的特征差异，得到相应的局部差异特征。

S810，通过当前处理单元中的特征提取结构，从局部差异特征中提取全局面部信息，并将全局面部信息补充至全局初始特征，得到全局维度特征，比如，得到面部轮廓特征、面部纹理特征等；从全局初始特征中提取局部部位信息，并将局部部位信息补充至局部差异特征，得到局部维度特征，比如，得到发型、眼镜、鼻子、嘴以及各个脸部器官之间的距离等其中的一种或多种特征。

S812，处理单元还包括特征融合结构，通过特征融合结构分别对全局维度特征和局部维度特征进行卷积处理，得到全局维度卷积结果和局部维度卷积结果，并对全局维度卷积结果和局部维度卷积结果进行聚合处理，得到聚合特征。

S814，通过特征融合结构确定与全局维度特征相对应的第一矩阵向量和第一归一化函数，以及确定与局部维度特征相对应的第二矩阵向量和第二归一化函数，比如，第一矩阵向量和第二矩阵向量具体可分别为一个全连层，第一归一化函数和第二归一化函数具体可分别为一个归一化层。

S816，通过特征融合结构对聚合特征进行全局平均池化处理，得到全局池化结果；比如，特征融合结构可对集合特征所对应的整个特征图进行求平均运算，得到全局池化结果。

S818，通过特征融合结构，并基于第一矩阵向量和第一归一化函数对全局池化结果进行第一处理，得到与全局维度特征对应的特征权重；通过第二矩阵向量和第二归一化函数对全局池化结果进行第二处理，得到与局部维度特征对应的特征权重。

S820，通过特征融合结构，并基于全局维度特征和局部维度特征各自对应的特征权重，对全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征。

S822，根据每个处理单元各自输出的融合特征，确定与待检测对象对应的活体检测结果，比如，将每个处理单元各自输出的融合特征输入至活体分类结构中，通过活体分类结构输出对待检测图像进行活体检测的检测分值。

上述活体检测方法中，通过获取待检测图像以及在前处理单元输出的融合特征，可基于待检测图像和在前处理单元输出的融合特征，确定每个处理单元各自对应的输入数据，从而各处理单元均可对各自对应的输入数据进行特征提取和特征融合处理，得到相应的融合特征；通过得到每个处理单元各自输出的融合特征，可综合各融合特征，如此，得到与待检测对象对应的活体检测结果。由于是综合全局维度特征和局部维度特征来对待检测图像进行活体检测的，相比于通过噪声分布来确定活体检测结果，本申请可在待检测图像不满足“待检测图像和真实图像之间的差别可能符合的某种分布的噪声”这一前提时，依旧能够得到准确的活体检测结果。

在一个具体实施例中，参考图9，活体检测方法包括：

S902，获取待训练的活体检测模型、样本图像、以及与样本图像相对应的样本标签；活体检测模型包括至少一个待训练处理单元。

S904，确定至少一个待训练处理单元分别对应的输入样本，比如，与首个待训练的处理单元相对应的输入样本为样本图像，与除首个待训练的处理单元之外的其余处理单元相对应的输入样本为融合预测特征；至少一个待训练处理单元中的当前待训练处理单元的输入样本包括样本图像、以及在前待训练处理单元输出的融合预测特征中的至少一种。

S906，通过各处理单元分别对各自的输入样本进行特征提取，得到全局预测特征和局部预测特征，并对全局预测特征和局部预测特征进行特征融合处理，得到相应的融合预测特征。

S908，通过活体检测模型中的深度图构造结构，对每个待训练处理单元各自输出的融合预测特征进行深度图构造处理，得到对应的预测深度图，比如，得到样本图像中待检测对象面部的深度图。

S910，通过活体检测模型中的活体分类结构，对每个待训练处理单元各自输出的融合预测特征进行活体分类处理，得到对应的活体预测标签，比如，得到“样本图像为针对真实活体所采集的图像”字样的标签，或得到“样本图像为针对他人人脸的照片、视频，或者套用他人的人脸面具而采集得到的图像”字样的标签。

S912，确定预测深度图与目标深度图之间的第一差异，比如，将预测深度图与目标深度图相减，得到第一差异，以及确定活体预测标签与活体分类标签之间的第二差异；通过第一差异和第二差异，对活体检测模型进行训练，直至达到训练停止条件时停止，比如，直至达到预设迭代训练次数时停止。

S914，获取与对待检测对象对应的待检测图像；确定至少一个处理单元各自对应的输入数据；每个处理单元的输入数据包括待检测图像、以及在相应处理单元之前的在前处理单元输出的融合特征中的至少一种。

S916，通过各处理单元分别对各自的输入数据进行特征提取，得到全局维度特征和局部维度特征，并对全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征。

S918，根据每个处理单元各自输出的融合特征，确定与待检测对象对应的活体检测结果。

应该理解的是，虽然图2、图8-图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图8-图9中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图10所示，提供了一种活体检测装置1000，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：数据获取模块1002、特征融合模块1004和结果输出模块1006，其中：

数据获取模块1002，用于获取与对待检测对象对应的待检测图像；确定至少一个处理单元各自对应的输入数据；每个处理单元的输入数据包括待检测图像、以及在相应处理单元之前的在前处理单元输出的融合特征中的至少一种。

特征处理模块1004，用于通过各处理单元分别对各自的输入数据进行特征提取，得到全局维度特征和局部维度特征，并对全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征。

结果输出模块1006，用于根据每个处理单元各自输出的融合特征，确定与待检测对象对应的活体检测结果。

在一个实施例中，参考图11，数据获取模块1002包括图像获取模块1021，用于获取原始图像，并识别原始图像中待检测对象的面部区域；对面部区域进行尺寸调整，得到目标区域；剪裁目标区域，得到包括有待检测对象的待检测图像。

在一个实施例中，数据获取模块1002用于对于至少一个处理单元中的首个处理单元，将待检测图像作为首个处理单元的输入数据；对于至少一个处理单元中的除首个处理单元之外的每个处理单元，均将相应处理单元之前的在前处理单元输出的融合特征，作为相应处理单元的输入数据。

在一个实施例中，特征处理模块1004用于通过多个处理单元中的首个处理单元，对待检测图像进行特征提取，得到第一全局维度特征和第一局部维度特征，并对第一全局维度特征和第一局部维度特征进行特征融合处理，得到首个处理单元输出的融合特征；对于除首个处理单元之外的各处理单元，均对相应处理单元之前的在前处理单元输出的融合特征进行特征提取，得到第二全局维度特征和第二局部维度特征，并对第二全局维度特征和第二局部维度特征进行特征融合处理，得到相应处理单元输出的融合特征。

在一个实施例中，特征处理模块1004包括特征提取模块1041，用于对于至少一个处理单元中的每个处理单元，均通过当前处理单元提取相应输入数据中的全局初始特征和局部初始特征；通过当前处理单元，对局部初始特征进行局部池化处理，得到局部处理特征中的局部统计特征，并根据局部初始特征与局部统计特征之间的特征差异，得到相应的局部差异特征；通过当前处理单元，分别对全局初始特征和局部差异特征进行特征补充处理，得到对应的全局维度特征和局部维度特征。

在一个实施例中，特征提取模块1041还用于从局部差异特征中提取全局面部信息，并将全局面部信息补充至全局初始特征，得到全局维度特征；从全局初始特征中提取局部部位信息，并将局部部位信息补充至局部差异特征，得到局部维度特征。

在一个实施例中，特征处理模块1004还包括特征融合模块1042，用于确定全局维度特征和局部维度特征各自对应的特征权重；基于全局维度特征和局部维度特征各自对应的特征权重，对全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征。

在一个实施例中，特征融合模块1042还用于分别对全局维度特征和局部维度特征进行卷积处理，得到全局维度卷积结果和局部维度卷积结果，并对全局维度卷积结果和局部维度卷积结果进行聚合处理，得到对应的聚合特征；根据聚合特征，确定全局维度特征和局部维度特征各自对应的特征权重。

在一个实施例中，特征融合模块1042还用于确定与全局维度特征相对应的第一矩阵向量和第一归一化函数，以及确定与局部维度特征相对应的第二矩阵向量和第二归一化函数；对聚合特征进行全局平均池化处理，得到全局池化结果；通过第一矩阵向量和第一归一化函数对全局池化结果进行第一处理，得到与全局维度特征对应的特征权重；通过第二矩阵向量和第二归一化函数对全局池化结果进行第二处理，得到与局部维度特征对应的特征权重。

在一个实施例中，活体检测装置1000还包括训练模块1008，用于获取待训练的活体检测模型、样本图像、以及与样本图像相对应的样本标签；活体检测模型包括至少一个待训练处理单元；确定至少一个待训练处理单元分别对应的输入样本；至少一个待训练处理单元中的当前待训练处理单元的输入样本包括样本图像、以及在前待训练处理单元输出的融合预测特征中的至少一种；通过各处理单元分别对各自的输入样本进行特征提取，得到全局预测特征和局部预测特征，并对全局预测特征和局部预测特征进行特征融合处理，得到相应的融合预测特征；根据每个待训练处理单元各自输出的融合预测特征，确定对样本图像进行活体预测的预测结果；根据预测结果和样本标签，对活体检测模型进行训练，直至达到训练停止条件时停止，得到训练完成的活体检测模型。

在一个实施例中，预测结果包括预测深度图和活体预测标签；训练模块1008还用于通过活体检测模型中的深度图构造结构，对每个待训练处理单元各自输出的融合预测特征进行深度图构造处理，得到对应的预测深度图；通过活体检测模型中的活体分类结构，对每个待训练处理单元各自输出的融合预测特征进行活体分类处理，得到对应的活体预测标签。

在一个实施例中，样本标签包括目标深度图和活体分类标签；训练模块1008还用于确定预测深度图与目标深度图之间的第一差异，以及确定活体预测标签与活体分类标签之间的第二差异；通过第一差异和第二差异，对活体检测模型进行训练，直至达到训练停止条件时停止。

关于活体检测装置的具体限定可以参见上文中对于活体检测方法的限定，在此不再赘述。上述活体检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储活体检测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种活体检测方法。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种活体检测方法，其特征在于，所述方法包括：

获取与对待检测对象对应的待检测图像；

确定至少一个处理单元各自对应的输入数据；每个处理单元的输入数据包括所述待检测图像、以及在相应处理单元之前的在前处理单元输出的融合特征中的至少一种；

通过各所述处理单元分别对各自的输入数据进行特征提取，得到全局维度特征和局部维度特征，并对所述全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征；

根据每个所述处理单元各自输出的融合特征，确定与所述待检测对象对应的活体检测结果。

2.根据权利要求1所述的方法，其特征在于，所述获取与对待检测对象对应的待检测图像，包括：

获取原始图像，并识别所述原始图像中待检测对象的面部区域；

对所述面部区域进行尺寸调整，得到目标区域；

剪裁所述目标区域，得到包括有待检测对象的待检测图像。

3.根据权利要求1所述的方法，其特征在于，所述确定至少一个处理单元各自对应的输入数据，包括：

对于至少一个处理单元中的首个处理单元，将所述待检测图像作为所述首个处理单元的输入数据；

对于至少一个处理单元中的除首个处理单元之外的每个处理单元，均将相应处理单元之前的在前处理单元输出的融合特征，作为相应处理单元的输入数据。

4.根据权利要求3所述的方法，其特征在于，所述通过各所述处理单元分别对各自的输入数据进行特征提取，得到全局维度特征和局部维度特征，并对所述全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征，包括：

通过多个处理单元中的首个处理单元，对所述待检测图像进行特征提取，得到第一全局维度特征和第一局部维度特征，并对所述第一全局维度特征和第一局部维度特征进行特征融合处理，得到首个处理单元输出的融合特征；

对于除首个处理单元之外的各处理单元，均对相应处理单元之前的在前处理单元输出的融合特征进行特征提取，得到第二全局维度特征和第二局部维度特征，并对所述第二全局维度特征和第二局部维度特征进行特征融合处理，得到相应处理单元输出的融合特征。

5.根据权利要求1所述的方法，其特征在于，所述通过各所述处理单元分别对各自的输入数据进行特征提取，得到全局维度特征和局部维度特征，包括：

对于至少一个处理单元中的每个处理单元，均通过当前处理单元提取相应输入数据中的全局初始特征和局部初始特征；

通过所述当前处理单元，对所述局部初始特征进行局部池化处理，得到所述局部处理特征中的局部统计特征，并根据所述局部初始特征与局部统计特征之间的特征差异，得到相应的局部差异特征；

通过所述当前处理单元，分别对所述全局初始特征和局部差异特征进行特征补充处理，得到对应的全局维度特征和局部维度特征。

6.根据权利要求5所述的方法，其特征在于，所述分别对所述全局初始特征和局部差异特征进行特征补充处理，得到对应的全局维度特征和局部维度特征，包括：

从所述局部差异特征中提取全局面部信息，并将所述全局面部信息补充至所述全局初始特征，得到全局维度特征；

从所述全局初始特征中提取局部部位信息，并将所述局部部位信息补充至所述局部差异特征，得到局部维度特征。

7.根据权利要求1所述的方法，其特征在于，所述对所述全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征，包括：

确定所述全局维度特征和局部维度特征各自对应的特征权重；

基于所述全局维度特征和局部维度特征各自对应的特征权重，对所述全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征。

8.根据权利要求7所述的方法，其特征在于，所述确定所述全局维度特征和局部维度特征各自对应的特征权重，包括：

分别对所述全局维度特征和局部维度特征进行卷积处理，得到全局维度卷积结果和局部维度卷积结果，并对所述全局维度卷积结果和局部维度卷积结果进行聚合处理，得到对应的聚合特征；

根据所述聚合特征，确定所述全局维度特征和局部维度特征各自对应的特征权重。

9.根据权利要求8所述的方法，其特征在于，所述根据所述聚合特征，确定所述全局维度特征和局部维度特征各自对应的特征权重，包括：

确定与所述全局维度特征相对应的第一矩阵向量和第一归一化函数，以及确定与所述局部维度特征相对应的第二矩阵向量和第二归一化函数；

对所述聚合特征进行全局平均池化处理，得到全局池化结果；

通过所述第一矩阵向量和第一归一化函数对所述全局池化结果进行第一处理，得到与所述全局维度特征对应的特征权重；

通过所述第二矩阵向量和第二归一化函数对所述全局池化结果进行第二处理，得到与所述局部维度特征对应的特征权重。

10.根据权利要求1至9任意一项所述的方法，其特征在于，所述活体检测方法由活体检测模型执行，所述活体检测模型通过模型训练步骤训练获得，所述模型训练步骤包括：

获取待训练的活体检测模型、样本图像、以及与所述样本图像相对应的样本标签；所述活体检测模型包括至少一个待训练处理单元；

确定至少一个待训练处理单元分别对应的输入样本；所述至少一个待训练处理单元中的当前待训练处理单元的输入样本包括所述样本图像、以及在前待训练处理单元输出的融合预测特征中的至少一种；

通过各所述处理单元分别对各自的输入样本进行特征提取，得到全局预测特征和局部预测特征，并对所述全局预测特征和局部预测特征进行特征融合处理，得到相应的融合预测特征；

根据每个所述待训练处理单元各自输出的融合预测特征，确定对所述样本图像进行活体预测的预测结果；

根据所述预测结果和所述样本标签，对所述活体检测模型进行训练，直至达到训练停止条件时停止，得到训练完成的活体检测模型。

11.根据权利要求10所述的方法，其特征在于，所述预测结果包括预测深度图和活体预测标签；所述根据每个所述待训练处理单元各自输出的融合预测特征，确定对所述样本图像进行活体预测的预测结果，包括：

通过所述活体检测模型中的深度图构造结构，对每个所述待训练处理单元各自输出的融合预测特征进行深度图构造处理，得到对应的预测深度图；

通过所述活体检测模型中的活体分类结构，对每个所述待训练处理单元各自输出的融合预测特征进行活体分类处理，得到对应的活体预测标签。

12.根据权利要求11所述的方法，其特征在于，所述样本标签包括目标深度图和活体分类标签；所述根据所述预测结果和所述样本标签，对所述活体检测模型进行训练，直至达到训练停止条件时停止，包括：

确定所述预测深度图与所述目标深度图之间的第一差异，以及确定所述活体预测标签与所述活体分类标签之间的第二差异；

通过所述第一差异和所述第二差异，对所述活体检测模型进行训练，直至达到训练停止条件时停止。

13.一种活体检测装置，其特征在于，所述装置包括：

数据获取模块，用于获取与对待检测对象对应的待检测图像；确定至少一个处理单元各自对应的输入数据；每个处理单元的输入数据包括所述待检测图像、以及在相应处理单元之前的在前处理单元输出的融合特征中的至少一种；

特征处理模块，用于通过各所述处理单元分别对各自的输入数据进行特征提取，得到全局维度特征和局部维度特征，并对所述全局维度特征和局部维度特征进行特征融合处理，得到相应的融合特征；

结果输出模块，用于根据每个所述处理单元各自输出的融合特征，确定与所述待检测对象对应的活体检测结果。

14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。

15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。

16.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。

Images