CN114743277A - 活体检测方法、装置、电子设备、存储介质及程序产品 - Google Patents

Abstract

本申请实施例提供了一种活体检测方法、装置、电子设备、存储介质及程序产品，涉及图像处理、应用安全技术领域。该方法包括：获取多模态人脸图像；对多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征；基于多模态融合特征，确定多模态人脸图像的活体检测结果。本申请实施例用于解决现有技术中由于各模态下的图像独立检测而忽略了各模态之间的相关性，导致检测准确度低的问题，本申请的实施提高了活体检测的准确度。

Description

活体检测方法、装置、电子设备、存储介质及程序产品

技术领域

本申请涉及图像处理、应用安全技术领域，具体而言，本申请涉及一种活体检测方法、装置、电子设备、存储介质及程序产品。

背景技术

为了防止不法分子恶意利用伪造的他人生物特征用于身份认证，如利用窃取的照片、网上录制的视频、制作的假体面具等，活体检测是必不可少的。当前的活体检测方案有静默活体检测技术、动作活体检测技术等，其中静默活体检测技术不同于动作活体检测技术，无需用户配合，能够无感知地进行活体认证，速度更快，用户体验更好。

然而，目前静默活体检测技术往往将多模态图像分别采用不同的活体检测模型进行活体检测，这样由于各模态独立检测，难以捕获各模态间的信息差异，以及无法没有考虑各模态之间的相关性，很大程度上影响活体检测的准确度。

发明内容

本申请实施例提供了一种活体检测方法、装置、电子设备、存储介质及程序产品，用于解决现有技术中由于各模态下的图像独立检测而忽略各模态之间的相关性的问题。

根据本申请实施例的一个方面，提供了一种活体检测方法，包括：

获取多模态人脸图像；

对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征；

基于所述多模态融合特征，确定所述多模态人脸图像的活体检测结果。

在一个可能的实现方式中，所述对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征，包括：

提取所述多模态人脸图像在每个预设模态下的图像特征，并针对每个模态下的图像特征，分别将该图像特征与其他模态下的图像特征进行特征融合，以输出用于表征该模态与其他模态的图像特征之间的相关性的多模态融合特征。

在一个可能的实现方式中，所述基于所述多模态融合特征，确定所述多模态人脸图像的活体检测结果，包括：

将每个模态下的多模态融合特征进行融合，并根据融合结果确定所述多模态人脸图像的活体检测结果。

在一个可能的实现方式中，通过特征提取网络中的第一特征提取网络对所述多模态人脸图像进行特征提取后融合；

所述第一特征提取网络包括全局特征提取网络和/或局部特征提取网络，所述多模态融合特征包括所述全局特征提取网络的输出、所述局部特征提取网络的输出以及由所述全局特征提取网络的输出与所述局部特征提取网络的输出组织而成的融合特征中的至少一种。

在一个可能的实现方式中，所述局部特征提取网络包括级联排序的第一线性层、基于自注意力机制的特征融合层和第二线性层；

通过所述局部特征提取网络执行以下步骤，以得到所述局部特征提取网络的输出：

通过所述第一线性层对所述多模态人脸图像进行线性变换，得到用于表征各模式下针对图像中的第i个目标区域的局部特征的局部特征序列，其中，i≥1；

通过所述特征融合层对所述局部特征序列进行特征融合，得到不同模态下针对所述第i个目标区域的融合特征；

通过所述第二线性层对所述融合特征进行线性变换，得到用于表征每个模态与其他模态的局部特征之间的相关性的多模态局部融合特征，并将其作为所述局部特征提取网络的输出。

在一个可能的实现方式中，所述全局特征提取网络包括级联排序的第一残差网络和第二残差网络，所述第一残差网络包括注意力机制，所述第二残差网络包括多层感知机；

通过所述全局特征提取网络执行以下步骤，以得到所述全局特征提取网络的输出：

通过所述第一残差网络对所述多模态人脸图像进行特征提取，并针对输出结果及所输入的多模态人脸图像进行残差分析，输出每个模态下的第一全局特征；

通过所述第二残差网络对每个模态下的第一全局特征进行特征提取，并针对输出结果及所输入的第一全局特征进行残差分析，得到每个模态下的第二全局特征，并将其作为所述全局特征提取网络的输出。

在一个可能的实现方式中，通过特征提取网络中的第二特征提取网络对所述多模态人脸图像进行特征提取后融合；

所述对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征，还包括：

将所述多模态人脸图像输入到所述第二特征提取网络，提取每个模态下的图像特征，并将每个模态下的图像特征进行特征融合，输出用于表征各模态的图像特征之间的相关性的多模态融合特征。

在一个可能的实现方式中，所述获取多模态人脸图像，包括：

获取终端设备发送的同一时刻下的多模态图像，所述多模态图像包括RGB图像、红外图像和深度图像中的至少两种；

对所述多模态图像进行人脸识别，得到相应的多模态人脸图像，所述多模态人脸图像包括RGB人脸图像、红外人脸图像和深度人脸图像中的至少两种。

根据本申请实施例的另一个方面，提供了一种活体检测装置，包括：

图像获取模块，用于获取多模态人脸图像；

多模态特征处理模块，用于对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征；

活体检测模块，用于基于所述多模态融合特征，确定所述多模态人脸图像的活体检测结果。

根据本申请实施例的另一个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现上述实施例所述的活体检测方法的步骤。

根据本申请实施例的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例所述的活体检测方法的步骤。

根据本申请实施例的再一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述实施例所述的活体检测方法的步骤。

本申请实施例提供的技术方案带来的有益效果是：

本申请提供的活体检测方法，通过获取多模态人脸图像，继而对多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征，从而基于多模态融合特征，确定多模态人脸图像的活体检测结果，能够解决现有技术中由于各模态下的图像独立检测所导致忽略各模态之间的相关性的问题，使得在检测过程中能够考虑到各模态数据之间的差异性和相关性，以充分利用多个维度下的图像特征数据进行活体检测，提高活体检测的准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的计算机系统架构示意图；

图2为本申请一个示例性实施例提供的活体检测系统的结构示意图；

图3为本申请实施例提供的一种活体检测方法的流程示意图；

图4为本申请一个示例性实施例提供的MML-Vit网络的结构示意图；

图5为本申请另一个示例性实施例提供的MML-Vit Block模型的结构示意图；

图6为本申请实施例提供的一种活体检测装置的结构示意图；

图7为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1为本申请实施例提供的计算机系统架构示意图。该计算机系统100包括多个终端设备101和服务器102，其中，各终端设备101与服务器102之间通过通信网络连接，且终端设备101以及服务器102可以通过有线或无线通信方式进行直接或间接地连接，本申请对此不做限制。

终端设备101可以为安装有应用程序或可以运行程序的任意终端设备，诸如智能摄像设备、智能手机、平板电脑、笔记本电脑、台式计算机、智能可穿戴式设备、车载设备等，本申请实施例并不对此进行限定。关于硬件结构，上述终端设备101包括摄像头、显示屏、存储器、处理器及输入设备，但不限于此。示例性的，上述应用程序是多媒体平台的终端侧应用程序。

服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络、以及大数据和人工智能平台等基础云计算服务的云服务器。此外，在本申请中该服务器102还可以是其他具有数据处理功能的处理设备。服务器上承载有多媒体平台，上述服务器为多个终端设备中开发且运行的应用程序提供后台服务。

其中，终端设备101用以获取同一时刻下的多模态图像，本申请中终端设备可以是一个具有采集多个模态下的成像的功能的摄像设备，也可以是多个具有采集单一模态下的成像的功能的摄像设备，本申请对此不作限定。服务器102为提供计算能力的电子设备，其与终端设备101连接，用于接收终端设备101发送的多模态图像，并对该多模态图像进行人脸识别，获得多模态人脸图像，从而对该多模态人脸图像进行特征提取以及特征融合，得到用于表征模态之间的特征关联性的多模态融合特征，以使基于所述多模态融合特征，确定多模态人脸图像的活体检测结果，这样考虑到每个模态下图像之间的特征相关性，提高了活体检测的准确度。可选地，上述由服务器102执行的操作步骤，也可以由终端设备101执行。

在一具体实施例中，图2为本申请一个示例性实施例提供的活体检测系统的结构示意图，多模态图像包括但不限于RGB图像、红外图像和深度图像，因此针对采集多模态图像，终端设备101包括可见光摄像设备(如RGBD相机)、近红外摄像设备(如红外相机)和深度摄像设备(如结构光深度相机、双目立体视觉相机、TOF相机)中的至少两种。可选的，除了上述示例终端设备，本申请的终端设备101还包括用以能够采集RGB图像、红外图像及深度图像的其他摄像设备以及用于采集除上述RGB模态、红外模态及深度模态外的其他模态下的成像的摄像设备，本申请对此不做出限定。更具体的，如图2所示，可见光摄像头1011与服务器102连接，用以采集RGB图像，并将RGB图像发送到服务器；近红外摄像头1012与服务器102连接，用以采集红外图像，并将红外图像发送到服务器；深度摄像头1013与服务器102连接，用以采集深度图像，并将深度图像发送到服务器。这样，将RGB图像、红外图像及深度图像中的至少两种作为输入，利用各模态之间的图像的信息差异性与相关性，进行活体检测。具体的，服务器102对接收到的多模态图像进行人脸检测和外扩，得到RGB人脸图像、红外人脸图像和深度人脸图像，从而对RGB人脸图像、红外人脸图像和深度人脸图像进行特征提取及特征融合，利于获取RGB模态、红外模态及深度模态下的人脸图像之间的差异性和相关性，使得实现依据由多模态人脸图像处理生成的多模态融合特征，实现目标检测对象的活体检测。

图3为本申请实施例提供的一种活体检测方法的流程示意图。本申请实施例中提供了一种活体检测方法，以应用于图1、图2所示的服务器102为例进行说明，该方法包括步骤S301至S303。

S301、获取多模态人脸图像。

在一些实施例中，所述获取多模态人脸图像，包括：

获取终端设备发送的同一时刻下的多模态图像，所述多模态图像包括RGB图像、红外图像和深度图像中的至少两种；

对所述多模态图像进行人脸识别，得到相应的多模态人脸图像，所述多模态人脸图像包括RGB人脸图像、红外人脸图像和深度人脸图像中的至少两种。

在门禁系统、支付应用、社交应用等多种场景中，常常需要对用户身份进行识别验证，常见的攻击手段包括：基于2D的假脸数据，例如使用打印纸、铜版纸、照片纸以及电脑屏幕、平板Pad屏幕、手机屏幕等进行人像攻击；基于3D的假脸数据，例如使用头模、硅胶面具和纸质照片抠洞的人脸面具进行人像攻击等。

其中，RGB图像是指通过摄像头对目标检测对象进行拍摄得到的彩色图像，RGB图像的每个像素值采用R(红)、G(绿)、B(蓝)三个通道的颜色分量来表示。红外图像是指利用探测仪测量目标检测对象本身与背景间的红外线差可以得到不同的红外线形成的红外图像。深度图像是指从摄像头到目标检测对象所处场景中各点的距离值作为像素值的图像，深度图像能够反映目标表面的几何形状。因此，本申请基于目标检测对象在多种模态下的人脸图像进行活体检测，能够充分利用多种模态下的人脸特征信息，从多种维度进行活体检测，实现对上述攻击图像进行拦截，提高了检测的精度。

在本实施例中，服务器对终端设备发送的RGB图像、红外图像和深度图像分别进行人脸识别和外扩，相应得到预设像素大小的RGB人脸图像、红外人脸图像和深度人脸图像。可选的，人脸识别是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标对象的技术，是应用深度学习算法、计算机视觉算法等人工智能算法的一种实践应用。

S302、对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征。

需要说明的是，以RGB模态、红外模态及深度模态下的图像为例进行说明，针对RGB人脸图像、红外人脸图像和深度人脸图像进行特征提取，从而获得各模态下的图像特征，即分别与RGB人脸图像、红外人脸图像和深度人脸图像相应的图像特征。进一步，将RGB模态、红外模态及深度模态下的图像特征进行特征融合，以获得能够用以表征RGB模态、红外模态及深度模态下的图像特征之间的相关性及差异性的多模态融合特征，提高了后续活体检测的准确度。这样，本申请对多模态下的人脸图像进行特征提取及特征融合，避免了因各模态下的图像独立检测所导致缺乏各模态之间的信息相关性，以及难以捕获各模态之间的信息差异的情况，提高了模型的表达能力和准确度，以及提高了各模态数据之间的关联性。

S303、基于所述多模态融合特征，确定所述多模态人脸图像的活体检测结果。

本申请实施例提供的活体检测方法，通过获取多模态人脸图像，继而对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征，从而基于所述多模态融合特征，确定所述多模态人脸图像的活体检测结果，能够解决现有技术中由于各模态下的图像独立检测所导致忽略各模态之间的相关性的问题，使得在检测过程中能够考虑到各模态数据之间的差异性和相关性，以充分利用多个维度下的图像特征数据进行活体检测，提高了活体检测的准确度。

在一些实施例中，步骤S302包括：

提取所述多模态人脸图像在每个预设模态下的图像特征，并针对每个模态下的图像特征，分别将该图像特征与其他模态下的图像特征进行特征融合，以输出用于表征该模态与其他模态的图像特征之间的相关性的多模态融合特征。

在本实施例中，针对各模态下的人脸图像(即RGB人脸图像、红外人脸图像和深度人脸图像中的至少两种)，提取各模态下的图像特征。进一步，对各模态下的图像特征进行特征融合，以获取每个模态与其他模态下的图像特征之间的相关性的多模态融合特征，每个模态具有与其相应的多模态融合特征，分别包括RGB模态、红外模态及深度模态下的多模态融合特征。需要说明的是，该多模态融合特征用于表征每个模态在与其他模态的图像特征的相互影响及相互关联下的融合特征，示例性的，针对RGB模态，将该RGB模态的图像特征与红外模态、深度模态下的特征图像进行特征融合，考虑到RGB模态与红外模态、深度模态之间的特征关联性，以获得RGB模态下的多模态融合特征。因此，本实施例中用于活体检测的多模态融合特征考虑了模态间的相互关联性，使得提高了图像特征的准确度，使得提高了活体检测的精度。

基于上述实施例，在一些实施例中，步骤S303包括：

将每个模态下的多模态融合特征进行融合，并根据融合结果确定所述多模态人脸图像的活体检测结果。

在本实施例中，将多个针对不同模态的多模态融合特征做进一步的特征融合。可选的，在本实施例的特征融合过程中，将多个多模态融合特征融合成至少一个融合特征结果，用以表征所有模态下对活体检测具有决定性、关键性作用的图像特征信息，以便基于该融合特征结果对多模态人脸图像进行活体检测。可选的，在该特征融合过程中，将多个针对不同模态的多模态融合特征做进一步的相互融合，以获得相应模态下的融合特征结果，使得该特征更为准确，能够利用任一模态下的融合特征结果快速、准确地识别出活体检测结果。因此，本实施例对不同模态下的多模态融合特征做进一步融合处理，提升了用于活体检测的图像特征的信息丰富度及有效性，利于提高活体检测的准确度和效率。

在一些实施例中，通过特征提取网络中的第一特征提取网络对所述多模态人脸图像进行特征提取后融合；

所述第一特征提取网络包括全局特征提取网络和/或局部特征提取网络，所述多模态融合特征包括所述全局特征提取网络的输出、所述局部特征提取网络的输出以及由所述全局特征提取网络的输出与所述局部特征提取网络的输出组织而成的融合特征中的至少一种。

在本实施例中，通过将多模态图像输入到同一个特征提取网络(即第一特征提取网络)进行特征提取及特征融合，避免了由于各模态下的图像采用独立模型检测所导致忽略各模态之间的相关性的情况，使得在检测过程中能够考虑到各模态数据之间的差异性和相关性，提高了活体检测的准确度。

示例性的，图4为本申请一个示例性实施例提供的MML-Vit网络的结构示意图，分别通过可见光摄像头、近红外摄像头和深度摄像头获取同一时刻的图像，使用retinaface人脸检测算法对获取到的图像进行人脸检测和外扩，得到224*224大小的多模态人脸图像。将RGB人脸图像、红外人脸图像和深度人脸图像分别均匀切分成32*32大小，共得到3组图像特征块，每组特征块数量为7*7，作为特征提取网络的输入。如图4所示，本示例实施例中特征提取网络采用MML-Vit网络，将上述3组图像特征块同时输入到MML-Vit(Multi-ModelLocal Vision Transformer，多模式视觉转换器)网络中，以输出活体检测结果。其中，该MML-Vit网络包括RGB分支、IR分支和Depth分支，分别将各组图像特征块输入到各自相应的分支。该MML-Vit网络的各分支均包括线性层(如图4中的Linear project层)、MML-VitBlock模型、多层感知机(如图4中的MLP header层)及Sigmoid层(如图4中的Cat&Sigmoid层)，在线性层中对各分支的图像特征块进行线性变换，从而将线性变化后的图像特征块输入到MML-Vit Block模型中，以针对各组图像特征块进行特征提取、融合等处理，以输出用于表征模态之间的特征关联性的多模态融合特征，并将MML-Vit Block模型的输出经多层感知机进行进一步特征提取与选择，从而将各分支的多层感知机的输出进行特征融合，即将RGB模态、红外模态及深度模态下的图像特征数据进行融合，并将特征融合结果输入到Sigmoid层，实现特征空间的非线性转换，以提高模型的拟合度，从而基于Sigmoid层的输出进行分类，以获得活体检测结果。

可选的，MML-Vit Block模型由L(L≥2)层特征提取子网络组织而成，使得对各组图像特征块进行多层特征提取，得到各模态下的图像特征。

基于上述实施例，在一实施例中，所述局部特征提取网络包括级联排序的第一线性层、基于自注意力机制的特征融合层和第二线性层；

通过所述局部特征提取网络执行以下步骤，以得到所述局部特征提取网络的输出：

通过所述第一线性层对所述多模态人脸图像进行线性变换，得到用于表征各模式下针对图像中的第i个目标区域的局部特征的局部特征序列，其中，i≥1；

通过所述特征融合层对所述局部特征序列进行特征融合，得到不同模态下针对所述第i个目标区域的融合特征；

通过所述第二线性层对所述融合特征进行线性变换，得到用于表征每个模态与其他模态的局部特征之间的相关性的多模态局部融合特征，并将其作为所述局部特征提取网络的输出。

针对图像中的目标区域，在一可选的实施例中，本实施例设有多个检测点(即目标区域)，如眼睛区域、嘴巴区域、眉部区域、轮廓区域，其中检测点的数量不做出限定。由此，按照检测点的位置信息，使用关键点跟踪技术或目标识别技术识别图像中的检测点。在另一可选的实施例中，识别各模态下的图像的斑点和角点，以使将该斑点和角点作为用于表征局部特征点的检测点。其中，斑点通常是指与周围有着颜色和灰度差别的区域，角点则是图像中一边物体的拐角或者线条之间的交叉部分。对此，采用LoG、SIFT算法检测斑点，以及采用Harris算法、FAST算法检测角点。

在本实施例中，局部特征提取网络用于提取针对图像中的不同目标区域在不同模态下的局部特征，并由上述局部特征获取不同模态下针对同一目标区域的多模态局部融合特征，该多模态局部融合特征表征针对同一目标区域，每个模态与其他模态的图像特征之间的相关性，以及针对不同模态，i个目标区域的融合特征之间的相关性。因此，在活体检测的过程中，以用于表征局部特征的多模态局部融合特征作为多模态融合特征，用以活体检测，考虑到图像的局部区域在不同模态之间的相互关联性以及局部区域的多模态特征之间的关联性，提高了活体检测的准确度。

具体的，在第一线性层中进行线性变换，得到各模态下针对同一目标区域的局部特征，并将表征同一目标区域的不同模态下的局部特征组织成局部特征序列。示例性的，将RGB人脸图像、红外人脸图像和深度人脸图像作局部特征提取网络的第一线性层的输入，分别表示为

和

经第一线性层的线性变换，得到表征每个目标区域的局部特征序列，分别为

进一步，为获取不同模态下同一目标区域的局部特征的相关性，在基于自注意力机制的特征融合层中分别对上述局部特征序列进行特征融合，以获得RGB模态、红外模态及深度模态下针对同一目标区域的融合特征。继而，在第二线性层中进行线性变换，获得表征每个模态与其他模态的局部特征之间的相关性的多模态局部融合特征，分别记为

和

并将其作为局部特征提取网络的输出。

基于上述实施例，在一实施例中，所述全局特征提取网络包括级联排序的第一残差网络和第二残差网络；

通过所述全局特征提取网络执行以下步骤，以得到所述全局特征提取网络的输出：

通过所述第一残差网络对所述多模态人脸图像进行特征提取，并针对输出结果及所输入的多模态人脸图像进行残差分析，输出每个模态下的第一全局特征；

通过所述第二残差网络对每个模态下的第一全局特征进行特征提取，并针对输出结果及所输入的第一全局特征进行残差分析，得到每个模态下的第二全局特征，并将其作为所述全局特征提取网络的输出。

在本实施例中，全局特征包括但不限于颜色特征、纹理特征、轮廓特征及空间特征。具体的，所述第一残差网络包括注意力机制，所述第二残差网络包括多层感知机，本申请使用transformer encoder分别对输入的RGB人脸图像、红外人脸图像和深度人脸图像进行特征提取，以获取RGB模态、红外模态及深度模态下的全局特征，分别记为

和

其中l∈{1,2,…,L}。

示例性的，图4所示的MML-Vit Block模型包括全局特征提取网络和局部特征提取网络，图5为本申请另一个示例性实施例提供的MML-Vit Block模型的结构示意图，位于图中左侧的结构为全局特征提取网络，位于图中右侧的结构为局部特征提取网络，则将全局特征提取网络的输出(RGB/红外/深度模态下的全局特征)与局部特征提取网络的输出进行融合，所获得的各模态下的融合特征作为MML-Vit Block模型的输出结果。其中，基于全局特征提取网络和局部特征提取网络分别对多模态人脸图像进行多层特征提取、融合等处理，全局特征提取网络与局部特征提取网络的层数相同。

示例性的，如图5所示，将RGB人脸图像、红外人脸图像和深度人脸图像分别输入全局特征提取网络，以输入到第一残差网络中，并在第一残差网络的Norm层中进行归一化和标准化，使得加速收敛。继而，将该Norm层的输出结果输入到注意力机制(图5中的multi-head Attention)，以计算特征之间的相关性，从而将注意力机制输出结果及对应输入的多模态人脸图像(即第一残差网络的输入)进行残差分析，使得第一残差网络输出第一全局特征。进一步，将RGB模态、红外模态及深度模态下的第一全局特征输入到第二残差网络，并在第二残差网络的Norm层中进行归一化和标准化，使得加速收敛。继而，将该Norm层的输出结果输入到多层感知机(图5中的MLP)，从而将多层感知机的输出结果及对应输入的图像全局特征(即第二残差网络的输入)进行残差分析，使得第二残差网络输出RGB模态、红外模态及深度模态下图像的第二全局特征，以将该第二全局特征作为全局特征提取网络的输出。

将RGB人脸图像、红外人脸图像和深度人脸图像(表示为

和

)分别输入局部特征提取网络，以在第一线性层中进行线性变换，得到不同模态下针对同一目标区域的局部特征，并将表征同一目标区域的不同模态下图像的局部特征组织成局部特征序列

进一步，利用基于自注意力机制的特征融合层分别对上述局部特征序列进行特征融合，以获得RGB模态、红外模态及深度模态下针对同一目标区域的融合特征。继而，在第二线性层中进行线性变换，获得表征每个模态与其他模态的局部特征之间的相关性的多模态局部融合特征，分别记为

和

将其作为局部特征提取网络的输出。

进一步，如图5所示，按不同模态将全局特征提取网络的输出和局部特征提取网络的输出进行对应融合，即

和

以作为每个模态下的多模态融合特征。这样，在本实施例中图像特征包括用于表征局部特征的多模态局部融合特征以及用于表征全局特征的第二全局特征，使得能够更好地表征不同模态下图像的全局特征和局部特征，并在活体检测中考虑到不同模态之间全局和局部的信息差异性和关联性，丰富了图像特征的有效信息量。

在一些实施例中，第一特征提取网络包括全局特征提取网络，该全局特征提取网络可用于提取不同模态的图像全局特征，并针对每个模态下的图像全局特征，分别将其与其他模态下的图像全局特征进行特征融合，以获得用于表征该模态与其他模态的图像全局特征之间的相关性的多模态全局融合特征。因此，将全局特征提取网络所输出的多模态全局融合特征作为多模态融合特征，用以活体检测，考虑到图像全局特征在不同模态之间的相互关联性，提高了活体检测的准确度。因此，本申请中对于全局特征提取网络的结构不做出限定。

在一些实施例中，第一特征提取网络包括全局特征提取网络和局部特征提取网络。其中，局部特征提取网络用于获取RGB模态、红外模态及深度模态下针对不同目标区域的局部特征，本申请中对于局部特征提取网络的结构不做出限定。全局特征提取网络用于获取用于表征每个模态与其他模态的图像全局特征之间的相关性的多模态全局融合特征。因此，将全局特征提取网络所输出的多模态全局融合特征与局部特征提取网络所输出的局部特征进行融合，以融合后的融合特征作为多模态融合特征，用以活体检测，考虑到图像全局特征在不同模态之间的相互关联性以及不同模态下的图像局部特征，提高了活体检测的准确度。

在一些实施例中，第一特征提取网络包括全局特征提取网络和局部特征提取网络。局部特征提取网络用于提取针对图像中的不同目标区域在不同模态下的局部特征，并获取表征针对同一目标区域，每个模态与其他模态的图像特征之间的相关性的多模态局部融合特征。此外，全局特征提取网络用于获取用于表征每个模态与其他模态的图像全局特征之间的相关性的多模态全局融合特征。因此，将全局特征提取网络所输出的多模态全局融合特征与局部特征提取网络所输出的多模态局部融合特征进行融合，以融合后的融合特征作为多模态融合特征，用以活体检测，考虑到图像全局特征在不同模态之间的相互关联性，以及图像局部特征在不同模态之间的相互关联性，提高了活体检测的准确度。

在一些实施例中，通过特征提取网络中的第二特征提取网络对所述多模态人脸图像进行特征提取后融合；

所述对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征，还包括：

将所述多模态人脸图像输入到所述第二特征提取网络，提取每个模态下的图像特征，并将每个模态下的图像特征进行特征融合，输出用于表征各模态的图像特征之间的相关性的多模态融合特征。

在本实施例中，将各模态下的人脸图像(即RGB人脸图像、红外人脸图像和深度人脸图像中的至少两种)输入到第二特征提取网络，以提取各模态下的图像特征。将多个不同模态下的图像特征融合成至少一个多模态融合特征，该多模态融合特征用以表征所有模态下对活体检测具有决定性、关键性作用的图像特征信息，考虑到不同模态之间的信息差异性和特征关联性，以便基于该融合特征结果对多模态人脸图像进行活体检测。示例性的，如图4所示，以第二特征提取网络为MML-Vit Block模型进行说明，将RGB人脸图像、红外人脸图像和深度人脸图像输入到MML-Vit Block模型，以进行特征提取，输出RGB模态、红外模态及深度模态下的图像特征，将各图像特征经多层感知机后进行融合，得到用于表征不同模态间的特征关联的多模态融合特征，并将多模态融合特征输入到Sigmoid层，以进行分类，获得活体检测结果。这样，本实施例将多模态图像输入到同一个特征提取网络进行特征提取及特征融合，考虑到各模态数据之间的差异性和相关性，以充分利用多个维度下的图像特征数据进行活体检测，提高了活体检测的准确度。

基于上述实施例，可选的，第二特征提取网络包括全局特征网络和/或局部特征网络。其中，局部特征网络用于获取不同模态下针对不同目标区域的局部特征，全局特征网络用于获取不同模态下的全局特征，使得将全局特征网络的输出、局部特征网络的输出以及由全局特征网络的输出与局部特征网络的输出组织而成的特征中的一种，作为不同模态下的图像特征，以此融合成表征不同模态间的特征关联性的多模态融合特征，这样考虑到图像的全局特征及局部特征在不同模态之间的相互关联性。

图6为本申请实施例提供的一种活体检测装置的结构示意图，所述活体检测装置400包括：

图像获取模块401，用于获取多模态人脸图像；

多模态特征处理模块402，用于对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征；

活体检测模块403，用于基于所述多模态融合特征，确定所述多模态人脸图像的活体检测结果。

在一些实施例中，多模态特征处理模块402包括：

第一特征处理单元，用于提取所述多模态人脸图像在每个预设模态下的图像特征，并针对每个模态下的图像特征，分别将该图像特征与其他模态下的图像特征进行特征融合，以输出用于表征该模态与其他模态的图像特征之间的相关性的多模态融合特征。

在一些实施例中，活体检测模块403包括：

多模态融合单元，用于将每个模态下的多模态融合特征进行融合，并根据融合结果确定所述多模态人脸图像的活体检测结果。

在一些实施例中，所述装置400还包括：

第一特征提取网络处理单元，用于通过特征提取网络中的第一特征提取网络对所述多模态人脸图像进行特征提取后融合；所述第一特征提取网络包括全局特征提取网络和/或局部特征提取网络，所述多模态融合特征包括所述全局特征提取网络的输出、所述局部特征提取网络的输出以及由所述全局特征提取网络的输出与所述局部特征提取网络的输出组织而成的融合特征中的至少一种。

在一些实施例中，所述局部特征提取网络包括级联排序的第一线性层、基于自注意力机制的特征融合层和第二线性层；

第一特征提取网络处理单元，包括：

局部特征提取单元，用于通过所述第一线性层对所述多模态人脸图像进行线性变换，得到用于表征各模式下针对图像中的第i个目标区域的局部特征的局部特征序列，其中，i≥1；

局部特征融合单元，用于通过所述特征融合层对所述局部特征序列进行特征融合，得到不同模态下针对所述第i个目标区域的融合特征；

多模态局部特征融合单元，用于通过所述第二线性层对所述融合特征进行线性变换，得到用于表征每个模态与其他模态的局部特征之间的相关性的多模态局部融合特征，并将其作为所述局部特征提取网络的输出。

在一些实施例中，所述全局特征提取网络包括级联排序的第一残差网络和第二残差网络；

第一特征提取网络处理单元，还包括：

第一全局特征提取单元，用于通过所述第一残差网络对所述多模态人脸图像进行特征提取，并针对输出结果及所输入的多模态人脸图像进行残差分析，输出每个模态下的第一全局特征；

第二全局特征提取单元，用于通过所述第二残差网络对每个模态下的第一全局特征进行特征提取，并针对输出结果及所输入的第一全局特征进行残差分析，得到每个模态下的第二全局特征，并将其作为所述全局特征提取网络的输出。

在一些实施例中，通过特征提取网络中的第二特征提取网络对所述多模态人脸图像进行特征提取后融合，所述多模态特征处理模块402还包括：

第二特征处理单元，用于将所述多模态人脸图像输入到所述第二特征提取网络，提取每个模态下的图像特征，并将每个模态下的图像特征进行特征融合，输出用于表征各模态的图像特征之间的相关性的多模态融合特征。

在一些实施例中，图像获取模块401包括：

多模态图像获取单元，用于获取终端设备发送的同一时刻下的多模态图像，所述多模态图像包括RGB图像、红外图像和深度图像中的至少两种；

人脸识别单元，用于对所述多模态图像进行人脸识别，得到相应的多模态人脸图像，所述多模态人脸图像包括RGB人脸图像、红外人脸图像和深度人脸图像中的至少两种。

本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。

本申请实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现活体检测方法的步骤，与相关技术相比可实现：解决现有技术中由于各模态下的图像独立检测所导致忽略各模态之间的相关性的问题，使得在检测过程中能够考虑到各模态数据之间的差异性和相关性，以充分利用多个维度下的图像特征数据进行活体检测，提高了活体检测的准确度。

在一个可选实施例中提供了一种电子设备，如图7所示，图7所示的电子设备500包括：处理器501和存储器503。其中，处理器501和存储器503相连，如通过总线502相连。可选地，电子设备500还可以包括收发器504，收发器504可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器504不限于一个，该电子设备500的结构并不构成对本申请实施例的限定。

处理器501可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器501也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线502可包括一通路，在上述组件之间传送信息。总线502可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线502可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器503可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。

存储器503用于存储执行本申请实施例的计算机程序，并由处理器501来控制执行。处理器501用于执行存储器503中存储的计算机程序，以实现前述方法实施例所示的步骤。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。

本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。

应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。

以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (12)

1.一种活体检测方法，其特征在于，包括：

获取多模态人脸图像；

对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征；

基于所述多模态融合特征，确定所述多模态人脸图像的活体检测结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征，包括：

提取所述多模态人脸图像在每个预设模态下的图像特征，并针对每个模态下的图像特征，分别将该图像特征与其他模态下的图像特征进行特征融合，以输出用于表征该模态与其他模态的图像特征之间的相关性的多模态融合特征。

3.根据权利要求2所述的方法，其特征在于，所述基于所述多模态融合特征，确定所述多模态人脸图像的活体检测结果，包括：

将每个模态下的多模态融合特征进行融合，并根据融合结果确定所述多模态人脸图像的活体检测结果。

4.根据权利要求2所述的方法，其特征在于，通过特征提取网络中的第一特征提取网络对所述多模态人脸图像进行特征提取后融合；

所述第一特征提取网络包括全局特征提取网络和/或局部特征提取网络，所述多模态融合特征包括所述全局特征提取网络的输出、所述局部特征提取网络的输出以及由所述全局特征提取网络的输出与所述局部特征提取网络的输出组织而成的融合特征中的至少一种。

5.根据权利要求4所述的方法，其特征在于，所述局部特征提取网络包括级联排序的第一线性层、基于自注意力机制的特征融合层和第二线性层；

通过所述局部特征提取网络执行以下步骤，以得到所述局部特征提取网络的输出：

通过所述第一线性层对所述多模态人脸图像进行线性变换，得到用于表征各模式下针对图像中的第i个目标区域的局部特征的局部特征序列，其中，i≥1；

通过所述特征融合层对所述局部特征序列进行特征融合，得到不同模态下针对所述第i个目标区域的融合特征；

通过所述第二线性层对所述融合特征进行线性变换，得到用于表征每个模态与其他模态的局部特征之间的相关性的多模态局部融合特征，并将其作为所述局部特征提取网络的输出。

6.根据权利要求4所述的方法，其特征在于，所述全局特征提取网络包括级联排序的第一残差网络和第二残差网络；

通过所述全局特征提取网络执行以下步骤，以得到所述全局特征提取网络的输出：

通过所述第一残差网络对所述多模态人脸图像进行特征提取，并针对输出结果及所输入的多模态人脸图像进行残差分析，输出每个模态下的第一全局特征；

通过所述第二残差网络对每个模态下的第一全局特征进行特征提取，并针对输出结果及所输入的第一全局特征进行残差分析，得到每个模态下的第二全局特征，并将其作为所述全局特征提取网络的输出。

7.根据权利要求1所述的方法，其特征在于，通过特征提取网络中的第二特征提取网络对所述多模态人脸图像进行特征提取后融合；

所述对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征，还包括：

将所述多模态人脸图像输入到所述第二特征提取网络，提取每个模态下的图像特征，并将每个模态下的图像特征进行特征融合，输出用于表征各模态的图像特征之间的相关性的多模态融合特征。

8.根据权利要求1所述的方法，其特征在于，所述获取多模态人脸图像，包括：

获取终端设备发送的同一时刻下的多模态图像，所述多模态图像包括RGB图像、红外图像和深度图像中的至少两种；

对所述多模态图像进行人脸识别，得到相应的多模态人脸图像，所述多模态人脸图像包括RGB人脸图像、红外人脸图像和深度人脸图像中的至少两种。

9.一种活体检测装置，其特征在于，包括：

图像获取模块，用于获取多模态人脸图像；

多模态特征处理模块，用于对所述多模态人脸图像进行特征提取后融合，得到用于表征模态之间的特征关联性的多模态融合特征；

活体检测模块，用于基于所述多模态融合特征，确定所述多模态人脸图像的活体检测结果。

10.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-8任一项所述活体检测方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述活体检测方法的步骤。

12.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述活体检测方法的步骤。

Images