CN115909511A - 活体检测方法和系统 - Google Patents

Abstract

本说明书提供的活体检测方法和系统，获取目标面部图像，并将所述目标面部图像转换为多个模态的面部图像，得到多模态面部图像组后，对多模态面部图像组中每一模态的面部图像进行风险检测，并基于风险检测结果，在多模态活体检测模型中启动目标模态对应的目标活体检测网络，以及基于目标活体检测网络对目标模态对应的面部图像进行活体检测，以得到目标面部图像的活体检测结果；该方案可可以提升活体检测的检测准确率和效率。

Description

活体检测方法和系统

技术领域

本说明书涉及图像识别领域，尤其涉及一种活体检测方法和系统。

背景技术

近年来，随着互联网技术的飞速发展，在人脸识别系统中活体检测已经成为不可缺少的一环，通过活体检测可以有效拦截非活体类型的攻击样本。为了提升活体检测的准确率，往往可以采集多模态数据进行活体检测。针对多模态数据，现有的活体检测方法往往是采用每一个模态对应的检测网络进行活体检测。

在对现有技术的研究和实践过程中，本申请的发明人的发现对于多模态数据而言，往往可能会存在一些没有活体攻击风险的模态的数据或者冗余的模态数据，采用每一模态对应的检测网络进行检测，降低了活体检测效率，而且，还会导致活体检测结果存在偏差，因此，导致活体检测的准确率和效率较低。

因此，需要提供一种准确率和效率更高的活体检测方法和系统。

发明内容

本说明书提供一种准确率和效率更高的活体检测方法和系统。

第一方面，本说明书提供一种活体检测方法，包括：获取目标面部图像，并将所述目标面部图像转换为多个模态的面部图像，得到多模态面部图像组；对所述多模态面部图像组中每一模态的面部图像进行风险检测，并基于风险检测结果，在多模态活体检测模型中启动目标模态对应的目标活体检测网络；以及基于所述目标活体检测网络对所述目标模态对应的面部图像进行活体检测，以得到所述目标面部图像的活体检测结果。

在一些实施例中，所述将所述目标面部图像转换为多个模态的面部图像，得到多模态面部图像组，包括：基于所述目标面部图像，生成候选面部图像组；以及对所述候选面部图像组进行模态转换，得到多模态面部图像组。

在一些实施例中，所述候选面部图像组包括面部色彩图像、面部红外图像和面部深度图像；以及所述对所述候选面部图像组进行模态转换，得到多模态面部图像组，包括：基于预设感受野、所述面部色彩图像和所述面部红外图像，生成第一模态面部图像组，基于预设背景密度和所述面部深度图像，生成第二模态面部图像组，以及将所述第一模态面部图像组和所述第二模态面部图像组作为所述多模态面部图像组。

在一些实施例中，所述预设感受野包括预设图像感受野和预设红外感受野；以及

所述基于预设感受野、所述面部色彩图像和所述面部红外图像，生成第一模态面部图像组，包括：基于所述预设图像感受野，在所述面部色彩图像中提取出第一模态面部图像和第二模态面部图像，基于所述预设红外感受野，在所述面部红外图像中提取出第一模态的面部红外图像和第二模态的面部红外图像，以及将所述第一模态面部图像、所述第二模态面部图像、所述第一模态的面部红外图像和所述第二模态的面部红外图像作为所述第一模态面部图像组。

在一些实施例中，所述预设图像感受野包括第一图像感受野和第二图像感受野，所述第一图像感受野对应的分辨率和所述第二图像感受野对应的分辨率不同；以及所述基于所述预设图像感受野，在所述面部色彩图像中提取出第一模态面部图像和第二模态面部图像，包括：在所述面部色彩图像中提取出所述第一图像感受野对应的图像区域，得到第一模态面部图像，以及在所述面部色彩图像中提取出所述第二图像感受野对应的图像区域，得到第二模态面部图像。

在一些实施例中，所述预设背景密度包括第一背景密度和第二背景密度，所述第一背景密度大于所述第二背景密度；以及所述基于预设背景密度和所述面部深度图像，生成第二模态面部图像组，包括：在所述面部深度图像中提取出所述第一背景密度对应的深度图像，得到高密度模态的面部深度图像，所述面部深度图像中提取出所述第二背景密度对应的深度图像，得到稀疏模态的面部深度图像，以及将所述高密度模态的面部深度图像和所述稀疏模态的面部深度图像作为所述第二模态面部图像组。

在一些实施例中，所述对所述多模态面部图像组中每一模态的面部图像进行风险检测，包括：采用风险检测模型的特征提取网络分别对所述多模态面部图像组中每一模态的面部图像进行图像特征提取；以及采用所述风险检测模型中每一模态对应的风险检测网络，对所述每一模态的面部图像的图像特征进行风险检测，得到所述风险检测结果。

在一些实施例中，所述风险检测网络包括全连接层和分类子网络；以及所述用所述风险检测模型中每一模态对应的风险检测网络，对所述每一模态的面部图像的图像特征进行风险检测，得到所述风险检测结果，包括：采用所述全连接层对所述每一模态的面部图像的图像特征转换为风险分类特征；以及采用所述分类子网络对所述风险分类特征进行分类，得到所述每一模态的面部图像的风险分类信息，并将所述风险分类信息作为所述风险检测结果。

在一些实施例中，所述基于风险检测结果，在多模态活体检测模型中启动目标模态对应的目标活体检测网络，包括：基于所述风险检测结果，在所述每一模态中选取出存在风险的至少一个模态，得到目标模态；以及在多模态活体检测模型中启动所述目标模态对应的目标活体检测网络。

在一些实施例中，所述多模态活体检测模型包括所述每一模态对应的活体检测网络；以及所述在多模态活体检测模型中启动所述目标模态对应的目标活体检测网络，包括：在所述活体检测网络中选取出所述目标模态对应的目标活体检测网络；以及在所述目标活体检测网络的运行状态为关闭状态时，将所述目标活体检测网络的运行状态调整为启动状态，以启动所述目标活体检测网络。

在一些实施例中，所述每一模态对应的活体检测网络的网络结构为权重共享的网络结构。

在一些实施例中，所述每一模态对应的活体检测网络包括多个维度的网络层，同一图像类型对活体检测网络在同一维度的网络层之间权重共享。

在一些实施例中，所述图像类型包括面部色彩图像、面部红外图像和面部深度图像中的至少一种。

在一些实施例中，还包括：在所述活体检测网络中选取出无风险模态对应的当前活体检测网络，所述无风险模态包括所述每一模态中除所述目标模态以外的模态；在所述当前活体检测网络的运行状态为所述启动状态时，将所述当前活体检测网络的运行状态调整为关闭状态。

在一些实施例中，所述基于所述目标活体检测网络对所述目标模态对应的面部图像进行活体检测，以得到所述目标面部图像的活体检测结果，包括：基于所述目标活体检测网络对所述目标模态对应的面部图像进行活体检测，得到所述目标模态对应的活体评分；以及将所述活体评分进行融合，以得到所述目标面部图像的活体检测结果。

在一些实施例中，所述将所述活体评分进行融合，以得到所述目标面部图像的活体检测结果，包括：获取所述目标模态对应的加权系数，并基于所述加权系数对所述活体评分进行加权；计算加权后的活体评分的平均值，得到所述目标面部图像对应的目标活体评分；以及基于所述目标活体评分对所述目标面部图像进行活体分类，以得到所述活体检测结果。

在一些实施例中，所述将所述活体评分进行融合，以得到所述目标面部图像的活体检测结果之后，还包括：将所述目标活体检测网络的运行状态调整为关闭状态。

第二方面，本说明书还提供一种活体检测系统，包括：至少一个存储介质，存储有至少一个指令集，用于进行活体检测；以及至少一个处理器，同所述至少一个存储介质通信连接，其中，当所述活体检测系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行本说明书第一方面所述的活体检测方法。

由以上技术方案可知，本说明书提供的活体检测方法和系统，获取目标面部图像，并将所述目标面部图像转换为多个模态的面部图像，得到多模态面部图像组后，对多模态面部图像组中每一模态的面部图像进行风险检测，并基于风险检测结果，在多模态活体检测模型中启动目标模态对应的目标活体检测网络，以及基于目标活体检测网络对目标模态对应的面部图像进行活体检测，以得到目标面部图像的活体检测结果；由于该方案可以对每一模态的面部图像进行风险检测，从而可以判断存在风险的目标模态的面部图像，并启动目标模态对应的活体检测网络进行活体检测，从而可以避免对不存在风险的模态的面部图像的活体检测，从而实现多模态自适应筛选，因此，可以提升活体检测的检测准确率和效率。

本说明书提供的活体检测方法和系统的其他功能将在以下说明中部分列出。根据描述，以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的活体检测方法和系统的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。

附图说明

为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本说明书的实施例提供的一种活体检测系统的应用场景示意图；

图2示出了根据本说明书的实施例提供的一种计算设备的硬件结构图；

图3示出了根据本说明书的实施例提供的一种活体检测方法流程图；

图4示出了根据本说明书的实施例提供的一种风险检测网络进行风险检测的流程图；以及

图5示出了根据本说明书的实施例提供的一种风险预测模块的多模态活体攻击检测的整体流程图。

具体实施方式

以下描述提供了本说明书的特定应用场景和要求，目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说，对所公开的实施例的各种局部修改是显而易见的，并且在不脱离本说明书的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，本说明书不限于所示的实施例，而是与权利要求一致的最宽范围。

这里使用的术语仅用于描述特定示例实施例的目的，而不是限制性的。比如，除非上下文另有明确说明，这里所使用的，单数形式“一”，“一个”和“该”也可以包括复数形式。当在本说明书中使用时，术语“包括”、“包含”和/或“含有”意思是指所关联的整数，步骤、操作、元素和/或组件存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。

考虑到以下描述，本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图，所有这些形成本说明书的一部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，并不旨在限制本说明书的范围。还应理解，附图未按比例绘制。

本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。

为了方便描述，本说明书将对以下描述将会出现的术语进行如下解释：

活体检测：也可以为活体攻击检测，指在生活识别中，判断用户刷脸过程中的真人与攻击，攻击类型主要包括如照片、手机、屏幕、面具等攻击的技术。

多模态数据：在线下机具刷脸业务中，为了保证高通过率和高安全能力，会采用多种不同模态的摄像头进行采集，因此可以使用不同模态的数据进行多模态特征提取和预测，以实现更好的模型表现。图像模态的类型可以多种，比如，可以包括色彩图像、红外图像和深度图像，等等。

风险预测模块：在多模态活体攻击检测前，前置风险预测模块，对输入面部进行风险预测，之后通过门结构进行分发，选择适合的多模态活体攻击检测模型进行最终的预测。

在对本说明书具体实施例说明之前，先对本说明书的应用场景进行如下介绍：

本说明书提供的活体检测模型可以应用在任意的活体检测场景中，比如，在人脸支付场景中，可以通过本说明书的活体检测模型对采集的待支付用户的人脸图像进行活体检测；在身份验证场景中，可以通过本说明书的活体检测模型对采集的用户的身份图像进行活体检测；还可以应用在任意的人脸识别场景中，在此就不再一一赘述。

本领域技术人员应当明白，本说明书所述的活体检测方法和系统应用于其他使用场景也在本说明书的保护范围内。

图1示出了根据本说明书的实施例提供的一种活体检测系统001的应用场景示意图。活体检测系统001(以下简称系统001)可以应用于任意场景的活体检测，比如，人脸支付场景下的活体检测、身份验证场景下的活体检测、人脸识别下的活体检测，等等，如图1所示，系统001可以包括目标用户100、客户端200、服务器300以及网络400。

目标用户100可以为触发对目标面部图像进行活体检测的用户，目标用户100可以在客户端200进行活体检测的操作。

客户端200可以为响应于目标用户100的活体检测操作对目标面部图像进行活体检测的设备。在一些实施例中，所述活体检测方法可以在客户端200上执行。此时，客户端200可以存储有执行本说明书描述的活体检测方法的数据或指令，并可以执行或用于执行所述数据或指令。在一些实施例中，客户端200可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。如图1所示，客户端200可以与服务器300进行通信连接。在一些实施例中，服务器300可以与多个客户端200进行通信连接。在一些实施例中，客户端200可以通过网络400与服务器300交互，以接收或发送消息等，比如接收或发送面部图像或多模态面部图像组。在一些实施例中，客户端200可以包括移动设备、平板电脑、笔记本电脑、机动车辆的内置设备或类似内容，或其任意组合。在一些实施例中，所述移动设备可包括智能家居设备、智能移动设备、虚拟现实设备、增强现实设备或类似设备，或其任意组合。在一些实施例中，所述智能家居装置可包括智能电视、台式电脑等，或任意组合。在一些实施例中，所述智能移动设备可包括智能手机、个人数字辅助、游戏设备、导航设备等，或其任意组合。在一些实施例中，所述虚拟现实设备或增强现实设备可能包括虚拟现实头盔、虚拟现实眼镜、虚拟现实补丁、增强现实头盔、增强现实眼镜、增强现实补丁或类似内容，或其中的任何组合。例如，所述虚拟现实设备或所述增强现实设备可能包括谷歌眼镜、头戴式显示器、VR等。在一些实施例中，所述机动车中的内置装置可包括车载计算机、车载电视等。在一些实施例中，客户端200可以包括图像采集设备，用于采集目标面部图像。在一些实施例中，所述图像采集设备可以是二维图像采集设备(比如RGB摄像头)，也可以是二维图像采集设备(比如RGB摄像头)和深度图像采集设备(比如3D结构光摄像头、激光探测器，等等)。在一些实施例中，客户端200可以是具有定位技术的设备，用于定位客户端200的位置。

在一些实施例中，客户端200可以安装有一个或多个应用程序(APP)。所述APP能够为目标用户110提供通过网络400同外界交互的能力以及界面。所述APP包括但不限于：网页浏览器类APP程序、搜索类APP程序、聊天类APP程序、购物类APP程序、视频类APP程序、理财类APP程序、即时通信工具、邮箱客户端、社交平台软件等等。在一些实施例中，客户端200上可以安装有目标APP。所述目标APP能够为客户端200采集目标面部图像。在一些实施例中，所述目标对象100还可以通过所述目标APP触发活体检测请求。所述目标APP可以响应于所述活体检测请求，执行本说明书描述的活体检测方法。所述活体检测方法将在后面的内容中详细介绍。

服务器300可以是提供各种服务的服务器，例如对客户端200上采集的目标面部图像提供支持的后台服务器。在一些实施例中，所述活体检测方法可以在服务器300上执行。此时，服务器300可以存储有执行本说明书描述的活体检测方法的数据或指令，并可以执行或用于执行所述数据或指令。在一些实施例中，服务器300可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。服务器300可以与多个客户端200通信连接，并接收客户端200发送的数据。

网络400用以在客户端200和服务器300之间提供通信连接的介质。网络400可以促进信息或数据的交换。如图1所示，客户端200和服务器300可以同网络400连接，并且通过网络400互相传输信息或数据。在一些实施例中，网络400可以是任何类型的有线或无线网络，也可以是其组合。比如，网络400可以包括电缆网络，有线网络、光纤网络、电信通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、大都市市区网(MAN)、广域网(WAN)、公用电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络或类似网络。在一些实施例中，网络400可以包括一个或多个网络接入点。例如，网络400可以包括有线或无线网络接入点，如基站或互联网交换点，通过该接入点，客户端200和服务器300的一个或多个组件可以连接到网络400以交换数据或信息。

应该理解，图1中的客户端200、服务器300和网络400的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端200、服务器300和网络400。

需要说明的是，所述活体检测方法可以完全在客户端200上执行，也可以完全在服务器300上执行，还可以部分在客户端200上执行，部分在服务器300上执行。

图2示出了根据本说明书的实施例提供的一种计算设备600的硬件结构图。计算设备600可以执行本说明书描述的活体检测方法。所述活体检测方法在本说明书中的其他部分介绍。当所述活体检测方法在客户端200上执行时，计算设备600可以是客户端200。当所述活体检测方法在服务器300上执行时，计算设备600可以是服务器300。当所述活体检测方法可以部分在客户端200上执行，部分在服务器300上执行时，计算设备600可以是客户端200和服务器300。

如图2所示，计算设备600可以包括至少一个存储介质630和至少一个处理器620。在一些实施例中，计算设备600还可以包括通信端口650和内部通信总线610。同时，计算设备600还可以包括I/O组件660。

内部通信总线610可以连接不同的系统组件，包括存储介质630、处理器620和通信端口650。

I/O组件660支持计算设备600和其他组件之间的输入/输出。

通信端口650用于计算设备600同外界的数据通信，比如，通信端口650可以用于计算设备600同网络400之间的数据通信。通信端口650可以是有线通信端口也可以是无线通信端口。

存储介质630可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质，也可以是暂时性存储介质。比如，所述数据存储装置可以包括磁盘632、只读存储介质(ROM)634或随机存取存储介质(RAM)636中的一种或多种。存储介质630还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码，所述计算机程序代码可以包括执行本说明书提供的活体检测方法的程序、例程、对象、组件、数据结构、过程、模块等等。

至少一个处理器620可以同至少一个存储介质630以及通信端口650通过内部通信总线610通信连接。至少一个处理器620用以执行上述至少一个指令集。当计算设备600运行时，至少一个处理器620读取所述至少一个指令集，并且根据所述至少一个指令集的指示，执行本说明书提供的活体检测方法。处理器620可以执行活体检测方法包含的所有步骤。处理器620可以是一个或多个处理器的形式，在一些实施例中，处理器620可以包括一个或多个硬件处理器，例如微控制器，微处理器，精简指令集计算机(RISC)，专用集成电路(ASIC)，特定于应用的指令集处理器(ASIP)，中心处理单元(CPU)，图形处理单元(GPU)，物理处理单元(PPU)，微控制器单元，数字信号处理器(DSP)，现场可编程门阵列(FPGA)，高级RISC机器(ARM)，可编程逻辑器件(PLD)，能够执行一个或多个功能的任何电路或处理器等，或其任何组合。仅仅为了说明问题，在本说明书中计算设备600中仅描述了一个处理器620。然而，应当注意，本说明书中计算设备600还可以包括多个处理器，因此，本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行，也可以由多个处理器联合执行。例如，如果在本说明书中计算设备600的处理器620执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同处理器620联合或分开执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一和第二处理器共同执行步骤A和B)。

图3示出了根据本说明书的实施例提供的一种活体检测方法P100的流程图。如前，计算设备600可以执行本说明书的活体检测方法P100。具体地，处理器620可以读取存储在其本地存储介质中的指令集，然后根据指令集的规定，执行本说明书的活体检测方法P100。如图3所示，方法P100可以包括：

S110：获取目标面部图像，并将目标面部图像转换为多个模态的面部图像，得到多模特面部图像组。

其中，目标面部图像可以理解为包含待检测的目标对象面部的图像。以目标对象为用户为例，则目标面部图像就可以为目标人脸图像。该目标面部图像的类型可以有多种，比如，可以包括面部二维图像和面部三维图像。所谓面部二维图像可以包括面部色彩图像和面部红外图像，面部色彩图像又可以包括RGB图像或者其他颜色空间下的图像，等等。在面部图像领域，三维图像就可以包括深度图像(depth)。另外，需要说明的是，目标面部图像的数量可以为一个或多个，而且，目标面部图像的类型也可以为一个或多个。以目标面部图像类型包括RGB图像、IR图像和深度图像为例，则目标面部图像可以包括RGB图像、IR图像和深度图像中的至少一种。

其中，模态可以理解为表征面部图像的一种形式或者类型。从而图像类型进行分类，面部图像的模态可以包括RGB模态、IR模态和深度图像模态，等等。另外，在每一个模态下还可以根据分辨率、感受野或密度等图像参数进行分类，从而得到多个子模态。比如，以RGB模态为例，该模态下，就可以包括第一感受野对应的第一RGB模态和第二感受野对应的第二RGB模态。其他模态也可以以此进行子模态划分，因此，面部图像的模态类型的数量可以包括至少6种。

其中，多模态面部图像组就可以理解为预设设定的多个模态对应的面部图像组成的图像组。

其中，获取目标面部图像的方式可以有多种，具体可以如下：

例如，处理器620可以直接获取目标用户100通过终端或客户端200上传的至少一张面部图像，从而得到目标面部图像，或者，可以从网络或者数据库中选取同一个面部对应的至少一张面部图像，从而得到目标面部图像，或者，还可以在网络或者图像平台上获取原始图像集合，并在该原始图像集合中选取出至少一张面部图像，得到面部图像集合，并在面部图像集合中选取出同一个面部对应的至少一张面部图像，从而得到目标面部图像，或者，还可以接收活体检测请求，该活体检测请求包括目标面部图像的存储地址，基于该存储地址，获取目标面部图像。

在获取目标面部图像之后，便可以将目标面部图像转换为多个模态的面部图像，得到多模态面部图像组。将目标面部图像转换为多个模态的面部图像的方式可以有多种，比如，处理器620可以基于目标面部图像，生成候选面部图像组，对候选面部图像组进行模态转换，得到多模态面部图像组。

其中，候选面部图像组可以理解为多模态面部图像组中每一个模态对应的图像类型的面部图像所组成的图像组。比如，以多模态面部图像组中全部的模态对应的图像类型包括色彩图像、红外图像和深度图像为例，则候选面部图像组中就可以包括目标面部图像对应的面部色彩图像、面部红外图像和面部深度图像。基于目标面部图像，生成候选面部图像组的方式可以有多种，比如，处理器620可以基于目标面部图像的图像类型，获取目标面部图像分别对应的面部色彩图像、面部红外图像和面部深度图像，并将面部色彩图像、面部红外图像和面部深度图像作为候选面部图像组。

其中，基于目标面部图像的图像类型，获取目标面部图像分别对应的面部色彩图像、面部红外图像和面部深度图像的方式可以有多种，比如，在目标面部图像的图像类型包括面部色彩图像、面部红外图像和面部深度图像中的任意一个或两个时，处理器620就可以将目标面部图像转换为未包括的图像类型的面部图像，从而得到面部色彩图像、面部红外图像和面部深度图像；在目标面部图像的图像类型包括面部色彩图像、面部红外图像和面部深度图像，就可以直接在目标面部图像中提取出面部色彩图像、面部红外图像和面部深度图像。

其中，对目标面部图像进行图像转换的方式可以有多种，比如，在目标面部图像为面部色彩图像时，就可以通过图像转换网络，将面部色彩图像转换为面部红外图像和面部深度图像，或者，在目标面部图像为面部红外图像时，就可以通过图像转换网络将面部红外图像转换为面部色彩图像和面部深度图像，等等。对目标面部图像进行图像转换的主要作用就是基于目标面部图像，生成面部色彩图像、面部红外图像和面部深度图像。

在生成候选面部图像组之后，便可以对候选面部图像组进行模态转换，得到多模态面部图像组。对候选面部图像组进行模态转换的方式可以有多种，比如，处理器620可以基于预设感受野、面部色彩图像和面部红外图像，生成第一模态面部图像组，基于预设背景密度和面部深度图像，生成第二模态面部图像组，以及将第一模态面部图像组和第二模态面部图像组作为多模态面部图像组，具体可以如下：

(1)基于预设感受野、面部色彩图像和面部红外图像，生成第一模态面部图像组。

其中，第一模态面部图像组可以理解为通过感受野进行模态划分后得到的多个模态的面部图像组。预设感受野可以理解为预先设定的感受野，所谓感受野可以理解为卷积神经网络每一层输出的特征图(feature map)上的像素点映射回输入图像上的区域大小，不同的感受野对应不同的图像分辨率。预设感受野可以包括预设图像感受野和预设红外感受野。预设图像感受野可以理解为预先设定的针对面部色彩图像的感受野，预设红外感受野就可以理解为预先设定的针对面部红外图像的感受野。

其中，基于预设感受野、面部色彩图像和面部红外图像，生成第一模态面部图像组的方式可以有多种，具体可以如下：

例如，处理器620可以基于预设图像感受野，在面部色彩图像中提取出第一模态面部图像和第二模态面部图像，基于预设红外感受野，在面部红外图像中提取出第一模态的面部红外图像和第二模态的面部红外图像，以及将第一模态面部图像、第二模态面部图像、第一模态的面部红外图像和第二模态的面部红外图像作为第一模态面部图像组。

其中，第一模态面部图像和第二模态面部图像可以理解为不同感受野对应的面部色彩图像。预设图像感受野包括第一图像感受野和第二图像感受野，第一图像感受野对应的分辨率和第二图像感受野和第二图像感受野对应的分辨率不同。基于预设图像感受野，在面部色彩图像中提取出第一模态面部图像和第二模态面部图像的方式可以有多重，比如，处理器620可以在面部色彩图像中提取出第一图像感受野对应的图像区域，得到第一模态面部图像，以及在面部色彩图像中提取出第二图像感受野对应的图像区域，得到第二模态面部图像。

其中，以面部色彩图像为RGB人脸图像为例，不同感受野在RGB人脸图像中对应的图像区域也不同，在活体检测中重点需要对人脸进行检测，而在人脸图像中往往还可以包括除了人脸以外的背景和躯体的图像区域，大感受野对应的区域通常可以聚焦在人脸的面部区域，小感受野往往就只能针对人脸图像的全局区域，该全局区域就可以包括面部区域、背景区域和躯体区域，等。不同感受野对应的模态的面部色彩图像可以如图4所示，多分辨率的输入图像中左边的面部图像就可以为大感受野对应的面部色彩图像，右边就可以为小感受野对应的面部色彩图像。因此，第一模态面部图像和第二模态面部图像就可以包括大感受野的面部色彩图像和小感受野的面部色彩图像。

其中，基于预设红外感受野，在面部红外图像中提取出第一模态的面部红外图像和第二模态的面部红外图像的过程与在面部色彩图像中提取出第一模态面部图像和第二模态面部图像的类似，详见上文所述，在此就不再一一赘述。另外，需要说明的是，第一模态面部图像与第一模态的面部红外图像的模态并不相同，第二模态面部图像与第二模态的面部红外图像的模态也不相同，因此，第一模态面部图像组中包含了四种模态对应的面部图像。

(2)基于预设背景密度和面部深度图像，生成第二模态面部图像组。

其中，预设背景密度可以理解为预先设定的在面部深度图像中用于进行模态分类的背景密度。所谓背景密度可以理解为表征深度图像中同一深度内像素点的排布密度的信息。预设背景密度包括第一背景密度和第二背景密度，第一背景密度大于第二背景密度。

其中，第二模态面部图像组可以包括对面部深度图像进行模态分类后得到的至少两个模态对应的面部深度图像。

其中，基于预设背景密度和面部深度图像，生成第二模态面部图像组的方式可以有多种，具体可以如下：

例如，处理器620可以在面部深度图像中提取出第一背景密度对应的深度图像，得到高密度模态的面部深度图像，在面部深度图像中提取出第二背景密度对应的深度图像，得到稀疏模态的面部深度图像，将高密度模态的面部深度图像和稀疏模态的面部深度图像作为第二模态面部图像组。

(3)将所述第一模态面部图像组和所述第二模态面部图像组作为所述多模态面部图像组。

例如，处理器620就可以直接进行第一模态面部图像组和第二模态面部图像组进行融合，从而得到多模态面部图像组。

其中，需要说明的是，多模态面部图像组中可以包括第一模态面部图像、第二模态面部图像、第一模态的面部红外图像、第二模态的面部红外图像、高密度模态的面部深度图像和稀疏模特的面部深度图像。另外，多模态面部图像组中包括的三个图像类型的面部图像，三个图像类型分别为面部色彩图像(RGB图像)、面部红外图像(IR)和面部深度图像(depth)。

S120：对多模态面部图像组中每一模态的面部图像进行风险检测，并基于风险检测结果，在多模态活体检测模型中启动模态对应的目标活体检测网络。

其中，风险检测可以理解为检测每一模态的面部图像是否存在攻击风险，如果存在攻击风险，就需要采用对应的活体检测网络进行活体检测。

其中，多模态活体检测模型可以理解为针对多个模态的面部图像进行活体检测的模型，该多模态活体检测模型中可以包括每一个模态对应的活体检测网络。所谓活体检测网络就可以理解为对面部图像进行活体检测的检测网络。

其中，对多模态面部图像组中每一模态的面部图像进行风险检测，并基于风险检测结果，在多模态活体检测模型中启动目标模态对应的目标活体检测网络，具体可以如下：

S121：对多模态面部图像组中每一模态的面部图像进行风险检测。

例如，处理器620可以采用风险检测模型的特征提取网络分别对多模态面部图像组中每一模态的面部图像进行特征提取，以及采用风险检测模型中每一模态对应的风险检测网络，对每一模态的面部图像的图像特征，得到风险检测结果。

其中，风险检测模型为用于对面部图像进行风险检测的模型，该风险检测模型可以包括特征提取网络和每一模态对应的风险检测网络。所谓特征提取网络可以理解为对面部图像提取用于进行风险检测的图像特征的网络。所谓风险检测网络可以理解为在图像特征中识别出的该模态对应的面部图像的风险检测结果的网络。风险检测网络包括全连接层(FC)和分类子网络。采用风险检测模型中每一模态对应的风险检测网络，对每一模态的面部图像的图像特征进行风险检测的方式可以有多种，比如，处理器620可以采用全连接层对每一模态的面部图像的图像特征转换为风险分类特征，以及采用分类子网络对风险分类特征进行分类，得到每一模态的面部图像的风险分类信息，并将风险分类信息作为风险检测结果。

其中，风险分类特征可以表征对风险进行分类的特征信息。风险分类信息可以理解为进行风险分类后得到分类结果的信息。风险分类子网络可以为二分类的分类器，因此，风险分类的分类结果就可以包括存在风险和不存在风险。

其中，风险检测模型主要用于对每一模态的面部图像进行风险检测，并可以基于风险检测结果去启动活体检测模型中的部分活体检测网络，因此，该风险检测模型可以理解为是一个动态调度模型，基于风险检测结果动态去调度进行活体检测的检测网络。风险检测模型的网络结构可以包括特征提取网络和每一模态对应的风险检测网络，该风险检测网络包括一个FC层和二分类的分类器。以多模态面部图像组包括大感受野的RGB面部图像、小感受野的RGB面部图像、高密度的面部深度图像、稀疏的面部深度图像、大感受野的面部红外图像和小感受野的面部红外图像为例，在风险检测中，将多模态图像组的面部图像输入至特征提取网络，得到每一模态对应的图像特征，然后，将图像特征输入至对应模态的FC层，从而输出风险分类特征，将风险分类特征输入至对应模态的二分类的分类器，从而输出该模态对应的风险检测结果，该风险检测结果可以包括存在风险和不存在风险两种，具体可以如图4所示。

S122：基于风险检测结果，在多模态活体检测模型中启动目标模态对应的目标活体检测网络。

其中，目标模态可以理解为在风险检测中存在风险的模态。目标活体检测网络也就可以为目标模态对应的活体检测网络。

其中，基于风险检测结果，在多模态活体检测模型中启动目标模态对应的目标活体检测网络的方式可以有多种，具体可以如下：

例如，处理器620可以基于风险检测结果，在每一模态中选取出存在风险的至少一个模态，得到目标模态，以及在多模态活体检测模型中启动模态对应的目标活体检测网络。

其中，多模态活体检测模型中包括每一模态对应的活体检测网络。在多模态活体检测模型中启动目标模态对应的目标活体检测网络的方式可以有多种，比如，处理器620在活体检测网络中选取出目标模态对应的目标活体检测网络，以及在目标活体检测网络的运行状态为关闭状态时，将目标活体检测网络的运行状态调整为开启状态，以启动目标活体检测网络。

其中，在目标活体检测网络的运行状态为关闭状态时，将目标活体检测网络的运行状态调整为启动状态的方式可以有多种，比如，处理器620可以直接将目标活体检测网络的运行状态调整为启动状态，以启动目标活体检测网络，或者，可以向目标活体检测网络发送启动指令，基于启动指令，将目标活体检测网络的运行状态调整为启动状态，以启动目标活体检测网络，或者，还可以将与目标活体检测网络的连接通道的通道开关调整为闭合状态，从而使得连接通道处于通路状态，这样就可以使得目标活体检测网络的运行状态为启动状态，以启动目标活体检测网络。

其中，需要说明的是，活体检测模型中的每一模态对应的活体检测网络不仅可以为独立的多个模态的活体检测网络，每一模态对应的活体检测网络的网络结构还可以为权重共享的网络结构，从而可以提升特征的表征能力。

在一些实施例中，每一模态对应的活体检测网络可以包括多个维度的网络层，同一图像类型对应的活体检测网络在同一维度的网络层之间权重共享。所谓图像类型可以包括面部色彩图像、面部红外图像和面部深度图像中的至少一种。以每一模态对应的活体检测网络包括res1、res2和res3三个网络层，每一模态对应的活体检测网络可以包括大感受野模态的面部色彩图像对应的第一活体检测网络、小感受野模态的面部色彩图像对应的第二活体检测网络、大感受模态的面部红外图像对应的第三活体检测网络、小感受野模态的面部红外图像对应的第四活体检测网络、高密度模态的面部深度图像对应的第五活体检测网络和稀疏模态的面部深度图像对应第六活体检测网络为例，则第一活体检测网络和第二活体检测网络中res1之间可以采用权重共享的网络结构，第三活体检测网络和第四活体检测网络中的res1之间可以采用权重共享的网络结构，第五活体检测网络和第六活体检测网络中的res1之间可以采用权重共享的网络结构，而第一活体检测网络和第三活体检测网络中的res1就不可以采用权重共享的网络结构，依次类推。从而就可以针对同一图像类型下不同模态之间的组合方式进行活体检测(风险评估)，这样就可以使得活体检测网络中最终的门结构输出结果具有更好的泛化性。

在一些实施例中，还可以对不存在风险的模态对应的活体检测网络进行关闭，关闭的方式可以有多种，比如，处理器620可以在活体检测网络中选取出无风险模态对应的当前活体检测网络，该无风险模态包括每一模态中除目标模态以外的模态，在当前活体检测网络的运行状态为开启状态时，将当前活体检测网络的运行状态调整为关闭状态。

其中，将当前活体检测网络的运行状态调整为关闭状态的方式可以与将目标活体检测网络的运行状态调整为启动状态类似，不同的是，一个是将启动状态调整为关闭状态，另一个是将关闭状态调整为启动状态，互为逆过程，因此，可以参见上文所述，在此就不再一一赘述。

S130：基于目标活体检测网络对目标模态对应的面部图像进行活体检测，以得到目标面部图像的活体检测结果。

其中，活体检测结果可以理解为该面部图像中的面部对应的目标用户的是否为活体的结果信息。该活体检测结果可以包括活体图像和攻击图像，活体图像就可以表征为目标用户为活体，攻击图像就可以表征为目标用户不是活体。

其中，基于目标活体检测网络对目标模态对应的面部图像进行活体检测的方式可以有多重，具体可以如下：

例如，处理器620可以基于目标活体检测网络对目标模态对应的面部图像进行活体检测，得到目标模态对应的活体评分，以及将活体评分进行融合，以得到目标面部图像的活体检测结果。

其中，活体评分可以理解表征目标模态对应的面部图像为活体图像的程度，活体评分越高就可以理解为该目标模态对应的面部图像为活体图像的程度或概率就越高，反之活体评分越低就可以理解为该目标模态对应的面部图像为活体图像的程度或概率就越低。目标活体检测网络就可以包括活体特征提取子网络和活体评分子网络。基于目标活体检测网络对目标模态对应的面部图像进行活体检测的方式可以有多重，比如，处理器620可以采用活体特征提取子网络对目标模态对应的面部图像进行多维特征提取，从而得到目标模态对应的面部图像的活体特征，通过活体评分子网络对活体特征进行评分，从而得到目标模态对应的面部图像的活体评分。

其中，活体特征提取子网络可以包括多个网络层，每个网络层的维度不同，可以通过不同的网络层对面部图像进行活体特征提取。在对目标模态的面部图像进行活体特征提取过程中，第一层网络层的输入为该面部图像，第一层网络的输出为第二层网络层的输出，依次类推，直至最后一层网络层输出该面部图像的活体特征。不同模态之间的网络之间可以相互独立。相同图像类型的不同模态之间的同一维度的网络层之间也可以权重共享，比如，以网络层包括res1和res2为例，在面部红外图像包括的大感受野和小感受野两个模态下，res1网络层之间可以权重共享，res2网络层之间可以权重共享，但是res1和res2之间相互独立，另外，面部深度图像与面部红外图像之间不同模态对应的网络层之间相互独立。

在对目标模态对应的面部图像进行活体评分之后，便可以将活体评分进行融合，以得到目标面部图像的活体检测结果。将活体评分进行融合的方式可以有多重，比如，处理器620可以获取目标模态对应的加权系数，并基于加权系数对活体评分进行加权，计算加权后的活体评分的平均值，得到目标面部图像对应的目标活体评分，以及基于目标活体评分对目标面部图像进行活体分类，以得到活体检测结果，或者，可以直接将活体评分进行累加，并计算累加后的活体评分的平均值，从而得到目标面部图像对应的目标活体评分，以及基于目标活体评分对目标面部图像进行活体分类，以得到活体检测结果，等等。

其中，基于目标活体评分对目标面部图像进行活体分类的方式可以有多重，比如，处理器620可以将目标活体评分输入至活体分类器，活体分类器输出活体分类结果，并将该活体分类结果作为目标面部图像的活体检测结果，或者，还可以将目标活体评分与预设活体评分阈值进行对比，在目标活体评分大于预设活体评分阈值时，将目标面部图像作为活体图像，在目标活体评分小于预设活体评分阈值时，将目标面部图像作为攻击图像(非活体图像)，等等。

其中，需要说明的是，活体分类器可以为二分类，即分为活体图像和攻击图像两类，活体分类器还可以为多分类，比如，可以分为活体图像和不同类型的攻击图像。攻击图像的攻击类型包括立体面具攻击、图像升级攻击和视频回放攻击，等等。

在一些实施例中，对目标面部图像进行活体检测，得到活体检测结果之后，还可以对活体检测模型的活体检测网络的运行状态进行更新。更新的方式可以有多重，比如，处理器620可以将目标活体检测网络的运行状态调整为关闭状态。这样就使得活体检测模型在对下一张目标面部图像进行活体检测时，保证每一个模态对应的活体检测网络的初始状态为关闭状态。

其中，本方案中，在多模态活体检测模型前，可以设置一个风险预测模块，通过该风险预测模块判断输入的面部图像的风险类型，然后，通过门结构分发到后端的多模态的活体检测模型进行检测。以多模态面部图像可以包括大感受野的RGB面部图像、小感受野的RGB面部图像、高密度的面部深度图像、稀疏的面部深度图像、大感受野的面部红外图像和小感受野的面部红外图像为例，基于风险预测模块的多模态活体攻击检测的整体流程可以如图5所示，从样本池输入的多模态活体和攻击样本会被预处理为6种不同输入格式，每一种输入格式对应的一个模态。对于RGB图像处理为大感受野和小感受野格式，对于面部深度图像(depth)处理为高密度和稀疏两种格式，而对于面部红外图像(IR)处理为大感受野和小感受野格式。以上6中格式都包含各自的纹理信息特点，作为一组多模态的输入数据。输入数据通过动态调度模块预测各个模态的风险，通过门结构进行风险分发。被预测有风险的活体模态置于启动状态(打开)，相反预测为无风险的活体模态处于初始的关闭状态。最后只使用开启状态的活体模态进行推理，得到各自的活体攻击检测分数，再通过加权平均的分数融合方式将其进行融合，最后通过分类器对最终的活体和攻击进行分类。

其中，需要说明的是，这里的动态调度模块就可以理解为风险检测网络。在图5中，就可以发现高密度的面部深度图像、稀疏的面部深度图像、大感受野的面部红外图像和小感受野的面部红外图像存在风险，因此，这四个模态对应的目标活体检测网络置于启动状态，处于启动状态的目标活体检测网络预输入数据之间的链路就会通路，从而就可以实现将输入数据中对应模态的面部图像输入中目标活体检测网络进行活体检测。而剩下的两个模态对应的活体检测网络就处于关闭状态，也就说这两个模态对应的活体检测网络预输入数据之间的链路就处于断路状态，对应模态的面部图像就无法输入至活体检测网络进行活体检测。整个活体检测过程中融合了多个独立的不同模态的活体检测网络，通过风险预测模块进行风险分发，决定由哪些活体检测网络进行最终的预测，可实现很好的多模态自适应筛选，一方面可以提高预测的精度，另一方面可以提高整体的模型推理速度。

综上所述，本说明书提供的活体检测方法P100和系统001，获取目标面部图像，并将所述目标面部图像转换为多个模态的面部图像，得到多模态面部图像组后，对多模态面部图像组中每一模态的面部图像进行风险检测，并基于风险检测结果，在多模态活体检测模型中启动目标模态对应的目标活体检测网络，以及基于目标活体检测网络对目标模态对应的面部图像进行活体检测，以得到目标面部图像的活体检测结果；由于该方案可以对每一模态的面部图像进行风险检测，从而可以判断存在风险的目标模态的面部图像，并启动目标模态对应的活体检测网络进行活体检测，从而可以避免对不存在风险的模态的面部图像的活体检测，从而实现多模态自适应筛选，因此，可以提升活体检测的检测准确率和效率。

本说明书另一方面提供一种非暂时性存储介质，存储有至少一组用来进行活体检测的可执行指令。当所述可执行指令被处理器执行时，所述可执行指令指导所述处理器实施本说明书所述的活体检测方法P100的步骤。在一些可能的实施方式中，本说明书的各个方面还可以实现为一种程序产品的形式，其包括程序代码。当所述程序产品在计算设备600上运行时，所述程序代码用于使计算设备600执行本说明书描述的活体检测方法P100的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)包括程序代码，并可以在计算设备600上运行。然而，本说明书的程序产品不限于此，在本说明书中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在计算设备600上执行、部分地在计算设备600上执行、作为一个独立的软件包执行、部分在计算设备600上部分在远程计算设备上执行、或者完全在远程计算设备上执行。

上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者是可能有利的。

综上所述，在阅读本详细公开内容之后，本领域技术人员可以明白，前述详细公开内容可以仅以示例的方式呈现，并且可以不是限制性的。尽管这里没有明确说明，本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变，改进和修改。这些改变，改进和修改旨在由本说明书提出，并且在本说明书的示例性实施例的精神和范围内。

此外，本说明书中的某些术语已被用于描述本说明书的实施例。例如，“一个实施例”，“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征，结构或特性可以包括在本说明书的至少一个实施例中。因此，可以强调并且应当理解，在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外，特定特征，结构或特性可以在本说明书的一个或多个实施例中适当地组合。

应当理解，在本说明书的实施例的前述描述中，为了帮助理解一个特征，出于简化本说明书的目的，本说明书将各种特征组合在单个实施例、附图或其描述中。然而，这并不是说这些特征的组合是必须的，本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说，本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。

本文引用的每个专利，专利申请，专利申请的出版物和其他材料，例如文章，书籍，说明书，出版物，文件，物品等，可以通过引用结合于此。用于所有目的全部内容，除了与其相关的任何起诉文件历史，可能与本文件不一致或相冲突的任何相同的，或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说，如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时，使用本文件中的术语为准。

最后，应理解，本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此，本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此，本说明书的实施例不限于申请中被精确地描述过的实施例。

Claims (18)

1.一种活体检测方法，包括：

获取目标面部图像，并将所述目标面部图像转换为多个模态的面部图像，得到多模态面部图像组；

对所述多模态面部图像组中每一模态的面部图像进行风险检测，并基于风险检测结果，在多模态活体检测模型中启动目标模态对应的目标活体检测网络；以及

基于所述目标活体检测网络对所述目标模态对应的面部图像进行活体检测，以得到所述目标面部图像的活体检测结果。

2.根据权利要求1所述的活体检测方法，其中，所述将所述目标面部图像转换为多个模态的面部图像，得到多模态面部图像组，包括：

基于所述目标面部图像，生成候选面部图像组；以及

对所述候选面部图像组进行模态转换，得到多模态面部图像组。

3.根据权利要求2所述的活体检测方法，其中，所述候选面部图像组包括面部色彩图像、面部红外图像和面部深度图像；以及

所述对所述候选面部图像组进行模态转换，得到多模态面部图像组，包括：

基于预设感受野、所述面部色彩图像和所述面部红外图像，生成第一模态面部图像组，

基于预设背景密度和所述面部深度图像，生成第二模态面部图像组，以及

将所述第一模态面部图像组和所述第二模态面部图像组作为所述多模态面部图像组。

4.根据权利要求3所述的活体检测方法，其中，所述预设感受野包括预设图像感受野和预设红外感受野；以及

所述基于预设感受野、所述面部色彩图像和所述面部红外图像，生成第一模态面部图像组，包括：

基于所述预设图像感受野，在所述面部色彩图像中提取出第一模态面部图像和第二模态面部图像，

基于所述预设红外感受野，在所述面部红外图像中提取出第一模态的面部红外图像和第二模态的面部红外图像，以及

将所述第一模态面部图像、所述第二模态面部图像、所述第一模态的面部红外图像和所述第二模态的面部红外图像作为所述第一模态面部图像组。

5.根据权利要求4所述的活体检测方法，其中，所述预设图像感受野包括第一图像感受野和第二图像感受野，所述第一图像感受野对应的分辨率和所述第二图像感受野对应的分辨率不同；以及

所述基于所述预设图像感受野，在所述面部色彩图像中提取出第一模态面部图像和第二模态面部图像，包括：

在所述面部色彩图像中提取出所述第一图像感受野对应的图像区域，得到第一模态面部图像，以及

在所述面部色彩图像中提取出所述第二图像感受野对应的图像区域，得到第二模态面部图像。

6.根据权利要求3所述的活体检测方法，其中，所述预设背景密度包括第一背景密度和第二背景密度，所述第一背景密度大于所述第二背景密度；以及

所述基于预设背景密度和所述面部深度图像，生成第二模态面部图像组，包括：

在所述面部深度图像中提取出所述第一背景密度对应的深度图像，得到高密度模态的面部深度图像，

所述面部深度图像中提取出所述第二背景密度对应的深度图像，得到稀疏模态的面部深度图像，以及

将所述高密度模态的面部深度图像和所述稀疏模态的面部深度图像作为所述第二模态面部图像组。

7.根据权利要求1所述的活体检测方法，其中，所述对所述多模态面部图像组中每一模态的面部图像进行风险检测，包括：

采用风险检测模型的特征提取网络分别对所述多模态面部图像组中每一模态的面部图像进行图像特征提取；以及

采用所述风险检测模型中每一模态对应的风险检测网络，对所述每一模态的面部图像的图像特征进行风险检测，得到所述风险检测结果。

8.根据权利要求7所述的活体检测方法，其中，所述风险检测网络包括全连接层和分类子网络；以及

所述用所述风险检测模型中每一模态对应的风险检测网络，对所述每一模态的面部图像的图像特征进行风险检测，得到所述风险检测结果，包括：

采用所述全连接层对所述每一模态的面部图像的图像特征转换为风险分类特征；以及

采用所述分类子网络对所述风险分类特征进行分类，得到所述每一模态的面部图像的风险分类信息，并将所述风险分类信息作为所述风险检测结果。

9.根据权利要求1所述的活体检测方法，其中，所述基于风险检测结果，在多模态活体检测模型中启动目标模态对应的目标活体检测网络，包括：

基于所述风险检测结果，在所述每一模态中选取出存在风险的至少一个模态，得到目标模态；以及

在多模态活体检测模型中启动所述目标模态对应的目标活体检测网络。

10.根据权利要求9所述的活体检测方法，其中，所述多模态活体检测模型包括所述每一模态对应的活体检测网络；以及

所述在多模态活体检测模型中启动所述目标模态对应的目标活体检测网络，包括：

在所述活体检测网络中选取出所述目标模态对应的目标活体检测网络；以及

在所述目标活体检测网络的运行状态为关闭状态时，将所述目标活体检测网络的运行状态调整为启动状态，以启动所述目标活体检测网络。

11.根据权利要求10所述的活体检测方法，其中，所述每一模态对应的活体检测网络的网络结构为权重共享的网络结构。

12.根据权利要求10所述的活体检测方法，其中，所述每一模态对应的活体检测网络包括多个维度的网络层，同一图像类型对活体检测网络在同一维度的网络层之间权重共享。

13.根据权利要求12所述的活体检测方法，其中，所述图像类型包括面部色彩图像、面部红外图像和面部深度图像中的至少一种。

14.根据权利要求10所的活体检测方法，其中，还包括：

在所述活体检测网络中选取出无风险模态对应的当前活体检测网络，所述无风险模态包括所述每一模态中除所述目标模态以外的模态；

在所述当前活体检测网络的运行状态为所述启动状态时，将所述当前活体检测网络的运行状态调整为关闭状态。

15.根据权利要求1所述的活体检测方法，其中，所述基于所述目标活体检测网络对所述目标模态对应的面部图像进行活体检测，以得到所述目标面部图像的活体检测结果，包括：

基于所述目标活体检测网络对所述目标模态对应的面部图像进行活体检测，得到所述目标模态对应的活体评分；以及

将所述活体评分进行融合，以得到所述目标面部图像的活体检测结果。

16.根据权利要求15所述的活体检测方法，其中，所述将所述活体评分进行融合，以得到所述目标面部图像的活体检测结果，包括：

获取所述目标模态对应的加权系数，并基于所述加权系数对所述活体评分进行加权；

计算加权后的活体评分的平均值，得到所述目标面部图像对应的目标活体评分；以及

基于所述目标活体评分对所述目标面部图像进行活体分类，以得到所述活体检测结果。

17.根据权利要求15所述的活体检测方法，其中，所述将所述活体评分进行融合，以得到所述目标面部图像的活体检测结果之后，还包括：

将所述目标活体检测网络的运行状态调整为关闭状态。

18.一种活体检测系统，包括：

至少一个存储介质，存储有至少一个指令集，用于进行活体检测；以及

至少一个处理器，同所述至少一个存储介质通信连接，

其中，当所述活体检测系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行权利要求1-17中任一项所述的活体检测方法。

Images