CN110569808A - 活体检测方法、装置及计算机设备 - Google Patents

Abstract

本申请实施例提供的一种活体检测方法、装置及计算机设备，在获取待检测对象的待检测图像后，将按照多种尺度对其进行裁剪，得到不同尺度的裁剪图像，此时，由于裁剪尺度不同，这样，不同尺度的裁剪图像除了人脸区域外，所包含的特征信息将会有所差异，将这多个不同尺度的裁剪图像输入神经网络，能够对不同尺度的裁剪图像各自的特征信息进行有针对性的处理，融合不同尺度的裁剪图像各自的处理结果进行活体检测，提高了检测的准确性及效率，能够有效识别出人脸纸片、翻拍、人脸视频合成、面具等攻击样本。并且，整个检测过程中，不需要待检测对象按照指令配合交互动作，更为简单高效，且降低了交互成本，提高了用户体验。

Description

活体检测方法、装置及计算机设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种活体检测方法、装置及计算机设备。

背景技术

活体检测，是指计算机判别检测的人脸是真实的人脸，还是伪造的人脸攻击，如合法用户图片、提前拍摄的视频等。对此，目前活体检测应用中，通常是需要用户配合动作检测，如按照指令执行眨眼、点头、张嘴等人脸动作，通过相应动作检测、人脸检测等操作，来判断当前用户是真人还是攻击样本。

然而，现有的这种活体检测方法，很容易受到预先按照指令动作组合的伪造视频的攻击，且耗时长，大大降低了活体检测的效率。

发明内容

有鉴于此，本申请实施例提供一种活体检测方法、装置及计算机设备，通过多级网络级联对待检测图像的不同尺度的裁剪图像进行处理，结合多个处理结果进行活体检测，无需用户互动动作，不依赖特定的硬件设备，提高了检测可靠性及效率，降低了设备成本，具有较强的普适性。

为实现上述目的，本申请实施例提供如下技术方案：

一方面，本申请提出了一种活体检测方法，所述方法包括：

获取待检测对象的待检测图像；

对所述待检测图像进行裁剪，得到不同尺度的裁剪图像，所述裁剪图像至少包含所述待检测对象的人脸区域；

将包含所述人脸区域的不同尺度的裁剪图像输入神经网络进行处理，得到相应尺度的裁剪图像的处理结果，所述处理结果用于表征所述待检测对象是否为活体的分类信息；

利用得到的所述处理结果中的分类信息，确定所述待检测对象是否为活体。

又一方面，本申请提出了一种活体检测装置，所述装置包括：

图像获取模块，用于获取待检测对象的待检测图像；

图像裁剪模块，用于对所述待检测图像进行裁剪，得到不同尺度的裁剪图像，所述裁剪图像至少包含所述待检测对象的人脸区域；

图像处理模块，用于将包含所述人脸区域的不同尺度的裁剪图像输入神经网络进行处理，得到相应尺度的裁剪图像的处理结果，所述处理结果用于表征所述待检测对象是否为活体的分类信息；

活体检测模块，用于利用得到的所述处理结果中的分类信息，确定所述待检测对象是否为活体。

又一方面，本申请提出了一种计算机设备，所述计算机设备包括：

通信接口；

存储器，用于存储实现如上所述的活体检测方法的程序；

处理器，用于加载并执行所述存储器存储的程序，以实现如上所述的活体检测方法的各步骤。

由此可见，相对于现有技术，本申请实施例获取待检测对象的待检测图像后，将按照不同尺度对其进行裁剪，得到多个不同尺度的裁剪图像，此时，由于裁剪尺度不同，这样，不同尺度的裁剪图像除了人脸区域外，所包含的特征信息将会有所差异，将这多个不同尺度的裁剪图像输入神经网络，能够对不同尺度的裁剪图像各自的特征信息进行有针对性的处理，融合不同尺度的裁剪图像各自的处理结果进行活体检测，提高了检测的准确性及效率，能够有效识别出人脸纸片、翻拍、人脸视频合成、面具等攻击样本。并且，整个检测过程中，不需要待检测对象按照指令配合交互动作，更为简单高效，且降低了交互成本，提高了用户体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了实现本申请提出活体检测方法的系统结构示意图；

图2示出了本申请提出的一种计算机设备的硬件结构示意图；

图3示出了本申请提出的活体检测方法的一可选示例的流程图；

图4a示出了本申请提出的活体检测方法中，获取的正样本的不同尺度的裁剪图像的示意图；

图4b示出了本申请提出的活体检测方法中，获取负样本的不同尺度的裁剪图像的示意图；

图5示出了本申请提出的活体检测方法中，获取任一尺度的裁剪图像的处理结果的示意图；

图6示出了本申请提出的活体检测方法的又一可选示例的流程图；

图7示出了本申请提出的活体检测方法的又一可选示例的流程图；

图8示出了本申请提出的活体检测装置的一可选示例的结构图；

图9示出了本申请提出的活体检测装置的又一可选示例的结构图；

图10示出了本申请提出的活体检测系统的一可选场景的应用示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

计算机视觉技术是目前常用的一种人工智能技术，其是指用摄像机和电脑代替人眼，对目标对象进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。其中，人脸识别作为人工智能的计算机视觉技术的生物特征识别技术，已被广泛应用到很多领域，而在人脸识别应用中，活体检测把控着认证安全额重要环节，如应用于各银行远程核身、x信人脸支付、滴x司机远程认证、小区门禁系统等业务。

针对背景技术部分所介绍的现有的活体检测方法，本申请提出在人脸检测阶段，基于真人与攻击样本的纹理差异，即真人与攻击样本图片的面部纹理之间的差异，来区分当前被检测对象是否为攻击样本。但对于攻击样本，往往会存在一些纹理特征不明显的图像，仅通过人脸的纹理甚至是肉眼都难以区分开，如使用高清的纸质图片、高清的屏幕攻击等，可见，这种利用人脸纹理实现的活体检测的方式，仅适用于一些特征比较明显，容易区别的攻击样本。

对此，本申请又提出从实现图像采集的硬件设备角度进行改进，相对于传统彩色摄像头，可以使用双目相机、RGB-D相机(即深度相机)、结构光传感器、Kinect深度相机等特定的图像采集设备，获取携带有3D信息的人脸深度图像，通过深度图像，来判断当前用户是真人，还是一些纸质图片、证件等平面翻拍的攻击。虽然这种方式相对于上文直接对传统方式采集到的彩色人脸图像进行判断的方式，提高了活体检测的准确性，但这种利用3D深度信息的活体检测方法，难以解决戴面具的攻击和3D模型的攻击，很容易受到周围环境信息影响，并且，这种方法依赖硬件设备，相对于传统相机成本较高，若采用结构光传感器也很容易受到周围光线环境的影响。

针对上述几种活体检测方案的分析，本申请希望在不增加硬件成本的基础上，如使用的传统普通相机，能够得到适用于更多种场景的活体检测方法。因此，本申请将活体检测与人工智能中的深度学习技术相结合，

具体的，本申请提出针对不同的攻击类型，将全局特征与局部上下文环境信息、人脸区域纹理相结合，采用多级网络级联判断，将将复杂问题转化成一个个子问题，通过不同级别网络针对不同子问题进行活体检测，克服上文描述的几种活体检测方案存在的问题，且在操作层面上，不需用户配合做出指定的面部动作，仅从包含用户人脸的图像上，就可以实现活体判别，提高了检测效率、准确性及用户体验。

具体的，本实施例提出的这种多级网络级联判断的方式，可以是将采集到的原始待检测图像，按照不同的尺度进行裁剪，以使得到多个包含图像内容不完全相同的裁剪图像，但需要所裁剪出的图像区域中均包含用户的面部区域。之后，利用不同的分类网络，对不同尺度的裁剪图像进行有针对性的判决，如对于包含丰富的全局信息的裁剪图像，可以利用手机边框等明显特征，来判断是否为屏幕、纸片等翻拍攻击；对于包含部分背景信息的尺度相对较小的裁剪图像，可以通过局部上下文信息分析，来判断是否为纸片裁剪的攻击和合成人脸的攻击等；对于小尺度的面部区域图像，可以结合纹理信息进行判别等等。

可见，本申请采用这种多级联策略，不同级别的判别方式所针对的问题不同，将复杂问题转化成一个个子问题，能够有效提高活体检测效率及准确性；由于本申请可以直接对采集到的单帧图像进行处理，不需要特定的图像采集设备，且在不同的光照环境下具有良好的性能，以使得本申请提出的活体检测方法具有更高的普适性。

基于上述对本申请提出的活体检测发明构思的分析，如图1所示，本申请提出了一种实现本申请提出的活体检测方法的系统架构的示意图，该系统可以包括图像采集设备11及计算机设备12，其中：

图像采集设备11可以是指具有摄像头的电子设备，可以是手机、平板电脑、笔记本电脑、独立的摄像头等，本申请对图像采集设备的产品类型及其硬件结构不做详述，其主要可以用于采集待检测对象的图像信息，该图像信息中包含待检测对象的人脸区域。

应该理解，对于不同类型的图像采集设备实现图像采集的方式可能不同，本申请在此不做一一详述，可以依据具体实现需求实现对待检测对象的图像采集。

另外，需要说明的是，本申请的图像采集设备11采集到待检测对象的待检测图像后，可以将该待检测图像发送至计算机设备12进行后续处理，因此，该图像采集设备11通常可以包括实现数据传输的通信模块，该通信模块可以包括无线通信模块，如WIFI模块、GSM(Global System for Mobile Communications，全球移动通信系统)模块、GPRS(GeneralPacket Radio Service，通用分组无线服务技术)模块等等；也可以包括有线通信模块，本申请对图像采集设备向其他设备发送数据的方式不做限定。

计算机设备12可以用来对采集到的待检测图像进行处理，以实现本申请提出的活体检测方法，具体实现过程可以参照下文方法实施例相应部分的描述。

本实施例中，该计算机设备12可以是服务器，也可以是数据处理能力较强的终端设备，本申请对计算机设备12的产品类型不作限定，优选为服务器，这种情况下，不同图像采集设备11可以通过无线通信方式，建立与服务器的通信通道，以实现数据交互。

示例性的，参照图2，为本申请提出的一种计算机设备的硬件结构示意图，该计算机设备可以包括：通信接口121、存储器122和处理器123，其中：

本实施例中，通信接口121、存储器122和处理器123之间可以通过通信总线实现相互间的通信，且通信接口121、存储器122、处理器123以及通信总线的数量可以为至少一个，可以依据具体应用需求确定，本申请对上述计算机设备的组成部件及其数量不作限定。

通信接口121可以用于接收图像采集设备12发送的待检测对象的待检测图像，还可以将计算机设备得到的活体检测结果反馈至图像采集设备12输出等，根据需要，通信接口121还可以用来实现计算机设备中不同组成部件之间的数据交互，本申请对通信接口121的类型不做限定，可以依据其具体应用场景需求确定，如上述无线通信模块的接口，还可以包括USB(通用串行总线，universal serial bus)接口、串/并口等等，本申请不做一一详述。

存储器122可以用来存储实现本申请提出的活体检测方法的程序，还可以存储活体检测方法运行过程中产生的各种中间数据，以及其他电子设备或用户发送的数据等等，可以依据应用场景的需求确定，本申请不做详述。

在实际应用中，存储器122可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

处理器123可以用来调用并执行存储器所存储的程序，以实现上述应用于计算机设备的活体检测的各步骤，具体实现过程可以参照下文方法实施例相应部分的描述。

本实施例中，处理器123可能是一个中央处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路等，本申请对处理器123的具体结构不做详述。

需要说明，对于本申请提出的活体检测系统的结构，并不局限于上文列举的图像采集设备及计算机设备，还可以包括如数据库等其他设备，可以根据实际场景的需求确定，本申请不做一一详述。同理，对于本申请提出的计算机设备的硬件结构，并不局限于上文实施例及图2所示的结构及其组成，可以根据实际需要进行灵活调整，上文实施例仅是示意性说明，并不构成对计算机设备及系统结构的限定。

结合上图1所示的系统结构示意图，以及图2所示的计算机设备的硬件结构示意图，参照图3，示出了本申请提出的活体检测方法的一可选示例的流程图，该方法适用于上述计算机设备，如图3所示，具体可以包括但并不局限于以下步骤：

步骤S11，获取待检测对象的待检测图像；

继上文描述，本实施例实际应用场景下，可以由图像采集设备对待检测对象进行图像采集，具体实现过程不做详述，之后，由图像采集设备将采集到的待检测图像发送至计算机设备进行活体检测。可见，该待检测图像中至少会包含待检测对象的人脸区域。

需要说明的是，本申请可以对获取的一帧图像进行活体检测，也就是说，步骤S11中的待检测图像可以是一帧图像。

步骤S12，对该待检测图像进行裁剪，得到不同尺度的裁剪图像；

本实施例中，为了保证活体检测的可靠性，上述得到的各种尺度的裁剪图像至少会包含待检测对象的人脸区域，至于除了人脸区域之外的特征信息，可以依据相应尺度的大小确定，本申请对不同尺度的具体数值不做限定。

可选的，结合上文对本申请提出的活体检测的发明构思的分析，本申请步骤S12得到的不同尺度的裁剪图像可以包括：第一尺度的裁剪图像、第二尺度的裁剪图像和第三尺度的裁剪图像，且第一尺度大于第二尺度及第三尺度，第二尺度大于第三尺度，即第一尺度>第二尺度>第三尺度，但这三个尺度的具体数值不做限定。

作为本申请一可选示例，为了使得到的不同尺度的裁剪图像具有明显的特征区别，且区别于活体相应图像中的特征，参照图4a(该图仅以手机采集待检测对象图像的场景为例进行说明，但并不局限于手机这一种图像采集设备，可以根据实际业务场景的需求，确定图像采集设备类型，本申请在此仅以手机场景为例进行示意性说明)，本实施例可以将包含待检测图像的全局特征的裁剪图像记为第一尺度的裁剪图像，将包含局部上下文特征的裁剪图像记为第二尺度的裁剪图像，将仅包含待检测图像的人脸区域的裁剪图像记为第三尺度的裁剪图像。

同理，若待检测对象是非法用户使用手机屏幕展示的合法用户的图像，当前业务场景下的图像采集设备对该手机屏幕展示的用户图像进行图像采集，可能会得到如图4b所示的待检测图像，之后，对其进行多个尺度的裁剪，所得到的最大尺度的裁剪图像中，除了人脸区域外，可能会包含非法用户用的手机的边框信息，之后的活体检测过程中，可以以此作为与真人图像特征的明显区别，判断当前待检测对象为攻击样本。需要说明，图4b示出的仅是实际应用中的一种攻击方式，对于其他类型的攻击样本，与真人图像的明显区别特征可能是其他，并并不局限于这种边框特征，本申请不再一一详述。

基于此，上述步骤S12可以包括：对待检测图像的全局特征进行提取，得到第一尺度的裁剪图像；对待检测图像的局部上下文特征进行提取，得到第二尺度的裁剪图像；对待检测图像的人脸区域进行特征提取，得到第三尺度的裁剪图像。

需要说明，本申请对上文待检测图像的全局特征、局部上下文特征包含的具体特征内容不作限定，可以依据具体的待检测对象，以及提供该待检测对象中的人脸图像的设备等因素确定，并不局限于本说明书列举的几种攻击方式。

举例说明，若待检测对象是如上文举例的攻击样本，第一尺度的裁剪图像的全局特征可以包括：待检测对象的人脸区域特征及提供攻击样本的对象边框信息，例如翻拍使用的设备(如手机、平板电脑、笔记本电脑等)的边框，或翻拍打印出的纸片边框等能够明显区分的特征；第二尺度的裁剪图像的局部上下文特征可以包括：待检测对象的人脸区域特征及该人脸区域的边缘信息，例如纸片裁剪的面具边缘、脸部明显编辑的边缘等存在明显可分辨的特征；第三尺度的裁剪图像的人脸区域可以包括：与真人纹理不同的特征等。若待检测对象是活体，各尺度的裁剪图像中将不具备上述特征，所以，本申请可以通过真人与攻击样本如上述列举的特征区别，实现活体检测。

步骤S13，将包含人脸区域的不同尺度的裁剪图像输入神经网络进行处理，得到相应尺度的裁剪图像的处理结果；

其中，该处理结果是根据相应尺度的裁剪图像所确定的，能够表征待检测对象是否为活体的分类信息，本申请对该处理结果的内容不做限定，可以是预测分数，也可以是该预测分数直接对应的概率值等。

本实施例中，可以预先针对不同尺度的裁剪图像，训练得到相应的神经网络(即预测待检测对象是否为活体的预测模型)，这样，在对一帧待检测图像进行裁剪，得到不同尺度的裁剪图像后，可以输入至相应的神经网络进行处理，得到该尺度的裁剪图像的处理结果。

其中，对于适用于不同尺度的裁剪图像的神经网络的训练过程，可以采用有监督方式实现，所以，在构建训练样本的过程中，可以从n1张正样本图像(即真人图像)和n2张负样本(如上述列举的各种攻击样本)图像中，分别裁剪出多种尺度的裁剪图像，每一个尺度的裁剪图像对应有正样本和负样本，关于正负样本包含的信息，可以参照上文获取不同尺度的裁剪图像部分的描述，仍以上文裁剪得到三种尺度的裁剪图像为例进行说明：

在神经网络训练过程中，获取的第一尺度的裁剪图像的负样本可以包括：待检测对象的人脸区域及提供攻击样本的对象边框信息，第二尺度的裁剪图像的负样本可以包括：待检测对象的人脸区域及人脸区域的边缘信息，第三尺度的裁剪图像的负样本可以包括：攻击样本的人脸区域。相应地，这三种尺度的裁剪图像的正样本中，并不会包含负样本中的对象边框信息、边缘信息等与真人图像特征区别明显的特征信息。

对于任一尺度的裁剪图像，得到相应的正负样本后，可以基于神经网络对正负样本进行训练，具体训练过程本申请不做限定。其中，该神经网络可以是深度卷积神经网络，具体可以是AlexNent、VGG(Visual Geometry Group Network)、GoogleNet、Unet(一种图像分割网络)、DenseNet等，当然，本申请也可以根据实际需要自定义神经网络。如图5所示，该神经网络的结构可以使用卷积算法、BN(Batch Normalization)算法以及激活函数Relu等相应的网络结构堆叠后，连接一个全连接层作为分类器，构成预测活体检测的基础模型，再对上述相应尺度的裁剪图像的正负样本进行训练，得到适用于该尺度的裁剪图像的神经网络模型(本实施例将其称为神经网络)。

之后，可以将训练得到的神经网络模型经过SDK(software development kit，软件开发工具包)封装后在线部署，及将训练得到的神经网络模型，以及对数据的处理逻辑整合在一起，完成一个可被调用的模块，这样，在实际应用中，计算机设备得到一张待检测图像后，可以调用该模块，对该待检测图像的相应尺度的裁剪图像进行处理，返回该尺度的裁剪图像对应的预测分数，对于其他尺度的裁剪图像的处理过程类似。

其中，在神经网络的训练过程中，为了提高活体预测结果的准确性，本申请可以结合损失函数进行训练，如基于mini-batch(一种梯度下降法)进行前向计算得到相应的损失值，再通过如BGD(批量梯度下降法)、SGD(Stochastic Gradient Descent，随机梯度下降法)等优化算法，更新训练得到的神经网络中的配置参数，经过多次重复迭代优化结果，得到预测结果最为准确性的神经网络模型。

可选的，在上述训练过程中，可以利用预先确定的验证样本对训练所得神经网络的预测结果进行验证，以挑选训练所得神经网络，还可以利用其他技术手段防止模型过拟合的等等，本申请对神经网络训练过程中所采用的优化手段不做详述。

应该理解的是，上述适用于不同尺度的裁剪图像的神经网络的训练过程可以是独立的，由于不同尺度的裁剪图像所包含的特征不同，所能够检测出的攻击样本类型不同，但训练过程类似，本申请不做一一详述

作为本申请另一可选示例，上述适用于不同尺度的裁剪图像的神经网络模块可以联合训练得到，如可以共享一部分卷积层，后续再拆分成相应数量的分支(可以记为分类子网络)，分别进行对不同尺度的裁剪图像的特征数据进行处理，得到相应尺度的裁剪图像的处理结果。

这种情况下，可以理解为将上文描述的，针对不同尺度的裁剪图像训练得到的神经网络模型融合成一个大模型，可以将最终的特征向量进行融合，也可以在将中间的特征图进行拼接后训练，从而充分利用裁剪图像中的信息，将不同的信息融合，能够更准确地实现活体检测。从整体来看，将多个分支融合的大模型的参数数量会变成单个分支的三倍，能够更充分拟合数据，以提高训练所得模型的预测结果的准确性，进而提高活体检测的准确性，本申请对如何实现如上述多个神经网络模型的融合训练的方法不作详述。

另外，在上述模型(即上述神经网络)训练过程中，由于需要控制参数量，通常不会使用太过复杂的模型，且在训练模型过程中，可以采用模型蒸馏(Distilling，一种深度学习模型压缩方法，具体原理不作详述)的方法，通过大模型指导小模型的方式进行训练，以保持较低的模型参数量的情况下提高模型性能，具体实现过程不做详述。

步骤S14，利用得到的处理结果中的分类信息，确定待检测对象是否为活体。

本实施例，将待检测图像的不同尺度的裁剪图像输入神经网络，可能会得到多个尺度的裁剪图像各自的处理结果，此时，由于不同尺度裁剪图像所包含的特征信息内容并不一致，利用神经网络分别对包含不同特征内容的裁剪图像，进行有针对性的图像分析，实现了对不同类型的攻击样本的识别，综合各处理结果进行活体检测，提高了活体检测的可靠性及准确性，解决了上文基于2D图像纹理实现活体检测方法的应用范围局限性大的问题，同时，由于本申请可以直接对一帧图像进行裁剪处理，不需要任何特定的硬件设备，且在不同的光照环境下具有良好的性能，具有更高的普适性。

另外，本申请的活体检测过程中，不需要待检测对象交互动作，实现过程更加简单，提高了活体检测效率，且降低了交互成本，提高了用户体验。

结合上文实施例对本申请提出的活体检测方法的发明构思的描述，下面以将获取的一帧待检测图像裁剪成三种尺度的裁剪图像，即第一尺度的裁剪图像、第二尺度的裁剪图像和第三尺度的裁剪图像为例，对活体检测方法的细化过程进行说明，但并不局限于这种裁剪方式，具体的，如图6所示，为本申请提出的活体检测方法的又一可选示例的流程图，该方法适用于计算机设备，具体可以包括但并不局限于以下步骤：

步骤S21，获取待检测对象的待检测图像，

结合上述分析，该待检测图像可以是一帧普通的RGB图像，不需要任何特定的硬件设备进行图像采集，在不同光照环境下采集到的图像均适用于本申请提出的活体检测，且不会影响本申请提出的活体检测的性能，具有很高的普适性。

步骤S22，对待检测图像的全局特征进行提取，得到包含人脸区域的第一尺度的裁剪图像；

步骤S23，对待检测图像的局部上下文特征进行提取，得到包含人脸区域的第二尺度的裁剪图像；

步骤S24，对待检测图像的人脸区域进行特征提取，得到包含人脸区域的第三尺度的裁剪图像；

需要说明，本申请对待检测图像的裁剪方式，并不局限于本实施例描述的这三种方式，可以根据实际需要进行灵活调整，得到更多或较少数量的不同尺度的裁剪图像，具体裁剪过程不做详述。

本实施例中，将复杂的攻击类型归纳成三类，且这三种类型在空间尺度上面有着明显差异，因此，本实施例将按照如上述步骤S22、步骤S23和步骤S24的方式，对获取的一帧待检测图像进行裁剪处理，但并不局限于本实施例描述的不同尺度的裁剪图像的获取顺序，也可以是同步获取或按照其他顺序获取等，且上述第一尺度>第二尺度>第三尺度，关于这三种尺度的具体数值不作限定。

具体的，结合上图4所示的裁剪图像，第一尺度的裁剪图像实际上可以是包含人脸区域的大尺寸图像，其可以包括待测图像中大量的背景信息，使其具有非常丰富的全局特征信息，除了人脸区域外，会存在边框的攻击类型，如手机、电脑、iPad等设备屏幕显示照片(此时其为待检测对象)进行攻击，这种情况下，若仅利用人脸区域的图像特征进行活体检测，将会丢失很明显的攻击特征，增大攻击样本识别难度，所以，本实施例可以通过检测是否存在这些设备的边框信息，有效地判断待检测对象是活体还是攻击样本。基于此，上述步骤S21中提取的全局特征包括待检测对象的人脸区域，以及该人脸区域周围的尺度较大的背景信息，若待检测对象为攻击样本，该全局特征需要包含提供该攻击样本的设备的边框信息。

而第二尺度的裁剪图像可以是包含人脸区域的中等尺度的图像，其包含少量背景和上下文信息，以纸片裁剪的攻击样本为例，采用中等尺度的裁剪图像，可以通过纸片的边缘以及纸片脸部的一些特征，高效判断出当前的待检测对象为攻击样本，具体是什么类型的攻击样本，相对于传统方案中仅对人脸区域的特征进行分析，提高了活体检测的效率及准确性。

第三尺度的裁剪图像可以是包含人脸区域的小尺度的图像，如图4所示，其仅包含人脸区域，这样，在对这种尺度的裁剪图像进行处理时，可以更加关注人脸区域的特征，可以不受环境信息的干扰，更加关注攻击区别于真人的纹理信息，从而解决对上述相对较大尺度的裁剪图像进行处理时难以解决的问题。

基于上述对三种不同尺度的裁剪图像需要包含的信息的要求，可以按照该要求，分别对同一帧待检测图像进行裁剪处理，得到满足相应要求的各尺度的裁剪图像，本申请对上述步骤S22、步骤S23、步骤S24的具体实现过程不做详述。

步骤S25，将第一尺度的裁剪图像输入第一神经网络进行处理，得到第一预测分数；

步骤S26，检测第一预测分数是否大于第一阈值，如果是，进入步骤S27；如果否，执行步骤S212；

步骤S27，将第二尺度的裁剪图像输入第二神经网络进行处理，得到第二预测分数；

步骤S28，检测第二预测分数是否大于第二阈值，如果是，进入步骤S29；如果否，执行步骤S212；

步骤S29，将第三尺度的裁剪图像输入第三神经网络进行处理，得到第三预测分数；

步骤S210，检测第三预测分数是否大于第三阈值，如果是，进入步骤S211；如果否，执行步骤S212；

其中，上述第一神经网络可以是基于第一尺度的裁剪图像的正样本和负样本训练得到；第二神经网络可以是基于第二尺度的裁剪图像的正样本和负样本训练得到；所述第三神经网络可以是基于第三尺度的裁剪图像的正样本和负样本训练得到，应该理解的是，这几个神经网络可以是指神经网络模型，用于预测相应尺度的裁剪图像中的待检测对象为活体的概率。

结合上述分析，第一尺度的裁剪图像的负样本可以包括：待检测对象的人脸区域及提供攻击样本的对象边框信息，第二尺度的裁剪图像的负样本可以包括：待检测对象的人脸区域及人脸区域的边缘信息，第三尺度的裁剪图像的负样本可以包括：攻击样本的人脸区域，本申请对获取各尺度的裁剪图像对应的正样本和负样本的过程不做详述。

由此可见，对于上述适用于不同类型的攻击样本的三个独立神经网络，可以单独训练得到，以保证每个神经网络模型学习特定的特征而不受影响，具体训练过程可以参照上述实施例相应部分的描述。

基于本实施例提出的这种单独训练构思，在出现新的不适用于本实施例列举的几种攻击类型的情况下，可以按照上述实施例描述的模型训练方式，从新类型的攻击样本获取相应尺度的裁剪图像的负样本，并从真人图像中获取相应尺度的裁剪图像的正样本，对该正负样本进行训练，得到适用于该新类型攻击的第四神经网络，以按照本实施例描述的方式，实现对新类型攻击的检测。可见，这种单独训练的方式，不会影响其他模型的性能，降低了优化的时间成本，提高了模型优化效率。

如上述步骤S25～步骤S210的描述，本实施例可以按照裁剪图像的尺度从大到小的顺序，依次对各尺度的裁剪图像进行预测处理，并检测得到的预测分数是否大于相应的阈值，来逐级判断待检测对象是否为活体，有效提高了网络的防御能力。其中，在逐级判断过程中，一旦检测得到的预测分数不大于相应阈值，可以直接确定待检测对象为攻击样本，可以直接结束后续检测，当然，为了提高检测可靠性，也可以继续进行检测。当各级检测结果均是预测分数大于相应的阈值，才确定待检测对象为活体，极大提高了活体检测的可靠性。

需要说明的是，本申请对上述各级检测过程中阈值的数值不做限定，可以根据业务需求灵活配置，需要保证相应神经网络一定的模型性能。

步骤S211，确定待检测对象为活体；

步骤S212，确定待检测对象为攻击样本。

本实施例中，在确定待检测对象为攻击样本的情况下，可以向提供待检测图像的图像采集设备反馈相应的提示信息，以提醒待检测对象重新输入待检测图像，按照上述方式继续进行活体检测；当然，也可以将该提示信息反馈至预设的管理设备，以提供相应的管理人员，当前有非法用户入侵等等，本申请对步骤S211和步骤S212之后的步骤内容不做限定，可以依据具体应用场景的需求确定。

如在小区门禁系统的应用中，若确定待检测对象为活体，可以进一步识别待检测对象是否为该小区的合法用户，若是，可以解除门禁，允许待检测对象进入，此时，计算机设备还可以将验证通过的提示信息反馈至图像采集设备，以告知待检测对象，但本申请对该提示信息的输出方式不做限定，可以是语音播放方式，也可以是文字输出方式等；反之，确定待检测对象为非法用户，不会解除门禁。

若在微x人脸支付的应用场景下，确定待检测对象为活体且身份验证合格的情况下，可以继续后续支持流程；反之，将终止支付流程，并输出错误提示信息等等。可见，本申请提出的这种高性能的活体检测方法，可以将一些非法的交易及时且可靠地终止掉，保证支付的安全、公司和个人的利益不受损害。

综上，本实施例得到待检测图像后，根据多级模型各自的关注区域进行数据预处理，得到三种不同尺度的裁剪图像，之后，利用预先训练得到的各自的神经网络，分别对相应尺度的裁剪图像包含的信息进行处理，预测该尺度的裁剪图像中的待检测对象为活体的概率，再综合三个处理结果，判断待检测对象是否为活体，可见，本实施例针对不同的攻击类型，将全局特征、局部上下文环境信息、人脸区域纹理信息相结合，采用多级网络级联进行活体判断，解决不同类型的活体问题，相对于传统方案采用单个模型进行活体检测更加鲁棒，提高了活体检测的可靠性及准确性。

且针对新的攻击类型，可以在对应的级别进行定向优化，不会影响其他级的神经网络模型，避免了采用单个模型优化困难(如一些翻拍攻击防御力提升了，而另一些翻拍功能防御力下降了，或影响了真人的通过率等)的情况。

另外，操作层面上，无需用户配合做出任何特定的面部动作，也不需要任何特定的硬件设备，仅从单张普通的待检测图像上就可以进行活体判别，提高了检测效率和用户体验，且在不同的光照环境下都具有良好的性能，具有较高的普适性。

作为本申请又一可选示例，在实际应用中，结合图7所示流程图，得到不同尺度的裁剪图像后，可以同时输入相应的神经网络进行处理，得到各自的预测分数后，再按照本实施例描述的方式，依次对第一预测分数、第二预测分数、第三预测分数进行相应阈值的判断，如果第一预测分数大于第一阈值，第二预测分数大于第二阈值，且第三预测分数大于第三阈值，可以确定待检测对象为活体；如果第一预测分数不大于第一阈值，或第二预测分数不大于第二阈值，或第三预测分数不大于第三阈值，可以确定待检测对象为攻击样本，不是活体。

可选的，本申请可以将不大于相应阈值的预测分数对应的攻击类型，确定为待检测对象的攻击类型，根据需要，还可以进一步分析得到待检测对象具体是什么攻击样本等，具体实现过程本申请不做详述。

在又一可选示例中，本申请在得到上述第一预测分数、第二预测分数、第三预测分数后，还可以同时检测各预测分数是否大于相应的阈值，如果均大于相应的阈值，确定待检测对象为活体，若存在任一预测分数不大于相应的阈值，可以确定待检测对象为攻击样本，之后，可以按照上述实施例相应的方式进行后续处理，不再赘述。

可选的，在获取上述各预测分数的过程中，并不局限于上述描述的输入各自对应的神经网络进行处理，本申请还可以将不同尺度的裁剪图像，输入共享的一个神经网络，在处理过程中，可以共享部分卷积层的特征提取处理，但最后需要通过不同的分类子网络，对相应尺度的裁剪图像进行处理，以得到第一尺度的裁剪图像的第一预测分数、第二尺度的裁剪图像的第二预测分数，以及第三尺度的裁剪图像的第三预测分数，这种情况下的神经网络可以利用不同尺度的裁剪图像的正样本和负样本融合训练得到，具体实现过程不做详述。

另外，在上述各实施例的基础上，在对最大尺度的裁剪图像的预测分数进行判断时，本申请还可以设置一个相对较高的阈值，记为第四阈值，其大于第一阈值，若得到的第一预测分数大于该第四阈值，可以直接确定待检测对象为活体，可以不用再进行后续其他尺度的裁剪图像的处理，进一步提高了活体检测效率。

参照图8，为本申请提出的活体检测装置的一可选示例的结构示意图，该装置可以应用于计算机设备，该计算机设备可以为服务器等，本实施例中，该装置可以包括：

图像获取模块21，用于获取待检测对象的待检测图像；

图像裁剪模块22，用于对所述待检测图像进行裁剪，得到多个不同尺度的裁剪图像，所述裁剪图像至少包含所述待检测对象的人脸区域；

可选的，本实施例得到的不同尺度的裁剪图像可以包括第一尺度的裁剪图像、第二尺度的裁剪图像和第三尺度的裁剪图像等，且第一尺度大于第二尺度及第三尺度，第二尺度大于第三尺度，但并不局限于裁剪这三种尺度的图像，可以根据实际场景的需求进行灵活调整。

基于此，如图9所示，该图像裁剪模块22可以包括：

第一提取单元221，用于对待检测图像的全局特征进行提取，得到第一尺度的裁剪图像；

第二提取单元222，用于对待检测图像的局部上下文特征进行提取，得到第二尺度的裁剪图像；

第三提取单元223，用于对待检测图像的人脸区域进行特征提取，得到第三尺度的裁剪图像。

图像处理模块23，用于将包含人脸区域的不同尺度的裁剪图像输入神经网络进行处理，得到相应尺度的裁剪图像的处理结果；

本实施例中，该处理结果可以用于表征待检测对象是否为活体的分类信息，其具体可以是预测分数，该预测分数可以是根据相应尺度的裁剪图像所确定的待检测对象为活体的概率。

活体检测模块24，用于利用得到的处理结果中的分类信息，确定待检测对象是否为活体。

作为本申请一可选示例，如图9所示，上述图像处理模块23可以包括：

第一处理单元231，用于将第一尺度的裁剪图像输入第一神经网络进行处理，得到第一预测分数；

第二处理单元232，用于将第二尺度的裁剪图像输入第二神经网络进行处理，得到第二预测分数；

第三处理单元233，用于将第三尺度的裁剪图像输入第三神经网络进行处理，得到第三预测分数；

相应地，活体检测模块24可以包括：

第一检测单元241，用于检测第一预测分数是否大于第一阈值，如果是，触发第二处理单元将第二尺度的裁剪图像输入第二神经网络进行处理，得到第二预测分数；

第二检测单元242，用于检测第二预测分数是否大于第二阈值，如果是，触发第三处理单元将第三尺度的裁剪图像输入第三神经网络进行处理，得到第三预测分数；

第三检测单元243，用于检测第三预测分数是否大于第三阈值；

第一确定单元244，用于在第三检测单元的检测结果为是的情况下，确定待检测对象为活体；

第二确定单元245，用于在第一检测单元、第二检测单元及第三检测单元的任一检测结果为否的情况下，确定待检测对象为攻击样本。

其中，第一神经网络是基于所述第一尺度的裁剪图像的正样本和负样本训练得到；第二神经网络是基于所述第二尺度的裁剪图像的正样本和负样本训练得到；第三神经网络是基于所述第三尺度的裁剪图像的正样本和负样本训练得到。

可选的，上述活体检测模块24也可以包括：

第四检测单元，用于检测所述第一尺度的裁剪图像的第一预测分数是否大于第一阈值，第二尺度的裁剪图像的第二预测分数是否大于第二阈值，以及第三尺度的裁剪图像的第三预测分数是否大于第三阈值；

第三确定单元，用于在第一预测分数大于所述第一阈值，第二预测分数大于所述第二阈值，且第三预测分数大于所述第三阈值的情况下，确定所述待检测对象为活体；

第四确定单元，用于在第一预测分数不大于所述第一阈值，或第二预测分数不大于所述第二阈值，或第三预测分数不大于所述第三阈值的情况下，确定待检测对象为攻击样本。

作为本申请又一可选示例，上述图像处理模块23可以包括：

图像处理单元，用于将所述不同尺度的裁剪图像输入一神经网络，通过所述神经网络中的不同分类子网络，对相应尺度的裁剪图像进行处理，得到所述第一尺度的裁剪图像的第一预测分数、所述第二尺度的裁剪图像的第二预测分数，及所述第三尺度的裁剪图像的第三预测分数；

这种情况下，该神经网络可以利用不同尺度的裁剪图像的正样本和负样本融合训练得到，具体实现过程不作详述。

可选的，在上述各实施例的基础上，该装置还可以包括：

第五检测单元，用于检测第一预测分数是否大于第四阈值，如果是，触发第一确定单元确定待检测对象为活体，该第四阈值大于第一阈值，本申请对上述各阈值的具体数值不作限定。

需要说明的是，本申请提出的上述各活体检测装置中的各模块、单元等均可以是应用程序构成的功能模块，其实现各自功能的过程可以参照上述方法实施例相应部分的描述。

本申请实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行，实现上述活体检测方法的各步骤，该对象推荐方法的实现过程可以参照上述方法实施例的描述。

参照上图1，本申请实施例还提供了一种脸活体检测系统，该系统可以包括至少一个图像采集设备及计算机设备，该计算机设备可以是服务器，关于系统组成结构及其功能，可以参照上述系统实施例的描述，不再赘述。

以某应用平台上的支付场景为例进行说明，该场景可以设定通过人脸识别进行支付，参照图10所示的场景示意图，在用户使用手机进行支付时，手机输出支付界面提醒用户进行人脸扫描，用户可以将手机的摄像头对准用户面部进行图像采集，如图10所示，手机可以将采集到的任一帧该用户的用户图像即待检测图像上报至服务器，由服务器按照上述实施例描述的方式进行裁剪，得到三个尺度的裁剪图像，再经过神经网络的处理后，得到各自的预测分数，之后，结合三这个预测分数与各自阈值的比较结果，得到该用户的活体检测结果，并生成相应的提示信息反馈至手机，以使该用户得知本次活体检测结果，该提示信息可以通过显示屏输出，也可以通过语音播报等其他方式输出。

当然，在该支付场景下，在确定待检测对象为活体后，还可以进一步检测待检测对象的身份是否合格，如是否为当前支付账户的合法用户，可以将该人脸区域的图像与预存的人脸图像进行比对，确定身份合格后，响应本次支付操作，完成本次支付，并将支付成功的提示信息反馈至手机；反之，若身份不合格，可以向手机反馈身份不合格的提示信息，以提醒用户重新进行人脸扫描或其他操作。可见，本申请通过在支付场景下增加活体检测，提高了支付安全性，保证了用户个人、公司的利益。

应该理解，本申请提出的活体检测方法在其他业务场景的应用过程类似，本申请不再一一详述。

本申请还提供了一种计算机设备，如图2所示的计算机设备的硬件结构示意图，该计算机设备可以包括通信接口、存储器及处理器等，关于计算机设备的硬件组成及其功能，可以参照上述计算机设备实施例的描述。

需要说明的是，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、计算机设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的核心思想或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种活体检测方法，其特征在于，所述方法包括：

获取待检测对象的待检测图像；

对所述待检测图像进行裁剪，得到不同尺度的裁剪图像，所述裁剪图像至少包含所述待检测对象的人脸区域；

将包含所述人脸区域的不同尺度的裁剪图像输入神经网络进行处理，得到相应尺度的裁剪图像的处理结果，所述处理结果用于表征所述待检测对象是否为活体的分类信息；

利用得到的所述处理结果中的分类信息，确定所述待检测对象是否为活体。

2.根据权利要求1所述的方法，其特征在于，所述不同尺度的裁剪图像包括第一尺度的裁剪图像、第二尺度的裁剪图像和第三尺度的裁剪图像，且所述第一尺度大于所述第二尺度及所述第三尺度，所述第二尺度大于所述第三尺度，所述处理结果为预测分数，所述预测分数是根据相应尺度的裁剪图像所确定的所述待检测对象为活体的概率。

3.根据权利要求2所述的方法，其特征在于，所述将包含所述人脸区域的不同尺度的裁剪图像输入神经网络进行处理，得到相应尺度的裁剪图像的处理结果，利用得到的所述处理结果，确定所述待检测对象是否为活体，包括：

将所述第一尺度的裁剪图像输入第一神经网络进行处理，得到第一预测分数；

若所述第一预测分数大于第一阈值，将所述第二尺度的裁剪图像输入第二神经网络进行处理，得到第二预测分数；

若所述第二预测分数大于第二阈值，将所述第三尺度的裁剪图像输入第三神经网络进行处理，得到第三预测分数；

若所述第三预测分数大于第三阈值，确定所述待检测对象为活体；

其中，所述第一神经网络是基于所述第一尺度的裁剪图像的正样本和负样本训练得到；所述第二神经网络是基于所述第二尺度的裁剪图像的正样本和负样本训练得到；所述第三神经网络是基于所述第三尺度的裁剪图像的正样本和负样本训练得到。

4.根据权利要求2所述的方法，其特征在于，所述利用得到的所述处理结果中的分类信息，确定所述待检测对象是否为活体，包括：

检测所述第一尺度的裁剪图像的第一预测分数是否大于第一阈值，所述第二尺度的裁剪图像的第二预测分数是否大于第二阈值，以及所述第三尺度的裁剪图像的第三预测分数是否大于第三阈值；

如果所述第一预测分数大于所述第一阈值，所述第二预测分数大于所述第二阈值，且所述第三预测分数大于所述第三阈值，确定所述待检测对象为活体；

如果所述第一预测分数不大于所述第一阈值，或所述第二预测分数不大于所述第二阈值，或所述第三预测分数不大于所述第三阈值，确定所述待检测对象为攻击样本。

5.根据权利要求4所述的方法，其特征在于，所述将包含所述人脸区域的不同尺度的裁剪图像输入神经网络进行处理，得到相应尺度的裁剪图像的处理结果，包括：

将包含所述人脸区域的不同尺度的裁剪图像输入一神经网络，通过所述神经网络中的不同分类子网络，对相应尺度的裁剪图像进行处理，得到所述第一尺度的裁剪图像的第一预测分数、所述第二尺度的裁剪图像的第二预测分数，及所述第三尺度的裁剪图像的第三预测分数；

所述神经网络利用不同尺度的裁剪图像的正样本和负样本融合训练得到。

6.根据权利要求2～5任一项所述的方法，其特征在于，所述对所述待检测图像进行裁剪，得到多个不同尺度的裁剪图像，包括：

对所述待检测图像的全局特征进行提取，得到所述第一尺度的裁剪图像；

对所述待检测图像的局部上下文特征进行提取，得到所述第二尺度的裁剪图像；

对所述待检测图像的人脸区域进行特征提取，得到所述第三尺度的裁剪图像。

7.根据权利要求3～5任一项所述的方法，其特征在于，所述方法还包括：

若所述第一预测分数大于第四阈值，确定所述待检测对象为活体，所述第四阈值大于所述第一阈值。

8.根据权利要求6所述的方法，其特征在于，在神经网络训练过程中，获取的所述第一尺度的裁剪图像的负样本包括：所述待检测对象的人脸区域及提供攻击样本的对象边框信息，所述第二尺度的裁剪图像的负样本包括：所述待检测对象的人脸区域及所述人脸区域的边缘信息，所述第三尺度的裁剪图像的负样本包括：攻击样本的人脸区域。

9.一种活体检测装置，其特征在于，所述装置包括：

图像获取模块，用于获取待检测对象的待检测图像；

图像裁剪模块，用于对所述待检测图像进行裁剪，得到不同尺度的裁剪图像，所述裁剪图像至少包含所述待检测对象的人脸区域；

图像处理模块，用于将包含所述人脸区域的所述不同尺度的裁剪图像输入神经网络进行处理，得到相应尺度的裁剪图像的处理结果，所述处理结果用于表征所述待检测对象是否为活体的分类信息；

活体检测模块，用于利用得到的所述处理结果中的分类信息，确定所述待检测对象是否为活体。

10.一种计算机设备，其特征在于，所述计算机设备包括：

通信接口；

存储器，用于存储实现如权利要求1～8任一项所述的活体检测方法的程序；

处理器，用于加载并执行所述存储器存储的程序，以实现如权利要求1～8任一项所述的活体检测方法的各步骤。