CN113657293B - 活体检测方法、装置、电子设备、介质及程序产品 - Google Patents

Abstract

本公开实施例公开了一种活体检测方法、装置、电子设备、介质及程序产品，所述方法包括：采集待认证用户的人脸图像，并获取采集人脸图像时检测到的活体相关信息，所述活体相关信息包括：超声波回波信息、人脸距离信息、环境光信息、终端行为信息；将所述人脸图像和所述活体相关信息输入活体分类模型，得到所述活体分类模型输出的分类结果，所述分类结果包括活体或伪活体。该技术方案能够检测准确，且需要获取的信息都是通过终端上的传感器采集的，采集快捷方便，成本低。

Description

活体检测方法、装置、电子设备、介质及程序产品

技术领域

本公开实施例涉及人工智能技术领域，具体涉及一种活体检测方法、装置、电子设备、介质及程序产品。

背景技术

近年来，随着人工智能技术的发展，人脸识别的应用越来越广泛，如人脸识别可以应用在人脸支付、门禁系统、银行业务等等各方面。而人脸信息的生物特征非常容易获得，人脸识别系统很容易受到伪造人脸的攻击，比如，照片攻击、视频攻击、3D人脸面具攻击等导致安全性问题。为防止恶意者伪造和窃取他人的人脸特征用于身份认证，人脸识别系统需具有活体检测功能，即判断采集的人脸信息是否来自有生命的个体是亟待解决的技术问题。

发明内容

为了解决相关技术中的问题，本公开实施例提供一种活体检测方法、装置、电子设备、介质及程序产品。

第一方面，本公开实施例中提供了一种活体检测方法。

具体的，所述活体检测方法，包括：

采集待认证用户的人脸图像，并获取采集人脸图像时检测到的活体相关信息，所述活体相关信息包括：超声波回波信息、人脸距离信息、环境光信息、终端行为信息；

将所述人脸图像和所述活体相关信息输入活体分类模型，得到所述活体分类模型输出的分类结果，所述分类结果包括活体或伪活体。

结合第一方面，本公开实施例在第一方面的第一种实现方式中，所述将所述人脸图像和所述活体相关信息输入活体分类模型，得到所述活体分类模型输出的分类结果，包括：

通过所述活体分类模型中的特征提取层，提取所述人脸图像的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量；

将所述人脸特征向量和所述各活体特征向量作为所述活体分类模型中注意力机制层的输入，基于所述注意力机制层中所述人脸特征向量和所述各活体特征向量的注意力权重，得到所述注意力机制层输出的注意力加权特征向量；

基于所述注意力加权特征向量，通过所述活体分类模型中的分类输出层得到所述分类结果。

结合第一方面和第一方面的第一种实现方式，本公开实施例在第一方面的第二种实现方式中，其中，所述特征提取层包括图像特征提取层和图结构特征提取层。

结合第一方面、第一方面的上述实现方式，本公开在第一方面的第三种实现方式中，其中，所述通过所述活体分类模型中的特征提取层，提取所述人脸图像中的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量，包括：

通过所述活体分类模型中的图像特征提取层，提取所述人脸图像中的人脸特征向量；

将所述活体相关信息中各类信息构造为图结构，所述图结构的顶点为所述活体相关信息中的各类信息，所述图结构的边为各类信息之间的关系；

通过所述活体分类模型中的图结构特征提取层，从所述图结构中提取各类信息对应的各活体特征向量。

结合第一方面、第一方面的上述实现方式，本公开在第一方面的第四种实现方式中，其中，所述方法还包括：

获取样本数据，所述样本数据包括样本用户的人脸图像以及采集样本用户的人脸图像时检测到的活体相关信息，所述样本用户包括活体用户和伪活体用户；

基于所述样本数据对初始的活体分类模型进行训练，调整所述初始的活体分类模型中的参数直至分类结果的正确率达到预设阈值，得到活体分类模型。

第二方面，本公开实施例中提供了一种活体检测装置。

具体的，所述活体检测装置，包括：

采集模块，被配置为采集待认证用户的人脸图像，并获取采集人脸图像时检测到的活体相关信息，所述活体相关信息包括：超声波回波信息、人脸距离信息、采集设备所在的位置信息、采集时间信息、环境光信息；

分类模块，被配置为将所述人脸图像和所述活体相关信息输入活体分类模型，得到所述活体分类模型输出的分类结果，所述分类结果包括活体或伪活体。

结合第二方面，本公开实施例在第二方面的第一种实现方式中，所述分类模块被配置为：

通过所述活体分类模型中的特征提取层，提取所述人脸图像中的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量；

将所述人脸特征向量和所述各活体特征向量作为所述活体分类模型中注意力机制层的输入，基于所述注意力机制层中所述人脸特征向量和所述各活体特征向量的注意力权重，得到所述注意力机制层输出的注意力加权特征向量；

基于所述注意力加权特征向量，通过所述活体分类模型中的分类输出层得到所述分类结果。

结合第二方面和第二方面的第一种实现方式，本公开实施例在第二方面的第二种实现方式中，所述特征提取层包括图像特征提取层和图结构特征提取层。

结合第二方面、第二方面的上述实现方式，本公开在第二方面的第三种实现方式中，其中，所述分类模块中通过所述活体分类模型中的特征提取层，提取所述人脸图像中的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量的部分被配置为：

通过所述活体分类模型中的图像特征提取层，提取所述人脸图像中的人脸特征向量；

将所述活体相关信息中各类信息构造为图结构，所述图结构的顶点为所述活体相关信息中的各类信息，所述图结构的边为各类信息之间的关系；

通过所述活体分类模型中的图结构特征提取层，从所述图结构中提取各类信息对应的各活体特征向量。

结合第二方面、第二方面的上述实现方式，本公开在第二方面的第四种实现方式中，其中，所述装置还包括：

获取模块，被配置为获取样本数据，所述样本数据包括样本用户的人脸图像以及采集样本用户的人脸图像时检测到的活体相关信息，所述样本用户包括活体用户和伪活体用户；

训练模块，被配置为基于所述样本数据对初始的活体分类模型进行训练，调整所述初始的活体分类模型中的参数直至分类结果的正确率达到预设阈值，得到活体分类模型。

第三方面，本公开实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条支持活体检测装置执行上述活体检测方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述活体检测装置还可以包括通信接口，用于活体检测装置与其他设备或通信网络通信。

第四方面，本公开实施例提供了一种计算机可读存储介质，用于存储活体检测装置所用的计算机指令，其包含用于执行上述活体检测方法为活体检测装置所涉及的计算机指令。

第五方面，本公开实施例提供了一种计算机程序产品，包括计算机程序/指令，其中，该计算机程序/指令被处理器执行时实现上述活体检测方法中的步骤。

根据本公开实施例提供的技术方案，基于待认证用户的人脸图像、采集人脸图像时检测到的超声波回波信息、人脸距离信息、采集设备所在的位置信息、采集时间信息、环境光信息，通过活体分类模型，来对待认证用户进行活体检测，综合考虑了多种对区分活体和伪活体有影响的信息来进行活体检测，检测准确，且需要获取的信息都是通过终端上的传感器采集的，采集快捷方便，成本低。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开实施例。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开实施例的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本公开一实施方式的活体检测方法的流程图；

图2示出根据本公开一实施方式的活体检测方法中的步骤S102的方法流程图；

图3示出根据本公开一实施方式的活体检测方法中的步骤S201的方法流程图；

图4示出根据本公开一实施方式的活体检测装置的结构框图；

图5示出根据本公开一实施方式的另一活体检测装置的结构框图；

图6示出根据本公开一实施方式的电子设备的结构框图；

图7是适于用来实现根据本公开一实施方式的活体检测方法的计算机系统的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。

在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

在本公开中，对用户信息或用户数据的获取均为经用户授权、确认，或由用户主动选择的操作。

上文提及，近年来，随着人工智能技术的发展，人脸识别的应用越来越广泛，如人脸识别可以应用在人脸支付、门禁系统、银行业务等等各方面。而人脸信息的生物特征非常容易获得，人脸识别系统很容易受到伪造人脸的攻击，比如，照片攻击、视频攻击、3D人脸面具攻击等导致安全性问题。为防止恶意者伪造和窃取他人的人脸特征用于身份认证，人脸识别系统需具有活体检测功能，即判断采集的人脸信息是否来自有生命的个体是亟待解决的技术问题。

考虑到上述问题，在本实施例中，提出一种活体检测方法，该方法可以基于待认证用户的人脸图像、采集人脸图像时检测到的超声波回波信息、人脸距离信息、采集设备所在的位置信息、采集时间信息、环境光信息，通过活体分类模型，来对待认证用户进行活体检测，综合考虑了多种对区分活体和伪活体有影响的信息来进行活体检测，检测准确，且需要获取的信息都是通过终端上的传感器采集的，采集快捷方便，成本低。

图1示出根据本公开一实施方式的活体检测方法的流程图，如图1所示，所述活体检测方法包括以下步骤S101-S102：

在步骤S101中，采集待认证用户的人脸图像，并获取采集人脸图像时检测到的活体相关信息，所述活体相关信息包括：超声波回波信息、人脸距离信息、采集设备所在的位置信息、采集时间信息、环境光信息；

在步骤S102中，将所述人脸图像和所述活体相关信息输入活体分类模型，得到所述活体分类模型输出的分类结果，所述分类结果包括活体或伪活体。

在本公开一实施方式中，所述活体检测方法可适用于可执行活体检测的计算机、计算设备、电子设备等终端。

在本公开一实施方式中，该超声波回波信息可以由终端上的超声波接收器如麦克风采集得到，该终端可以在采集待认证用户的人脸图像时，通过超声波发射器如扬声器发射超声波，这样就可以在采集人脸图像时通过超声波接收器检测到超声波回波信息。不同的材质反射回的超声波回波信息是不同的，如果照片攻击、视频攻击、3D人脸面具攻击使用的材质与活体的人脸材质是完全不同的，故该超声波回波信息是一种可以区分活体和伪活体的信息。

在本公开一实施方式中，该人脸距离信息为待认证用户的人脸至终端的距离，可以由终端上的距离传感器采集得到，该终端可以在采集待认证用户的人脸图像的同时，控制该距离传感器采集该人脸距离信息。众所周知，终端在采集图像时，同一物体距离越远采集到的图像越小。如果采用照片攻击或视频攻击，在采集到的人脸图像差不多大小时，照片或视频所在的设备位置与该终端之间的距离要远远小于活体人脸与该终端之间的距离。故该采集距离信息也是一种对区分活体和伪活体有影响的信息。

在本公开一实施方式中，环境光信息可以由终端上的光学传感器采集得到，该终端可以在采集待认证用户的人脸图像的同时，控制该光学传感器采集该环境光信息，在相同的环境光条件下，活体人脸的光谱特性与采用照片攻击、视频攻击或3D人脸面具攻击的使用的装备的光谱特性也是不同的，故该环境光信息也是一种对区分活体和伪活体有影响的信息。

在本公开一实施方式中，终端行为信息可以包括采集人脸图像的终端的终端ID、终端当前的位置信息、时间信息、连接网络的信息等等，进行活体认证或伪活体攻击的终端都有一定的行为特性，故该终端行为信息也是一种对区分活体和伪活体有影响的信息。

在本公开一实施方式中，该活体分类模型为一机器学习模型，是通过大量的样本训练得到的用于进行活体或伪活体分类的模型。该活体分类模型可以将上述人脸图像和活体相关信息中的各种信息映射到活体类别或伪活体类别中，本实施方式中的活体分类模型属于一种多模态的活体分类模型，同时考虑了待认证用户的人脸图像，以及采集人脸图像时检测到的活体相关信息等多种信息作为活体分类模型的输入。相比于使用单一信息的活体分类模型，例如简单地基于人脸图像进行活体检测，能够取得更准确的检测效果，且本实施方式中需要获取的信息都是通过终端上的传感器采集的，采集快捷方便，成本低。

在本公开一实施方式中，上述的活体分类模型中引入了注意力机制，该注意力机制，该注意力机制能够让该活体分类模型注意到人脸图像和活体相关信息中的各种信息中对活体检测重要的信息，从而提高该活体分类模型的分类准确率。

在本公开一实施方式中，如图2所示，所述步骤S102，即所述将所述人脸图像和所述活体相关信息输入活体分类模型，得到所述活体分类模型输出的分类结果的步骤，还可包括以下步骤：

在步骤S201中，通过所述活体分类模型中的特征提取层，提取所述人脸图像的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量；

在步骤S202中，将所述人脸特征向量和所述各活体特征向量作为所述活体分类模型中注意力机制层的输入，基于所述注意力机制层中所述人脸特征向量和所述各活体特征向量的注意力权重，得到所述注意力机制层输出的注意力加权特征向量；

在步骤S203中，基于所述注意力加权特征向量，通过所述活体分类模型中的分类输出层得到所述分类结果。

在该实施方式中，该特征提取层可以是卷积层和池化层等用于提取特征向量的结构，将该待认证用户的人脸图像以及检测到的活体相关信息输入至该特征提取层后，该特征提取层可以输出所述人脸图像的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量。

在该实施方式中，该活体分类模型可以通过该注意力机制层自己学习如何分配自己的注意力，为输入的各维度的特征向量打分，然后按照得分对这些特征向量加权，以突出重要特征向量对模型下游模块的影响。该注意力机制层中设置有人脸特征向量和各活体特征向量对应的注意力权重，将所述人脸特征向量和所述各活体特征向量作为注意力机制层的输入后，该注意力机制层可以将该人脸特征向量和各活体特征向量乘以各自对应的注意力权重，就得到了这些向量对应的注意力加权特征向量。

在该实施方式中，分类输出层可以将这些注意力加权特征向量非线性映射为一个概率值来作为分类结果，输出的概率值超过预设阈值则表示分类结果为活体，输出的概率值未超过预设阈值则表示分类结果为伪活体，示例的，该分类输出层可以包括sigmoid层或者softmax层。或者分类输出层可以将这些注意力加权特征向量非线性映射为0或1的数据，输出值未1则表示分类结果为活体，输出值未0则表示分类结果为伪活体，示例的，该分类输出层可以包括二分类输出层。

在本公开一实施方式中，所述特征提取层包括图像特征提取层和图结构特征提取层。

在该实施方式中，可以通过图像特征提取层来提取人脸图像的人脸特征向量，通过该图结构特征提取层来提取活体相关信息中各类信息对应的各活体特征向量。

在本公开一实施方式中，如图3所示，所述步骤S201，即通过所述活体分类模型中的特征提取层，提取所述人脸图像的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量的步骤，还可包括以下步骤：

在步骤S301中，通过所述活体分类模型中的图像特征提取层，提取所述人脸图像中的人脸特征向量；

在步骤S302中，将所述活体相关信息中各类信息构造为图结构，所述图结构的顶点为所述活体相关信息中的各类信息，所述图结构的边为各类信息之间的关系；

在步骤S303中，通过所述活体分类模型中的图结构特征提取层，从所述图结构中提取各类信息对应的各活体特征向量。

在该实施方式中，该图像特征提取层可以包括多个具有不同尺寸卷积核的卷积层和池化层，该卷积层用来提取特征，而池化层可以减少参数数量。

在该实施方式中，该图结构是由顶点和连接顶点的边构成的离散结构，在本实施例中，该图结构的顶点是活体相关信息中的各类的信息即超声波回波信息、人脸距离信息、环境光信息和终端行为信息这四类信息，该图结构的边是这四类信息之间的关系。

在该实施方式中，该图结构特征提取层可以针对上述图结构中的各个顶点，按照各顶点的信息与各类信息之间的关系预测输出新的顶点的特征向量即各类信息的活体特征向量。示例的，该图结构特征提取层可以是GCN(Graph Convolutional Networks，图卷积神经网络)层或GAT(Graph Attention Network，图注意力网络)层。

在该实施方式中，通过构建图结构进行图结构特征提取，能更精确的提取出各类信息中蕴含的特征，提取的各类活体特征向量中也蕴含了其他类信息对该类信息的影响，从而具有达到全局最优的可能性；这样提取到的活体特征向量更加准确，进而使得据此得到的分类结果也更准确。

在本公开一实施方式中，该特征提取层可以包括图结构特征提取层，将人脸图像和所述活体相关信息中各类信息构造为图结构，所述图结构的顶点为所述人脸图像和活体相关信息中的各类信息，所述图结构的边为人脸图像和各类信息相互之间的关系；通过所述活体分类模型中的图结构特征提取层，从所述图结构中提取人脸特征向量和各类信息对应的各活体特征向量。

在本公开一实施方式中，所述方法还可包括以下步骤：

获取样本数据，所述样本数据包括样本用户的人脸图像以及采集样本用户的人脸图像时检测到的活体相关信息，所述样本用户包括活体用户和伪活体用户；

基于所述样本数据对初始的活体分类模型进行训练，调整所述初始的活体分类模型中的参数直至分类结果的正确率达到预设阈值，得到活体分类模型。

在该实施方式中，该活体分类模型可以包括特征提取层、注意力机制层和分类输出层，经过该初始的活体分类模型中特征提取层对样本数据进行特征提取、注意力机制层对提取的特征向量进行转换得到注意力加权特征向量，最后经过分类输出层对注意力加权特征向量进行非线性转换得到输出的分类结果，不断调整该初始的活体分类模型中的参数，直至与该样本数据的分类结果的正确率达到预设阈值如97％或99％，则分类模型训练完成，得到该活体分类模型。

这里需要说明的是，该活体分类模型可以是执行该活体检测方法的终端训练的，也可以是其他设备训练完成后发送给执行该活体检测方法的终端使用的，在此不做限制。

下述为本公开装置实施例，可以用于执行本公开方法实施例。

图4示出根据本公开一实施方式的活体检测装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。

如图4所示，所述活体检测装置400包括：采集模块401和分类模块402。

采集模块401，被配置为采集待认证用户的人脸图像，并获取采集人脸图像时检测到的活体相关信息，所述活体相关信息包括：超声波回波信息、人脸距离信息、采集设备所在的位置信息、采集时间信息、环境光信息；

分类模块402，被配置为将所述人脸图像和所述活体相关信息输入活体分类模型，得到所述活体分类模型输出的分类结果，所述分类结果包括活体或伪活体。

在本公开一实施方式中，所述活体检测装置400可适用于可执行活体检测的计算机、计算设备、电子设备等终端。

在本公开一实施方式中，该超声波回波信息可以由终端上的超声波接收器如麦克风采集得到，该终端可以在采集待认证用户的人脸图像时，通过超声波发射器如扬声器发射超声波，这样就可以在采集人脸图像时通过超声波接收器检测到超声波回波信息。不同的材质反射回的超声波回波信息是不同的，如果照片攻击、视频攻击、3D人脸面具攻击使用的材质与活体的人脸材质是完全不同的，故该超声波回波信息是一种可以区分活体和伪活体的信息。

在本公开一实施方式中，该人脸距离信息为待认证用户的人脸至终端的距离，可以由终端上的距离传感器采集得到，该终端可以在采集待认证用户的人脸图像的同时，控制该距离传感器采集该人脸距离信息。众所周知，终端在采集图像时，同一物体距离越远采集到的图像越小。如果采用照片攻击或视频攻击，在采集到的人脸图像差不多大小时，照片或视频所在的设备位置与该终端之间的距离要远远小于活体人脸与该终端之间的距离。故该采集距离信息也是一种对区分活体和伪活体有影响的信息。

在本公开一实施方式中，环境光信息可以由终端上的光学传感器采集得到，该终端可以在采集待认证用户的人脸图像的同时，控制该光学传感器采集该环境光信息，在相同的环境光条件下，活体人脸的光谱特性与采用照片攻击、视频攻击或3D人脸面具攻击的使用的装备的光谱特性也是不同的，故该环境光信息也是一种对区分活体和伪活体有影响的信息。

在本公开一实施方式中，终端行为信息可以包括采集人脸图像的终端的终端ID、终端当前的位置信息、时间信息、连接网络的信息等等，进行活体认证或伪活体攻击的终端都有一定的行为特性，故该终端行为信息也是一种对区分活体和伪活体有影响的信息。

在本公开一实施方式中，该活体分类模型为一机器学习模型，是通过大量的样本训练得到的用于进行活体或伪活体分类的模型。该活体分类模型可以将上述人脸图像和活体相关信息中的各种信息映射到活体类别或伪活体类别中，本实施方式中的活体分类模型属于一种多模态的活体分类模型，同时考虑了待认证用户的人脸图像，以及采集人脸图像时检测到的活体相关信息等多种信息作为活体分类模型的输入。相比于使用单一信息的活体分类模型，例如简单地基于人脸图像进行活体检测，能够取得更准确的检测效果，且本实施方式中需要获取的信息都是通过终端上的传感器采集的，采集快捷方便，成本低。

在本公开一实施方式中，上述的活体分类模型中引入了注意力机制，该注意力机制，该注意力机制能够让该活体分类模型注意到人脸图像和活体相关信息中的各种信息中对活体检测重要的信息，从而提高该活体分类模型的分类准确率。

在本公开一实施方式中，所述分类模块402被配置为：

通过所述活体分类模型中的特征提取层，提取所述人脸图像中的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量；

将所述人脸特征向量和所述各活体特征向量作为所述活体分类模型中注意力机制层的输入，基于所述注意力机制层中所述人脸特征向量和所述各活体特征向量的注意力权重，得到所述注意力机制层输出的注意力加权特征向量；

基于所述注意力加权特征向量，通过所述活体分类模型中的分类输出层得到所述分类结果。

在该实施方式中，该特征提取层可以是卷积层和池化层等用于提取特征向量的结构，将该待认证用户的人脸图像以及检测到的活体相关信息输入至该特征提取层后，该特征提取层可以输出所述人脸图像的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量。

在该实施方式中，该活体分类模型可以通过该注意力机制层自己学习如何分配自己的注意力，为输入的各维度的特征向量打分，然后按照得分对这些特征向量加权，以突出重要特征向量对模型下游模块的影响。该注意力机制层中设置有人脸特征向量和各活体特征向量对应的注意力权重，将所述人脸特征向量和所述各活体特征向量作为注意力机制层的输入后，该注意力机制层可以将该人脸特征向量和各活体特征向量乘以各自对应的注意力权重，就得到了这些向量对应的注意力加权特征向量。

在该实施方式中，分类输出层可以将这些注意力加权特征向量非线性映射为一个概率值来作为分类结果，输出的概率值超过预设阈值则表示分类结果为活体，输出的概率值未超过预设阈值则表示分类结果为伪活体，示例的，该分类输出层可以包括sigmoid层或者softmax层。或者分类输出层可以将这些注意力加权特征向量非线性映射为0或1的数据，输出值未1则表示分类结果为活体，输出值未0则表示分类结果为伪活体，示例的，该分类输出层可以包括二分类输出层。

在本公开一实施方式中，所述特征提取层包括图像特征提取层和图结构特征提取层。

在该实施方式中，可以通过图像特征提取层来提取人脸图像的人脸特征向量，通过该图结构特征提取层来提取活体相关信息中各类信息对应的各活体特征向量。

在本公开一实施方式中，所述分类模块402中通过所述活体分类模型中的特征提取层，提取所述人脸图像中的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量的部分被配置为：

通过所述活体分类模型中的图像特征提取层，提取所述人脸图像中的人脸特征向量；

将所述活体相关信息中各类信息构造为图结构，所述图结构的顶点为所述活体相关信息中的各类信息，所述图结构的边为各类信息之间的关系；

通过所述活体分类模型中的图结构特征提取层，从所述图结构中提取各类信息对应的各活体特征向量。

在该实施方式中，该图像特征提取层可以包括多个具有不同尺寸卷积核的卷积层和池化层，该卷积层用来提取特征，而池化层可以减少参数数量。

在该实施方式中，该图结构是由顶点和连接顶点的边构成的离散结构，在本实施例中，该图结构的顶点是活体相关信息中的各类的信息即超声波回波信息、人脸距离信息、环境光信息和终端行为信息这四类信息，该图结构的边是这四类信息之间的关系。

在该实施方式中，该图结构特征提取层可以针对上述图结构中的各个顶点，按照各顶点的信息与各类信息之间的关系预测输出新的顶点的特征向量即各类信息的活体特征向量。示例的，该图结构特征提取层可以是GCN(Graph Convolutional Networks，图卷积神经网络)层或GAT(Graph Attention Network，图注意力网络)层。

在该实施方式中，通过构建图结构进行图结构特征提取，能更精确的提取出各类信息中蕴含的特征，提取的各类活体特征向量中也蕴含了其他类信息对该类信息的影响，从而具有达到全局最优的可能性；这样提取到的活体特征向量更加准确，进而使得据此得到的分类结果也更准确。

在本公开一实施方式中，该特征提取层可以包括图结构特征提取层，将人脸图像和所述活体相关信息中各类信息构造为图结构，所述图结构的顶点为所述人脸图像和活体相关信息中的各类信息，所述图结构的边为人脸图像和各类信息相互之间的关系；通过所述活体分类模型中的图结构特征提取层，从所述图结构中提取人脸特征向量和各类信息对应的各活体特征向量。

在本公开一实施方式中，如图5所示，所述活体检测装置400还包括：

获取模块403，被配置为获取样本数据，所述样本数据包括样本用户的人脸图像以及采集样本用户的人脸图像时检测到的活体相关信息，所述样本用户包括活体用户和伪活体用户；

训练模块404，被配置为基于所述样本数据对初始的活体分类模型进行训练，调整所述初始的活体分类模型中的参数直至分类结果的正确率达到预设阈值，得到活体分类模型。

在该实施方式中，该活体分类模型可以包括特征提取层、注意力机制层和分类输出层，经过该初始的活体分类模型中特征提取层对样本数据进行特征提取、注意力机制层对提取的特征向量进行转换得到注意力加权特征向量，最后经过分类输出层对注意力加权特征向量进行非线性转换得到输出的分类结果，不断调整该初始的活体分类模型中的参数，直至与该样本数据的分类结果的正确率达到预设阈值如97％或99％，则分类模型训练完成，得到该活体分类模型。

这里需要说明的是，该活体分类模型可以是执行该活体检测方法的终端训练的，也可以是其他设备训练完成后发送给执行该活体检测方法的终端使用的，在此不做限制。

本公开还公开了一种电子设备，图6示出根据本公开一实施方式的电子设备的结构框图。

如图6所示，所述电子设备600包括存储器601和处理器602；其中，所述存储器601用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器602执行以实现上述方法步骤，该方法包括：

采集待认证用户的人脸图像，并获取采集人脸图像时检测到的活体相关信息，所述活体相关信息包括：超声波回波信息、人脸距离信息、环境光信息、终端行为信息；

将所述人脸图像和所述活体相关信息输入活体分类模型，得到所述活体分类模型输出的分类结果，所述分类结果包括活体或伪活体。

在本公开一实施方式中，所述将所述人脸图像和所述活体相关信息输入活体分类模型，得到所述活体分类模型输出的分类结果，包括：

通过所述活体分类模型中的特征提取层，提取所述人脸图像的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量；

将所述人脸特征向量和所述各活体特征向量作为所述活体分类模型中注意力机制层的输入，基于所述注意力机制层中所述人脸特征向量和所述各活体特征向量的注意力权重，得到所述注意力机制层输出的注意力加权特征向量；

基于所述注意力加权特征向量，通过所述活体分类模型中的分类输出层得到所述分类结果。

在本公开一实施方式中，所述特征提取层包括图像特征提取层和图结构特征提取层。

在本公开一实施方式中，所述通过所述活体分类模型中的特征提取层，提取所述人脸图像中的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量，包括：

通过所述活体分类模型中的图像特征提取层，提取所述人脸图像中的人脸特征向量；

将所述活体相关信息中各类信息构造为图结构，所述图结构的顶点为所述活体相关信息中的各类信息，所述图结构的边为各类信息之间的关系；

通过所述活体分类模型中的图结构特征提取层，从所述图结构中提取各类信息对应的各活体特征向量。

在本公开一实施方式中，所述方法还包括：

获取样本数据，所述样本数据包括样本用户的人脸图像以及采集样本用户的人脸图像时检测到的活体相关信息，所述样本用户包括活体用户和伪活体用户；

基于所述样本数据对初始的活体分类模型进行训练，调整所述初始的活体分类模型中的参数直至分类结果的正确率达到预设阈值，得到活体分类模型。

图7是适于用来实现根据本公开一实施方式的活体检测方法的计算机系统的结构示意图。

如图7所示，计算机系统700包括处理单元701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行上述实施方式中的各种处理。在RAM703中，还存储有系统700操作所需的各种程序和数据。处理单元701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。其中，所述处理单元701可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。

特别地，根据本公开的实施方式，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行所述活体检测方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。

附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开实施例的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (6)

1.一种活体检测方法，包括：

采集待认证用户的人脸图像，并获取采集人脸图像时检测到的活体相关信息，所述活体相关信息包括：超声波回波信息、人脸距离信息、环境光信息、终端行为信息，所述终端行为信息包括采集人脸图像的终端的终端ID、终端当前的位置信息、时间信息、连接网络的信息；

将所述人脸图像和所述活体相关信息输入活体分类模型，得到所述活体分类模型输出的分类结果，所述分类结果包括活体或伪活体；

其中，所述将所述人脸图像和所述活体相关信息输入活体分类模型，得到所述活体分类模型输出的分类结果，包括：

通过所述活体分类模型中的特征提取层，提取所述人脸图像的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量；所述特征提取层包括图像特征提取层和图结构特征提取层；所述通过所述活体分类模型中的特征提取层，提取所述人脸图像中的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量，包括：通过所述活体分类模型中的图像特征提取层，提取所述人脸图像中的人脸特征向量；将所述活体相关信息中各类信息构造为图结构，所述图结构的顶点为所述活体相关信息中的各类信息，所述图结构的边为各类信息之间的关系；通过所述活体分类模型中的图结构特征提取层，从所述图结构中提取各类信息对应的各活体特征向量；

将所述人脸特征向量和所述各活体特征向量作为所述活体分类模型中注意力机制层的输入，基于所述注意力机制层中所述人脸特征向量和所述各活体特征向量的注意力权重，得到所述注意力机制层输出的注意力加权特征向量；

基于所述注意力加权特征向量，通过所述活体分类模型中的分类输出层得到所述分类结果。

2.根据权利要求1所述的方法，所述方法还包括：

获取样本数据，所述样本数据包括样本用户的人脸图像以及采集样本用户的人脸图像时检测到的活体相关信息，所述样本用户包括活体用户和伪活体用户；

基于所述样本数据对初始的活体分类模型进行训练，调整所述初始的活体分类模型中的参数直至分类结果的正确率达到预设阈值，得到活体分类模型。

3.一种活体检测装置，包括：

采集模块，被配置为采集待认证用户的人脸图像，并获取采集人脸图像时检测到的活体相关信息，所述活体相关信息包括：超声波回波信息、人脸距离信息、采集设备所在的位置信息、采集时间信息、环境光信息、终端行为信息，所述终端行为信息包括采集人脸图像的终端的终端ID、终端当前的位置信息、时间信息、连接网络的信息；

分类模块，被配置为将所述人脸图像和所述活体相关信息输入活体分类模型，得到所述活体分类模型输出的分类结果，所述分类结果包括活体或伪活体；

其中，所述分类模块被配置为：

通过所述活体分类模型中的特征提取层，提取所述人脸图像中的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量；所述特征提取层包括图像特征提取层和图结构特征提取层；所述通过所述活体分类模型中的特征提取层，提取所述人脸图像中的人脸特征向量，以及所述活体相关信息中各类信息对应的各活体特征向量，包括：通过所述活体分类模型中的图像特征提取层，提取所述人脸图像中的人脸特征向量；将所述活体相关信息中各类信息构造为图结构，所述图结构的顶点为所述活体相关信息中的各类信息，所述图结构的边为各类信息之间的关系；通过所述活体分类模型中的图结构特征提取层，从所述图结构中提取各类信息对应的各活体特征向量；

将所述人脸特征向量和所述各活体特征向量作为所述活体分类模型中注意力机制层的输入，基于所述注意力机制层中所述人脸特征向量和所述各活体特征向量的注意力权重，得到所述注意力机制层输出的注意力加权特征向量；

基于所述注意力加权特征向量，通过所述活体分类模型中的分类输出层得到所述分类结果。

4.一种电子设备，包括存储器和至少一个处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述至少一个处理器执行以实现权利要求1-2任一项所述的方法步骤。

5.一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现权利要求1-2任一项所述的方法步骤。

6.一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现权利要求1-2任一项所述的方法步骤。