CN115761907A - 活体检测方法和系统 - Google Patents

Abstract

本说明书提供的活体检测方法和系统，在获取多个账号对应的用户数据集合和账号登录信息，并在用户数据集合中提取出多个账号中每一账号对应的背景特征后，基于账号登录信息，将多个账号中每一账号作为节点构建图网络，并将背景特征在图网络中进行传播，得到每一账号对应的活体特征，以及基于活体特征，对多个账号进行活体检测，并输出活体检测结果，该活体检测结果包括攻击集群或活体集群中的至少一种；该方案可以提升针对黑产聚集性攻击的活体检测的准确率。

Description

活体检测方法和系统

技术领域

本说明书涉及图像识别领域，尤其涉及一种活体检测方法和系统。

背景技术

近年来，随着互联网技术的飞速发展，在人脸识别系统中活体检测已经成为不可缺少的一环，通过活体检测可以有效拦截非活体类型的攻击样本。现有的活体检测方法往往可以采用基于深度学习的静默活体检测方法或者基于交互动作的活体检测方法。

在对现有技术的研究和实践过程中，本申请的发明人发现静默活体检测和基于交互动作的活体检测方法往往是针对单个或者少量攻击样本进行检测，而在现实的活体攻击中，黑产往往是批量式或聚集性攻击，使得针对这类黑产的活体检测性能较差，因此，导致活体检测的准确率降低。

发明内容

本说明书提供一种准确率更高的活体检测方法和系统。

第一方面，本说明书提供一种活体检测方法，包括：获取多个账号对应的用户数据集合和账号登录信息，并在所述用户数据集合中提取出所述多个账号中每一账号对应的背景特征；基于所述账号登录信息，将所述多个账号中每一账号作为节点构建图网络，并将所述背景特征在所述图网络中进行传播，得到所述每一账号对应的活体特征；以及基于所述活体特征，对所述多个账号进行活体检测，并输出活体检测结果，所述活体检测结果包括攻击集群或活体集群中的至少一种。

在一些实施例中，用户数据集合包括所述每一账号对应的用户图像和所述用户图像对应的语音信号；以及所述在所述面部数据集合中提取出所述多个账号中每一账号对应的背景特征，包括：在所述语音信号中提取出语音背景特征，在所述用户图像中提取出图像背景特征，以及将所述图像背景特征和所述语音背景特征作为所述每一账号对应的背景特征。

在一些实施例中，所述在所述语音信号中提取出语音背景特征，包括：在所述语音信号中提取出背景信号，并将所述背景信号转换为背景语音图谱；以及采用背景噪声提取网络在所述背景语音图谱中提取出语音背景特征。

在一些实施例中，所述背景噪声提取网络的训练过程包括以下步骤：获取背景语音图谱样本，采用预设背景噪声提取网络对所述背景语音图谱样本进行区域划分，得到多个区域图谱；对所述多个区域图谱进行活体检测，得到所述背景语音图谱样本的第一预测活体类别和所述多个区域图谱中每一区域图谱对应的第二预测活体类别；以及基于所述第一预测活体类别和所述第二预测活体类别，确定所述背景语音图谱样本的语音活体损失信息，并基于所述语音活体损失信息对所述预设背景噪声提取网络进行收敛，得到训练后的所述背景噪声提取网络。

在一些实施例中，所述基于所述第一预测活体类别和所述第二预测活体类别，确定所述背景语音图谱样本的语音活体损失信息，包括：将所述第一预测活体类别与所述背景语音图谱样本的标注活体类别进行对比，以得到全局分类损失信息；将不同区域图谱对应的所述第二预测活体类别进行对比，以得到局部一致性损失信息，所述局部一致性损失信息的约束条件为所述每一区域图谱的第二预测活体类别一致；将所述第二预测活体类别与所述背景语音图谱样本的标注活体类别进行对比，以得到局部分类损失信息；以及将所述全局分类损失信息、所述局部一致性损失信息和所述局部分类损失信息进行累加，得到所述背景语音图谱样本的语音活体损失信息。

在一些实施例中，所述在所述用户图像中提取出图像背景特征，包括：在所述用户图像中分割出人体区域，以得到用户背景图像；以及采用图像背景提取网络在所述用户背景图像中提取出图像背景特征。

在一些实施例中，所述在所述用户图像中分割出人体区域，以得到用户背景图像，包括：在所述用户图像中分割出人体区域对应的区域图像，并在所述人体区域中填充全零像素，得到初始用户背景图像；以及获取所述人体区域对应的预设填充背景，并将所述预设填充背景填充至所述初始用户背景图像中的所述人体区域，得到所述用户背景图像。

在一些实施例中，所述图像背景提取网络包括背景特征编码子网络和显著性物体检测子网络；以及所述采用图像背景提取网络在所述用户背景图像中提取出图像背景特征，包括：采用所述显著性物体检测子网络在所述用户背景图像中检测出至少一个显著性区域，得到显著性图谱，以及基于所述显著性图谱，采用所述背景特征编码子网络对所述用户背景图像进行特征编码，得到所述图像背景特征。

在一些实施例中，所述图像背景提取网络的训练过程包括以下步骤：获取用户背景图像样本，所述用户背景图像样本包括显著性图谱样本；采用预设图像背景提取网络对所述用户背景图像样本进行活体检测，得到每一像素对应的第三预测活体类别；基于所述显著性图谱样本、所述第三预测活体类别和所述用户背景图像样本的标注活体类别，确定所述用户背景图像样本的图像活体损失信息；以及基于所述图像活体损失信息对所述预设图像背景提取网络进行收敛，得到训练后的所述图像背景提取网络。

在一些实施例中，所述基于所述显著性图谱样本、所述第三预测活体类别和所述用户背景图像样本的标注活体类别，确定所述用户背景图像样本的图像活体损失信息，包括：将所述第三预测活体类别和所述用户背景图像样本的标注活体类别进行对比，以得到所述每一像素对应的初始图像活体损失信息；在所述显著性图谱样本中识别出每一像素位置的像素值，以得到所述每一像素对应的活体损失权重；以及基于所述活体损失权重对所述初始图像活体损失信息进行加权融合，得到所述用户背景图像样本的图像活体损失信息。

在一些实施例中，所述基于所述账号登录信息，将所述多个账号中每一账号作为节点构建图网络，包括：基于所述账号登录信息，确定初始图网络的边信息；基于所述边信息，将所述多个账号中每一账号作为节点构建所述初始图网络；以及采用融合分类损失函数对所述初始图网络进行训练，得到训练后的图网络。

在一些实施例中，所述基于所述账号登录信息，确定初始图网络的边信息，包括：在所述账号登录信息中提取出所述多个账号中每一账号登录的验证设备的设备标识；基于所述设备标识，在所述多个账号中选取出登录同一所述验证设备的两个账号，得到至少一个账号对；以及基于所述至少一个账号对，确定所述初始图网络的边信息。

在一些实施例中，所述图网络包括语音图网络层、图像图网络层和融合特征图网络层，所述语音图网络层、所述图像网络层和所述融合特征图网络层中同一账号对应的节点分别相连。

在一些实施例中，所述将所述背景特征在所述图网络中进行传播，得到所述每一账号对应的活体特征，包括：将所述语音背景特征在所述语音图网络层进行传播，得到传播后的目标语音背景特征；将所述图像背景特征在所述图像图网络层中进行传播，得到传播后的目标图像背景特征；以及将所述目标语音背景特征和目标图像背景特征在所述融合特征图网络层中进行传播，得到所述每一账号对应的活体特征。

在一些实施例中，所述将所述语音背景特征在所述语音图网络层进行传播，得到传播后的目标语音背景特征，包括：在所述语音图网络层中选取出目标节点和所述目标节点对应的预设数量的相邻节点；将所述相邻节点的语音背景特征与所述目标节点的语音背景特征进行聚合，得到所述目标节点对应的目标语音背景特征；以及返回执行在所述语音图网络层中选取出目标节点和所述目标节点对应的预设数量的相邻节点的步骤，直至所述语音图网络层中的节点全部为目标节点时为止，得到所述每一账号对应的目标语音背景特征。

在一些实施例中，所述将所述相邻节点的语音背景特征与所述目标节点的语音背景特征进行聚合，得到所述目标节点对应的目标语音背景特征，包括：将所述相邻节点的语音背景特征进行累加，并计算出累加后的语音背景特征的平均值；将所述平均值与所述目标节点的语音背景特征的特征值相加，得到所述目标节点对应的当前语音背景特征；以及将所述当前语音背景特征输入至预设全连接层，得到所述目标节点对应的目标语音背景特征。

在一些实施例中，所述将所述目标语音背景特征和目标图像背景特征在所述融合特征图网络层中进行传播，得到所述每一账号对应的活体特征，包括：计算所述目标语音背景特征和所述目标图像背景特征的平均特征，得到融合特征；将所述融合特征在所述融合特征图网络层中进行传播，得到传播后的目标融合特征；以及将所述目标融合特征作为所述每一账号对应的活体特征。

在一些实施例中，所述基于所述活体特征，对所述多个账号进行活体检测，包括：基于所述活体特征，在所述多个账号中选取出至少一个攻击账号，得到第一攻击集群；基于所述活体特征，对所述多个账号中候选账号进行异常检测，以得到第二攻击集群和活体集群，所述候选账号为所述多个账号中除所述第一攻击集群以外的账号；以及将所述第一攻击集群和所述第二攻击集群作为所述攻击集群，并将所述攻击集群和所述活体集群作为所述多个账号的活体检测结果。

在一些实施例中，所述基于所述活体特征，对所述多个账号中选取出至少一个攻击账号，得到第一攻击集群，包括：基于所述活体特征，对所述多个账号中每一账号进行活体分类；以及基于活体分类结果，在所述多个账号中选取出至少一个攻击账号，得到第一攻击集群。

在一些实施例中，所述基于所述活体特征，对所述多个账号中候选账号进行异常检测，以得到第二攻击集群和活体集群，包括：将所述活体特征降维至预设维度，得到降维后的目标活体特征；基于所述目标活体特征，对所述候选账号进行分布估计，得到所述候选账号的正常分布概率；以及在所述候选账号中选取出所述正常分布概率小于预设概率阈值的至少一个账号，得到第二攻击集群，并将所述候选账号中除所述第二攻击集群以外的至少一个账号作为活体集群。

第二方面，本说明书还提供一种活体检测系统，包括：至少一个存储介质，存储有至少一个指令集，用于进行活体检测；以及至少一个处理器，同所述至少一个存储介质通信连接，其中，当所述活体检测系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行本说明书第一方面所述的活体检测方法。

由以上技术方案可知，本说明书提供的活体检测方法和系统，在获取多个账号对应的用户数据集合和账号登录信息，并在用户数据集合中提取出多个账号中每一账号对应的背景特征后，基于账号登录信息，将多个账号中每一账号作为节点构建图网络，并将背景特征在图网络中进行传播，得到每一账号对应的活体特征，以及基于活体特征，对多个账号进行活体检测，并输出活体检测结果，该活体检测结果包括攻击集群或活体集群中的至少一种；由于该方案可以对一般活体检测算法中忽略的背景信息(语音背景噪声和图像噪声)进行特征提取和分析，并利用图网络进行特征和风险的传播，充分挖掘有风险的用户，从而实现针对集群(聚集性)攻击的黑产的活体检测，因此，可以提升活体检测的准确率。

本说明书提供的活体检测方法和系统的其他功能将在以下说明中部分列出。根据描述，以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的活体检测方法和系统的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。

附图说明

为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本说明书的实施例提供的一种活体检测系统的应用场景示意图；

图2示出了根据本说明书的实施例提供的一种计算设备的硬件结构图；

图3示出了根据本说明书的实施例提供的一种活体检测方法流程图；以及

图4示出了根据本说明书的实施例提供的一种针对黑产聚集性攻击的活体检测方法的整体流程示意图。

具体实施方式

以下描述提供了本说明书的特定应用场景和要求，目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说，对所公开的实施例的各种局部修改是显而易见的，并且在不脱离本说明书的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，本说明书不限于所示的实施例，而是与权利要求一致的最宽范围。

这里使用的术语仅用于描述特定示例实施例的目的，而不是限制性的。比如，除非上下文另有明确说明，这里所使用的，单数形式“一”，“一个”和“该”也可以包括复数形式。当在本说明书中使用时，术语“包括”、“包含”和/或“含有”意思是指所关联的整数，步骤、操作、元素和/或组件存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。

考虑到以下描述，本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图，所有这些形成本说明书的一部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，并不旨在限制本说明书的范围。还应理解，附图未按比例绘制。

本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。

为了方便描述，本说明书将对以下描述将会出现的术语进行如下解释：

背景噪声：指语音的背景频段以及图像中的背景信息(去除人体和人脸区域)。背景噪声往往在活体检测中被忽略。

活体检测：人脸识别或者其他基于面部验证的系统中，对活体攻击(包括手机照片，纸质照片以及面具等攻击行为)进行检测和拦截的算法技术。

聚集性攻击：也可以称为集群攻击，指黑产在发现系统漏洞后，进行有组织和规模的批量攻击；相比普通用户的尝试性攻击，这类攻击的风险更高。

在对本说明书具体实施例说明之前，先对本说明书的应用场景进行如下介绍：

本说明书提供的活体检测方法可以应用在任意的活体检测场景中，比如，在人脸支付场景中，可以通过本说明书的活体检测方法对采集的待支付用户的人脸图像进行活体检测；在身份验证场景中，可以通过本说明书的活体检测方法对采集的用户的身份图像进行活体检测；还可以应用在任意的人脸识别场景中，在此就不再一一赘述。

本领域技术人员应当明白，本说明书所述的活体检测方法和系统应用于其他使用场景也在本说明书的保护范围内。

图1示出了根据本说明书的实施例提供的一种活体检测系统001的应用场景示意图。活体检测系统001(以下简称系统001)可以应用于任意场景的活体检测，比如，人脸支付场景下的活体检测、身份验证场景下的活体检测、其他人脸识别场景下的活体检测，等等，如图1所示，系统001可以包括目标用户100、客户端200、服务器300以及网络400。

目标用户100可以为触发对目标面部图像进行活体检测的用户，目标用户100可以在客户端200进行活体检测的操作。

客户端200可以为响应于目标用户100的活体检测操作对目标面部图像进行活体检测的设备。在一些实施例中，所述活体检测方法可以在客户端200上执行。此时，客户端200可以存储有执行本说明书描述的活体检测方法的数据或指令，并可以执行或用于执行所述数据或指令。在一些实施例中，客户端200可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。如图1所示，客户端200可以与服务器300进行通信连接。在一些实施例中，服务器300可以与多个客户端200进行通信连接。在一些实施例中，客户端200可以通过网络400与服务器300交互，以接收或发送消息等。在一些实施例中，客户端200可以包括移动设备、平板电脑、笔记本电脑、机动车辆的内置设备或类似内容，或其任意组合。在一些实施例中，所述移动设备可包括智能家居设备、智能移动设备、虚拟现实设备、增强现实设备或类似设备，或其任意组合。在一些实施例中，所述智能家居装置可包括智能电视、台式电脑等，或任意组合。在一些实施例中，所述智能移动设备可包括智能手机、个人数字辅助、游戏设备、导航设备等，或其任意组合。在一些实施例中，所述虚拟现实设备或增强现实设备可能包括虚拟现实头盔、虚拟现实眼镜、虚拟现实补丁、增强现实头盔、增强现实眼镜、增强现实补丁或类似内容，或其中的任何组合。例如，所述虚拟现实设备或所述增强现实设备可能包括谷歌眼镜、头戴式显示器、VR等。在一些实施例中，所述机动车中的内置装置可包括车载计算机、车载电视等。在一些实施例中，客户端200可以包括图像采集设备和音频采集设备，用于采集账号的用户数据。在一些实施例中，所述图像采集设备可以是二维图像采集设备(比如RGB摄像头)，也可以是二维图像采集设备(比如RGB摄像头)和深度图像采集设备(比如3D结构光摄像头、激光探测器，等等)。在一些实施例中，客户端200可以是具有定位技术的设备，用于定位客户端200的位置。

在一些实施例中，客户端200可以安装有一个或多个应用程序(APP)。所述APP能够为目标用户100提供通过网络400同外界交互的能力以及界面。所述APP包括但不限于：网页浏览器类APP程序、搜索类APP程序、聊天类APP程序、购物类APP程序、视频类APP程序、理财类APP程序、即时通信工具、邮箱客户端、社交平台软件等等。在一些实施例中，客户端200上可以安装有目标APP。所述目标APP能够为客户端200采集多个账号对应的用户的面部图像和对应的音频信息等，从而用户数据集合。在一些实施例中，所述目标对象100还可以通过所述目标APP触发活体检测请求。所述目标APP可以响应于所活体检测请求，执行本说明书描述的活体检测方法。所述活体检测方法将在后面的内容中详细介绍。

服务器300可以是提供各种服务的服务器，例如对客户端200上采集的多个账号对应的用户数据集合和账号登录信息，并对多种账号进行活体检测提供支持的后台服务器。在一些实施例中，所述活体检测方法可以在服务器300上执行。此时，服务器300可以存储有执行本说明书描述的活体检测方法的数据或指令，并可以执行或用于执行所述数据或指令。在一些实施例中，服务器300可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。服务器300可以与多个客户端200通信连接，并接收客户端200发送的数据。

网络400用以在客户端200和服务器300之间提供通信连接的介质。网络400可以促进信息或数据的交换。如图1所示，客户端200和服务器300可以同网络400连接，并且通过网络400互相传输信息或数据。在一些实施例中，网络400可以是任何类型的有线或无线网络，也可以是其组合。比如，网络400可以包括电缆网络，有线网络、光纤网络、电信通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、大都市市区网(MAN)、广域网(WAN)、公用电话交换网(PSTN)、蓝牙网络^TM、ZigBee^TM网络、近场通信(NFC)网络或类似网络。在一些实施例中，网络400可以包括一个或多个网络接入点。例如，网络400可以包括有线或无线网络接入点，如基站或互联网交换点，通过该接入点，客户端200和服务器300的一个或多个组件可以连接到网络400以交换数据或信息。

应该理解，图1中的客户端200、服务器300和网络400的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端200、服务器300和网络400。

需要说明的是，所述活体检测方法可以完全在客户端200上执行，也可以完全在服务器300上执行，还可以部分在客户端200上执行，部分在服务器300上执行。

图2示出了根据本说明书的实施例提供的一种计算设备600的硬件结构图。计算设备600可以执行本说明书描述的活体检测方法。所述活体检测方法在本说明书中的其他部分介绍。当所述活体检测方法在客户端200上执行时，计算设备600可以是客户端200。当所述活体检测方法在服务器300上执行时，计算设备600可以是服务器300。当所述活体检测方法可以部分在客户端200上执行，部分在服务器300上执行时，计算设备600可以是客户端200和服务器300。

如图2所示，计算设备600可以包括至少一个存储介质630和至少一个处理器620。在一些实施例中，计算设备600还可以包括通信端口650和内部通信总线610。同时，计算设备600还可以包括I/O组件660。

内部通信总线610可以连接不同的系统组件，包括存储介质630、处理器620和通信端口650。

I/O组件660支持计算设备600和其他组件之间的输入/输出。

通信端口650用于计算设备600同外界的数据通信，比如，通信端口650可以用于计算设备600同网络400之间的数据通信。通信端口650可以是有线通信端口也可以是无线通信端口。

存储介质630可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质，也可以是暂时性存储介质。比如，所述数据存储装置可以包括磁盘632、只读存储介质(ROM)634或随机存取存储介质(RAM)636中的一种或多种。存储介质630还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码，所述计算机程序代码可以包括执行本说明书提供的活体检测方法的程序、例程、对象、组件、数据结构、过程、模块等等。

至少一个处理器620可以同至少一个存储介质630以及通信端口650通过内部通信总线610通信连接。至少一个处理器620用以执行上述至少一个指令集。当计算设备600运行时，至少一个处理器620读取所述至少一个指令集，并且根据所述至少一个指令集的指示，执行本说明书提供的活体检测方法。处理器620可以执行活体检测方法包含的所有步骤。处理器620可以是一个或多个处理器的形式，在一些实施例中，处理器620可以包括一个或多个硬件处理器，例如微控制器，微处理器，精简指令集计算机(RISC)，专用集成电路(ASIC)，特定于应用的指令集处理器(ASIP)，中心处理单元(CPU)，图形处理单元(GPU)，物理处理单元(PPU)，微控制器单元，数字信号处理器(DSP)，现场可编程门阵列(FPGA)，高级RISC机器(ARM)，可编程逻辑器件(PLD)，能够执行一个或多个功能的任何电路或处理器等，或其任何组合。仅仅为了说明问题，在本说明书中计算设备600中仅描述了一个处理器620。然而，应当注意，本说明书中计算设备600还可以包括多个处理器，因此，本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行，也可以由多个处理器联合执行。例如，如果在本说明书中计算设备600的处理器620执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同处理器620联合或分开执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一和第二处理器共同执行步骤A和B)。

图3示出了根据本说明书的实施例提供的一种活体检测方法P100的流程图。如前，计算设备600可以执行本说明书的活体检测方法P100。具体地，处理器620可以读取存储在其本地存储介质中的指令集，然后根据指令集的规定，执行本说明书的活体检测方法P100。如图3所示，方法P100可以包括：

S110：获取多个账号对应的用户数据集合和账号登录信息，并在用户数据集合中提取出多个账号中每一账号对应的背景特征。

其中，用户数据集合可以包括多个账号中每一账号对应的用户数据。所述用户数据可以包括用户对应的用户图像和该用户图像对应的语音信号，等等。这里的语音信号可以包括采集用户图像时的音频信息对应的音频信号。

其中，账号登录信息可以为账号在验证设备上进行登录的信息。所述验证设备可以为进行活体验证或人脸验证的设备。所述设备可以包括终端、客户端或平台等等。账号登录信息可以包括登录目标设备的设备ID、登录时间、登录类型或登录记录，等等。

其中，背景特征可以为用户数据中包含的背景信息的特征。所述背景特征可以包括语音背景特征和图像背景特征。所述语音背景特征可以为语音信号中背景噪声对应的特征。所述图像背景特征可以为用户图像中除用户面部和人体以外的区域的特征信息。

其中，获取多个账号对应的用户数据集合和账号登录信息，并在用户数据集合中提取出多个账号中每一账号对应的背景特征，具体可以如下：

S111：获取多个账号对应的用户数据集合和账号登录信息。

例如，处理器620可以直接接收目标用户100通过客户端200或终端上传的多个账号对应的用户数据集合和账号登录信息；或者，可以接收目标用户100通过客户端200或终端上传的多个账号对应的用户数据集合，并基于多个账号中每一账号的账号标识，获取每一账号的账号登录信息；或者，可以通过视频采集设备采集多个账号中每一账号对应的用户视频，在用户视频中提取出每一账号对应的用户图像和该用户图像对应的语音信号，从而得到每一账号对应的用户数据，然后，基于每一账号的账号标识，获取每一账号的账号登录信息，或者，可以通过图像采集设备采集多个账号中每一账号的用户图像，然后，再通过音频采集设备采集每一账号的语音信号，从而得到多个账号对应的用户数据集合，然后，基于每一账号的账号标识，获取每一账号的账号登录信息；或者，在账号的数量较多或者用户数据集合的内存较大时，还可以接收目标用户100通过客户端200或者终端发送的活体检测请求，该活体检测请求携带用户数据集合和账号登录信息的存储地址，并基于该存储地址，获取多个账号对应的用户数据集合和账号登录信息。

S112：在用户数据集合中提取出多个账号中每一账号对应的背景特征。

例如，处理器620可以在语音信号中提取出语音背景特征，在用户图像中提取出图像背景特征，以及将图像背景特征和语音背景特征作为每一账号对应的背景特征，具体可以如下：

(1)在语音信号中提取出语音背景特征

例如，处理器620可以在语音信号中提取出背景信号，并将背景信号转换为背景语音图谱，以及采用背景噪声提取网络在背景语音图谱中提取出语音背景特征。

其中，背景信号可以为语音信号中边缘区域的信号，也可以理解为除了前景区域以外的区域的语音信号。处理器620在语音信号中提取出背景信号的方式可以有多种，比如，处理器620可以在语音信号中添加反汉明窗，从而提取出背景信号，或者，还可以通过其他算法在语音信号中识别出边缘区域的信号，从而得到背景信号，等等。

处理器620在语音信号中提取出背景信号之后，便可以将背景信号转换背景语音图谱。所述背景语音图谱可以为背景信号中的特征对应的特征图(featuremap)，该特征图可以为一个二维图谱。处理器620将背景信号转换为背景语音图谱的方式可以有多种，比如，处理器620可以采用卷积层或者其他网络层在背景信号中提取出二维的特征信息，从而得到背景语音图谱。

处理器620在将背景信号转换为背景语音图谱之后，便可以采用背景噪声提取网络在背景语音图谱中提取出语音背景特征。背景噪声提取网络的网络结构可以为常用的分类网络，比如，可以包括ResNet(残差网络)、VGGNet(一种深度卷积网络)或InceptionV3(非对称卷积网络)等中的任意一种。该背景噪声提取网络的输入可以为二维的背景语音图谱，输出可以为对应的语音背景特征和活体分类结果和该活体分类结果对应的预测概率。

其中，背景噪声提取网络的训练过程可以包括如下步骤：处理器620可以获取背景语音图谱样本，采用预设背景噪声提取网络对背景语音图谱样本进行区域划分，得到多个区域图谱，对多个区域图谱进行活体检测，得到背景语音图谱样本的第一预测活体类别和多个区域图谱中每一区域图谱对应的第二预测活体类别，以及基于第一预测活体类别和第二预测活体类别，确定背景语音图谱样本的语音活体损失信息，并基于语音活体损失信息对预设背景噪声提取网络进行收敛，得到训练后的背景噪声提取网络。

其中，获取背景语音图谱样本的方式可以有多种，比如，处理器620可以获取语音信号样本，在语音信号样本中提取出背景信号样本，然后，将背景信号样本转换为背景语音图谱样本。

处理器620在获取背景语音图谱样本之后，便可以采用预设背景噪声提取网络对背景语音图谱样本进行区域划分，得到多个区域图谱。所述区域图谱可以为背景语音图谱中划分出的区域所对应的图谱。对背景语音图谱进行区域划分的方式可以有多种，比如，处理器620可以采用预设背景噪声提取网络将背景语音图谱样本划分为预设数量的区域，从而得到多个区域图谱，或者，还可以获取背景语音图谱样本的尺寸信息，基于尺寸信息，确定背景语音图谱样本划分的区域数量，并基于该区域数量，采用预设背景噪声提取网络对背景语音图谱样本进行区域划分，从而得到多个区域图谱，等等。

处理器620在对背景语音图谱样本进行区域划分之后，便可以对多个区域图谱进行活体检测，得到背景语音图谱样本的第一预测活体类别和多个区域图谱中每一区域图谱对应的第二预测活体类别。所述第一预测活体类别可以为背景语音图谱样本的整体活体分类结果，所述第二预测活体类别可以为每个区域图谱对应的局部活体分类结果。需要说明的是，第一预测活体类别和第二预测活体类别可以相同，也可以不相同，另外，不同的区域图谱对应的第二预测活体类别可以相同，也可以不同。

处理器620在对多个区域图谱进行活体检测之后，便可以基于第一预测活体类别和第二预测活体类别，确定背景语音图谱样本的语音活体损失信息。所述语音活体损失信息可以为预设背景噪声提取网络对背景语音图谱样本进行活体预测后产生的损失信息。处理器620确定背景语音图谱样本的语音活体损失信息的方式可以有多种，比如，处理器620可以将第一预测活体类别与背景语音图谱样本的标注活体类别进行对比，以得到全局分类损失信息，将不同区域图谱对应的第二预测活体类别进行对比，以得到局部一致性损失信息，将第二预测活体类别与背景语音图谱样本的标注活体类别进行对比，以得到局部分类损失信息，以及将全局分类损失信息、局部一致性损失信息和局部分类损失信息进行累加，得到背景语音图谱样本的语音活体损失信息。

其中，全局分类损失信息可以为背景语音图谱整体的活体预测类别与标注活体类别之间的分类损失信息。局部一致性损失信息可以为不同区域图谱对应的第二预测活体类别之间的差异产生的损失信息。该局部一致性损失信息的约束条件为每一区域图谱的第二预测活体类别一致，也就是说背景噪声分布较为均匀，因此，不同区域得到的预测结果应该是一致的。局部分类损失信息可以为各个区域图谱对应的第二预测活体类别与标注的活体类别之间差异产生的损失信息，也就可以理解为在进行活体分类时，是否仅用局部特征进行黑产攻击分类，在学习过程中，希望每一区域图谱对应的特征都可以准确的预测出活体类别，从而实现对黑产攻击进行分类。全局分类损失信息、局部一致性损失信息和局部分类损失信息所对应的损失函数可以相同，比如，可以为交叉熵损失函数(CE)或者其他分类损失函数。全局分类损失信息、局部一致性损失信息和局部分类损失信息所对应的损失函数也可以根据实际应用设置为不相同。

处理器620在确定全局分类损失信息、局部一致性损失信息和局部分类损失信息之后，便可以将全局分类损失信息、局部一致性损失信息和局部分类损失信息进行累加，从而得到背景语音图谱样本的语音活体损失信息。以分类损失信息对应的损失函数为交叉熵损失函数为例，语音活体损失信息的计算可以如公式(1)所示：

Loss_voice＝Loss_CE+Loss_consistency+Loss_local-CE (1)

其中，LOss_vooce为语音活体损失信息，Loss_CE为全局分类损失信息，Loss_cobsistency为局部一致性损失信息，Loss_local-CE为局部分类损失信息。

在一些实施例中，处理器620在确定全局分类损失信息、局部一致性损失信息和局部分类损失信息之后，还可以获取语音损失权重，并基于语音损失权重分别对全局分类损失信息、局部一致性损失信息和局部分类损失信息进行加权，并将加权后的全局分类损失信息、加权后的局部一致性损失信息和加权后的局部分类损失信息进行累加，从而得到背景语音图谱样本的语音活体损失信息。

处理器620在确定出背景语音图谱样本的语音活体损失信息之后，便可以基于语音活体损失信息对预设背景噪声提取网络进行收敛，得到训练后的背景噪声提取网络。基于语音活体损失信息对预设背景噪声提取网络进行收敛的方式可以有多种，比如，处理器620可以采用梯度下降算法基于语音活体损失信息对预设背景噪声提取网络的网络参数进行更新，返回执行获取背景语音图谱样本的步骤，直至预设背景噪声提取网络收敛时为止，从而得到训练后的背景噪声提取网络，或者，还可以采用其他网络参数更新算法基于语音活体损失信息对预设背景噪声提取网络的网络参数进行更新，从而得到训练后的背景噪声提取网络，等等。

(2)在用户图像中提取出图像背景特征

例如，处理器620可以在用户图像中分割出人体区域，以得到用户背景图像，以及采用图像背景提取网络在用户背景图像中提取出图像背景特征。

其中，人体区域可以为用户图像中包含整个人体的各个部位的区域，也可以为人体轮廓围合起来的区域。用户背景图像可以为用户图像中除了人体区域以外的背景区域组成的图像。处理器620在用户图像中分割出人体区域的方式可以有多种，比如，处理器620可以在用户图像中分割出人体区域对应的区域图像，并在人体区域中填充全零像素，得到初始用户背景图像，以及获取人体区域对应的预设填充背景，并将预设填充背景填充至初始用户背景图像中的人体区域，得到用户背景图像。

其中，处理器620在用户图像中分割出人体区域对应的区域图像的方式可以有多种，比如，处理器620可以将用户图像输入至预训练的人体分割模型，从而就可以直接在用户图像中分割出人体区域对应的区域图像。

其中，预设填充背景可以为预先设置的填充背景。所述填充背景可以为填充在分割出的人体区域的背景信息。获取人体区域对应的预设填充背景的方式可以有多种，比如，处理器620可以采用预训练的生成网络直接生成人体区域对应的填充背景，并将该填充背景作为预设填充背景，或者，还可以在填充背景集合中直接选取出人体区域对应的预设填充背景，等等。处理器620在获取预设填充背景之后，就可以将预设填充背景填充至初始用户背景图像中的人体区域，从而得到用户背景图像。

处理器620在得到用户背景图像之后，便可以采用图像背景提取网络在用户背景图像中提取出图像背景特征。所述图像背景提取网络可以包括背景特征编码子网络和显著性物体检测子网络。处理器620采用图像背景提取网络在用户背景图像中提取出图像背景特征的方式可以有多种，比如，处理器620可以采用显著性物体检测子网络在用户图像背景图像中检测出至少一个显著性区域，得到显著性图谱，以及基于显著性图谱，采用背景特征编码子网络对用户背景图像进行特征编码，得到图像背景特征。

其中，显著性图谱可以为用户背景图像中的至少一个显著性物体或区域对应的图像。基于显著性图谱，采用背景特征编码子网络对用户背景图像进行特征进行特征编码的方式可以有多种，比如，处理器620可以基于显著性图谱，采用背景特征编码子网络在用户背景图像中识别出对应的至少一个显著性物体或区域，然后，对至少一个显著性物体或区域进行特征提编码，从而得到图像背景特征。由于背景特征编码子网络为分类网络，因此，背景特征编码子网络在输出图像背景特征之后，还可以基于图像背景特征，用户背景图像进行活体分类，从而得到预测活体类别，进而确定出黑产攻击的预测概率。

其中，背景特征编码子网络可以为常见的分类网络，网络结构的类型可以有多种，比如，可以包括ResNet、VGGNet或InceptionV3，等等。

其中，图像背景提取网络的训练过程可以包括以下步骤：处理器620可以获取用户背景图像样本，该用户背景图像样本包括显著性图谱样本，采用预设图像背景提取网络对背景图像样本进行活体检测，得到每一像素对应的第三预测活体类别，基于显著性图谱样本、第三预测活体类别和用户背景图像的标注活体类别，确定用户背景图像样本的图像活体损失信息，以及基于图像活体损失信息对预设图像背景提取网络进行收敛，得到训练后的图像背景提取网络。

其中，采用预设图像背景提取网络对用户背景图像样本进行活体检测的方式可以有多种，比如，处理器620可以采用预设图像背景提取网络在用户背景图像样本中提取出像素级的图像背景特征，得到每一像素对应的样本图像背景特征，并基于样本图像背景特征，对用户背景图像中对应的像素区域进行活体检测，从而得到每一像素对应的第三预测活体类别。

处理器620在对用户背景图像样本进行活体检测之后，便可以基于显著性图谱样本、第三预测活体类别和用户背景图像样本的标注活体类别，确定用户背景图像样本的图像活体损失信息。处理器620确定用户背景图像样本的图像活体损失信息的方式可以有多种，比如，处理器620可以将第三预测活体类别和用户背景图像样本的标注活体类别进行对比，以得到每一像素对应的初始图像活体损失信息，在显著性图谱样本中识别出每一像素位置的像素值，以得到每一像素对应的活体损失权重，基于活体损失权重对初始活体损失信息进行加权融合，得到用户背景图像样本的图像活体损失信息。

其中，初始图像活体损失信息可以理解为像素维度进行活体分类后产生的损失信息。确定初始活体损失信息的损失函数可以为分类损失函数，比如，可以为交叉熵损失函数或者其他损失函数。

其中，在显著性图像样本中识别出每一像素位置的像素值之后，便可以直接将该像素值作为对应的像素或像素位置的活体损失信息。处理器620基于活体损失权重对初始图像活体损失信息进行加权融合，从而得到用户背景图像样本的图像活体损失信息，具体可以如公式(2)所示：

其中，Loss_image为用户背景图像样本的图像活体损失信息，H/W为用户背景图像样本的尺寸，i为对应的像素，S_i为对应的像素的活体损失权重，L_CE-i为对应的像素的初始图像活体损失信息。

处理器620在确定出用户背景图像样本的图像活体损失信息之后，便可以基于图像活体损失信息对预设图像背景提取网络进行收敛。对预设图像背景提取网络进行收敛的方式与对预设背景噪声提取网络的收敛过程类似，详见上文所述，在此就不再一一赘述。

(3)将图像背景特征和语音背景特征作为每一账号对应的背景特征

例如，处理器620就可以将每一账号的图像背景特征和语音背景特征作为对应的背景特征，或者，还可以按照预设组合方式对每一账号的图像背景特征和语音背景特征进行组合，从而得到对应的账号的背景特征。

S120：基于账号登录信息，将多个账号中每一账号作为节点构建图网络，并将背景特征在图网络中进行传播，得到每一账号对应的活体特征。

其中，图网络(GCN)可以为表征节点之间关联关系的网络，图网络可以包括节点和节点之间相连的边。

其中，活体特征可以为表征账号是否为活体的特征信息。

其中，基于账号登录信息，将多个账号中每一账号作为节点构建图网络，并将背景特征在图网络中进行传播，得到每一账号对应的活体特征，具体可以如下：

S121：基于账号登录信息，将多个账号中每一账号作为节点构建图网络。

例如，处理器620可以基于账号登录信息，确定初始图网络的边信息，基于边信息，将多个账号中每一账号作为节点构建初始图像网络，以及采用融合分类损失函数对初始图像网络进行训练，得到训练后的图网络。

其中，边信息可以为节点与节点相连产生的边的信息。边信息可以包括每一条边所对应的两个相连的节点的标识或位置等信息。基于账号登录信息，确定初始图网络的边信息的方式可以有多种，比如，处理器620可以在账号登录信息中提取出多个账号中每一账号登录的验证设备的设备标识，基于设备标识，在多个账号中选取出登录同一验证设备的两个账号，得到至少一个账号对，以及基于至少一个账号对，确定初始图网络的边信息。

其中，基于至少一个账号对，确定初始图网络的边信息的方式可以有多种，比如，处理器620获取至少一个账号中每一账号对的账号标识，并基于该账号标识，确定每一账号对对应的节点边的信息，将每一账号对对应的节点边的信息作为初始图网络的边信息。

处理器620在确定初始网络的边信息之后，便可以基于边信息，将多个账号中每一账号作为节点构建初始图网络。处理器620构建初始图网络的方式可以有多种，比如，处理器620可以将多个账号中每一账号作为节点，构建三层的GCN，每一层中基于边信息，将各个节点进行连接，然后，将不同层的GCN中的同一账号对应的节点进行连接，从而得到初始图网络。

处理器620在构建初始图网络之后，便可以对初始图网络进行训练，从而得到图网络。所述图网络包括语音图网络层、图像图网络层和融合特征图网络层。语音图网络层、图像图网络层和特征融合图网络层中同一账号对应的节点分别相连。语音图网络层中的节点就可以为账号的语音背景特征，也就是说语音图网络层中进行传播的特征为语音背景特征。图像图网络层中的节点就可以为账号的图像背景特征，也就说图像网络层中进行传播的特征为图像背景特征。特征融合图网络层中的节点就可以为账号的融合特征(以语音背景特征和图像背景特征的平均特征作为初始化)，也就是说特征融合网络层中进行传播的特征为融合特征。

其中，处理器620对初始图网络进行训练的方式可以有多种，比如，处理器620可以采用融合特征的分类损失函数对初始图网络进行训练，或者，采用其他类型的分类损失函数对初始图网络进行训练，从而得到训练后的图网络。

其中，处理器620采用融合特征的分类损失函数对初始图网络进行训练的过程可以有多种，比如，处理器620可以获取用户数据样本，在用户数据样本中提取出样本语音背景特征和样本图像背景特征。将语音背景特征样本输入至语音图网络层，得到传播后的目标样本语音背景特征，将样本图像背景特征输入至图像图网络层，得到传播后的目标样本图像背景特征，然后，将目标样本语音背景特征和目标样本图像背景特征进行融合，得到样本融合特征，并将融合特征输入至融合特征图网络层，得到样本活体特征，并基于样本活体特征，确定用户数据样本对应的预测活体类别，并将预测活体类别与用户数据的标注活体类别进行对比，从而得到融合特征的融合分类损失信息，并基于融合分类损失信息对初始图网络进行收敛，从而得到训练后的图网络。

处理器620在对初始图网络进行训练之后，便可以将背景特征在图网络中进行传播，得到每一账号对应的活体特征。

S122：将背景特征在图网络中进行传播，得到每一账号对应的活体特征。

其中，将背景特征在图网络中进行传播就可以看作是一个在背景特征中提取出活体特征的特征提取过程，将背景特征在图网络中进行传播的方式可以有多种，具体可以如下：

例如，处理器620可以将语音背景特征在语音图网络层进行传播，得到传播后的目标语音背景特征，将图像背景特征在图像图网络层中进行传播，得到传播后的目标图像背景特征，以及将目标语音背景特征和目标图像背景特征在融合特征图网络层中进行传播，得到每一账号对应的活体特征。

其中，处理器620将语音背景特征在语音图网络层进行传播的方式可以有多种，比如，处理器620可以采用一阶邻居的attention(注意力模块)聚合来作为传播函数，将语音背景特征在语音图网络层中进行传播，从而得到传播后的目标语音背景特征，或者，还可以采用其他传播函数，将语音背景特征在语音图网络层中进行传播，从而得到传播后的目标语音背景特征，等等。

其中，处理器620采用一阶邻居的attention聚合来作为传播函数，将语音背景特征在语音图网络层中进行传播的方式可以有多种，比如，处理器620可以在语音图网络层中选取出目标节点和目标节点对应的预设数量的相邻节点，将相邻节点的语音背景特征与目标节点的语音背景特征进行聚合，得到目标节点对应的目标语音背景特征，以及返回执行在语音图网络层中选取出目标节点和目标节点对应的预设数量的相邻节点的步骤，直至语音图网络层中的节点全部为目标节点时为止，得到每一账号对应的目标语音背景特征。

其中，处理器620将将相邻节点的语音背景特征与目标节点的语音背景特征进行聚合的方式可以有多种，比如，处理器620可以将相邻节点的语音背景特征进行累加，并计算出累加后的语音背景特征的平均值，将平均值与目标节点的语音背景特征的特征值相加，得到目标节点对应的当前语音背景特征，以及将当前语音背景特征输入至预设全连接层，得到目标节点对应的目标语音背景特征。

其中，处理器620将图像背景特征在图像图网络层中进行传播的方式与将语音背景特征在语音图像网络层中进行传播的方式类似，详见上文所述，在此就不再一一赘述。

处理器620在分别将语音背景特征和图像背景进行传播之后，便可以将传播后的目标语音背景特征和目标图像背景特征在融合特征图网络层中进行传播，从而得到每一账号对应的活体特征。处理器620将传播后的目标语音背景特征和目标图像背景特征在融合特征图网络层中进行传播的方式可以有多种，比如，处理器620可以计算目标语音背景特征和目标图像背景特征的平均特征，得到对应的账号的融合特征，将融合特征在融合特征图网络层中进行传播，得到传播后的目标融合特征，以及将目标融合特征作为每一账号对应的活体特征。

其中，处理器620将融合特征在融合特征图网络层中进行传播的方式与将语音背景特征在语音图网络层中进行传播的方式类似，详见上文所述，在此就不再一一赘述。处理器在得到每一账号的融合特征在特征融合图网络层中进行传播后的目标融合特征之后，便可以将该目标融合特征作为对应的账号的活体特征。

S130：基于活体特征，对多个账号进行活体检测，并输出活体检测结果。

其中，活体检测结果包括攻击集群或活体集群中的至少一种。所述攻击集群可以为多个攻击账号所组成的集群，所述攻击账号可以为对面部识别或面部验证进行攻击的账号。所述活体集群就可以为多个活体账号所组成的集群，所述活体账号可以为面部识别或面部验证中用户为活体的账号。

其中，基于活体特征，对多个账号进行活体检测的方式可以有多种，具体可以如下：

例如，处理器620可以基于活体特征，在多个账号中选取出至少一个攻击账号，得到第一攻击集群，基于活体特征，对多个账号中候选账号进行异常检测，以得到第二攻击集群和活体集群，该候选账号为多个账号中除第一攻击集群以外的账号，以及将第一攻击集群和第二攻击集群作为攻击集群，并将攻击集群和活体集群作为多个账号的活体检测结果。

其中，第一攻击集群可以为基于活体特征判断出的攻击组长所组成的集群。基于活体特征，在多个账号中选取出至少一个攻击账号的方式可以有多种，比如，处理器620可以基于活体特征，对多个账号中每一账号进行活体分类，以及基于活体分类结果，在多个账号中选取出至少一个攻击账号，得到第一攻击集群。

其中，基于活体特征，对多个账号中每一账号进行活体分类的方式可以有多种，比如，图网络还可以包括分类子网络，处理器620将每一账号的活体特征输入至分类子网络，以得到每一账号的活体分类结果。该活体分类结果可以包括活体账号或攻击账号中的一种。

处理器620在基于活体特征，对每一账号进行活体分类之后，便可以基于活体分类结果，在多个账号中选取出至少一个攻击账号。处理器620在多个账号中选取出至少一个攻击账号的方式可以有多种，比如，处理器620可以在多个账号中选取出活体分类结果为攻击账号的至少一个账号，从而得到第一攻击集群。

其中，通过图网络已经可以挖掘出较多的黑产聚集攻击，但是对于一些稀疏的离群黑产攻击尝试，还需要进一步的进行检测。因此，就可以在多个账号中选取出除第一攻击集群以外的账号，从而得到候选账号。

处理器620在选取出候选账号之后，便可以基于活体特征，对多个账号中的候选账号进行异常检测，以得到第二攻击集群和活体集群。处理器620对候选账号进行异常检测的方式可以有多种，比如，处理器620可以将活体特征降维至预设维度，得到降维后的目标活体特征，基于目标活体特征，对候选账号进行分布估计，得到候选账号的正常分布概率，以及在候选账号中选取出正常分布概率小于预设概率阈值的至少一个账号，得到第二攻击集群，并将候选账号中除第二攻击集群以外的至少一个账号作为活体集群。

其中，将活体特征降维至预设维度的方式可以有多种，比如，处理器620可以采用自编码器对活体特征降维至预设维度。预设维度可以为包括128维或者128维以内的任意维度，等等。

其中，处理器620对自编码器的训练可以采用活体特征进行训练，损失函数为重建损失，从而得到训练后的自编码器。

处理器620在对活体特征进行降维后，便可以基于降维后的目标活体特征，对候选账号进行分布估计，得到候选账号的正常分布概率。其中，分布估计主要用于估计该账号为正常账号分布的分布概率和该账号为攻击账号分布的分布概率。因此，处理器620对候选账号进行分布估计的方式可以有多种，比如，处理器620可以采用混合高斯模型(GMM)基于目标活体特征，对每一账号进行分布估计，从而得到候选账号的正常分布概率。

处理器620在对候选账号进行分布估计之后，便可以在候选账号中选取出正常分布概率小于预设概率阈值的至少一个账号，从而得到第二攻击集群，然后，将候选账号中除第二攻击集群以外的至少一个账号作为活体集群。

处理器620在确定出第一攻击集群、第二攻击集群和活体集群之后，便可以将第一攻击集群和第二攻击集群作为攻击集群，并将攻击集群和活体集群作为多个账号的活体检测结果。

处理器620在确定出多个账号的活体检测结果之后，便可以输出该活体检测结果。输出活体检测结果的方式可以有多种，比如，处理器620可以直接将活体检测结果返回至目标用户100的客户端200或终端，或者，可以将活体检测结果返回至需要进行面部识别或验证的验证设备，以便验证设备基于该活体检测结果，对多个账号中的每一账号进行拦截或者放行，或者，还可以可视化展示该活体检测结果。

其中，可视化展示该活体检测结果的方式可以有多种，比如，处理器620可以通过显式器显式该活体检测结果，还可以在显示过程中的，对活体检测结果中的攻击集群和活体集群进行不同样式的显示，或者，还可以对活体检测结果存在攻击集群时，通过声光进行提示，等等。

处理器620在输出该活体检测结果之后，还可以对攻击集群对应的攻击账号进行拦截或者其他预设的处理步骤，等等。

其中，需要说明的是，在对多个账号进行活体检测或攻击判断时，需要以图网络和异常检测的结果为准，比如，对于一笔人脸识别交易来说，如果图网络输出的一个或多个账号的判断结果为黑产攻击或者异常检测判断为黑产攻击，则判断为黑产攻击，否则就判断为活体。

其中，本方案主要是基于背景噪声挖掘出黑产聚集性的攻击，因此，针对黑产聚集性攻击的活体检测方法整体流程示意图可以如图4所示，可以包括4个部分，语音背景噪声分析、图像背景信息分析、GCN标签传播、以及异常检测和攻击判断，具体可以如下：

(1)语音背景噪声分析

在本方案中重点是利用语音信号进行黑产攻击的检测，一般黑产攻击的前景信息(人说话的声音)与正常用户并无二致，而背景信息则较为安静，更加接近白噪声，因此，就可以利用背景噪声分析来作为黑产攻击检测的一种手段。背景噪声分析主要是通过训练背景噪声提取网络，并将数据预处理后的背景语音图谱输入至背景噪声提取网络，从而得到语音特征和黑产攻击的预测概率。背景噪声提取网络的训练过程详见上文所述，在此就不再一一赘述。

(2)图像背景信息分析

在传统的活体检测方法中，往往只关注人脸、人体或者两者相近的区域，对于检测一般的活体攻击具有较好的效果。但是，对于黑产攻击，一般在这些区域都已经做过相关的调试，抹除了相关攻击的线索，反而背景区域往往是黑产容易出现疏漏的地方(比如，批量的手机设备或攻击道具，等等)，因此，通过图像中的背景信息可以对黑产攻击进行识别。图像背景信息分析主要通过对用户图像进行人体分割，以得到用户背景图像，并采用图像背景提取网络的显著性物体检测器在用户背景图像中识别出显著性图谱，并将显著性图谱和用户背景图像输入至图像背景提取网络中的特征编码器，从而得到用户背景图像对应的图像背景特征和黑产攻击预测概率。图像背景提取网络的训练过程可以参见上文所述，在此就不再一一赘述。

(3)GCN标签传播

通过提取出用户数据的语音背景特征和图像背景特征作为背景特征，并可以检测到背景特征对应的黑产攻击概率，但是并非所有的黑产攻击都具有明显的背景异常。为了检测更多的黑产攻击，就可以通过构建账号维度的GCN来完成背景特征的传递，进而挖掘出关联用户的批量黑产攻击，从而提升针对黑产聚集性攻击的活体检测的准确率。GCN的标签传播可以包括构建一个三层的GCN作为初始图网络，该初始图网络中的第一层的节点是语音特征，第二层的节点是图像特征，第三层的节点是融合特征(以语音和图像的平均特征作为初始化)；每个节点为一个账号或者该账号的特征，如果两个账号同时登陆过一个账号设备，则将两个节点相连；第三层的同一设备账号节点，和第一层和第二层对应的节点分别连接。然后，采用融合特征的黑产攻击分类损失，对初始图网络进行训练，从而得到训练后的图网络。采用一阶邻居的attention聚合来作为传播函数分别将语音背景特征在第一层进行传播，将图像背景特征在第二层进行传播，然后，将传播后得到目标语音背景特征和目标图像背景特征进行融合，然后，将融合特征在第三层进行传播，从而得到每个账号对应的活体特征。通过活体特征，对多个账号进行活体分类，从而挖掘出第一攻击集群。

(4)异常检测和攻击判断

通过GCN标签传播已经可以在挖掘出较多的黑产聚集攻击，但是对于一些稀疏的离群黑产攻击，往往检测效果较差，因此，还可以通过基于自编码器的混合高斯估计来做异常检测。异常检测的过程可以包括通过自编码将活体特征降维至128维以内，然后，利用混合高斯模型GMM对所有样本进行分布攻击，当样本处于正常样本的概率低于阈值时，就可以认定为该样本(账号)为异常的黑产攻击。

对于黑产攻击的判断，以一笔人脸识别交易为例，如果第三步的GCN判断结果为黑产攻击或者第四部的异常检测判断为黑产攻击，则判断该人脸识别交易对于的账号或用户为黑产攻击，否则就可以判断为活体。

综上所述，本说明书提供的活体检测方法P100和系统001，在获取多个账号对应的用户数据集合和账号登录信息，并在用户数据集合中提取出多个账号中每一账号对应的背景特征后，基于账号登录信息，将多个账号中每一账号作为节点构建图网络，并将背景特征在图网络中进行传播，得到每一账号对应的活体特征，以及基于活体特征，对多个账号进行活体检测，并输出活体检测结果，该活体检测结果包括攻击集群或活体集群中的至少一种；由于该方案可以对一般活体检测算法中忽略的背景信息(语音背景噪声和图像噪声)进行特征提取和分析，并利用图网络进行特征和风险的传播，充分挖掘有风险的用户，从而实现针对集群攻击的黑产的活体检测，因此，可以提升活体检测的准确率。

本说明书另一方面提供一种非暂时性存储介质，存储有至少一组用来进行活体检测的可执行指令。当所述可执行指令被处理器执行时，所述可执行指令指导所述处理器实施本说明书所述的活体检测方法P100的步骤。在一些可能的实施方式中，本说明书的各个方面还可以实现为一种程序产品的形式，其包括程序代码。当所述程序产品在计算设备600上运行时，所述程序代码用于使计算设备600执行本说明书描述的活体检测方法P100的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)包括程序代码，并可以在计算设备600上运行。然而，本说明书的程序产品不限于此，在本说明书中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在计算设备600上执行、部分地在计算设备600上执行、作为一个独立的软件包执行、部分在计算设备600上部分在远程计算设备上执行、或者完全在远程计算设备上执行。

上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者是可能有利的。

综上所述，在阅读本详细公开内容之后，本领域技术人员可以明白，前述详细公开内容可以仅以示例的方式呈现，并且可以不是限制性的。尽管这里没有明确说明，本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变，改进和修改。这些改变，改进和修改旨在由本说明书提出，并且在本说明书的示例性实施例的精神和范围内。

此外，本说明书中的某些术语已被用于描述本说明书的实施例。例如，“一个实施例”，“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征，结构或特性可以包括在本说明书的至少一个实施例中。因此，可以强调并且应当理解，在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外，特定特征，结构或特性可以在本说明书的一个或多个实施例中适当地组合。

应当理解，在本说明书的实施例的前述描述中，为了帮助理解一个特征，出于简化本说明书的目的，本说明书将各种特征组合在单个实施例、附图或其描述中。然而，这并不是说这些特征的组合是必须的，本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说，本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。

本文引用的每个专利，专利申请，专利申请的出版物和其他材料，例如文章，书籍，说明书，出版物，文件，物品等，可以通过引用结合于此。用于所有目的全部内容，除了与其相关的任何起诉文件历史，可能与本文件不一致或相冲突的任何相同的，或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说，如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时，使用本文件中的术语为准。

最后，应理解，本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此，本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此，本说明书的实施例不限于申请中被精确地描述过的实施例。

Claims (21)

1.一种活体检测方法，包括：

获取多个账号对应的用户数据集合和账号登录信息，并在所述用户数据集合中提取出所述多个账号中每一账号对应的背景特征；

基于所述账号登录信息，将所述多个账号中每一账号作为节点构建图网络，并将所述背景特征在所述图网络中进行传播，得到所述每一账号对应的活体特征；以及

基于所述活体特征，对所述多个账号进行活体检测，并输出活体检测结果，所述活体检测结果包括攻击集群或活体集群中的至少一种。

2.根据权利要求1所述的活体检测方法，其中，所述用户数据集合包括所述每一账号对应的用户图像和所述用户图像对应的语音信号；以及

所述在所述面部数据集合中提取出所述多个账号中每一账号对应的背景特征，包括：

在所述语音信号中提取出语音背景特征，

在所述用户图像中提取出图像背景特征，以及

将所述图像背景特征和所述语音背景特征作为所述每一账号对应的背景特征。

3.根据权利要求2所述的活体检测方法，其中，所述在所述语音信号中提取出语音背景特征，包括：

在所述语音信号中提取出背景信号，并将所述背景信号转换为背景语音图谱；以及

采用背景噪声提取网络在所述背景语音图谱中提取出语音背景特征。

4.根据权利要求3所述的活体检测方法，其中，所述背景噪声提取网络的训练过程包括以下步骤：

获取背景语音图谱样本，采用预设背景噪声提取网络对所述背景语音图谱样本进行区域划分，得到多个区域图谱；

对所述多个区域图谱进行活体检测，得到所述背景语音图谱样本的第一预测活体类别和所述多个区域图谱中每一区域图谱对应的第二预测活体类别；以及

基于所述第一预测活体类别和所述第二预测活体类别，确定所述背景语音图谱样本的语音活体损失信息，并基于所述语音活体损失信息对所述预设背景噪声提取网络进行收敛，得到训练后的所述背景噪声提取网络。

5.根据权利要求4所述的活体检测方法，其中，所述基于所述第一预测活体类别和所述第二预测活体类别，确定所述背景语音图谱样本的语音活体损失信息，包括：

将所述第一预测活体类别与所述背景语音图谱样本的标注活体类别进行对比，以得到全局分类损失信息；

将不同区域图谱对应的所述第二预测活体类别进行对比，以得到局部一致性损失信息，所述局部一致性损失信息的约束条件为所述每一区域图谱的第二预测活体类别一致；

将所述第二预测活体类别与所述背景语音图谱样本的标注活体类别进行对比，以得到局部分类损失信息；以及

将所述全局分类损失信息、所述局部一致性损失信息和所述局部分类损失信息进行累加，得到所述背景语音图谱样本的语音活体损失信息。

6.根据权利要求2所述的活体检测方法，其中，所述在所述用户图像中提取出图像背景特征，包括：

在所述用户图像中分割出人体区域，以得到用户背景图像；以及

采用图像背景提取网络在所述用户背景图像中提取出图像背景特征。

7.根据权利要求6所述的活体检测方法，其中，所述在所述用户图像中分割出人体区域，以得到用户背景图像，包括：

在所述用户图像中分割出人体区域对应的区域图像，并在所述人体区域中填充全零像素，得到初始用户背景图像；以及

获取所述人体区域对应的预设填充背景，并将所述预设填充背景填充至所述初始用户背景图像中的所述人体区域，得到所述用户背景图像。

8.根据权利要求6所述的活体检测方法，其中，所述图像背景提取网络包括背景特征编码子网络和显著性物体检测子网络；以及

所述采用图像背景提取网络在所述用户背景图像中提取出图像背景特征，包括：

采用所述显著性物体检测子网络在所述用户背景图像中检测出至少一个显著性区域，得到显著性图谱，以及

基于所述显著性图谱，采用所述背景特征编码子网络对所述用户背景图像进行特征编码，得到所述图像背景特征。

9.根据权利要求6所述的活体检测方法，其中，所述图像背景提取网络的训练过程包括以下步骤：

获取用户背景图像样本，所述用户背景图像样本包括显著性图谱样本；

采用预设图像背景提取网络对所述用户背景图像样本进行活体检测，得到每一像素对应的第三预测活体类别；

基于所述显著性图谱样本、所述第三预测活体类别和所述用户背景图像样本的标注活体类别，确定所述用户背景图像样本的图像活体损失信息；以及

基于所述图像活体损失信息对所述预设图像背景提取网络进行收敛，得到训练后的所述图像背景提取网络。

10.根据权利要求9所述的活体检测方法，其中，所述基于所述显著性图谱样本、所述第三预测活体类别和所述用户背景图像样本的标注活体类别，确定所述用户背景图像样本的图像活体损失信息，包括：

将所述第三预测活体类别和所述用户背景图像样本的标注活体类别进行对比，以得到所述每一像素对应的初始图像活体损失信息；

在所述显著性图谱样本中识别出每一像素位置的像素值，以得到所述每一像素对应的活体损失权重；以及

基于所述活体损失权重对所述初始图像活体损失信息进行加权融合，得到所述用户背景图像样本的图像活体损失信息。

11.根据权利要求1所述的活体检测方法，其中，所述基于所述账号登录信息，将所述多个账号中每一账号作为节点构建图网络，包括：

基于所述账号登录信息，确定初始图网络的边信息；

基于所述边信息，将所述多个账号中每一账号作为节点构建所述初始图网络；以及

采用融合分类损失函数对所述初始图网络进行训练，得到训练后的图网络。

12.根据权利要求11所述的活体检测方法，其中，所述基于所述账号登录信息，确定初始图网络的边信息，包括：

在所述账号登录信息中提取出所述多个账号中每一账号登录的验证设备的设备标识；

基于所述设备标识，在所述多个账号中选取出登录同一所述验证设备的两个账号，得到至少一个账号对；以及

基于所述至少一个账号对，确定所述初始图网络的边信息。

13.根据权利要求1所述的活体检测方法，其中，所述图网络包括语音图网络层、图像图网络层和融合特征图网络层，所述语音图网络层、所述图像网络层和所述融合特征图网络层中同一账号对应的节点分别相连。

14.根据权利要求13所述的活体检测方法，其中，所述将所述背景特征在所述图网络中进行传播，得到所述每一账号对应的活体特征，包括：

将所述语音背景特征在所述语音图网络层进行传播，得到传播后的目标语音背景特征；

将所述图像背景特征在所述图像图网络层中进行传播，得到传播后的目标图像背景特征；以及

将所述目标语音背景特征和目标图像背景特征在所述融合特征图网络层中进行传播，得到所述每一账号对应的活体特征。

15.根据权利要求14所述的活体检测方法，其中，所述将所述语音背景特征在所述语音图网络层进行传播，得到传播后的目标语音背景特征，包括：

在所述语音图网络层中选取出目标节点和所述目标节点对应的预设数量的相邻节点；

将所述相邻节点的语音背景特征与所述目标节点的语音背景特征进行聚合，得到所述目标节点对应的目标语音背景特征；以及

返回执行在所述语音图网络层中选取出目标节点和所述目标节点对应的预设数量的相邻节点的步骤，直至所述语音图网络层中的节点全部为目标节点时为止，得到所述每一账号对应的目标语音背景特征。

16.根据权利要求15所述的活体检测方法，其中，所述将所述相邻节点的语音背景特征与所述目标节点的语音背景特征进行聚合，得到所述目标节点对应的目标语音背景特征，包括：

将所述相邻节点的语音背景特征进行累加，并计算出累加后的语音背景特征的平均值；

将所述平均值与所述目标节点的语音背景特征的特征值相加，得到所述目标节点对应的当前语音背景特征；以及

将所述当前语音背景特征输入至预设全连接层，得到所述目标节点对应的目标语音背景特征。

17.根据权利要求14所述的活体检测方法，其中，所述将所述目标语音背景特征和目标图像背景特征在所述融合特征图网络层中进行传播，得到所述每一账号对应的活体特征，包括：

计算所述目标语音背景特征和所述目标图像背景特征的平均特征，得到融合特征；

将所述融合特征在所述融合特征图网络层中进行传播，得到传播后的目标融合特征；以及

将所述目标融合特征作为所述每一账号对应的活体特征。

18.根据权利要求1所述的活体检测方法，其中，所述基于所述活体特征，对所述多个账号进行活体检测，包括：

基于所述活体特征，在所述多个账号中选取出至少一个攻击账号，得到第一攻击集群；

基于所述活体特征，对所述多个账号中候选账号进行异常检测，以得到第二攻击集群和活体集群，所述候选账号为所述多个账号中除所述第一攻击集群以外的账号；以及

将所述第一攻击集群和所述第二攻击集群作为所述攻击集群，并将所述攻击集群和所述活体集群作为所述多个账号的活体检测结果。

19.根据权利要求18所述的活体检测方法，其中，所述基于所述活体特征，对所述多个账号中选取出至少一个攻击账号，得到第一攻击集群，包括：

基于所述活体特征，对所述多个账号中每一账号进行活体分类；以及

基于活体分类结果，在所述多个账号中选取出至少一个攻击账号，得到第一攻击集群。

20.根据权利要求18所述的活体检测方法，其中，所述基于所述活体特征，对所述多个账号中候选账号进行异常检测，以得到第二攻击集群和活体集群，包括：

将所述活体特征降维至预设维度，得到降维后的目标活体特征；

基于所述目标活体特征，对所述候选账号进行分布估计，得到所述候选账号的正常分布概率；以及

在所述候选账号中选取出所述正常分布概率小于预设概率阈值的至少一个账号，得到第二攻击集群，并将所述候选账号中除所述第二攻击集群以外的至少一个账号作为活体集群。

21.一种活体检测系统，包括：

至少一个存储介质，存储有至少一个指令集，用于进行活体检测；以及

至少一个处理器，同所述至少一个存储介质通信连接，

其中，当所述活体检测系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行权利要求1-20中任一项所述的活体检测方法。

Images