CN116188845A - 对抗攻击的检测方法及系统 - Google Patents

Abstract

本说明书提供一种对抗攻击的检测方法及系统，获取目标用户100的生物特征的多个原模态图像后，将多个原模态图像输入至多模态异常区域感知模型，得到多个原模态图像对应的多模态异常区域检测结果，并基于多模态异常区域检测结果，确定目标用户100是否为对抗攻击对象。所述方法和系统利用多模态信息进行对抗攻击的检测，能够提高对抗攻击的检测精度。

Description

对抗攻击的检测方法及系统

技术领域

本说明书涉及人工智能技术领域，尤其涉及一种对抗攻击的检测方法及系统。

背景技术

对抗攻击是人脸识别系统主要的安全威胁之一，通过在输入样本中故意添加一些人类肉眼无法察觉的细微的干扰，就能够使得模型输出一个错误的分类结果。由于对抗攻击的攻击pattern(图案)面积小、难以被检测，因此防御对抗攻击的难度较高。

目前，常见的防御对抗攻击的方式主要包括：在人脸识别前置检测/预处理环节，通过训练分类器或者引入高强度的预处理，检测出对抗攻击或者使其无效化。该方法所涉及到的模型较为简单，因此，对抗攻击检测性能较差。另外，还可以通过位于识别阶段的鲁棒性训练进行对抗攻击检测。该方法通过在训练阶段引入对抗样本进行训练，并要求模型对于对抗样本给出正确的预测结果，从而使得模型具有对对抗样本的鲁棒性。然而，该方法对于训练阶段没有出现过的对抗样本类型无法进行有效的防御，因此，对抗攻击检测性能同样较差。

综上，需要提供一种能够提高对抗攻击检测性能的方式。

发明内容

本说明书提供一种对抗攻击的检测方法及系统，能够提高对抗攻击检测性能。

第一方面，本说明书提供一种对抗攻击的检测方法，包括：获取目标用户100的生物特征的多个原模态图像，所述多个原模态图像对应于图像采集模组的多个模态下所真实采集到的图像；将所述多个原模态图像输入至多模态异常区域感知模型，得到所述多个原模态图像对应的多模态异常区域检测结果；以及基于所述多模态异常区域检测结果，确定所述目标用户100是否为对抗攻击对象。

在一些实施例中，多模态异常区域检测结果包括多模态对抗攻击分类结果、多模态异常区域分割结果以及跨模态映射结果中的至少一种。

在一些实施例中，多模态异常区域感知模型包括多模态特征编码器，还包括多模态对抗攻击分类器、多模态异常区域分割模块和跨模态映射关系学习模块中至少一种；以及将多个原模态图像输入至多模态异常区域感知模型，得到所述多个原模态图像对应的多模态异常区域检测结果，包括：将所述多个原模态图像输入至所述多模态特征编码器5进行特征提取，得到所述多个原模态图像对应的多个原模态特征和多模态融合特征；以及，以下至少一种：将所述多模态融合特征输入至所述多模态对抗攻击分类器，得到所述多模态对抗攻击分类结果；将所述多模态融合特征输入至所述多模态异常区域分割模块，得到所述多模态异常区域分割结果；将所述多个原模态特征输入至所述跨模态映射关系学习模块，得到所述跨模态映射结果。

0在一些实施例中，多模态异常区域感知模型采用如下方法步骤训练得到：将训练用

户的生物特征的多个原模态图像样本输入至预设多模态特征编码器，得到所述多个原模态图像样本对应的多个原模态特征样本和多模态融合特征样本；以及，如下至少一种：

将所述多个原模态特征样本和所述多模态融合特征样本输入至预设多模态异常区域分

割模块，得到所述多个原模态图像样本对应的训练异常区域分割结果及对应的异常区域5分割损失信息；将所述多个原模态特征样本和所述多模态融合特征样本输入至预设多模

态对抗攻击分类器，得到训练对抗攻击分类结果及对应的对抗攻击分类损失信息；将所述多个原模态特征样本输入至预设跨模态映射关系学习模块，得到训练跨模态映射结果及对应的跨模态特征预测损失信息；以及基于所述异常区域分割损失信息、所述对抗攻

击分类损失信息和所述跨模态特征预测损失信息中至少一项进行迭代训练，直至训练结0束，得到所述多模态异常区域感知模型。

在一些实施例中，所述训练异常区域分割结果包括多个模态对应的多个单模态分割结果和多模态分割结果，所述异常区域分割损失信息包括多个模态对应的多个单模态分割损失信息、多模态分割损失信息和多个单模态分割结果一致性损失信息中至少一项；

所述多个单模态分割损失信息基于所述多个模态对应的多个单模态分割结果与标注异5常区域之间的差异确定；所述多模态分割损失信息基于所述多模态分割结果与标注异常

区域之间的差异确定；所述多个单模态分割结果一致性损失信息基于所述多个单模态分割结果之间的差异确定。

在一些实施例中，所述训练跨模态映射结果包括所述多个原模态图像样本对应的多

个训练转模态特征，每个训练转模态特征包括基于其对应的原模态图像样本的原模态特0征进行跨模态特征转换得到的其他模态的特征；所述跨模态特征预测损失信息基于所述多个原模态图像样本中每个原模态图像样本对应的原模态特征样本与转模态特征样本之间的差异确定。

在一些实施例中，所述多模态对抗攻击分类结果包括所述多个原模态图像对应的多模态对抗攻击概率，所述多模态异常区域分割结果包括所述多个原模态图像对应的多模态异常图像区域，所述跨模态映射结果包括所述多个原模态图像对应的多个跨模态特征集，每个跨模态特征集包括基于其对应的原模态特征进行跨模态特征转换得到的至少一个其他模态的转模态特征。

在一些实施例中，所述基于所述多模态异常区域检测结果，确定所述目标用户100是否为对抗攻击对象，包括：基于所述异常区域检测结果，确定检测数据，所述检测数据包括所述多模态对抗攻击概率、异常图像区域面积占比以及综合特征差异中的至少一种，其中，所述异常图像区域面积占比包括所述异常图像区域在所述多个原模态图像对应的多模态分割图像中的面积占比，所述综合特征差异包括所述多个原模态图像的原模态特征与其对应的至少一个所述转模态特征之间的差异的融合；以及基于所述检测数据，确定所述目标用户100是否为对抗攻击对象。

在一些实施例中，所述基于所述检测数据，确定所述目标用户100是否为对抗攻击对象，包括以下情况中的一种：确定所述检测数据中的至少一个数据大于与其对应的预设的第一阈值，确定所述目标用户100为对抗攻击对象，其中，所述第一阈值包括第一概率阈值、第一面积占比阈值以及第一特征差异阈值中的至少一个，其中，所述第一概率阈值与所述多模态对抗攻击概率对应，所述第一面积占比阈值与所述异常图像面积占比对应，所述第一特征差异阈值与所述综合特征差异对应；确定所述检测数据中的所有数据小于与其对应的预设的第二阈值，确定所述目标用户100为合法用户，其中，所述第二阈值包括第二概率阈值、第二面积占比阈值以及第二特征差异阈值中的至少一个，其中，所述第二概率阈值所述多模态对抗攻击概率对应，所述第二面积占比阈值与所述异常图像面积占比对应，所述第二特征差异阈值与所述综合特征差异对应；以及，否则，确定所述目标用户100为待定用户。

在一些实施例中，所述综合特征差异采用如下方法步骤确定：记所述多个模态中每个模态为目标模态，并确定所述目标模态对应的原模态特征与至少一个转模态特征之间的差异的加权和，得到所述多个模态对应的多个特征差异；确定所述多个特征差异的加权和，得到所述综合特征差异。

在一些实施例中，在确定所述目标用户100为所述待定用户后，还包括：对所述待定用户进行再检测。

在一些实施例中，所述对所述待定用户进行再检测，包括：确定所述待定用户的多个原模态图像中目标模态的原模态图像进行预处理之前的第一比对分和预处理之后的第二比对分，所述预处理包括对所述目标模态的原模态图像进行目标部位的检测，得到目标部位图像；基于所述第一比对分和所述第二比对分之间的比对分差值，确定所述待定用户是否为对抗攻击对象，包括：确定所述比对分差值大于预设阈值，则识别所述待定用户为对抗攻击对象；或者，确定所述比对分差值小于所述阈值，则识别所述待定用户为合法用户。

在一些实施例中，所述确定第一比对分，包括：获取所述目标模态的原模态图像进行预处理之前的原始图像，和对抗攻击检测场景下的用户留底图像；以及基于所述原始图像与所述用户留底图像之间的差异，确定所述第一比对分。

在一些实施例中，所述确定第二比对分，包括：对所述目标模态对应的单模态异常区域分割结果中异常区域的像素置0，得到还原图像；基于所述还原图像与所述用户留底图像之间的差异，得到所述第二比对分。

第二方面，本说明书还提供一种对抗攻击的检测系统，包括：至少一个存储介质，存储有至少一个指令集，用于进行对抗攻击检测；以及至少一个处理器，同所述至少一个存储介质通信连接，其中，当所述对抗攻击的检测系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行第一方面任一项所述的方法。

由以上技术方案可知，本说明书提供的对抗攻击的检测方法及系统，获取目标用户100的生物特征的多个原模态图像后，将多个原模态图像输入至多模态异常区域感知模型，得到多个原模态图像对应的多模态异常区域检测结果，并基于多模态异常区域检测结果，确定目标用户100是否为对抗攻击对象。由于利用了多模态信息进行异常区域检测，因此，能够提高对抗攻击的检测精度。

本说明书提供的对抗攻击的检测方法及系统的其他功能将在以下说明中部分列出。根据描述，以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的对抗攻击的检测方法及系统的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。

附图说明

为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本说明书的实施例提供的一种对抗攻击的检测系统的应用场景示意图；

图2示出了根据本说明书的实施例提供的一种计算设备的硬件结构图；

图3示出了根据本说明书的实施例提供的一种对抗攻击的检测方法的流程图；

图4示出了根据本说明书的实施例提供的一种对抗攻击检测的数据流向图。

具体实施方式

以下描述提供了本说明书的特定应用场景和要求，目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说，对所公开的实施例的各种局部修改是显而易见的，并且在不脱离本说明书的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，本说明书不限于所示的实施例，而是与权利要求一致的最宽范围。

这里使用的术语仅用于描述特定示例实施例的目的，而不是限制性的。比如，除非上下文另有明确说明，这里所使用的，单数形式“一”，“一个”和“该”也可以包括复数形式。当在本说明书中使用时，术语“包括”、“包含”和/或“含有”意思是指所关联的整数，步骤、操作、元素和/或组件存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。

考虑到以下描述，本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图，所有这些形成本说明书的一部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，并不旨在限制本说明书的范围。还应理解，附图未按比例绘制。

本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。

为了方便描述，首先对本说明书中出现的术语进行如下解释：

多模态：在本方案中，指多种模态的图像，例如RGB、NIR和Depth等，多种模态的图像可以提供多个角度(维度)的信息来进行对抗攻击检测。

异常区域感知：在本方案中，指检测到人脸上不同于生物材质的区域，例如眼镜、首饰以及对抗贴纸等。

二阶段校验：在本方案中，指在一阶段异常区域检测后，进行二阶段的校验，避免对于正常样本的错误拦截。

对抗攻击：指在人脸区域粘贴对抗贴纸(面积较小，一般在人脸的50％以下)，从而使得人脸识别系统发生误判的攻击手段(例如A用户粘贴对抗贴纸后，被错误识别为B用户)。

对抗攻击检测：在本方案中，指检测人脸对抗攻击的各类方法。

在对本说明书具体实施例说明之前，先对本说明书的应用场景进行如下介绍：

本说明书提供的对抗攻击的检测方法可以应用在任意的生物特征识别过程中的对抗攻击检测场景中，比如，在人脸支付或人脸识别等场景中，可以通过本说明书的对抗攻击的检测方法对采集的待支付或待识别的目标用户100的生物特征的多个原模态图像进行对抗攻击的检测；在身份验证场景中，可以通过本说明书的对抗攻击的检测方法对采集的目标用户100的生物特征的多个原模态图像进行对抗攻击检测；还可以应用在任意的对抗攻击检测场景中，在此就不再一一赘述。所述生物特征可以包括但不限于面部图像、虹膜、巩膜、指纹、掌纹、声纹、骨骼投影中的一种或多种。为了方便描述，本申请中将以对抗攻击检测方法应用在人脸识别场景为例进行描述。

本领域技术人员应当明白，本说明书所述的对抗攻击的检测方法及系统应用于其他使用场景也在本说明书的保护范围内。

图1示出了根据本说明书的实施例提供的一种对抗攻击的检测系统001的应用场景示意图。对抗攻击的检测系统001(以下简称系统001)可以应用于任意场景的对抗攻击检测，比如，刷脸支付、身份验证、门禁、信息查询等场景下的对抗攻击检测。如图1所示，系统001所应用的场景可以包括目标用户100、客户端200。在一些实施例中，系统001还可以包括服务器300以及网络400。

目标用户100可以为需要进行生物特征识别的用户，或者正在进行生物特征识别的用户。目标用户100可以是系统001检测的对象。目标用户100可以发起识别程序，从而触发对目标用户100的多个原模态图像进行对抗攻击检测。在一些实施例中，目标用户100可以通过客户端200触发对抗攻击检测。

客户端200可以为响应于目标用户100的对抗攻击检测的操作采集目标用户100的多个原模态图像并输入至对抗攻击检测的设备(所述对抗攻击检测设备即计算设备，将在后面进行描述)。在一些实施例中，所述对抗攻击的检测方法可以在客户端200上执行。此时，客户端200可以存储有执行本说明书描述的对抗攻击的检测方法的数据或指令，并可以执行或用于执行所述数据或指令。在一些实施例中，客户端200可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。如图1所示，客户端200可以与服务器300进行通信连接。在一些实施例中，服务器300可以与多个客户端200进行通信连接。在一些实施例中，客户端200可以通过网络400与服务器300交互，以接收或发送消息等，比如接收或发送多个原模态图像。在一些实施例中，客户端200可以包括移动设备、平板电脑、笔记本电脑、机动车辆的内置设备或类似内容，或其任意组合。在一些实施例中，所述移动设备可包括智能家居设备、智能移动设备、虚拟现实设备、增强现实设备或类似设备，或其任意组合。在一些实施例中，所述智能家居装置可包括智能电视、台式电脑等，或任意组合。在一些实施例中，所述智能移动设备可包括智能手机、个人数字辅助、游戏设备、导航设备等，或其任意组合。在一些实施例中，所述虚拟现实设备或增强现实设备可能包括虚拟现实头盔、虚拟现实眼镜、虚拟现实手柄、增强现实头盔、增强现实眼镜、增强现实手柄或类似内容，或其中的任何组合。例如，所述虚拟现实设备或所述增强现实设备可能包括谷歌眼镜、头戴式显示器、VR等。在一些实施例中，所述机动车中的内置装置可包括车载计算机、车载电视等。在一些实施例中，客户端200可以包括图像采集设备，用于采集目标用户100的多个原模态图像。在一些实施例中，所述图像采集设备可以是二维图像采集设备(比如RGB摄像头、IR摄像头，等等)，也可以是二维图像采集设备(比如RGB摄像头、IR摄像头，等等)和深度图像采集设备(比如3D结构光摄像头、激光探测器，等等)。在一些实施例中，客户端200可以是具有定位技术的设备，用于定位客户端200的位置。

在一些实施例中，客户端200可以安装有一个或多个应用程序(APP)。所述APP能够为目标用户100提供通过网络400同外界交互的能力以及界面。所述APP包括但不限于：网页浏览器类APP程序、搜索类APP程序、聊天类APP程序、购物类APP程序、视频类APP程序、理财类APP程序、即时通信工具、邮箱客户端、社交平台软件等等。在一些实施例中，客户端200上可以安装有目标APP。所述目标APP能够为客户端200采集目标用户100的多个原模态图像。在一些实施例中，所述目标用户100还可以通过所述目标APP触发对抗攻击检测请求，比如通过所述目标APP触发生物特征识别程序，从而触发所述对抗攻击检测请求。所述目标APP可以响应于所述对抗攻击检测请求，执行本说明书描述的对抗攻击的检测方法。所述对抗攻击的检测方法将在后面的内容中详细介绍。

在一些实施例中，系统001还可以包括服务器300。服务器300可以是提供各种服务的后台服务器，例如对客户端200上采集的目标用户100的多个原模态图像进行对抗攻击检测提供支持的后台服务器。在一些实施例中，所述对抗攻击的检测方法可以在服务器300上执行。此时，服务器300可以存储有执行本说明书描述的对抗攻击的检测方法的数据或指令，并可以执行或用于执行所述数据或指令。在一些实施例中，服务器300可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。服务器300可以与多个客户端200通信连接，并接收客户端200发送的数据。

网络400用以在客户端200和服务器300之间提供通信连接的介质。网络400可以促进信息或数据的交换。如图1所示，客户端200和服务器300可以同网络400连接，并且通过网络400互相传输信息或数据。在一些实施例中，网络400可以是任何类型的有线或无线网络，也可以是其组合。比如，网络400可以包括电缆网络，有线网络、光纤网络、电信通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、大都市市区网(MAN)、广域网(WAN)、公用电话交换网(PSTN)、蓝牙^TM网络、ZigBee^TM网络、近场通信(NFC)网络或类似网络。在一些实施例中，网络400可以包括一个或多个网络接入点。例如，网络400可以包括有线或无线网络接入点，如基站或互联网交换点，通过该接入点，客户端200和服务器300的一个或多个组件可以连接到网络400以交换数据或信息。

应该理解，图1中的客户端200、服务器300和网络400的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端200、服务器300和网络400。

需要说明的是，所述对抗攻击的检测方法可以完全在客户端200上执行，也可以完全在服务器300上执行，还可以部分在客户端200上执行，部分在服务器300上执行。

图2示出了根据本说明书的实施例提供的一种计算设备600的硬件结构图。计算设备600可以执行本说明书描述的对抗攻击的检测方法。所述对抗攻击的检测方法在本说明书中的其他部分介绍。当所述对抗攻击的检测方法在客户端200上执行时，计算设备600可以是客户端200。当所述对抗攻击的检测方法在服务器300上执行时，计算设备600可以是服务器300。当所述对抗攻击的检测方法可以部分在客户端200上执行，部分在服务器300上执行时，计算设备600可以是客户端200和服务器300。

如图2所示，计算设备600可以包括至少一个存储介质630和至少一个处理器620。在一些实施例中，计算设备600还可以包括通信端口650和内部通信总线610。同时，计算设备600还可以包括I/O组件660。

内部通信总线610可以连接不同的系统组件，包括存储介质630、处理器620和通信端口650。

I/O组件660支持计算设备600和其他组件之间的输入/输出。

通信端口650用于计算设备600同外界的数据通信，比如，通信端口650可以用于计算设备600同网络400之间的数据通信。通信端口650可以是有线通信端口也可以是无线通信端口。

存储介质630可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质，也可以是暂时性存储介质。比如，所述数据存储装置可以包括磁盘632、只读存储介质(ROM)634或随机存取存储介质(RAM)636中的一种或多种。存储介质630还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码，所述计算机程序代码可以包括执行本说明书提供的对抗攻击的检测方法的程序、例程、对象、组件、数据结构、过程、模块等等。

至少一个处理器620可以同至少一个存储介质630以及通信端口650通过内部通信总线610通信连接。至少一个处理器620用以执行上述至少一个指令集。当计算设备600运行时，至少一个处理器620读取所述至少一个指令集，并且根据所述至少一个指令集的指示，执行本说明书提供的对抗攻击的检测方法。处理器620可以执行对抗攻击的检测方法包含的所有步骤。处理器620可以是一个或多个处理器的形式，在一些实施例中，处理器620可以包括一个或多个硬件处理器，例如微控制器，微处理器，精简指令集计算机(RISC)，专用集成电路(ASIC)，特定于应用的指令集处理器(ASIP)，中心处理单元(CPU)，图形处理单元(GPU)，物理处理单元(PPU)，微控制器单元，数字信号处理器(DSP)，现场可编程门阵列(FPGA)，高级RISC机器(ARM)，可编程逻辑器件(PLD)，能够执行一个或多个功能的任何电路或处理器等，或其任何组合。仅仅为了说明问题，在本说明书中计算设备600中仅描述了一个处理器620。然而，应当注意，本说明书中计算设备600还可以包括多个处理器，因此，本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行，也可以由多个处理器联合执行。例如，如果在本说明书中计算设备600的处理器620执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同处理器620联合或分开执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一和第二处理器共同执行步骤A和B)。

图3示出了根据本说明书的实施例提供的一种对抗攻击的检测方法P100的流程图。如前，计算设备600可以执行本说明书的对抗攻击的检测方法P100。具体地，处理器620可以读取存储在其本地存储介质中的指令集，然后根据指令集的规定，执行本说明书的对抗攻击的检测方法P100。如图3所示，方法P100可以包括：

S110：获取目标用户100的生物特征的多个原模态图像。

目标用户100为待进行对抗攻击检测的用户。生物特征可以是面部图像、虹膜、巩膜、指纹、掌纹、声纹、骨骼投影等人体固有的生理特性。为了方便描述，本申请中将以生物特征为面部图像为例进行描述。

多个原模态图像对应于图像采集模组的多个模态下所真实采集到的图像，例如，可以为包括目标用户100的全部身体部位或部分身体部位的图像。当触发目标用户100的生物识别时，处理器620可以通过图像采集模组直接采集目标用户100的生物特征的多个初始原模态图像。比如，图像采集模组集成有多个模态的摄像头模组，通过多个模态的摄像头模组对目标用户100的待检测部位进行图像采集，可以得到多个模态对应的多个初始原模态图像，多个模态中不同模态的成像特性和受到外界干扰的点不同。原模态可以理解为是图像采集模组的原始模态，原模态图像就是与图像采集模组的原始模态相同，模态类型未发生变化的图像。举例来说，图像采集模组包括RGB摄像头模组、NIR摄像头模组和Depth摄像头模组中至少两个，RGB摄像头模组、NIR摄像头模组和Depth摄像头模组的初始原模态图像分别为初始RGB图像、初始NIR图像和初始Depth图像。当触发目标用户100的生物识别时，处理器620还可以接收目标用户100通过客户端200或者终端设备上传的目标用户100的多个初始原模态图像，或者，还可以基于接收到的携带有目标用户100的生物特征的多个初始原模态图像的存储地址的对抗攻击检测请求，从存储地址处获取多个初始原模态图像。

图4为本说明书的实施例提供的对抗攻击的检测方法的数据流向图。如图4所示，以RGB模态、NIR模态和Depth模态作为多模态进行示例性说明，处理器620可以直接接收目标用户100通过客户端200或者终端设备上传的目标用户100的多个初始原模态图像，或者，还可以基于接收到的携带有目标用户100的生物特征的多个初始原模态图像的存储地址的对抗攻击检测请求，从存储地址处获取多个初始原模态图像。当获取到目标用户100的多个初始原模态图像之后，处理器620便可以基于多个初始原模态图像进行预处理，从而得到多个原模态图像。预处理可以是人脸检测，比如，对多个初始原模态图像进行人脸检测，获取多个初始原模态图像中的人脸区域(RGB图像、NIR图像和Depth图像中的人脸区域)。当然，处理器620还可以直接接收目标用户100通过客户端200或者终端设备上传的目标用户100的多个原模态图像，或者，还可以基于接收到的携带有目标用户100的生物特征的多个原模态图像的存储地址的对抗攻击检测请求，从存储地址处获取多个原模态图像。

应理解，RGB模态、NIR模态和Depth模态作为多种模态进行解释说明为示例性说明，本领域技术人员可以根据实际需要选取其他数量和其他模态作为多个模态，本说明书对此不作限制。

S120：将多个原模态图像输入至多模态异常区域感知模型，得到多个原模态图像对应的多模态异常区域检测结果。

多模态异常区域检测结果为基于多个模态对应的多个原模态图像进行异常区域感知，得到的对多个原模态图像中异常区域的感知结果。多模态异常区域检测结果包括多模态对抗攻击分类结果、多模态异常区域分割结果以及跨模态映射结果中至少一种。也就是说，多模态异常区域检测结果可以包括多模态对抗攻击分类结果、多模态异常区域分割结果、或者跨模态映射结果。或者，多模态异常区域检测结果包括多模态对抗攻击分类结果和多模态异常区域分割结果。或者，多模态异常区域检测结果包括多模态对抗攻击分类结果和跨模态映射结果。或者，多模态异常区域检测结果包括多模态异常区域分割结果和跨模态映射结果。或者，多模态异常区域检测结果同时包括多模态对抗攻击分类结果、多模态异常区域分割结果和跨模态映射结果。

多模态异常区域感知模型包括多模态特征编码器，还包括对抗攻击分类器、多模态异常区域分割模块和跨模态映射关系学习模块中至少一种。也就是说，多模态异常区域感知模型包括多模态特征编码器和多模态对抗攻击分类器。或者，多模态异常区域感知模型包括多模态特征编码器和多模态异常区域分割模块。或者，多模态异常区域感知模型包括多模态特征编码器和跨模态映射关系学习模块。或者，多模态异常区域感知模型包括多模态特征编码器、多模态对抗攻击分类器和多模态异常区域分割模块。或者，多模态异常区域感知模型包括多模态特征编码器、多模态对抗攻击分类器和跨模态映射关系学习模块。或者，多模态异常区域感知模型包括多模态特征编码器、多模态异常区域分割模块和跨模态映射关系学习模块。或者，多模态异常区域感知模型包括多模态特征编码器、多模态对抗攻击分类器、多模态异常区域分割模块和跨模态映射关系学习模块。

图4中示出了多模态异常区域感知模型同时包括多模态对抗攻击分类器、多模态异常区域分割模块和跨模态映射关系学习模块的情况。请继续参阅图4，多模态特征编码器可以是Resnet网络等用于进行特征提取的网络。将多个原模态图像输入至多模态特征编码器进行特征提取，可以得到多个原模态图像对应的多个原模态特征和多模态融合特征。多模态特征编码器基于多个原模态图像进行特征提取，得到多模态融合特征的实现方式有多种，具体可以如下：比如，多模态特征编码器对多个原模态图像中每个原模态图像分别进行特征提取，得到多个模态中每个模态的原模态图像对应的原模态特征。之后，再将多个模态对应的多个原模态特征结合，从而得到多模态融合特征。结合的方式可以如下：比如，将多个原模态特征进行串联，得到多模态融合特征。或者，将多个原模态特征进行加权求和，得到多模态融合特征。如图4所示，分别对RGB模态、NIR模态和Depth模态对应的原模态图像进行特征提取，可以得到RGB模态、NIR模态和Depth模态对应的原模态特征。将RGB模态、NIR模态和Depth模态对应的原模态特征结合，还可以得到RGB模态、NIR模态和Depth模态对应的多模态融合特征。

在得到多个原模态特征和多模态融合特征之后，处理器620便可以执行：将多模态融合特征输入至多模态对抗攻击分类器，得到多模态对抗攻击分类结果；将多模态融合特征输入至多模态异常区域分割模块，得到多模态异常区域分割结果；将多个原模态融合特征输入至跨模态映射关系学习模块，得到跨模态映射结果中至少一项。也就是说，处理器620可以执行如下七种情况中的任一种：

(1)将多模态融合特征输入至多模态对抗攻击分类器，得到多模态对抗攻击分类结果。

(2)处理器620将多模态融合特征输入至多模态异常区域分割模块，得到多模态异常区域分割结果。

(3)处理器620将多个原模态融合特征输入至跨模态映射关系学习模块，得到跨模态映射结果。

(4)处理器620可以将多模态融合特征输入至多模态对抗攻击分类器，得到多模态对抗攻击分类结果，并且将多模态融合特征输入至多模态异常区域分割模块，得到多模态异常区域分割结果。

(5)处理器620可以将多模态融合特征输入至多模态对抗攻击分类器，得到多模态对抗攻击分类结果，并且将多个原模态融合特征输入至跨模态映射关系学习模块，得到跨模态映射结果。

(6)处理器620可以将多模态融合特征输入至多模态异常区域分割模块，得到多模态异常区域分割结果，并且将多个原模态融合特征输入至跨模态映射关系学习模块，得到跨模态映射结果。

(7)处理器620可以将多模态融合特征输入至多模态对抗攻击分类器，得到多模态对抗攻击分类结果，并将多模态融合特征输入至多模态异常区域分割模块，得到多模态异常区域分割结果，以及将多个原模态融合特征输入至跨模态映射关系学习模块，得到跨模态映射结果。

下面将介绍处理器620基于多个原模态特征和多模态融合特征单独进行对抗攻击分类、异常区域分割和跨模态映射关系学习的实现过程：

(1)在得到多模态融合特征之后，处理器620便可以将多模态融合特征输入至多模态对抗攻击分类器进行对抗攻击分类，从而得到多模态对抗攻击分类结果。多模态对抗攻击分类结果包括多个原模态图像对应的多模态对抗攻击概率。比如，对抗攻击分类器基于多模态融合特征进行对抗攻击的分类，得到目标用户100为对抗攻击对象或正常用户的多模态对抗攻击分类结果。对抗攻击分类器可以是全连接层+Softmax层的网络结构。如图4所示，分别基于RGB模态、NIR模态和Depth模态对应的原模态特征和多模态融合特征进行对抗攻击分类，可以得到RGB模态、NIR模态和Depth模态对应的多模态对抗攻击分类结果，还可以得到RGB模态、NIR模态和Depth模态各自对应的单模态对抗攻击分类结果。

(2)在得到多模态融合特征之后，处理器620还可以将多模态融合特征输入至多模态异常区域分割模块进行异常区域分割，从而得到多模态异常区域分割结果。多模态异常区域分割结果包括多个原模态图像对应的多模态异常图像区域。多模态异常区域分割模块可以基于多模态融合特征进行异常区域的分割。异常区域可以理解为是目标用户100的多模态融合特征映射至像素空间后对应的多模态分割图像中非生物材质的区域，比如对抗攻击、遮挡、首饰和眼镜等异常区域。多模态异常区域分割模块可以是Unet网络等用于进行图像分割的网络。如图4所示，分别基于RGB模态、NIR模态和Depth模态对应的原模态特征和多模态融合特征进行异常区域分割，可以得到RGB模态、NIR模态和Depth模态各自对应的单模态异常区域分割结果和多模态异常区域分割结果。

(3)在得到多个原模态特征之后，处理器620还可以将多个原模态特征输入至跨模态映射关系学习模块进行跨模态特征转换，得到跨模态映射结果。跨模态映射结果包括多个原模态图像对应的多个跨模态特征集，每个跨模态特征集包括基于其对应的原模态特征进行跨模态特征转换得到的至少一个其他模态的转模态特征。详细来说，可以理解为将多个模态中每个模态记为目标模态，并将目标模态对应的原模态特征输入至跨模态映射关系学习模块中，得到目标模态对应的至少一个转模态特征。

这里，仅对处理器620基于多个原模态特征和多模态融合特征分别进行对抗攻击分类、异常区域分割和跨模态映射关系学习的实现过程进行了介绍。针对对抗攻击分类、异常区域分割和跨模态映射关系学习中的两两组合或者三者组合的情况，可以参考上述1)、2)和3)的实现过程进行组合，本说明书在此不再赘述。

在得到跨模态映射结果之后，还可以基于跨模态映射结果确定多个模态对应的综合特征差异。比如，记多个模态中每个模态为目标模态，并确定目标模态对应的原模态特征和至少一个转模态特征之间的差异的加权和，得到多个模态对应的多个特征差异。以及，基于多个模态对应的多个特征差异的加权和，得到多个模态对应的综合特征差异。

请继续参阅图4，例如，针对RGB原模态、NIR原模态和Depth原模态，将RGB原模态的原模态图像输入至多模态异常区域感知模型，可以得到RGB原模态对应的原模态特征和转模态后对应的NIR转模态特征和Depth转模态特征。同样地，可以得到NIR原模态对应的RGB转模态特征和Depth转模态特征，以及Depth原模态对应的RGB特征和NIR特征。之后，针对RGB原模态，便可以基于RGB模态对应的原模态特征和NIR转模态特征之间的余弦相似度1，RGB模态对应的原模态特征和Depth转模态特征之间的余弦相似度2，以及针对NIR原模态，基于NIR模态对应的原模态特征和RGB转模态特征之间的余弦相似度3，NIR模态对应的原模态特征和Depth转模态特征之间的余弦相似度4，以及针对Depth原模态，基于Depth模态对应的原模态特征和RGB转模态特征之间的余弦相似度5，Depth模态对应的原模态特征和NIR转模态特征之间的余弦相似度6，以及将上述余弦相似度1、余弦相似度2、余弦相似度3、余弦相似度4、余弦相似度5和余弦相似度6的加权和，比如加权平均值确定为综合特征差异。或者，先将余弦相似度1和余弦相似度2进行加权求和，余弦相似度3和余弦相似度4进行加权求和，余弦相似度5和余弦相似度6进行加权求和，再将3个加权求和的结合再次进行加权求和，得到综合特征差异。

需要说明的是，获取跨模态映射结果的步骤和获取综合特征差异的步骤均可以由跨模态映射关系学习模块来完成，当然，也可以一部分由跨模态映射关系学习模块完成，另一部分由跨模态映射关系学习模块之外的其他的单独的模态来完成，本说明书对此不作限制。

上面介绍了对于多模态异常区域感知模型的应用过程，实际中，在应用多模态异常区域感知模型进行多模态异常区域检测之前，需要训练得到多模态异常区域感知模型。下面将对多模态异常区域感知模型的训练过程进行介绍。多模态异常区域感知模型可以采用如下方法步骤训练得到：获取训练用户的生物特征的多个原模态图像样本，基于多个原模态图像样本对预设多模态异常区域感知模型进行迭代训练，直至训练结束，得到多模态异常区域感知模型。

首先，对预设多模态异常区域感知模型的网络结构进行介绍。与多模态异常区域感知模型的结构相对应，预设多模态异常区域感知模型可以包括预设多模态特征编码器，还包括预设多模态异常区域分割模块、预设对抗攻击分类器和预设跨模态映射关系学习模块中至少一种。即预设多模态异常区域感知模型可以是如下七种网络结构中的任一种：

(1)预设多模态异常区域感知模型包括预设多模态特征编码器和预设多模态对抗攻击分类器。

(2)预设多模态异常区域感知模型包括预设多模态特征编码器和预设多模态异常区域分割模块。

(3)预设多模态异常区域感知模型包括预设多模态特征编码器和预设跨模态映射关系学习模块。

(4)预设多模态异常区域感知模型包括预设多模态特征编码器、预设多模态对抗攻击分类器和预设多模态异常区域分割模块。

(5)预设多模态异常区域感知模型包括预设多模态特征编码器、预设多模态对抗攻击分类器和预设跨模态映射关系学习模块。

(6)预设多模态异常区域感知模型包括预设多模态特征编码器、预设多模态异常区域分割模块和预设跨模态映射关系学习模块。

(7)预设多模态异常区域感知模型包括预设多模态特征编码器、预设多模态对抗攻击分类器、预设多模态异常区域分割模块和预设跨模态映射关系学习模块。

对预设多模态异常区域感知模型的迭代训练的实现方式可以如下：比如，将多个原模态图像样本输入至预设多模态特征编码器，得到多个原模态图像样本对应的多个原模态特征样本和多模态融合特征样本。预设多模态特征编码器基于多个原模态图像样本得到多个原模态特征样本和多模态融合特征样本的实现方式有多种，具体可以如下：比如，预设多模态特征编码器对多个原模态图像样本中每个原模态图像样本分别进行特征提取，得到多个原模态图像样本中每个原模态图像样本对应的原模态特征样本。之后，预设多模态特征编码器还可以将多个原模态特征样本结合，得到多模态融合特征样本。将多个原模态特征样本结合的方式有多种，比如，将多个原模态特征样本进行串联，得到多模态融合特征样本。或者，对多个原模态特征样本进行加权求和，得到多模态融合特征样本。

在得到多个原模态特征样本和多模态融合特征样本之后，处理器620便可以基于多个原模态特征样本和多模态融合特征样本执行异常区域分割、多模态对抗攻击分类和跨模态映射关系学习中至少一项。具体可以如下七种情况中的任一种：

(1)将多个原模态特征样本和多模态融合特征样本输入至预设多模态异常区域分割模块，得到多个原模态图像样本对应的训练异常区域分割结果及对应的异常区域分割损失信息。

(2)处理器620将多个原模态特征样本和多模态融合特征样本输入至预设多模态对抗攻击分类器，得到训练对抗攻击分类结果及对应的对抗攻击分类损失信息。

(3)处理器620将多个原模态特征样本输入至预设跨模态映射关系学习模块，得到训练跨模态映射结果及对应的跨模态特征预测损失信息。

(4)处理器620将多个原模态特征样本和多模态融合特征样本输入至预设多模态异常区域分割模块，得到多个原模态图像样本对应的训练异常区域分割结果及对应的异常区域分割损失信息，并且，将多个原模态特征样本和多模态融合特征样本输入至预设多模态对抗攻击分类器，得到训练对抗攻击分类结果及对应的对抗攻击分类损失信息。

(5)处理器620将所述多个原模态特征样本和所述多模态融合特征样本输入至预设多模态异常区域分割模块，得到所述多个原模态图像样本对应的训练异常区域分割结果及对应的异常区域分割损失信息，并且，将所述多个原模态特征样本输入至预设跨模态映射关系学习模块，得到训练跨模态映射结果及对应的跨模态特征预测损失信息。

(6)处理器620将多个原模态特征样本和多模态融合特征样本输入至预设多模态对抗攻击分类器，得到训练对抗攻击分类结果及对应的对抗攻击分类损失信息，并且，将所述多个原模态特征样本输入至预设跨模态映射关系学习模块，得到训练跨模态映射结果及对应的跨模态特征预测损失信息。

(7)处理器620将多个原模态特征样本和多模态融合特征样本输入至预设多模态异常区域分割模块，得到多个原模态图像样本对应的训练异常区域分割结果及对应的异常区域分割损失信息，并且将多个原模态特征样本和所述多模态融合特征样本输入至预设多模态对抗攻击分类器，得到训练对抗攻击分类结果及对应的对抗攻击分类损失信息，以及将所述多个原模态特征样本输入至预设跨模态映射关系学习模块，得到训练跨模态映射结果及对应的跨模态特征预测损失信息。

下面将依次对异常区域分割、对抗攻击分类和跨模态映射关系学习及其各自对应的损失信息的实现过程进行介绍：

(1)将多个原模态特征样本和多模态融合特征样本输入至预设多模态异常区域分割模块，得到多个原模态图像样本对应的训练异常区域分割结果及对应的异常区域分割损失信息。训练异常区域分割结果包括多个单模态异常区域分割结果和多模态异常区域分割结果。异常区域分割损失信息包括多个单模态异常区域分割结果对应的多个单模态分割损失信息、多个单模态分割结果一致性损失信息和多模态异常区域分割结果对应的多模态分割损失信息中至少一项。

异常区域分割损失信息可以采用如下方法步骤确定：比如，处理器620将多个原模态特征样本输入至预设多模态异常区域分割模块，以使预设多模态异常区域分割模块基于多个原模态特征样本中每个原模态特征样本进行对应的原模态图像样本中异常区域的分割，得到每个原模态图像样本对应的单模态异常区域分割结果。并且，基于每个单模态异常区域分割结果与标注异常区域之间的差异，确定每个模态对应的单模态分割损失信息。对多个模态中每个模态都执行上述异常区域分割的步骤之后，便可以得到多个模态对应的多个单模态分割损失信息。

这里，可以将预设多模态异常区域分割模块视为包括多个单模态分割器分支和多模态分割器分支的网络结构。那么，可以将多个模态中每个模态记为目标模态，并将目标模态对应的原模态特征样本输入至目标模态对应的单模态分割器分支进行异常区域分割，得到目标模态对应的单模态异常区域分割结果。并且，基于单模态异常区域分割结果与标注异常区域之间的差异，确定目标模态对应的单模态分割损失信息。以及，将多模态融合特征样本输入至多模态分割器分支进行异常区域分割，得到多模态异常区域分割结果，并且基于多模态异常区域分割结果与标注异常区域之间的差异，确定多模态分割损失信息。多个单模态分割损失信息旨在约束多个原模态图像中每个原模态图像都能进行正确的异常区域分割，保证异常区域分割的精度。预设多模态异常区域分割模块基于多模态融合特征样本进行多模态图像样本(多模态融合特征样本映射至像素空间的图像)的异常区域分割，得到多模态图像样本对应的多模态异常区域分割结果，并且基于多模态异常区域分割结果与标注异常区域之间的差异，确定多模态分割损失信息。多模态融合特征样本为融合了多个模态的信息的特征，其对于图像特征的表达更加准确，所包含的语义信息也更丰富。因此，基于多模态融合特征样本进行异常区域分割，能够得到更加准确的异常区域分割结果。

在得到多个模态对应的多个单模态异常区域分割结果之后，还可以基于多个模态对应的多个单模态异常区域分割结果之间的差异，确定多个单模态分割结果一致性损失信息。比如，针对RGB模态、NIR模态和Depth模态各自对应的单模态分割结果，基于RGB模态对应的单模态异常区域分割结果与NIR模态对应的单模态异常区域分割结果之间的相似度，确定RGB模态与NIR模态之间的分割结果一致性损失信息；基于RGB模态对应的单模态异常区域分割结果与Depth模态对应的单模态异常区域分割结果之间的相似度，确定RGB模态与Depth模态之间的分割结果一致性损失信息；基于NIR模态对应的单模态异常区域分割结果与Depth模态对应的单模态异常区域分割结果之间的相似度，确定NIR模态与Depth模态之间的分割结果一致性损失信息。然后，计算RGB模态与NIR模态之间的分割结果一致性损失信息、RGB模态与Depth模态之间的分割结果一致性损失信息，以及NIR模态与Depth模态之间的分割结果一致性损失信息的加权和，得到多个单模态分割结果一致性损失信息。这里，RGB模态、NIR模态和Depth模态各自对应的RGB模态异常区域分割结果、NIR模态异常区域分割结果和Depth模态异常区域分割结果两两之间的相似度的计算方式可以有多种，比如，可以是采用余弦相似度或者欧氏距离或者L2距离来确定多个模态两两之间的相似度。多个模态分割结果一致性损失信息用于约束多个模态的分割结果保持一致。

在得到多个单模态分割损失信息、多模态分割损失信息和多个单模态分割结果一致性损失信息之后，便可以将多个单模态分割损失信息、多模态分割损失信息和多个模态分割结果一致性损失信息进行累加，得到异常区域分割损失信息。

(2)将多个原模态特征样本和多模态融合特征样本输入至预设对抗攻击分类器，得到对抗攻击分类结果及对应的对抗攻击分类损失信息。对抗攻击分类结果包括多个模态对应的多个单模态对抗攻击分类结果及其对应的多个单模态对抗攻击分类损失信息，多模态对抗攻击分类结果及其对应的多模态对抗攻击分类损失信息。预设对抗攻击分类器基于多个原模态特征样本和多模态融合特征样本进行对抗攻击分类，得到对抗攻击分类结果及对应的对抗攻击分类损失信息的实现方式有多种，具体可以如下：比如，将预设对抗攻击分类器视为包括多个单模态分类器分支和多模态分类器分支的网络结构，将多个模态中每个模态记为目标模态，并将目标模态对应的原模态特征样本输入至对应的单模态分类器分支进行对抗攻击分类，得到目标模态对应的单模态对抗攻击分类结果。并且，基于单模态对抗攻击分类结果与标注对抗攻击分类结果之间的差异，确定目标模态对应的单模态对抗攻击分类损失信息。将多模态融合特征样本输入至多模态分类器分支进行对抗攻击分类，得到多模态对抗攻击分类结果，并且基于多模态对抗攻击分类结果与标注对抗攻击分类结果之间的差异，可以确定多模态对抗攻击分类损失信息。

(3)将多个原模态特征样本输入至跨模态映射关系学习模块，得到训练跨模态映射结果及对应的跨模态特征预测损失信息。训练跨模态映射结果包括多个原模态图像样本对应的多个训练转模态特征，每个训练转模态特征包括基于其对应的原模态图像样本的原模态特征进行跨模态特征转换得到的其他模态的特征。跨模态特征预测损失信息基于正常训练用户的多个原模态图像样本中每个原模态图像样本对应的原模态特征样本与转模态特征样本之间的差异确定。

跨模态映射关系学习模块基于多个模态的原模态特征样本进行跨模态特征转换，得到多个模态中每个模态对应的至少一个转模态特征样本的具体实现方式可以参考上述关于对原模态特征进行跨模态特征转换，得到多个模态中每个模态对应的至少一个转模态特征的实现方式，此处不再赘述。

这里，跨模态特征预测损失信息可以包括多个模态中每个模态对应的跨模态特征预测损失子信息。每个模态对应的跨模态特征预测损失子信息可以基于正常训练用户对应的原模态特征样本和对应的至少一个转模态特征样本之间的差异的加权和得到。

需要注意的是，这里的跨模态特征预测损失信息为正常训练用户的原模态图像样本对应的跨模态特征预测损失信息。在训练过程中，对于每个原模态图像样本，会标注有正常训练用户和对抗攻击对象的类别，通过识别标注的类别可以确定原模态图像样本中

的用户是否为正常训练用户。之后，可以将正常训练用户的原模态特征输入至跨模态映5射关系学习模块，还可以将所有训练用户的原模态特征输入至跨模态映射关系学习模块，

得到所有训练用户的转模态特征样本，并取正常训练用户的转模态特征样本确定正常训练用户的跨模态特征预测损失信息。当然，也可以选取其他的方式来确定正常训练用户的跨模态特征预测损失信息，而无论选用哪种方式，均需保证使用正常训练用户的跨模

态特征预测损失信息进行反向传播，以更新跨模态映射关系学习模块的网络参数，保证0是使用正常训练用户的多模态图像样本对跨模态映射关系学习模块进行训练，这样，就

能够保证跨模态映射关系学习模块学习到正常训练用户的多模态图像样本进行跨模态后与转模态特征之间的映射关系，由于对抗攻击对象的跨模态特征映射关系显著区别于正常用户，因此，在将对抗攻击对象的多模态图像样本输入至跨模态映射关系学习模块，

该映射关系将无法适用于对抗攻击对象，从而为对抗攻击检测提供额外的检测信息，便5于有效检测出对抗攻击对象。

在得到异常区域分割损失信息、对抗攻击分类损失信息和跨模态特征预测损失信息中至少一项之后，便可以基于异常区域分割损失信息、对抗攻击分类损失信息和跨模态特征预测损失信息中至少一项对预设多模态异常区域感知模型进行迭代训练，直至训练

结束，得到多模态异常区域感知模型。具体可以包括如下七种情况中的任一种：0(1)基于异常区域分割损失信息对预设多模态异常区域感知模型进行迭代训练。

迭代训练时，可以采用如下方式：比如，基于每个单模态分割损失信息和多个模态分割结果一致性损失信息共同对对应的单模态分割器分支进行反向传播，以更新单模态分割器分支、单模态特征编码器分支的网络参数，或者，基于每个单模态分割损失信息和多

个模态分割结果一致性损失信息的加权和对单模态分割器分支和单模态特征编码器分5支进行反向传播，以更新单模态分割器分支和单模态特征编码器分支的网络参数。以及，

基于多模态分割损失信息对多模态分割器分支进行反向传播，以更新多模态分割器分支的网络参数。其迭代训练时的总损失信息可以表示为如下公式(1)：

Loss_total1＝Loss_seg+Loss_consistency；(1)

式(1)中，Loss_total1为迭代训练时的总损失信息，Loss_seg包括多个单模态分割损失信息和多模态分割损失信息，Loss_consistency为多个模态分割结果一致性损失信息。当Loss_total1最小化或者达到预设训练迭代次数时，训练结束，得到多模态异常区域感知模型。

(2)基于对抗攻击分类损失信息对预设多模态异常区域感知模型进行迭代训练。迭代训练时，可以采用如下方式：比如，基于多个单模态对抗攻击分类损失信息对对应的单模态分类器分支进行反向传播，以更新该单模态分类器分支的网络参数，基于多模态对抗攻击分类损失信息对对应的多模态分类器分支进行反向传播，以更新该多模态分类器分支的网络参数。其迭代训练时的总损失信息可以表示为如下公式(2)：

Loss_total2＝Loss_cls；(2)

式(2)中，Loss_total2为迭代训练时的总损失信息，Loss_cls为对抗攻击分类损失信息，包括多个单模态对抗攻击分类损失信息和多模态对抗攻击分类损失信息。当Loss_total2最小化或者达到预设训练迭代次数时，训练结束，得到多模态异常区域感知模型。

(3)基于跨模态特征预测损失信息对预设多模态异常区域感知模型进行迭代训练。迭代训练时，可以采用如下方式：比如，预设跨模态映射关系学习模块可以理解为是包括多个单模态映射关系学习分支，基于单模态的跨模态特征预测损失信息对对应的单模态映射关系学习分支进行反向传播，以更新该单模态映射关系学习分支的网络参数。其迭代训练时的总损失信息可以表示为如下公式(3)：

Loss_total3＝Loss_feat；(3)

式(3)中，Loss_total3为总损失信息，Loss_feat为跨模态映射关系学习损失信息。当Loss_total3最小化或者达到预设训练迭代次数时，训练结束，得到多模态异常区域感知模型。

(4)基于异常区域分割损失信息和对抗攻击分类损失信息对预设多模态异常区域感知模型进行迭代训练。其迭代训练时的总损失信息可以表示为如下公式(4)：

Loss_total4＝Loss_seg+Loss_consistency+Loss_cls；(4)

式(4)中，Loss_total4为总损失信息，Loss_seg包括多个单模态分割损失信息和多模态分割损失信息，Loss_consistency为多个模态分割结果一致性损失信息，Loss_cls为对抗攻击分类损失信息。当Loss_total4最小化或者达到预设训练迭代次数时，训练结束，得到多模态异常区域感知模型。反向传播时，是基于Loss_seg和Loss_consistency进行反向传播，以及基于Loss_cls进行反向传播。具体的反向传播过程可以参见上述第1种情况和第2种情况中的介绍。

(5)基于异常区域分割损失信息和跨模态特征预测损失信息对预设多模态异常区域感知模型进行迭代训练。其迭代训练时的总损失信息可以表示为如下公式(5)：

Loss_total5＝Loss_seg+Loss_consistency+Loss_feat；(5)

式(5)中，Loss_total5为总损失信息，Loss_seg包括多个单模态分割损失信息和多模态分割损失信息，Loss_consistency为多个模态分割结果一致性损失信息，Loss_feat为跨模态映射关系学习损失信息。当Loss_total5最小化或者达到预设训练迭代次数时，训练结束，得到多模态异常区域感知模型。反向传播时，是基于Loss_seg和Loss_consistency进行反向传播，以及基于Loss_feat进行反向传播。具体的反向传播过程可以参见上述第1种情况和第3种情况中的介绍。

(6)基于对抗攻击分类损失信息和跨模态特征预测损失信息对预设多模态异常区域感知模型进行迭代训练。其迭代训练时的总损失信息可以表示为如下公式(6)：

Loss_total6＝Loss_cls+Loss_feat；(6)

式(6)中，Loss_total6为总损失信息，Loss_cls为对抗攻击分类损失信息，Loss_feat为跨模态映射关系学习损失信息。当Loss_total6最小化或者达到预设训练迭代次数时，训练结束，得到多模态异常区域感知模型。反向传播时，是基于Loss_cls进行反向传播，以及基于Loss_feat进行反向传播。具体的反向传播过程可以参见上述第2种情况和第3种情况中的介绍。

(7)基于异常区域分割损失信息、对抗攻击分类损失信息和跨模态特征预测损失信息对预设多模态异常区域感知模型进行迭代训练。其迭代训练时的总损失信息可以表示为如下公式(7)：

Loss_total7＝Loss_seg+Loss_consistency+Loss_cls+Loss_feat；(7)

式(7)中，Loss_total7为总损失信息，Loss_seg包括多个单模态分割损失信息和多模态分割损失信息，Loss_consistency为多个模态分割结果一致性损失信息，Loss_cls为对抗攻击分类损失信息，Loss_feat为跨模态映射关系学习损失信息。当Loss_total7最小化或者达到预设训练迭代次数时，训练结束，得到多模态异常区域感知模型。反向传播时，是基于Loss_seg和Loss_consistency进行反向传播，基于Loss_cls进行反向传播，以及基于Loss_feat进行反向传播。具体的反向传播过程可以参见上述第1种情况、第2种情况和第3种情况中的介绍。

S130：基于多模态异常区域检测结果，确定目标用户100是否为对抗攻击对象。

步骤S130的实现方式可以如下：比如，基于异常区域检测结果，确定检测数据，。检测数据包括多模态对抗攻击概率、异常图像区域面积占比以及综合特征差异中的至少一种。具体的，检测数据包括多模态对抗攻击概率、异常图像区域面积占比或者综合特征差异。或者，检测数据包括多模态对抗攻击概率和异常图像区域面积占比。或者，检测数据包括多模态对抗攻击概率和综合特征差异。或者，检测数据包括异常图像区域面积占比和综合特征差异。或者，检测数据包括多模态对抗攻击概率、异常图像区域面积占比和综合特征差异。

多模态对抗攻击概率为基于多模态融合特征进行对抗攻击分类得到的对抗攻击概率，用于表征目标用户100属于对抗攻击对象的概率大小。

异常图像区域面积占比包括异常图像区域在多个原模态图像对应的多模态分割图像中的面积占比。举例来说，可以将多模态融合特征映射至像素空间，得到多模态分割图像，多模态分割图像中可能包括一处或多处异常图像区域，将该一处或多处异常图像区域的面积相加，并与多模态分割图像的面积相除，得到异常图像区域面积占比。

综合特征差异包括多个原模态图像的原模态特征与其对应的至少一个转模态特征之间的差异的融合。关于综合特征差异的具体实现过程，可以参考前述内容的介绍，此处不再赘述。在确定了检测数据之后，便可以基于检测数据，确定目标用户100是否为对抗攻击对象。基于检测数据，确定目标用户100是否为对抗攻击对象的实现方式有多种，具体可以如下：比如，确定检测数据中的至少一个数据大于与其对应的预设的第一阈值，确定目标用户100为对抗攻击对象，其中，第一阈值包括第一概率阈值、第一面积占比阈值以及第一特征差异阈值中的至少一个，其中，第一概率阈值与多模态对抗攻击概率对应，第一面积占比阈值与异常图像面积占比对应，第一特征差异阈值与综合特征差异对应；确定检测数据中的所有数据小于与其对应的预设的第二阈值，确定目标用户100为合法用户，其中，第二阈值包括第二概率阈值、第二面积占比阈值以及第二特征差异阈值中的至少一个，其中，第二概率阈值与多模态对抗攻击概率对应，第二面积占比阈值与异常图像面积占比对应，第二特征差异阈值与综合特征差异对应；以及，否则，确定目标用户100为待定用户。

记第一概率阈值为Tp1，第二概率阈值为Tp2，第一面积占比阈值为Tr1，第二面积占比阈值为Tr2，第一特征差异阈值为Td1，第二特征差异阈值为Td2。当P>Tp1，r>Tr1，且d>Td1中至少一项满足时，识别目标用户100为对抗攻击对象。也就是说，当P>Tp1，确定目标用户100为对抗攻击对象。或者，当r>Tr1，确定目标用户100为对抗攻击对象。或者，当d>Td1，确定目标用户100为对抗攻击对象。或者，当P>Tp1且r>Tr1，确定目标用户100为对抗攻击对象。或者，当P>Tp1且d>Td1，确定目标用户100为对抗攻击对象。或者，当r>Tr1且d>Td1，确定目标用户100为对抗攻击对象。或者，当P>Tp1，r>Tr1，d>Td1三者同时满足时，确定目标用户100为对抗攻击对象。而当P<Tp2，r<Tr2且d<Td2三者同时满足时，识别目标用户100为合法用户。除去以上情况之外的其他情况，比如，当Tp2<p<Tp1，Tr2<r<Tr1且Td2<d<Td1三者同时满足时，识别目标用户100为待定用户。

对于P＝Tp1，r＝Tr1，d＝Td1中至少一项满足时，可以识别目标用户100为对抗攻击对象。或者，当Tp2<p≤Tp1，Tr2<r≤Tr1且Td2<d≤Td1三者同时满足时，识别目标用户100为待定用户。或者，当Tp2≤p<Tp1，Tr2≤r<Tr1且Td2≤d<Td1三者同时满足时，识别目标用户100为待定用户。或者，当Tp2≤p≤Tp1，Tr2≤r≤Tr1且Td2≤d≤Td1三者同时满足时，识别目标用户100为待定用户。

在确定目标用户100为待定用户之后，还可以对待定用户进行再检测，以确定用户是否为对抗攻击对象。对待定用户进行再检测的实现可以有多种，具体可以如下：比如，确定目标用户100的多个原模态图像中目标模态的原模态图像进行预处理之前的第一比对分和预处理之后的第二比对分，并基于第一比对分和第二比对分之间的比对分差值，确定待定用户是否为对抗攻击对象。基于第一比对分和第二比对分的比对分差值，确定待定用户是否为对抗攻击对象，包括：确定比对分差值大于预设阈值，则识别目标用户100为对抗攻击对象。或者，确定比对分差值小于预设阈值，则识别目标用户100为合法用户。目标模态可以为多个模态中任一模态。

针对比对分差值等于预设阈值的情况，可以识别目标用户100为对抗攻击对象或者合法用户。

第一比对分可以基于如下方式确定：比如，获取目标模态的原模态图像进行预处理之前的原始图像，和对抗攻击检测场景下的用户留底图像，并且基于原始图像与用户留底图像之间的差异，确定第一比对分。第二比对分可以基于如下方式确定：比如，对目标模态对应的单模态异常区域分割结果中异常区域的像素置0，得到还原图像，基于还原图像与用户留底图像之间的差异，得到第二比对分。用户留底图像为预先录制的用户图像，比如在门禁场景下，预先录制的用于进行人脸比对的用户人脸图像，在刷脸支付场景下，预先录制的用于进行刷脸比对的用户人脸图像等等。

举例来说，用户注册A网站账号信息时，输入了人脸图像作为Face ID，该Face ID的人脸图像即为用户留底图像，将未经预处理的原始图像记为x，将用户留底图像记为x0，通过计算x和x0的余弦相似度，便可以得到第一比对分s，以及通过计算x1和x0的余弦相似度，便可以得到第二比对分s1。之后，通过计算差值ds＝abs(s-s1)便可以得到比对分差值，将ds与提前设定的阈值T比较，若ds大于提前设定的阈值T，则判定为对抗攻击对象，否则为正常用户。这里是基于正常用户的多模态图像与对抗攻击对象的多模态图像在预处理前后会有较大的差异的特性，也就是对抗贴纸添加前后对多模态图像与留底图像的比对结果差异较大的特性，来进行二阶段比对分校验，以进一步对待定用户进行识别，从而提高对抗攻击检测精度。

这里，是首先基于多模态异常区域检测结果进行一阶段对抗攻击分类的判断，以判断目标用户100是否为对抗攻击对象。若一阶段判断无法判断目标用户100是否为对抗攻击对象，即一阶段判断结果为目标用户100为待定用户，则继续采用二阶段比对校验的方式进行对抗攻击分类的判断。通过两个阶段的对抗攻击检测，能够进一步提高对抗攻击的检出能力。

其中，本方案为了提高对抗攻击的检出能力，提出了基于多模态异常区域感知的二阶段校验对抗攻击检测的方案。该多模态异常区域感知的二阶段校验对抗攻击检测的方案主要包括四个部分：数据采集和预处理、多模态异常区域感知、比对模型二阶段感知和对抗攻击检测，具体可以如下：

(1)数据采集和预处理，当目标用户100开始进行人脸识别后，进行多个模态对应的多个原模态图像的采集和数据预处理。数据预处理可以是人脸检测，获取到人脸区域。

(2)多模态异常区域感知，通过设计多模态特征融合网络，进行异常区域的检测和感知。训练得到的多模态异常区域感知模型，能够在人脸识别前感知到可能是对抗贴纸的异常区域。

(3)比对模型二阶段感知，对比异常区域在预处理前后的多模态比对分差异，以进行对抗攻击检测。

(4)对抗攻击检测，通过比对分差异的分析方式进行对抗攻击检测。

综上所述，本说明书提供的对抗攻击的检测方法P100和系统001，获取目标用户100的生物特征的多个原模态图像后，将多个原模态图像输入至多模态异常区域感知模型，得到多个原模态图像对应的多模态异常区域检测结果，并基于多模态异常区域检测结果，确定目标用户100是否为对抗攻击对象。由于异常区域检测结果中充分利用了多模态的信息，因此，能够提高对抗攻击的检测精度。针对对抗攻击分类结果来说，其利用了多模态的信息，能够提高对抗攻击分类的准确度，针对异常区域分割来说，其利用了多模态的信息，能够提高分割结果的准确度，针对跨模态映射关系学习模块来说，其利用了正常训练用户的原模态图像样本进行训练，使得能够学习到正常训练用户的原模态图像样本与预测特征之间的映射关系，从而显著区别于对抗攻击用户的原模态图像样本与预测特征之间的映射关系，有效检出对抗攻击对象。另外，异常图像区域分割结果能够提供在人脸识别前对可能是对抗贴纸的异常区域的感知效果，之后，再基于多模态异常区域分割结果进行对抗攻击检测，就能够进一步提高对抗攻击的检测精度。本方案是在人脸识别前置阶段进行异常区域感知，并在人脸识别阶段基于感知到的异常区域进行对抗攻击检测。

本说明书另一方面提供一种非暂时性存储介质，存储有至少一组用来进行对抗攻击检测的可执行指令。当所述可执行指令被处理器执行时，所述可执行指令指导所述处理器实施本说明书所述的对抗攻击的检测方法P100的步骤。在一些可能的实施方式中，本说明书的各个方面还可以实现为一种程序产品的形式，其包括程序代码。当所述程序产品在计算设备600上运行时，所述程序代码用于使计算设备600执行本说明书描述的对抗攻击的检测方法P100的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)包括程序代码，并可以在计算设备600上运行。然而，本说明书的程序产品不限于此，在本说明书中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在计算设备600上执行、部分地在计算设备600上执行、作为一个独立的软件包执行、部分在计算设备600上部分在远程计算设备上执行、或者完全在远程计算设备上执行。

上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者是可能有利的。

综上所述，在阅读本详细公开内容之后，本领域技术人员可以明白，前述详细公开内容可以仅以示例的方式呈现，并且可以不是限制性的。尽管这里没有明确说明，本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变，改进和修改。这些改变，改进和修改旨在由本说明书提出，并且在本说明书的示例性实施例的精神和范围内。

此外，本说明书中的某些术语已被用于描述本说明书的实施例。例如，“一个实施例”，“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征，结构或特性可以包括在本说明书的至少一个实施例中。因此，可以强调并且应当理解，在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外，特定特征，结构或特性可以在本说明书的一个或多个实施例中适当地组合。

应当理解，在本说明书的实施例的前述描述中，为了帮助理解一个特征，出于简化本说明书的目的，本说明书将各种特征组合在单个实施例、附图或其描述中。然而，这并不是说这些特征的组合是必须的，本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说，本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。

本文引用的每个专利，专利申请，专利申请的出版物和其他材料，例如文章，书籍，说明书，出版物，文件，物品等，可以通过引用结合于此。用于所有目的全部内容，除了与其相关的任何起诉文件历史，可能与本文件不一致或相冲突的任何相同的，或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说，如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时，使用本文件中的术语为准。

最后，应理解，本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此，本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此，本说明书的实施例不限于申请中被精确地描述过的实施例。

Claims (15)

1.一种对抗攻击的检测方法，包括：

获取目标用户100的生物特征的多个原模态图像，所述多个原模态图像对应于图像采集模组的多个模态下所真实采集到的图像；

将所述多个原模态图像输入至多模态异常区域感知模型，得到所述多个原模态图像对应的多模态异常区域检测结果；以及

基于所述多模态异常区域检测结果，确定所述目标用户100是否为对抗攻击对象。

2.根据权利要求1所述的方法，其中，所述多模态异常区域检测结果包括多模态对抗攻击分类结果、多模态异常区域分割结果以及跨模态映射结果中的至少一种。

3.根据权利要求2所述的方法，其中，所述多模态异常区域感知模型包括多模态特征编码器，还包括多模态对抗攻击分类器、多模态异常区域分割模块和跨模态映射关系学习模块中至少一种；以及

所述将所述多个原模态图像输入至多模态异常区域感知模型，得到所述多个原模态图像对应的多模态异常区域检测结果，包括：

将所述多个原模态图像输入至所述多模态特征编码器进行特征提取，得到所述多个原模态图像对应的多个原模态特征和多模态融合特征；以及

以下至少一种：

将所述多模态融合特征输入至所述多模态对抗攻击分类器，得到所述多模态对抗攻击分类结果；

将所述多模态融合特征输入至所述多模态异常区域分割模块，得到所述多模态异常区域分割结果；

将所述多个原模态特征输入至所述跨模态映射关系学习模块，得到所述跨模态映射结果。

4.根据权利要求1所述的方法，其中，所述多模态异常区域感知模型采用如下方法步骤训练得到：

将训练用户的生物特征的多个原模态图像样本输入至预设多模态特征编码器，得到所述多个原模态图像样本对应的多个原模态特征样本和多模态融合特征样本；以及，如下至少一种：

将所述多个原模态特征样本和所述多模态融合特征样本输入至预设多模态异常区域分割模块，得到所述多个原模态图像样本对应的训练异常区域分割结果及对应的异常区域分割损失信息；

将所述多个原模态特征样本和所述多模态融合特征样本输入至预设多模态对抗攻击分类器，得到训练对抗攻击分类结果及对应的对抗攻击分类损失信息；

将所述多个原模态特征样本输入至预设跨模态映射关系学习模块，得到训练跨模态映射结果及对应的跨模态特征预测损失信息；以及

基于所述异常区域分割损失信息、所述对抗攻击分类损失信息和所述跨模态特征预测损失信息中至少一项进行迭代训练，直至训练结束，得到所述多模态异常区域感知模型。

5.根据权利要求4所述的方法，其中，所述训练异常区域分割结果包括多个模态对应的多个单模态分割结果和多模态分割结果，所述异常区域分割损失信息包括多个模态对应的多个单模态分割损失信息、多模态分割损失信息和多个单模态分割结果一致性损失信息中至少一项；

所述多个单模态分割损失信息基于所述多个模态对应的多个单模态分割结果与标注异常区域之间的差异确定；

所述多模态分割损失信息基于所述多模态分割结果与标注异常区域之间的差异确定；

所述多个单模态分割结果一致性损失信息基于所述多个单模态分割结果之间的差异确定。

6.根据权利要求4所述的方法，其中，所述训练跨模态映射结果包括所述多个原模态图像样本对应的多个训练转模态特征，每个训练转模态特征包括基于其对应的原模态图像样本的原模态特征进行跨模态特征转换得到的其他模态的特征；

所述跨模态特征预测损失信息基于所述多个原模态图像样本中每个原模态图像样本对应的原模态特征样本与转模态特征样本之间的差异确定。

7.根据权利要求2所述的方法，其中，所述多模态对抗攻击分类结果包括所述多个原模态图像对应的多模态对抗攻击概率，所述多模态异常区域分割结果包括所述多个原模态图像对应的多模态异常图像区域，所述跨模态映射结果包括所述多个原模态图像对应的多个跨模态特征集，每个跨模态特征集包括基于其对应的原模态特征进行跨模态特征转换得到的至少一个其他模态的转模态特征。

8.根据权利要求7所述的方法，其中，所述基于所述多模态异常区域检测结果，确定所述目标用户100是否为对抗攻击对象，包括：

基于所述异常区域检测结果，确定检测数据，所述检测数据包括所述多模态对抗攻击概率、异常图像区域面积占比以及综合特征差异中的至少一种，其中，所述异常图像区域面积占比包括所述异常图像区域在所述多个原模态图像对应的多模态分割图像中的面积占比，所述综合特征差异包括所述多个原模态图像的原模态特征与其对应的至少一个所述转模态特征之间的差异的融合；以及

基于所述检测数据，确定所述目标用户100是否为对抗攻击对象。

9.根据权利要求8所述的方法，其中，所述基于所述检测数据，确定所述目标用户100是否为对抗攻击对象，包括以下情况中的一种：

确定所述检测数据中的至少一个数据大于与其对应的预设的第一阈值，确定所述目标用户100为对抗攻击对象，其中，所述第一阈值包括第一概率阈值、第一面积占比阈值以及第一特征差异阈值中的至少一个，其中，所述第一概率阈值与所述多模态对抗攻击概率对应，所述第一面积占比阈值与所述异常图像面积占比对应，所述第一特征差异阈值与所述综合特征差异对应；

确定所述检测数据中的所有数据小于与其对应的预设的第二阈值，确定所述目标用户100为合法用户，其中，所述第二阈值包括第二概率阈值、第二面积占比阈值以及第二特征差异阈值中的至少一个，其中，所述第二概率阈值所述多模态对抗攻击概率对应，所述第二面积占比阈值与所述异常图像面积占比对应，所述第二特征差异阈值与所述综合特征差异对应；以及

否则，确定所述目标用户100为待定用户。

10.根据权利要求9所述的方法，其中，所述综合特征差异采用如下方法步骤确定：

记所述多个模态中每个模态为目标模态，并确定所述目标模态对应的原模态特征与至少一个转模态特征之间的差异的加权和，得到所述多个模态对应的多个特征差异；

确定所述多个特征差异的加权和，得到所述综合特征差异。

11.根据权利要求9所述的方法，其中，在确定所述目标用户100为所述待定用户后，还包括：

对所述待定用户进行再检测。

12.根据权利要求11所述的方法，其中，所述对所述待定用户进行再检测，包括：

确定所述待定用户的多个原模态图像中目标模态的原模态图像进行预处理之前的第一比对分和预处理之后的第二比对分，所述预处理包括对所述目标模态的原模态图像进行目标部位的检测，得到目标部位图像；

基于所述第一比对分和所述第二比对分之间的比对分差值，确定所述待定用户是否为对抗攻击对象，包括：

确定所述比对分差值大于预设阈值，则识别所述待定用户为对抗攻击对象；

或者，

确定所述比对分差值小于所述阈值，则识别所述待定用户为合法用户。

13.根据权利要求12所述的方法，其中，所述确定第一比对分，包括：

获取所述目标模态的原模态图像进行预处理之前的原始图像，和对抗攻击检测场景下的用户留底图像；以及

基于所述原始图像与所述用户留底图像之间的差异，确定所述第一比对分。

14.根据权利要求12所述的方法，其中，所述确定第二比对分，包括：

对所述目标模态对应的单模态异常区域分割结果中异常区域的像素置0，得到还原图像；

基于所述还原图像与所述用户留底图像之间的差异，得到所述第二比对分。

15.一种对抗攻击的检测系统，包括：

至少一个存储介质，存储有至少一个指令集，用于进行对抗攻击检测；以及

至少一个处理器，同所述至少一个存储介质通信连接，

其中，当所述对抗攻击的检测系统运行时，所述至少一个处理器读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行权利要求1-14任一项所述的方法。

Images