CN113255711B - 对抗检测方法、装置及设备 - Google Patents

对抗检测方法、装置及设备 Download PDF

Info

Publication number
CN113255711B
CN113255711B CN202010091216.9A CN202010091216A CN113255711B CN 113255711 B CN113255711 B CN 113255711B CN 202010091216 A CN202010091216 A CN 202010091216A CN 113255711 B CN113255711 B CN 113255711B
Authority
CN
China
Prior art keywords
image
input
target
images
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010091216.9A
Other languages
English (en)
Other versions
CN113255711A (zh
Inventor
毛潇锋
陈岳峰
李裕宏
何源
薛晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN202010091216.9A priority Critical patent/CN113255711B/zh
Publication of CN113255711A publication Critical patent/CN113255711A/zh
Application granted granted Critical
Publication of CN113255711B publication Critical patent/CN113255711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种对抗检测方法、装置及设备，该方法包括：在深度神经网络模型处理输入图像的过程中，获取所述深度神经网络模型处理得到的所述输入图像的特征数据；从预设图像库中确定出与所述输入图像的特征数据相似的前多个目标图像；所述预设图像库中包括所述深度神经网络模型能够识别的多个类别的图像；根据所述多个目标图像，确定所述输入图像的检测结果。本申请提高了对抗检测的准确性及泛化性。

Description

对抗检测方法、装置及设备
技术领域
本申请涉及神经网络技术领域，尤其涉及一种对抗检测方法、装置及设备。
背景技术
随着人工智能和深度学习技术的不断发展，深度学习网络的应用越来越广泛，例如可以应用于图像识别领域。
虽然深度学习网络在图像识别领域取得了显著的效果，但是在很多任务上可以达到很高准确率的深度神经网络却很容易受到对抗图像的对抗攻击。通常，可以基于对抗样本和正常样本训练一个分类器，并通过将输入深度神经网络模型的输入图像输入至该分类器得到输入图像是否为对抗图像的结果。然而，由于对抗样本的信息非常有限，因此基于对抗样本所训练出的分类器存在准确率低、泛化能力较差的问题。
从而，如何提高对抗检测的准确性及泛化性，成为目前亟待解决的问题。
发明内容
本申请实施例提供一种对抗检测方法、装置及设备，用以解决现有技术中对抗图像的检测准确率低、泛化能力较差的问题。
第一方面，本申请实施例提供一种对抗检测方法，所述方法包括：
在深度神经网络模型处理输入图像的过程中，获取所述深度神经网络模型处理得到的所述输入图像的特征数据；
从预设图像库中确定出与所述输入图像的特征数据相似的前多个目标图像；所述预设图像库中包括所述深度神经网络模型能够识别的多个类别的图像；
根据所述多个目标图像，确定所述输入图像的检测结果。
第二方面，本申请实施例提供一种对抗检测方法，所述方法包括：
在深度神经网络模型处理输入对象的过程中，获取所述深度神经网络模型处理得到的所述输入对象的特征数据；
从预设对象库中确定出与所述输入对象的特征数据相似的前多个目标对象；所述预设对象库中包括所述深度神经网络模型能够识别的多个类别的对象；
根据所述多个目标对象，确定所述输入对象的检测结果。
第三方面，本申请实施例提供一种对抗检测装置，所述装置包括：
获取模块，用于在深度神经网络模型处理输入图像的过程中，获取所述深度神经网络模型处理得到的所述输入图像的特征数据；
图像确定模块，用于从预设图像库中确定出与所述输入图像的特征数据相似的前多个目标图像；所述预设图像库中包括所述深度神经网络模型能够识别的多个类别的图像；
结果确定模块，用于根据所述多个目标图像，确定所述输入图像的检测结果。
第四方面，本申请实施例提供一种对抗检测装置，所述装置包括：
获取模块，用于在深度神经网络模型处理输入对象的过程中，获取所述深度神经网络模型处理得到的所述输入对象的特征数据；
对象确定模块，用于从预设对象库中确定出与所述输入对象的特征数据相似的前多个目标对象；所述预设对象库中包括所述深度神经网络模型能够识别的多个类别的对象；
结果确定模块，用于根据所述多个目标对象，确定所述输入对象的检测结果。
第五方面，本申请实施例提供一种计算机设备，包括：存储器、处理器；所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如上述第一方面任一项所述的方法。
第六方面，本申请实施例提供一种计算机设备，包括：存储器、处理器；所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如上述第二方面任一项所述的方法。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如第一方面任一项所述的方法。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由计算机执行，以控制所述计算机执行如第二方面任一项所述的方法。
本申请实施例还提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现如第一方面任一项所述的方法。
本申请实施例还提供一种计算机程序，当所述计算机程序被计算机执行时，用于实现如第二方面任一项所述的方法。
本申请实施例提供的对抗检测方法、装置及设备，通过在深度神经网络模型处理输入图像的过程中，获取所述深度神经网络模型处理得到的所述输入图像的特征数据，从预设图像库中确定出与所述输入图像的特征数据相似的前多个目标图像，并根据所述多个目标图像，确定所述输入图像的检测结果，实现了基于预设图像库中与输入图像最相似的多个目标图像确定用于表征输入图像是正常图像还是对抗图像的检测结果，由于输入图像是对抗图像时与输入图像是正常图像时，其多个目标图像的整体特征之间存在差异，并且该差异不会受限于特定对抗样本的特征，因此针对输入图像为不同类型对抗图像的场景，基于对应的多个目标图像均能够准确的确定出输入图像的检测结果，从而提高了对抗检测的准确性及泛化性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1-图2为本申请实施例的应用场景示意图；
图3为本申请一实施例提供的对抗检测方法的流程示意图；
图4-图6为本申请实施例提供的基于检测模型得到输入图像的检测结构的示意图；
图7为本申请实施例提供基于Transformer网络针对输入进行对抗检测方法的示意图；
图8为本申请另一实施例提供的对抗检测方法的流程示意图
图9为本申请一实施例提供的对抗检测装置的结构示意图；
图10为本申请一实施例提供的计算机设备的结构示意图；
图11为本申请另一实施例提供的对抗检测装置的结构示意图；
图12为本申请另一实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
为了方便本领域技术人员理解本申请实施例提供的技术方案，下面先对技术方案实现的技术环境进行说明。
相关技术中比较常用的对抗检测方法，主要包括将输入深度神经网络模型的输入对象(例如，输入图像)输入至分类器得到输入对象是否为对抗对象(例如对抗图像)的结果，然而由于分类器存在准确率低、泛化能力较差的问题，因此相关技术中亟需一种能够提高对抗检测的准确性及泛化性的对抗检测方式。
基于类似于上文所述的实际技术需求，本申请提供的对抗检测方法可以利用技术化的手段提高对抗检测的准确性及泛化性。
下面通过两个示例性的业务场景具体说明本申请各个实施例提供的对抗检测方法。
场景一
在一个场景中，如图1所示，数据采集装置11可以采集数据，例如图像数据、文本数据、语音数据等，可以理解的是数据类型不同数据采集装置的具体类型可以与数据类型对应，例如对于图像数据数据采集装置11例如可以为摄像头。数据采集装置11采集到的数据可以作为输入对象输入到深度神经网络(Deep Neural Networks，DNN)模型12中进行处理。
需要说明的是，在实际应用中，所述输入对象具体可以为能够基于深度神经网络模型对其进行分类的任意类型对象。以深度神经网络模型进行图像分类为例，输入对象具体可以为输入图像；以深度神经网络模型进行语音分类为例，输入对象具体可以为输入语音；以深度神经网络模型进行文本分类为例，输入对象具体可以为输入文本。深度神经网络模型12可以完成输入对象的分类，以获得输入对象的分类结果。
以深度神经网络模型12进行图像分类为例，假设深度神经网络模型12能够识别的图像类别包括猫类别、狗类别和鸟类别，则当输入图像为非对抗图像(以下记为正常图像)且为人眼观察的猫图像情况下，经深度神经网络模型12处理后可以得到猫类别的分类结果；当输入图像为对抗图像且为人眼观察的猫图像情况下，经深度神经网络模型12处理后会得到非猫类别的分类结果，例如狗分类或鸟分类的分类结果。可以看出，在输入图像为对抗图像情况下，经深度神经网络处理所得到的分类结果与人眼观察结果不一致，从而会造成一定的安全隐患，例如深度神经网络模型用于自动驾驶系统场景下，会存在无法识别弯道、交通牌等的问题。当然，在其他实施例中，图像类别还可以为其他形式，本申请对此不做限定。
以深度神经网络模型12进行文本分类为例，假设深度神经网络模型12能够识别的文本类别包括不包含侮辱性词语的正常类别和包含侮辱性词语的异常类别，则当输入文本为非对抗文本且包含侮辱性词语的文本情况下，经深度神经网络模型12处理后可以得到异常类别的分类结果；当输入文本为对抗文本且包含侮辱性词语的文本情况下，经深度神经网络模型12处理后会得到正常类别的分类结果。可以看出，在输入文本为对抗文本情况下，经深度神经网络处理所得到的分类结果与其实际类别不一致。当然，在其他实施例中，文本类别还可以为其他形式，本申请对此不做限定。
以深度神经网络模型12进行语音分类为例，假设深度神经网络模型12能够识别的文本类别包括是用户语音的用户类别和不是用户语音的非用户类别，则当输入语音为非对抗语音且不包括用户的语音数据情况下，经深度神经网络模型12处理后可以得到非用户类别的分类结果；当输入语音为对抗语音且不包括用户的语音数据情况下，经深度神经网络模型12处理后会得到用户类别的分类结果。可以看出，在输入语音为对抗语音情况下，经深度神经网络处理所得到的分类结果与其实际类别不一致。当然，在其他实施例中，语音类别还可以为其他形式，本申请对此不做限定。
因此，需要对输入神经网络模型12的输入对象进行检测，确定其是对抗对象还是正常对象，以确定深度神经网络模型12的分类结果是否可信。
如图1所示，深度神经网络模块12可以包括特征提取网络，用于提取输入对象的特征数据，进一步的，深度神经网络模型12还可以包括分类网络，用于基于特征提取网络提取到的输入对象的特征数据得到输入对象的分类结果。在将输入对象输入深度神经网络12之后，对抗检测装置13可以基于深度神经网络模型12处理输入对象的中间数据，即特征提取网络提取出的输入对象的特征数据，采用本申请实施例提供的对抗检测方法进行处理，以得到输入对象的检测结果，该检测结果能够表征输入对象是对抗对象还是正常对象。
对抗检测装置13在获得输入对象的特征数据之后，可以从预设对象库中确定出与输入对象的特征数据相似的前多个目标对象，预设对象库中包括深度神经网络模型12能够识别的多个类别的对象，并根据多个目标对象，确定输入对象的检测结果。以输入对象的类别为图像为例，假设深度神经网络模型能够识别的多个类别包括猫类别、狗类别和鸟类别，则预设对象库中可以包括猫类别、狗类别和鸟类别的图像。发明人发现输入对象是对抗对象时与输入对象是正常对象时，所述输入对象的前多个目标对象的整体特征之间存在差异，因此可以基于输入对象的多个目标对象确定输入对象的检测结果，对输入对象的检测不受限于特定对抗样本的特征，因此能够提高准确性及泛化性。
可以理解的是，在输入对象为输入图像情况下，预设对象库具体可以为预设图像库，该预设图像库中包括深度神经网络模型12能够识别的多个类别的图像，前多个目标对象具体可以为前多个目标图像；在输入对象为输入语音情况下，预设对象库具体可以为预设语音库，该预设语音库中包括深度神经网络模型12能够识别的多个类别的语音，前多个目标对象具体可以为前多个目标语音；在输入对象为输入文本情况下，预设对象库具体可以为预设文本库，该预设文本库中包括深度神经网络模型12能够识别的多个类别的文本，前多个目标对象具体可以为前多个目标文本。对抗对象具体可以为对抗图像、对抗语音或对抗文本等。
在得到输入对象的检测结果之后，当检测结果表征输入对象是正常对象时，可以表示深度神经网络模型12当前未受到对抗攻击，深度神经网络模型12针对输入对象的分类结果可信，进一步的可以基于输入对象的分类结果进行进一步处理，例如，以图像分类为例对于自动驾驶汽车可以基于输入图像的分类结果进行驾驶控制处理。当检测结果表征输入对象是对抗对象时，可以表示深度神经网络模型12当前受到对抗攻击，深度神经网络模型12针对输入对象的分类结果不可信，进一步的可以不基于输入对象的分类结果进行进一步控制处理，基于此可以将输入对象的分类结果丢弃。
场景二
在另一个场景中，如图2所示，数据接收装置14可以接收其他设备15的数据采集装置采集到数据，例如图像数据、文本数据、语音数据等，数据接收装置14可以将接收到的数据作为输入对象输入到深度神经网络模型12中进行处理。
与图1类似，深度神经网络模型12可以包括特征提取网络和分类网络，在将输入对象输入深度神经网络12之后，对抗检测装置13可以基于深度神经网络模型12处理输入对象的中间数据，即特征提取网络提取出的输入对象的特征数据，采用本申请实施例提供的对抗检测方法进行处理，以得到输入对象的检测结果，该检测结果能够表征输入对象是对抗对象还是正常对象。
在对抗检测装置13得到输入对象的检测结果之后，在检测结果表征输入对象是正常对象情况下，可以将深度神经网络模型12针对输入对象的分类结果通过数据发送装置16返回给其他设备15，使得其他设备15可以获知正常对象的分类结果，以便其他设备15可以基于分类结果进行进一步处理。在检测结果表征输入对象是对抗对象情况下，对抗检测装置13可以将深度神经网络模型12针对输入对象的分类结果丢弃，而不将其通过数据发送装置16返回给其他设备，以确保其他设备15获取到的分类结果均为深度神经网络模型未受到对抗攻击所得到的分类结果。
需要说明的是，图1-图2所示的应用场景仅为本申请提供的对抗检测方法的场景举例，并不作为限制。本申请提供的对抗检测方法可以应用于任意基于深度神经网络模型进行对象分类的场景。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
需要说明的是，为了便于说明，图3中主要以输入图像作为输入对象为例进行说明。
图3为本申请一实施例提供的对抗检测方法的流程示意图，如图3所示，本实施例的方法可以包括：
步骤301，在深度神经网络模型处理输入图像的过程中，获取所述深度神经网络模型处理得到的所述输入图像的特征数据；
步骤302，从预设图像库中确定出与所述输入图像的特征数据相似的前多个目标图像；所述预设图像库中包括所述深度神经网络模型能够识别的多个类别的图像；
步骤303，根据所述多个目标图像，确定所述输入图像的检测结果。
本申请实施例中，所述深度神经网络模型可以用于识别所述输入图像的分类结果。所述深度神经网络模型处理所述输入图像的过程中，可以先提取所述输入图像的特征数据，然后基于所述输入图像的特征数据对所述输入图像进行分类，以获得所述输入图像的最终处理结果，即分类结果。基于此，可以通过获取所述深度神经网络模型的中间处理数据的方式，获得所述输入图像的特征数据。可选的，为了便于后续计算，所述输入图像的特征数据具体可以为通过对输入图像的特征图像进行特征嵌入(feature embedding)得到的所述输入图像的特征向量。
在获得所述输入图像的特征数据之后，可以从预设图像库中确定出与所述输入图像的特征数据相似的前K个目标图像，K为大于1的整数。其中，所述预设图像库中包括所述深度神经网络模型能够识别的多个类别的图像。所述预设图像库中各类别图像的个数可以大于K，通过各类别图像的个数大于K，使得在所述输入图像为正常图像情况下，从预设图像库中确定出的K个目标图像的类别能够与输入图像相同，以确保检测结果的准确性。示例性的，可以预先确定出所述预设图像库中各图像的特征数据，通过预先确定预设图像库中图像的特征数据，能够减少确定前K个目标图像的计算量，有利于减少确定前K个目标图像的耗时。
本申请实施例中，所述预设图像库中图像的特征数据可以基于所述深度神经网络模型获得，通过基于所述深度神经网络模型获得，使得提取所述输入图像的特征数据的提取方式，与提取所述预设图像库中图像的特征数据的提取方式能够相同，能够避免由于提取方式不相同带来的特征数据的差异。
基于所述输入图像的特征数据以及所述预设图像库中各图像的特征数据，可以从所述预设图像库中确定出与所述输入图像的特征数据相似的前K个目标图像。在所述特征数据为特征向量情况下，可以基于K最近邻(k-Nearest Neighbor，KNN)算法，从所述预设图像库中确定出在特征空间中与所述输入图像的特征数据距离最近的K个特征数据对应的图像，以得到所述K个目标图像。
本申请实施例中，在确定出所述K个目标图像之后，可以基于所述K个目标图像，确定所述输入图像的检测结果，所述检测结果用于表征所述输入图像是否为用于对所述深度神经网络模型进行对抗攻击的对抗图像。由于输入图像是对抗图像时与输入图像是正常图像时，其K个目标图像的整体特征存在差异，因此可以基于所述K个目标图像的目标信息的整体特征，确定所述输入图像的检测结果。其中，所述目标信息可以为能够表征正常图像和对抗图像的K个目标图像的整体特征差异的任意类型信息。
可选的，所述目标信息可以包括类别，在输入图像为正常图像时K个目标图像的类别的整体特征，与输入图像为对抗图像时K个目标图像的类别的整体特征存在如下差异：
1)当输入图像是正常图像时，可以表示输入图像的特征数据中包含了足够多的能够使得深度神经网络模型将其识别为正确类别的正确特征，因此基于输入图像的特征数据所确定出的K个目标图像的类别，可以与输入图像的正确类别一致，基于此，K个目标图像的类别的整体特征可以表现为K个目标图像的类别大概率与输入图像的正确类别相同。例如，当输入图像是猫类别的正常图像时，其K个目标图像的类别可以均为猫类别，或者K个目标图像中大部分图像的类别为猫类别。
2)当输入图像是对抗图像时，可以表示输入图像的特征数据中未包含足够多的能够使得深度神经网络模型将其识别为正确类别的正确特征，而是包含了较多的使得深度神经网络模型将其识别为错误类别的错误特征，因此基于输入图像的特征数据所确定出的K个目标图像的类别，无法与输入图像的正确类别一致，基于此，K个目标图像的类别的整体特征可以表现为K个目标图像的类别大概率与输入图像的错误类别相同，或者错误类别和正确类别的概率相当。例如，当输入图像是猫分类的对抗图像(例如，人眼观察是猫分类，但是输入到深度神经网络模型后的分类结果为狗分类)时，其K个目标图像中大部分图像的类别为狗类别，或者K个目标图像中一半图像的类别为狗类别，另一半图像的类别为猫类别。
可选的，所述目标信息可以包括特征数据在特征空间中与所述输入图像的特征数据之间的距离，在输入图像为正常图像时K个目标图像与输入图像的特征数据之间距离的整体特征，与输入图像为对抗图像时K个目标图像与输入图像的特征数据之间距离的整体特征存在如下差异：
1)当输入图像是正常图像时，由于基于输入图像的特征数据所确定出的K个目标图像的类别，可以与输入图像的正确类别一致，表现在特征空间中特征数据之间的距离时，可以表现为输入图像的特征数据与其K个目标图像的特征数据之间距离的差异比较小，基于此，K个目标图像的距离的整体特征可以表现为特征空间中，K个目标图像的特征数据相对于输入图像的特征数据聚集。
2)当输入图像是对抗图像时，由于基于输入图像的特征数据所确定出的K个目标图像的类别，无法与输入图像的正确类别一致，表现在特征空间中特征数据之间的距离时，可以表现为输入图像的特征数据与其K个目标图像的特征数据之间距离的差异比较大，基于此，K个目标图像的距离的整体特征可以表现为特征空间中，K个目标图像的特征数据相对于输入图像的特征数据分散。
本申请实施例中，为了简化实现，可以基于预先训练好的检测模型确定所述输入图像的检测结果。示例性的，所述根据所述输入图像和所述多个目标图像，确定所述输入图像的检测结果，具体可以包括：确定所述多个目标图像中各目标图像的目标信息；将所述输入图像以及所述多个目标图像的目标信息，以序列形式输入训练好的检测模型进行处理，得到所述输入图像的检测结果；其中，所述输入图像的目标信息为默认值。在一个实施例中，可以由序列中输入图像的目标信息对应的元素，在整个序列中的含义，体现出K个目标图像的整体特征，以实现基于K个目标图像的整体特征检测输入图像的类别。
可选的，所述目标信息还可以包括距离大小排序，检测模型能够基于序列中的元素信息获知K个目标图像的特征数据与输入图像的特征数据之间距离的大小排序，有利于简化实现。
本申请实施例中，所述检测模型可以包括序列到序列网络和分类网络；所述将所述输入图像以及所述多个目标图像的目标信息，以序列形式输入训练好的检测模型进行处理，得到所述输入图像的检测结果，具体可以包括：将所述输入图像以及所述多个目标图像的目标信息，以序列形式输入所述序列到序列网络进行处理，得到所述输入图像的目标信息与各目标图像的目标信息的关联关系；将所述关联关系输入所述分类网络进行处理，得到所述输入图像的检测结果。
其中，序列到序列网络的输入为一序列，输出为另一序列，序列到序列网络的输出序列中的元素可以与序列到序列网络的输入序列中的元素对应。如图4所示，输入图像的目标信息以及K个目标图像中各目标图像的目标信息，均可以理解为输入序列中的不同元素。参照图4，在将输入序列输入到序列网络进行处理之后，可以得到输出序列中的各元素，其中输出序列中的元素与输入序列中的元素对应，输出序列中的元素用于表征输入序列中对应元素在整个序列中的含义。进一步的，可以基于输出序列中对应输入图像的元素A1在整个序列中的含义，也即所述输入图像的目标信息与各目标图像的目标信息的关联关系，确定所述输入图像的检测结果。需要说明的是，图4中将输入图像的目标信息对应元素作为序列的第一个元素的方式仅为举例，具体可以根据需求灵活实现。
可选的，所述序列到序列网络可以包括第一子网络，用于根据序列形式的所述输入图像以及所述多个目标图像的目标信息，确定所述输入图像和所述多个目标图像中各图像的目标信息与其他图像的目标信息分别的第一关联关系。如图5所示，第一子网络可以基于输入图像的目标信息以及目标图像1-目标图像K的目标信息，确定出输入图像的目标信息与K个目标图像分别的第一关联关系R0，目标图像1与输入图像以及其他K-1个目标图像分别的第一关联关系R1，目标图像2与输入图像以及其他K-1个目标图像分别的第一关联关系R2，……，目标图像K与输入图像以及其他K-1个目标图像分别的第一关联关系RK。其中，第一关联关系R0可以表示输入序列中输入图像的目标信息在整个序列中的含义，第二关联关系R1可以表示输入序列中目标图像1的目标信息在整个序列中的含义，……。需要说明的是，虽然第一子网络中确定第一关联关系R0、R1……的输入数据相同，但是由于其目的是确定序列中的不同元素在整个序列中的含义，因此其确定关联关系中具体的参数不同，从而得到的第一关联关系的结果也不相同。
基于此，所述将所述关联关系输入所述分类网络进行处理，得到所述输入图像的检测结果，具体可以包括：将所述输入图像的目标信息与其他图像的目标信息分别的第一关联关系输入所述分类网络进行处理，得到所述输入图像的检测结果。参照图5，可以将第一关联关系R0输入分类网络进行处理，得到所述输入图像的检测结果。
可选的，所述序列到序列网络还可以包括：第二子网络，用于根据各图像的第一关联关系，确定各图像的第一关联关系与其他图像的第一关联关系分别的第二关联关系。其中，一图像的第一关联关系为所述第一子网络确定的该图像的目标信息与其他图像的目标信息分别的第一关联关系。如图6所示，第二子网络可以基于第一关联关系R0、R1、R2……RK，确定出输入图像的第一关联关系R0与K个目标图像的第一关联关系R1、R2……RK分别的第二关联关系R0’，目标图像1的第一关联关系R1与其他K个图像的第一关联关系R0、R2……RK分别的第二关联关系R1’，目标图像2的第一关联关系R2与其他K个图像的第一关联关系R0、R1……RK分别的第二关联关系R2’，……目标图像K的第一关联关系RK与其他K个图像的第一关联关系R0、R1……RK-1分别的第二关联关系RK’。其中，第二关联关系R0’可以表示输入序列中输入图像的目标信息在整个序列中的含义，第二关联关系R1’可以表示输入序列中目标图像1的目标信息在整个序列中的含义，……。需要说明的是，虽然第二子网络中确定第一关联关系R0’、R1’……的输入数据相同，但是由于其目的是确定序列中的不同元素在整个序列中的含义，因此其确定关联关系中具体的参数不同，从而得到的第二关联关系的结果也不相同。
基于此，所述将所述关联关系输入所述分类网络进行处理，得到所述输入图像的检测结果，具体可以包括：将所述输入图像的第一关联关系与其他图像的第一关联关系分别的第二关联关系输入所述分类模型进行处理，得到所述输入图像的检测结果。参照图6，可以将第二关联关系R0’输入分类网络进行处理，得到所述输入图像的检测结果。
基于所述检测模型所得到的所述输入图像的检测结果可以为所述输入图像是正常图像或者对抗图像的概率。在输入图像的检测结果为所述输入图像是正常图像的概率情况下，当概率大于一概率阈值时，可以表示所述输入图像是正常图像，当概率小于该概率阈值时，可以表示所述输入图像是对抗图像。在输入图像的检测结果为所述输入图像是对抗图像的概率情况下，当概率大于一概率阈值时，可以表示所述输入图像是对抗图像，当概率小于该概率阈值时，可以表示所述输入图像是正常图像。
本申请实施例中，在得到所述输入图像的检测结果之后，可选的，可以基于所述检测结果进行进一步的控制处理，以提高神经网络模型针对对抗攻击的防御性，降低对抗攻击带来的风险。示例性的，在所述检测结果表征所述输入图像是对抗图像的情况下，丢弃所述深度神经网络模型针对所述输入图像的最终处理结果。
本申请实施例中，所述序列到序列网络例如可以为Transformer网络，当然，在其他实施例中所述序列到序列网络具体还可以为其他结构网络。以Transformer网络为例，本申请实施例提供的对抗检测方法的原理框图可以如图7所示。
参考图7，首先，输入图像输入深度神经网络模型，经深度神经网络模型进行处理的过程中，可以得到输入图像的特征向量。在得到输入图像的特征向量之后可以基于KNN算法进行查找，以从预设图像库中找到K个目标图像，例如虚线圆圈中除中心圆点之外其他圆点对应的5个图像。在确定K个目标图像之后，可以按照与输入图像的特征数据之间的距离由小至大的顺序确定输入图像以及K个目标图像的目标信息在序列中的位置，如图7所示，输入图像CLS排在序列中的第一个位置，K个目标图像按照距离由大至小的顺序记为NN1、NN2、NN3、……NNK依次排在序列中的第二个、第三个、……第K+1个位置。
在确定各图像的序列位置之后，可以确定作为序列元素的各图像的目标信息，如图7所示，各图像的目标信息可以包括三个信息，分别为嵌入(embedding)形式的距离、类别以及距离大小排序，即距离、类别及距离大小排序均可以通过向量进行描述。
其中，输入图像的距离大小排序其嵌入形式可以记为向量E[0]，目标图像NN1的距离大小排序其嵌入形式可以记为向量E[1],目标图像NN2其距离大小排序的嵌入形式可以记为E[2]，……依次类推。E[1]、E[2]等的具体取值例如可以通过对实际排序进行扩充的方式得到，例如实际排序为序列的第一个位置，其嵌入形式可以为[1,1,1,1,1]。
输入图像的类别为默认值，其嵌入形式可以记为向量[zero]即[0]，例如可以为[0,0,0,0,0]。目标图像NN1的类别其嵌入形式可以记为向量E[y1],目标图像NN2其类别的嵌入形式可以记为E[y2]，……依次类推。E[y1]、E[y2]等的具体取值可以根据目标图像的具体类别以及训练好的序列到序列网络中不同类别的向量表示形式确定。
输入图像的特征数据到自身的距离为默认值，其嵌入形式可以记为向量[zero]即[0]，例如可以为[0,0,0,0,0]。目标图像NN1的特征数据与输入图像的特征数据之间的距离其嵌入形式可以记为向量E[CLS-NN1],目标图像NN2的特征数据与输入图像的特征数据之间的距离其嵌入形式可以记为向量E[CLS-NN2]，……依次类推。E[CLS-NN1]、E[CLS-NN2]等的具体取值例如可以通过对实际距离进行扩充的方式得到，例如实际距离为0.1，其嵌入形式可以为[0.1,0.1,0.1,0.1,0.1]。
至此，输入图像以及K个目标图像的目标信息可以组成如图7所示的输入序列，如图7所示，将输入序列输入到transformer网络(简称T网络)之后，可以得到T网络针对输入序列中各元素的输出结果，最后分类网络可以基于T网络针对输入序列中第一个元素即输入图像对应元素的输出结果得到输入图像的检测结果。
本申请实施例中，所述检测模型利用多个样本图像的样本目标图像的目标信息训练得到，其中，所述多个样本图像包括正常样本图像(Xcln)和对抗样本图像(Xadv)，正常样本图像和对抗样本图像可以对应不同的标签，例如，正常样本图像可以为负样本，对抗样本图像可以为正样本。
在一个实施例中，可以基于正常样本图像生成对抗样本图像，示例性的，可以基于预设算法对正常样本图像进行处理，以得到对抗样本图像，当然也可通过其他方式实现基于正常样本图像生成对抗样本图像，本申请对此不做限定。
可选的，所述多个样本图像还可以包括噪声样本图像(Xnis)，示例性的，可以通过在正常样本图像上加噪声的方式，生成噪声样本图像。通过所述噪声样本图像，可以避免将受到噪声影响的图像识别为对抗图像，造成误识别的问题。
在获得所述多个样本图像之后，可以基于所述深度神经网络模型，分别获得所述多个样本图像的特征数据。由于检测模型是基于输入所述深度神经网络模型的输入图像进行检测的，因此基于深度神经网络模型获得多个样本的特征数据，能够使得对检测模型进行训练的过程中图像特征数据的提取方式，与使用检测模型进行预测的过程中图像特征数据的提取方式能够相同，有利于提高检测模型的准确性。其中，正常样本图像(Xcln)的特征数据可以记为对抗样本图像(Xadv)的特征数据可以记为/>噪声样本图像(Xnis)的特征数据可以记为/>
在获得多个样本图像中各样本图像的特征数据之后，可以针对各样本图像，从样本库中确定出与其特征数据相似的前K个样本目标图像，所述样本库中包括所述深度神经网络模型能够识别的多个类别的图像。在一个实施例中，假设样本库中Xc中的图像包括可以基于所述深度神经网络模型确定其对应的特征数据库为基于此，可以基于特征数据库查询出与样本图像的特征数据相似的前K个样本目标图像。需要说明的是，样本库中的图像可以为正常样本图像，或者可以为正常样本图像之外的其他图像，本申请对此不做限定。
在确定所述多个样本图像的样本目标图像之后，可以确定所述样本目标图像的目标信息，关于目标信息以及确定一图像的目标信息的具体方式可以参见前述相关描述，在此不再赘述。
在进行模型训练之前，还可以构建检测模型，所述检测模型中设置有训练参数；然后，可以分别将所述多个样本图像及其样本目标图像的目标信息，以序列形式输入所述检测模型中，生成预测结果；其中，所述样本图像的目标信息为默认值。在一个实施例中，所述预测结果可以包括输入的样本图像是对抗图像或正常图像的概率。最后，可以基于所述预测结果与所述样本图像的标签对应的期望结果之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
通过本申请实施例提供的对抗检测方法，在深度神经网络模型处理输入图像的过程中，获取所述深度神经网络模型处理得到的所述输入图像的特征数据，从预设图像库中确定出与所述输入图像的特征数据相似的前多个目标图像，并根据所述多个目标图像，确定所述输入图像的检测结果，实现了基于预设图像库中与输入图像最相似的多个目标图像确定用于表征输入图像是正常图像还是对抗图像的检测结果，由于输入图像是对抗图像时与输入图像是正常图像时，其多个目标图像的整体特征之间存在差异，并且该差异不会受限于特定对抗样本的特征，因此针对输入图像为不同类型对抗图像的场景，基于对应的多个目标图像均能够准确的确定出输入图像的检测结果，从而提高了对抗检测的准确性及泛化性。
图8为本申请另一实施例提供的对抗检测方法的流程示意图，如图8所示，本实施例的方法可以包括：
步骤801，在深度神经网络模型处理输入对象的过程中，获取所述深度神经网络模型处理得到的所述输入对象的特征数据；
步骤802，从预设对象库中确定出与所述输入对象的特征数据相似的前多个目标对象；所述预设对象库中包括所述深度神经网络模型能够识别的多个类别的对象；
步骤803，根据所述多个目标对象，确定所述输入对象的检测结果。
本申请实施例中，所述输入对象具体可以为能够基于深度神经网络模型对其进行分类的任意类型对象。以深度神经网络模型进行图像分类为例，输入对象具体可以为输入图像；以深度神经网络模型进行语音分类为例，输入对象具体可以为输入语音；以深度神经网络模型进行文本分类为例，输入对象具体可以为输入文本。
可选的，所述根据所述多个目标对象，确定所述输入对象的检测结果，具体可以包括：确定所述多个目标对象中各目标对象的目标信息；
将所述输入对象以及所述多个目标对象的目标信息，以序列形式输入训练好的检测模型进行处理，得到所述输入对象的检测结果；其中，所述输入对象的目标信息为默认值。
可选的，所述目标信息包括：类别和/或特征数据在特征空间中与所述输入对象的特征数据之间的距离。
可选的，所述检测模型包括序列到序列网络和分类网络；
所述将所述输入对象以及所述多个目标对象的目标信息，以序列形式输入训练好的检测模型进行处理，得到所述输入对象的检测结果，包括：
将所述输入对象以及所述多个目标对象的目标信息，以序列形式输入所述序列到序列网络进行处理，得到所述输入对象的目标信息与各目标对象的目标信息的关联关系；
将所述关联关系输入所述分类网络进行处理，得到所述输入对象的检测结果。
可选的，所述序列到序列网络包括第一子网络，用于根据序列形式的所述输入对象以及所述多个目标对象的目标信息，确定所述输入对象和所述多个目标对象中各对象的目标信息与其他对象的目标信息分别的第一关联关系。
可选的，所述将所述关联关系输入所述分类网络进行处理，得到所述输入对象的检测结果，包括：
将所述输入对象的目标信息与其他对象的目标信息分别的第一关联关系输入所述分类网络进行处理，得到所述输入对象的检测结果。
可选的，所述序列到序列网络还包括：第二子网络，用于根据各对象的第一关联关系，确定各对象的第一关联关系与其他对象的第一关联关系分别的第二关联关系；
其中，一对象的第一关联关系为所述第一子网络确定的该对象的目标信息与其他对象的目标信息分别的第一关联关系。
可选的，所述将所述关联关系输入所述分类网络进行处理，得到所述输入对象的检测结果，包括：
将所述输入对象的第一关联关系与其他对象的第一关联关系分别的第二关联关系输入所述分类模型进行处理，得到所述输入对象的检测结果。
可选的，所述检测模型是按照如下方式训练得到：
分别确定多个样本对象的样本目标对象的目标信息；所述样本对象包括正常样本对象和对抗样本对象；
构建检测模型，所述检测模型中设置有训练参数；
分别将所述多个样本对象及其样本目标对象的目标信息，以序列形式输入所述检测模型中，生成预测结果；其中，所述样本对象的目标信息为默认值；
基于所述预测结果与所述样本对象的标签对应的期望结果之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
可选的，所述方法还包括：
在所述检测结果表征所述输入对象是对抗对象的情况下，丢弃所述深度神经网络模型针对所述输入对象的最终处理结果。
可选的，所述输入对象包括下述中的任意一种：对抗图像、对抗语音或对抗文本。
需要说明的是，本实施例中，在输入对象为输入图像之外其他类型对象情况下其对抗检测的具体实现方式，与前述图3所示实施例中针对输入图像的对抗检测的具体实现方式类似，具体内容可以参见图3所示实施例的相关内容，在此不再赘述。
通过本申请实施例提供的对抗检测方法，在深度神经网络模型处理输入对象的过程中，获取所述深度神经网络模型处理得到的所述输入对象的特征数据，从预设对象库中确定出与所述输入对象的特征数据相似的前多个目标对象，并根据所述多个目标对象，确定所述输入对象的检测结果，实现了基于预设对象库中与输入对象最相似的多个目标对象确定用于表征输入对象是正常对象还是对抗对象的检测结果，由于输入对象是对抗对象时与输入对象是正常对象时，其多个目标对象的整体特征之间存在差异，并且该差异不会受限于特定对抗样本的特征，因此针对输入对象为不同类型对抗对象的场景，基于对应的多个目标对象均能够准确的确定出输入对象的检测结果，从而提高了对抗检测的准确性及泛化性。
图9为本申请一实施例提供的对抗检测装置的结构示意图；参考附图9所示，本实施例提供了一种对抗检测装置，该装置可以执行上述图3所示的对抗检测方法，具体的，该装置可以包括：
获取模块91，用于在深度神经网络模型处理输入图像的过程中，获取所述深度神经网络模型处理得到的所述输入图像的特征数据；
图像确定模块92，用于从预设图像库中确定出与所述输入图像的特征数据相似的前多个目标图像；所述预设图像库中包括所述深度神经网络模型能够识别的多个类别的图像；
结果确定模块93，用于根据所述多个目标图像，确定所述输入图像的检测结果。
可选的，结果确定模块93，具体用于：
确定所述多个目标图像中各目标图像的目标信息；
将所述输入图像以及所述多个目标图像的目标信息，以序列形式输入训练好的检测模型进行处理，得到所述输入图像的检测结果；其中，所述输入图像的目标信息为默认值。
可选的，所述目标信息包括：类别和/或特征数据在特征空间中与所述输入图像的特征数据之间的距离。
可选的，所述目标信息还包括距离大小排序。
可选的，所述检测模型包括序列到序列网络和分类网络；
所述结果确定模块93，具体用于：
将所述输入图像以及所述多个目标图像的目标信息，以序列形式输入所述序列到序列网络进行处理，得到所述输入图像的目标信息与各目标图像的目标信息的关联关系；
将所述关联关系输入所述分类网络进行处理，得到所述输入图像的检测结果。
可选的，所述序列到序列网络包括第一子网络，用于根据序列形式的所述输入图像以及所述多个目标图像的目标信息，确定所述输入图像和所述多个目标图像中各图像的目标信息与其他图像的目标信息分别的第一关联关系。
可选的，所述结果确定模块93，用于将所述关联关系输入所述分类网络进行处理，得到所述输入图像的检测结果，具体包括：
将所述输入图像的目标信息与其他图像的目标信息分别的第一关联关系输入所述分类网络进行处理，得到所述输入图像的检测结果。
可选的，所述序列到序列网络还包括：第二子网络，用于根据各图像的第一关联关系，确定各图像的第一关联关系与其他图像的第一关联关系分别的第二关联关系；
其中，一图像的第一关联关系为所述第一子网络确定的该图像的目标信息与其他图像的目标信息分别的第一关联关系。
可选的，所述结果确定模块93，用于所述将所述关联关系输入所述分类网络进行处理，得到所述输入图像的检测结果，具体包括：
将所述输入图像的第一关联关系与其他图像的第一关联关系分别的第二关联关系输入所述分类模型进行处理，得到所述输入图像的检测结果。
可选的，所述检测模型是按照如下方式训练得到：
分别确定多个样本图像的样本目标图像的目标信息；所述样本图像包括正常样本图像和对抗样本图像；
构建检测模型，所述检测模型中设置有训练参数；
分别将所述多个样本图像及其样本目标图像的目标信息，以序列形式输入所述检测模型中，生成预测结果；其中，所述样本图像的目标信息为默认值；
基于所述预测结果与所述样本图像的标签对应的期望结果之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
可选的，所述检测模型的训练方式还包括：
根据所述正常样本图像，生成所述对抗样本图像，以得到所述多个样本图像；
基于所述深度神经网络模型，分别获得所述多个样本图像的特征数据；
针对所述多个样本图像中的各样本图像，从样本库中确定出与其特征数据相似的前多个样本目标图像；所述样本库中包括所述深度神经网络模型能够识别的多个类别的图像。
可选的，所述检测模型的训练方式还包括：通过在所述正常样本图像上加噪声的方式，生成噪声样本图像；所述样本图像还包括所述噪声样本图像。
可选的，所述结果确定模块93，还用于在所述检测结果表征所述输入图像是对抗图像的情况下，丢弃所述深度神经网络模型针对所述输入图像的最终处理结果。
图9所示装置可以执行图3所示实施例的方法，本实施例未详细描述的部分，可参考对图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图3所示实施例中的描述，在此不再赘述。
在一个可能的实现中，图9所示装置的结构可实现为一计算机设备。如图10所示，该计算机设备可以包括：处理器101和存储器102。其中，存储器102用于存储支持计算机设备执行上述图3所示实施例中提供的对抗检测方法的程序，处理器101被配置为用于执行存储器102中存储的程序。
程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器91执行时能够实现如下步骤：
在深度神经网络模型处理输入图像的过程中，获取所述深度神经网络模型处理得到的所述输入图像的特征数据；
从预设图像库中确定出与所述输入图像的特征数据相似的前多个目标图像；所述预设图像库中包括所述深度神经网络模型能够识别的多个类别的图像；
根据所述多个目标图像，确定所述输入图像的检测结果。
可选的，处理器101还用于执行前述图3所示实施例中的全部或部分步骤。
其中，计算机设备的结构中还可以包括通信接口103，用于计算机设备与其他设备或通信网络通信。
图11为本申请另一实施例提供的对抗检测装置的结构示意图；参考附图11所示，本实施例提供了一种对抗检测装置，该装置可以执行上述图8所示的对抗检测方法，具体的，该装置可以包括：
获取模块111，用于在深度神经网络模型处理输入对象的过程中，获取所述深度神经网络模型处理得到的所述输入对象的特征数据；
对象确定模块112，用于从预设对象库中确定出与所述输入对象的特征数据相似的前多个目标对象；所述预设对象库中包括所述深度神经网络模型能够识别的多个类别的对象；
结果确定模块113，用于根据所述多个目标对象，确定所述输入对象的检测结果。
可选的，所述结果确定模块113，用于根据所述多个目标对象，确定所述输入对象的检测结果，具体包括：
确定所述多个目标对象中各目标对象的目标信息；
将所述输入对象以及所述多个目标对象的目标信息，以序列形式输入训练好的检测模型进行处理，得到所述输入对象的检测结果；其中，所述输入对象的目标信息为默认值。
可选的，所述目标信息包括：类别和/或特征数据在特征空间中与所述输入对象的特征数据之间的距离。
可选的，所述检测模型包括序列到序列网络和分类网络；
所述结果确定模块113，用于将所述输入对象以及所述多个目标对象的目标信息，以序列形式输入训练好的检测模型进行处理，得到所述输入对象的检测结果，具体包括：
将所述输入对象以及所述多个目标对象的目标信息，以序列形式输入所述序列到序列网络进行处理，得到所述输入对象的目标信息与各目标对象的目标信息的关联关系；
将所述关联关系输入所述分类网络进行处理，得到所述输入对象的检测结果。
可选的，所述序列到序列网络包括第一子网络，用于根据序列形式的所述输入对象以及所述多个目标对象的目标信息，确定所述输入对象和所述多个目标对象中各对象的目标信息与其他对象的目标信息分别的第一关联关系。
可选的，所述结果确定模块113，用于将所述关联关系输入所述分类网络进行处理，得到所述输入对象的检测结果，具体包括：
将所述输入对象的目标信息与其他对象的目标信息分别的第一关联关系输入所述分类网络进行处理，得到所述输入对象的检测结果。
可选的，所述序列到序列网络还包括：第二子网络，用于根据各对象的第一关联关系，确定各对象的第一关联关系与其他对象的第一关联关系分别的第二关联关系；
其中，一对象的第一关联关系为所述第一子网络确定的该对象的目标信息与其他对象的目标信息分别的第一关联关系。
所述结果确定模块113，用于将所述关联关系输入所述分类网络进行处理，得到所述输入对象的检测结果，具体包括：
将所述输入对象的第一关联关系与其他对象的第一关联关系分别的第二关联关系输入所述分类模型进行处理，得到所述输入对象的检测结果。
可选的，所述检测模型是按照如下方式训练得到：
分别确定多个样本对象的样本目标对象的目标信息；所述样本对象包括正常样本对象和对抗样本对象；
构建检测模型，所述检测模型中设置有训练参数；
分别将所述多个样本对象及其样本目标对象的目标信息，以序列形式输入所述检测模型中，生成预测结果；其中，所述样本对象的目标信息为默认值；
基于所述预测结果与所述样本对象的标签对应的期望结果之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
可选的，所述结果确定模块113，还用于：
在所述检测结果表征所述输入对象是对抗对象的情况下，丢弃所述深度神经网络模型针对所述输入对象的最终处理结果。
可选的，所述输入对象包括下述中的任意一种：对抗图像、对抗语音或对抗文本。
图11所示装置可以执行图8所示实施例的方法，本实施例未详细描述的部分，可参考对图8所示实施例的相关说明。该技术方案的执行过程和技术效果参见图8所示实施例中的描述，在此不再赘述。
在一个可能的实现中，图11所示装置的结构可实现为一计算机设备。如图12所示，该计算机设备可以包括：处理器121和存储器122。其中，存储器122用于存储支持计算机设备执行上述图8所示实施例中提供的对抗检测方法的程序，处理器121被配置为用于执行存储器122中存储的程序。
程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器121执行时能够实现如下步骤：
在深度神经网络模型处理输入对象的过程中，获取所述深度神经网络模型处理得到的所述输入对象的特征数据；
从预设对象库中确定出与所述输入对象的特征数据相似的前多个目标对象；所述预设对象库中包括所述深度神经网络模型能够识别的多个类别的对象；
根据所述多个目标对象，确定所述输入对象的检测结果。
可选的，处理器121还用于执行前述图8所示实施例中的全部或部分步骤。
其中，计算机设备的结构中还可以包括通信接口123，用于计算机设备与其他设备或通信网络通信。
另外，本申请实施例提供了一种计算机存储介质，用于储存计算机设备所用的计算机软件指令，其包含用于执行上述图3所示方法实施例中对抗检测方法所涉及的程序。
本申请实施例提供了一种计算机存储介质，用于储存计算机设备所用的计算机软件指令，其包含用于执行上述图8所示方法实施例中对抗检测方法所涉及的程序。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对传统技术做出贡献的部分可以以计算机产品的形式体现出来，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器，使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (27)

1.一种对抗检测方法，其特征在于，所述方法包括：
在深度神经网络模型处理输入图像的过程中，获取所述深度神经网络模型处理得到的所述输入图像的特征数据；
从预设图像库中确定出与所述输入图像的特征数据相似的前多个目标图像；所述预设图像库中包括所述深度神经网络模型能够识别的多个类别的图像；
根据所述多个目标图像，确定所述输入图像的检测结果，所述检测结果用于表征所述输入图像是对抗图像还是正常图像，在所述检测结果表征所述输入图像是正常图像时，表示所述深度神经网络模型所述输入图像的分类结果为可信，在所述检测结果表征所述输入图像是对抗图像时，表示所述深度神经网络模型针对所述输入图像的分类结果不可信。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多个目标图像，确定所述输入图像的检测结果，包括：
确定所述多个目标图像中各目标图像的目标信息；
将所述输入图像以及所述多个目标图像的目标信息，以序列形式输入训练好的检测模型进行处理，得到所述输入图像的检测结果；其中，所述输入图像的目标信息为默认值。
3.根据权利要求2所述的方法，其特征在于，所述目标信息包括：类别和/或特征数据在特征空间中与所述输入图像的特征数据之间的距离。
4.根据权利要求3所述的方法，其特征在于，所述目标信息还包括距离大小排序。
5.根据权利要求2所述的方法，其特征在于，所述检测模型包括序列到序列网络和分类网络；
所述将所述输入图像以及所述多个目标图像的目标信息，以序列形式输入训练好的检测模型进行处理，得到所述输入图像的检测结果，包括：
将所述输入图像以及所述多个目标图像的目标信息，以序列形式输入所述序列到序列网络进行处理，得到所述输入图像的目标信息与各目标图像的目标信息的关联关系；
将所述关联关系输入所述分类网络进行处理，得到所述输入图像的检测结果。
6.根据权利要求5所述的方法，其特征在于，所述序列到序列网络包括第一子网络，用于根据序列形式的所述输入图像以及所述多个目标图像的目标信息，确定所述输入图像和所述多个目标图像中各图像的目标信息与其他图像的目标信息分别的第一关联关系。
7.根据权利要求6所述的方法，其特征在于，所述将所述关联关系输入所述分类网络进行处理，得到所述输入图像的检测结果，包括：
将所述输入图像的目标信息与其他图像的目标信息分别的第一关联关系输入所述分类网络进行处理，得到所述输入图像的检测结果。
8.根据权利要求6所述的方法，其特征在于，所述序列到序列网络还包括：第二子网络，用于根据各图像的第一关联关系，确定各图像的第一关联关系与其他图像的第一关联关系分别的第二关联关系；
其中，一图像的第一关联关系为所述第一子网络确定的该图像的目标信息与其他图像的目标信息分别的第一关联关系。
9.根据权利要求8所述的方法，其特征在于，所述将所述关联关系输入所述分类网络进行处理，得到所述输入图像的检测结果，包括：
将所述输入图像的第一关联关系与其他图像的第一关联关系分别的第二关联关系输入所述分类模型进行处理，得到所述输入图像的检测结果。
10.根据权利要求2-8任一项所述的方法，其特征在于，所述检测模型是按照如下方式训练得到：
分别确定多个样本图像的样本目标图像的目标信息；所述样本图像包括正常样本图像和对抗样本图像；
构建检测模型，所述检测模型中设置有训练参数；
分别将所述多个样本图像及其样本目标图像的目标信息，以序列形式输入所述检测模型中，生成预测结果；其中，所述样本图像的目标信息为默认值；
基于所述预测结果与所述样本图像的标签对应的期望结果之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
11.根据权利要求10所述的方法，其特征在于，所述分别确定多个样本图像的样本目标图像的目标信息之前，还包括：
根据所述正常样本图像，生成所述对抗样本图像，以得到所述多个样本图像；
基于所述深度神经网络模型，分别获得所述多个样本图像的特征数据；
针对所述多个样本图像中的各样本图像，从样本库中确定出与其特征数据相似的前多个样本目标图像；所述样本库中包括所述深度神经网络模型能够识别的多个类别的图像。
12.根据权利要求11所述的方法，其特征在于，所述分别确定多个样本图像的样本目标图像的目标信息之前，还包括：通过在所述正常样本图像上加噪声的方式，生成噪声样本图像；所述样本图像还包括所述噪声样本图像。
13.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述检测结果表征所述输入图像是对抗图像的情况下，丢弃所述深度神经网络模型针对所述输入图像的最终处理结果。
14.一种对抗检测方法，其特征在于，所述方法包括：
在深度神经网络模型处理输入对象的过程中，获取所述深度神经网络模型处理得到的所述输入对象的特征数据，所述输入对象包括下述中的任意一种：对抗图像、对抗语音或对抗文本；
从预设对象库中确定出与所述输入对象的特征数据相似的前多个目标对象；所述预设对象库中包括所述深度神经网络模型能够识别的多个类别的对象；
根据所述多个目标对象，确定所述输入对象的检测结果，所述检测结果用于表征所述输入对象是对抗对象还是正常对象，在所述检测结果表征所述输入对象是正常对象时，表示所述深度神经网络模型对所述输入对象的分类结果为可信，在所述检测结果表征所述输入对象是对抗对象时，表示所述深度神经网络模型对所述输入对象的分类结果不可信。
15.根据权利要求14所述的方法，其特征在于，所述根据所述多个目标对象，确定所述输入对象的检测结果，包括：
确定所述多个目标对象中各目标对象的目标信息；
将所述输入对象以及所述多个目标对象的目标信息，以序列形式输入训练好的检测模型进行处理，得到所述输入对象的检测结果；其中，所述输入对象的目标信息为默认值。
16.根据权利要求15所述的方法，其特征在于，所述目标信息包括：类别和/或特征数据在特征空间中与所述输入对象的特征数据之间的距离。
17.根据权利要求15所述的方法，其特征在于，所述检测模型包括序列到序列网络和分类网络；
所述将所述输入对象以及所述多个目标对象的目标信息，以序列形式输入训练好的检测模型进行处理，得到所述输入对象的检测结果，包括：
将所述输入对象以及所述多个目标对象的目标信息，以序列形式输入所述序列到序列网络进行处理，得到所述输入对象的目标信息与各目标对象的目标信息的关联关系；
将所述关联关系输入所述分类网络进行处理，得到所述输入对象的检测结果。
18.根据权利要求17所述的方法，其特征在于，所述序列到序列网络包括第一子网络，用于根据序列形式的所述输入对象以及所述多个目标对象的目标信息，确定所述输入对象和所述多个目标对象中各对象的目标信息与其他对象的目标信息分别的第一关联关系。
19.根据权利要求18所述的方法，其特征在于，所述将所述关联关系输入所述分类网络进行处理，得到所述输入对象的检测结果，包括：
将所述输入对象的目标信息与其他对象的目标信息分别的第一关联关系输入所述分类网络进行处理，得到所述输入对象的检测结果。
20.根据权利要求18所述的方法，其特征在于，所述序列到序列网络还包括：第二子网络，用于根据各对象的第一关联关系，确定各对象的第一关联关系与其他对象的第一关联关系分别的第二关联关系；
其中，一对象的第一关联关系为所述第一子网络确定的该对象的目标信息与其他对象的目标信息分别的第一关联关系。
21.根据权利要求20所述的方法，其特征在于，所述将所述关联关系输入所述分类网络进行处理，得到所述输入对象的检测结果，包括：
将所述输入对象的第一关联关系与其他对象的第一关联关系分别的第二关联关系输入所述分类模型进行处理，得到所述输入对象的检测结果。
22.根据权利要求15-21任一项所述的方法，其特征在于，所述检测模型是按照如下方式训练得到：
分别确定多个样本对象的样本目标对象的目标信息；所述样本对象包括正常样本对象和对抗样本对象；
构建检测模型，所述检测模型中设置有训练参数；
分别将所述多个样本对象及其样本目标对象的目标信息，以序列形式输入所述检测模型中，生成预测结果；其中，所述样本对象的目标信息为默认值；
基于所述预测结果与所述样本对象的标签对应的期望结果之间的差异，对所述训练参数进行迭代调整，直至所述差异满足预设要求。
23.根据权利要求14所述的方法，其特征在于，所述方法还包括：
在所述检测结果表征所述输入对象是对抗对象的情况下，丢弃所述深度神经网络模型针对所述输入对象的最终处理结果。
24.一种对抗检测装置，其特征在于，所述装置包括：
获取模块，用于在深度神经网络模型处理输入图像的过程中，获取所述深度神经网络模型处理得到的所述输入图像的特征数据；
图像确定模块，用于从预设图像库中确定出与所述输入图像的特征数据相似的前多个目标图像；所述预设图像库中包括所述深度神经网络模型能够识别的多个类别的图像；
结果确定模块，用于根据所述多个目标图像，确定所述输入图像的检测结果，所述检测结果用于表征所述输入图像是对抗图像还是正常图像，在所述检测结果表征所述输入图像是正常图像时，表示所述深度神经网络模型对所述输入图像的分类结果为可信，在所述检测结果表征所述输入图像是对抗图像时，表示所述深度神经网络模型对所述输入图像的分类结果不可信。
25.一种对抗检测装置，其特征在于，所述装置包括：
获取模块，用于在深度神经网络模型处理输入对象的过程中，获取所述深度神经网络模型处理得到的所述输入对象的特征数据，所述输入对象包括下述中的任意一种：对抗图像、对抗语音或对抗文本；
对象确定模块，用于从预设对象库中确定出与所述输入对象的特征数据相似的前多个目标对象；所述预设对象库中包括所述深度神经网络模型能够识别的多个类别的对象；
结果确定模块，用于根据所述多个目标对象，确定所述输入对象的检测结果，所述检测结果用于表征所述输入对象是对抗对象还是正常对象，在所述检测结果表征所述输入对象是正常对象时，表示所述深度神经网络模型对所述输入对象的分类结果为可信，在所述检测结果表征所述输入对象是对抗对象时，表示所述深度神经网络模型对所述输入对象的分类结果不可信。
26.一种计算机设备，其特征在于，包括：存储器、处理器；所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如权利要求1至13中任一项所述的方法。
27.一种计算机设备，其特征在于，包括：存储器、处理器；所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如权利要求14至23中任一项所述的方法。
CN202010091216.9A 2020-02-13 2020-02-13 对抗检测方法、装置及设备 Active CN113255711B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010091216.9A CN113255711B (zh) 2020-02-13 2020-02-13 对抗检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010091216.9A CN113255711B (zh) 2020-02-13 2020-02-13 对抗检测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113255711A CN113255711A (zh) 2021-08-13
CN113255711B true CN113255711B (zh) 2024-05-28

Family

ID=77220072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010091216.9A Active CN113255711B (zh) 2020-02-13 2020-02-13 对抗检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113255711B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463951A (zh) * 2017-07-19 2017-12-12 清华大学 一种提高深度学习模型鲁棒性的方法及装置
CN108596338A (zh) * 2018-05-09 2018-09-28 四川斐讯信息技术有限公司 一种神经网络训练集的获取方法及其系统
CN109002562A (zh) * 2018-08-30 2018-12-14 北京信立方科技发展股份有限公司 一种仪器识别模型训练方法和装置及仪器识别方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106021364B (zh) * 2016-05-10 2017-12-12 百度在线网络技术（北京）有限公司 图片搜索相关性预测模型的建立、图片搜索方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463951A (zh) * 2017-07-19 2017-12-12 清华大学 一种提高深度学习模型鲁棒性的方法及装置
CN108596338A (zh) * 2018-05-09 2018-09-28 四川斐讯信息技术有限公司 一种神经网络训练集的获取方法及其系统
CN109002562A (zh) * 2018-08-30 2018-12-14 北京信立方科技发展股份有限公司 一种仪器识别模型训练方法和装置及仪器识别方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SenFact algorithm: Fact-checking by the confrontation of opinions;Edouard Ngor Sarr;IEEE;20180625;全文 *
基于卷积神经网络的图像分类技术研究与实现;王超;;电脑知识与技术;20161215(第35期);全文 *

Also Published As

Publication number Publication date
CN113255711A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN108090508B (zh) 一种分类训练方法、装置及存储介质
WO2019100723A1 (zh) 训练多标签分类模型的方法和装置
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
US10169683B2 (en) Method and device for classifying an object of an image and corresponding computer program product and computer-readable medium
CN108664526B (zh) 检索的方法和设备
US11443757B2 (en) Artificial sound source separation method and device of thereof
EP3136295A1 (en) Method and device for processing an image of pixels, corresponding computer program product and computer-readable medium
CN113408554A (zh) 数据处理方法、模型训练方法、装置及设备
CN112507912B (zh) 一种识别违规图片的方法及装置
EP4394723A1 (en) Label generation method and apparatus, image classification model method and apparatus, and image classification method and apparatus
CN115937596A (zh) 目标检测方法及其模型的训练方法、设备以及存储介质
CN117409419A (zh) 图像检测方法、设备及存储介质
CN117011616A (zh) 一种图像内容审核方法、装置、存储介质和电子设备
CN113902041A (zh) 目标检测模型的训练及身份验证方法和装置
CN113255711B (zh) 对抗检测方法、装置及设备
CN111950629A (zh) 对抗样本的检测方法、装置及设备
CN114067401A (zh) 目标检测模型的训练及身份验证方法和装置
CN118690365A (zh) 一种攻击检测方法及装置
US11599827B2 (en) Method and apparatus for improving the robustness of a machine learning system
CN118133231B (zh) 一种多模态数据处理方法和处理系统
CN110751197A (zh) 图片分类方法、图片模型训练方法及设备
CN111625672B (zh) 图像处理方法、装置、计算机设备及存储介质
KR101910083B1 (ko) 영상 처리 장치 및 방법
CN116977629A (zh) 语义分割模型训练方法、语义分割方法和装置
KR20240087443A (ko) 비지도 도메인 적응을 위한 객체 검색 모델의 트레이닝 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant