CN113808028B - 基于归因算法的对抗样本的检测方法和装置 - Google Patents

基于归因算法的对抗样本的检测方法和装置 Download PDF

Info

Publication number
CN113808028B
CN113808028B CN202010962276.3A CN202010962276A CN113808028B CN 113808028 B CN113808028 B CN 113808028B CN 202010962276 A CN202010962276 A CN 202010962276A CN 113808028 B CN113808028 B CN 113808028B
Authority
CN
China
Prior art keywords
image
tag information
prediction
attribution
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010962276.3A
Other languages
English (en)
Other versions
CN113808028A (zh
Inventor
吴发国
张筱
崔美华
姚望
郑志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202010962276.3A priority Critical patent/CN113808028B/zh
Publication of CN113808028A publication Critical patent/CN113808028A/zh
Application granted granted Critical
Publication of CN113808028B publication Critical patent/CN113808028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及基于归因算法的对抗样本的检测方法和装置，该方法包括：对输入的原始图像进行预处理，生成预处理图像；将所述预处理图像进行预测分类处理，获得原始预测标签信息；根据所述预处理图像和所述原始预测标签信息按照归因算法进行归因计算，计算所述预处理图像中每个像素点对应的归因值并生成显著图像；按照预定的比例删减与所述显著图像中归因值高的点对应的所述预处理图像中的像素点，生成经删减图像；将所述经删减图像进行修复处理，生成经修复图像；将所述经修复图像进行预测分类处理，获得后续预测标签信息；以及将所述原始预测标签信息与所述后续预测标签信息进行比较，并根据比较结果输出预测标签信息。

Description

基于归因算法的对抗样本的检测方法和装置
技术领域
本申请涉及图像识别领域，尤其涉及一种基于归因算法的对抗样本的检测方法和装置。
背景技术
目前，现有技术中存在一种较为成熟的基于归因算法的对抗样本检测方案，使用了DeepLIFT的归因算法，对输入图像生成显著图，并在原始图中进行对应部分删除，并观察删除前后图像经机器学习分类算法给出的标签是否相同来判断原图是否为对抗样本。
然而，近些年已有文献指出DeepLIFT算法本身存在完整性缺陷，对于某些特殊的神经网络模型会得出偏差较大的结果，导致检测方案在不同机器学习上的实现效果相差较大，可迁移性差。同时，图像处理中仅采用删除的操作同样对于正常图像有较大影响，导致检测方案整体的误报率也较高。
另一方面，目前的检测算法仅判断原始输入图像是否为正常图像，对于异常输入没有后续的处理操作。但在某些特殊场景，例如自动驾驶的路标识别场景下，我们需要算法能对受干扰的输入给出正确的分类，保证自动驾驶系统的安全性，目前已有的系统在这方面均处于空白状态。
发明内容
基于此，本申请提供了一种基于归因算法的对抗样本的检测方法和装置。根据本申请的方法和装置，所采用的完善的归因算法，适应大部分主流分类神经网络结构，提升系统整体的可迁移性；采用图像删除后进行图像修复的这种更优的图像处理方法，使得正常图像对于该处理是鲁棒的，大大降低系统的误报率，提升系统判断结果的可靠性；此外，对检测过程中的各个步骤或模块设计一定的流程模式，采用迭代的方式获取多个预测标签，使得异常对抗样本输入经过数轮操作后最终可以被正确分类，得到更为理想的标签输出。
根据本申请的第一个方面，提供一种基于归因算法的对抗样本的检测方法，其包括：
A.对输入的原始图像进行预处理，生成预处理图像；
B.将所述预处理图像进行预测分类处理，获得原始预测标签信息；
C.根据所述预处理图像和所述原始预测标签信息按照归因算法进行归因计算，计算所述预处理图像中每个像素点对应的归因值并生成显著图像；
D.按照预定的比例删减与所述显著图像中归因值高的点对应的所述预处理图像中的像素点，生成经删减图像；
E.将所述经删减图像进行修复处理，生成经修复图像；
F.将所述经修复图像进行预测分类处理，获得后续预测标签信息；以及
G.将所述原始预测标签信息与所述后续预测标签信息进行比较，并根据比较结果输出预测标签信息。
根据本申请的第二个方面，提供一种基于归因算法的对抗样本的检测装置，其包括：
预处理单元，用于对输入的原始图像进行预处理，生成预处理图像；
预测分类单元，用于将所述预处理图像进行预测分类处理，获得原始预测标签信息；
第一生成单元，用于根据所述预处理图像和所述原始预测标签信息按照归因算法进行归因计算，计算所述预处理图像中每个像素点对应的归因值并生成显著图像；
第二生成单元，用于按照预定的比例删减与所述显著图像中归因值高的点对应的所述预处理图像中的像素点，生成经删减图像；
第三生成单元，用于将所述经删减图像进行修复处理，生成经修复图像；
所述预测分类单元还用于将所述经修复图像进行预测分类处理，获得后续预测标签信息；以及
输出单元，用于将所述原始预测标签信息与所述后续预测标签信息进行比较，并根据比较结果输出预测标签信息。
根据本申请的第三个方面，提供一种电子设备，包括：
处理器；以及
存储器，存储有计算机指令，当所述计算机指令被所述处理器执行时，使得所述处理器执行第一方面所述的方法。
根据本申请的第四个方面，提供一种非瞬时性计算机存储介质，存储有计算机程序，当所述计算机程序被多个处理器执行时，使得所述处理器执行第一方面所述的方法。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图，而并不超出本申请要求保护的范围。
图1是根据本申请实施例的基于归因算法的对抗样本的检测方法的流程图。
图2是根据本申请实施例的基于归因算法的对抗样本的检测方法的流程方框图。
图3是根据本申请一个实施例的对图像进行预处理的示意图。
图4是根据本申请一个实施例的生成显著图像的示意图。
图5是根据本申请一个实施例的生成经删减图像的示意图。
图6是根据本申请一个实施例的生成经修复图像的示意图。
图7是根据本申请实施例的基于归因算法的对抗样本的检测装置的示意图。
图8是本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
根据本申请的一个方面，提供一种基于归因算法的对抗样本的检测方法。图1是根据本申请实施例的基于归因算法的对抗样本的检测方法的流程图。图2是根据本申请实施例的基于归因算法的对抗样本的检测方法的流程方框图。如图1所示，该方法包括如下步骤。
步骤S101，对输入的原始图像进行预处理，生成预处理图像。
在本步骤中，将原始图像文件作为输入，对其预处理操作，包括缩放、填充、剪裁、正则化操作中的一种护多种。其中，缩放操作需指定缩放后的大小；填充操作需指定填充后大小和填充值；剪裁操作包括随机剪裁、中央剪裁、指定位置剪裁三种模式；正则化操作需给定数据的均值和方差。
图3是根据本申请一个实施例的对图像进行预处理的示意图。如图3所示，原始图像I输入后，经预处理，先将其缩放为256*256像素大小，接着进行中心剪裁使大小变为224*224，最后进行正则化处理，在一个具体的实施例中，所使用的RGB平均值mean＝[0.485,0.456,0.406]、方差std＝[0.229,0.224,0.225]，最后，生成预处理图像I0。
经上述预处理过程后得到的预处理图像，可以满足后续处理的输入格式的要求，例如，满足后续预测分类处理过程中的输入格式要求。
步骤S102，将所述预处理图像进行预测分类处理，获得原始预测标签信息。
在该步骤中，对预处理图像进行预测分类处理，获得对该预处理图像的一个判断，即为该预处理图像打上一个预测标签信息。
在一个具体实施例中，采用预训练后的机器学习分类算法给出预测分类输出，即给出原始预测标签信息。
步骤S103，根据所述预处理图像和所述原始预测标签信息按照归因算法进行归因计算，计算所述预处理图像中每个像素点对应的归因值并生成显著图像。
步骤S103以步骤S101输出的预处理图像及步骤S102输出的原始预测标签信息作为输入，经过对预处理图像中每一个像素点进行归因计算生成显著图像。
在一个具体的实施例中，所采用的归因算法为积分梯度算法，计算公式如下：
其中，xi为每个像素点的值，xi'可以为人为选取的基底。积分梯度算法计算每个像素点从基底值到像素路径值上全部点的输出值相对于初始像素值梯度并积分，输出该像素点为标签提供的归因重要度，值越大代表该像素点的重要性越高。
上述归因算法，能够适应大部分主流分类神经网络结构，提升系统整体的可迁移性。
图4是根据本申请一个实施例的生成显著图像的示意图。如图4所示，以步骤S101的预处理图像I0和步骤S102的原始预测标签信息作为输入，基底取所有点RGB值均为(0,0,0)的黑色图，计算每个像素点的归因值，例如图4所示的预处理图像共50176个像素点，那么所计算的归因值有50176个。然后，根据每个像素点的归因值生成相对应的灰度显著图IH，其中每个像素点的灰度值对应了原图中该点的归因值。
在一个可选的实施例中，归因算法还可以采用其他算法，例如DeepLIFT算法。
步骤S104，按照预定的比例删减与所述显著图像中归因值高的点对应的所述预处理图像中的像素点，生成经删减图像。
在步骤S104中，以步骤S103生成的显著图像及步骤S101生成的预处理图像作为输入，根据目标任务的需求，按照一定的比例将显著图像中高归因值的点在预处理图像中删除对应位置的像素点。
具体来说，根据各像素点点归因值从大到小进行排序，即显著图中灰度的排序，在预处理图中按照一定比例删去高归因值对应的预处理图中的像素点。在一个具体实施例中，基底选取为黑色图，故删减操作即将对应像素点的RGB值也改为(0,0,0)的黑色。删减比例依据目标任务和数据集而变化，例如，这个比例可以为0.5％～1％，在一个优选的实施例中，删减比例为0.7％，最终输出删减后图像I0’。
图5是根据本申请一个实施例的生成经删减图像的示意图。如图5所示，根据预处理图像I0以及显著图像IH，根据0.7％的删减比例，获得经删减图像。
步骤S105，将所述经删减图像进行修复处理，生成经修复图像。
在步骤S105中，对经删减后的图像I0’进行修复操作。可以采用各种修复方案或技术对回复每个被删除的像素点。例如，可以采取局部平均池化法、小波图像修复法、基于图像块扩散的修复算法等，对缺失的RGB值进行填充。其中，对于局部平均池化法来说，根据不同的任务目标和数据类型，可以选取不同的卷积核大小，例如，所选择的卷积核大小可以为5。
图6是根据本申请一个实施例的生成经修复图像的示意图。如图6所示，所采用的修复为局部平均池化法，所选择的卷积核大小为5，将经删减后的图像I0’修复为经修复图像I1。
步骤S106，将所述经修复图像进行预测分类处理，获得后续预测标签信息。
将经修复后的图像I1进行重新预测分类处理，得到后续预测标签信息。步骤S106的处理过程与步骤S102的预测分类处理类似。
步骤S107，将所述原始预测标签信息与所述后续预测标签信息进行比较，并根据比较结果输出预测标签信息。
在步骤S107中，已经计算得到了一些预测标签信息，例如包括原始预测标签信息和后续预测标签信息等。原始预测标签信息以及后续预测标签信息各自表示对原始图像的预测分类以及经修复图像的预测分类。在本申请中，需要综合考虑获得的所有预测标签信息，使得对图像的预测分类更为准确。
根据本申请的一个具体实施例，仅考虑原始预测标签信息和后续预测标签信息，如果原始预测标签信息和后续预测标签信息相同，那么就将原始预测标签信息或后续预测标签信息作为结果进行输出。
这样，步骤S107具体体现为：在原始预测标签信息与后续预测标签信息相同的情况下，输出所述原始预测标签信息或所述后续预测标签信息。
上述情形考虑的是连续2个预测标签信息相同情况下，而且假设原始预测标签信息与后续预测标签信息相同的情况下，如何输出预测标签信息。然而，即便考虑的是连续两个预测标签信息相同情况下，如果原始预测标签信息与后续预测标签信息不相同，那么就需要重新迭代出一个更新的后续预测标签信息，然后比较后续预测标签信息与更新的后续预测标签信息是否相同，在相同的情况下就将后续预测标签信息或更新的后续预测标签信息作为结果输出，否则就要继续迭代，直至连续2个预测标签信息彼此相同。
进一步地，考虑的连续更多个(例如3个、4个、5个…)预测标签信息相同情况下，类似的，需要迭代出更新的后续预测标签信息，直至连续预定个数的预测标签信息彼此相同。
从而，在不满足连续预定个数的预测标签信息彼此相同的情况下，该基于归因算法的对抗样本的检测方法执行如下步骤：
步骤S1071，根据所述经修复图像和所述后续预测标签信息按照归因算法进行归因计算，计算所述经修复图像中每个像素点对应的归因值并生成更新显著图像；
步骤S1072，按照预定的比例删减与所述更新显著图像中归因值高的点对应的所述经修复图像中的像素点，生成更新经删减图像；
步骤S1073，将所述更新经删减图像进行修复处理，生成更新经修复图像；
步骤S1074，将所述更新经修复图像进行预测分类处理，获得更新后续预测标签信息，并将更新后续预测标签信息与上一次后续预测标签信息进行比较；以及
重复执行步骤S1071至步骤S1074，直至连续预定个数的预测标签信息彼此相同。
在一个具体实施例中，可以将预设值设为2，在当前计算得到的预测标签信息中，当连续相同预测标签信息的数量达2个时，认为目前对图像的预测分类已经足够准确，那么就将这2个相同预测标签信息作为最终的预测标签信息输出。
例如，将预设值设为2，当前计算得到的预测标签信息包含预测标签信息1和预测标签信息2，预测标签信息1和预测标签信息2是相同的，那么就可以将预测标签信息1或预测标签信息2作为最终的预测标签信息输出。又如，将预设值设为2，计算得到的预测标签信息包含预测标签信息1、预测标签信息2和预测标签信息3，预测标签信息1和预测标签信息2不同，而预测标签信息2和预测标签信息3是相同的，那么就可以将预测标签信息2或预测标签信息3作为最终的预测标签信息输出。
然而，还存在当前计算得到的预测标签信息中连续相同预测标签信息的数量小于预定个数的情况，例如，将预定个数设为3，当前计算得到的预测标签信息中包含预测标签信息1和预测标签信息2，即便预测标签信息1和预测标签信息2相同，但是连续相同预测标签信息的个数达不到3个。在这种情况下，需要重复上述步骤S1071至步骤S1074，重新获得更多的后续预测标签信息，直至连续预定个数的预测标签信息彼此相同。
也就是说，上述步骤S1071至步骤S1074描述了获取后续预测标签信息的过程，在获得最终的预测标签信息前，迭代上述步骤S1071至步骤S1074的过程一次以上。上述步骤S1071至步骤S1074迭代几次，就能对应获得几个后续预测标签信息。在不满足连续预定个数的预测标签信息彼此相同的情况下，执行的步骤类似于上述步骤S103至步骤S106的过程，不同之处在于生成显著图像的区别，如图2所示，在步骤S103中，根据所述预处理图像和所述原始预测标签信息按照归因算法进行归因计算，计算所述预处理图像中每个像素点对应的归因值并生成第一显著图像，而在步骤S1071中，根据经修复图像和后续预测标签信息按照归因算法进行归因计算，计算经修复图像中每个像素点对应的归因值并生成更新显著图像。
例如，将连续预定个数设为3，当前计算得到的预测标签信息只包含预测标签信息1和预测标签信息2，那么就执行步骤S1071至步骤S1074，获得预测标签信息3，然后判断预测标签信息1、预测标签信息2和预测标签信息3是否相同，如果相同则可以将预测标签信息1、预测标签信息2和预测标签信息3中任一者作为最终的预测标签信息进行输出，而如果不相同，则重新执行步骤S1071至步骤S1074，获得预测标签信息4，然后判断预测标签信息2、预测标签信息3和预测标签信息4是否相同，如果相同则可以将预测标签信息2、预测标签信息3和预测标签信息4中任一者作为最终的预测标签信息进行输出，而如果不相同，则重新执行步骤S1071至步骤S1074，获得预测标签信息5，等等，依次类推，直到当前计算得到的预测标签信息中连续相同预测标签信息的数量达到3个。
需要注意的是，连续预定个数的选取可以是任意的，例如2、3、4、5，那么，相应地，当前计算得到的预测标签信息中连续相同预测标签信息的数量分别需要达到2、3、4、5个才会输出最终的预测标签信息。
根据本申请提供的一种基于归因算法的对抗样本的检测方法，所采用的完善的归因算法，适应大部分主流分类神经网络结构，提升系统整体的可迁移性；采用图像删除后进行图像修复的这种更优的图像处理方法，使得正常图像对于该处理是鲁棒的，大大降低系统的误报率，提升系统判断结果的可靠性；此外，对检测过程中的各个步骤或模块设计一定的流程模式，采用迭代的方式获取多个预测标签，使得异常对抗样本输入经过数轮操作后最终可以被正确分类，得到更为理想的标签输出。
根据本申请的另一个方面，提供一种基于归因算法的对抗样本的检测装置。图7是根据本申请实施例的基于归因算法的对抗样本的检测装置的示意图。如图7所示，该装置包括如下单元。
预处理单元701，用于对输入的原始图像进行预处理，生成预处理图像。
在预处理单元701中，将原始图像文件作为输入，对其预处理操作，包括缩放、填充、剪裁、正则化操作中的一种护多种。其中，缩放操作需指定缩放后的大小；填充操作需指定填充后大小和填充值；剪裁操作包括随机剪裁、中央剪裁、指定位置剪裁三种模式；正则化操作需给定数据的均值和方差。
经上述预处理过程后得到的预处理图像，可以满足后续处理的输入格式的要求，例如，满足后续预测分类处理过程中的输入格式要求。
预测分类单元702，用于将所述预处理图像进行预测分类处理，获得原始预测标签信息。
在预测分类单元702中，对预处理图像进行预测分类处理，获得对该预处理图像的一个判断，即为该预处理图像打上一个预测标签信息。
在一个具体实施例中，采用预训练后的机器学习分类算法给出预测分类输出，即给出原始预测标签信息。
第一生成单元703，用于根据所述预处理图像和所述原始预测标签信息按照归因算法进行归因计算，计算所述预处理图像中每个像素点对应的归因值并生成显著图像。
步骤第一生成单元703以预处理单元701输出的预处理图像及预测分类单元702输出的原始预测标签信息作为输入，经过对预处理图像中每一个像素点进行归因计算生成显著图像。
在一个具体的实施例中，所采用的归因算法为积分梯度算法，计算公式如下：
其中，xi为每个像素点的值，xi'可以为人为选取的基底。积分梯度算法计算每个像素点从基底值到像素路径值上全部点的输出值相对于初始像素值梯度并积分，输出该像素点为标签提供的归因重要度，值越大代表该像素点的重要性越高。
上述归因算法，能够适应大部分主流分类神经网络结构，提升系统整体的可迁移性。
在一个可选的实施例中，归因算法还可以采用其他算法，例如DeepLIFT算法。
第二生成单元704，用于按照预定的比例删减与所述显著图像中归因值高的点对应的所述预处理图像中的像素点，生成经删减图像。
在第二生成单元704中，以第一生成单元703生成的显著图像及预处理单元701生成的预处理图像作为输入，根据目标任务的需求，按照一定的比例将显著图像中高归因值的点在预处理图像中删除对应位置的像素点。
具体来说，根据各像素点点归因值从大到小进行排序，即显著图中灰度的排序，在预处理图中按照一定比例删去高归因值对应的预处理图中的像素点。在一个具体实施例中，基底选取为黑色图，故删减操作即将对应像素点的RGB值也改为(0,0,0)的黑色。删减比例依据目标任务和数据集而变化，例如，这个比例可以为0.5％～1％，在一个优选的实施例中，删减比例为0.7％，最终输出删减后图像。
第三生成单元705，用于将所述经删减图像进行修复处理，生成经修复图像。
在第三生成单元705中，对经删减后的图像进行修复操作。可以采用各种修复方案或技术对回复每个被删除的像素点。例如，可以采取局部平均池化法、小波图像修复法、基于图像块扩散的修复算法等，对缺失的RGB值进行填充。其中，对于局部平均池化法来说，根据不同的任务目标和数据类型，可以选取不同的卷积核大小，例如，所选择的卷积核大小可以为5。
预测分类单元702将所述经修复图像进行预测分类处理，获得后续预测标签信息。
预测分类单元702将经修复后的图像进行重新预测分类处理，得到后续预测标签信息。
输出单元707，用于将所述原始预测标签信息与所述后续预测标签信息进行比较，并根据比较结果输出预测标签信息。
在输出单元707中，已经计算得到了一些预测标签信息，例如包括原始预测标签信息和后续预测标签信息等。原始预测标签信息以及后续预测标签信息各自表示对原始图像的预测分类以及经修复图像的预测分类。在本申请中，需要综合考虑获得的所有预测标签信息，使得对图像的预测分类更为准确。
根据本申请的一个具体实施例，仅考虑原始预测标签信息和后续预测标签信息，如果原始预测标签信息和后续预测标签信息相同，那么就将原始预测标签信息或后续预测标签信息作为结果进行输出。
这样，在原始预测标签信息与后续预测标签信息相同的情况下，输出单元707的作用具体体现为：用于输出所述原始预测标签信息或所述后续预测标签信息。
上述情形考虑的是连续2个预测标签信息相同情况下，而且假设原始预测标签信息与后续预测标签信息相同的情况下，如何输出预测标签信息。然而，即便考虑的是连续两个预测标签信息相同情况下，如果原始预测标签信息与后续预测标签信息不相同，那么就需要重新迭代出一个更新的后续预测标签信息，然后比较后续预测标签信息与更新的后续预测标签信息是否相同，在相同的情况下就将后续预测标签信息或更新的后续预测标签信息作为结果输出，否则就要继续迭代，直至连续2个预测标签信息彼此相同。
进一步地，考虑的连续更多个(例如3个、4个、5个…)预测标签信息相同情况下，类似的，需要迭代出更新的后续预测标签信息，直至连续预定个数的预测标签信息彼此相同。
从而，在不满足连续预定个数的预测标签信息彼此相同的情况下，该基于归因算法的对抗样本的检测装置中的第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702具体实现如下功能：
第一生成单元703用于根据所述经修复图像和所述后续预测标签信息按照归因算法进行归因计算，计算所述经修复图像中每个像素点对应的归因值并生成更新显著图像；
第二生成单元704用于按照预定的比例删减与所述更新显著图像中归因值高的点对应的所述经修复图像中的像素点，生成更新经删减图像；
第三生成单元705用于将所述更新经删减图像进行修复处理，生成更新经修复图像；
预测分类单元702用于将所述更新经修复图像进行预测分类处理，获得更新后续预测标签信息，并将更新后续预测标签信息与上一次后续预测标签信息进行比较；以及
第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702各自依次重复执行上述操作，直至连续预定个数的预测标签信息彼此相同。
在一个具体实施例中，可以将预设值设为2，在当前计算得到的预测标签信息中，当连续相同预测标签信息的数量达2个时，认为目前对图像的预测分类已经足够准确，那么就将这2个相同预测标签信息作为最终的预测标签信息输出。
例如，将预设值设为2，当前计算得到的预测标签信息包含预测标签信息1和预测标签信息2，预测标签信息1和预测标签信息2是相同的，那么就可以将预测标签信息1或预测标签信息2作为最终的预测标签信息输出。又如，将预设值设为2，计算得到的预测标签信息包含预测标签信息1、预测标签信息2和预测标签信息3，预测标签信息1和预测标签信息2不同，而预测标签信息2和预测标签信息3是相同的，那么就可以将预测标签信息2或预测标签信息3作为最终的预测标签信息输出。
然而，还存在当前计算得到的预测标签信息中连续相同预测标签信息的数量小于预定个数的情况，例如，将预定个数设为3，当前计算得到的预测标签信息中包含预测标签信息1和预测标签信息2，即便预测标签信息1和预测标签信息2相同，但是连续相同预测标签信息的个数达不到3个。在这种情况下，需要第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702各自依次重复执行上述操作，重新获得更多的后续预测标签信息，直至连续预定个数的预测标签信息彼此相同。
也就是说，上述第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702各自依次执行的上述操作描述了获取后续预测标签信息的过程，在获得最终的预测标签信息前，迭代上述第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702各自执行的操作一次以上。上述第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702各自执行的操作迭代几次，就能对应获得几个后续预测标签信息。
例如，将连续预定个数设为3，当前计算得到的预测标签信息只包含预测标签信息1和预测标签信息2，那么就执行第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702各自依次执行的上述操作，获得预测标签信息3，然后判断预测标签信息1、预测标签信息2和预测标签信息3是否相同，如果相同则可以将预测标签信息1、预测标签信息2和预测标签信息3中任一者作为最终的预测标签信息进行输出，而如果不相同，则重新执行第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702各自依次执行的上述操作，获得预测标签信息4，然后判断预测标签信息2、预测标签信息3和预测标签信息4是否相同，如果相同则可以将预测标签信息2、预测标签信息3和预测标签信息4中任一者作为最终的预测标签信息进行输出，而如果不相同，则重新执行第一生成单元703、第二生成单元704、第三生成单元705和预测分类单元702各自依次执行的上述操作，获得预测标签信息5，等等，依次类推，直到当前计算得到的预测标签信息中连续相同预测标签信息的数量达到3个。
需要注意的是，连续预定个数的选取可以是任意的，例如2、3、4、5，那么，相应地，当前计算得到的预测标签信息中连续相同预测标签信息的数量分别需要达到2、3、4、5个才会输出最终的预测标签信息。
根据本申请提供的一种基于归因算法的对抗样本的检测装置，所采用的完善的归因算法，适应大部分主流分类神经网络结构，提升系统整体的可迁移性；采用图像删除后进行图像修复的这种更优的图像处理方法，使得正常图像对于该处理是鲁棒的，大大降低系统的误报率，提升系统判断结果的可靠性；此外，对检测过程中的各个步骤或模块设计一定的流程模式，采用迭代的方式获取多个预测标签，使得异常对抗样本输入经过数轮操作后最终可以被正确分类，得到更为理想的标签输出。
参阅图8，图8提供一种电子设备，包括处理器；以及存储器，所述存储器存储有计算机指令，当所述计算机指令被所述处理器执行时，使得所述处理器执行所述计算机指令时实现如图1所示的方法以及上述实施例提供的方法。
应该理解，上述的装置实施例仅是示意性的，本申请披露的装置还可通过其它的方式实现。例如，上述实施例中所述单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元、模块或组件可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。
另外，若无特别说明，在本申请各个实施例中的各功能单元/模块可以集成在一个单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元/模块如果以硬件的形式实现时，该硬件可以是数字电路，模拟电路等等。硬件结构的物理实现包括但不局限于晶体管，忆阻器等等。若无特别说明，所述处理器或芯片可以是任何适当的硬件处理器，比如CPU、GPU、FPGA、DSP和ASIC等等。若无特别说明，所述片上缓存、片外内存、存储器可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM(Resistive Random Access Memory)、动态随机存取存储器DRAM(Dynamic Random Access Memory)、静态随机存取存储器SRAM(Static Random-AccessMemory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)、高带宽内存HBM(High-Bandwidth Memory)、混合存储立方HMC(Hybrid Memory Cube)等等。
所述集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本披露各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供一种非瞬时性计算机存储介质，存储有计算机程序，当所述计算机程序被多个处理器执行时，使得所述处理器执行如图1所示的方法以及上述实施例提供的方法。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本申请的方法及其核心思想。同时，本领域技术人员依据本申请的思想，基于本申请的具体实施方式及应用范围上做出的改变或变形之处，都属于本申请保护的范围。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (16)

1.一种基于归因算法的对抗样本的检测方法，其包括：
A.对输入的原始图像进行预处理，生成预处理图像；
B.将所述预处理图像进行预测分类处理，获得原始预测标签信息；
C.根据所述预处理图像和所述原始预测标签信息按照归因算法进行归因计算，计算所述预处理图像中每个像素点对应的归因值并生成显著图像；
D.按照预定的比例删减与所述显著图像中归因值高的点对应的所述预处理图像中的像素点，生成经删减图像；
E.将所述经删减图像进行修复处理，生成经修复图像；
F.将所述经修复图像进行预测分类处理，获得后续预测标签信息；以及
G.将所述原始预测标签信息与所述后续预测标签信息进行比较，并根据比较结果输出预测标签信息；
其中步骤G包括：
G1.根据所述经修复图像和所述后续预测标签信息按照归因算法进行归因计算，计算所述经修复图像中每个像素点对应的归因值并生成更新显著图像；
G2.按照预定的比例删减与所述更新显著图像中归因值高的点对应的所述经修复图像中的像素点，生成更新经删减图像；
G3.将所述更新经删减图像进行修复处理，生成更新经修复图像；
G4.将所述更新经修复图像进行预测分类处理，获得更新后续预测标签信息，并将更新后续预测标签信息与上一次后续预测标签信息进行比较；以及
重复执行G1至G4，直至连续预定个数的预测标签信息彼此相同。
2.如权利要求1所述的方法，其中在步骤G中所述原始预测标签信息与所述后续预测标签信息相同的情况下，输出所述原始预测标签信息或所述后续预测标签信息。
3.如权利要求1或2所述的方法，其中，所预处理包括缩放、填充、剪裁和正则化中的一个或多个。
4.如权利要求1或2所述的方法，其中，所述预测分类处理包括采用机器学习分类算法进行预测分类处理。
5.如权利要求1或2所述的方法，其中，所述归因算法包括积分梯度算法和DeepLIFT算法。
6.如权利要求1或2所述的方法，其中，所述预定的比例在0.5％至1％之间。
7.如权利要求1或2所述的方法，其中，所述修复处理包括基于局部平均池化进行修复处理。
8.一种基于归因算法的对抗样本的检测装置，其包括：
预处理单元，用于对输入的原始图像进行预处理，生成预处理图像；
预测分类单元，用于将所述预处理图像进行预测分类处理，获得原始预测标签信息；
第一生成单元，用于根据所述预处理图像和所述原始预测标签信息按照归因算法进行归因计算，计算所述预处理图像中每个像素点对应的归因值并生成显著图像；
第二生成单元，用于按照预定的比例删减与所述显著图像中归因值高的点对应的所述预处理图像中的像素点，生成经删减图像；
第三生成单元，用于将所述经删减图像进行修复处理，生成经修复图像；
所述预测分类单元还用于将所述经修复图像进行预测分类处理，获得后续预测标签信息；以及
输出单元，用于将所述原始预测标签信息与所述后续预测标签信息进行比较，并根据比较结果输出预测标签信息；
其中：
所述第一生成单元还用于根据所述经修复图像和所述后续预测标签信息按照归因算法进行归因计算，计算所述经修复图像中每个像素点对应的归因值并生成更新显著图像；
所述第二生成单元还用于按照预定的比例删减与所述更新显著图像中归因值高的点对应的所述经修复图像中的像素点，生成更新经删减图像；
所述第三生成单元还用于将所述更新经删减图像进行修复处理，生成更新经修复图像；
所述预测分类单元还用于将所述更新经修复图像进行预测分类处理，获得更新后续预测标签信息，并将更新后续预测标签信息与上一次后续预测标签信息进行比较；所述第一生成单元、所述第二生成单元、所述第三生成单元和所述预测分类单元各自依次重复执行各自的操作，直至连续预定个数的预测标签信息彼此相同。
9.如权利要求8所述的装置，其中所述原始预测标签信息与所述后续预测标签信息相同的情况下，所述输出单元用于输出所述原始预测标签信息或所述后续预测标签信息。
10.如权利要求8或9所述的装置，其中，所预处理包括缩放、填充、剪裁和正则化中的一个或多个。
11.如权利要求8或9所述的装置，其中，所述预测分类处理包括采用机器学习分类算法进行预测分类处理。
12.如权利要求8或9所述的装置，其中，所述归因算法包括积分梯度算法和DeepLIFT算法。
13.如权利要求8或9所述的装置，其中，所述预定的比例在0.5％至1％之间。
14.如权利要求8或9所述的装置，其中，所述修复处理包括基于局部平均池化进行修复处理。
15.一种电子设备，包括：
处理器；以及
存储器，存储有计算机指令，当所述计算机指令被所述处理器执行时，使得所述处理器执行如权利要求1至7任一者所述的方法。
16.一种非瞬时性计算机存储介质，存储有计算机程序，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行如权利要求1至7任一者所述的方法。
CN202010962276.3A 2020-09-14 2020-09-14 基于归因算法的对抗样本的检测方法和装置 Active CN113808028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010962276.3A CN113808028B (zh) 2020-09-14 2020-09-14 基于归因算法的对抗样本的检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010962276.3A CN113808028B (zh) 2020-09-14 2020-09-14 基于归因算法的对抗样本的检测方法和装置

Publications (2)

Publication Number Publication Date
CN113808028A CN113808028A (zh) 2021-12-17
CN113808028B true CN113808028B (zh) 2023-08-08

Family

ID=78943455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010962276.3A Active CN113808028B (zh) 2020-09-14 2020-09-14 基于归因算法的对抗样本的检测方法和装置

Country Status (1)

Country Link
CN (1) CN113808028B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876697A (zh) * 2018-06-22 2018-11-23 南开大学 像素级图像认证、篡改检测及恢复方法
CN110136078A (zh) * 2019-04-29 2019-08-16 天津大学 单株玉米图像叶片断裂半自动修复补全方法
CN110363128A (zh) * 2019-07-04 2019-10-22 中国人民解放军国防科技大学 基于生物视觉的机场跑道异物检测方法、系统及介质
CN110443849A (zh) * 2019-07-11 2019-11-12 南京邮电大学 一种基于深度图像的双流卷积神经网络回归学习的目标定位方法
CN111415728A (zh) * 2019-11-25 2020-07-14 刘雷 基于cnn和gan的ct图像数据自动分类方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5930245B1 (ja) * 2015-01-23 2016-06-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876697A (zh) * 2018-06-22 2018-11-23 南开大学 像素级图像认证、篡改检测及恢复方法
CN110136078A (zh) * 2019-04-29 2019-08-16 天津大学 单株玉米图像叶片断裂半自动修复补全方法
CN110363128A (zh) * 2019-07-04 2019-10-22 中国人民解放军国防科技大学 基于生物视觉的机场跑道异物检测方法、系统及介质
CN110443849A (zh) * 2019-07-11 2019-11-12 南京邮电大学 一种基于深度图像的双流卷积神经网络回归学习的目标定位方法
CN111415728A (zh) * 2019-11-25 2020-07-14 刘雷 基于cnn和gan的ct图像数据自动分类方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
针对神经网络的对抗攻击及其防御;何正保 等;《航空兵器》;第27卷(第3期);全文 *

Also Published As

Publication number Publication date
CN113808028A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN112132193A (zh) 一种用于遥感图像分类的神经网络优化方法、终端以及存储介质
CN107784288B (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN108961180B (zh) 红外图像增强方法及系统
CN113222883B (zh) 处理异常检测的装置及方法
CN111681273A (zh) 图像分割方法、装置、电子设备及可读存储介质
CN112418212A (zh) 一种基于EIoU改进的YOLOv3算法
CN111666442B (zh) 一种图像检索方法、装置及计算机设备
CN114861842B (zh) 少样本目标检测方法、装置和电子设备
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN114694005A (zh) 目标检测模型训练方法和装置、目标检测方法和装置
CN111340139B (zh) 一种图像内容复杂度的判别方法及装置
CN112150471B (zh) 基于少样本的语义分割方法及装置、电子设备、存储介质
CN113808028B (zh) 基于归因算法的对抗样本的检测方法和装置
CN113744142A (zh) 图像修复方法、电子设备及存储介质
CN113468946A (zh) 用于交通灯检测的语义一致的增强训练数据
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
CN113239909B (zh) 一种题目处理方法、装置、设备及介质
CN115905864A (zh) 异常数据检测模型训练方法、装置、计算机设备
CN115797291A (zh) 回路端子的识别方法、装置、计算机设备和存储介质
CN113033510B (zh) 图像变化检测模型的训练和检测方法、设备及存储介质
CN112884755B (zh) 违禁品的检测方法及装置
CN115775220A (zh) 使用多个机器学习程序检测图像中的异常的方法和系统
CN113536971A (zh) 一种基于增量学习的目标检测方法
CN117475357B (zh) 基于深度学习的监控视频图像遮挡检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant