CN108520268B - 基于样本选择和模型进化的黑盒对抗性攻击防御方法 - Google Patents

基于样本选择和模型进化的黑盒对抗性攻击防御方法 Download PDF

Info

Publication number
CN108520268B
CN108520268B CN201810192584.5A CN201810192584A CN108520268B CN 108520268 B CN108520268 B CN 108520268B CN 201810192584 A CN201810192584 A CN 201810192584A CN 108520268 B CN108520268 B CN 108520268B
Authority
CN
China
Prior art keywords
attack
samples
sample
model
confrontation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810192584.5A
Other languages
English (en)
Other versions
CN108520268A (zh
Inventor
陈晋音
苏蒙蒙
郑海斌
熊晖
林翔
俞山青
宣琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810192584.5A priority Critical patent/CN108520268B/zh
Publication of CN108520268A publication Critical patent/CN108520268A/zh
Application granted granted Critical
Publication of CN108520268B publication Critical patent/CN108520268B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种基于样本选择和模型进化的黑盒对抗性攻击防御方法，包括以下步骤：1)用样本选择器从多类样本中随机选择部分样本输入到各种攻击模型中，生成大量对抗样本。2)计算对抗样本的攻击效果，分析不同输入样本和攻击模型的攻击效果。3)根据攻击效果，更新攻击模型和样本选择器中不同样本选择的个数，使得新生成地对抗样本具有更好的攻击效果；同时更新对抗样本池，保存攻击效果最好的几个对抗样本，在迭代结束之后，输出池中攻击效果最好的对抗样本作为本次进化的最终结果。4)将大量的训练的输出结果和正常的样本进行训练，即可对该类攻击进行防御。本发明能提升黑盒模型的防御能力。

Description

基于样本选择和模型进化的黑盒对抗性攻击防御方法
技术领域
本发明属于人工智能安全技术领域，具体涉及基于样本选择和模型进化的黑盒对抗性攻击防御方法。
背景技术
深度学习是当前机器学习和人工智能兴起的核心内容。由于其有强大的学习、特征提取及建模能力，被广泛的应用到语音识别、自然语言理解、计算机视觉等具有挑战性的领域。并且在视觉领域，深度学习已经成为了自动驾驶汽车、人脸识别、监控及安全等各种应用的主力军。
然而，最新研究表明深度学习虽然可以很好的提取正常图像特征并进行预测或分类，但是可以通过对图像添加细微的扰动，对其进行攻击，使模型输出结果错误。这些扰动及其细微，可以在人眼无法察觉的情况下欺骗模型，甚至使得模型对错误的预测表现出较高的执行度。
随着深度学习被应用到了各种重要的领域，深度学习的安全问题越愈加重要。鉴于目前深度学习的防御机制是通过对已知对抗样本和正常图片之间的区别进行训练，故用于训练的对抗样本对模型的欺骗程度决定了防御机制的防御效果。所以，如何产生高度攻击效果的攻击样本便成了深度学习防御机制的重点。又由于对于相同的样本，不同的攻击模型产生的对抗样本的有不同的攻击攻击效果。而对于相同的攻击模型，不同的输入样本对应的对抗样本也会有不同的攻击效果。
所以攻击模型的输入样本和攻击模型选择决定了对抗样本的生成。综上所述，攻击模型输入样本的选择和攻击模型的进化决定了对抗样本的攻击效果，间接决定了防御机制的防御效果，具有极其重要的理论与实践意义。
发明内容
为了增加深度学习模型的抗干扰能力，使得黑盒对对抗性攻击有更好的防御能力，本发明先提出了一种可以优化输入样本选择，更新攻击模型，并通过多次迭代得到攻击效果更好的对抗样本的方法，然后通过对该类对抗样本进行训练，提高黑盒的防御能力。
本发明解决其技术问题所采用的技术方案是：
一种基于样本选择和模型进化的黑盒对抗性攻击防御方法，所述方法包括以下步骤：
1)生成对抗样本，过程如下：
1.1)初始化参数i＝1；若是第一次进行训练，则令对抗样本池中样本个数m0＝0，样本选择器Ss中各类样本选择个数 Num0＝Num1＝···＝Numn＝a，a为常量；
1.2)用样本选择器Ss从样本S中随机选择对应个数Num的样本；若j类样本的个数mj大于该类要选择的个数Numj，则只选择mj个样本；
1.3)将得到的样本输入到第i个攻击模型Ai中，得到对应的对抗样本AiS；
1.4)i＝i+1，若i＞k则进入步骤2)，否则回到步骤1.2)，其中k是攻击模型的个数；
2)攻击黑箱模型并分析攻击结果，过程如下：
2.1)将对抗样本AiSjt输入到黑箱模型，得到分类结果y'以及概率 p(AiSjt)；AiSjt表示攻击模型Ai攻击第j类样本中随机选择的第t个样本得到的对抗样本；
2.2)计算对抗样本AiSjt的攻击效果p'(AiSjt)；p(AiSjt)越高，与原图越相似，则p'(AiSjt)越大；
Figure BDA0001592085590000031
其中，y为正确的分类结果，y'为实际的分类结果，ρ为原图与对抗样本中间的扰动；若对抗样本池中的对抗样本经过攻击模型再次得到新的对抗样本，ρ是此次攻击模型的扰动加上之前累计的扰动的和；α用于调节误判概率和扰动之间的比重；
2.3)计算各类对抗样本AiSj的攻击成功率P(AiSj)：
Figure BDA0001592085590000032
2.4)计算每个攻击模型生成的对抗样本的攻击成功率PA(Ai)，即该模型生产的对抗样本的平均攻击效果：
Figure BDA0001592085590000033
其中，n为正常样本类别总数；
2.5)计算每类样本对应的对抗样本的攻击成功率PS(Sj)，即该类样本对应的对抗样本的平均攻击效果；
Figure BDA0001592085590000034
2.6)对抗样本的攻击效果p'(AiSjt)≠0的样本进行排序，取前b个对抗样本作为优质样本SA，其中b为常数；
3)更新对抗样本生成模型，过程如下：
3.1)将每类样本的攻击成功率PS(Sj)进行排序得到PS'(Sj)，根据公式(5)更新样本选择器Ss中每类样本选择个数；其中c＞1，d＜1均为常数，用于调节Numj变化范围及比例；当Numj大于该类的总数mj时 Numj＝mj；
Figure BDA0001592085590000041
3.2)更新对抗样本池，过程如下：
3.2.1)初始化变量l，令l＝1；SAl表示攻击效果p'(AiSjt)第l大的优质对抗样本；
3.2.2)若对抗样本池中对抗样本个数m0小于对抗样本池容量M0，跳转到步骤3.2.4)；
3.2.3)比较p'(SAl)与p'(S0m0)的大小，S0m0为对抗样本池中攻击效果最差的对抗样本；若p'(SAl)＞p'(S0m0)，则进入步骤3.2.4)，否则跳到步骤3.2.5)；
3.2.4)将SAl加入到对抗样本池中，m0＝m0+1，l＝l+1；若l≤b跳到步骤3.2.2)；
3.2.5)分别计算池中对抗样本被攻击前最原始的类别为第j类的个数，若个数大于常量e，则将其按照攻击效果进行排序，删除e之后的对抗样本；
3.2.6)对对抗样本池中所有样本进行排序，若此时m0＞M0,删除M0之后的对抗样本；
3.3)采用遗传算法改进攻击模型，过程如下：
3.3.1)将每个攻击模型的攻击成功率PA(Ai)进行排序，取前f％的攻击模型作为新的攻击模型A'i,i∈1,2,...,k'，k'为新攻击模型的个数；
3.3.2)采用轮盘选择法选择攻击模型；计算攻击模型A'i被选择的概率；
Figure BDA0001592085590000051
3.3.3)根据概率随机选择两个攻击模型，克隆并交叉；
3.3.4)根据设定比例随机对某一个变量进行突变；
3.3.5)若攻击模型k'的数量小于k，则跳到步骤3.3.2)；
3.3.6)用攻击模型A'更新原有的攻击模型A；
3.4)若迭代次数小于g，g为常量，则跳转到步骤1.1)；否则停止循环，输入对抗样本池中攻击效果p'最高的对抗样本作为本次训练的数据结果；
4)将大量的训练的输出结果和正常的样本进行训练，即可对该类攻击进行防御。
进一步，所述步骤1)中，用样本选择器从多类样本中随机选择样本，输入到多个不同的攻击模型中并生成对抗样本，使得每类样本和攻击模型都会相互结合。通过训练样本、攻击模型的多样性保证生成的对抗样本的多样性，为后续的更新提供基础。
更进一步，所述步骤2.5)中，提供同类别的正常样本的攻击效果评价标准，步骤3.1)根据攻击效果更新选择器中每类样本选择个数，增加攻击效果好的类别输入到攻击模型中的样本个数，减少攻击效果差的样本的个数，使得生成的对抗样本具有更好的攻击效果。
所述步骤2.4)中，提供不同攻击模型的攻击效果评价标准，步骤 3.3)采用遗传算法对模型进行更新，在优化攻击模型的基础上保证攻击模型的多样性。
所述步骤2.6)中，选取生成对抗样本中攻击效果较好的样本作为优质样本，3.2)将优质样本输入到对抗样本池中，用于更新对抗样本池，其中3.2.3)和3.2.6)优化对抗样本池中样本的攻击效果，3.2.5) 保证对抗样本池的多样性。
本发明的技术构思为：为使得攻击模型的交叉变异成为可能，这里首先用统一模型对攻击模型进行预处理，使得不同攻击有相同的模型，并通过修改参数来实现不同类型的攻击。
统一模型将所有基于梯度的对抗样本生成方式定义为 argmin λ1||ρ||p+λ2Loss(xadv,fpre(xadv))，s.t.ρ＝xnor-xadv。其中，ρ表示对抗样本xadv与正常样本xnor间存在的扰动；fpre(·)表示深度学习模型的预测输出；||·||p表示扰动的p范数；Loss(·,·)表示损失函数；λ1和λ2是尺度参数，用于平衡扰动范数与损失函数的数量级，取值范围为[10-1,10]，并根据优化目标进行正负变换。
基于样本选择和模型进化的黑盒对抗性攻击防御方法，通过选择样本和进化攻击模型，得到攻击效果最好的对抗样本，并对该类样本进行训练从而提升黑盒的防御能力。首先随机选择样本并用攻击模型生成各类对抗样本。然后，对对抗样本的攻击效果进行分析，根据分析结果更新攻击模型、对抗样本池和样本选择器参数，在多次迭代之后输出最佳的对抗样本。最后，将此类对抗样本用于训练，增加黑盒的对抗性攻击防御能力。
本发明的有益效果主要表现在：采用多类样本和多个模型生成对抗样本，增加了对抗样本的多样性；对输入样本进行选择，并根据每类样本的攻击效果更新样本被选择的个数，使得攻击效果好的样本被输入到攻击模型的个数高，增加了对抗样本整体的攻击效果；采用多类攻击模型，并根据攻击模型的攻击效果对其进行选择、克隆、交叉、变异，在提升攻击模型攻击效果的同时保证了模型的多样性；存在对抗样本池，并用优质对抗样本更新对抗样本池，为攻击模型的输入样本提供了更多的可能性，优化并保留高效攻击样本。
附图说明
图1是基于样本选择和模型进化的黑盒对抗性攻击防御方法框图。
图2是攻击模型更新框图。
图3是算法用于人脸实验的说明。图3(a)的第一行为同一类型的不同样本，第二行为不同类型的样本，图3(b)的第一行为同一类型的不同样本，第二行为不同攻击模型产生的噪声，第三行为对应的对抗样本，图3(c)为不同类型样本用不同攻击模型产生的对抗样本，图3(d)为攻击效果最好的原图、攻击模型产生的噪声和对抗样本。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1～图3，一种基于样本选择和模型进化的黑盒对抗性攻击防御方法，包括以下步骤：
1)生成对抗样本，过程如下：
1.1)初始化参数i＝1；若是第一次进行训练，则令对抗样本池中样本个数m0＝0，样本选择器Ss中各类样本选择个数 Num0＝Num1＝···＝Numn＝a，a为常量；
1.2)用样本选择器Ss从样本S中随机选择对应个数Num的样本；若j类样本的个数mj大于该类要选择的个数Numj，则只选择mj个样本；
1.3)将得到的样本输入到第i个攻击模型Ai中，得到对应的对抗样本AiS；
1.4)i＝i+1，若i＞k则进入步骤2)，否则回到步骤1.2)，其中k是攻击模型的个数；
2)攻击黑箱模型并分析攻击结果，过程如下：
2.1)将对抗样本AiSjt输入到黑箱模型，得到分类结果y'以及概率 p(AiSjt)；AiSjt表示攻击模型Ai攻击第j类样本中随机选择的第t个样本得到的对抗样本；
2.2)计算对抗样本AiSjt的攻击效果p'(AiSjt)；p(AiSjt)越高，与原图越相似，则p'(AiSjt)越大；
Figure BDA0001592085590000081
其中，y为正确的分类结果，y'为实际的分类结果，ρ为原图与对抗样本中间的扰动；若对抗样本池中的对抗样本经过攻击模型再次得到新的对抗样本，ρ是此次攻击模型的扰动加上之前累计的扰动的和；α用于调节误判概率和扰动之间的比重；
2.3)计算各类对抗样本AiSj的攻击成功率P(AiSj)：
Figure BDA0001592085590000091
2.4)计算每个攻击模型生成的对抗样本的攻击成功率PA(Ai)，即该模型生产的对抗样本的平均攻击效果：
Figure BDA0001592085590000092
其中，n为正常样本类别总数；
2.5)计算每类样本对应的对抗样本的攻击成功率PS(Sj)，即该类样本对应的对抗样本的平均攻击效果；
Figure BDA0001592085590000093
2.6)对抗样本的攻击效果p'(AiSjt)≠0的样本进行排序，取前b个对抗样本作为优质样本SA，其中b为常数；
3)更新对抗样本生成模型，过程如下：
3.1)将每类样本的攻击成功率PS(Sj)进行排序得到PS'(Sj)，例如： PS'(S1)＝5表示第一类样本S1的攻击成功率排第5；根据公式(5)更新样本选择器Ss中每类样本选择个数；其中c＞1，d＜1均为常数，用于调节Numj变化范围及比例；当Numj大于该类的总数mj时Numj＝mj；
Figure BDA0001592085590000094
3.2)更新对抗样本池，过程如下：
3.2.1)初始化变量l，令l＝1；SAl表示攻击效果p'(AiSjt)第l大的优质对抗样本；
3.2.2)若对抗样本池中对抗样本个数m0小于对抗样本池容量M0，跳转到步骤3.2.4)；
3.2.3)比较p'(SAl)与p'(S0m0)的大小，S0m0为对抗样本池中攻击效果最差的对抗样本；若p'(SAl)＞p'(S0m0)，则进入步骤3.2.4)，否则跳到步骤3.2.5)；
3.2.4)将SAl加入到对抗样本池中，m0＝m0+1，l＝l+1；若l≤b跳到步骤3.2.2)；
3.2.5)分别计算池中对抗样本被攻击前最原始的类别为第j类的个数，若个数大于常量e，则将其按照攻击效果进行排序，删除e之后的对抗样本；
3.2.6)对对抗样本池中所有样本进行排序，若此时m0＞M0,删除M0之后的对抗样本；
3.3)采用遗传算法改进攻击模型，过程如下：
3.3.1)将每个攻击模型的攻击成功率PA(Ai)进行排序，取前f％的攻击模型作为新的攻击模型A'i,i∈1,2,...,k'，k'为新攻击模型的个数，如图2中白色模型所示，黑色为未选择部分；
3.3.2)采用轮盘选择法选择攻击模型；计算攻击模型A'i被选择的概率；
Figure BDA0001592085590000101
3.3.3)根据概率随机选择两个攻击模型，如图2中灰色所示；然后对模型进行克隆和交叉操作，鉴于每个模型参数由4个变量组成，交换后两个参数作为交叉的效果；
3.3.4)根据设定比例随机对某一个变量进行突变，例如图2只对其中一个模型进行了变异；
3.3.5)将模型添加到新攻击模型库里，若攻击模型k'的数量小于k，则跳到步骤3.3.2)；
3.3.6)用攻击模型A'更新原有的攻击模型A；
3.4)若迭代次数小于g，g为常量，则跳转到步骤1.1)；否则停止循环，输入对抗样本池中攻击效果p'最高的对抗样本作为本次训练的数据结果；
4)将大量的训练的输出结果和正常的样本进行训练，即可对该类攻击进行防御。
进一步，所述步骤1)中，用样本选择器从多类样本中随机选择样本，输入到多个不同的攻击模型中并生成对抗样本，使得每类样本和攻击模型都会相互结合。通过训练样本、攻击模型的多样性保证生成的对抗样本的多样性，为后续的更新提供基础。
更进一步，所述步骤2.5)中，提供同类别的正常样本的攻击效果评价标准，步骤3.1)根据攻击效果更新选择器中每类样本选择个数，增加攻击效果好的类别输入到攻击模型中的样本个数，减少攻击效果差的样本的个数，使得生成的对抗样本具有更好的攻击效果。
所述步骤2.4)中，提供不同攻击模型的攻击效果评价标准，步骤 3.3)采用遗传算法对模型进行更新，在优化攻击模型的基础上保证攻击模型的多样性。
所述步骤2.6)中，选取生成对抗样本中攻击效果较好的样本作为优质样本，3.2)将优质样本输入到对抗样本池中，用于更新对抗样本池，其中3.2.3)和3.2.6)优化对抗样本池中样本的攻击效果，3.2.5) 保证对抗样本池的多样性。

Claims (5)

1.一种基于样本选择和模型进化的黑盒对抗性攻击防御方法，其特征在于，所述方法包括以下步骤：
1)生成对抗样本，过程如下：
1.1)初始化参数i＝1；若是第一次进行训练，则令对抗样本池中样本个数m0＝0，样本选择器Ss中各类样本选择个数Num0＝Num1＝···＝Numn＝a，a为常量；
1.2)用样本选择器Ss从样本S中随机选择对应个数Num的样本；若j类样本的个数mj大于该类要选择的个数Numj，则只选择mj个样本；
1.3)将得到的样本输入到第i个攻击模型Ai中，得到对应的对抗样本AiS；
1.4)i＝i+1，若i＞k则进入步骤2)，否则回到步骤1.2)，其中k是攻击模型的个数；
2)攻击黑箱模型并分析攻击结果，过程如下：
2.1)将对抗样本AiSjt输入到黑箱模型，得到分类结果y'以及概率p(AiSjt)；AiSjt表示攻击模型Ai攻击第j类样本中随机选择的第t个样本得到的对抗样本；
2.2)计算对抗样本AiSjt的攻击效果p'(AiSjt)；p(AiSjt)越高，与原图越相似，则p'(AiSjt)越大；
Figure FDA0002933039750000011
其中，y为正确的分类结果，y'为实际的分类结果，ρ为原图与对抗样本中间的扰动；若对抗样本池中的对抗样本经过攻击模型再次得到新的对抗样本，ρ是此次攻击模型的扰动加上之前累计的扰动的和；α用于调节误判概率和扰动之间的比重；
2.3)计算各类对抗样本AiSj的攻击成功率P(AiSj)：
Figure FDA0002933039750000021
2.4)计算每个攻击模型生成的对抗样本的攻击成功率PA(Ai)，即该模型生产的对抗样本的平均攻击效果：
Figure FDA0002933039750000022
其中，n为正常样本类别总数；
2.5)计算每类样本对应的对抗样本的攻击成功率PS(Sj)，即该类样本对应的对抗样本的平均攻击效果；
Figure FDA0002933039750000023
2.6)对抗样本的攻击效果p'(AiSjt)≠0的样本进行排序，取前b个对抗样本作为优质样本SA，其中b为常数；
3)更新对抗样本生成模型，过程如下：
3.1)将每类样本的攻击成功率PS(Sj)进行排序得到PS'(Sj)，根据公式(5)更新样本选择器Ss中每类样本选择个数；其中c＞1，d＜1均为常数，用于调节Numj变化范围及比例；当Numj大于该类的总数mj时Numj＝mj；
Figure FDA0002933039750000024
3.2)更新对抗样本池，过程如下：
3.2.1)初始化变量l，令l＝1；SAl表示攻击效果p'(AiSjt)第l大的优质对抗样本；
3.2.2)若对抗样本池中对抗样本个数m0小于对抗样本池容量M0，跳转到步骤3.2.4)；
3.2.3)比较p'(SAl)与p'(S0m0)的大小，S0m0为对抗样本池中攻击效果最差的对抗样本；若p'(SAl)＞p'(S0m0)，则进入步骤3.2.4)，否则跳到步骤3.2.5)；
3.2.4)将SAl加入到对抗样本池中，m0＝m0+1，l＝l+1；若l≤b跳到步骤3.2.2)；
3.2.5)分别计算池中对抗样本被攻击前最原始的类别为第j类的个数，若个数大于常量e，则将其按照攻击效果进行排序，删除e之后的对抗样本；
3.2.6)对对抗样本池中所有样本进行排序，若此时m0＞M0，删除M0之后的对抗样本；
3.3)采用遗传算法改进攻击模型，过程如下：
3.3.1)将每个攻击模型的攻击成功率PA(Ai)进行排序，取前f％的攻击模型作为新的攻击模型A'i,i∈1,2,...,k'，k'为新攻击模型的个数；
3.3.2)采用轮盘选择法选择攻击模型；计算攻击模型A'i被选择的概率；
Figure FDA0002933039750000031
3.3.3)根据概率随机选择两个攻击模型，克隆并交叉；
3.3.4)根据设定比例随机对某一个变量进行突变；
3.3.5)若攻击模型k'的数量小于k，则跳到步骤3.3.2)；
3.3.6)用攻击模型A'更新原有的攻击模型A；
3.4)若迭代次数小于g，g为常量，则跳转到步骤1.1)；否则停止循环，输入对抗样本池中攻击效果p'最高的对抗样本作为本次训练的数据结果；
4)将大量的训练的输出结果和正常的样本进行训练，即可对该类攻击进行防御。
2.如权利要求1所述的基于样本选择和模型进化的黑盒对抗性攻击防御方法，其特征在于：所述步骤1)中，用样本选择器从多类样本中随机选择样本，输入到多个不同的攻击模型中并生成对抗样本，使得每类样本和攻击模型都会相互结合；通过训练样本、攻击模型的多样性保证生成的对抗样本的多样性，为后续的更新提供基础。
3.如权利要求1所述的基于样本选择和模型进化的黑盒对抗性攻击防御方法，其特征在于：所述步骤2.5)中，提供不同类别的正常样本的攻击效果评价标准，步骤3.1)根据攻击效果更新选择器中每类样本选择个数，增加攻击效果好的类别输入到攻击模型中的样本个数，减少攻击效果差的样本的个数，使得生成的对抗样本具有更好的攻击效果。
4.如权利要求1或2所述的基于样本选择和模型进化的黑盒对抗性攻击防御方法，其特征在于：所述步骤2.4)中，提供不同攻击模型的攻击效果评价标准，步骤3.3)采用遗传算法对模型进行更新，在优化攻击模型的基础上保证攻击模型的多样性。
5.如权利要求1或2所述的基于样本选择和模型进化的黑盒对抗性攻击防御方法，其特征在于：所述步骤2.6)中，选取生成对抗样本中攻击效果好的样本作为优质样本，3.2)将优质样本输入到对抗样本池中，用于更新对抗样本池；其中3.2.3)和3.2.6)优化对抗样本池中样本的攻击效果，3.2.5)保证对抗样本池的多样性。
CN201810192584.5A 2018-03-09 2018-03-09 基于样本选择和模型进化的黑盒对抗性攻击防御方法 Active CN108520268B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810192584.5A CN108520268B (zh) 2018-03-09 2018-03-09 基于样本选择和模型进化的黑盒对抗性攻击防御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810192584.5A CN108520268B (zh) 2018-03-09 2018-03-09 基于样本选择和模型进化的黑盒对抗性攻击防御方法

Publications (2)

Publication Number Publication Date
CN108520268A CN108520268A (zh) 2018-09-11
CN108520268B true CN108520268B (zh) 2021-05-18

Family

ID=63432957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810192584.5A Active CN108520268B (zh) 2018-03-09 2018-03-09 基于样本选择和模型进化的黑盒对抗性攻击防御方法

Country Status (1)

Country Link
CN (1) CN108520268B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117482B (zh) * 2018-09-17 2021-07-06 武汉大学 一种面向中文文本情感倾向性检测的对抗样本生成方法
CN109617706B (zh) * 2018-10-18 2022-02-22 北京鼎力信安技术有限公司 工业控制系统防护方法及工业控制系统防护装置
CN109887496A (zh) * 2019-01-22 2019-06-14 浙江大学 一种黑盒场景下的定向对抗音频生成方法及系统
CN109858553B (zh) * 2019-01-31 2023-12-12 锦图计算技术(深圳)有限公司 驾驶状态的监测模型更新方法、更新装置及存储介质
CN110163093B (zh) * 2019-04-15 2021-03-05 浙江工业大学 一种基于遗传算法的路牌识别对抗防御方法
CN110276377B (zh) * 2019-05-17 2021-04-06 杭州电子科技大学 一种基于贝叶斯优化的对抗样本生成方法
CN110175611B (zh) * 2019-05-24 2020-12-11 浙江工业大学 面向车牌识别系统黑盒物理攻击模型的防御方法及装置
CN110175646B (zh) * 2019-05-27 2021-05-11 浙江工业大学 基于图像变换的多通道对抗样本检测方法及装置
CN110245598B (zh) * 2019-06-06 2020-10-09 北京瑞莱智慧科技有限公司 对抗样本生成方法、装置、介质和计算设备
CN110334742B (zh) * 2019-06-10 2021-06-29 浙江大学 一种用于文档分类的基于强化学习的通过添加虚假节点的图对抗样本生成方法
CN110322003B (zh) * 2019-06-10 2021-06-29 浙江大学 一种用于文档分类的基于梯度的通过添加虚假节点的图对抗样本生成方法
US11216699B2 (en) * 2019-06-13 2022-01-04 Baidu Usa Llc System to mitigate against adversarial samples for ML and AI models
CN110837637B (zh) * 2019-10-16 2022-02-15 华中科技大学 一种脑机接口系统黑盒攻击方法
CN110910328B (zh) * 2019-11-26 2023-01-24 电子科技大学 一种基于对抗性样本分类等级的防御方法
CN111507384B (zh) * 2020-04-03 2022-05-31 厦门大学 一种黑盒深度模型对抗样本生成方法
CN112464230B (zh) * 2020-11-16 2022-05-17 电子科技大学 基于神经网络中间层正则化的黑盒攻击型防御系统及方法
CN113505855B (zh) * 2021-07-30 2023-09-08 中国科学院计算技术研究所 一种对抗攻击模型的训练方法
CN113610141B (zh) * 2021-08-02 2022-03-11 清华大学 自动驾驶多传感器融合感知模型的鲁棒性测试方法及系统
CN113938291B (zh) * 2021-09-03 2022-12-02 华中科技大学 一种基于对抗攻击算法的加密流量分析防御方法和系统
CN113946688B (zh) * 2021-10-20 2022-09-23 中国人民解放军国防科技大学 一种寻找自然语言处理模型天然后门的方法
CN114841137A (zh) * 2022-04-18 2022-08-02 北京百度网讯科技有限公司 模型获取方法、装置、电子设备及存储介质
CN114724189B (zh) * 2022-06-08 2022-09-02 南京信息工程大学 一种目标识别的对抗样本防御模型训练方法、系统及应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724199A (zh) * 2012-06-26 2012-10-10 北京航空航天大学 基于贝叶斯网络推理的攻击意图识别方法
CN106934462A (zh) * 2017-02-09 2017-07-07 华南理工大学 基于迁移的对抗性环境下的防御毒化攻击的学习方法
CN107463951A (zh) * 2017-07-19 2017-12-12 清华大学 一种提高深度学习模型鲁棒性的方法及装置
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170134411A1 (en) * 2015-11-09 2017-05-11 Gewei Ye Methods and Automated Systems to Effectively Resist (PAMD) Cyber Attacks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102724199A (zh) * 2012-06-26 2012-10-10 北京航空航天大学 基于贝叶斯网络推理的攻击意图识别方法
CN106934462A (zh) * 2017-02-09 2017-07-07 华南理工大学 基于迁移的对抗性环境下的防御毒化攻击的学习方法
CN107463951A (zh) * 2017-07-19 2017-12-12 清华大学 一种提高深度学习模型鲁棒性的方法及装置
CN107679250A (zh) * 2017-11-01 2018-02-09 浙江工业大学 一种基于深度自编码卷积神经网络的多任务分层图像检索方法

Also Published As

Publication number Publication date
CN108520268A (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
CN108520268B (zh) 基于样本选择和模型进化的黑盒对抗性攻击防御方法
CN110070141A (zh) 一种网络入侵检测方法
CN111460426B (zh) 基于对抗演化框架的抗深度学习文本验证码生成系统及方法
CN112884130A (zh) 一种基于SeqGAN的深度强化学习数据增强防御方法和装置
Antonelli et al. Multi-objective evolutionary learning of granularity, membership function parameters and rules of Mamdani fuzzy systems
CN113033822A (zh) 基于预测校正和随机步长优化的对抗性攻击与防御方法及系统
CN114328048A (zh) 一种磁盘故障预测方法及装置
CN115333869B (zh) 一种分布式网络对抗攻击自训练学习方法
CN113553624A (zh) 基于改进pate的wgan-gp隐私保护系统和方法
CN113505855A (zh) 一种对抗攻击模型的训练方法
CN117290721A (zh) 数字孪生建模方法、装置、设备及介质
CN108960486A (zh) 基于灰支持向量回归机预测适应值的交互式集合进化方法
CN113947579B (zh) 一种针对图像目标探测神经网络的对抗样本检测方法
CN111507824A (zh) 风控模型入模变量最小熵分箱方法
CN113179276B (zh) 基于显式和隐含特征学习的智能入侵检测方法和系统
CN114373092A (zh) 一种基于拼图排列学习的渐进式训练细粒度视觉分类方法
Liu et al. A quantitative study of the effect of missing data in classifiers
CN116051924B (zh) 一种图像对抗样本的分治防御方法
Li et al. Generate desired images from trained generative adversarial networks
CN115510986A (zh) 一种基于AdvGAN的对抗样本生成方法
CN114971243A (zh) 基于fnn对抗生成的二噁英排放风险预警模型构建方法
CN114584337A (zh) 一种基于遗传算法的语音攻击伪造方法
Hulley et al. Genetic algorithm based incremental learning for optimal weight and classifier selection
CN111080727B (zh) 彩色图像重构方法及装置、图像分类方法及装置
Siddiqui et al. Efficient ConvNet Optimization through Width Modification Guided with Gaussian Processes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant