CN108615048B - 基于扰动进化对图像分类器对抗性攻击的防御方法 - Google Patents

基于扰动进化对图像分类器对抗性攻击的防御方法 Download PDF

Info

Publication number
CN108615048B
CN108615048B CN201810299242.3A CN201810299242A CN108615048B CN 108615048 B CN108615048 B CN 108615048B CN 201810299242 A CN201810299242 A CN 201810299242A CN 108615048 B CN108615048 B CN 108615048B
Authority
CN
China
Prior art keywords
attack
disturbance
disturbances
sample
evolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810299242.3A
Other languages
English (en)
Other versions
CN108615048A (zh
Inventor
陈晋音
苏蒙蒙
徐轩珩
郑海斌
林翔
熊晖
沈诗婧
施朝霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810299242.3A priority Critical patent/CN108615048B/zh
Publication of CN108615048A publication Critical patent/CN108615048A/zh
Application granted granted Critical
Publication of CN108615048B publication Critical patent/CN108615048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明功公开了一种基于扰动进化对图像分类器对抗性攻击的防御方法，包括以下步骤：1)用不同的攻击模型对样本进行攻击，得到不同类型的扰动。2)用扰动对应的对抗样本对黑盒模型进行攻击，并对攻击效果进行排序。3)攻击效果好的扰动进行克隆、交叉、变异等操作得到新的扰动。4)用父子混合选的方式对扰动进行更新，达到扰动进化的目的。5)用进化后扰动对应的对抗样本和正常样本训练对抗样本检测器。6)在对检测样本进行检测时，先用对抗样本检测器进行检测，然后将正常样本输入黑盒模型并返回类别，达到对对抗性攻击进行防御的效果。

Description

基于扰动进化对图像分类器对抗性攻击的防御方法
技术领域
本发明属于深度学习安全技术领域，具体涉及基于扰动进化对图像分类器对抗性攻击的防御方法。
背景技术
深度学习受神经科学启发而来，可以通过对大量数据进行学习，获得比一般算法更准确的分类结果，具有强大的特征学习能力和特征表达能力。而随着深度学习被广泛地应用到VISION、语音识别、语言处理、金融欺诈检测以及恶意软件检测的各种领域，深度学习的安全问题也逐渐被人们重视。
虽然深度学习在计算机视觉领域有很高的分类效果，但是szegedy等人发现，深度模型很容易受到细微扰动的攻击。这些细小的扰动对于人类视觉系统来说是几乎无法察觉的，但却可以使得深度模型分类错误，甚至对错误的分类结果表现出很高的置信度。这便会发生无人驾驶系统无法识别标示，从而发生车祸；人脸识别系统识别人脸错误或者无法检测到人脸，从而使罪犯逃脱等情况。
对于一些实现图像分类的黑箱模型而言，人们并不知道其内部结构。所以为了在不改变黑箱模型的情况下实现防御效果，人们可以在检测图片输入到黑箱模型前，先用检测器判断图片是否为对抗样本，若不是再输入到黑箱模型中，从而达到防御攻击的效果。因此，用于训练检测器的对抗样本质量在一定程度上决定了防御效果的好坏。
目前已经存在着许多攻击模型可以对图像分类模型进行攻击，若人们只用此类攻击进行训练，则无法对未知的攻击进行防御。虽然不同的对抗性攻击方法具有不同的结构，无法直接优化或比较，但都会输出对抗样本及扰动。
综上所述，如何对扰动进行进化，得到效果更好的对抗样本，并训练得到更好的对抗样本分类器，在提升图像分类黑盒模型对对抗性攻击防御效果方面上有着极其重要的理论与实践意义。
发明内容
为了提高图像分类器对对抗性攻击的防御效果，本发明提供了一种基于扰动进化对图像分类器对抗性攻击的防御方法，该方法利用扰动进化的方式提高对抗样本检测器对对抗样本的识别效果，从而提高对对抗性攻击的防御效果。
为实现上述发明目的，本发明提供以下技术方案：
一种基于扰动进化对图像分类器对抗性攻击的防御方法，包括以下步骤：
(1)将正常图片S输入到不同的攻击模型中，经计算获得n个扰动，将该n个扰动作为当前扰动；
(2)将正常图片S分别与n个当前扰动进行叠加，得到n个当前对抗样本，并将当前对抗样本输入到图像分类器中，获得当前对抗样本的攻击效果，并根据攻击效果对n个当前扰动进行排序；
(3)在攻击效果最优的前b个扰动中随机选取2个扰动，并利用遗传算法对此2个扰动进行遗传进化计算，得到子扰动；
(4)迭代执行步骤(3)，直到获得n-a个子扰动为止，并结合该n-a个子扰动与攻击效果最优的前a个扰动，组成新扰动后，将新扰动作为当前扰动；
(5)迭代执行步骤(2)～步骤(4)，直到达到迭代终止条件为止，此时最优的当前扰动为最佳扰动，叠加最佳扰动和正常图片S获得最佳对抗样本；
(6)将最佳对抗样本和正常图片S作为神经网络的输入，将最佳对抗样本和正常图片S对应的真值标签作为神经网络的真值输出，对神经网络进行训练，获得对抗样本检测器；
(7)利用对抗样本检测器对待测图片进行检测，当该待测图片被检测为正常图片时，将该待测图片输入到图像分类器进行分类，输出分类结果。
本发明中，利用步骤(1)中提供的多种攻击模型，将正常图片转变成不同的扰动特征，为扰动进化提供基础，然后通过步骤(2)～步骤(5)将遗传算法应用于扰动进化问题，生成最优的扰动及对抗样本，为生成对抗样本检测器提供训练样本，提高对抗样本检测器的检测精度，将待测图片输入到图像分类器前对图片进行检测，在实现对现有攻击进行防御的基础上还实现对部分未知攻击进行防御的效果。
优选地，所述攻击模型包括均匀噪声攻击模型(Additive Uniform NoiseAttack)、迷惑深度学习攻击模型(Deep Fool)、FGSM攻击模型(Fast Gradient SignMethod)、高斯模糊攻击方法(Gaussian Blur Attack)、L-BFGS拟牛顿法攻击模型(Limitedmemory BFGS)、显著图攻击模型(Saliency Map Attack)、椒盐噪声攻击模型(Salt AndPepper Noise Attack)。
优选地，步骤(1)中，所述将正常图片S输入到不同的攻击模型中，经计算获得n个扰动包括：
将正常图片S输入到不同的攻击模型，输出n个对抗样本后，计算正常图片S分别与n个对抗样本的差值，获得n个扰动。
优选地，步骤(2)中，利用公式(1)～(3)获得当前对抗样本的攻击效果：
Figure BDA0001619387060000041
Figure BDA0001619387060000042
Figure BDA0001619387060000043
其中，φ(S'j)为第j个对抗样本S'j的攻击效果，对抗样本S'j被分为Ci,i∈1,2,3,...,n类的概率为pi(S'j)，被分为c0类的概率为p0(S'j)，c0为正常图片S的分类结果；
Figure BDA0001619387060000044
表示对抗样本S'j攻击成功率，η为常数，ρ(Sj′)表示噪声大小，m'*n'表示正常图片的像素大小。图片可为多通道，为便于说明，本发明只对其中一个通道进行说明，其他通道均相同，协调攻击成功率和噪声大小是对算法的影响比例。
优选地，步骤(3)的具体步骤为：
(3-1)在攻击效果最优的前b个扰动中随机选取2个扰动，并对此2个扰动进行克隆，获得克隆扰动Ac1和Ac2及对应对抗样本的攻击效果
Figure BDA0001619387060000045
和
Figure BDA0001619387060000046
(3-2)对克隆的扰动Ac1和Ac2进行分裂，得到分裂扰动Ac1′和Ac2′，计算公式为：
Figure BDA0001619387060000051
Figure BDA0001619387060000052
其中
Figure BDA0001619387060000053
表示点乘运算，B1和B2为数组；
(3-3)利用公式(6)对分裂扰动Ac1′和Ac2′进行交叉融合，获得扰动Ac”；
Ac”＝Ac1'+Ac2' (6)
(3-4)利用公式(7)对扰动Ac”进行变异，获得子扰动Ac”'；
Figure BDA0001619387060000054
其中，随机生成数组t2ij∈[0,1]，i＝1,2,3,...,m'，j＝1,2,3,...,n'；β表示变异概率，q∈[-255,255]。
优选地，所述对此2个扰动进行克隆，获得克隆扰动Ac1和Ac2及对应对抗样本的攻击效果
Figure BDA0001619387060000055
和
Figure BDA0001619387060000056
包括：
随机生成数组ti'j'∈[0,1]，i'＝1,2,3,...,m'，j'＝1,2,3,...,n'；然后构建数组B1m'n'和B2m'n'，计算公式如下：
Figure BDA0001619387060000057
Figure BDA0001619387060000058
Figure BDA0001619387060000059
优选地，所述对此2个扰动进行克隆，获得克隆扰动Ac1和Ac2包括：
构建数组B1m'n'和B2m'n'，并令其中元素全部为1，然后令B1m'n'＝B1m'n'*α*γ，B2m'n'＝B2m'n'*(1-α)*γ，其中γ∈[0,2]，用于放大或缩小扰动整体的影响。
本发明中，采用两种不同的分裂方法，增加扰动的多样性，并且每种方法本身生成的扰动也有一定的随机性，再次增加扰动的多样性，为扰动进化提供更广泛的选择范围。
在步骤(7)中，当待测图片被检测为对抗样本时，则发出警报，实现对抗性攻击防御。
本发明的技术构思为：基于扰动进化的黑盒对抗性攻击防御方法。首先，采用改进的遗传算法对扰动进行进化，得到最佳的扰动及对抗样本。然后，用该类对抗样本和正常图片训练对抗样本检测器。最后用对抗样本检测器判别用于检测的图片是否为正常图片，达到图片分类器对对抗样本进行防御效果。
本发明的有益效果主要表现在：将遗传算法应用于扰动进化问题，得到更优于普通攻击模型得到对抗样本，使得对抗样本检测器可以更有效的检测出对抗样本。算法采用了多种不同形式的分裂方式，并且每种分裂方式本身带有一定的随机性，增加了子扰动的多样性；提升了扰动进化的效果，增加了新扰动的质量，为得到最优扰动提供基础。并在检测图片输入到黑盒的图像分类器模型前，用进化扰动训练的对抗样本检测器进行检测，从而达到在不知道且不改动黑盒模型内部结构的基础上，实现对已知攻击和部分未知攻击进行防御。
附图说明
图1是本发明提供的获得最佳对抗样本的流程示意图；
图2是利用本发明提供的图像分类器模型对对抗性攻击进行防御的过程示意图；
图3(a)是ImageNet数据集中各种类别的图片；图3(b)是对图3(a)用deepfool攻击后得到的扰动，图3(c)是对图3(b)中扰动的放大图；图3(d)是攻击后得到的对抗样本；
图4是为本实施例提供的扰动进化过程，其中，图4(a)为正常图片，图4(b)和图4(c)为用deepfool和saliency map对正常图片进行攻击后得到的扰动及对抗样本，图4(d)是用方式一得到的两个子扰动，图4(e)是将图4(d)这两个子扰动交叉后的到的新扰动，图4(f)是用方式二得到的两个子扰动，图4(g)是将图4(f)这两个子扰动交叉后拿得到的新扰动。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
本实施例利用ImageNet数据集中各种类别的图片进行试验。如图1～3所示，本实施例提供的基于扰动进化对图像分类器对抗性攻击的防御方法分为三个阶段，分别为最佳对抗样本生成阶段、对抗样本检测器获得阶段以及检测图像分类阶段。每个阶段的具体过程如下：
最佳对抗样本生成阶段
S101，将正常图片S输入到不同的攻击模型AM中，经计算获得扰动，将该扰动作为当前扰动。
S101中具体获得扰动的过程为：将正常图片S输入到不同的攻击模型AM，输出n个对抗样本S'后，计算正常图片S分别与n个对抗样本的差值，获得n个扰动。
扰动是一个矩阵，该矩阵的维度与正常图像大小相同。本实施例中，扰动模型AM为deep fool模型和saliency map模型。
S102，将扰动A叠加到正常图片S上，得到对应的对抗样本S'；
此处的叠加是指将扰动的像素点和正常图片的像素点相加。
S103，将对抗样本S'输入到图像分类器中，计算对抗样本的攻击效果；已知正常图片S的分类结果为c0，第j个对抗样本S'j被分为Ci,i∈1,2,3,...,n类的概率为pi(S'j)，被分为c0类的概率为p0(S'j)；则对抗样本S'j的攻击效果φ(S'j)计算公式如下：
Figure BDA0001619387060000081
Figure BDA0001619387060000082
Figure BDA0001619387060000083
Figure BDA0001619387060000084
表示对抗样本S'j攻击成功率，η为常数，ρ(Sj′)表示噪声大小，m'*n'表示正常图片的像素大小，协调攻击成功率和噪声大小对是算法的影响比例。
S104，根据对抗样本S'的攻击效果对对应的扰动A进行排序，得到A'；A'1为对应对抗样本攻击效果最好的扰动。
S105，将攻击效果最好的前a个扰动添加到新扰动中；
S106，从攻击效果最好的前b个扰动中随机选取2个扰动进行克隆，得到克隆扰动Ac1和Ac2及对应对抗样本的攻击效果
Figure BDA0001619387060000091
和
Figure BDA0001619387060000092
并从两种交叉方式中随机选取一种方式进行交叉变异；
方式一：随机生成数组ti'j'∈[0,1]，i'＝1,2,3,...,m'，j'＝1,2,3,...,n'；然后构建数组B1m'n'和B2m'n'，计算公式如下：
Figure BDA0001619387060000093
Figure BDA0001619387060000094
Figure BDA0001619387060000095
方式二：构建数组B1m'n'和B2m'n'，并令其中元素全部为1，然后令B1m'n'＝B1m'n'*α*γ，B2m'n'＝B2m'n'*(1-α)*γ，其中γ∈[0,2]用于放大或缩小扰动整体的影响。
采用两种不同的分裂方法，增加子扰动的多样性，并且每种方法本身生成的子扰动也有一定的随机性，再次增加子扰动的多样性，为扰动进化提供更广泛的选择范围。
S107，对克隆扰动Ac1和Ac2进行分裂，得到两个分裂扰动Ac1'和Ac2'，计算公式如下：
Figure BDA0001619387060000096
Figure BDA0001619387060000097
其中
Figure BDA0001619387060000098
表示点乘运算；
S108，将分裂扰动Ac1′和Ac2′进行融合，完成交叉运算，初步得到新的扰动Ac”：
Ac”＝Ac1'+Ac2' (9)
S109，对新扰动Ac”进行变异，获得子扰动Ac”'；随机生成数组t2ij∈[0,1]，i＝1,2,3,...,m'，j＝1,2,3,...,n'；
Figure BDA0001619387060000101
其中β表示变异概率，q∈[-255,255]；
S110，将子扰动Ac”'加入到新扰动中，若新扰动个数少于n，则跳转到S106，直到新扰动个数达到n个为止。
图4显示了对正常图片4(a)的进化过程。首先选取一个正常图片4(a)。然后用不同的攻击方法对同一个正常图片进行攻击，得到不同的扰动及对抗样本，图4(b)和图4(c)显示了用deepfool和saliency map对正常图片进行攻击后得到的扰动及对抗样本。为便于观察，图4中所有的扰动均为放大优化后的扰动。然后随机选择一种方式进行交叉，图4(d)是用方式一的得到的两个子扰动，图4(e)是将图4(d)这两个子扰动交叉后的到的新扰动，图4(f)是用方式二得到的两个子扰动，图4(g)是将图4(f)这两个子扰动交叉后拿得到的新扰动。
S111，循环次数是否达到k次，此时的A'1即为最佳扰动，将扰动叠加到正常图片S上得到的对抗样本就是最佳的对抗样本S'；若没有达到k次，则将新扰动代替原来的扰动A，跳转到S102。
利用本阶段步骤能够生成最优的扰动及对抗样本，为生成对抗样本检测器提供训练样本，以提高对抗样本检测器的检测精度。
对抗样本检测器获得阶段
S201，将最佳对抗样本和正常图片S作为神经网络的输入，将最佳对抗样本和正常图片S对应的真值标签作为神经网络的真值输出，对神经网络进行训练，获得对抗样本检测器D。
检测图像分类阶段
S301，先将用于检测的图片Ts输入到对抗样本检测器D进行检测；若被识别为对抗样本，则发出警报，实现对抗性攻击防御；若被判为正常图片，则输入到图像分类器中进行分类，返回分类结果。
本实施例中所应用的图像分类器为softmax分类器。
本实施例中，通过实验结果证明，用扰动进化后的对抗样本训练对抗样本检测器，该类检测器可以对普通对抗样本进行防御，如图3(d)所示；也可以对进化后的对抗样本进行防御，如图4(e)和图4(g)所示。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于扰动进化对图像分类器对抗性攻击的防御方法，包括以下步骤：
(1)将正常图片S输入到不同的攻击模型中，经计算获得n个扰动，将该n个扰动作为当前扰动；
(2)将正常图片S分别与n个当前扰动进行叠加，得到n个当前对抗样本，并将当前对抗样本输入到图像分类器中，获得当前对抗样本的攻击效果，并根据攻击效果对n个当前扰动进行排序；
(3)在攻击效果最优的前b个扰动中随机选取2个扰动，并利用遗传算法对此2个扰动进行遗传进化计算，得到子扰动；
(4)迭代执行步骤(3)，直到获得n-a个子扰动为止，并结合该n-a个子扰动与攻击效果最优的前a个扰动，组成新扰动后，将新扰动作为当前扰动；
(5)迭代执行步骤(2)～步骤(4)，直到达到迭代终止条件为止，此时最优的当前扰动为最佳扰动，叠加最佳扰动和正常图片S获得最佳对抗样本；
(6)将最佳对抗样本和正常图片S作为神经网络的输入，将最佳对抗样本和正常图片S对应的真值标签作为神经网络的真值输出，对神经网络进行训练，获得对抗样本检测器；
(7)利用对抗样本检测器对待测图片进行检测，当该待测图片被检测为正常图片时，将该待测图片输入到图像分类器进行分类，输出分类结果。
2.如权利要求1所述的基于扰动进化对图像分类器对抗性攻击的防御方法，其特征在于，所述攻击模型包括均匀噪声攻击模型、迷惑深度学习攻击模型、FGSM攻击模型、高斯模糊攻击方法、L-BFGS拟牛顿法攻击模型、显著图攻击模型、椒盐噪声攻击模型。
3.如权利要求1所述的基于扰动进化对图像分类器对抗性攻击的防御方法，其特征在于，步骤(1)中，所述将正常图片S输入到不同的攻击模型中，经计算获得n个扰动包括：
将正常图片S输入到不同的攻击模型，输出n个对抗样本后，计算正常图片S分别与n个对抗样本的差值，获得n个扰动。
4.如权利要求1所述的基于扰动进化对图像分类器对抗性攻击的防御方法，其特征在于，步骤(2)中，利用公式(1)～(3)获得当前对抗样本的攻击效果：
Figure FDA0002408075820000021
Figure FDA0002408075820000022
Figure FDA0002408075820000023
其中，φ(S'j)为第j个对抗样本S'j的攻击效果，对抗样本S'j被分为Ci,i∈1,2,3,...,n类的概率为pi(S'j)，被分为c0类的概率为p0(S'j)，c0为正常图片S的分类结果；
Figure FDA0002408075820000024
表示对抗样本S'j攻击成功率，η为常数，ρ(S′j)表示噪声大小，m'*n'表示正常图片的像素大小。
5.如权利要求4所述的基于扰动进化对图像分类器对抗性攻击的防御方法，其特征在于，步骤(3)的具体步骤为：
(3-1)在攻击效果最优的前b个扰动中随机选取2个扰动，并对此2个扰动进行克隆，获得克隆扰动Ac1和Ac2及对应对抗样本的攻击效果
Figure FDA0002408075820000031
和
Figure FDA0002408075820000032
(3-2)对克隆的扰动Ac1和Ac2进行分裂，得到分裂扰动Ac1′和Ac2′，计算公式为：
Figure FDA0002408075820000033
Figure FDA0002408075820000034
其中
Figure FDA0002408075820000035
表示点乘运算，B1和B2为数组；
(3-3)利用公式(6)对分裂扰动Ac1′和Ac2′进行交叉融合，获得扰动Ac'' ；
Ac'' ＝Ac1'+Ac2' (6)
(3-4)利用公式(7)对扰动Ac'' 进行变异，获得子扰动Ac''' ；
Figure FDA0002408075820000036
其中，随机生成数组t2ij∈[0,1]，i＝1,2,3,...,m'，j＝1,2,3,...,n'；β表示变异概率，q∈[-255,255]。
6.如权利要求5所述的基于扰动进化对图像分类器对抗性攻击的防御方法，其特征在于，所述对此2个扰动进行克隆，获得克隆扰动Ac1和Ac2及对应对抗样本的攻击效果
Figure FDA0002408075820000037
和
Figure FDA0002408075820000038
包括：
随机生成数组ti'j'∈[0,1]，i'＝1,2,3,...,m'，j'＝1,2,3,...,n'；然后构建数组B1m'n'和B2m'n'，计算公式如下：
Figure FDA0002408075820000041
Figure FDA0002408075820000042
Figure FDA0002408075820000043
7.如权利要求5所述的基于扰动进化对图像分类器对抗性攻击的防御方法，其特征在于，所述对此2个扰动进行克隆，获得克隆扰动Ac1和Ac2包括：
构建数组B1m'n'和B2m'n'，并令其中元素全部为1，然后令B1m'n'＝B1m'n'*α*γ，B2m'n'＝B2m'n'*(1-α)*γ，其中γ∈[0,2]，用于放大或缩小扰动整体的影响。
8.如权利要求5所述的基于扰动进化对图像分类器对抗性攻击的防御方法，其特征在于，在步骤(7)中，当待测图片被检测为对抗样本时，则发出警报。
CN201810299242.3A 2018-04-04 2018-04-04 基于扰动进化对图像分类器对抗性攻击的防御方法 Active CN108615048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810299242.3A CN108615048B (zh) 2018-04-04 2018-04-04 基于扰动进化对图像分类器对抗性攻击的防御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810299242.3A CN108615048B (zh) 2018-04-04 2018-04-04 基于扰动进化对图像分类器对抗性攻击的防御方法

Publications (2)

Publication Number Publication Date
CN108615048A CN108615048A (zh) 2018-10-02
CN108615048B true CN108615048B (zh) 2020-06-23

Family

ID=63659568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810299242.3A Active CN108615048B (zh) 2018-04-04 2018-04-04 基于扰动进化对图像分类器对抗性攻击的防御方法

Country Status (1)

Country Link
CN (1) CN108615048B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109617706B (zh) * 2018-10-18 2022-02-22 北京鼎力信安技术有限公司 工业控制系统防护方法及工业控制系统防护装置
CN109581871B (zh) * 2018-12-03 2022-01-21 北京工业大学 免疫对抗样本的工业控制系统入侵检测方法
CN109376556B (zh) * 2018-12-17 2020-12-18 华中科技大学 一种针对以卷积神经网络为基础的eeg脑机接口的攻击方法
CN109961145B (zh) * 2018-12-21 2020-11-13 北京理工大学 一种针对图像识别模型分类边界敏感的对抗样本生成方法
US10936910B2 (en) * 2019-02-15 2021-03-02 Baidu Usa Llc Systems and methods for joint adversarial training by incorporating both spatial and pixel attacks
CN109902617B (zh) * 2019-02-25 2022-04-12 百度在线网络技术（北京）有限公司 一种图片识别方法、装置、计算机设备和介质
CN109902475B (zh) * 2019-03-13 2021-01-29 百度在线网络技术（北京）有限公司 验证码图像生成方法、装置和电子设备
CN110175513B (zh) * 2019-04-15 2021-01-08 浙江工业大学 一种基于多目标路优化的路牌识别攻击防御方法
CN110163093B (zh) * 2019-04-15 2021-03-05 浙江工业大学 一种基于遗传算法的路牌识别对抗防御方法
CN110175611B (zh) * 2019-05-24 2020-12-11 浙江工业大学 面向车牌识别系统黑盒物理攻击模型的防御方法及装置
CN110175646B (zh) * 2019-05-27 2021-05-11 浙江工业大学 基于图像变换的多通道对抗样本检测方法及装置
CN110334742B (zh) * 2019-06-10 2021-06-29 浙江大学 一种用于文档分类的基于强化学习的通过添加虚假节点的图对抗样本生成方法
CN110322003B (zh) * 2019-06-10 2021-06-29 浙江大学 一种用于文档分类的基于梯度的通过添加虚假节点的图对抗样本生成方法
CN110210573B (zh) * 2019-06-11 2023-01-06 腾讯科技（深圳）有限公司 对抗图像的生成方法、装置、终端及存储介质
CN110263872B (zh) * 2019-06-26 2022-05-17 上海鹰瞳医疗科技有限公司 训练数据处理方法及装置
CN110717525B (zh) * 2019-09-20 2022-03-08 浙江工业大学 一种通道自适应优化的对抗攻击防御方法和装置
CN110851835A (zh) * 2019-09-23 2020-02-28 平安科技（深圳）有限公司 图像模型检测方法、装置、电子设备及存储介质
US11334671B2 (en) * 2019-10-14 2022-05-17 International Business Machines Corporation Adding adversarial robustness to trained machine learning models
CN110941794B (zh) * 2019-11-27 2023-08-22 浙江工业大学 一种基于通用逆扰动防御矩阵的对抗攻击防御方法
CN111046379B (zh) * 2019-12-06 2021-06-18 支付宝(杭州)信息技术有限公司 一种对抗攻击的监测方法和装置
CN110941824B (zh) * 2019-12-12 2022-01-28 支付宝(杭州)信息技术有限公司 一种基于对抗样本增强模型抗攻击能力的方法和系统
CN111340180B (zh) * 2020-02-10 2021-10-08 中国人民解放军国防科技大学 指定标签的对抗样本生成方法、装置、电子设备及介质
CN111488916B (zh) * 2020-03-19 2023-01-24 天津大学 一种基于训练集数据的对抗攻击方法
CN111723865B (zh) * 2020-06-19 2021-07-16 北京瑞莱智慧科技有限公司 评估图像识别模型、攻击方法性能的方法、装置和介质
CN112381152B (zh) * 2020-11-17 2023-12-05 上海科技大学 一种基于攻击成本的对抗样本检测方法
CN112561909B (zh) * 2020-12-28 2024-05-28 南京航空航天大学 一种基于融合变异的图像对抗样本生成方法
CN115147618A (zh) * 2021-03-15 2022-10-04 华为技术有限公司 一种生成显著图的方法、异常对象检测的方法以及装置
CN113938291B (zh) * 2021-09-03 2022-12-02 华中科技大学 一种基于对抗攻击算法的加密流量分析防御方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826160A (zh) * 2010-03-31 2010-09-08 北京航空航天大学 基于免疫进化策略的高光谱图像分类方法
CN105488528A (zh) * 2015-11-26 2016-04-13 北京工业大学 基于改进自适应遗传算法的神经网络图像分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826160A (zh) * 2010-03-31 2010-09-08 北京航空航天大学 基于免疫进化策略的高光谱图像分类方法
CN105488528A (zh) * 2015-11-26 2016-04-13 北京工业大学 基于改进自适应遗传算法的神经网络图像分类方法

Also Published As

Publication number Publication date
CN108615048A (zh) 2018-10-02

Similar Documents

Publication Publication Date Title
CN108615048B (zh) 基于扰动进化对图像分类器对抗性攻击的防御方法
Fidel et al. When explainability meets adversarial learning: Detecting adversarial examples using shap signatures
Wang et al. SaliencyGAN: Deep learning semisupervised salient object detection in the fog of IoT
Bao et al. Threat of adversarial attacks on DL-based IoT device identification
CN112199717B (zh) 一种基于少量公共数据的隐私模型训练方法及装置
Wang et al. Invisible adversarial attack against deep neural networks: An adaptive penalization approach
CN106570464A (zh) 一种快速处理人脸遮挡的人脸识别方法及装置
Balda et al. Perturbation analysis of learning algorithms: Generation of adversarial examples from classification to regression
Chen et al. Security issues and defensive approaches in deep learning frameworks
CN110175646B (zh) 基于图像变换的多通道对抗样本检测方法及装置
CN111209398A (zh) 一种基于图卷积神经网络的文本分类方法、系统
Sun et al. Threatening patch attacks on object detection in optical remote sensing images
CN112257741B (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
Li et al. One-class knowledge distillation for face presentation attack detection
CN113627543B (zh) 一种对抗攻击检测方法
Pu et al. Stein variational autoencoder
CN103268484A (zh) 用于高精度人脸识别的分类器设计方法
Bu et al. Taking care of the discretization problem: A comprehensive study of the discretization problem and a black-box adversarial attack in discrete integer domain
CN114239685A (zh) 评估神经网络图像分类模型鲁棒性的方法及装置
CN113723564A (zh) 一种对抗样本防御模型训练方法、系统及其应用
Lv et al. Chinese character CAPTCHA recognition based on convolution neural network
Tang et al. Adversarial patch attacks against aerial imagery object detectors
CN111210018A (zh) 一种提升深度神经网络模型鲁棒性的方法及装置
Abdukhamidov et al. Hardening interpretable deep learning systems: Investigating adversarial threats and defenses
Liu et al. GreedyFool: Multi-factor imperceptibility and its application to designing a black-box adversarial attack

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant