CN108615048A - 基于扰动进化对图像分类器对抗性攻击的防御方法 - Google Patents

基于扰动进化对图像分类器对抗性攻击的防御方法 Download PDF

Info

Publication number
CN108615048A
CN108615048A CN201810299242.3A CN201810299242A CN108615048A CN 108615048 A CN108615048 A CN 108615048A CN 201810299242 A CN201810299242 A CN 201810299242A CN 108615048 A CN108615048 A CN 108615048A
Authority
CN
China
Prior art keywords
disturbance
sample
resisting sample
image classifier
normal picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810299242.3A
Other languages
English (en)
Other versions
CN108615048B (zh
Inventor
陈晋音
苏蒙蒙
徐轩珩
郑海斌
林翔
熊晖
沈诗婧
施朝霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810299242.3A priority Critical patent/CN108615048B/zh
Publication of CN108615048A publication Critical patent/CN108615048A/zh
Application granted granted Critical
Publication of CN108615048B publication Critical patent/CN108615048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Genetics & Genomics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明功公开了一种基于扰动进化对图像分类器对抗性攻击的防御方法，包括以下步骤：1)用不同的攻击模型对样本进行攻击，得到不同类型的扰动。2)用扰动对应的对抗样本对黑盒模型进行攻击，并对攻击效果进行排序。3)攻击效果好的扰动进行克隆、交叉、变异等操作得到新的扰动。4)用父子混合选的方式对扰动进行更新，达到扰动进化的目的。5)用进化后扰动对应的对抗样本和正常样本训练对抗样本检测器。6)在对检测样本进行检测时，先用对抗样本检测器进行检测，然后将正常样本输入黑盒模型并返回类别，达到对对抗性攻击进行防御的效果。

Description

基于扰动进化对图像分类器对抗性攻击的防御方法
技术领域
本发明属于深度学习安全技术领域，具体涉及基于扰动进化对图像分类器对抗性攻击的防御方法。
背景技术
深度学习受神经科学启发而来，可以通过对大量数据进行学习，获得比一般算法更准确的分类结果，具有强大的特征学习能力和特征表达能力。而随着深度学习被广泛地应用到VISION、语音识别、语言处理、金融欺诈检测以及恶意软件检测的各种领域，深度学习的安全问题也逐渐被人们重视。
虽然深度学习在计算机视觉领域有很高的分类效果，但是szegedy等人发现，深度模型很容易受到细微扰动的攻击。这些细小的扰动对于人类视觉系统来说是几乎无法察觉的，但却可以使得深度模型分类错误，甚至对错误的分类结果表现出很高的置信度。这便会发生无人驾驶系统无法识别标示，从而发生车祸；人脸识别系统识别人脸错误或者无法检测到人脸，从而使罪犯逃脱等情况。
对于一些实现图像分类的黑箱模型而言，人们并不知道其内部结构。所以为了在不改变黑箱模型的情况下实现防御效果，人们可以在检测图片输入到黑箱模型前，先用检测器判断图片是否为对抗样本，若不是再输入到黑箱模型中，从而达到防御攻击的效果。因此，用于训练检测器的对抗样本质量在一定程度上决定了防御效果的好坏。
目前已经存在着许多攻击模型可以对图像分类模型进行攻击，若人们只用此类攻击进行训练，则无法对未知的攻击进行防御。虽然不同的对抗性攻击方法具有不同的结构，无法直接优化或比较，但都会输出对抗样本及扰动。
综上所述，如何对扰动进行进化，得到效果更好的对抗样本，并训练得到更好的对抗样本分类器，在提升图像分类黑盒模型对对抗性攻击防御效果方面上有着极其重要的理论与实践意义。
发明内容
为了提高图像分类器对对抗性攻击的防御效果，本发明提供了一种基于扰动进化对图像分类器对抗性攻击的防御方法，该方法利用扰动进化的方式提高对抗样本检测器对对抗样本的识别效果，从而提高对对抗性攻击的防御效果。
为实现上述发明目的，本发明提供以下技术方案：
一种基于扰动进化对图像分类器对抗性攻击的防御方法，包括以下步骤：
(1)将正常图片S输入到不同的攻击模型中，经计算获得n个扰动，将该n个扰动作为当前扰动；
(2)将正常图片S分别与n个当前扰动进行叠加，得到n个当前对抗样本，并将当前对抗样本输入到图像分类器中，获得当前对抗样本的攻击效果，并根据攻击效果对n个当前扰动进行排序；
(3)在攻击效果最优的前b个扰动中随机选取2个扰动，并利用遗传算法对此2个扰动进行遗传进化计算，得到子扰动；
(4)迭代执行步骤(3)，直到获得n-a个子扰动为止，并结合该n-a个子扰动与攻击效果最优的前a个扰动，组成新扰动后，将新扰动作为当前扰动；
(5)迭代执行步骤(2)～步骤(4)，直到达到迭代终止条件为止，此时最优的当前扰动为最佳扰动，叠加最佳扰动和正常图片S获得最佳对抗样本；
(6)将最佳对抗样本和正常图片S作为神经网络的输入，将最佳对抗样本和正常图片S对应的真值标签作为神经网络的真值输出，对神经网络进行训练，获得对抗样本检测器；
(7)利用对抗样本检测器对待测图片进行检测，当该待测图片被检测为正常图片时，将该待测图片输入到图像分类器进行分类，输出分类结果。
本发明中，利用步骤(1)中提供的多种攻击模型，将正常图片转变成不同的扰动特征，为扰动进化提供基础，然后通过步骤(2)～步骤(5)将遗传算法应用于扰动进化问题，生成最优的扰动及对抗样本，为生成对抗样本检测器提供训练样本，提高对抗样本检测器的检测精度，将待测图片输入到图像分类器前对图片进行检测，在实现对现有攻击进行防御的基础上还实现对部分未知攻击进行防御的效果。
优选地，所述攻击模型包括均匀噪声攻击模型(Additive Uniform NoiseAttack)、迷惑深度学习攻击模型(Deep Fool)、FGSM攻击模型(Fast Gradient SignMethod)、高斯模糊攻击方法(Gaussian Blur Attack)、L-BFGS拟牛顿法攻击模型(Limitedmemory BFGS)、显著图攻击模型(Saliency Map Attack)、椒盐噪声攻击模型(Salt AndPepper Noise Attack)。
优选地，步骤(1)中，所述将正常图片S输入到不同的攻击模型中，经计算获得n个扰动包括：
将正常图片S输入到不同的攻击模型，输出n个对抗样本后，计算正常图片S分别与n个对抗样本的差值，获得n个扰动。
优选地，步骤(2)中，利用公式(1)～(3)获得当前对抗样本的攻击效果：
其中，φ(S'j)为第j个对抗样本S'j的攻击效果，对抗样本S'j被分为Ci,i∈1,2,3,...,n类的概率为pi(S'j)，被分为c0类的概率为p0(S'j)，c0为正常图片S的分类结果；
表示对抗样本S'j攻击成功率，η为常数，ρ(Sj′)表示噪声大小，m'*n'表示正常图片的像素大小。图片可为多通道，为便于说明，本发明只对其中一个通道进行说明，其他通道均相同，协调攻击成功率和噪声大小是对算法的影响比例。
优选地，步骤(3)的具体步骤为：
(3-1)在攻击效果最优的前b个扰动中随机选取2个扰动，并对此2个扰动进行克隆，获得克隆扰动Ac1和Ac2及对应对抗样本的攻击效果和
(3-2)对克隆的扰动Ac1和Ac2进行分裂，得到分裂扰动Ac1′和Ac2′，计算公式为：
其中表示点乘运算，B1和B2为数组；
(3-3)利用公式(6)对分裂扰动Ac1′和Ac2′进行交叉融合，获得扰动Ac”；
Ac”＝Ac1'+Ac2' (6)
(3-4)利用公式(7)对扰动Ac”进行变异，获得子扰动Ac”'；
其中，随机生成数组t2ij∈[0,1]，i＝1,2,3,...,m'，j＝1,2,3,...,n'；β表示变异概率，q∈[-255,255]。
优选地，所述对此2个扰动进行克隆，获得克隆扰动Ac1和Ac2及对应对抗样本的攻击效果和包括：
随机生成数组ti'j'∈[0,1]，i'＝1,2,3,...,m'，j'＝1,2,3,...,n'；然后构建数组B1m'n'和B2m'n'，计算公式如下：
优选地，所述对此2个扰动进行克隆，获得克隆扰动Ac1和Ac2包括：
构建数组B1m'n'和B2m'n'，并令其中元素全部为1，然后令B1m'n'＝B1m'n'*α*γ，B2m'n'＝B2m'n'*(1-α)*γ，其中γ∈[0,2]，用于放大或缩小扰动整体的影响。
本发明中，采用两种不同的分裂方法，增加扰动的多样性，并且每种方法本身生成的扰动也有一定的随机性，再次增加扰动的多样性，为扰动进化提供更广泛的选择范围。
在步骤(7)中，当待测图片被检测为对抗样本时，则发出警报，实现对抗性攻击防御。
本发明的技术构思为：基于扰动进化的黑盒对抗性攻击防御方法。首先，采用改进的遗传算法对扰动进行进化，得到最佳的扰动及对抗样本。然后，用该类对抗样本和正常图片训练对抗样本检测器。最后用对抗样本检测器判别用于检测的图片是否为正常图片，达到图片分类器对对抗样本进行防御效果。
本发明的有益效果主要表现在：将遗传算法应用于扰动进化问题，得到更优于普通攻击模型得到对抗样本，使得对抗样本检测器可以更有效的检测出对抗样本。算法采用了多种不同形式的分裂方式，并且每种分裂方式本身带有一定的随机性，增加了子扰动的多样性；提升了扰动进化的效果，增加了新扰动的质量，为得到最优扰动提供基础。并在检测图片输入到黑盒的图像分类器模型前，用进化扰动训练的对抗样本检测器进行检测，从而达到在不知道且不改动黑盒模型内部结构的基础上，实现对已知攻击和部分未知攻击进行防御。
附图说明
图1是本发明提供的获得最佳对抗样本的流程示意图；
图2是利用本发明提供的图像分类器模型对对抗性攻击进行防御的过程示意图；
图3(a)是ImageNet数据集中各种类别的图片；图3(b)是对图3(a)用deepfool攻击后得到的扰动，图3(c)是对图3(b)中扰动的放大图；图3(d)是攻击后得到的对抗样本；
图4是为本实施例提供的扰动进化过程，其中，图4(a)为正常图片，图4(b)和图4(c)为用deepfool和saliency map对正常图片进行攻击后得到的扰动及对抗样本，图4(d)是用方式一得到的两个子扰动，图4(e)是将图4(d)这两个子扰动交叉后的到的新扰动，图4(f)是用方式二得到的两个子扰动，图4(g)是将图4(f)这两个子扰动交叉后拿得到的新扰动。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
本实施例利用ImageNet数据集中各种类别的图片进行试验。如图1～3所示，本实施例提供的基于扰动进化对图像分类器对抗性攻击的防御方法分为三个阶段，分别为最佳对抗样本生成阶段、对抗样本检测器获得阶段以及检测图像分类阶段。每个阶段的具体过程如下：
最佳对抗样本生成阶段
S101，将正常图片S输入到不同的攻击模型AM中，经计算获得扰动，将该扰动作为当前扰动。
S101中具体获得扰动的过程为：将正常图片S输入到不同的攻击模型AM，输出n个对抗样本S'后，计算正常图片S分别与n个对抗样本的差值，获得n个扰动。
扰动是一个矩阵，该矩阵的维度与正常图像大小相同。本实施例中，扰动模型AM为deep fool模型和saliency map模型。
S102，将扰动A叠加到正常图片S上，得到对应的对抗样本S'；
此处的叠加是指将扰动的像素点和正常图片的像素点相加。
S103，将对抗样本S'输入到图像分类器中，计算对抗样本的攻击效果；已知正常图片S的分类结果为c0，第j个对抗样本S'j被分为Ci,i∈1,2,3,...,n类的概率为pi(S'j)，被分为c0类的概率为p0(S'j)；则对抗样本S'j的攻击效果φ(S'j)计算公式如下：
表示对抗样本S'j攻击成功率，η为常数，ρ(Sj′)表示噪声大小，m'*n'表示正常图片的像素大小，协调攻击成功率和噪声大小对是算法的影响比例。
S104，根据对抗样本S'的攻击效果对对应的扰动A进行排序，得到A'；A'1为对应对抗样本攻击效果最好的扰动。
S105，将攻击效果最好的前a个扰动添加到新扰动中；
S106，从攻击效果最好的前b个扰动中随机选取2个扰动进行克隆，得到克隆扰动Ac1和Ac2及对应对抗样本的攻击效果和并从两种交叉方式中随机选取一种方式进行交叉变异；
方式一：随机生成数组ti'j'∈[0,1]，i'＝1,2,3,...,m'，j'＝1,2,3,...,n'；然后构建数组B1m'n'和B2m'n'，计算公式如下：
方式二：构建数组B1m'n'和B2m'n'，并令其中元素全部为1，然后令B1m'n'＝B1m'n'*α*γ，B2m'n'＝B2m'n'*(1-α)*γ，其中γ∈[0,2]用于放大或缩小扰动整体的影响。
采用两种不同的分裂方法，增加子扰动的多样性，并且每种方法本身生成的子扰动也有一定的随机性，再次增加子扰动的多样性，为扰动进化提供更广泛的选择范围。
S107，对克隆扰动Ac1和Ac2进行分裂，得到两个分裂扰动Ac1'和Ac2'，计算公式如下：
其中表示点乘运算；
S108，将分裂扰动Ac1′和Ac2′进行融合，完成交叉运算，初步得到新的扰动Ac”：
Ac”＝Ac1'+Ac2' (9)
S109，对新扰动Ac”进行变异，获得子扰动Ac”'；随机生成数组t2ij∈[0,1]，i＝1,2,3,...,m'，j＝1,2,3,...,n'；
其中β表示变异概率，q∈[-255,255]；
S110，将子扰动Ac”'加入到新扰动中，若新扰动个数少于n，则跳转到S106，直到新扰动个数达到n个为止。
图4显示了对正常图片4(a)的进化过程。首先选取一个正常图片4(a)。然后用不同的攻击方法对同一个正常图片进行攻击，得到不同的扰动及对抗样本，图4(b)和图4(c)显示了用deepfool和saliency map对正常图片进行攻击后得到的扰动及对抗样本。为便于观察，图4中所有的扰动均为放大优化后的扰动。然后随机选择一种方式进行交叉，图4(d)是用方式一的得到的两个子扰动，图4(e)是将图4(d)这两个子扰动交叉后的到的新扰动，图4(f)是用方式二得到的两个子扰动，图4(g)是将图4(f)这两个子扰动交叉后拿得到的新扰动。
S111，循环次数是否达到k次，此时的A'1即为最佳扰动，将扰动叠加到正常图片S上得到的对抗样本就是最佳的对抗样本S'；若没有达到k次，则将新扰动代替原来的扰动A，跳转到S102。
利用本阶段步骤能够生成最优的扰动及对抗样本，为生成对抗样本检测器提供训练样本，以提高对抗样本检测器的检测精度。
对抗样本检测器获得阶段
S201，将最佳对抗样本和正常图片S作为神经网络的输入，将最佳对抗样本和正常图片S对应的真值标签作为神经网络的真值输出，对神经网络进行训练，获得对抗样本检测器D。
检测图像分类阶段
S301，先将用于检测的图片Ts输入到对抗样本检测器D进行检测；若被识别为对抗样本，则发出警报，实现对抗性攻击防御；若被判为正常图片，则输入到图像分类器中进行分类，返回分类结果。
本实施例中所应用的图像分类器为softmax分类器。
本实施例中，通过实验结果证明，用扰动进化后的对抗样本训练对抗样本检测器，该类检测器可以对普通对抗样本进行防御，如图3(d)所示；也可以对进化后的对抗样本进行防御，如图4(e)和图4(g)所示。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于扰动进化对图像分类器对抗性攻击的防御方法，包括以下步骤：
(1)将正常图片S输入到不同的攻击模型中，经计算获得n个扰动，将该n个扰动作为当前扰动；
(2)将正常图片S分别与n个当前扰动进行叠加，得到n个当前对抗样本，并将当前对抗样本输入到图像分类器中，获得当前对抗样本的攻击效果，并根据攻击效果对n个当前扰动进行排序；
(3)在攻击效果最优的前b个扰动中随机选取2个扰动，并利用遗传算法对此2个扰动进行遗传进化计算，得到子扰动；
(4)迭代执行步骤(3)，直到获得n-a个子扰动为止，并结合该n-a个子扰动与攻击效果最优的前a个扰动，组成新扰动后，将新扰动作为当前扰动；
(5)迭代执行步骤(2)～步骤(4)，直到达到迭代终止条件为止，此时最优的当前扰动为最佳扰动，叠加最佳扰动和正常图片S获得最佳对抗样本；
(6)将最佳对抗样本和正常图片S作为神经网络的输入，将最佳对抗样本和正常图片S对应的真值标签作为神经网络的真值输出，对神经网络进行训练，获得对抗样本检测器；
(7)利用对抗样本检测器对待测图片进行检测，当该待测图片被检测为正常图片时，将该待测图片输入到图像分类器进行分类，输出分类结果。
2.如权利要求1所述的基于扰动进化对图像分类器对抗性攻击的防御方法，其特征在于，所述攻击模型包括均匀噪声攻击模型、迷惑深度学习攻击模型、FGSM攻击模型、高斯模糊攻击方法、L-BFGS拟牛顿法攻击模型、显著图攻击模型、椒盐噪声攻击模型。
3.如权利要求1所述的基于扰动进化对图像分类器对抗性攻击的防御方法，其特征在于，步骤(1)中，所述将正常图片S输入到不同的攻击模型中，经计算获得n个扰动包括：
将正常图片S输入到不同的攻击模型，输出n个对抗样本后，计算正常图片S分别与n个对抗样本的差值，获得n个扰动。
4.如权利要求1所述的基于扰动进化对图像分类器对抗性攻击的防御方法，其特征在于，步骤(2)中，利用公式(1)～(3)获得当前对抗样本的攻击效果：
其中，φ(S'j)为第j个对抗样本S'j的攻击效果，对抗样本S'j被分为Ci,i∈1,2,3,...,n类的概率为pi(S'j)，被分为c0类的概率为p0(S'j)，c0为正常图片S的分类结果；
表示对抗样本S'j攻击成功率，η为常数，ρ(Sj′)表示噪声大小，m'*n'表示正常图片的像素大小。
5.如权利要求4所述的基于扰动进化对图像分类器对抗性攻击的防御方法，其特征在于，步骤(3)的具体步骤为：
(3-1)在攻击效果最优的前b个扰动中随机选取2个扰动，并对此2个扰动进行克隆，获得克隆扰动Ac1和Ac2及对应对抗样本的攻击效果和
(3-2)对克隆的扰动Ac1和Ac2进行分裂，得到分裂扰动Ac1′和Ac2′，计算公式为：
其中表示点乘运算，B1和B2为数组；
(3-3)利用公式(6)对分裂扰动Ac1′和Ac2′进行交叉融合，获得扰动Ac”；
Ac”＝Ac1'+Ac2' (6)
(3-4)利用公式(7)对扰动Ac”进行变异，获得子扰动Ac”'；
其中，随机生成数组t2ij∈[0,1]，i＝1,2,3,...,m'，j＝1,2,3,...,n'；β表示变异概率，q∈[-255,255]。
6.如权利要求5所述的基于扰动进化对图像分类器对抗性攻击的防御方法，其特征在于，所述对此2个扰动进行克隆，获得克隆扰动Ac1和Ac2及对应对抗样本的攻击效果和包括：
随机生成数组ti'j'∈[0,1]，i'＝1,2,3,...,m'，j'＝1,2,3,...,n'；然后构建数组B1m'n'和B2m'n'，计算公式如下：
7.如权利要求5所述的基于扰动进化对图像分类器对抗性攻击的防御方法，其特征在于，所述对此2个扰动进行克隆，获得克隆扰动Ac1和Ac2包括：
构建数组B1m'n'和B2m'n'，并令其中元素全部为1，然后令B1m'n'＝B1m'n'*α*γ，B2m'n'＝B2m'n'*(1-α)*γ，其中γ∈[0,2]，用于放大或缩小扰动整体的影响。
8.如权利要求5所述的基于扰动进化对图像分类器对抗性攻击的防御方法，其特征在于，在步骤(7)中，当待测图片被检测为对抗样本时，则发出警报。
CN201810299242.3A 2018-04-04 2018-04-04 基于扰动进化对图像分类器对抗性攻击的防御方法 Active CN108615048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810299242.3A CN108615048B (zh) 2018-04-04 2018-04-04 基于扰动进化对图像分类器对抗性攻击的防御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810299242.3A CN108615048B (zh) 2018-04-04 2018-04-04 基于扰动进化对图像分类器对抗性攻击的防御方法

Publications (2)

Publication Number Publication Date
CN108615048A true CN108615048A (zh) 2018-10-02
CN108615048B CN108615048B (zh) 2020-06-23

Family

ID=63659568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810299242.3A Active CN108615048B (zh) 2018-04-04 2018-04-04 基于扰动进化对图像分类器对抗性攻击的防御方法

Country Status (1)

Country Link
CN (1) CN108615048B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109581871A (zh) * 2018-12-03 2019-04-05 北京工业大学 免疫对抗样本的工业控制系统入侵检测方法
CN109617706A (zh) * 2018-10-18 2019-04-12 北京鼎力信安技术有限公司 工业控制系统防护方法及工业控制系统防护装置
CN109902475A (zh) * 2019-03-13 2019-06-18 百度在线网络技术（北京）有限公司 验证码图像生成方法、装置和电子设备
CN109902617A (zh) * 2019-02-25 2019-06-18 百度在线网络技术（北京）有限公司 一种图片识别方法、装置、计算机设备和介质
CN109961145A (zh) * 2018-12-21 2019-07-02 北京理工大学 一种针对图像识别模型分类边界敏感的对抗样本生成方法
CN110163093A (zh) * 2019-04-15 2019-08-23 浙江工业大学 一种基于遗传算法的路牌识别对抗防御方法
CN110175513A (zh) * 2019-04-15 2019-08-27 浙江工业大学 一种基于多目标路优化的路牌识别攻击防御方法
CN110175611A (zh) * 2019-05-24 2019-08-27 浙江工业大学 面向车牌识别系统黑盒物理攻击模型的防御方法及装置
CN110175646A (zh) * 2019-05-27 2019-08-27 浙江工业大学 基于图像变换的多通道对抗样本检测方法及装置
CN110210573A (zh) * 2019-06-11 2019-09-06 腾讯科技（深圳）有限公司 对抗图像的生成方法、装置、终端及存储介质
CN110263872A (zh) * 2019-06-26 2019-09-20 上海鹰瞳医疗科技有限公司 训练数据处理方法及装置
CN110322003A (zh) * 2019-06-10 2019-10-11 浙江大学 一种基于梯度的通过添加虚假节点的图对抗样本生成方法
CN110334742A (zh) * 2019-06-10 2019-10-15 浙江大学 一种基于强化学习的通过添加虚假节点的图对抗样本生成方法
CN110717525A (zh) * 2019-09-20 2020-01-21 浙江工业大学 一种通道自适应优化的对抗攻击防御方法和装置
CN110941824A (zh) * 2019-12-12 2020-03-31 支付宝(杭州)信息技术有限公司 一种基于对抗样本增强模型抗攻击能力的方法和系统
CN110941794A (zh) * 2019-11-27 2020-03-31 浙江工业大学 一种基于通用逆扰动防御矩阵的对抗攻击防御方法
CN111340180A (zh) * 2020-02-10 2020-06-26 中国人民解放军国防科技大学 指定标签的对抗样本生成方法、装置、电子设备及介质
CN111488916A (zh) * 2020-03-19 2020-08-04 天津大学 一种基于训练集数据的对抗攻击方法
CN111582295A (zh) * 2019-02-15 2020-08-25 百度（美国）有限责任公司 通过结合空间攻击和像素攻击两者来进行联合对抗性训练的系统和方法
CN111723865A (zh) * 2020-06-19 2020-09-29 北京瑞莱智慧科技有限公司 评估图像识别模型、攻击方法性能的方法、装置和介质
CN111950582A (zh) * 2019-05-16 2020-11-17 罗伯特·博世有限公司 为分类模型确定扰动掩模
CN109376556B (zh) * 2018-12-17 2020-12-18 华中科技大学 一种针对以卷积神经网络为基础的eeg脑机接口的攻击方法
CN112381152A (zh) * 2020-11-17 2021-02-19 上海科技大学 一种基于攻击成本的对抗样本检测方法
CN112561909A (zh) * 2020-12-28 2021-03-26 南京航空航天大学 一种基于融合变异的图像对抗样本生成方法
WO2021056746A1 (zh) * 2019-09-23 2021-04-01 平安科技（深圳）有限公司 图像模型检测方法、装置、电子设备及存储介质
WO2021074770A1 (en) * 2019-10-14 2021-04-22 International Business Machines Corporation Adding adversarial robustness to trained machine learning models
WO2021109695A1 (zh) * 2019-12-06 2021-06-10 支付宝(杭州)信息技术有限公司 一种对抗攻击的监测方法和装置
CN113938291A (zh) * 2021-09-03 2022-01-14 华中科技大学 一种基于对抗攻击算法的加密流量分析防御方法和系统
WO2022194069A1 (zh) * 2021-03-15 2022-09-22 华为技术有限公司 一种生成显著图的方法、异常对象检测的方法以及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826160A (zh) * 2010-03-31 2010-09-08 北京航空航天大学 基于免疫进化策略的高光谱图像分类方法
CN105488528A (zh) * 2015-11-26 2016-04-13 北京工业大学 基于改进自适应遗传算法的神经网络图像分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101826160A (zh) * 2010-03-31 2010-09-08 北京航空航天大学 基于免疫进化策略的高光谱图像分类方法
CN105488528A (zh) * 2015-11-26 2016-04-13 北京工业大学 基于改进自适应遗传算法的神经网络图像分类方法

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109617706A (zh) * 2018-10-18 2019-04-12 北京鼎力信安技术有限公司 工业控制系统防护方法及工业控制系统防护装置
CN109581871A (zh) * 2018-12-03 2019-04-05 北京工业大学 免疫对抗样本的工业控制系统入侵检测方法
CN109581871B (zh) * 2018-12-03 2022-01-21 北京工业大学 免疫对抗样本的工业控制系统入侵检测方法
CN109376556B (zh) * 2018-12-17 2020-12-18 华中科技大学 一种针对以卷积神经网络为基础的eeg脑机接口的攻击方法
CN109961145A (zh) * 2018-12-21 2019-07-02 北京理工大学 一种针对图像识别模型分类边界敏感的对抗样本生成方法
CN111582295B (zh) * 2019-02-15 2023-09-08 百度（美国）有限责任公司 通过结合空间攻击和像素攻击两者来进行联合对抗性训练的系统和方法
CN111582295A (zh) * 2019-02-15 2020-08-25 百度（美国）有限责任公司 通过结合空间攻击和像素攻击两者来进行联合对抗性训练的系统和方法
CN109902617B (zh) * 2019-02-25 2022-04-12 百度在线网络技术（北京）有限公司 一种图片识别方法、装置、计算机设备和介质
CN109902617A (zh) * 2019-02-25 2019-06-18 百度在线网络技术（北京）有限公司 一种图片识别方法、装置、计算机设备和介质
CN109902475A (zh) * 2019-03-13 2019-06-18 百度在线网络技术（北京）有限公司 验证码图像生成方法、装置和电子设备
CN110163093A (zh) * 2019-04-15 2019-08-23 浙江工业大学 一种基于遗传算法的路牌识别对抗防御方法
CN110175513A (zh) * 2019-04-15 2019-08-27 浙江工业大学 一种基于多目标路优化的路牌识别攻击防御方法
CN110163093B (zh) * 2019-04-15 2021-03-05 浙江工业大学 一种基于遗传算法的路牌识别对抗防御方法
CN111950582A (zh) * 2019-05-16 2020-11-17 罗伯特·博世有限公司 为分类模型确定扰动掩模
CN110175611A (zh) * 2019-05-24 2019-08-27 浙江工业大学 面向车牌识别系统黑盒物理攻击模型的防御方法及装置
CN110175646A (zh) * 2019-05-27 2019-08-27 浙江工业大学 基于图像变换的多通道对抗样本检测方法及装置
CN110175646B (zh) * 2019-05-27 2021-05-11 浙江工业大学 基于图像变换的多通道对抗样本检测方法及装置
CN110322003A (zh) * 2019-06-10 2019-10-11 浙江大学 一种基于梯度的通过添加虚假节点的图对抗样本生成方法
CN110334742A (zh) * 2019-06-10 2019-10-15 浙江大学 一种基于强化学习的通过添加虚假节点的图对抗样本生成方法
CN110334742B (zh) * 2019-06-10 2021-06-29 浙江大学 一种用于文档分类的基于强化学习的通过添加虚假节点的图对抗样本生成方法
CN110322003B (zh) * 2019-06-10 2021-06-29 浙江大学 一种用于文档分类的基于梯度的通过添加虚假节点的图对抗样本生成方法
CN110210573A (zh) * 2019-06-11 2019-09-06 腾讯科技（深圳）有限公司 对抗图像的生成方法、装置、终端及存储介质
CN110210573B (zh) * 2019-06-11 2023-01-06 腾讯科技（深圳）有限公司 对抗图像的生成方法、装置、终端及存储介质
CN110263872A (zh) * 2019-06-26 2019-09-20 上海鹰瞳医疗科技有限公司 训练数据处理方法及装置
CN110263872B (zh) * 2019-06-26 2022-05-17 上海鹰瞳医疗科技有限公司 训练数据处理方法及装置
CN110717525A (zh) * 2019-09-20 2020-01-21 浙江工业大学 一种通道自适应优化的对抗攻击防御方法和装置
CN110717525B (zh) * 2019-09-20 2022-03-08 浙江工业大学 一种通道自适应优化的对抗攻击防御方法和装置
WO2021056746A1 (zh) * 2019-09-23 2021-04-01 平安科技（深圳）有限公司 图像模型检测方法、装置、电子设备及存储介质
WO2021074770A1 (en) * 2019-10-14 2021-04-22 International Business Machines Corporation Adding adversarial robustness to trained machine learning models
US11334671B2 (en) 2019-10-14 2022-05-17 International Business Machines Corporation Adding adversarial robustness to trained machine learning models
GB2604791B (en) * 2019-10-14 2024-03-13 Ibm Adding adversarial robustness to trained machine learning models
GB2604791A (en) * 2019-10-14 2022-09-14 Ibm Adding adversarial robustness to trained machine learning models
CN110941794B (zh) * 2019-11-27 2023-08-22 浙江工业大学 一种基于通用逆扰动防御矩阵的对抗攻击防御方法
CN110941794A (zh) * 2019-11-27 2020-03-31 浙江工业大学 一种基于通用逆扰动防御矩阵的对抗攻击防御方法
WO2021109695A1 (zh) * 2019-12-06 2021-06-10 支付宝(杭州)信息技术有限公司 一种对抗攻击的监测方法和装置
CN110941824A (zh) * 2019-12-12 2020-03-31 支付宝(杭州)信息技术有限公司 一种基于对抗样本增强模型抗攻击能力的方法和系统
CN111340180B (zh) * 2020-02-10 2021-10-08 中国人民解放军国防科技大学 指定标签的对抗样本生成方法、装置、电子设备及介质
CN111340180A (zh) * 2020-02-10 2020-06-26 中国人民解放军国防科技大学 指定标签的对抗样本生成方法、装置、电子设备及介质
CN111488916A (zh) * 2020-03-19 2020-08-04 天津大学 一种基于训练集数据的对抗攻击方法
CN111488916B (zh) * 2020-03-19 2023-01-24 天津大学 一种基于训练集数据的对抗攻击方法
CN111723865A (zh) * 2020-06-19 2020-09-29 北京瑞莱智慧科技有限公司 评估图像识别模型、攻击方法性能的方法、装置和介质
CN112381152B (zh) * 2020-11-17 2023-12-05 上海科技大学 一种基于攻击成本的对抗样本检测方法
CN112381152A (zh) * 2020-11-17 2021-02-19 上海科技大学 一种基于攻击成本的对抗样本检测方法
CN112561909B (zh) * 2020-12-28 2024-05-28 南京航空航天大学 一种基于融合变异的图像对抗样本生成方法
CN112561909A (zh) * 2020-12-28 2021-03-26 南京航空航天大学 一种基于融合变异的图像对抗样本生成方法
WO2022194069A1 (zh) * 2021-03-15 2022-09-22 华为技术有限公司 一种生成显著图的方法、异常对象检测的方法以及装置
CN113938291A (zh) * 2021-09-03 2022-01-14 华中科技大学 一种基于对抗攻击算法的加密流量分析防御方法和系统

Also Published As

Publication number Publication date
CN108615048B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN108615048A (zh) 基于扰动进化对图像分类器对抗性攻击的防御方法
Wei et al. Heuristic black-box adversarial attacks on video recognition models
CN109766991A (zh) 一种采用对抗性训练的人工智能优化系统及方法
CN109902018A (zh) 一种智能驾驶系统测试案例的获取方法
CN110175611A (zh) 面向车牌识别系统黑盒物理攻击模型的防御方法及装置
CN113127857B (zh) 针对对抗性攻击的深度学习模型防御方法及深度学习模型
CN113269228B (zh) 一种图网络分类模型的训练方法、装置、系统及电子设备
CN107958255A (zh) 一种基于图像的目标检测方法及装置
Yuan et al. You Are Catching My Attention: Are Vision Transformers Bad Learners under Backdoor Attacks?
CN114399630A (zh) 基于信念攻击和显著区域扰动限制的对抗样本生成方法
CN109426828A (zh) 点云分类方法、装置、设备及存储介质
CN110175646A (zh) 基于图像变换的多通道对抗样本检测方法及装置
KR20190028880A (ko) 봇넷 탐지 시스템을 학습하기 위한 학습 데이터를 생성하는 방법 및 그 장치
Hu et al. Model scheduling and sample selection for ensemble adversarial example attacks
CN114494771B (zh) 一种可防御后门攻击的联邦学习图像分类方法
Liang et al. We can always catch you: Detecting adversarial patched objects with or without signature
CN111210018A (zh) 一种提升深度神经网络模型鲁棒性的方法及装置
Naqvi et al. Adversarial attacks on visual objects using the fast gradient sign method
CN114332982A (zh) 一种人脸识别模型攻击防御方法、装置、设备及存储介质
CN117152486A (zh) 一种基于可解释性的图像对抗样本检测方法
CN106530319B (zh) 一种基于轨迹有向图的视频对象协同分割方法
CN115225373B (zh) 一种信息不完备条件下的网络空间安全态势表达方法及装置
Zhang et al. Certified defense against patch attacks via mask-guided randomized smoothing
CN113378985B (zh) 一种基于逐层相关性传播的对抗样本检测方法和装置
Huang et al. Orion: Online Backdoor Sample Detection via Evolution Deviance.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant