CN112529047A - 一种基于梯度屏蔽的对抗样本生成方法 - Google Patents

一种基于梯度屏蔽的对抗样本生成方法 Download PDF

Info

Publication number
CN112529047A
CN112529047A CN202011317776.8A CN202011317776A CN112529047A CN 112529047 A CN112529047 A CN 112529047A CN 202011317776 A CN202011317776 A CN 202011317776A CN 112529047 A CN112529047 A CN 112529047A
Authority
CN
China
Prior art keywords
gradient
matrix
sample
shielding
attack
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011317776.8A
Other languages
English (en)
Inventor
顾钊铨
胡卫雄
王乐
方滨兴
贾焰
田志宏
唐可可
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202011317776.8A priority Critical patent/CN112529047A/zh
Publication of CN112529047A publication Critical patent/CN112529047A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于梯度屏蔽的对抗样本生成方法，包括：S1，将原始输入图像X表示成a×b的矩阵D,记为D＝Da×b；S2，采用目标检测算法在矩阵D中进行核心区域定位，得到核心区域DS；S3，运行基于梯度的攻击方法得到梯度矩阵MG；S4，基于核心区域DS和梯度矩阵MG构造梯度屏蔽矩阵H；S5，将梯度矩阵MG与梯度屏蔽矩阵H对应相乘得到更新梯度矩阵M'G；S6，依据公式完成对抗样本的构造：S7，重复执行步骤S3‑S6进行K轮迭代，最终得到基于区域的梯度屏蔽方法的对抗样本。本发明既实现了高效的对抗样本生成，拥有与梯度攻击相似的成功率，又减少了对抗样本相对于原始样本的扰动，提高了对抗样本的抗感知能力和抗检测能力。

Description

一种基于梯度屏蔽的对抗样本生成方法
技术领域
本发明涉及人工智能安全技术领域，具体涉及一种基于梯度屏蔽的对抗样本生成方法。
背景技术
近年来，随着深度学习技术的不断突破，极大地促进了人工智能行业的发展，但人工智能本身的安全性问题也引起了人们越来越多的关注。特别地，由于深度学习强大的表征能力，它已被应用到各个图像处理领域。尤其是像自动驾驶这种高安全性要求的领域，神经网络更是扮演着极其重要的角色。2014年，Szegedy等人指出，对图像添加微小的扰动，可以导致神经网络识别图片出错，这一发现引起了学术界和工业界的广泛关注。自此之后，许多研究人员提出了大量的攻击方法来针对先前的分类器生成对抗样本，有攻击就会有防御，一些研究人员也提出了大量的防御方法来抵御对抗样本的攻击，不论是攻击还是防御都有助于研究人员进一步地理解神经网络的运行机理。但是，此前很多研究神经网络攻击的人员通常将关注点主要放在了提高对抗样本的攻击成功率上，而不是生成更好的难以察觉的或者说是扰动更小的对抗样本。
将攻击的类型依据攻击方法对原始图像的修改程度分为了全局的图像攻击和局部的图像攻击。在现有的攻击方法中，基于梯度的攻击方法是全局图像攻击的代表，基于梯度的攻击技术通常会对整张图片产生扰动。例如Goodfellow等人提出的通过修改整张图片的快速符号梯度法(FGSM)。FGSM仅采用一步更新即可生成对抗样本，扰动是通过反向传播获得的。而后，kurakin等人又在FGSM的基础上提出了基础迭代攻击(BIM)，在每次迭代时裁剪像素值，并且通过多次迭代生成对抗样本，以及之后的基于动量优化的MI-FGSM攻击方法同样是更强大的基于梯度的对抗样本生成方法，虽然这些攻击方法都是基于梯度的，生成对抗样本的效率很快，而且成功率也很高。但是从扰动的程度来看，这些方法都是对整张图像的像素值去做更改，扰动的幅度很大，从对抗样本的抗感知能力和抗检测能力来说效果并不是很好。
在现有的技术中，部分的技术也考虑了只进行局部的像素值修改，比如单像素攻击方法(one-pixel attack)，虽然只进行了局部像素点的更改，减小了扰动的幅度，但是单像素攻击的效率慢，成功率低。又比如现有的方法中有通过计算奇异点及临近点之间的平均距离作为评估指标来区分包含奇异点的对抗样本，设计新的基于点攻击方法来生成对抗样本，引入了新的约束权衡篡改点的数量和篡改的程度，以此来生成扰动更小的对抗样本，但是基于权重普生成的方法需要计算奇异值也带了很大的开销，耗时更多，而且成功率也不高。
综上，行业内急需研发一种既能高效的生成对抗样本，拥有与梯度攻击相似的成功率，又减少了对抗样本相对于原始样本的扰动，提高了对抗样本的抗感知能力和抗检测能力的对抗样本生成方法
发明内容
本发明的目的是为了克服以上现有技术存在的不足，提供了一种攻击成功率高且对原始样本的扰动小的基于梯度屏蔽的对抗样本生成方法。
本发明的目的通过以下的技术方案实现：
一种基于梯度屏蔽的对抗样本生成方法，包括：
S1，将原始输入图像X表示成a×b的矩阵D,记为D＝Da×b；其中，dij表示位于第i行第j列的像素；
S2，采用目标检测算法在矩阵D中进行核心区域定位，得到核心区域DS；
S3，运行基于梯度的攻击方法得到梯度矩阵MG；
S4，基于核心区域DS和梯度矩阵MG构造梯度屏蔽矩阵H；
S5，将梯度矩阵MG与梯度屏蔽矩阵H对应相乘得到更新梯度矩阵M'G；
S6，依据以下公式完成对抗样本的构造：
Figure BDA0002791812480000031
其中，
Figure BDA0002791812480000032
表示第t+1轮生成的对抗样本，Xt adv表示第t轮的对抗样本，α是超参数，用于控制扰动的大小；Sign是符号函数。然后进行多轮的上述操作，最终得到基于区域的梯度屏蔽方法的对抗样本。
S7，重复执行步骤S3-S6进行K轮迭代，最终得到基于区域的梯度屏蔽方法的对抗样本，其中K>2。
优选地，步骤S4包括：先将梯度屏蔽矩阵H全部初始化为零，再将梯度屏蔽矩阵H中与核心区域DS相对应的位置的值全部置为1，完成了梯度屏蔽矩阵H的构造。
优选地，在步骤S4中屏蔽矩阵定义如下：
Figure BDA0002791812480000033
其中，Hij表示屏蔽矩阵H第i行第j列的值，
Figure BDA0002791812480000034
表示非核心区域，在梯度屏蔽矩阵中，矩阵D中的非核心区域的值被置为0，矩阵D中的核心区域的值被置为1。
优选地，步骤S2中的目标检测算法为YOLOV3。
优选地，步骤S3中的基于梯度的攻击方法为快速符号攻击法。
本发明相对于现有技术具有如下优点：
本发明基于梯度屏蔽生成对抗样本方法，首先采用目标检测算法在矩阵D中进行核心区域定位，得到核心区域DS；基于核心区域DS和梯度矩阵MG构造梯度屏蔽矩阵H；在梯度屏蔽矩阵中，矩阵D中的非核心区域的值被置为0，矩阵D中的核心区域的值被置为1。这样在通过运用梯度屏蔽矩阵来对反向传播的梯度进行部分的屏蔽，实现局部攻击的对抗样本生成效果，这样既实现了高效的对抗样本生成，拥有与梯度攻击相似的成功率，又减少了对抗样本相对于原始样本的扰动，提高了对抗样本的抗感知能力和抗检测能力。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的基于梯度屏蔽的对抗样本生成方法的流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明设计的对抗样本生成方法包括以下几个步骤：
选择要攻击的核心区域。在本发明中，使用经典的目标检测算法来检测要分类的对象。这些检测算法可以识别出目标的大致位置，并消除整个图像中的周围干扰。通过目标检测算法选择关键区域，可以自动实现。然而，这些检测算法只能指出被识别对象的位置，不能指出对象内部的敏感信息(即对最终分类结果起决定作用的部分)。
基于梯度的攻击。本发明中保留了基于梯度攻击的优点，在计算梯度时以然与之前的方法相似，通过损失函数的反向传播来得到梯度矩阵，不同之处在于不再是使用梯度矩阵对整张图片进行更改，而是通过一个梯度屏蔽矩阵来忽略图像中不敏感区域的梯度。这样做当我们将梯度屏蔽矩阵与梯度矩阵进行相乘时，就将核心区域外的梯度屏蔽了。
迭代的攻击。许多现有的基于梯度的攻击方法在多次迭代生成的对抗样本，对DNN的攻击表现出更好的性能。这是因为优化过程可能需要多次逼近和调整，对应于多次迭代的优化过程。因此，本发明通过多次迭代的修改梯度来生成对抗样本。
将上述步骤结合起来完成最终的攻击。通过选择图片的核心区域，然后运用基于梯度的攻击和梯度屏蔽矩阵来迭代地完成对抗样本的生成。下面结合图1举例说明：
图1为本发明设计的基于梯度屏蔽的对抗样本生成方法的流程图。从图中1可以看出，本发明设计的方法可以分为两个部分，区域选择部分(102)和基于梯度的迭代攻击部分(103-106)。区域选择部分中X表示输入的原始图像；YOLOV3是一种目标检测算法，表示可以通过目标检测的手段得到核心区域D；基于梯度的迭代攻击部分中可以运用各种基于梯度的攻击方法得到一个梯度矩阵MG，然后构造一个梯度屏蔽矩阵H来屏蔽部分梯度，最后通过反复的迭代(K轮)完成对抗样本的构造。
具体而言，假设原始的样本图像X的大小为299×299，则样本图像X能够被表示成一个299×299的矩阵。则
(1)可以通过目标检测的算法例如YoLoV3定位出样本图像X的核心位置D100×100,表示定位出来的核心区域的大小为100×100。
(2)可以利用梯度攻击的方法，例如FGSM方法的得到梯度矩阵MG,梯度矩阵的大小也为299×299。
(3)依据目标检测算法得到的核心位置D100×100，先构造一个梯度屏蔽矩阵H，开始时全部初始化为零，它的大小应该也为299×299，之后，将参照D100×100相对应的位置和大小，将梯度屏蔽矩阵H相对应的区域的值全部置为1，此时就完成了梯度屏蔽矩阵H的构造；梯度屏蔽矩阵H的构造公式为
Figure BDA0002791812480000051
其中，Hij表示屏蔽矩阵H第i行第j列的值，
Figure BDA0002791812480000052
表示非核心区域，在梯度屏蔽矩阵中，矩阵D中的非核心区域的值被置为0，矩阵D中的核心区域的值被置为1。
(4)将梯度矩阵MG与屏蔽矩阵H对应相乘得到下一步(步骤(5))的更新梯度矩阵M'G,此时M'G大小为299×299，对应的D100×100区域的值保留了，区域外的值均为0。
(5)依据
Figure BDA0002791812480000061
完成第一轮对抗样本的构造，然后通过K(例如K＝100)轮迭代完成最后样本的输出。其中，
Figure BDA0002791812480000062
表示第t+1轮生成的对抗样本，Xt adv表示第t轮的对抗样本，α是超参数，用于控制扰动的大小；Sign是符号函数。然后进行多轮的上述操作，最终得到基于区域的梯度屏蔽方法的对抗样本。
因此，本发明设计的方法可以自然地把梯度屏蔽的策略与之前的基于梯度的方法结合起来，生成一种更强大的对抗样本攻击方法，除了进一步保证了攻击的效率和成功率，也大大较少了对抗的扰动，大大提高了生成的对抗样本的质量，其能真正做到更高的攻击效率和成功率以及更好的抗感知效果。
上述具体实施方式为本发明的优选实施例，并不能对本发明进行限定，其他的任何未背离本发明的技术方案而所做的改变或其它等效的置换方式，都包含在本发明的保护范围之内。

Claims (5)

1.一种基于梯度屏蔽的对抗样本生成方法，其特征在于，包括：
S1，将原始输入图像X表示成a×b的矩阵D,记为D＝Da×b；其中，dij表示位于第i行第j列的像素；
S2，采用目标检测算法在矩阵D中进行核心区域定位，得到核心区域DS；
S3，运行基于梯度的攻击方法得到梯度矩阵MG；
S4，基于核心区域DS和梯度矩阵MG构造梯度屏蔽矩阵H；
S5，将梯度矩阵MG与梯度屏蔽矩阵H对应相乘得到更新梯度矩阵M'G；
S6，依据以下公式完成对抗样本的构造：
Figure FDA0002791812470000011
其中，
Figure FDA0002791812470000012
表示第t+1轮生成的对抗样本，Xt adv表示第t轮的对抗样本，α为超参数；
S7，重复执行步骤S3-S6进行K轮迭代，最终得到基于区域的梯度屏蔽方法的对抗样本，其中K>2。
2.根据权利要求1所述的基于梯度屏蔽的对抗样本生成方法，其特征在于，步骤S4包括：
先将梯度屏蔽矩阵H全部初始化为零，再将梯度屏蔽矩阵H中与核心区域DS相对应的位置的值全部置为1，完成了梯度屏蔽矩阵H的构造。
3.根据权利要求2所述的基于梯度屏蔽的对抗样本生成方法，其特征在于，在步骤S4中屏蔽矩阵定义如下：
Figure FDA0002791812470000013
其中，Hij表示屏蔽矩阵H第i行第j列的值，
Figure FDA0002791812470000014
表示非核心区域，在梯度屏蔽矩阵中，矩阵D中的非核心区域的值被置为0，矩阵D中的核心区域的值被置为1。
4.根据权利要求1所述的基于梯度屏蔽的对抗样本生成方法，其特征在于，步骤S2中的目标检测算法为YOLOV3。
5.根据权利要求1所述的基于梯度屏蔽的对抗样本生成方法，其特征在于，步骤S3中的基于梯度的攻击方法为快速符号攻击法。
CN202011317776.8A 2020-11-23 2020-11-23 一种基于梯度屏蔽的对抗样本生成方法 Pending CN112529047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011317776.8A CN112529047A (zh) 2020-11-23 2020-11-23 一种基于梯度屏蔽的对抗样本生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011317776.8A CN112529047A (zh) 2020-11-23 2020-11-23 一种基于梯度屏蔽的对抗样本生成方法

Publications (1)

Publication Number Publication Date
CN112529047A true CN112529047A (zh) 2021-03-19

Family

ID=74992491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011317776.8A Pending CN112529047A (zh) 2020-11-23 2020-11-23 一种基于梯度屏蔽的对抗样本生成方法

Country Status (1)

Country Link
CN (1) CN112529047A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332446A (zh) * 2021-10-18 2022-04-12 北京计算机技术及应用研究所 在物理世界下具有旋转鲁棒性的图像对抗样本生成方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778103A (zh) * 2014-02-07 2014-05-07 中国兵器工业计算机应用技术研究所 一种多源信息融合方法
CN105740814A (zh) * 2016-01-29 2016-07-06 重庆扬讯软件技术有限公司 一种使用视频分析确定固废危废存放状态的方法
CN106600602A (zh) * 2016-12-30 2017-04-26 哈尔滨工业大学 基于聚类自适应窗高光谱图像异常检测方法
US10007866B2 (en) * 2016-04-28 2018-06-26 Microsoft Technology Licensing, Llc Neural network image classifier
CN109961444A (zh) * 2019-03-01 2019-07-02 腾讯科技（深圳）有限公司 图像处理方法、装置及电子设备
CN110046622A (zh) * 2019-04-04 2019-07-23 广州大学 一种有目标的攻击样本生成方法、装置、设备及存储介质
CN110070124A (zh) * 2019-04-15 2019-07-30 广州小鹏汽车科技有限公司 一种基于生成式对抗网络的图像扩增方法及系统
CN110070115A (zh) * 2019-04-04 2019-07-30 广州大学 一种单像素攻击样本生成方法、装置、设备及存储介质
CN110458903A (zh) * 2019-07-29 2019-11-15 北京大学 一种编码脉冲序列的图像处理方法
CN111680292A (zh) * 2020-06-10 2020-09-18 北京计算机技术及应用研究所 一种基于高隐蔽性通用扰动的对抗样本生成方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778103A (zh) * 2014-02-07 2014-05-07 中国兵器工业计算机应用技术研究所 一种多源信息融合方法
CN105740814A (zh) * 2016-01-29 2016-07-06 重庆扬讯软件技术有限公司 一种使用视频分析确定固废危废存放状态的方法
US10007866B2 (en) * 2016-04-28 2018-06-26 Microsoft Technology Licensing, Llc Neural network image classifier
CN106600602A (zh) * 2016-12-30 2017-04-26 哈尔滨工业大学 基于聚类自适应窗高光谱图像异常检测方法
CN109961444A (zh) * 2019-03-01 2019-07-02 腾讯科技（深圳）有限公司 图像处理方法、装置及电子设备
CN110046622A (zh) * 2019-04-04 2019-07-23 广州大学 一种有目标的攻击样本生成方法、装置、设备及存储介质
CN110070115A (zh) * 2019-04-04 2019-07-30 广州大学 一种单像素攻击样本生成方法、装置、设备及存储介质
CN110070124A (zh) * 2019-04-15 2019-07-30 广州小鹏汽车科技有限公司 一种基于生成式对抗网络的图像扩增方法及系统
CN110458903A (zh) * 2019-07-29 2019-11-15 北京大学 一种编码脉冲序列的图像处理方法
CN111680292A (zh) * 2020-06-10 2020-09-18 北京计算机技术及应用研究所 一种基于高隐蔽性通用扰动的对抗样本生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHAOQUAN GU ET AL: "Gradient Shielding: Towards Understanding Vulnerability of Deep Neural Networks", 《IEEE TRANSACTIONS ON NETWORK SCIENCE AND ENGINEERING》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332446A (zh) * 2021-10-18 2022-04-12 北京计算机技术及应用研究所 在物理世界下具有旋转鲁棒性的图像对抗样本生成方法

Similar Documents

Publication Publication Date Title
US10943145B2 (en) Image processing methods and apparatus, and electronic devices
CN109886121B (zh) 一种遮挡鲁棒的人脸关键点定位方法
CN113674140B (zh) 一种物理对抗样本生成方法及系统
CN111723693B (zh) 一种基于小样本学习的人群计数方法
Gokhale et al. Attribute-guided adversarial training for robustness to natural perturbations
CN114511576B (zh) 尺度自适应特征增强深度神经网络的图像分割方法与系统
CN113449612B (zh) 一种基于子流型稀疏卷积的三维目标点云识别的方法
CN111767962A (zh) 基于生成对抗式网络的一阶段目标检测方法、系统及装置
CN114612476B (zh) 一种基于全分辨率混合注意力机制的图像篡改检测方法
CN116071701A (zh) 基于注意力机制和GSConv的YOLOv5行人检测方法
CN111179272B (zh) 一种面向道路场景的快速语义分割方法
CN114972748A (zh) 一种可解释边缘注意力和灰度量化网络的红外语义分割方法
CN113378949A (zh) 一种基于胶囊网络和混合注意力的双重生成对抗学习方法
Rahebi et al. Biomedical image edge detection using an ant colony optimization based on artificial neural networks
CN116863194A (zh) 一种足溃疡图像分类方法、系统、设备及介质
CN111768326A (zh) 一种基于gan扩增图像前景物体的高容量数据保护方法
CN116402851A (zh) 一种复杂背景下的红外弱小目标跟踪方法
Cui et al. A graph-based dual convolutional network for automatic road extraction from high resolution remote sensing images
CN112529047A (zh) 一种基于梯度屏蔽的对抗样本生成方法
Huang et al. Image restoration from patch-based compressed sensing measurement
Costa et al. Genetic adaptation of segmentation parameters
Chacon-Murguia et al. Moving object detection in video sequences based on a two-frame temporal information CNN
CN117197632A (zh) 一种基于Transformer的电镜花粉图像目标检测方法
Baidya et al. Combining different v1 brain model variants to improve robustness to image corruptions in cnns
CN114972869B (zh) 一种基于反事实因果学习的红外微弱目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210319

WD01 Invention patent application deemed withdrawn after publication