CN113392905A - 一种基于梯度修正的图像对抗攻击方法 - Google Patents

一种基于梯度修正的图像对抗攻击方法 Download PDF

Info

Publication number
CN113392905A
CN113392905A CN202110665964.8A CN202110665964A CN113392905A CN 113392905 A CN113392905 A CN 113392905A CN 202110665964 A CN202110665964 A CN 202110665964A CN 113392905 A CN113392905 A CN 113392905A
Authority
CN
China
Prior art keywords
iteration
gradient
current iteration
sample
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110665964.8A
Other languages
English (en)
Other versions
CN113392905B (zh
Inventor
宋井宽
程娅娅
高联丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110665964.8A priority Critical patent/CN113392905B/zh
Publication of CN113392905A publication Critical patent/CN113392905A/zh
Application granted granted Critical
Publication of CN113392905B publication Critical patent/CN113392905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于梯度修正的图像对抗攻击方法，包括以下步骤：S1、将原始图像输入分类器中，基于损失函数，得到当前迭代的梯度；S2、计算当前迭代的缩放因子；S3、对当前迭代的梯度进行线性缩放，将噪声添加到当前的原始图像中，得到当前迭代的对抗样本；S4、对当前迭代的对抗样本进行标准化处理；S5、将当前迭代的标准化对抗样本作为新的原始图像，重复步骤S1至步骤S4，直到迭代次数达到设定次数，将当前迭代的标准化对抗样本输入分类器中，得到分类器输出的错误分类结果，完成对抗攻击。本发明解决了传统基于梯度的攻击技术中由于符号函数的使用，而带来的扰动与真实梯度在方向上存在的较大差异，并进而造成有偏攻击的问题。

Description

一种基于梯度修正的图像对抗攻击方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于梯度修正的图像对抗攻击方法。
背景技术
近年来，深度神经网络因为性能优越被广泛应用于各个领域，但与此同时，对抗攻击(adversarial attack)给现代深度神经网络带来的安全威胁也愈发严重，并对网络的鲁棒性提出了新的挑战。具体来说，将人眼难以察觉的恶意扰动添加到网络输入中生成对抗样本，便足以误导网络对其以高置信度给出不符合常理的输出结果，鲁棒性低的网络会深受其影响，进而性能崩溃。评估并提高网络鲁棒性是一个极其重要的课题，对抗样本便是评估方法之一。
现如今，许多研究者提出了多种对抗攻击方法，基于梯度的对抗攻击方法便是主流的对抗性扰动生成方法之一，例如FGSM、I-FGSM、MI-FGSM、TI-FGSM。在无穷范数的限制下，基于线性假设，为了提高对抗样本迁移性并以尽可能小的计算开销生成成功的对抗样本，将符号函数施加到梯度上通常是一个生成扰动的不错的选择，并因此被广泛应用于基于梯度的攻击方法中。
尽管符号函数的使用带来了优秀的攻击性能，但由于符号函数简单地将梯度量化为{-1，0，+1}三个值并根据量化过后的梯度生成扰动，扰动与真实梯度在方向上存在较大差异。在欧式空间中，梯度被看作损失函数增长最快的方向，由于当前基于梯度的攻击方法实际上使用了量化过后的梯度来生成对抗样本，这种方向上的差异将导致有偏且效用低的攻击。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于梯度修正的图像对抗攻击方法在无穷范数限制下，解决了传统基于梯度的攻击技术中由于符号函数的使用，而带来的扰动与真实梯度在方向上存在的较大差异，并进而造成有偏攻击的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于梯度修正的图像对抗攻击方法，包括以下步骤：
S1、将原始图像输入分类器中，并基于分类器的损失函数，得到当前迭代的梯度；
S2、根据当前迭代的梯度，计算当前迭代的缩放因子；
S3、根据当前迭代的缩放因子，对当前迭代的梯度进行线性缩放，并基于缩放梯度计算噪声，将噪声添加到当前的原始图像中，得到当前迭代的对抗样本；
S4、为了使梯度计算更加稳定，对当前迭代的对抗样本进行标准化处理，得到当前迭代的标准化对抗样本；
S5、将当前迭代的标准化对抗样本作为新的原始图像，重复步骤S1至步骤S4，直到迭代次数达到设定次数，输出当前迭代的标准化对抗样本，将当前迭代的标准化对抗样本输入分类器中，得到分类器输出的错误分类结果，完成对抗攻击。
进一步地，步骤S1中当前迭代的梯度的公式为：
Figure BDA0003116827510000021
其中，gt为第t次迭代的梯度，
Figure BDA0003116827510000022
为根据
Figure BDA0003116827510000023
对
Figure BDA0003116827510000024
求梯度，
Figure BDA0003116827510000025
为第t-1次迭代的对抗样本，
Figure BDA0003116827510000026
为首次输入的原始图像，首次输入的原始图像为原始干净的图像，y为真实标签，J(·，·)为任意输入为logits，输出为分类置信度的损失函数。
进一步地，步骤S2中计算当前迭代的缩放因子的公式一为：
Figure BDA0003116827510000031
其中，ζt为第t次迭代的缩放因子，gt为第t次迭代的梯度，||·||为二范数运算，sign(·)为符号函数。
进一步地，步骤S2中计算当前迭代的缩放因子的公式二为：
Figure BDA0003116827510000032
ζt＝scales[K]
其中，ζt为第t次迭代的缩放因子，|·|为绝对值运算，
Figure BDA0003116827510000033
为gt的第k个值，gt为第t次迭代的梯度，Sort(·)为降序排序，scales[K]为选取scales排序的第K位。
进一步地，步骤S3中得到当前迭代的对抗样本的公式为：
Figure BDA0003116827510000034
α＝θ/T
其中，
Figure BDA0003116827510000035
为第t次迭代的对抗样本，α为步长，θ为扰动无穷范数阈值，t为最大迭代步数，1≤t≤T，ζt为第t次迭代的缩放因子，gt为第t次迭代的梯度，x为首次输入的原始图像
Figure BDA0003116827510000036
进一步地，步骤S4中得到当前迭代的标准化对抗样本的公式为：
Figure BDA0003116827510000037
其中，
Figure BDA0003116827510000038
为第t次迭代的标准化对抗样本，
Figure BDA0003116827510000039
为第t次迭代的对抗样本。
综上，本发明的有益效果为：
(1)、本发明全面地考虑了扰动与真实梯度之间在方向上的差异，是一种基于梯度修正的对抗攻击技术。本发明通过减小扰动与梯度的方向差异，进一步提高了对抗样本的迁移性，完成更为有效的攻击。本发明是新颖且普适的。可将传统技术中的符号函数无缝替换且不引入额外的计算复杂度。
(2)、现有基于提高迁移性的攻击中，往往以FGSM做为基线，基于线性假设，现有传统技术普遍选择符号函数作为处理梯度的步骤之一，因为这能在有限的迭代步数下更容易地达到设定的无穷范数阈值，并进一步提高对抗样本迁移性。然而，由于符号函数只对梯度进行简单量化，这种操作不可避免地带来了扰动与梯度在方向上的较大差异，造成了有偏且低效的攻击。本发明通过考虑这种方向差异，引入缩放因子以对梯度进行修正，进一步地提高了对抗样本迁移性，达到更好的攻击效果。
附图说明
图1为一种基于梯度修正的图像对抗攻击方法的流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种基于梯度修正的图像对抗攻击方法，包括以下步骤：
S1、将原始图像输入分类器中，并基于分类器的损失函数，得到当前迭代的梯度；
步骤S1中当前迭代的梯度的公式为：
Figure BDA0003116827510000041
其中，gt为第t次迭代的梯度，
Figure BDA0003116827510000042
为根据
Figure BDA0003116827510000043
对
Figure BDA0003116827510000044
求梯度，
Figure BDA0003116827510000045
为第t-1次迭代的对抗样本，
Figure BDA0003116827510000046
为首次输入的原始图像，首次输入的原始图像为原始干净的图像，y为真实标签，J(·，·)为任意输入为logits，输出为分类置信度的损失函数。
S2、根据当前迭代的梯度，计算当前迭代的缩放因子；
在本实施例中，公开两种缩放因子的计算方法：
第1种：
Figure BDA0003116827510000051
其中，ζt为第t次迭代的缩放因子，gt为第t次迭代的梯度，||·||为二范数运算，sign(·)为符号函数。
第2种：
Figure BDA0003116827510000052
ζt＝scales[K]
其中，ζt为第t次迭代的缩放因子，|·|为绝对值运算，
Figure BDA0003116827510000053
为gt的第k个值，gt为第t次迭代的梯度，Sort(·)为降序排序，scales[K]为选取scales排序的第K位。
当选用第1种计算方式时，为了将本发明与传统技术生成的噪声大小控制在同一个量级上，第t次迭代的缩放因子ζt由当前迭代的量化梯度以及真实梯度的二范数(||sign(gt)||、||gt||)计算而得；当选用第2种缩放因子时，缩放因子考虑了噪声量级与方向准确性之间的平衡。
S3、根据当前迭代的缩放因子，对当前迭代的梯度进行线性缩放，并基于缩放梯度计算噪声，将噪声添加到当前的原始图像中，得到当前迭代的对抗样本；
步骤S3中得到当前迭代的对抗样本的公式为：
Figure BDA0003116827510000054
α＝θ/T
其中，
Figure BDA0003116827510000061
为第t次迭代的对抗样本，α为步长，θ为扰动无穷范数阈值，T为最大迭代步数，1≤t≤T，ζt为第t次迭代的缩放因子，gt为第t次迭代的梯度，x为首次输入的原始图像
Figure BDA0003116827510000062
S4、为了使梯度计算更加稳定，对当前迭代的对抗样本进行标准化处理，得到当前迭代的标准化对抗样本；
具体而言，在步骤S4中对更新后的对抗样本进行标准化处理是将超出图像像素阈值的对抗样本像素值裁剪到合理范围[-1，1]。
步骤S4中得到当前迭代的标准化对抗样本的公式为：
Figure BDA0003116827510000063
其中，
Figure BDA0003116827510000064
为第t次迭代的标准化对抗样本，
Figure BDA0003116827510000065
为第t次迭代的对抗样本。
S5、将当前迭代的标准化对抗样本作为新的原始图像，重复步骤S1至步骤S4，直到迭代次数达到设定次数，输出当前迭代的标准化对抗样本(即最新的标准化对抗样本)，将当前迭代的标准化对抗样本(即最新的标准化对抗样本)输入分类器中，得到分类器输出的错误分类结果，完成对抗攻击。

Claims (6)

1.一种基于梯度修正的图像对抗攻击方法，其特征在于，包括以下步骤：
S1、将原始图像输入分类器中，并基于分类器的损失函数，得到当前迭代的梯度；
S2、根据当前迭代的梯度，计算当前迭代的缩放因子；
S3、根据当前迭代的缩放因子，对当前迭代的梯度进行线性缩放，并基于缩放梯度计算噪声，将噪声添加到当前的原始图像中，得到当前迭代的对抗样本；
S4、对当前迭代的对抗样本进行标准化处理，得到当前迭代的标准化对抗样本；
S5、将当前迭代的标准化对抗样本作为新的原始图像，重复步骤S1至步骤S4，直到迭代次数达到设定次数，输出当前迭代的标准化对抗样本，将当前迭代的标准化对抗样本输入分类器中，得到分类器输出的错误分类结果，完成对抗攻击。
2.根据权利要求1所述的基于梯度修正的图像对抗攻击方法，其特征在于，所述步骤S1中当前迭代的梯度的公式为：
Figure FDA0003116827500000011
其中，gt为第t次迭代的梯度，
Figure FDA0003116827500000012
为根据
Figure FDA0003116827500000013
对
Figure FDA0003116827500000014
求梯度，
Figure FDA0003116827500000015
为第t-1次迭代的对抗样本，
Figure FDA0003116827500000016
为首次输入的原始图像，首次输入的原始图像为原始干净的图像，y为真实标签，J(·，·)为任意输入为logits，输出为分类置信度的损失函数。
3.根据权利要求1所述的基于梯度修正的图像对抗攻击方法，其特征在于，所述步骤S2中计算当前迭代的缩放因子的公式为：
Figure FDA0003116827500000021
其中，ζt为第t次迭代的缩放因子，gt为第t次迭代的梯度，||·||为二范数运算，sign(·)为符号函数。
4.根据权利要求1所述的基于梯度修正的图像对抗攻击方法，其特征在于，所述步骤S2中计算当前迭代的缩放因子的公式为：
Figure FDA0003116827500000022
ζt＝scales[K]
其中，ζt为第t次迭代的缩放因子，|·|为绝对值运算，
Figure FDA0003116827500000023
为gt的第k个值，gt为第t次迭代的梯度，Sort(·)为降序排序，scales[K]为选取scales排序的第K位。
5.根据权利要求1所述的基于梯度修正的图像对抗攻击方法，其特征在于，所述步骤S3中得到当前迭代的对抗样本的公式为：
Figure FDA0003116827500000024
α＝θ/T
其中，
Figure FDA0003116827500000025
为第t次迭代的对抗样本，α为步长，θ为扰动无穷范数阈值，T为最大迭代步数，1≤t≤T，ζt为第t次迭代的缩放因子，gt为第t次迭代的梯度，x为首次输入的原始图像
Figure FDA0003116827500000026
6.根据权利要求1所述的基于梯度修正的图像对抗攻击方法，其特征在于，所述步骤S4中得到当前迭代的标准化对抗样本的公式为：
Figure FDA0003116827500000027
其中，
Figure FDA0003116827500000028
为第t次迭代的标准化对抗样本，
Figure FDA0003116827500000029
为第t次迭代的对抗样本。
CN202110665964.8A 2021-06-16 2021-06-16 一种基于梯度修正的图像对抗攻击方法 Active CN113392905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110665964.8A CN113392905B (zh) 2021-06-16 2021-06-16 一种基于梯度修正的图像对抗攻击方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110665964.8A CN113392905B (zh) 2021-06-16 2021-06-16 一种基于梯度修正的图像对抗攻击方法

Publications (2)

Publication Number Publication Date
CN113392905A true CN113392905A (zh) 2021-09-14
CN113392905B CN113392905B (zh) 2022-03-25

Family

ID=77621444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110665964.8A Active CN113392905B (zh) 2021-06-16 2021-06-16 一种基于梯度修正的图像对抗攻击方法

Country Status (1)

Country Link
CN (1) CN113392905B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972783A (zh) * 2022-05-06 2022-08-30 华中科技大学 一种增强梯度低频信息的对抗样本生成方法及其应用
CN114973234A (zh) * 2022-05-06 2022-08-30 华中科技大学 针对3d点云的基于边界的攻击方法及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717525A (zh) * 2019-09-20 2020-01-21 浙江工业大学 一种通道自适应优化的对抗攻击防御方法和装置
CN111627044A (zh) * 2020-04-26 2020-09-04 上海交通大学 基于深度网络的目标追踪攻击与防御方法
CN111932646A (zh) * 2020-07-16 2020-11-13 电子科技大学 一种用于对抗攻击的图像处理方法
US20200410228A1 (en) * 2019-06-28 2020-12-31 Baidu Usa Llc Systems and methods for fast training of more robust models against adversarial attacks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200410228A1 (en) * 2019-06-28 2020-12-31 Baidu Usa Llc Systems and methods for fast training of more robust models against adversarial attacks
CN110717525A (zh) * 2019-09-20 2020-01-21 浙江工业大学 一种通道自适应优化的对抗攻击防御方法和装置
CN111627044A (zh) * 2020-04-26 2020-09-04 上海交通大学 基于深度网络的目标追踪攻击与防御方法
CN111932646A (zh) * 2020-07-16 2020-11-13 电子科技大学 一种用于对抗攻击的图像处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Y. DENG 等: "Universal Adversarial Attack Via Enhanced Projected Gradient Descent", 《2020 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
陈晋音 等: "深度学习人脸识别系统的对抗攻击算法研究", 《小型微型计算机系统》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972783A (zh) * 2022-05-06 2022-08-30 华中科技大学 一种增强梯度低频信息的对抗样本生成方法及其应用
CN114973234A (zh) * 2022-05-06 2022-08-30 华中科技大学 针对3d点云的基于边界的攻击方法及介质
CN114973234B (zh) * 2022-05-06 2024-09-20 华中科技大学 针对3d点云的基于边界的攻击方法及介质
CN114972783B (zh) * 2022-05-06 2024-10-15 华中科技大学 一种增强梯度低频信息的对抗样本生成方法及其应用

Also Published As

Publication number Publication date
CN113392905B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN113392905B (zh) 一种基于梯度修正的图像对抗攻击方法
CN109948658B (zh) 面向特征图注意力机制的对抗攻击防御方法及应用
CN112364745B (zh) 一种对抗样本的生成方法、装置及电子设备
CN112200243B (zh) 一种基于低问询图像数据的黑盒对抗样本生成方法
CN112231703B (zh) 一种结合api模糊处理技术的恶意软件对抗样本生成方法
CN110768959B (zh) 一种基于信号边界摸索攻击的防御方法
CN111460426B (zh) 基于对抗演化框架的抗深度学习文本验证码生成系统及方法
CN114663665B (zh) 基于梯度的对抗样本生成方法与系统
CN114758198A (zh) 一种基于元学习对抗扰动的黑盒攻击方法及系统
CN113627543B (zh) 一种对抗攻击检测方法
CN116664922A (zh) 基于缩放变换的智能对抗攻击样本生成方法及系统
CN117914555A (zh) 一种智能网关的训练及流量检测方法和设备
CN114972783B (zh) 一种增强梯度低频信息的对抗样本生成方法及其应用
CN116824232A (zh) 一种数据填充式的深度神经网络图像分类模型对抗训练方法
CN116244645A (zh) 基于对比增量学习的模型训练方法及恶意流量分类方法和系统
CN114202678A (zh) 一种车牌文字识别中的对抗攻击方法、系统及存储介质
CN107609059B (zh) 一种基于j-w距离的中文域名相似度量方法
CN113159317B (zh) 一种基于动态残差侵蚀的对抗样本生成方法
Luo et al. Content-adaptive adversarial embedding for image steganography using deep reinforcement learning
Hu et al. Towards Transferable Attack via Adversarial Diffusion in Face Recognition
CN113781286B (zh) 一种基于梯度下降思想的隐形水印搜索方法
CN116091819B (zh) 一种基于数据重建和数据过滤的图像对抗样本防御方法
CN118135043A (zh) 一种基于深度卷积特征扩增的小样本模型逆向攻击方法
Liu et al. Enhancing the Robustness of Deep Neural Networks from" Smart" Compression
CN115424289A (zh) 一种用于行人重识别的基于查询的通用对抗扰动攻击算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant