CN113392905A - 一种基于梯度修正的图像对抗攻击方法 - Google Patents
一种基于梯度修正的图像对抗攻击方法 Download PDFInfo
- Publication number
- CN113392905A CN113392905A CN202110665964.8A CN202110665964A CN113392905A CN 113392905 A CN113392905 A CN 113392905A CN 202110665964 A CN202110665964 A CN 202110665964A CN 113392905 A CN113392905 A CN 113392905A
- Authority
- CN
- China
- Prior art keywords
- iteration
- gradient
- current iteration
- sample
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012937 correction Methods 0.000 title abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000012986 modification Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于梯度修正的图像对抗攻击方法,包括以下步骤:S1、将原始图像输入分类器中,基于损失函数,得到当前迭代的梯度;S2、计算当前迭代的缩放因子;S3、对当前迭代的梯度进行线性缩放,将噪声添加到当前的原始图像中,得到当前迭代的对抗样本;S4、对当前迭代的对抗样本进行标准化处理;S5、将当前迭代的标准化对抗样本作为新的原始图像,重复步骤S1至步骤S4,直到迭代次数达到设定次数,将当前迭代的标准化对抗样本输入分类器中,得到分类器输出的错误分类结果,完成对抗攻击。本发明解决了传统基于梯度的攻击技术中由于符号函数的使用,而带来的扰动与真实梯度在方向上存在的较大差异,并进而造成有偏攻击的问题。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于梯度修正的图像对抗攻击方法。
背景技术
近年来,深度神经网络因为性能优越被广泛应用于各个领域,但与此同时,对抗攻击(adversarial attack)给现代深度神经网络带来的安全威胁也愈发严重,并对网络的鲁棒性提出了新的挑战。具体来说,将人眼难以察觉的恶意扰动添加到网络输入中生成对抗样本,便足以误导网络对其以高置信度给出不符合常理的输出结果,鲁棒性低的网络会深受其影响,进而性能崩溃。评估并提高网络鲁棒性是一个极其重要的课题,对抗样本便是评估方法之一。
现如今,许多研究者提出了多种对抗攻击方法,基于梯度的对抗攻击方法便是主流的对抗性扰动生成方法之一,例如FGSM、I-FGSM、MI-FGSM、TI-FGSM。在无穷范数的限制下,基于线性假设,为了提高对抗样本迁移性并以尽可能小的计算开销生成成功的对抗样本,将符号函数施加到梯度上通常是一个生成扰动的不错的选择,并因此被广泛应用于基于梯度的攻击方法中。
尽管符号函数的使用带来了优秀的攻击性能,但由于符号函数简单地将梯度量化为{-1,0,+1}三个值并根据量化过后的梯度生成扰动,扰动与真实梯度在方向上存在较大差异。在欧式空间中,梯度被看作损失函数增长最快的方向,由于当前基于梯度的攻击方法实际上使用了量化过后的梯度来生成对抗样本,这种方向上的差异将导致有偏且效用低的攻击。
发明内容
针对现有技术中的上述不足,本发明提供的一种基于梯度修正的图像对抗攻击方法在无穷范数限制下,解决了传统基于梯度的攻击技术中由于符号函数的使用,而带来的扰动与真实梯度在方向上存在的较大差异,并进而造成有偏攻击的问题。
为了达到上述发明目的,本发明采用的技术方案为:一种基于梯度修正的图像对抗攻击方法,包括以下步骤:
S1、将原始图像输入分类器中,并基于分类器的损失函数,得到当前迭代的梯度;
S2、根据当前迭代的梯度,计算当前迭代的缩放因子;
S3、根据当前迭代的缩放因子,对当前迭代的梯度进行线性缩放,并基于缩放梯度计算噪声,将噪声添加到当前的原始图像中,得到当前迭代的对抗样本;
S4、为了使梯度计算更加稳定,对当前迭代的对抗样本进行标准化处理,得到当前迭代的标准化对抗样本;
S5、将当前迭代的标准化对抗样本作为新的原始图像,重复步骤S1至步骤S4,直到迭代次数达到设定次数,输出当前迭代的标准化对抗样本,将当前迭代的标准化对抗样本输入分类器中,得到分类器输出的错误分类结果,完成对抗攻击。
进一步地,步骤S1中当前迭代的梯度的公式为:
其中,gt为第t次迭代的梯度,为根据对求梯度,为第t-1次迭代的对抗样本,为首次输入的原始图像,首次输入的原始图像为原始干净的图像,y为真实标签,J(·,·)为任意输入为logits,输出为分类置信度的损失函数。
进一步地,步骤S2中计算当前迭代的缩放因子的公式一为:
其中,ζt为第t次迭代的缩放因子,gt为第t次迭代的梯度,||·||为二范数运算,sign(·)为符号函数。
进一步地,步骤S2中计算当前迭代的缩放因子的公式二为:
ζt=scales[K]
进一步地,步骤S3中得到当前迭代的对抗样本的公式为:
α=θ/T
进一步地,步骤S4中得到当前迭代的标准化对抗样本的公式为:
综上,本发明的有益效果为:
(1)、本发明全面地考虑了扰动与真实梯度之间在方向上的差异,是一种基于梯度修正的对抗攻击技术。本发明通过减小扰动与梯度的方向差异,进一步提高了对抗样本的迁移性,完成更为有效的攻击。本发明是新颖且普适的。可将传统技术中的符号函数无缝替换且不引入额外的计算复杂度。
(2)、现有基于提高迁移性的攻击中,往往以FGSM做为基线,基于线性假设,现有传统技术普遍选择符号函数作为处理梯度的步骤之一,因为这能在有限的迭代步数下更容易地达到设定的无穷范数阈值,并进一步提高对抗样本迁移性。然而,由于符号函数只对梯度进行简单量化,这种操作不可避免地带来了扰动与梯度在方向上的较大差异,造成了有偏且低效的攻击。本发明通过考虑这种方向差异,引入缩放因子以对梯度进行修正,进一步地提高了对抗样本迁移性,达到更好的攻击效果。
附图说明
图1为一种基于梯度修正的图像对抗攻击方法的流程图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图1所示,一种基于梯度修正的图像对抗攻击方法,包括以下步骤:
S1、将原始图像输入分类器中,并基于分类器的损失函数,得到当前迭代的梯度;
步骤S1中当前迭代的梯度的公式为:
其中,gt为第t次迭代的梯度,为根据对求梯度,为第t-1次迭代的对抗样本,为首次输入的原始图像,首次输入的原始图像为原始干净的图像,y为真实标签,J(·,·)为任意输入为logits,输出为分类置信度的损失函数。
S2、根据当前迭代的梯度,计算当前迭代的缩放因子;
在本实施例中,公开两种缩放因子的计算方法:
第1种:
其中,ζt为第t次迭代的缩放因子,gt为第t次迭代的梯度,||·||为二范数运算,sign(·)为符号函数。
第2种:
ζt=scales[K]
当选用第1种计算方式时,为了将本发明与传统技术生成的噪声大小控制在同一个量级上,第t次迭代的缩放因子ζt由当前迭代的量化梯度以及真实梯度的二范数(||sign(gt)||、||gt||)计算而得;当选用第2种缩放因子时,缩放因子考虑了噪声量级与方向准确性之间的平衡。
S3、根据当前迭代的缩放因子,对当前迭代的梯度进行线性缩放,并基于缩放梯度计算噪声,将噪声添加到当前的原始图像中,得到当前迭代的对抗样本;
步骤S3中得到当前迭代的对抗样本的公式为:
α=θ/T
S4、为了使梯度计算更加稳定,对当前迭代的对抗样本进行标准化处理,得到当前迭代的标准化对抗样本;
具体而言,在步骤S4中对更新后的对抗样本进行标准化处理是将超出图像像素阈值的对抗样本像素值裁剪到合理范围[-1,1]。
步骤S4中得到当前迭代的标准化对抗样本的公式为:
S5、将当前迭代的标准化对抗样本作为新的原始图像,重复步骤S1至步骤S4,直到迭代次数达到设定次数,输出当前迭代的标准化对抗样本(即最新的标准化对抗样本),将当前迭代的标准化对抗样本(即最新的标准化对抗样本)输入分类器中,得到分类器输出的错误分类结果,完成对抗攻击。
Claims (6)
1.一种基于梯度修正的图像对抗攻击方法,其特征在于,包括以下步骤:
S1、将原始图像输入分类器中,并基于分类器的损失函数,得到当前迭代的梯度;
S2、根据当前迭代的梯度,计算当前迭代的缩放因子;
S3、根据当前迭代的缩放因子,对当前迭代的梯度进行线性缩放,并基于缩放梯度计算噪声,将噪声添加到当前的原始图像中,得到当前迭代的对抗样本;
S4、对当前迭代的对抗样本进行标准化处理,得到当前迭代的标准化对抗样本;
S5、将当前迭代的标准化对抗样本作为新的原始图像,重复步骤S1至步骤S4,直到迭代次数达到设定次数,输出当前迭代的标准化对抗样本,将当前迭代的标准化对抗样本输入分类器中,得到分类器输出的错误分类结果,完成对抗攻击。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110665964.8A CN113392905B (zh) | 2021-06-16 | 2021-06-16 | 一种基于梯度修正的图像对抗攻击方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110665964.8A CN113392905B (zh) | 2021-06-16 | 2021-06-16 | 一种基于梯度修正的图像对抗攻击方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113392905A true CN113392905A (zh) | 2021-09-14 |
CN113392905B CN113392905B (zh) | 2022-03-25 |
Family
ID=77621444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110665964.8A Active CN113392905B (zh) | 2021-06-16 | 2021-06-16 | 一种基于梯度修正的图像对抗攻击方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113392905B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114972783A (zh) * | 2022-05-06 | 2022-08-30 | 华中科技大学 | 一种增强梯度低频信息的对抗样本生成方法及其应用 |
CN114973234A (zh) * | 2022-05-06 | 2022-08-30 | 华中科技大学 | 针对3d点云的基于边界的攻击方法及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110717525A (zh) * | 2019-09-20 | 2020-01-21 | 浙江工业大学 | 一种通道自适应优化的对抗攻击防御方法和装置 |
CN111627044A (zh) * | 2020-04-26 | 2020-09-04 | 上海交通大学 | 基于深度网络的目标追踪攻击与防御方法 |
CN111932646A (zh) * | 2020-07-16 | 2020-11-13 | 电子科技大学 | 一种用于对抗攻击的图像处理方法 |
US20200410228A1 (en) * | 2019-06-28 | 2020-12-31 | Baidu Usa Llc | Systems and methods for fast training of more robust models against adversarial attacks |
-
2021
- 2021-06-16 CN CN202110665964.8A patent/CN113392905B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200410228A1 (en) * | 2019-06-28 | 2020-12-31 | Baidu Usa Llc | Systems and methods for fast training of more robust models against adversarial attacks |
CN110717525A (zh) * | 2019-09-20 | 2020-01-21 | 浙江工业大学 | 一种通道自适应优化的对抗攻击防御方法和装置 |
CN111627044A (zh) * | 2020-04-26 | 2020-09-04 | 上海交通大学 | 基于深度网络的目标追踪攻击与防御方法 |
CN111932646A (zh) * | 2020-07-16 | 2020-11-13 | 电子科技大学 | 一种用于对抗攻击的图像处理方法 |
Non-Patent Citations (2)
Title |
---|
Y. DENG 等: "Universal Adversarial Attack Via Enhanced Projected Gradient Descent", 《2020 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
陈晋音 等: "深度学习人脸识别系统的对抗攻击算法研究", 《小型微型计算机系统》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114972783A (zh) * | 2022-05-06 | 2022-08-30 | 华中科技大学 | 一种增强梯度低频信息的对抗样本生成方法及其应用 |
CN114973234A (zh) * | 2022-05-06 | 2022-08-30 | 华中科技大学 | 针对3d点云的基于边界的攻击方法及介质 |
CN114973234B (zh) * | 2022-05-06 | 2024-09-20 | 华中科技大学 | 针对3d点云的基于边界的攻击方法及介质 |
CN114972783B (zh) * | 2022-05-06 | 2024-10-15 | 华中科技大学 | 一种增强梯度低频信息的对抗样本生成方法及其应用 |
Also Published As
Publication number | Publication date |
---|---|
CN113392905B (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113392905B (zh) | 一种基于梯度修正的图像对抗攻击方法 | |
CN109948658B (zh) | 面向特征图注意力机制的对抗攻击防御方法及应用 | |
CN112364745B (zh) | 一种对抗样本的生成方法、装置及电子设备 | |
CN112200243B (zh) | 一种基于低问询图像数据的黑盒对抗样本生成方法 | |
CN112231703B (zh) | 一种结合api模糊处理技术的恶意软件对抗样本生成方法 | |
CN110768959B (zh) | 一种基于信号边界摸索攻击的防御方法 | |
CN111460426B (zh) | 基于对抗演化框架的抗深度学习文本验证码生成系统及方法 | |
CN114663665B (zh) | 基于梯度的对抗样本生成方法与系统 | |
CN114758198A (zh) | 一种基于元学习对抗扰动的黑盒攻击方法及系统 | |
CN113627543B (zh) | 一种对抗攻击检测方法 | |
CN116664922A (zh) | 基于缩放变换的智能对抗攻击样本生成方法及系统 | |
CN117914555A (zh) | 一种智能网关的训练及流量检测方法和设备 | |
CN114972783B (zh) | 一种增强梯度低频信息的对抗样本生成方法及其应用 | |
CN116824232A (zh) | 一种数据填充式的深度神经网络图像分类模型对抗训练方法 | |
CN116244645A (zh) | 基于对比增量学习的模型训练方法及恶意流量分类方法和系统 | |
CN114202678A (zh) | 一种车牌文字识别中的对抗攻击方法、系统及存储介质 | |
CN107609059B (zh) | 一种基于j-w距离的中文域名相似度量方法 | |
CN113159317B (zh) | 一种基于动态残差侵蚀的对抗样本生成方法 | |
Luo et al. | Content-adaptive adversarial embedding for image steganography using deep reinforcement learning | |
Hu et al. | Towards Transferable Attack via Adversarial Diffusion in Face Recognition | |
CN113781286B (zh) | 一种基于梯度下降思想的隐形水印搜索方法 | |
CN116091819B (zh) | 一种基于数据重建和数据过滤的图像对抗样本防御方法 | |
CN118135043A (zh) | 一种基于深度卷积特征扩增的小样本模型逆向攻击方法 | |
Liu et al. | Enhancing the Robustness of Deep Neural Networks from" Smart" Compression | |
CN115424289A (zh) | 一种用于行人重识别的基于查询的通用对抗扰动攻击算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |