CN113487015A - 基于图像亮度随机变换的对抗样本生成方法及系统 - Google Patents
基于图像亮度随机变换的对抗样本生成方法及系统 Download PDFInfo
- Publication number
- CN113487015A CN113487015A CN202110766192.7A CN202110766192A CN113487015A CN 113487015 A CN113487015 A CN 113487015A CN 202110766192 A CN202110766192 A CN 202110766192A CN 113487015 A CN113487015 A CN 113487015A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- countermeasure
- input image
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000009466 transformation Effects 0.000 title claims abstract description 50
- 238000003062 neural network model Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 33
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000009825 accumulation Methods 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 6
- 230000003042 antagnostic effect Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 8
- 235000000332 black box Nutrition 0.000 description 5
- 230000010354 integration Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉图像识别技术领域，特别涉及一种基于图像亮度随机变换的对抗样本生成方法及系统，收集用于视觉图像分类识别的样本数据，包含输入图像、以及与输入图像对应的标签数据；构建用于生成对抗样本的深度神经网络模型；通过对样本数据输入图像亮度随机变换进行数据增强，利用动量迭代FGSM图像对抗算法对网络模型求解，在目标损失函数关于输入梯度方向上寻找对抗扰动，并对对抗扰动进行无穷范数限制，通过最大化样本数据在网络模型上的目标损失函数来生成对抗样本。本发明将图像亮度随机变换引入到对抗攻击中，有效消除对抗样本生成过程过拟合，提高对抗样本攻击成功率和可迁移性，为构建更加鲁棒图像分类识别系统打下良好基础。
Description
技术领域
本发明属于计算机视觉图像识别技术领域，特别涉及一种基于图像亮度随机变换的对抗 样本生成方法及系统。
背景技术
在图像识别领域，一些标准测试集上的实验结果表明，深度神经网络的识别能力已经可 以达到超过人类的水平。然而，在深度学习带给人们巨大便利的同时，其本身也存在一些安 全性问题。对于一个非正常的输入，深度神经网络是否依然能够得出满意的结果，其中隐含 的安全问题也渐渐引起人们的关注。深度神经网络已经被证明容易受到对抗样本的攻击，它 是通过在原始输入图像中添加人类不易察觉的附加扰动导致模型错误分类而产生的。通常情 况下，对抗样本具有一定的迁移性，即针对一个模型生成的对抗样本可能对另一个模型而言 也是对抗的，这种现象使得黑盒攻击成为可能，这凸显了其威胁性。攻击性能强的对抗样本 是评估模型鲁棒性的重要工具，以及它还可以作为对抗训练的输入来改善模型的鲁棒性。虽 然对抗样本具有可迁移性，但如何进一步提高其迁移性以进行有效的黑盒攻击仍然有待研究。 一些基于梯度的攻击被提出来寻找对抗样本，例如单步攻击方法和迭代攻击方法。在白盒攻 击场景下，这些方法表现出强大的攻击能力，然而在黑盒设置下，这些方法的攻击成功率却 比较低，可以认为是对抗样本发生了“过拟合”，即同一对抗样本在白盒和黑盒设置下的攻 击能力类似于同一神经网络在训练集与测试集上的表现差异。
发明内容
为此，本发明提供一种基于图像亮度随机变换的对抗样本生成方法及系统，将图像亮度 的随机变换引入到对抗攻击中，从而有效的消除对抗样本生成过程中的过拟合，提升对抗样 本的可迁移性，从而为构建更加鲁棒的图像分类识别系统打下良好基础。
按照本发明所提供的设计方案，一种基于图像亮度随机变换的对抗样本生成方法，用于 视觉图像分类识别，包含如下内容：
收集用于视觉图像分类识别的样本数据，该样本数据中包含输入图像、与输入图像对应 的标签数据；
构建用于对抗样本生成的神经网络模型；
针对样本数据，通过对样本数据中的输入图像亮度的随机变换进行数据增强，利用动量 迭代FGSM图像对抗算法对神经网络模型进行求解，在目标损失函数关于输入的梯度方向上 寻找对抗扰动，并对对抗扰动进行无穷范数限制，通过最大化样本数据在网络模型上的目标 损失函数来生成对抗样本。
作为本发明基于图像亮度随机变换的对抗样本生成方法，进一步地，神经网络模型目标 损失函数表示为：J(θ,x,y)，其中，x为输入图像，y为与输入图像x对应的标签，θ为神经 网络模型的参数，通过最大化J(θ,x,y)来生成与输入图像x对应的对抗样本xadv。
作为本发明基于图像亮度随机变换的对抗样本生成方法，进一步地，对抗扰动限制的网 络模型优化问题表示为：
ε为对抗扰动大小。
作为本发明基于图像亮度随机变换的对抗样本生成方法，进一步地，每次迭代的随机变 换中，通过设置转换概率来控制输入图像和变换图像之间的平衡。
作为本发明基于图像亮度随机变换的对抗样本生成方法，进一步地，利用动量迭代FGSM 图像对抗算法对网络模型中对抗扰动进行优化，优化后的对抗样本生成问题表示为：
作为本发明基于图像亮度随机变换的对抗样本生成方法，进一步地，利用动量迭代FGSM 图像对抗算法对网络模型进行求解，首先设置最大迭代次数、和衰减系数，并根据扰动大小 和最大迭代次数得到迭代步长；在每次迭代中，利用转换概率获取输入图像的转换图像，并 结合输入图像的梯度方向和衰减系数获取梯度加权累计，结合迭代步长、梯度加权累计、转 换图像并通过裁剪函数来更新作为对抗样本的数据。
作为本发明基于图像亮度随机变换的对抗样本生成方法，进一步地，通过裁剪函数更新 数据的过程表示为：
其中，
表示用于将对抗样本约束在输 入图像x的扰动大小ε邻域内的裁剪函数，
为当前迭代轮次t下的对抗样本，α为迭代步 长，用于更新当前数据的梯度加权累计
gt表示前迭代轮次t-1下 获取的梯度加权累计，μ为衰减系数，
表示当前迭代轮次t下目标损失函数对应 标签为y、模型参数为θ的输入图像
的梯度，sign(·)表示符号函数。
进一步地，本发明还提供一种基于图像亮度随机变换的对抗样本生成系统，用于视觉图 像分类识别，包含：数据收集模块、模型构建模块和对抗生成模块，其中，
数据收集模块，用于收集用于视觉图像分类识别的样本数据，该样本数据中包含输入图 像、与输入图像对应的标签数据；
模型构建模块，用于构建用于对抗样本生成的神经网络模型；
对抗生成模块，用于针对样本数据，通过对样本数据中的输入图像亮度的随机变换进行 数据增强，利用动量迭代FGSM图像对抗算法对神经网络模型进行求解，在目标损失函数关 于输入的梯度方向上寻找对抗扰动，并对对抗扰动进行无穷范数限制，通过最大化样本数据 在网络模型上的目标损失函数来生成对抗样本。
本发明的有益效果：
本发明将提高深度学习模型性能的方法用于对抗样本的生成过程当中，将图像亮度的随 机变换引入到对抗攻击中，从而有效的消除对抗样本生成过程中的过拟合，提升对抗样本的 可迁移性，从而为构建更加鲁棒的图像分类识别系统打下良好基础。并进一步通过实验数据 验证，相比现有的基于数据增强的对抗样本生成方法，在对抗训练网络上的平均黑盒攻击成 功率提升23.5％，能够有助于评估模型的鲁棒性和不同防御方法的有效性，具有较好的应用 前景。
附图说明：
图1为实施例中基于图像亮度随机变换的对抗样本生成流程示意；
图2为实施例中不同网络模型调整超参数对攻击成功率的影响示意。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发 明作进一步详细的说明。
深度神经网络对对抗样本是脆弱的，这种对抗样本是在原始输入图像上添加人视觉几乎 不可见的噪声，从而让深度神经网络误分类，这给深度神经网络带来了威胁。因此在深度神 经网络部署前，对抗性攻击可以作为评估模型鲁棒性的重要方法。但是，在黑盒情况下，对 抗样本的攻击成功率还有待提高，即对抗样本的可迁移性还有待提升。本发明实施例，提供 一种基于图像亮度随机变换的对抗样本生成方法，参见图1所示，用于视觉图像分类识别， 包含如下内容：
S101、收集用于视觉图像分类识别的样本数据，该样本数据中包含输入图像、与输入图 像对应的标签数据；
S102、构建用于对抗样本生成的神经网络模型；
S103、针对样本数据，通过对样本数据中的输入图像亮度的随机变换进行数据增强，利 用动量迭代FGSM图像对抗算法对神经网络模型进行求解，在目标损失函数关于输入的梯度 方向上寻找对抗扰动，并对对抗扰动进行无穷范数限制，通过最大化样本数据在网络模型上 的目标损失函数来生成对抗样本。
基于数据增强，将图像亮度的随机变换引入到对抗攻击中，优化对抗样本的生成过程， 从而有效的消除对抗样本生成过程中的过拟合，提升对抗样本的可迁移性。
作为本发明实施例中基于图像亮度随机变换的对抗样本生成方法，进一步地，神经网络 模型目标损失函数表示为：J(θ,x,y)，其中，x为输入图像，y为与输入图像x对应的标签，θ 为神经网络模型的参数，通过最大化J(θ,x,y)来生成与输入图像x对应的对抗样本xadv。对于 对抗样本生成，通过最大化J(θ,x,y)来生成一个与x视觉上不可区分的对抗样本xadv来愚弄模 型，即让模型对对抗样本xadv进行错误分类。进一步地，本案实施例中，使用无穷范数对对抗 扰动进行了限制，即||xadv-x||∞≤ε。对抗样本生成转化为以下条件约束优化问题：
鉴于本发明实例中所提出的对抗样本生成方法是以基于梯度的对抗样本生成方法为基础， 并在此基础上进行改进而来的。故对基于梯度的对抗样本生成方法进行简要介绍。
Fast Gradient Sign Method(FGSM).FGSM是最基础的对抗样本生成方法之一，在损失 函数关于输入的梯度方向
上寻找对抗样本，并对对抗扰动予以无穷范数限制。其更 新公式如下：
Iterative Fast Gradient Sign Method(I-FGSM).I-FGSM是FGSM方法的迭代版本，它是 将FGSM中的梯度运算分成多步迭代进行，以此消除单步攻击所带来的“欠拟合”。该方法 可以表达为下式：
其中，α是每次迭代的步长，α＝ε/T，T为迭代次数，Clip函数的作用是将对抗样本约 束在原始图像x的ε邻域内，以满足无穷范数约束，实验表明，I-FGSM比FGSM的白盒攻击成功率要高，但迁移性较差。
Momentum Iterative Fast Gradient Sign Method(MI-FGSM).MI-FGSM首次提出将动 量运用到对抗样本生成过程中，能够稳定梯度更新方向，改进了收敛过程，从而大幅度提高 了攻击成功率。与I-FGSM相比，不同点在于对抗样本的更新方向不一样：
μ是动量项的衰减因子，gt是前t轮迭代的梯度加权累积。
Diverse Input Method(DIM).DIM在每次迭代时以给定的概率对原始输入进行随机变换， 以减轻过拟合现象。转换包括随机调整大小和随机填充。该方法可以很自然的与其他基线攻 击方法相结合来生成更具可迁移性的对抗样本。其随机变换方程如下：
Projected Gradient Descent(PGD).PGD是对FGSM的改进，是FGSM的强迭代版本，它提高了对抗样本的攻击成功率。
进一步地，本案实施例中，利用图像亮度随机变换攻击方法(简写为RTM)，在每次迭代 的时候对原始输入图像以p的概率进行亮度随机变换，以此来缓解过拟合现象。该方法对亮 度随机变换的图像的对抗扰动进行优化:
具体来说，随机变换函数RT(·)是随机亮度的调整，它将输入图像的亮度以一定的倍率随 机变暗。转换概率p控制着原始输入图像和变换图像之间的平衡。通过上述优化，利用数据 增强来实现对模型的有效攻击，从而避免白盒模型的“过度拟合”攻击，提高对抗样本的可迁 移性。
进一步地，基于上述的方法，本发明实施例还提供一种基于图像亮度随机变换的对抗样 本生成系统，用于视觉图像分类识别，包含：数据收集模块、模型构建模块和对抗生成模块， 其中，
数据收集模块，用于收集用于视觉图像分类识别的样本数据，该样本数据中包含输入图 像、与输入图像对应的标签数据；
模型构建模块，用于构建用于对抗样本生成的神经网络模型；
对抗生成模块，用于针对样本数据，通过对样本数据中的输入图像亮度的随机变换进行 数据增强，利用动量迭代FGSM图像对抗算法对神经网络模型进行求解，在目标损失函数关 于输入的梯度方向上寻找对抗扰动，并对对抗扰动进行无穷范数限制，通过最大化样本数据 在网络模型上的目标损失函数来生成对抗样本。
针对生成对抗样本的攻击，图像亮度随机变换攻击方法RTM引入数据增强，缓解过拟合 现象。RTM可以很自然地与MI-FGSM结合起来形成更强的攻击，称之为RT-MI-FGSM(Random Transformation Momentum Iterative Fast Gradient Sign Method)。本案中方案具体实现 算法可以通过不同的参数设置与FGSM类方法进行关联，例如转换概率p＝0，则RT-MI-FGSM 退化为MI-FGSM，即可以去掉算法1的第4步就可以得到MI-FGSM攻击算法。算法1可以 作为对RT-MI-FGSM攻击算法的描述概括，具体如下：
此外，本案实施例中，RTM还可以与DIM相结合，形成RT-DIM，进一步提高对抗样 本的可迁移性。
为验证本案方案有效性，下面结合实验数据做进一步解释说明：
数据集：从ImageNet验证集中随机选择1000张属于1000个类别的图像，这些图像都能 够被测试的网络正确分类。所有图像都事先被调整为299×299×3。
网络：可选取七个网络，其中包括四个普通的网络，即Inception-v3(Inc-v3),Inception-v4(Inc-v4),Inception-Resnet-v2(IncRes-v2)和Resnet-v2-101(Res-101)，以及三个经过 对抗训练的网络，即ens3-adv-Inception-v3(Inc-v3ens3),ens4-adv-Inception-v3(Inc-v3ens4)和 ens-adv-Inception-ResNet-v2(IncRes-v2ens)。
将本案中方案算法分别与MI-FGSM和DIM进行集成，以展示RTM在这些基线方法上的改善。对于超参数，可最大扰动为ε＝16,迭代次数T＝10,步长α＝1.6。对于MI-FGSM， 衰减系数默认为μ＝1.0。对于随机变换函数RT(X；p)，转换概率p一般设置为0.5，当RTM 与DIM结合时，转换概率p此时设置为1.0。对于随机变换运算RT(·)，其将输入图像x的亮 度随机调整为B*r,其中B为输入图像的原始亮度，r∈(1/16,1]是调整倍率。
首先对单个网络进行了攻击。使用I-FGSM,MI-FGSM，DIM以及RT-MI-FGSM方法在正常训练的网络上生成对抗样本，并在所有7个网络(四个正常训练网络，三个对抗训练网络)上测试它们。结果展示在表1中，其中成功率是指以对抗样本作为输入的模型分类错误率。此外，将RTM与DIM结合形成RT-DIM，需要注意的是，此时RTM对应的转换概率p 设置为1，其在7个网络上测试的结果如表2所示。
表1的结果显示，本案中方案算法RT-MI-FGSM在大部分黑盒设置下的攻击成功率远高 于其他基线攻击，特别是也高于同样是基于数据增强的DIM攻击方法，并且保持着较高的白 盒攻击成功率。例如，在Inc-v3网络上生成对抗样本攻击Inc-v4网络，RT-MI-FGSM黑盒攻 击成功率达到了71.4％，是这几种方法中最高的。此外，在对抗训练网络上，RT-MI-FGSM 有着更好的表现。相比其他三种攻击方法，本案方案大幅提高了黑盒攻击成功率，以在Inc-v3 网络上生成对抗样本攻击对抗训练网络为例，RT-MI-FGSM在对抗训练网络上的平均攻击成 功率为24.6％，MI-FGSM则为12.2％，高出了12.4％。这有力的证明了本案方案能够有效的 提升对抗样本的迁移性。
接下来，单独比较同是基于数据增强的RT-MI-FGSM与DIM方法的攻击成功率，实验结果表明本案方案算法有着更好的表现。无论是在正常训练的网络上还是在对抗训练的网络 上，大部分情况下，RT-MI-FGSM比DIM有着更高的黑盒攻击成功率。特别是，RT-MI-FGSM相比DIM大幅提高了在对抗训练网络上的黑盒攻击成功率。例如，在Inc-v4网络上生成对抗样本攻击对抗训练网络Inc-v3ens3，DIM的黑盒攻击成功率为26.6％，RT-MI-FGSM为42.6％。
表2的结果显示，RT-MI-FGSM与DIM集成形成地RT-DIM进一步提高了大部分黑盒设置下的攻击成功率。以在Inc-v4网络上生成对抗样本攻击对抗训练网络为例，RT-DIM的平均攻击成功率达到了45.5％，而同等条件下的DIM为21.6％，平均攻击成功率提升了一倍以上。一个有趣的现象是RT-DIM的白盒攻击攻击成功率没有DIM高，我们猜想可能是两种方法的集成，进一步增大了原始输入图像变换的随机性导致的。
Table 1:
Table 2:
尽管表1和表2的结果表明，RT-MI-FGSM和RT-DIM能够提升对抗样本在黑盒模型上的迁移性，但还能够通过攻击集成模型来进一步增加黑盒攻击成功率。即通过对多个网络逻 辑值的集成来进行攻击。可考虑上述中的7个网络，分别运用I-FGSM,MI-FGSM，DIM， RT-MI-FGSM以及RT-DIM针对六个网络的集成来生成对抗样本，并在这个集成网络以及保 留网络上进行测试。在实验中，迭代方法中的迭代轮数T＝10，扰动大小ε＝16，每个网络的 集成权重相等，即ωk＝1/6，实验结果如表3所示。
Table 3:
从表3可以看出，在黑盒设置下，RT-DIM比其他几种方法的攻击成功率都要高。例如， 当-Inc-v3为保留网络时，RT-DIM攻击-Inc-v3的成功率为85.2％，而I-FGSM,MI-FGSM，DIM,RT-MI-FGSM分别为54.3％，75.4％，84.3％,83.6％。此外，在具有挑战性的对抗训练网络上，RT-DIM的平均黑盒攻击成功率为72.1％，比DIM的平均黑盒攻击成功率高出23.5％，结果表明了本案方案的有效和优势。
下面通过一系列的拓展实验来进一步研究不同参数对RT-MI-FGSM和RT-DIM的影响。 考虑攻击一个网络集合，以此来更准确的评估模型的鲁棒性。通用的实验设置如下，最大扰 动为ε＝16,迭代次数T＝10,步长α＝1.6。对于MI-FGSM，衰减系数默认为μ＝1.0。
转换概率p.首先，在白盒和黑盒模型下，转换概率p对攻击成功率的影响。转换概率p 在0到1之间变换。当p＝0时，RT-MI-FGSM退化为MI-FGSM，RT-DIM退化为DIM。图2 (a)、(b)展示了本案方案在各种网络上的攻击成功率。可以观察到，随着p的增加， RT-MI-FGSM和RT-DIM的变化趋势是不一样的。对于RT-MI-FGSM，随着p的增加，其黑 盒攻击成功率升高，白盒攻击成功率降低，而RT-DIM则是随着p的增加，对抗训练网络上 的黑盒攻击成功率逐步升高，而白盒攻击成功率和正常训练网络上的黑盒攻击成功率则是先 降低后升高，最终呈现上升趋势。此外，对于所有攻击，如果p较小，即仅利用少量随机转 换输入，对抗训练网络上的黑盒成功率会显著提高，正常训练网络上的黑盒成功率略有波动， 而白盒成功率只会略有下降。这种现象表明将随机转换后的输入添加到对抗样本生成过程中 的重要性。特别是，我们可以通过控制p的取值来实现黑盒攻击成功率和白盒攻击成功率之 间的平衡。
随机调整倍率r.接下来，在白盒和黑盒设置下，随机调整倍率r对攻击成功率的影响。 此时调整倍率r是在一个范围内随机取值。调整倍率r取值的范围从(1,1]变化到(1/16,1]，即调 整倍率r取值的范围越来越大。当r∈(1,1]时，此时r＝1，RT-MI-FGSM退化为MI-FGSM， RT-DIM退化为DIM。在图2(c)、(d)中展示了各种网络上的攻击成功率。可以看到，随着 r取值范围的增加，RT-MI-FGSM的黑盒攻击成功率升高，白盒攻击成功率降低，而RT-DIM 则是对抗训练网络上的黑盒攻击成功率大幅提升，白盒攻击成功率和正常训练网络上的黑盒 攻击成功率小幅提升。随机调整倍率r兼顾了图像亮度变换的随机性与调整幅度，可单独对 图像调整幅度，即对常数调整倍率r进行讨论。
常数调整倍率r.在白盒和黑盒设置下，常数调整倍率r对攻击成功率的影响。此时调 整倍率r是一个常数。调整倍率r取值的范围从1/16变化到1，即调整倍率r的取值越来越大， 此时在每一次迭代过程中，对原始输入做的变换都是相同的。当r＝1时，RT-MI-FGSM退化 为MI-FGSM，RT-DIM退化为DIM。在图2(e)、(f)中展示了各种网络上的攻击成功率， 需要注意的是，在图2(e)中最左端的纵坐标数值表示的是本案方案算法(RT-MI-FGSM和 RT-DIM)的攻击成功率，而在图2(b)、(d)最右端的纵坐标数值表示的是本案方案算法下 的攻击成功率。可以看到，随着r取值的增大，RT-MI-FGSM和RT-DIM有着不同的变换趋 势。对于RT-MI-FGSM，随着r的增大，即图像亮度变换的幅度减小，其对抗训练网络上的 黑盒攻击成功率显著降低，正常训练网络上的黑盒攻击成功率先升高再降低，最终呈现下降 趋势，白盒攻击成功率则略有提升。而RT-DIM则是对抗训练网络上的黑盒攻击成功率大幅 降低，白盒攻击成功率和正常训练网络上的黑盒攻击成功率略有降低。相同方法在随机调整 倍率和常数调整倍率下的攻击效果是不一样的，在随机调整倍率下，本案方案算法更容易在 白盒模型上获得更高的攻击成功率，而在常数调整倍率下，则更容易在黑盒模型上获得更高的攻击成功率。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和 数值并不限制本发明的范围。
基于上述的方法和/或系统，本发明实施例还提供一种服务器，包括：一个或多个处理器； 存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行， 使得所述一个或多个处理器实现上述的方法。
基于上述的方法和/或系统，本发明实施例还提供一种计算机可读介质，其上存储有计算 机程序，其中，该程序被处理器执行时实现上述的方法。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为 限制，因此，示例性实施例的其他示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附 图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技 术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进 行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发 明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变 化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术 方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。 因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于图像亮度随机变换的对抗样本生成方法，用于视觉图像分类识别，其特征在于，包含如下内容：
收集用于视觉图像分类识别的样本数据，该样本数据中包含输入图像、与输入图像对应的标签数据；
构建用于对抗样本生成的神经网络模型；
针对样本数据，通过对样本数据中的输入图像亮度的随机变换进行数据增强，利用动量迭代FGSM图像对抗算法对神经网络模型进行求解，在目标损失函数关于输入的梯度方向上寻找对抗扰动，并对对抗扰动进行无穷范数限制，通过最大化样本数据在网络模型上的目标损失函数来生成对抗样本。
2.根据权利要求1所述的基于图像亮度随机变换的对抗样本生成方法，其特征在于，神经网络模型目标损失函数表示为：J(θ,x,y)，其中，x为输入图像，y为与输入图像x对应的标签，θ为神经网络模型的参数，通过最大化J(θ,x,y)来生成与输入图像x对应的对抗样本xadv。
3.根据权利要求2所述的基于图像亮度随机变换的对抗样本生成方法，其特征在于，对抗扰动限制的网络模型优化问题表示为：
ε为对抗扰动大小。
4.根据权利要求3所述的基于图像亮度随机变换的对抗样本生成方法，其特征在于，每次迭代的随机变换中，通过设置转换概率来控制输入图像和变换图像之间的平衡。
5.根据权利要求4所述的基于图像亮度随机变换的对抗样本生成方法，其特征在于，先通过对样本数据中的输入图像亮度的随机变换来进行数据增强，然后利用动量迭代FGSM图像对抗算法对网络模型中对抗扰动进行优化，优化后的网络模型表示为：
6.根据权利要求1所述的基于图像亮度随机变换的对抗样本生成方法，其特征在于，利用动量迭代FGSM图像对抗算法对网络模型进行求解，首先设置最大迭代次数、和衰减系数，并根据扰动大小和最大迭代次数得到迭代步长；在每次迭代中，利用转换概率获取输入图像的转换图像，并结合输入图像的梯度方向和衰减系数获取梯度加权累计，结合迭代步长、梯度加权累计、转换图像并通过裁剪函数来更新作为对抗样本的数据。
7.根据权利要求6所述的基于图像亮度随机变换的对抗样本生成方法，其特征在于，通过裁剪函数更新数据的过程表示为：
其中，
表示用于将对抗样本约束在输入图像x的扰动大小ε邻域内的裁剪函数，
为当前迭代轮次t下的对抗样本，α为迭代步长，用于更新当前数据的梯度加权累计
gt表示前迭代轮次t-1下获取的梯度加权累计，μ为衰减系数，
表示当前迭代轮次t下目标损失函数对应的标签为y、模型参数为θ的输入图像
的梯度方向，sign(·)表示符号函数。
8.一种基于图像亮度随机变换的对抗样本生成系统，其特征在于，包含：数据收集模块、模型构建模块和对抗生成模块，其中，
数据收集模块，用于收集用于视觉图像分类识别的样本数据，该样本数据中包含输入图像、与输入图像对应的标签数据；
模型构建模块，用于构建用于对抗样本生成的神经网络模型；
对抗生成模块，用于针对样本数据，通过对样本数据中的输入图像亮度的随机变换进行数据增强，利用动量迭代FGSM图像对抗算法对神经网络模型进行求解，在目标损失函数关于输入的梯度方向上寻找对抗扰动，并对对抗扰动进行无穷范数限制，通过最大化样本数据在网络模型上的目标损失函数来生成对抗样本。
9.一种电子设备，包含用于存储可执行指令的存储器和用于执行存储器可执行指令的处理器，其特征在于，处理器执行存储器可执行指令时实现权利要求1～7任一项所述的对抗样本生成方法。
10.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1～7任一项所述的对抗样本生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110766192.7A CN113487015A (zh) | 2021-07-07 | 2021-07-07 | 基于图像亮度随机变换的对抗样本生成方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110766192.7A CN113487015A (zh) | 2021-07-07 | 2021-07-07 | 基于图像亮度随机变换的对抗样本生成方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113487015A true CN113487015A (zh) | 2021-10-08 |
Family
ID=77941602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110766192.7A Pending CN113487015A (zh) | 2021-07-07 | 2021-07-07 | 基于图像亮度随机变换的对抗样本生成方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487015A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114170443A (zh) * | 2021-11-29 | 2022-03-11 | 华东师范大学 | 一种基于图像亮度映射的图像语义对抗攻击样本生成系统及生成方法 |
| CN114444690A (zh) * | 2022-01-27 | 2022-05-06 | 厦门大学 | 一种基于任务扩增的迁移攻击方法 |
| CN114627373A (zh) * | 2022-02-25 | 2022-06-14 | 北京理工大学 | 一种面向遥感图像目标检测模型的对抗样本生成方法 |
| CN116543268A (zh) * | 2023-07-04 | 2023-08-04 | 西南石油大学 | 基于通道增强联合变换的对抗样本生成方法及终端 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110348475A (zh) * | 2019-05-29 | 2019-10-18 | 广东技术师范大学 | 一种基于空间变换的对抗样本增强方法和模型 |
| CN110991299A (zh) * | 2019-11-27 | 2020-04-10 | 中新国际联合研究院 | 一种物理域上针对人脸识别系统的对抗样本生成方法 |
-
2021
- 2021-07-07 CN CN202110766192.7A patent/CN113487015A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110348475A (zh) * | 2019-05-29 | 2019-10-18 | 广东技术师范大学 | 一种基于空间变换的对抗样本增强方法和模型 |
| CN110991299A (zh) * | 2019-11-27 | 2020-04-10 | 中新国际联合研究院 | 一种物理域上针对人脸识别系统的对抗样本生成方法 |
Non-Patent Citations (1)
| Title |
|---|
| YANG BO 等: "Random Transformation of Image Brightness for Adversarial Attack", 《ARXIV》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114170443A (zh) * | 2021-11-29 | 2022-03-11 | 华东师范大学 | 一种基于图像亮度映射的图像语义对抗攻击样本生成系统及生成方法 |
| CN114444690A (zh) * | 2022-01-27 | 2022-05-06 | 厦门大学 | 一种基于任务扩增的迁移攻击方法 |
| WO2023142282A1 (zh) * | 2022-01-27 | 2023-08-03 | 厦门大学 | 一种基于任务扩增的迁移攻击方法及装置 |
| CN114444690B (zh) * | 2022-01-27 | 2024-06-07 | 厦门大学 | 一种基于任务扩增的迁移攻击方法 |
| CN114627373A (zh) * | 2022-02-25 | 2022-06-14 | 北京理工大学 | 一种面向遥感图像目标检测模型的对抗样本生成方法 |
| CN116543268A (zh) * | 2023-07-04 | 2023-08-04 | 西南石油大学 | 基于通道增强联合变换的对抗样本生成方法及终端 |
| CN116543268B (zh) * | 2023-07-04 | 2023-09-15 | 西南石油大学 | 基于通道增强联合变换的对抗样本生成方法及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113487015A (zh) | 基于图像亮度随机变换的对抗样本生成方法及系统 | |
| Zhang et al. | Improving adversarial transferability via neuron attribution-based attacks | |
| CN109948658B (zh) | 面向特征图注意力机制的对抗攻击防御方法及应用 | |
| CN114066912A (zh) | 基于优化算法和不变性的智能对抗样本生成方法及系统 | |
| CN111047054A (zh) | 一种基于两阶段对抗知识迁移的对抗样例防御方法 | |
| CN109992931A (zh) | 一种基于噪声压缩的可迁移的非黑盒攻击对抗方法 | |
| CN112200243B (zh) | 一种基于低问询图像数据的黑盒对抗样本生成方法 | |
| CN111783890B (zh) | 一种针对图像识别过程中的小像素对抗样本防御方法 | |
| Zou et al. | Making adversarial examples more transferable and indistinguishable | |
| Hosseini et al. | Are odds really odd? bypassing statistical detection of adversarial examples | |
| CN113627543B (zh) | 一种对抗攻击检测方法 | |
| CN113591975A (zh) | 基于Adam算法的对抗样本生成方法及系统 | |
| CN111932646A (zh) | 一种用于对抗攻击的图像处理方法 | |
| CN114399630A (zh) | 基于信念攻击和显著区域扰动限制的对抗样本生成方法 | |
| Labaca-Castro et al. | Poster: Attacking malware classifiers by crafting gradient-attacks that preserve functionality | |
| CN114240951A (zh) | 一种基于查询的医学图像分割神经网络的黑盒攻击方法 | |
| CN113822443A (zh) | 一种对抗攻击和生成对抗样本的方法 | |
| CN115719085A (zh) | 一种深度神经网络模型反演攻击防御方法及设备 | |
| Yang et al. | Random transformation of image brightness for adversarial attack | |
| Yin et al. | Boosting adversarial attacks on neural networks with better optimizer | |
| Zhu et al. | Boosting the transferability of adversarial attacks with adaptive points selecting in temporal neighborhood | |
| Li et al. | Optimal transport classifier: Defending against adversarial attacks by regularized deep embedding | |
| Xie et al. | Improving the transferability of adversarial examples with new iteration framework and input dropout | |
| Wu et al. | Black-box attack using adversarial examples: a new method of improving transferability | |
| CN114444690B (zh) | 一种基于任务扩增的迁移攻击方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211008 |