CN113469330B - 双极网络腐蚀增强对抗样本迁移性的方法 - Google Patents
双极网络腐蚀增强对抗样本迁移性的方法 Download PDFInfo
- Publication number
- CN113469330B CN113469330B CN202110709006.6A CN202110709006A CN113469330B CN 113469330 B CN113469330 B CN 113469330B CN 202110709006 A CN202110709006 A CN 202110709006A CN 113469330 B CN113469330 B CN 113469330B
- Authority
- CN
- China
- Prior art keywords
- network
- corrosion
- sample
- residual
- attack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 117
- 238000005260 corrosion Methods 0.000 title claims abstract description 106
- 230000007797 corrosion Effects 0.000 title claims abstract description 106
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 8
- 238000013508 migration Methods 0.000 claims abstract description 24
- 230000005012 migration Effects 0.000 claims abstract description 24
- 230000010354 integration Effects 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 24
- 230000003628 erosive effect Effects 0.000 claims description 17
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 16
- 238000009827 uniform distribution Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 13
- 238000009826 distribution Methods 0.000 claims description 10
- 238000005530 etching Methods 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 230000005251 gamma ray Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000001737 promoting effect Effects 0.000 claims 1
- 230000007123 defense Effects 0.000 description 12
- 230000001965 increasing effect Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000003042 antagnostic effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000005477 standard model Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001617 migratory effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing Resistance To Weather, Investigating Materials By Mechanical Methods (AREA)
Abstract
双极网络腐蚀增强对抗样本迁移性的方法，涉及计算机视觉的技术领域。本发明对源深度网络的内部参数进行实时的双级腐蚀，使得信息流的前后传播发生改变，并生成多个具有相似决策边界的虚拟模型；然后在迭代过程中通过纵向集成的方法将各个虚拟模型进行融合，以缓解迭代攻击的过拟合问题，从而使生成的对抗样本更具有迁移性能。本发明对网络模型进行双级腐蚀，实验结果表明能大大提升所得对抗样本的迁移性。通过提升对抗样本图像跨模型迁移攻击能力，显著提升了对抗样本的黑盒攻击成功率。
Description
技术领域
本发明涉及计算机视觉的技术领域，尤其涉及双极网络腐蚀增强对抗样本迁移性方法的技术领域。
背景技术
深度神经网络(DNNs)在视觉任务领域表现出惊人的准确性。然而，人们发现DNNs容易受到对抗样本的影响，对抗样本是指添加了不易察觉的对抗噪声的输入样本，能够使得DNNs得到错误预测结果。
对抗样本可以由白盒或黑盒攻击方式生成。由于现实中目标模型的内部信息通常是不可访问的，因此研究黑盒攻击更具有现实意义。黑盒攻击方法主要有两种:基于查询的方法和基于对抗样本迁移性的方法。基于查询的方法由于需要大量的查询，这在实际应用中是不切实际的。研究发现对抗样本具有迁移性，即白盒攻击一个深度模型生成的对抗样本可以成功地攻击其他未知的模型，这种迁移性可以用来实现黑盒攻击。
生成对抗样本按攻击迭代数可分为单步法和多步迭代法，通常迭代方法比单步方法能得到更强的对抗样本，但迭代方法得到的对抗样本容易过拟合到所攻击的白盒模型，导致对抗样本扩模型迁移性低。许多技术被提出来提高对抗样本的迁移性，如动量法(Momentum Iterative Fast Gradient Sign Method(MI))、多样化输入法(Diverse Input(DI))和平移不变法(Translation-Invariant Method(TI))，这些方法都不考虑模型的内部结构特征，通过优化攻击算法或输入变换来提高对抗样本转移性。基于模型集成的方法也是提高对抗样本转移性的重要手段，但计算成本较高。Ghost Networks(GN)研究了改变网络内部结构和参数提升对抗样本迁移性，提出了通过网络腐蚀增强对抗样本迁移性的方法，并对生成的虚拟模型采用纵向集成，这可以在不牺牲计算效率的情况下提高对抗样本的迁移性。然而，由Ghost Networks采用的是单级腐蚀方法，生成的对抗样本表现相对较弱的迁移性能提升，并且没有对腐蚀度进行定量分析，而如何设置网络参数的腐蚀度是极为重要的。
发明内容
本发明提供了一种双极网络腐蚀增强对抗样本迁移性的方法，改进了网络腐蚀方法，并且对网络腐蚀度进行了实验分析，大大提升了对抗样本的迁移性。通过提升计算机视觉领域对抗样本图像跨模型迁移攻击能力的方法，显著提升对抗样本的黑盒攻击成功率。
双极网络腐蚀增强对抗样本迁移性的方法，对源深度网络的内部参数进行实时的双级腐蚀，使得信息流的前后传播发生改变，每迭代步均对原模型参数进行腐蚀，得到多个与原模型参数具有一定差异但保持相似决策边界的虚拟模型，即模型分类结果准确率保持相似；然后在迭代过程中通过纵向集成的方法将各个虚拟模型进行融合，即每迭代步均计算虚拟模型而不是原模型的分类结果与目标标签的交叉熵损失函数值，可以缓解迭代攻击的过拟合问题，从而使生成的对抗样本具有迁移性能。
对源深度网络的内部参数进行实时的双级腐蚀，具体过程为：
1.1.对于经过预训练的非残差网络，为了使得网络参数更加多样化，所提的双级网络腐蚀方法对基础网络的每一层应用dropout和均匀分布腐蚀；令zl表示第l层的输入，fl表示满足zl+1＝fl(zl)映射关系的函数，经过双级腐蚀，第l层的输出表示为
其中*表示元素点积，Bernoulli(1-Λb)表示以概率p＝(1-Λb)使得腐蚀参数rl为1的伯努利分布，即p表示zl被保留的概率，为了保持fl(·)的输入经过腐蚀后期望值不变，需要将输入除以(1-Λb)，Λb为dropout腐蚀度，Λb越大则对模型参数的dropout腐蚀度越大；λl～U[1-Λu，1+Λu]表示腐蚀参数λl服从均匀分布，为了保持zl的期望在经过均分布腐蚀后保持不变，均分布的均值设为1，Λu为均分布腐蚀度，Λb越大表示对源网络腐蚀量越大。
经过双级腐蚀后，对于输入z0从第L层zL反传的损失函数
的梯度为
1.2.对于经过预训练的残差网络，双级网络腐蚀方法对残差块使用均分布和偏移腐蚀；双级网络腐蚀残差块表示为
zl+1＝λl(zl+γlF(zl，Wl))，λl～U[1-Λu，1+Λu] (3)
其中λl为服从均匀分布，Wl为第l层网络参数，γl为偏移因子并且有0＜γl≤1，这样网络将初始地偏向于执行恒等映射的跨层连接；γl项有助于在前向和反向传播过程中改善低层的迁移信息传递，从而提升攻击效力以得到更具迁移性的对抗样本。zl和zl+1分别代表参数为Wl的第l个残差块的输入和输出，F(·)表示残差方程；
第L层的输入表示为
对于输入z0的损失函数
的梯度表示为
双级网络腐蚀的过程为：1)对源网络M1，当其非残差网络，对其实施均分布和dropout腐蚀，当其为残差网络，对其实施均分布和残差块偏移腐蚀；2)重复步骤1)N次，N为总迭代次数，获得N个虚拟网络{M11，M12，...，M1N}，将这N个虚拟网络纵向集成，即在第i步迭代时只攻击第i个虚拟网络M1i；
基于以上公式，由损失函数的梯度可知越大的腐蚀对源网络影响越大，而由函数乘积求导法则可知网络越深也越容易受到影响。对于非残差和残差网络，对抗样本经迭代并经过网络腐蚀后生成的表达式为
其中x为输入图像，有z0＝x，
表示对x最大对抗扰动量值限制为不超过∈，即有对抗样本x*与原图像x的无穷范数距离||x*-x||∞≤∈，α为迭代步长，
表示第t步所得的对抗样本，
加公式(2)或(5)所示。
对一个能被分类器c(·)正确分类为标签y的干净输入样本x，通过对x添加对抗噪声，得到能够欺骗这个分类器的对抗样本，即有c(x*)≠y；在L∞范数约束下，最大扰动量∈满足||x*-x||≤∈；通过最大化分类器的损失函数J(x*，y；θ)来生成对抗样本，其中θ表示网络参数，这个对抗深度学习问题表示成
利用迁移性实施对抗样本攻击是先通过白盒攻击得到对抗样本，然后利用这些对抗样本迁移攻击其他未知网络模型；
经过网络腐蚀后的损失函数对任意干净样本满足需J(x*，y；E(θ))≈J(x*，y；θ)，得到与原网络相似的新网络，生成对抗样本的约束优化问题重写为
本发明通过对原深度模型的内部参数进行实时的双级腐蚀，使得信息流的前后传播发生改变，通过对原模型参数腐蚀得到与原模型具有相似分类决策边界的虚拟模型(“虚拟”指生成的模型没有存储或训练)，即经过参数腐蚀后所得网络的分类结果准确率与原模型相似。每步经过腐蚀的模型参数存在差异性，增加了参数的多样性，有利于避免对抗样本过拟合到特定的模型参数。在生成图像对抗噪声过程中采用纵向集成的方法，即每步计算存在参数差异的虚拟模型的而不是原模型的分类结果，并计算此分类结果与目标类标签之间的交叉熵损失值，可以缓解多步迭代攻击的过拟合问题，从而使生成的对抗样本具有更强的迁移性能。所提出的网络双级腐蚀方法可与其他方法(如动量法)相结合，可以在几乎不增加计算量的情况下生成更具迁移性的对抗样本。对于非残差网络，通过对原模型进行双级网络腐蚀得到模型参数多样化的虚拟模型，提高了迁移攻击的有效性。特别地，发现对于残差网络，通过降低残差块中的残差模块的比重，即当残差块内信息输出偏向于恒等映射时，攻击成功率显著提高。这表明恒等映射可以获取更多的迁移信息，在迭代攻击过程中决策边界更接近目标网络。
本发明的有益效果是，可以在几乎不增加计算成本的情况下，使迭代攻击生成更具迁移性的对抗样本，特别地对于残差网络，发现当残差块输出偏向于恒等映射时，能显著提升对抗样本的迁移性。
附图说明
图1是残差网络原始残差块与网络腐蚀残差块示意图。
图2是标准模型集成和纵向模型集成示意图。
图3是针对六个源模型在不同均匀分布腐蚀度时的平均损失。
图4是对Inception系列网络不同腐蚀度时对抗样本的攻击成功率。
图5是对Resnet系列网络不同腐蚀度时对抗样本的攻击成功率。
图6是单模型黑盒攻击平均成功率。
图7是针对Inc-v3模型使用DSNE法和其他方法生成的对抗样本示例。
具体实施方式
下面对本发明进一步说明。
1.非残差和残差网络双级腐蚀的方法阐述
1.1.对于经过预训练的非残差网络，为了使得网络参数更加多样化，所提的双级网络腐蚀方法对基础网络的每一层应用dropout和均匀分布腐蚀。令zl表示第l层的输入，fl表示满足zl+1＝fl(zl)映射关系的函数，经过双级腐蚀，第l层的输出可表示为
其中*表示元素点积，Bernoulli(1-Λb)表示以概率p＝(1-Λb)使得rl为1的伯努利分布，即p表示zl被保留的概率，为了保持fl(·)的输入经过腐蚀后期望值不变，需要将输入除以(1-Λb)。为了保持zl的期望在经过均分布腐蚀后保持不变，均分布的均值设为1。Λb为均分布腐蚀度，Λb越大表示对源网络腐蚀量越大。
经过双级腐蚀后，对于输入z0从第L层反传的损失函数
的梯度为
1.2.对于经过预训练的残差网络，双级网络腐蚀方法对残差块使用均分布和偏移腐蚀。图1(a)为原始残差块，图1(b)为经过跨层连接腐蚀的残差块，图1(c)为经过双级网络腐蚀的残差块。双级网络腐蚀残差块可表示为
zl+1＝λl(zl+γlF(zl，Wl))，λl～U[1-Λu，1+Λu] (3)
其中λl服从均匀分布，γl为偏移因子并且有0＜γl≤1，这样网络将初始地偏向于执行恒等映射的跨层连接。γl项有助于在前向和反向传播过程中改善低层的迁移信息传递，从而提升攻击效力以得到更具迁移性的对抗样本。zl和zl+1分别代表权值为Wl的第l个残差块的输入和输出，F(·)表示残差方程。
第L层的输入可表示为
对于输入z0的损失函数
的梯度可表示为
双级网络腐蚀的过程以表述为：1)对源网络M1，当其非残差网络，对其实施均分布和dropout腐蚀，当其为残差网络，对其实施均分布和残差块偏移腐蚀；2)重复步骤1)N次(N为总迭代次数)，获得N个虚拟网络{M11，M12，...，M1N}，将这N个虚拟网络纵向集成，即在第i步迭代时只攻击第i个虚拟网络M1i。
基于以上公式，由损失函数的梯度可知越大的腐蚀对源网络影响越大，而由函数乘积求导法则可知网络越深也越容易受到影响。对于非残差和残差网络，对抗样本由迭代方法如I-FGSM[5]经过网络腐蚀后生成的表达式为
其中z0＝x为网络输入，而
如公式(2)或(5)所示。
2.网络腐蚀提升对抗样本迁移性的原理分析
对一个能被分类器c(·)正确分类为标签y的干净输入样本x，通过对x添加不易察觉的对抗噪声，可以得到能够欺骗这个分类器的对抗样本，即有c(x*)≠y。在L∞范数约束下，最大扰动量∈满足||x*x||≤∈。可以通过最大化分类器的损失函数J(x*，y；θ)来生成对抗样本，其中θ表示网络参数，于是这个对抗深度学习问题可以表示成
利用迁移性实施对抗样本攻击是先通过白盒攻击得到对抗样本，然后利用这些对抗样本迁移攻击其他未知网络模型。通常迭代方法容易过拟合到被攻击的白盒模型的参数，导致所生成的对抗样本迁移性较低。
不同于其他缓解迭代法过拟合问题的方法，如算法改进、数据增广和标准模型集成等，GN(Ghost Network)法对网络参数进行单级腐蚀来提升对抗样本的迁移性，本发明提出对网络参数进行双级腐蚀(以E(θ)表示)的方法来使得网络参数更加多样化。为了避免腐蚀度过大导致无法获取有效反传梯度，经过网络腐蚀后的损失函数对任意干净样本满足需J(x*，y；E(θ))≈J(x*，y；θ)，将得到与原网络相似的新网络，此过程称为模型增广。这些新的网络模型并不需要花费计算资源进行预训练，也不需要额外空间进行存储，而仅仅是通过改变网络内部的结构和参数获得。生成对抗样本的约束优化问题可以重写为
图2(a)为标准模型集成，同时集成了K个不同的源模型，每个迭代步网络参数不变，多个模型集成需耗费较大的计算成本。图2(b)为纵向模型集成，利用单个源模型，在迭代过程中腐蚀模型网络参数，每个迭代步都将产生一个新的虚拟模型，然后将这些模型进行纵向集成，使得生成对抗样本的网络参数更加多样，缓解了迭代方法生成的对抗样本容易过拟合的问题，所得对抗样本相比单模型攻击所得更具有迁移性。对于纵向集成，因为网络腐蚀几乎不需要耗费计算成本，并且是每步仅攻击一个虚拟模型，计算量和攻击原模型相似。还可以进一步将标准模型集成和纵向模型集成相结合，生成更强的对抗样本。
3.双级网络腐蚀方法实验
3.1实验设置
源网络：选择六个深度网络模型，三个为非残差网络：Inception-v3(Inc-v3)、Incption-v4(Inc-v4)、Inception-Resnet-v2(IncRes-v2)，三个为残差网络：Resnet-v2-{50，101，152}(Res-{50，101，152})。
目标网络：选择十五个深度网络模型，其中九个为经过普通预训练的网络，分别为Inc-v3、Inc-v4、IncRes-v2、Res-{50，101，152}、Densenet-169(Dense-169)、Xception-71(Xcep-71)和PNASnet-Large(PNAS)。另外六个模型为经过预训练的鲁棒防御模型，分别为Inc-v3ens3、Inc-v3ens4、IncRes-v2ens以及NIPS2017对抗防御赛前三名模型HGD、R&P和NIPS-r3。
数据集：如果深度网络模型不能对干净图像进行正确的分类，将无法确认样本被误分类是由于对抗攻击原因还是样本本身原因，研究攻击成功率就相对缺乏意义。因此，从ImageNet验证集里随机挑选5000张能被所有源模型正确分类的图片，并且所有图片都被预先调整为299×299×3大小。
基线方法：将动量法(MI)、平移不变法(TI)以及Ghost Networks(GN)法作为基线方法与本发明所提的网络双级腐蚀方法(DSNE)进行比较。对所有的攻击方法，迭代步数N设为10。生成无目标对抗样本，在L∞范数的约束下最大扰动量∈＝16，像素值范围为[0，255]。
3.2网络腐蚀度的影响
通过对网络参数在迭代攻击过程中进行腐蚀可以使得网络参数更加多样化，从而有利于缓解对抗样本过拟合问题，以提高迁移性，增强黑盒攻击能力。不同网络腐蚀度对深度网络参数的影响是不同的，网络腐蚀度过大，可能导致网络难以获得有效的反传梯度信息，导致对抗样本攻击性能下降甚至无攻击能力；而网络腐蚀度过小，则网络参数不够多样化，无法缓解对抗样本过拟合问题，导致对抗样本迁移性较弱。下面通过多组实验来研究不同腐蚀度对对抗样本迁移性的影响。
3.2.1均匀分布Λu腐蚀
均匀分布腐蚀对网络参数多样化有重要作用。首先分析腐蚀对网络识别干净样本准确率的影响。将Λu设置在[0，0.5]之间，Λu越大表示对源网络腐蚀度越大，Λu为0表示无腐蚀。将整个ILSVRC2012验证集的图片输入到Inc-v3、Inc-v4、IncRes-v2、Res-50、Res-101和Res-152，然后分别求在不同腐蚀度时的网络分类结果与真实标签的交叉熵损失平均值，所得结果如图3所示。
由图3可见，随着腐蚀度的增加，平均损失值平稳地增加，而腐蚀度小于某个数值时(如Λu≤0.2)，平均损失相比于无网络腐蚀变化较小，表明网络参数在一定范围内修改的情况下，模型性能不会下降太多，即此时对于经过参数腐蚀的所得的新模型，模型分类准确率下降能控制在较小范围内，此时将满足J(x*，y；E(θ))≈J(x*，y；θ)，符合模型增广的要求。对于伯努利分布腐蚀和残差偏移腐蚀原理相似。
接下来测试当Λu∈[0，0.2]时所得对抗样本的迁移性。使用MI法分别对六个源模型的攻击结果如图4(a1)，(a2)，(a3)和图5(a1)，(a2)，(a3)所示。可以看出，在此腐蚀度区间内，白盒攻击成功率几乎没有变化，而所有黑盒攻击对不同目标模型的攻击成功率以相同趋势发生变化，对不同的源模型，图中黑盒攻击成功率都表现为单峰曲线，增加腐蚀度Λu会增加对抗样本迁移性直到腐蚀度超过某个值。
由图4(a1)，(a2)，(a3)和图5(a1)，(a2)，(a3)，对于Inception系列网络，三个源模型都在Λu为0.10时取得最高攻击成功率，对于Resnet系列网络，Res-50、Res-101和Res-152分别在Λu取0.14、0.12和0.10时有最高攻击成功率。可见越深的网络，腐蚀度相比应小点，因为越深的网络越容易受到网络腐蚀的影响，这与之前对公式的分析是一致的。
当由网络参数多样化提升的迁移性增益高于由网络腐蚀带来的梯度信息损失，攻击成功率将上升。如果腐蚀度太大，虚拟网络的梯度信息将与源网络差别很大，无法获得有效的梯度信息，无法满足J(x*，y；E(θ))≈J(x*，y；θ)，攻击成功率将下降。
3.2.2 dropoutΛb腐蚀
对于非残差网络，如Inception系列网络，在优选均分布腐蚀参数Λu为0.10后，对[0，0.014]范围内的不同的dropout腐蚀参数Λb进行实验，当Λb为0表示无dropout腐蚀。
由图4(a2)、(b2)、(c2)，攻击成功率保持提升直到Λb大于某个值，对于Inc-v3、Inc-v4和IncRes-v2分别为0.002、0.004和0.006。Λb腐蚀可以使得虚拟网络参数更加多样化，进一步缓解了对抗样本过拟合问题从而使得对抗样本更具迁移性。
3.2.3残差块γ偏移腐蚀
对于残差网络，如Resnet系列网络，在优选各自网络均分布腐蚀参数Λu后，定量分析残差块内信息流偏向恒等映射对提升对抗样本迁移性的影响。设置偏向腐蚀因子γ∈[0.5，1.0]，当γ为1.0时表示无偏移。
由图5(a2)，(b2)，(c2)，γ对于迁移攻击能力的影响趋势是一致的。减小γ可以提升对抗样本的迁移性，这表明残差块内恒等映射能传递更多迁移信息，可以更好地近似目标模型。对于Res-50、Res-101和Res-152这三个网络有相同的优选γ值，γ均约为0.8，这使得优化攻击结果变得更容易。经过γ腐蚀使得网络信息偏向于恒等映射，有利于获得更多低层迁移信息，但是当偏移因子γ过小，高层类相关信息将被过分减少，导致网络无法获得正确的类别信息以及有效的损失函数梯度，从而攻击成功率将下降。
3.3单模型攻击实验
分别对六个源模型进行白盒攻击生成对抗样本，然后在十五个目标模型上测试迁移攻击成功率。腐蚀度参数根据图4和图5的结果进行优选。
将所提双级网络腐蚀法(DSNE)与MI法相结合，将生成的对抗样本对九个普通预训练的目标模型进行迁移攻击测试，结果如表1所示。由于TI法原本是针对鲁棒防御模型，即更适合攻击防御模型，因此将DSNE法和TI法结合攻击六个鲁棒防御网络，所得结果如表2所示。
表1针对普通预训练网络模型的攻击成功率(％)。*表示白盒攻击。最佳结果以加粗体表示。
由表1和表2可见所提DSNE方法的黑盒攻击成功率显著比基线方法要高。特别是当源模型为Resnet系列网络时，DSNE平均黑盒攻击成功率比GN方法要高7％～10％。图6(a)和(b)分别展示了单模型攻击对普通预训练网络和鲁棒防御网络的平均黑盒攻击成功率，从中可以更直观地看出本发明所提方法远胜过基线方法。注意到所生成的虚拟网络是在迭代过程中纵向集成，并且这些虚拟网络不需要存储或者训练，因此本发明方法所需计算成本跟基线方法相似。
表2针对鲁棒防御网络模型的攻击成功率(％)。最佳结果以加粗体表示。
图7给出了2张随机挑选的干净样本及它们针对Inc-v3模型使用不同方法生成的对抗样本，最大扰动量∈＝16。从图7中可以看出，尽管本发明所提出的DSNE法所生成的对抗样本的攻击成功率远高于基线方法，但是它们的扰动量或者对抗噪声在视觉上非常接近，即DSNE法可以在不增加扰动量的情况下显著提高对抗样本迁移性。
3.4多模型攻击实验
研究表明同时攻击多个网络模型所生成对抗样本的迁移性显著高于单模型攻击所得对抗样本，因此研究多模型攻击可以更好地评估目标模型的鲁棒性。
分别对Inception系列和Resnet系列网络进行多模型集成，对九个普通模型和六个鲁棒防御模型的攻击成功率分别如表3和表4所示。虽然TI法更适合攻击鲁棒防御模型，这里同时用于攻击普通预训练模型和鲁棒防御模型用于比较。由表3和表4可见，与单模型攻击结果类似，所提的DSNE法在多模型攻击情况下相比基线方法也能显著提升对抗样本的迁移性。
表3为攻击普通预训练模型结果，从中可见，对于Inception系列网络的集成，本发明所提的MI+DSNE法黑盒攻击性能优于其他方法，对于Resnet系列网络的集成，MI+DSNE法无论白盒还是黑盒攻击性能都优于其他方法，对于强基线方法MI+GN法，本发明所提MI+DSNE法大大提升了黑盒攻击的平均成功率(约6％)。尽管只集成了三个源网络，MI+DSNE达到了很高的平均黑盒攻击成功率(95.0％)，表明对残差网络信息流偏向恒等映射能大大提高对抗样本迁移性。
表3多模型集成攻击普通预训练模型的成功率(％)。*表示白盒攻击。最佳结果以加粗体表示。
表4多模型集成攻击鲁棒防御模型的成功率(％)。最佳结果以加粗体表示。
表4为攻击鲁棒防御模型结果，从中可见，对于Inception系列集成，GN法显示比DSNE略优的结果，但是对于Resnet系列集成，类似于攻击普通预训练模型，TI-MI+DSNE法所得对抗样本的迁移性远超其他方法，平均攻击成功率比TI-MI+GN法高约8％。表明深度网络的结构依然存在脆弱性，可以通过网络结构设计来提升网络鲁棒性。
3.5计算成本对比
表5中给出了不同方法采用单模型或多模型集成攻击生成5000张对抗样本所需时间来比较计算成本，所有攻击均在单块NVIDIA GTX 1080TI GPU上运行。从结果可以看出所提方法对对抗样本迁移性有很大提升，但计算成本与基线方法相似。
表5不同方法单模型或多模型集成攻击生成5000张对抗样本所需时间(秒)对比。
4.总结
本发明提出了在攻击时对网络实施双级腐蚀来提升对抗样本迁移性的方法。首先用所提的双级网络腐蚀来增广网络模型使得模型参数更加多样化，从而缓解迭代方法生成对抗样本易过拟合的问题以提高迁移能力，然后将所得虚拟模型通过纵向集成，可以在与基线方法相似计算成本的情况下大大提高对抗样本的黑盒迁移攻击能力。特别地，对于残差网络，发现当残差块内信息偏向于恒等映射时，对抗样本的迁移性将显著提升，黑盒平均攻击成功率在单模型和多模型集成攻击场景下，相比先进的方法提升约6％～10％。本发明所提方法对深度神经网络的鲁棒性和安全性提出了新的挑战。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (2)
1.一种双极网络腐蚀增强对抗样本迁移性的方法，其特征在于对原深度网络的内部参数进行实时的双级腐蚀，每迭代步均对原模型参数进行腐蚀，得到多个与原模型参数具有一定差异但保持相似决策边界的虚拟模型，即模型分类准确率结果保持相似；然后在迭代过程中通过纵向集成的方法将各个虚拟模型进行融合，即每迭代步均计算虚拟模型而不是原模型的分类结果与目标标签的交叉熵损失函数值；
对源深度网络的内部参数进行实时的双级腐蚀，具体过程为：
1.1.对于经过预训练的非残差网络，为了使得网络参数更加多样化，所提的双级网络腐蚀方法对基础网络的每一层应用dropout和均匀分布腐蚀；令zl表示第l层的输入，fl表示满足zl+1＝fl(zl)映射关系的函数，经过双级腐蚀，第l层的输出表示为
其中*表示元素点积，Bernoulli(1-Λb)表示以概率p＝(1-Λb)使得腐蚀参数rl为1的伯努利分布，即p表示zl被保留的概率，为了保持fl(·)的输入经过腐蚀后期望值不变，需要将输入除以(1-Λb)，Λb为dropout腐蚀度，Λb越大则对模型参数的dropout腐蚀度越大；λl～U[1-Λu,1+Λu]表示腐蚀参数λl服从均匀分布，为了保持zl的期望在经过均分布腐蚀后保持不变，均分布的均值设为1，Λu为均分布腐蚀度，Λb越大表示对源网络腐蚀量越大；
经过双级腐蚀后，对于输入z0从第L层zL反传的损失函数
的梯度为
1.2.对于经过预训练的残差网络，双级网络腐蚀方法对残差块使用均分布和偏移腐蚀；双级网络腐蚀残差块表示为
zl+1＝λl(zl+γlF(zl,Wl)),λl～U[1-Λu,1+Λu] (3)
其中λl为服从均匀分布，Wl为第l层网络参数，γl为偏移因子并且有0<γl≤1，这样网络将初始地偏向于执行恒等映射的跨层连接；γl项有助于在前向和反向传播过程中改善低层的迁移信息传递，从而提升攻击效力以得到更具迁移性的对抗样本；zl和zl+1分别代表参数为Wl的第l个残差块的输入和输出，F(·)表示残差方程；
第L层的输入表示为
对于输入z0的损失函数
的梯度表示为
双级网络腐蚀的过程为：1)对源网络M1，当其非残差网络，对其实施均分布和dropout腐蚀，当其为残差网络，对其实施均分布和残差块偏移腐蚀；2)重复步骤1)N次，N为总迭代次数，获得N个虚拟网络{M11,M12,…,M1N}，将这N个虚拟网络纵向集成，即在第i步迭代时只攻击第i个虚拟网络M1i；
基于以上公式，由损失函数的梯度可知越大的腐蚀对源网络影响越大，而由函数乘积求导法则可知网络越深也越容易受到影响；对于非残差和残差网络，对抗样本经迭代并经过网络腐蚀后生成的表达式为
其中x为输入图像，有z0＝x，
表示对x最大对抗扰动量值限制为不超过∈，即有对抗样本x*与原图像x的无穷范数距离‖x*-x‖∞≤∈，α为迭代步长，
表示第t步所得的对抗样本，
如公式(2)或(5)所示。
2.根据权利要求1所述的双极网络腐蚀增强对抗样本迁移性的方法，其特征在于：
对一个能被分类器c(·)正确分类为标签y的干净输入样本x，通过对x添加对抗噪声，得到能够欺骗这个分类器的对抗样本，即有c(x*)≠y；在L∞范数约束下，最大扰动量∈满足‖x*-x‖≤∈；通过最大化分类器的损失函数J(x*,y；θ)来生成对抗样本，其中θ表示网络参数，这个对抗深度学习问题表示成
利用迁移性实施对抗样本攻击是先通过白盒攻击得到对抗样本，然后利用这些对抗样本迁移攻击其他未知网络模型；
经过网络腐蚀后的损失函数对任意干净样本满足需J(x*,y；E(θ))≈J(x*,y；θ)，得到与原网络相似的新网络，生成对抗样本的约束优化问题重写为
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110709006.6A CN113469330B (zh) | 2021-06-25 | 2021-06-25 | 双极网络腐蚀增强对抗样本迁移性的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110709006.6A CN113469330B (zh) | 2021-06-25 | 2021-06-25 | 双极网络腐蚀增强对抗样本迁移性的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113469330A CN113469330A (zh) | 2021-10-01 |
| CN113469330B true CN113469330B (zh) | 2022-12-02 |
Family
ID=77872897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110709006.6A Active CN113469330B (zh) | 2021-06-25 | 2021-06-25 | 双极网络腐蚀增强对抗样本迁移性的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469330B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115392456B (zh) * | 2022-08-30 | 2023-10-10 | 北京交通大学 | 融合优化算法渐近正态性的高迁移对抗样本生成方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108257116A (zh) * | 2017-12-30 | 2018-07-06 | 清华大学 | 一种生成对抗图像的方法 |
| CN108765408A (zh) * | 2018-05-31 | 2018-11-06 | 杭州同绘科技有限公司 | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 |
| CN113159317A (zh) * | 2021-04-22 | 2021-07-23 | 北京理工大学 | 一种基于动态残差侵蚀的对抗样本生成方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019040866A2 (en) * | 2017-08-25 | 2019-02-28 | The Board Of Trustees Of The University Of Illinois | APPARATUS AND METHOD FOR COLLECTING AGRICULTURAL DATA AND AGRICULTURAL OPERATIONS |
| CN111898645A (zh) * | 2020-07-03 | 2020-11-06 | 贵州大学 | 基于注意力机制的可迁移的对抗样本攻击方法 |
| CN112085055B (zh) * | 2020-08-05 | 2022-12-13 | 清华大学 | 一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法 |
-
2021
- 2021-06-25 CN CN202110709006.6A patent/CN113469330B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108257116A (zh) * | 2017-12-30 | 2018-07-06 | 清华大学 | 一种生成对抗图像的方法 |
| CN108765408A (zh) * | 2018-05-31 | 2018-11-06 | 杭州同绘科技有限公司 | 构建癌症病理图像虚拟病例库的方法以及基于卷积神经网络的多尺度癌症检测系统 |
| CN113159317A (zh) * | 2021-04-22 | 2021-07-23 | 北京理工大学 | 一种基于动态残差侵蚀的对抗样本生成方法 |
Non-Patent Citations (4)
| Title |
|---|
| Learning Transferable Adversarial Examples via Ghost Networks;Yingwei Li等;《arXiv:1812.03413v3 [cs.CV] 25 Nov 2019》;20191125;1-9 * |
| Split-Attention Multiframe Alignment Network for Image Restoration;Yongyi Yu等;《IEEE Access》;20200117;第8卷;39254 - 39272 * |
| 基于腐蚀批归一化层的对抗攻击算法;张武等;《计算机工程与应用》;20210326;第57卷(第16期);116-124 * |
| 基于钼靶图像的乳腺病变检测与识别方法;李响;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20210228(第2期);E072-1542 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113469330A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109948663B (zh) | 一种基于模型抽取的步长自适应的对抗攻击方法 | |
| CN111325324A (zh) | 一种基于二阶方法的深度学习对抗样本生成方法 | |
| CN111598210B (zh) | 面向基于人工免疫算法对抗攻击的对抗防御方法 | |
| CN111047054A (zh) | 一种基于两阶段对抗知识迁移的对抗样例防御方法 | |
| CN108520202A (zh) | 基于变分球面投影的对抗鲁棒性图像特征提取方法 | |
| CN111898645A (zh) | 基于注意力机制的可迁移的对抗样本攻击方法 | |
| CN113627543B (zh) | 一种对抗攻击检测方法 | |
| CN114626042B (zh) | 一种人脸验证攻击方法和装置 | |
| Williams et al. | Black-box sparse adversarial attack via multi-objective optimisation | |
| CN113469330B (zh) | 双极网络腐蚀增强对抗样本迁移性的方法 | |
| CN113033822A (zh) | 基于预测校正和随机步长优化的对抗性攻击与防御方法及系统 | |
| Ukai et al. | Hypernetwork-based implicit posterior estimation and model averaging of cnn | |
| CN113487015A (zh) | 基于图像亮度随机变换的对抗样本生成方法及系统 | |
| Yang et al. | Adversarial attacks on brain-inspired hyperdimensional computing-based classifiers | |
| CN115719085B (zh) | 一种深度神经网络模型反演攻击防御方法及设备 | |
| Naseer et al. | Stylized adversarial defense | |
| Liu et al. | Towards transferable unrestricted adversarial examples with minimum changes | |
| CN114861838A (zh) | 一种基于神经元复杂动力学的脉冲神经类脑智能分类方法 | |
| CN113935496A (zh) | 一种面向集成模型的鲁棒性提升防御方法 | |
| Guo et al. | Automatic network pruning via hilbert-schmidt independence criterion lasso under information bottleneck principle | |
| CN114444690A (zh) | 一种基于任务扩增的迁移攻击方法 | |
| Zhang et al. | The range of harmful frequency for DNN corruption robustness | |
| Ma et al. | Adversarial robustness through random weight sampling | |
| CN117852088A (zh) | 一种基于预训练扩散模型的隐私数据生成方法 | |
| Liu et al. | Model compression hardens deep neural networks: A new perspective to prevent adversarial attacks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |