CN113537494B - 一种基于黑盒场景的图像对抗样本生成方法 - Google Patents

一种基于黑盒场景的图像对抗样本生成方法 Download PDF

Info

Publication number
CN113537494B
CN113537494B CN202110838268.2A CN202110838268A CN113537494B CN 113537494 B CN113537494 B CN 113537494B CN 202110838268 A CN202110838268 A CN 202110838268A CN 113537494 B CN113537494 B CN 113537494B
Authority
CN
China
Prior art keywords
target
value
representing
probability
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110838268.2A
Other languages
English (en)
Other versions
CN113537494A (zh
Inventor
胡聪
徐灏琦
吴小俊
宋晓宁
陆恒杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202110838268.2A priority Critical patent/CN113537494B/zh
Publication of CN113537494A publication Critical patent/CN113537494A/zh
Application granted granted Critical
Publication of CN113537494B publication Critical patent/CN113537494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于黑盒场景的图像对抗样本生成方法，包括：将图片x输入至多个白盒模型，分别得出目标标签或真实标签的概率值；动态计算所述概率值对应白盒模型的权重；根据所述概率值与所述白盒模型的权重，得到集成模型的概率值；根据所述集成模型的概率值计算损失值，并进行反向传播；将所述反向传播后图片的梯度作为扰动图像，加入到对抗样本中；重复迭代，获取最终对抗样本。本发明方法能够在黑盒环境下取得更好的效果，后续深入分析了对抗样本的生成过程，进一步证实动态集成方法能够按照预期合理得调整各个模型的权重，并增强对抗样本的黑盒效果。

Description

一种基于黑盒场景的图像对抗样本生成方法
技术领域
本发明涉及人工智能安全技术领域，尤其涉及一种基于黑盒场景的图像对抗样本生成方法。
背景技术
近年来，对抗样本是人工智能安全领域的一大热点，计算机视觉方面的对抗样本的发现更是引起了研究人员的广泛关注，集成方法是一种基于黑盒的对抗样本生成方法，该方法能够对内部参数完全未知的模型生效。该方法利用一个集合内的多个模型生成对抗样本，其中各个模型的权重是恒定且平均的，这会导致在某些情况下该方法并不能达到预期的效果。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的技术问题是：传统方法利用一个集合内的多个模型生成对抗样本，其中各个模型的权重是恒定且平均的，这会导致在某些情况下该方法并不能达到预期的效果。
为解决上述技术问题，本发明提供如下技术方案：将图片x输入至多个白盒模型，分别得出目标标签或真实标签的概率值；动态计算所述概率值对应白盒模型的权重；根据所述概率值与所述白盒模型的权重，得到集成模型的概率值；根据所述集成模型的概率值计算损失值，并进行反向传播；将所述反向传播后图片的梯度作为扰动图像，加入到对抗样本中；重复迭代，获取最终对抗样本。
作为本发明所述的基于黑盒场景的图像对抗样本生成方法的一种优选方案，其中：将所述图片x输入至多个白盒模型，获取输出z，包括，
对所述图片x进行预处理，调整所述图片x尺寸为224*224像素，像素值的范围在[0,1]之间；将所述预处理后的图片x输入至多个白盒模型中，获取输出z。
作为本发明所述的基于黑盒场景的图像对抗样本生成方法的一种优选方案，其中：设定Z(x)＝z，对所述输出z进行softmax运算，得到所述目标标签或真实标签的概率值y包括，
y＝softmax(Z(x))
其中，y表示各个类别的预测概率值，并且y由分量y1、y2、y3...ym组成，yi表示神经网络对图片属于第i类的预测值，0≤yi≤1且y1+...+ym＝1，z表示输出的logit值，并且z表示一个由z1、z2、z3……zm构成的m维向量。
作为本发明所述的基于黑盒场景的图像对抗样本生成方法的一种优选方案，其中：所述动态计算所述概率值对应的白盒模型的权重包括，
所述目标标签对应有目标情况，所述真实标签对应无目标情况，设定F(x)＝y，各个模型的权重ki根据当前模型的输出概率yi变化，在n个模型组成的集成模型中，对于所述有目标情况，第i个模型的权重为ki(x):
Figure BDA0003177925710000021
其中，Fi(x)t表示目标标签的概率值，
Figure BDA0003177925710000022
表示所有目标标签的概率值的倒数之和。
作为本发明所述的基于黑盒场景的图像对抗样本生成方法的一种优选方案，其中：所述动态计算所述概率值对应的白盒模型的权重包括，
对于所述无目标情况，第i个模型的权重为ki(x):
Figure BDA0003177925710000023
其中，Fi(x)t表示真实标签的概率值，
Figure BDA0003177925710000024
表示所有目标标签的概率值之和。
作为本发明所述的基于黑盒场景的图像对抗样本生成方法的一种优选方案，其中：所述集成模型的概率w为，
Figure BDA0003177925710000025
其中，ki(x)表示目标标签或真实标签的权重，Fi(x)表示目标标签或真实标签的概率值。
作为本发明所述的基于黑盒场景的图像对抗样本生成方法的一种优选方案，其中：利用交叉熵损失函数计算出所述集成模型的概率值w的损失值。
作为本发明所述的基于黑盒场景的图像对抗样本生成方法的一种优选方案，其中：根据所述损失值计算出所述梯度，并将所述梯度作为扰动图像加入到所述对抗样本中。
作为本发明所述的基于黑盒场景的图像对抗样本生成方法的一种优选方案，其中：当迭代次数达到设置值时，停止迭代，所述对抗样本即为最终对抗样本。
本发明的有益效果：动态集成方法能够在黑盒环境下取得更好的效果，后续深入分析了对抗样本的生成过程，进一步证实动态集成方法能够按照预期合理得调整各个模型的权重，并增强对抗样本的黑盒效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明一个实施例提供的一种基于黑盒场景的图像对抗样本生成方法的流程图；
图2为本发明一个实施例提供的一种基于黑盒场景的图像对抗样本生成方法的动态集成方法的结构模型图；
图3为本发明一个实施例提供的一种基于黑盒场景的图像对抗样本生成方法的五个模型的logit值变化图；
图4为本发明一个实施例提供的一种基于黑盒场景的图像对抗样本生成方法的传统集成方法中五个模型的logit值变化图；
图5为本发明一个实施例提供的一种基于黑盒场景的图像对抗样本生成方法的传统集成方法与本发明所提供的动态集成模型的损失值变化对比图；
图6为本发明一个实施例提供的一种基于黑盒场景的图像对抗样本生成方法的传统集成方法与本发明所提供的动态集成模型的输出概率值变化对比图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1～2，为本发明的一个实施例，提供了一种基于黑盒场景的图像对抗样本生成方法，：
S1：将图片x输入至多个白盒模型，分别得出目标标签或真实标签的概率。需要说明的是：
将所述图片x输入至多个白盒模型，获取输出z，，
(1)对所述图片x进行预处理，调整所述图片x尺寸为224*224像素，像素值的范围在[0,1]之间；将所述预处理后的图片x输入至多个白盒模型中，获取输出z；
(2)设定Z(x)＝z，对所述输出z进行softmax运算，得到所述目标标签或真实标签的概率值y，
y＝softmax(Z(x))
其中，y表示各个类别的预测概率值，并且y由分量y1、y2、y3...ym组成，yi表示神经网络对图片属于第i类的预测值，0≤yi≤1且y1+...+ym＝1，z表示输出的logit值，并且z表示一个由z1、z2、z3……zm构成的m维向量；
(3)对输出z进行softmax运算，得到目标标签或真实标签的概率值y，
F(x)＝softmax(Z(x))
其中，y表示各个类别的预测概率值，并且y由分量y1、y2、y3...ym组成，yi表示神经网络对图片属于第i类的预测值，0≤yi≤1且y1+...+ym＝1。
S2：动态计算概率值对应白盒模型的权重。需要说明的是：
动态计算概率值对应的权重包括，目标标签对应有目标情况，真实标签对应无目标情况，设定F(x)＝y，各个模型的权重ki根据当前模型的输出概率yi变化，在n个模型组成的集成模型中，对于有目标情况，第i个模型的权重为ki(x):
Figure BDA0003177925710000051
其中，Fi(x)t表示目标标签的概率值，
Figure BDA0003177925710000052
表示所有目标标签的概率值的倒数之和；
对于无目标情况，第i个模型的权重为ki(x):
Figure BDA0003177925710000053
其中，Fi(x)t表示真实标签的概率值，
Figure BDA0003177925710000054
表示所有目标标签的概率值之和。
S3：根据概率值与白盒模型的权重，得到集成模型的概率值。需要说明的是：
集成模型的概率w为，
Figure BDA0003177925710000061
其中，ki(x)表示目标标签或真实标签的权重，Fi(x)表示目标标签或真实标签的概率值。
S4：根据集成模型的概率值计算损失值，并进行反向传播。需要说明的是：利用交叉熵损失函数计算出集成模型的概率值w的损失值。
S5：将反向传播后图片的梯度作为扰动图像，加入到对抗样本中。需要说明的是：根据损失值计算出梯度，并将梯度作为扰动图像加入到对抗样本中。
S6：重复迭S1～S5，获取最终对抗样本。需要说明的是：
当迭代次数达到设置值时，停止迭代，对抗样本即为最终对抗样本。
本发明设计了一种基于黑盒场景的图像对抗样本生成方法，能够在黑盒环境下取得更好的效果，后续深入分析了对抗样本的生成过程，进一步证实动态集成方法能够按照预期合理得调整各个模型的权重，并增强对抗样本的黑盒效果。
实施例2
参照图3～6为本发明的第二个实施例，该实施例不同于第一个实施例的是，提供了一种基于黑盒场景的图像对抗样本生成方法的验证测试，为对本方法中采用的技术效果加以验证说明，本实施例采用传统技术方案与本发明方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。
本发明采用五个模型:ResNet-50、ResNet-101、ResNet-152、GoogLeNet以及VGG-16，用预训练模型进行实验，这些模型中既有结构相近的模型(例如ResNet系列模型)，又有完全不同结构的模型，这样可以更全面的展示黑盒环境下的攻击效果。
本发明所采用的数据集为ILSVRC2012，在模型本就无法分类的图片上研究对抗样本问题是无意义的，并且不同类别的攻击难度也会有很大差异，对于这两个问题，为了使实验结果更泛化更有说服力，选择了1000张不同标签且均能被上述五个模型正确分类的图片作为的测试集，在进行有目标攻击时，将挑选语义与真实标签相差很大的类别作为目标标签，本发明的实验均为有目标攻击,每次实验将随机选择一个与真实标签语义相差很大的标签作为目标标签,并且只有目标模型将图片分类错误且输出结果为目标标签时才算攻击成功。以下为传统集成方法和本发明分别与BIM、I-FGM相结合的实验结果。
BIM与动态集成方法结合后的目标函数为:
无目标:
Figure BDA0003177925710000071
有目标:
Figure BDA0003177925710000072
其中α＝ε/T，ε分别取0.09、0.11、0.13、0.15、0.17进行此实验,T＝10，J(u,v)＝log(1-u*v)，t和l分别为目标标签和真实标签的独热码值，实验结果如下表所示，其中，最后一列为该组实验所制作的对抗样本的平均RMSD。其余列中，第i列表示该列的实验以i模型为黑盒模型，其余四个模型为白盒模型组成集成模型制作对抗样本，例如:VGG16所在列的数据表示该列的实验以ResNet152、ResNet101、ResNet50、GoogLeNet组成集成模型制作对抗样本，并将VGG16作为黑盒模型进行攻击；实验数值表示该组实验所制作的1000个对抗样本在黑盒攻击中的成功率，本发明的实验均为有目标攻击，每次实验将随机选择一个与真实标签语义相差很大的标签作为目标标签，并且只有目标模型将图片分类错误且输出结果为目标标签时才算攻击成功。
表1：传统集成方法和本发明与BIM相结合的实验结果对比表。
Figure BDA0003177925710000073
Figure BDA0003177925710000081
FGM与BIM的原理类似，只需要用L2范数替代符号函数来控制扰动的大小，其目标函数为：
无目标：
Figure BDA0003177925710000082
有目标：
Figure BDA0003177925710000083
其中，α＝ε/T，ε分别取30、40、50、60、70进行实验,实验结果如表2所示。
表2：传统集成方法和本发明与I-FGM相结合的实验结果对比表。
Figure BDA0003177925710000084
BIM与I-FGM均为基于梯度的方法，对比传统集成方法与本发明提出的动态集成方法，动态集成方法与这两种方法结合后均能取得较好的实验结果，其中对ResNet系列模型的黑盒效果提升幅度较大，对VGG16和GoogLeNet也有一定程度的提升。
在此基础上，出于计算开销考虑，使用简化版的目标函数进行优化，
无目标：
Figure BDA0003177925710000091
有目标：
Figure BDA0003177925710000092
其中lC*(x)、lt分别为真实标签和目标标签的独热码值，使用adam优化器来优化该目标函数，设定λ为0，从而通过控制adam的学习率lr来控制扰动大小，将学习率分别设置为0.02、0.03、0.04,每张图片的最大迭代次数为100，实验结果如表3所示。
表3：传统集成方法和本发明与基于优化的方法相结合的实验结果。
Figure BDA0003177925710000093
实验结果表明,本发明方法与基于优化的方法相结合也能取得更好的黑盒效果，观察实验结果可以发现，本发明方法所制作的对抗样本的RMSD值均略大于传统集成方法，这说明在相同的扰动大小约束下，本发明方法可以更充分的利用扰动限度。
为了更清楚的了解在生成过程中对抗样本的攻击性和迁移性的变化，将以BIM为例，进行有目标攻击并分析其生成过程，将同时进行传统集成攻击和动态集成攻击；在一个对抗样本的生成过程中，对每次迭代后的输出Xi进行分析；对于每个Xi，将其输入四个白盒模型及一个黑盒模型以获得其logit值和概率值输出，同时计算两种集成方法的集成模型的概率值和损失值；在这次实验中，ResNet152是黑盒模型，其他四个模型是组成集成模型的白盒模型；结果如图3～4所示，其中实线为真实标签的logit值，虚线为目标标签的logit值。
为了获取更多信息，在这次实验中进行了额外的两次迭代，也就是说在这组实验中，进行了12轮α为0.007的迭代(即T＝12,ε＝0.084,α仍然是0.007)，损失值的变化如图5所示，输出概率值的变化如图6所示。
比较图3与图4、图5与图6，可以发现本发明提出的动态集成方法具有如下优点:1、单模型攻击成功的迭代次数更少:由于在有模型出错后，动态集成方法会将更多的重心放在为出错的模型上，因此成功攻击剩余模型所需的迭代次数更少；2、更慢的损失值下降速度:在所有集合中的模型出错前，损失值将不会有巨大的下降，以保持持续的高强度的攻击；观察传统集成方法与本发明提出的动态集成方法的损失值的变化图可以发现，传统集成方法的损失值虽然在一开始就有很明显的下降，但其后续很难再进行进一步收敛；而动态集成方法的损失值在所有模型出错前虽然也会有明显的阶段性的下降，但始终处于一个较高的位置；而在四个模型全部出错后，动态集成方法的损失值才会快速收敛至0；3、更强的黑盒效果:对于某次攻击中的棘手的模型，传统集成模型很难充分利用该模型的决策能力；这就导致集成方法的迁移性并没有预料中的那么好，只有相当于三个模型所集成的效果；而本发明所提出的动态集成方法可以很好的在短时间内整合所有模型的决策能力，制作出具有更强黑盒效果的对抗样本。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于黑盒场景的图像对抗样本生成方法，其特征在于，包括：
将图片x输入至多个白盒模型，分别得出目标标签或真实标签的概率值；
动态计算所述概率值对应的白盒模型的权重；
根据所述概率值与所述权重，得到集成模型的概率值；
根据所述集成模型的概率值计算损失值，并进行反向传播；
将所述反向传播后图片的梯度作为扰动图像，加入到对抗样本中；
重复迭代，获取最终对抗样本；
所述动态计算所述概率值对应的白盒模型的权重包括，
所述目标标签对应有目标情况，所述真实标签对应无目标情况，设定F(x)＝y，各个模型的权重ki根据当前模型的输出概率yi变化，在n个模型组成的集成模型中，对于所述有目标情况，第i个模型的权重为ki(x):
Figure FDA0003857583080000011
其中，Fi(x)t表示目标标签的概率值，
Figure FDA0003857583080000012
表示所有目标标签的概率值的倒数之和；
所述动态计算所述概率值对应白盒模型的权重还包括，
对于所述无目标情况，第i个模型的权重为ki(x):
Figure FDA0003857583080000013
其中，Fi(x)t表示真实标签的概率值，
Figure FDA0003857583080000014
表示所有目标标签的概率值之和；
BIM与动态集成方法结合后的目标函数为:
无目标:
Figure FDA0003857583080000015
其中，X表示无目标标签生成的对抗样本，α＝ε/T，α表示每轮迭代的扰动大小，ε表示总的扰动大小，T表示迭代次数，ki(x)表示无目标标签第i个模型的权重，Fi(x)表示真实标签的概率值，l表示真实标签的独热码值，L(·)表示损失函数；
有目标:
Figure FDA0003857583080000021
其中，X表示有目标标签生成的对抗样本， α＝ε/T，α表示每轮迭代的扰动大小，ε表示总的扰动大小，T表示迭代次数，t表示目标标签的独热码值，ki(x)表示有目标标签第i个模型的权重，Fi(x)表示目标标签的概率值，L(·)表示损失函数；
FGM与动态集成方法结合后的目标函数为:
无目标：
Figure FDA0003857583080000022
其中，X表示无目标标签生成的对抗样本，α＝ε/T，α表示每轮迭代的扰动大小，ε表示总的扰动大小，T表示迭代次数，ki(x)表示无目标标签第i个模型的权重，Fi(x)表示真实标签的概率值，l表示真实标签的独热码值，L(·)表示损失函数；
有目标：
Figure FDA0003857583080000023
其中，X表示有目标标签生成的对抗样本， α＝ε/T，α表示每轮迭代的扰动大小，ε表示总的扰动大小，T表示迭代次数，t表示目标标签的独热码值，ki(x)表示有目标标签第i个模型的权重，Fi(x)表示目标标签的概率值，L(·)表示损失函数。
2.如权利要求1所述的基于黑盒场景的图像对抗样本生成方法，其特征在于：将所述图片x输入至多个白盒模型，获取输出z，包括，
对所述图片x进行预处理，调整所述图片x尺寸为224*224像素，像素值的范围在[0,1]之间；将所述预处理后的图片x输入至多个白盒模型中，获取输出z。
3.如权利要求2所述的基于黑盒场景的图像对抗样本生成方法，其特征在于：设定Z(x)＝z，对所述输出z进行softmax运算，得到所述目标标签或真实标签的概率值y包括，
y＝softmax(Z(x))
其中，y表示各个类别的预测概率值，并且y由分量y1、y2、y3...ym组成，yi表示神经网络对图片属于第i类的预测值，0≤yi≤1且y1+...+ym＝1，z表示输出的logit值，并且z表示一个由z1、z2、z3……zm构成的m维向量。
4.如权利要求3所述的基于黑盒场景的图像对抗样本生成方法，其特征在于：所述集成模型的概率w包括，
prob-ensemble:
Figure FDA0003857583080000031
其中，ki(x)表示目标标签或真实标签的权重，Fi(x)表示目标标签或真实标签的概率值。
5.如权利要求4所述的基于黑盒场景的图像对抗样本生成方法，其特征在于：利用交叉熵损失函数计算出所述集成模型的概率值w的损失值。
6.如权利要求1或5所述的基于黑盒场景的图像对抗样本生成方法，其特征在于：根据所述损失值计算出所述梯度，并将所述梯度作为扰动图像加入到所述对抗样本中。
7.如权利要求6所述的基于黑盒场景的图像对抗样本生成方法，其特征在于：所述获取最终对抗样本包括，
当迭代次数达到设置值时，停止迭代，所述对抗样本即为最终对抗样本。
CN202110838268.2A 2021-07-23 2021-07-23 一种基于黑盒场景的图像对抗样本生成方法 Active CN113537494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110838268.2A CN113537494B (zh) 2021-07-23 2021-07-23 一种基于黑盒场景的图像对抗样本生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110838268.2A CN113537494B (zh) 2021-07-23 2021-07-23 一种基于黑盒场景的图像对抗样本生成方法

Publications (2)

Publication Number Publication Date
CN113537494A CN113537494A (zh) 2021-10-22
CN113537494B true CN113537494B (zh) 2022-11-11

Family

ID=78089459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110838268.2A Active CN113537494B (zh) 2021-07-23 2021-07-23 一种基于黑盒场景的图像对抗样本生成方法

Country Status (1)

Country Link
CN (1) CN113537494B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948717A (zh) * 2019-03-26 2019-06-28 江南大学 一种生成对抗网络的自生长训练方法
CN110728629A (zh) * 2019-09-03 2020-01-24 天津大学 一种用于对抗攻击的图像集增强方法
CN111340180A (zh) * 2020-02-10 2020-06-26 中国人民解放军国防科技大学 指定标签的对抗样本生成方法、装置、电子设备及介质
CN111858343A (zh) * 2020-07-23 2020-10-30 深圳慕智科技有限公司 一种基于攻击能力的对抗样本生成方法
CN112200243A (zh) * 2020-10-09 2021-01-08 电子科技大学 一种基于低问询图像数据的黑盒对抗样本生成方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257116A (zh) * 2017-12-30 2018-07-06 清华大学 一种生成对抗图像的方法
US11481617B2 (en) * 2019-01-22 2022-10-25 Adobe Inc. Generating trained neural networks with increased robustness against adversarial attacks
CN109886210B (zh) * 2019-02-25 2022-07-19 百度在线网络技术（北京）有限公司 一种交通图像识别方法、装置、计算机设备和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948717A (zh) * 2019-03-26 2019-06-28 江南大学 一种生成对抗网络的自生长训练方法
CN110728629A (zh) * 2019-09-03 2020-01-24 天津大学 一种用于对抗攻击的图像集增强方法
CN111340180A (zh) * 2020-02-10 2020-06-26 中国人民解放军国防科技大学 指定标签的对抗样本生成方法、装置、电子设备及介质
CN111858343A (zh) * 2020-07-23 2020-10-30 深圳慕智科技有限公司 一种基于攻击能力的对抗样本生成方法
CN112200243A (zh) * 2020-10-09 2021-01-08 电子科技大学 一种基于低问询图像数据的黑盒对抗样本生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Dual Encoder-Decoder Based Generative Adversarial Networks for Disentangled Facial Representation Learning;Cong Hu 等;《IEEE Access》;IEEE;20200715;第8卷;130159-130171 *
EnsembleFool: A method to generate adversarial examples based on model fusion strategy;Wenyu Peng 等;《Computers & Security》;20210507;第107卷;1-11 *

Also Published As

Publication number Publication date
CN113537494A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN108875807B (zh) 一种基于多注意力多尺度的图像描述方法
CN110263912B (zh) 一种基于多目标关联深度推理的图像问答方法
CN111125358B (zh) 一种基于超图的文本分类方法
CN110321957B (zh) 融合三元组损失和生成对抗网络的多标签图像检索方法
CN110991299A (zh) 一种物理域上针对人脸识别系统的对抗样本生成方法
CN108287904A (zh) 一种基于社会化卷积矩阵分解的文档上下文感知推荐方法
CN111429340A (zh) 一种基于自注意力机制的循环图像翻译方法
CN110097095B (zh) 一种基于多视图生成对抗网络的零样本分类方法
CN110991549A (zh) 一种针对图像数据的对抗样本生成方法及系统
CN112464004A (zh) 一种多视角深度生成图像聚类方法
CN112527993B (zh) 一种跨媒体层次化深度视频问答推理框架
CN113127737B (zh) 融合注意力机制的个性化搜索方法和搜索系统
CN113033822A (zh) 基于预测校正和随机步长优化的对抗性攻击与防御方法及系统
CN111753207A (zh) 一种基于评论的神经图协同过滤模型
CN115272774A (zh) 基于改进自适应差分进化算法的对抗样本攻击方法及系统
CN114842257A (zh) 一种基于多模型对抗蒸馏的鲁棒性图像分类方法
CN113076549B (zh) 一种基于新型U-Net结构生成器的对抗网络图像隐写方法
CN113297936B (zh) 一种基于局部图卷积网络的排球群体行为识别方法
CN114169385A (zh) 基于混合数据增强的mswi过程燃烧状态识别方法
Ding et al. Take a close look at mode collapse and vanishing gradient in GAN
CN109948589A (zh) 基于量子深度信念网络的人脸表情识别方法
CN113706404A (zh) 一种基于自注意力机制的俯角人脸图像校正方法及系统
CN113537494B (zh) 一种基于黑盒场景的图像对抗样本生成方法
CN113627597A (zh) 一种基于通用扰动的对抗样本生成方法及系统
CN115510986A (zh) 一种基于AdvGAN的对抗样本生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant