CN113298238A - 使用定向攻击探索黑盒神经网络的方法、装置、处理设备、存储介质 - Google Patents

使用定向攻击探索黑盒神经网络的方法、装置、处理设备、存储介质 Download PDF

Info

Publication number
CN113298238A
CN113298238A CN202110717049.9A CN202110717049A CN113298238A CN 113298238 A CN113298238 A CN 113298238A CN 202110717049 A CN202110717049 A CN 202110717049A CN 113298238 A CN113298238 A CN 113298238A
Authority
CN
China
Prior art keywords
attack
sample
success rate
network model
candidate network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110717049.9A
Other languages
English (en)
Other versions
CN113298238B (zh
Inventor
周晓勇
梁淑云
刘胜
马影
陶景龙
王启凡
魏国富
夏玉明
徐�明
殷钱安
余贤喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information and Data Security Solutions Co Ltd
Original Assignee
Information and Data Security Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Data Security Solutions Co Ltd filed Critical Information and Data Security Solutions Co Ltd
Priority to CN202110717049.9A priority Critical patent/CN113298238B/zh
Publication of CN113298238A publication Critical patent/CN113298238A/zh
Application granted granted Critical
Publication of CN113298238B publication Critical patent/CN113298238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开一种使用定向攻击探索黑盒神经网络的方法、装置、处理设备及存储介质，本发明对及候选网络模型均通过多种攻击算法获得对抗样本，利用丰富的对抗样本集分别对候选网络模型和未知网络模型进行攻击，比较攻击结果，攻击结果最接近的两个模型结构和参数最相似，采用该方法，能够快速找到黑盒神经网络的结构和参数，可提高对抗样本鲁棒性，避免单一生成模型与攻击目标模型结构差异过大造成的攻击成功率低下问题。

Description

使用定向攻击探索黑盒神经网络的方法、装置、处理设备、存 储介质
技术领域
本发明涉及计算机数据安全技术领域，具体来说是一种使用定向攻击探索黑盒神经网络的方法、装置、处理设备和存储介质。
背景技术
根据攻击者是否掌握攻击目标模型的神经网络结构和参数，对抗样本攻击可以区分为白盒攻击和黑盒攻击。
在白盒攻击场景下，攻击者掌握攻击目标模型的神经网络结构和参数，可以选用多种白盒攻击算法生成对抗样本，并对多种算法的攻击成功率进行准确评估，选择成功率高的攻击算法。
但在黑盒攻击场景下，攻击者不知晓目标模型的神经网络结构和参数，仅有很少的黑盒攻击算法可供选择，且很难对攻击成功率进行准确评估。
迁移学习攻击算法是一种黑盒攻击算法，该算法基于模型集成的思想，对结构差异或大或小的多个模型进行集成学习，实验数据证明该算法生成的对抗样本对其中任意目标模型都能显著提高攻击成功率。迁移学习攻击算法的理论基础建立在以下结论之上：对抗样本在攻击与生成模型结构类似的攻击目标网络模型时表现接近。
第一种情况，在对抗样本生成模型和攻击目标模型完全相同的情况下攻击成功率可以达到100％，例如对抗样本生成模型和攻击目标模型都为ResNet-152，且网络参数相同。
第二种情况，在对抗样本生成模型和攻击目标模型近似的情况下攻击成功率可以达到80％-90％，例如对抗样本生成模型为ResNet-152、攻击目标模型为ResNet-101。
第三种情况，在对抗样本生成模型和攻击目标模型结构差异较大的情况下攻击表现起伏较大，例如使用ResNet生成的对抗样本，对于GoogLeNet的攻击成功率约为50％。
综上，迁移学习攻击算法的问题在于：1、仍无法达到白盒攻击的效果，实验数据显示，使用4种深度神经网络集成学习的对抗样本对第5种网络的攻击成功率为95％，无法达到白盒攻击近100％的成功率；2、集成网络中对抗样本生成的难度要高于单一网络，迁移学习攻击算法损失函数的一部分是各模型分类结果与定向攻击标签之间的差异，较难优化。
如申请号为CN201910515046.X-深度学习模型的鲁棒性评估方法装置及存储介质，其中深度学习模型的鲁棒性评估方法包括：获取与待评估的深度学习模型对应的开源模型和数据集；将数据集中的原始图像输入到开源模型中，生成与原始图像对应的对抗样本；调用待评估的深度学习模型，使用对抗样本对待评估的深度学习模型进行攻击；统计数据集中的原始图像对应的对抗样本对待评估的深度学习模型的攻击成功率；利用攻击成功率确定待评估的深度学习模型的鲁棒性指标。本对比文件中不用提供深度学习模型的网络结构定义和参数，属于黑盒评估方式，仅需调用该模型即可达到接近白盒攻击算法的评估效果。且该方法大大减少了攻击次数，提升了评估效率。该评估方法属于黑盒评估方式，在第一步获取与待评估的深度学习模型对应的开源模型和数据集时，由于不知道待评估模型结构和参数，所以无法保证选择的模型与数据待评估模型一致或接近，那么就存在上述的第三种情况。
发明内容
本发明所要解决的技术问题在于对于黑盒神经网络的结构和参数未知的情况下，提供一种高精度判断黑盒神经网络结构和参数的方法。
本发明通过以下技术手段实现解决上述技术问题的：
一种使用定向攻击探索黑盒神经网络的方法，包括以下步骤：
S01，获取样本集，并根据所述样本集确定一种或多种候选网络模型；
S02，对所述样本集中每个样本图片，采用Next Class方法确定定向攻击目标；
S03，选取一种或多种白盒定向攻击算法，根据所述的样本图片、样本图片对应的候选网络模型、样本图片对应的定向攻击目标生成候选网络模型的对抗样本；
S04，使用所述对抗样本对各候选网络模型进行攻击，并分别统计各候选网络模型的第一攻击成功率；
S05，使用所述对抗样本对未知网络模型进行攻击，统计未知网络模型的第二攻击成功率；
S06，计算所述第一攻击成功率和第二攻击成功率间的向量距离，将距离最小的候选网络模型作为与未知网络模型的最接近网络。
进一步的，采用欧式距离计算向量距离。
与上述方法对应的，本发明还提供一种使用定向攻击探索黑盒神经网络的装置，包括：
候选网络模型选取模块：获取样本集，并根据所述样本集确定一种或多种候选网络模型；
定向攻击目标确定模块：对所述样本集中每个样本图片，采用Next Class方法确定定向攻击目标；
对抗样本生成模块：选取一种或多种白盒定向攻击算法，根据所述的样本图片、样本图片对应的候选网络模型、样本图片对应的定向攻击目标生成候选网络模型的对抗样本；
对抗样本攻击模块：使用对抗样本分别对候选网络模型和未知网络模型进行攻击，并记录攻击是否成功；
攻击成功率统计模块：根据所述对抗样本攻击模块记录的结果计算各候选网络模型的第一攻击成功率和未知网络模型的第二攻击成功率；
向量距离计算模块：计算所述第一攻击成功率和第二攻击成功率间的向量距离，将距离最小的候选网络模型作为与未知网络模型的最接近网络。
进一步的，所述向量距离计算模块采用欧式距离计算所述向量距离。
本发明还提供一种处理设备，包括至少一个处理器，以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述的方法。
本发明的优点在于：
本发明对每一种候选网络模型均通过多种攻击算法获得对抗样本，利用丰富的对抗样本集分别对候选网络模型和未知网络模型进行攻击，比较攻击结果，攻击结果最接近的两个模型结构和参数最相似，采用该方法，能够快速找到黑盒神经网络的结构和参数，可提高对抗样本鲁棒性，避免单一生成模型与攻击目标模型结构差异过大造成的攻击成功率低下问题。另外，本发明所需候选网络模型获取容易，利用对抗样本分别攻击候选网络模型和未知网络模型，技术成熟，设备搭建简单，可操作性强。
附图说明
图1为本发明实施例中使用定向攻击探索黑盒神经网络的方法的流程框图；
图2为本发明实施例中使用定向攻击探索黑盒神经网络的装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参看图1的步骤图，本发明的一种使用定向攻击探索黑盒神经网络的方法，包括如下步骤：
S01，获取样本集，并根据所述样本集确定一种或多种候选网络模型；
本发明基于的理论基础是，不同对抗样本生成模型生成的对抗样本，对于同一攻击目标模型的攻击效果存在差异。因此，从互联网下载多个开源、标准版本的神经网络作为候选网络模型。
以ImageNet为例，可以包含ResNet、GoogLeNet、VGG等结构不同的网络，也可以包含ResNet-152、ResNet-101、ResNet-50等结构类似的网络。当然，也可以根据具体需求，选取其他网络作为候选网络模型，本申请对此不做限制。
S02，对所述样本集中每个样本图片，采用Next Class方法确定定向攻击目标；
根据攻击效果不同，对抗样本攻击可分为定向攻击和非定向攻击。在多分类模型中，仅在对抗样本被模型识别为指定攻击目标标签时才算攻击成功的攻击方式称为定向攻击，又称有目标攻击，通俗理解为“冒充”；对抗样本只要不被模型识别为真实标签时都算攻击成功的攻击方式称为非定向攻击，又称无目标攻击，通俗理解为“逃避”。
本发明需要通过攻击成功率差异以区隔不同的对抗样本生成网络，因此选用定向攻击，相比非定向攻击，攻击成功率差异更加明显。
定向攻击常用的方法包含Next Class和Least-Likely Class。
Next Class是指真实标签类的下一个类，例如ImageNet样本集中真实标签为“棒球”的图片，标签序号是429，那么Next Class定向攻击的目标是标签序号430的“篮球”。
Least-Likely Class是指将预测概率最小的类作为定向攻击的目标类，因此如果两个模型对同一张图片预测的概率向量存在差异，可能该图片通过两个模型生成的攻击目标会不同。
为保证同一图片对于所有对抗样本生成模型的定向攻击目标相同，本发明采用Next Class方法选择定向攻击目标。
S03，选取一种或多种白盒定向攻击算法，根据所述的样本图片、样本图片对应的候选网络模型、样本图片对应的定向攻击目标生成候选网络模型的对抗样本；
选取一种或多种白盒定向攻击算法，包含但不限于C&W、JSMA等，对候选网络模型中的每一种网络以及每个样本，生成对抗样本。假设攻击算法数量为Nalg，候选网络模型数量为Nnn，样本数量为Nsample，则样本集的对抗样本总数量为Nalg×Nnn×Nsample；其中，对于每一种候选网络模型，生成的对抗样本数量为Nalg×Nsample。
S04，使用所述对抗样本对各候选网络模型进行攻击，并分别统计各候选网络模型的第一攻击成功率；
使用所有对抗样本，对每一种候选网络模型进行攻击，按对抗样本的生成网络分别统计攻击成功率。
攻击成功率 ResNet-152 ResNet-101 ResNet-50 VGG-16 GoogLeNet
ResNet-152 100％ 93％ 85％ 72％ 68％
ResNet-101 92％ 100％ 89％ 70％ 65％
ResNet-50 88％ 93％ 100％ 78％ 63％
VGG-16 73％ 77％ 76％ 100％ 86％
GoogLeNet 75％ 79％ 72％ 88％ 100％
示意表如上表，横轴为对抗样本生成网络，纵轴为攻击目标网络，上表中的数据为示意数据，实际应用中，数据可能会根据具体场景有所区别。
以表中行和列均为“ResNet-152”的单元格为例，100％意为使用ResNet-152网络生成的对抗样本(数量为Nalg×Nsample)，对于ResNet-152目标网络的攻击全部成功，原因是使用的生成网络和攻击目标网络结构和参数完全相同。
S05，使用所述对抗样本对未知网络模型进行攻击，统计未知网络模型的第二攻击成功率；
使用所有对抗样本，对未知网络模型进行攻击，按对抗样本的生成网络分别统计攻击成功率，即在上表中增加未知网络模型一行数据。
Figure BDA0003135384500000051
Figure BDA0003135384500000061
未知网络模型的攻击成功率可能无法达到100％，因为未知网络模型可能与某个候选网络模型使用相同的网络结构，但在网络参数上存在差异。
S06，计算所述第一攻击成功率和第二攻击成功率间的向量距离，将距离最小的候选网络模型作为与未知网络模型的最接近网络。
将上表中每一行看作某一种攻击目标网络下的攻击成功率向量，计算未知网络模型向量与每个候选网络模型向量的向量距离，选取向量距离最小的候选网络模型，判定为与未知网络模型最接近的网络。
由于攻击成功率都是介于0到1之间的小数，因此可以直接使用欧式距离计算向量距离。
本发明对及候选网络模型均通过多种攻击算法获得对抗样本，利用丰富的对抗样本集分别对候选网络模型和未知网络模型进行攻击，比较攻击结果，攻击结果最接近的两个模型结构和参数最相似，采用该方法，能够快速找到黑盒神经网络的结构和参数，可提高对抗样本鲁棒性，避免单一生成模型与攻击目标模型结构差异过大造成的攻击成功率低下问题。
本发明所需候选网络模型获取容易，利用对抗样本分别攻击候选网络模型和未知网络模型，技术成熟，设备搭建简单，可操作性强。
与上述方法对应的，本实施例还提供了一种使用定向攻击探索黑盒神经网络的装置，包括：
候选网络模型选取模块：获取样本集，并根据所述样本集确定一种或多种候选网络模型；
本发明基于的理论基础是，不同对抗样本生成模型生成的对抗样本，对于同一攻击目标模型的攻击效果存在差异。因此，从互联网下载多个开源、标准版本的神经网络，作为候选网络模型。
以ImageNet为例，可以包含ResNet、GoogLeNet、VGG等结构不同的网络，也可以包含ResNet-152、ResNet-101、ResNet-50等结构类似的网络。
定向攻击目标确定模块：对所述样本集中每个样本图片，采用Next Class方法确定定向攻击目标；
根据攻击效果不同，对抗样本攻击可分为定向攻击和非定向攻击。在多分类模型中，仅在对抗样本被模型识别为指定攻击目标标签时才算攻击成功的攻击方式称为定向攻击，又称有目标攻击，通俗理解为“冒充”；对抗样本只要不被模型识别为真实标签时都算攻击成功的攻击方式称为非定向攻击，又称无目标攻击，通俗理解为“逃避”。
本发明需要通过攻击成功率差异区隔不同的对抗样本生成网络，因此选用定向攻击，相比非定向攻击，攻击成功率差异更加明显。
定向攻击常用的方法包含Next Class和Least-Likely Class。
Next Class是指真实标签类的下一个类，例如ImageNet样本集中真实标签为“棒球”的图片，标签序号是429，那么Next Class定向攻击的目标是标签序号430的“篮球”。
Least-Likely Class是指将预测概率最小的类作为定向攻击的目标类，因此如果两个模型对同一张图片预测的概率向量存在差异，可能该图片通过两个模型生成的攻击目标会不同。
为保证同一图片对于所有对抗样本生成模型的定向攻击目标相同，本发明采用Next Class方法选择定向攻击目标。
对抗样本生成模块：选取一种或多种白盒定向攻击算法，根据所述的样本图片、样本图片对应的候选网络模型、样本图片对应的定向攻击目标生成候选网络模型的对抗样本；
选取一种或多种白盒定向攻击算法，包含但不限于C&W、JSMA等，对候选网络模型中的每一种网络以及每个样本，生成对抗样本。假设攻击算法数量为Nalg，候选网络模型数量为Nnn，样本数量为Nsample，则样本集的对抗样本总数量为Nalg×Nnn×Nsample；其中，对于每一种候选网络模型，生成的对抗样本数量为Nalg×Nsample。
对抗样本攻击模块：使用对抗样本分别对候选网络模型和未知网络模型进行攻击，并记录攻击是否成功；
(1)使用所有对抗样本，对每一种候选网络模型进行攻击，按对抗样本的生成网络分别统计攻击成功率。
攻击成功率 ResNet-152 ResNet-101 ResNet-50 VGG-16 GoogLeNet
ResNet-152 100％ 93％ 85％ 72％ 68％
ResNet-101 92％ 100％ 89％ 70％ 65％
ResNet-50 88％ 93％ 100％ 78％ 63％
VGG-16 73％ 77％ 76％ 100％ 86％
GoogLeNet 75％ 79％ 72％ 88％ 100％
示意表如上表，横轴为对抗样本生成网络，纵轴为攻击目标网络，数据仅为示意性说明，具体数据根据实际情况有所区别。
以表中行和列均为“ResNet-152”的单元格为例，100％意为使用ResNet-152网络生成的对抗样本(数量为Nalg×Nsample)，对于ResNet-152目标网络的攻击全部成功，原因是使用的生成网络和攻击目标网络结构和参数完全相同。
(2)使用所有对抗样本，对未知网络模型进行攻击，按对抗样本的生成网络分别统计攻击成功率，即在上表中增加未知网络模型一行数据。
Figure BDA0003135384500000081
未知网络模型的攻击成功率可能无法达到100％，因为未知网络模型可能与某个候选网络模型使用相同的网络结构，但在网络参数上存在差异。
攻击成功率统计模块：根据所述对抗样本攻击模块记录的结果计算各候选网络模型的第一攻击成功率和未知网络模型的第二攻击成功率；
向量距离计算模块：计算所述第一攻击成功率和第二攻击成功率间的向量距离，将距离最小的候选网络模型作为与未知网络模型的最接近网络。
将上表中每一行看作某一种攻击目标网络下的攻击成功率向量，计算未知网络模型向量与每个候选网络模型向量的向量距离，选取向量距离最小的候选网络模型，判定为与未知网络模型最接近的网络。
由于攻击成功率都是介于0到1之间的小数，因此可以直接使用欧式距离计算向量距离。
本实施例还提供一种处理设备，包括至少一个处理器，以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。
本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述的方法。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种使用定向攻击探索黑盒神经网络的方法，其特征在于，包括以下步骤：
S01，获取样本集，并根据所述样本集确定一种或多种候选网络模型；
S02，对所述样本集中每个样本图片，采用Next Class方法确定定向攻击目标；
S03，选取一种或多种白盒定向攻击算法，根据所述的样本图片、样本图片对应的候选网络模型、样本图片对应的定向攻击目标生成候选网络模型的对抗样本；
S04，使用所述对抗样本对各候选网络模型进行攻击，并分别统计各候选网络模型的第一攻击成功率；
S05，使用所述对抗样本对未知网络模型进行攻击，统计未知网络模型的第二攻击成功率；
S06，计算所述第一攻击成功率和第二攻击成功率间的向量距离，将距离最小的候选网络模型作为与未知网络模型的最接近网络。
2.根据权利要求1所述的使用定向攻击探索黑盒神经网络的方法，其特征在于，所述步骤06具体为：采用欧式距离计算向量距离。
3.一种使用定向攻击探索黑盒神经网络的装置，其特征在于，包括：
候选网络模型选取模块：获取样本集，并根据所述样本集确定一种或多种候选网络模型；
定向攻击目标确定模块：对所述样本集中每个样本图片，采用Next Class方法确定定向攻击目标；
对抗样本生成模块：选取一种或多种白盒定向攻击算法，根据所述的样本图片、样本图片对应的候选网络模型、样本图片对应的定向攻击目标生成候选网络模型的对抗样本；
对抗样本攻击模块：使用对抗样本分别对候选网络模型和未知网络模型进行攻击，并记录攻击是否成功；
攻击成功率统计模块：根据所述对抗样本攻击模块记录的结果计算各候选网络模型的第一攻击成功率和未知网络模型的第二攻击成功率；
向量距离计算模块：计算所述第一攻击成功率和第二攻击成功率间的向量距离，将距离最小的候选网络模型作为与未知网络模型的最接近网络。
4.根据权利要求3所述的使用定向攻击探索黑盒神经网络的装置，其特征在于，所述向量距离计算模块采用欧式距离计算所述向量距离。
5.一种处理设备，其特征在于，包括至少一个处理器，以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至2任一所述的方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至2任一所述的方法。
CN202110717049.9A 2021-06-28 2021-06-28 使用定向攻击探索黑盒神经网络的方法、装置、处理设备、存储介质 Active CN113298238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110717049.9A CN113298238B (zh) 2021-06-28 2021-06-28 使用定向攻击探索黑盒神经网络的方法、装置、处理设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110717049.9A CN113298238B (zh) 2021-06-28 2021-06-28 使用定向攻击探索黑盒神经网络的方法、装置、处理设备、存储介质

Publications (2)

Publication Number Publication Date
CN113298238A true CN113298238A (zh) 2021-08-24
CN113298238B CN113298238B (zh) 2023-06-20

Family

ID=77329741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110717049.9A Active CN113298238B (zh) 2021-06-28 2021-06-28 使用定向攻击探索黑盒神经网络的方法、装置、处理设备、存储介质

Country Status (1)

Country Link
CN (1) CN113298238B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
KR20180056461A (ko) * 2016-11-18 2018-05-29 주식회사 오윈 적응형 블루투스 블랙박스장치
CN108154029A (zh) * 2017-10-25 2018-06-12 上海观安信息技术股份有限公司 入侵检测方法、电子设备和计算机存储介质
US20180204002A1 (en) * 2017-01-18 2018-07-19 New York University Determining an aspect of behavior of an embedded device such as, for example, detecting unauthorized modifications of the code and/or behavior of an embedded device
CN109376556A (zh) * 2018-12-17 2019-02-22 华中科技大学 一种针对以卷积神经网络为基础的eeg脑机接口的攻击方法
CN110633655A (zh) * 2019-08-29 2019-12-31 河南中原大数据研究院有限公司 一种attention-attack人脸识别攻击算法
CN110633570A (zh) * 2019-07-24 2019-12-31 浙江工业大学 面向恶意软件汇编格式检测模型的黑盒攻击的防御方法
CN111291828A (zh) * 2020-03-03 2020-06-16 广州大学 一种基于深度学习的hrrp对抗样本黑盒攻击方法
US10783401B1 (en) * 2020-02-23 2020-09-22 Fudan University Black-box adversarial attacks on videos
CN111967006A (zh) * 2020-08-13 2020-11-20 成都考拉悠然科技有限公司 基于神经网络模型的自适应黑盒对抗攻击方法
CN112085055A (zh) * 2020-08-05 2020-12-15 清华大学 一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法
CN112989361A (zh) * 2021-04-14 2021-06-18 华南理工大学 一种基于生成对抗网络的模型安全性检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180056461A (ko) * 2016-11-18 2018-05-29 주식회사 오윈 적응형 블루투스 블랙박스장치
US20180204002A1 (en) * 2017-01-18 2018-07-19 New York University Determining an aspect of behavior of an embedded device such as, for example, detecting unauthorized modifications of the code and/or behavior of an embedded device
CN107368752A (zh) * 2017-07-25 2017-11-21 北京工商大学 一种基于生成式对抗网络的深度差分隐私保护方法
CN108154029A (zh) * 2017-10-25 2018-06-12 上海观安信息技术股份有限公司 入侵检测方法、电子设备和计算机存储介质
CN109376556A (zh) * 2018-12-17 2019-02-22 华中科技大学 一种针对以卷积神经网络为基础的eeg脑机接口的攻击方法
CN110633570A (zh) * 2019-07-24 2019-12-31 浙江工业大学 面向恶意软件汇编格式检测模型的黑盒攻击的防御方法
CN110633655A (zh) * 2019-08-29 2019-12-31 河南中原大数据研究院有限公司 一种attention-attack人脸识别攻击算法
US10783401B1 (en) * 2020-02-23 2020-09-22 Fudan University Black-box adversarial attacks on videos
CN111291828A (zh) * 2020-03-03 2020-06-16 广州大学 一种基于深度学习的hrrp对抗样本黑盒攻击方法
CN112085055A (zh) * 2020-08-05 2020-12-15 清华大学 一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法
CN111967006A (zh) * 2020-08-13 2020-11-20 成都考拉悠然科技有限公司 基于神经网络模型的自适应黑盒对抗攻击方法
CN112989361A (zh) * 2021-04-14 2021-06-18 华南理工大学 一种基于生成对抗网络的模型安全性检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QUANXIN ZHANG ET AL: "Attacking Black-Box Image Classifiers With Particle Swarm Optimization", 《IEEE ACCESS》 *
杨浚宇: "基于迭代自编码器的深度学习对抗样本防御方案", 《信息安全学报》 *
王稔之: "对抗样本的普遍性与排他性生成方法", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
CN113298238B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN111310802B (zh) 一种基于生成对抗网络的对抗攻击防御训练方法
Li et al. Backdoor attack in the physical world
Wang et al. Amora: Black-box adversarial morphing attack
CN108171663B (zh) 基于特征图最近邻替换的卷积神经网络的图像填充系统
Cozzolino et al. SpoC: Spoofing camera fingerprints
US11295240B2 (en) Systems and methods for machine classification and learning that is robust to unknown inputs
Hou et al. Evading deepfake detectors via adversarial statistical consistency
Wei et al. Boosting the transferability of video adversarial examples via temporal translation
US11682194B2 (en) Training method for robust neural network based on feature matching
CN111046957B (zh) 一种模型盗用的检测、模型的训练方法和装置
Heo et al. Exploring the differences in adversarial robustness between ViT-and CNN-based models using novel metrics
CN112667496B (zh) 基于多先验的黑盒对抗测试样本生成方法及装置
CN113298238B (zh) 使用定向攻击探索黑盒神经网络的方法、装置、处理设备、存储介质
CN112766348A (zh) 一种基于对抗神经网络生成样本数据的方法以及装置
Wang et al. Semantic adversarial attacks via diffusion models
CN116824232A (zh) 一种数据填充式的深度神经网络图像分类模型对抗训练方法
Liu et al. Multi-view correlation based black-box adversarial attack for 3D object detection
Peng et al. Evaluating deep learning for image classification in adversarial environment
Seychell et al. An approach for objective quality assessment of image inpainting results
CN109063543A (zh) 一种考虑局部形变的视频车辆重识别方法、系统及装置
WO2022018867A1 (en) Inference apparatus, inference method and computer-readable storage medium
Zhang et al. Understanding deep gradient leakage via inversion influence functions
Daimo et al. Projection-based physical adversarial attack for monocular depth estimation
CN113902959A (zh) 图像识别方法、装置、计算机设备和存储介质
CN114398977A (zh) 一种基于对抗样本的网络欺骗流量生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant