CN113657506A - 一种对抗样本生成方法、装置、设备及介质 - Google Patents

一种对抗样本生成方法、装置、设备及介质 Download PDF

Info

Publication number
CN113657506A
CN113657506A CN202110949626.7A CN202110949626A CN113657506A CN 113657506 A CN113657506 A CN 113657506A CN 202110949626 A CN202110949626 A CN 202110949626A CN 113657506 A CN113657506 A CN 113657506A
Authority
CN
China
Prior art keywords
sample
confrontation
models
original
original sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110949626.7A
Other languages
English (en)
Inventor
黄明浩
董贵山
李军
陈涵宵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Westone Information Safety Technology Co ltd
Original Assignee
Chengdu Westone Information Safety Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Westone Information Safety Technology Co ltd filed Critical Chengdu Westone Information Safety Technology Co ltd
Priority to CN202110949626.7A priority Critical patent/CN113657506A/zh
Publication of CN113657506A publication Critical patent/CN113657506A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automatic Analysis And Handling Materials Therefor (AREA)

Abstract

本公开提供了一种对抗样本生成方法、装置、设备及介质，包括：利用黑盒模型的训练数据集对多个不同初始模型进行训练，得到所述黑盒模型的多个不同替代模型；利用多个所述替代模型分别生成每个原始样本对应的对抗样本；基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本，确定所述原始样本对应的最终对抗样本。这样，生成的最终对抗样本是基于利用多个不同的替代模型生成的多个对抗样本生成的，由于利用了多个不同的替代模型，能够提升生成的对抗样本的鲁棒性。

Description

一种对抗样本生成方法、装置、设备及介质
技术领域
本公开涉及机器学习技术领域，特别涉及一种对抗样本生成方法、装置、设备及介质。
背景技术
近年来，机器学习已被广泛应用于各领域，但是，由于机器学习模型本身具有的脆弱性，一些精心设计的样本也即对抗样本，在人眼看来和原始样本并无差别，但是在模型看来却产生了巨大的分歧，人类和模型的判断可能会出现完全不同的结果，因此，通过不断地精心设计对抗样本来让机器进一步学习，成为了提升模型安全性的一种手段。目前，现有手段生成的对抗样本存在鲁棒性较低的缺点，因此，如何提升生成的对抗样本的鲁棒性是目前需要解决的问题。
发明内容
有鉴于此，本公开的目的在于提供一种对抗样本生成方法、装置、设备及介质，能够提升生成的对抗样本的鲁棒性。其具体方案如下：
第一方面，本公开提供了一种对抗样本生成方法，包括：
利用黑盒模型的训练数据集对多个不同初始模型进行训练，得到所述黑盒模型的多个不同替代模型；
利用多个所述替代模型分别生成每个原始样本对应的对抗样本；
基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本，确定所述原始样本对应的最终对抗样本。
可选的，所述基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本，确定所述原始样本对应的最终对抗样本，包括：
将每个所述对抗样本输入至所述黑盒模型，得到所述黑盒模型对每个所述对抗样本的分类失败概率；
基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本以及每个所述对抗样本对应的所述分类失败概率，确定所述原始样本对应的最终对抗样本。
可选的，所述基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本以及每个所述对抗样本对应的所述分类失败概率，确定所述原始样本对应的最终对抗样本，包括：
基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本对应的所述分类失败概率，确定每个所述原始样本对应的分类失败概率和；
将所述原始样本对应的每个所述对抗样本对应的分类失败概率与所述分类失败概率和的比值确定为每个所述对抗样本对应的权重；
利用所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本以及每个所述对抗样本对应的所述权重进行加权计算，得到所述原始样本对应的最终对抗样本。
可选的，所述利用多个所述替代模型分别生成每个原始样本对应的对抗样本，包括：
从所述训练数据集中随机筛选出预设数量个训练数据，作为原始样本；
利用多个所述替代模型分别生成每个原始样本对应的对抗样本。
可选的，所述从所述训练数据集中随机筛选出预设数量个训练数据，作为原始样本，包括：
生成随机数组；其中，所述随机数组中的元素个数为预设数量；
从所述训练数据集中筛选出所述随机数组中每个元素对应位置的训练数据，作为原始样本。
可选的，所述利用多个所述替代模型分别生成每个原始样本对应的对抗样本，包括：
利用多个所述替代模型，并基于基因算法分别生成每个原始样本对应的对抗样本。
可选的，还包括：
基于所述最终对抗样本对预设初始模型进行训练，得到训练后模型。
第二方面，本公开提供了一种对抗样本生成装置，包括：
替代模型训练模块，用于利用黑盒模型的训练数据集对多个不同初始模型进行训练，得到所述黑盒模型的多个不同替代模型；
对抗样本生成模块，用于利用多个所述替代模型分别生成每个原始样本对应的对抗样本；
最终对抗样本确定模块，用于基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本，确定所述原始样本对应的最终对抗样本。
第三方面，本公开提供了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的对抗样本生成方法。
第四方面，本公开提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的对抗样本生成方法。
可见，本公开实施例先利用黑盒模型的训练数据集对多个不同初始模型进行训练，得到所述黑盒模型的多个不同替代模型，之后利用多个所述替代模型分别生成每个原始样本对应的对抗样本，最后基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本，确定所述原始样本对应的最终对抗样本。这样，生成的最终对抗样本是基于利用多个不同的替代模型生成的多个对抗样本生成的，由于利用了多个不同的替代模型，能够提升生成的对抗样本的鲁棒性。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本公开提供的一种对抗样本生成方法流程图；
图2为本公开提供的一种具体的对抗样本生成方案示意图；
图3为本公开提供的一种具体的对抗样本生成方法流程图；
图4为本公开提供的一种对抗样本生成装置结构示意图；
图5为本公开提供的一种电子设备结构图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
目前，现有手段生成的对抗样本存在鲁棒性较低的缺点，因此，如何提升生成的对抗样本的鲁棒性是目前需要解决的问题。为此，本公开提供了一种对抗样本生成方案，能够提升生成的对抗样本的鲁棒性。
参见图1所示，本公开实施例提供了一种对抗样本生成方法，包括：
步骤S11：利用黑盒模型的训练数据集对多个不同初始模型进行训练，得到所述黑盒模型的多个不同替代模型。
其中，多个初始模型的层数不同，且结构相同，均为DNN(即Deep Neural Networks深度神经网络)模型。需要指出的是，DNN有多层，层数对结果有很大影响，综合利用不同层数的替代模型生成的对抗样本更具有鲁棒性。
可以理解的是，对于不知道具体信息目标模型，可以将其视为黑盒模型。在具体的实施方式中，可以获取黑盒模型的训练数据集D＝{d1,d2,...,dl}，先初始化多个初始模型m1,m2,...,mn，之后利用黑盒模型的训练数据集对多个初始模型，训练出黑盒模型的多个替代模型M1,M2,...,Mn，得到替代模型集MODEL＝{M1,M2,...,Mn}。
步骤S12：利用多个所述替代模型分别生成每个原始样本对应的对抗样本。
在具体的实施方式中，可以从所述训练数据集中随机筛选出预设数量个训练数据，作为原始样本；利用多个所述替代模型分别生成每个原始样本对应的对抗样本。
其中，可以生成随机数组；述随机数组中的元素个数为预设数量；从所述训练数据集中筛选出所述随机数组中每个元素对应位置的训练数据，作为原始样本。具体的，筛选出下标值与所述随机数组中元素相同的训练数据，比如，随机数组中的某一元素为5，则筛选出d5，作为原始样本。
具体的，采用随机数生成算法得到一组长度为m的随机数组，然后取出数据集D中下标对应随机数组的集合X＝{x1,x2,...,xm}(m＜l)作为生成对抗样本所需要的数据集，得到原始样本集。
也即，本公开实施例可以从所述训练数据集中随机筛选出预设数量个训练数据，作为原始样本，得到原始样本集，之后利用多个所述替代模型分别生成原始样本集中每个原始样本对应的对抗样本。
需要指出的是，随机筛选数据，能够避免筛选出的原始样本为同一个类别，这样能够得到类型更丰富的原始样本，进而得到类型更丰富的对抗样本。
进一步的，在具体的实施方式中，本公开实施例利用多个所述替代模型，并基于基因算法分别生成每个原始样本对应的对抗样本。
本公开实施例对于生成的替代模型集MODEL，采用基因算法，基于原始样本集生成每个替代模型Mi,(i∈[1,n])对应的对抗样本集ADVMi。初始化基因算法所需要的输入以及输出，输入为原始样本以及期望目标模型对其分类的类别t,输出为经过算法生成的对抗样本Xadv。从替代模型M1开始，依次采用基因算法，生成每个Mi对应的对抗样本集ADVMi。利用基因算法生成对抗样本的步骤具体如下：
步骤00：对于原始样本xk,(k∈[1,m])，对其进行种群初始化操作InitPop(x)得到population(种群)，并定义一个变量i＝0，以及一个最大迭代次数n；
步骤01：当i＜n时，计算population的置信度分数score＝ComputeFitness(population),将当前对抗样本的值取为Xadv＝population[argmax(score)]；
步骤02：判断当前替代模型对步骤01中得到的Xadv的预测结果是否等于t，如果等于则退出当前循环，如果不等于则进行以下步骤：
步骤021：计算当前的选择可能性
Figure BDA0003217928280000051
设置一个空数组NextPop；
步骤:022，从第1到i次迭代过程中，根据步骤03得到的SelectProp选择父辈parentj(j＝1,2)，然后通过交叉熵函数计算子代child＝Crossover(parent1,parent2)；
步骤023：对于每一个属于NextPop的child，使用突变算法Mutate(x)对其进行变异操作，然后将population加入到NextPop中去；
步骤03：i＝i+1，继续执行下一步循环；
步骤04：当循环结束时，返回当前循环得到的最终结果Xadv；
重复前述步骤，直到生成替代模型集中所有替代模型对应的对抗样本集ADV；
其中，关于上述基因算法，可参考现有技术。
步骤S13：基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本，确定所述原始样本对应的最终对抗样本。
参见图2所示，图2为本公开提供的一种具体的对抗样本生成方案示意图。
在具体的实施方式中，可以基于所述最终对抗样本对预设初始模型进行训练，得到训练后模型。由于生成的最中对抗样本更具鲁棒性，训练后模型具有更强的抗攻击性。
另外，也可以利用对抗样本对目标模型进行攻击测试，测试目标模型的抗攻击能力。
可见，本公开实施例先利用黑盒模型的训练数据集对多个不同初始模型进行训练，得到所述黑盒模型的多个不同替代模型，之后利用多个所述替代模型分别生成每个原始样本对应的对抗样本，最后基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本，确定所述原始样本对应的最终对抗样本。这样，生成的最终对抗样本是基于利用多个不同的替代模型生成的多个对抗样本生成的，由于利用了多个不同的替代模型，能够提升生成的对抗样本的鲁棒性。
参见图3所示，本公开实施例提供了一种具体的对抗样本生成方法，包括：
步骤S21：利用黑盒模型的训练数据集对多个不同初始模型进行训练，得到所述黑盒模型的多个不同替代模型。
步骤S22：利用多个所述替代模型分别生成每个原始样本对应的对抗样本。
关于步骤S21、S22的具体实施过程可参考前述实施例公开的内容，再此不再进行赘述。
步骤S23：将每个所述对抗样本输入至所述黑盒模型，得到所述黑盒模型对每个所述对抗样本的分类失败概率。
步骤S24：基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本以及每个所述对抗样本对应的所述分类失败概率，确定所述原始样本对应的最终对抗样本。
在具体的实施方式中，本实施例可以基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本对应的所述分类失败概率，确定每个所述原始样本对应的分类失败概率和；将所述原始样本对应的每个所述对抗样本对应的分类失败概率与所述分类失败概率和的比值确定为每个所述对抗样本对应的权重；利用所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本以及每个所述对抗样本对应的所述权重进行加权计算，得到所述原始样本对应的最终对抗样本。
在具体的实施方式中，将生成的对抗样本集ADV输入至黑盒模型中，得到黑盒模型对每个对抗样本的分类失败概率，生成对应的概率集合P。本实施例可以采用集成算法集成不同替代模型对应的对抗样本生成最终对抗样本，具体包括以下步骤：
步骤11：从对抗样本集ADV以及概率集合P中，取出原始样本xk对应的利用不同替代模型生成的对抗样本集合
Figure BDA0003217928280000071
以及其的分类失败概率
Figure BDA0003217928280000072
步骤12：对于原始样本xk，计算分类失败概率
Figure BDA0003217928280000073
步骤13：执行一个i＜n的for循环，得到每一个对抗样本
Figure BDA0003217928280000074
对应的权重
Figure BDA0003217928280000075
步骤14：计算原始样本xk对应的最终对抗样本
Figure BDA0003217928280000076
重复步骤11到14，直到得到原始样本集X＝{x1,x2,...,xm}对应的最终对抗样本集X'＝{x1',x'2,...,x'm}。
可见，本公开实施例基于分类失败概率确定对抗样本的权重，这样使得分类失败概率较高的对抗样本所占权重比较大，从而优化了最终对抗样本，使得模型更不易识别出对抗样本。
另外，通过实验，本公开提供的对抗样本生成方法与原始样本的差异较小，且更具可迁移性，即在一个特定模型上生成的对抗样本，应用于另外的模型上也具有较好效果，比如为检测安全性，进行攻击测试，具有一定的可迁移性。
参见图4所示，本公开实施例提供了一种对抗样本生成装置10，包括：
替代模型训练模块11，用于利用黑盒模型的训练数据集对多个不同初始模型进行训练，得到所述黑盒模型的多个不同替代模型；
对抗样本生成模块12，用于利用多个所述替代模型分别生成每个原始样本对应的对抗样本；
最终对抗样本确定模块13，用于基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本，确定所述原始样本对应的最终对抗样本。
可见，本公开实施例先利用黑盒模型的训练数据集对多个不同初始模型进行训练，得到所述黑盒模型的多个不同替代模型，之后利用多个所述替代模型分别生成每个原始样本对应的对抗样本，最后基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本，确定所述原始样本对应的最终对抗样本。这样，生成的最终对抗样本是基于利用多个不同的替代模型生成的多个对抗样本生成的，由于利用了多个不同的替代模型，能够提升生成的对抗样本的鲁棒性。
其中，最终对抗样本确定模块13，具体包括：
分类失败概率确定子模块，用于将每个所述对抗样本输入至所述黑盒模型，得到所述黑盒模型对每个所述对抗样本的分类失败概率；
最终对抗样本确定子模块，用于基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本以及每个所述对抗样本对应的所述分类失败概率，确定所述原始样本对应的最终对抗样本。
在具体的实施方式中，最终对抗样本确定子模块，包括：
分类失败概率和确定单元，用于基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本对应的所述分类失败概率，确定每个所述原始样本对应的分类失败概率和；
权重确定单元，用于将所述原始样本对应的每个所述对抗样本对应的分类失败概率与所述分类失败概率和的比值确定为每个所述对抗样本对应的权重；
最终对抗样本确定单元，用于利用所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本以及每个所述对抗样本对应的所述权重进行加权计算，得到所述原始样本对应的最终对抗样本。
对抗样本生成模块12，具体包括：
原始样本筛选子模块，用于从所述训练数据集中随机筛选出预设数量个训练数据，作为原始样本；
对抗样本生成子模块，利用多个所述替代模型分别生成每个原始样本对应的对抗样本。
其中，原始样本筛选子模块，具体包括：
随机数组生成单元，用于生成随机数组；其中，所述随机数组中的元素个数为预设数量；
原始样本筛选单元，用于从所述训练数据集中筛选出所述随机数组中每个元素对应位置的训练数据，作为原始样本。
并且，对抗样本生成模块12，具体用于，利用多个所述替代模型，并基于基因算法分别生成每个原始样本对应的对抗样本。
进一步的，所述装置还包括模型训练模块，用于基于所述最终对抗样本对预设初始模型进行训练，得到训练后模型。
图5是根据一示例性实施例示出的一种电子设备20的框图。例如，电子设备20可以被提供为一服务器。参照图5，电子设备20包括处理器21，其数量可以为一个或多个，以及存储器22，用于存储可由处理器21执行的计算机程序。存储器22中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器21可以被配置为执行该计算机程序，以执行上述的对抗样本生成方法。
另外，电子设备20还可以包括电源组件23和通信组件24，该电源组件23可以被配置为执行电子设备20的电源管理，该通信组件24可以被配置为实现电子设备20的通信，例如，有线或无线通信。此外，该电子设备20还可以包括输入/输出(I/O)接口25。电子设备20可以操作基于存储在存储器22的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的对抗样本生成方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器21，上述程序指令可由电子设备20的处理器21执行以完成上述的对抗样本生成方法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本公开所提供的一种对抗样本生成方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (10)

1.一种对抗样本生成方法，其特征在于，包括：
利用黑盒模型的训练数据集对多个不同初始模型进行训练，得到所述黑盒模型的多个不同替代模型；
利用多个所述替代模型分别生成每个原始样本对应的对抗样本；
基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本，确定所述原始样本对应的最终对抗样本。
2.根据权利要求1所述的对抗样本生成方法，其特征在于，所述基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本，确定所述原始样本对应的最终对抗样本，包括：
将每个所述对抗样本输入至所述黑盒模型，得到所述黑盒模型对每个所述对抗样本的分类失败概率；
基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本以及每个所述对抗样本对应的所述分类失败概率，确定所述原始样本对应的最终对抗样本。
3.根据权利要求2所述的对抗样本生成方法，其特征在于，所述基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本以及每个所述对抗样本对应的所述分类失败概率，确定所述原始样本对应的最终对抗样本，包括：
基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本对应的所述分类失败概率，确定每个所述原始样本对应的分类失败概率和；
将所述原始样本对应的每个所述对抗样本对应的分类失败概率与所述分类失败概率和的比值确定为每个所述对抗样本对应的权重；
利用所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本以及每个所述对抗样本对应的所述权重进行加权计算，得到所述原始样本对应的最终对抗样本。
4.根据权利要求1所述的对抗样本生成方法，其特征在于，所述利用多个所述替代模型分别生成每个原始样本对应的对抗样本，包括：
从所述训练数据集中随机筛选出预设数量个训练数据，作为原始样本；
利用多个所述替代模型分别生成每个原始样本对应的对抗样本。
5.根据权利要求4所述的对抗样本生成方法，其特征在于，所述从所述训练数据集中随机筛选出预设数量个训练数据，作为原始样本，包括：
生成随机数组；其中，所述随机数组中的元素个数为预设数量；
从所述训练数据集中筛选出所述随机数组中每个元素对应位置的训练数据，作为原始样本。
6.根据权利要去1所述的对抗样本生成方法，其特征在于，所述利用多个所述替代模型分别生成每个原始样本对应的对抗样本，包括：
利用多个所述替代模型，并基于基因算法分别生成每个原始样本对应的对抗样本。
7.根据权利要求1至6任一项所述的对抗样本生成方法，其特征在于，还包括：
基于所述最终对抗样本对预设初始模型进行训练，得到训练后模型。
8.一种对抗样本生成装置，其特征在于，包括：
替代模型训练模块，用于利用黑盒模型的训练数据集对多个不同初始模型进行训练，得到所述黑盒模型的多个不同替代模型；
对抗样本生成模块，用于利用多个所述替代模型分别生成每个原始样本对应的对抗样本；
最终对抗样本确定模块，用于基于每个所述原始样本对应的利用多个所述替代模型生成的多个所述对抗样本，确定所述原始样本对应的最终对抗样本。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的对抗样本生成方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的对抗样本生成方法。
CN202110949626.7A 2021-08-18 2021-08-18 一种对抗样本生成方法、装置、设备及介质 Pending CN113657506A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110949626.7A CN113657506A (zh) 2021-08-18 2021-08-18 一种对抗样本生成方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110949626.7A CN113657506A (zh) 2021-08-18 2021-08-18 一种对抗样本生成方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN113657506A true CN113657506A (zh) 2021-11-16

Family

ID=78492225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110949626.7A Pending CN113657506A (zh) 2021-08-18 2021-08-18 一种对抗样本生成方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113657506A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116319076A (zh) * 2023-05-15 2023-06-23 鹏城实验室 恶意流量的检测方法、装置、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200234110A1 (en) * 2019-01-22 2020-07-23 Adobe Inc. Generating trained neural networks with increased robustness against adversarial attacks
CN112215292A (zh) * 2020-10-19 2021-01-12 电子科技大学 一种基于迁移性的图像对抗样本生成装置及方法
CN112465015A (zh) * 2020-11-26 2021-03-09 重庆邮电大学 面向广义非负矩阵分解算法的自适应梯度集成对抗性攻击方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200234110A1 (en) * 2019-01-22 2020-07-23 Adobe Inc. Generating trained neural networks with increased robustness against adversarial attacks
CN112215292A (zh) * 2020-10-19 2021-01-12 电子科技大学 一种基于迁移性的图像对抗样本生成装置及方法
CN112465015A (zh) * 2020-11-26 2021-03-09 重庆邮电大学 面向广义非负矩阵分解算法的自适应梯度集成对抗性攻击方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116319076A (zh) * 2023-05-15 2023-06-23 鹏城实验室 恶意流量的检测方法、装置、设备及计算机可读存储介质
CN116319076B (zh) * 2023-05-15 2023-08-25 鹏城实验室 恶意流量的检测方法、装置、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
EP3380939B1 (en) Adaptive artificial neural network selection techniques
CN111461226A (zh) 对抗样本生成方法、装置、终端及可读存储介质
US10853738B1 (en) Inference circuit for improving online learning
CN110138595A (zh) 动态加权网络的时间链路预测方法、装置、设备及介质
CN114842267A (zh) 基于标签噪声域自适应的图像分类方法及系统
US20200118027A1 (en) Learning method, learning apparatus, and recording medium having stored therein learning program
Peng et al. Partial least squares and random sample consensus in outlier detection
CN108875502B (zh) 人脸识别方法和装置
CN110245493A (zh) 一种基于深度置信网络的Android恶意软件检测的方法
CN115393675A (zh) 深度学习模型的对抗鲁棒性测评方法及相关装置
CN113657506A (zh) 一种对抗样本生成方法、装置、设备及介质
WO2020075462A1 (ja) 学習器推定装置、学習器推定方法、リスク評価装置、リスク評価方法、プログラム
CN112528109B (zh) 一种数据分类方法、装置、设备及存储介质
US20210326664A1 (en) System and Method for Improving Classification in Adversarial Machine Learning
Yang et al. A comparative study of ML-ELM and DNN for intrusion detection
CN113409157A (zh) 一种跨社交网络用户对齐方法以及装置
CN112861601A (zh) 生成对抗样本的方法及相关设备
CN115984025A (zh) 基于深度学习图网络模型的影响力传播估计方法及系统
CN117010480A (zh) 模型训练方法、装置、设备、存储介质及程序产品
CN111310823A (zh) 目标分类方法、装置和电子系统
CN114428954A (zh) 一种基于动态化网络结构学习的黑盒攻击系统
Sivananthan Manifold regularization based on nyström type subsampling
Li Sequential Design of Experiments to Estimate a Probability of Failure.
CN112241726A (zh) 基于自适应感受野网络和关节点损失权重的姿态估计方法
Kamel et al. AdaBoost ensemble learning technique for optimal feature subset selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination