CN113505886A - 基于模糊测试的对抗样本生成方法、系统、终端及介质 - Google Patents
基于模糊测试的对抗样本生成方法、系统、终端及介质 Download PDFInfo
- Publication number
- CN113505886A CN113505886A CN202110775901.8A CN202110775901A CN113505886A CN 113505886 A CN113505886 A CN 113505886A CN 202110775901 A CN202110775901 A CN 202110775901A CN 113505886 A CN113505886 A CN 113505886A
- Authority
- CN
- China
- Prior art keywords
- sample
- input
- variant
- mutation
- pool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012360 testing method Methods 0.000 title claims abstract description 46
- 230000035772 mutation Effects 0.000 claims abstract description 49
- 238000013528 artificial neural network Methods 0.000 claims abstract description 34
- 230000009466 transformation Effects 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims abstract description 18
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 17
- 230000008901 benefit Effects 0.000 claims abstract description 7
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 5
- 230000004913 activation Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 2
- 230000000996 additive effect Effects 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims 1
- 230000008485 antagonism Effects 0.000 abstract description 11
- 238000013135 deep learning Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000007123 defense Effects 0.000 abstract description 4
- 238000012549 training Methods 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 241000722363 Piper Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 235000000332 black box Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002703 mutagenesis Methods 0.000 description 1
- 231100000350 mutagenesis Toxicity 0.000 description 1
- 238000002708 random mutagenesis Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
- G06F21/577—Assessing vulnerabilities and evaluating computer system security
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
- G06F2221/033—Test or assess software
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于模糊测试的对抗样本生成方法、系统、终端及介质，涉及人工智能、网络空间安全技术领域。在黑盒模型场景下，自动生成对抗样本；对生成样本的对抗性通过深度神经网络的输出结果进行评价；基于线性变换的突变、基于仿射变换的突变、基于噪声的突变和基于点的突变，提升整个突变过程的可解释性以及使突变过程具有可重复性；在白盒模型场景下对生成的对抗样本于模型中的激活覆盖率数值进行分析，计算突变方向以生成对抗性更强的对抗样本，同时对模型进行进一步优化。本发明在机器学习和深度学习领域的攻防上占据优势，甚至在更早的训练模型阶段提前规避潜在的威胁和攻击。
Description
技术领域
本发明属于人工智能、网络空间安全技术领域，尤其涉及一种基于模糊测试的对抗样本生成方法、系统、终端及介质。
背景技术
目前，深度学习已经在广泛应用于图像识别和分类的问题中，成为人工智能应用的关键所在。但深度学习的可解释性差，导致在人工智能系统应用中其鲁棒性和系统安全性难以得到保障。“对抗样本”这一概念的提出给深度学习领域的攻防提供了新的要求，也让系统安全性的优化有了新的思路。而如何高效生成对抗样本成为了制约模型鲁棒性和安全性优化的新瓶颈。
随着深度神经网络技术的飞速发展，硬件算力的显著提升以及各领域大数据的普及。深度学习已经在人脸识别、医疗影像、自动驾驶等安全攸关的领域取得了极大的成就，而在这些技术带来巨大便利的同时，深度神经网络相关的安全问题也不得不引起重视。
对抗样本是一种对输入样本添加一些扰动生成的样本，而系统模型会对对抗样本产生误判，即以高置信度来预测一个错误结果。对抗样本的存在对深度神经网络带来了很大的安全隐患，故而生成对抗样本的技术对于针对机器深度学习领域的攻防上有着重大的意义。
现有的方法主要分为白盒方法和黑盒方法两类：
白盒方法在生成对抗样本过程中需要获得深度神经网络的内部状态来帮助生成对抗样本。其中最常见的是基于梯度下降的快速梯度符号法(FGSM)、ILCM法、AdversarialPatch法、DDN法，基于前向导数的雅克比映射法，基于牛顿法的BFGS法，综合三种方法进行改进的C&W法等。这类方法的核心本质是将神经网络的预测值与原始标签之间的差异定义为目标函数，并对该函数进行优化，以得到能够使神经网络进行错误分类同时扰动最小的对抗样本。
黑盒方法在对抗样本生成的过程中只关注深度神经网络模型的输入和输出，而不关注网络的内部状态。现存的主流方法有：
动量迭代梯度法(MI-FGSM)，该方法基于对抗样本的迁移性能(即对于一个模型构造的对抗样本也可以欺骗另一个模型)，利用已知的白盒模型来构造针对未知结构和参数黑盒模型的对抗样本。
ONE-PIXEL法，该方法基于差分进化，经过对每个像素的迭代操作，选出最好的单像素扰动样本结果作为对抗样本。
P-RGF法，该方法是在梯度估计框架下进行查询反馈，即通过向目标模型查询偏向传输梯度的随机向量，进行随机样本的抽取，充分利用先验信息来提供梯度估计以生成对抗样本。
上述的方法的理论核心均是解决一个优化问题，计算出一个最小的的扰动能够“欺骗”目标神经网络。尽管在对抗性(即难以被人察觉)上，现有的技术都具有良好的表现，但是这种优化问题也具有明显的缺点：即需求庞大的计算开销以及较长的耗时。而实际应用中往往对扰动的需求是在某一个区间内，寻找最小的扰动在实际应用中反而是对算力的浪费。
而在传统行业中，对于软件安全性和健壮性的测试通常使用模糊测试的方法。模糊测试即是通过向目标系统提供非预期的输入并监视异常结果来发现软件的漏洞。模糊测试中，通常通过突变的方式来获得这种非预期样本，这种方式没有复杂的运算开销，可以在短时间内生成大量的变异样本。其出于对软件健壮性和安全性的测试需求，传统模糊测试追求的是探索更多的程序执行状态以及短时间内覆盖更多的代码。但是由于深度神经网络的特性，往往不同的输入会覆盖相同的代码和分支，所以用传统模糊测试的变异方式来生成对抗样本并不能满足完善深度神经网络健壮性的需求。
通过上述分析，现有技术存在的问题及缺陷为：
现有的方法在图像识别和分类中，理论核心为最小扰动的优化，现在主流的方法有基于梯度下降的快速梯度符号(FGSM)法、基于前向导数的雅克比映射法、基于牛顿法的L-BFGS法、基于差分进化的单像素攻击等，在参数复杂时，计算开销巨大，耗时冗长。
现有的方法生成对抗样本的最优化过程，求解过程复杂，需要较强的计算资源，且得到的结果不具备可解释性。
软件安全领域中的模糊测试的技术具有能够快速批量生成样本的优点，但是传统模糊测试技术的样本生成基于软件的代码覆盖，模糊测试生成的变异样本虽然本质上是一种“扰动区间”较大的对抗样本，但在深度神经网络上存在一些适用性上的问题，且变异的可解释性差。
解决以上问题及缺陷的难度为：
就现有方法的思路而言，其所追求的是生成的对抗样本具有“最佳”的对抗性，即在原样本上添加最小的扰动以至于难以察觉。在当前的硬件条件下，寻找最优化解无可避免地需要大量的时间和计算开销。
基于软件代码覆盖的传统模糊测试技术应用在深度神经网络上时，往往代码覆盖率永远接近100％，该指标失去了指导对抗样本生成以及指出软件缺陷的意义。
解决以上问题及缺陷的意义为：
将现有方法寻找“最佳”解的约束条件放宽到“足够好”的解，既保证能够满足实际应用对对抗样本对抗性的要求，同时又能够节省算力资源甚至做到在短时间内快速、批量的生成对抗样本。
不考虑覆盖率的引导，仅基于黑盒模型来生成对抗样本。对生成样本的对抗性通过深度神经网络的输出结果来评价。
改变随机突变的策略使突变过程具有可解释性，对突变方向以及模型健壮性优化具有一定的指导意义。
发明内容
为克服相关技术中存在的问题，本发明公开实施例提供了一种基于模糊测试的对抗样本生成方法、系统、终端及介质。
本发明目的在于基于模糊测试生成变异样本输入的方式进行一些改进以获得一种快速、低耗的生成对抗样本的方法，来提高深度神经网络的安全性和健壮性。
所述技术方案如下：一种基于模糊测试的对抗样本生成方法，所述基于模糊测试的对抗样本生成方法包括：
可以在黑盒模型场景下，即对被测试模型的参数和神经网络架构等完全未知，自动化生成对抗样本；对生成样本的对抗性通过深度神经网络的输出结果进行评价；
基于线性变换的突变、基于仿射变换的突变、基于噪声的突变和基于点的突变，提升整个突变过程的可解释性以及使突变过程具有可重复性；
在白盒模型场景，即已知被测试模型的参数和神经网络架构下，对生成的对抗样本于该模型中的激活覆盖率数值进行分析，计算突变方向以生成对抗性更强的对抗样本，同时对模型进行进一步优化。
在本发明一实施例中，所述基于模糊测试的对抗样本生成方法具体包括：
(1)输入一个输入空间的生成种子池，生成种子池随机生成正常输入样本集Xinput，放入正常输入池中；
(4)从正常输入池Xinput中选出一个输入样本xinput；
(5)对该输入样本xinput进行以函数M(x)为映射的变异生成变异样本x′input＝M(xinput)。
(4)将输入样本xinput和变异输入样本x′input都通过目标神经网络H(x)运行，得到正常输入样本的输出youtput＝H(xinput)和变异输出样本的输出y′output＝H(x′input)；
(5)比对正常输入样本得到的输出和变异输入样本得到的输出，若有明显差异，即|youtput-y′output|＞δ，则将该变异样本x′input加入对抗样本池。
所述步骤(3)中，对输入样本的变异根据不同类型的样本约束有不同的变换方法，包括：
对于图像类的样本变异。
对于文本类的样本的变异。
所述对于图像类的样本变异包括：
1)灰度和对比度上的变异：通过对每一个像素的当前值增加或减少一个连续系数β来调节图像的灰度亮度；
通过对每一个像素的当前值乘以一个连续系数α来调节图像的对比度；
2)基于仿射变换的变异：仿射变换模拟角度的变化导致不同于随机的变异，仿射变换的可解释性对生成对抗样本的性能做出反馈；
3)基于添加噪声的变异：随机噪声、椒盐噪声和高斯白噪声或相结合的方式添加噪声。
所述对于文本类的样本变异包括：
在随机位置增加一个字符、在随机位置减少一个字符或是在随机位置更替一个字符。
在本发明一实施例中，所述步骤(5)中，在对抗样本池大小小于需求数量时，重复步骤(2)-步骤(5)直至满足需求。
根据本发明公开实施例的第二方面，提供一种基于模糊测试的对抗样本生成系统，所述基于模糊测试的对抗样本生成系统包括：
生成种子池模块，用于处理输入的生成种子，并且保存有各种典型格式的生成种子模板以及经检测良好的生成种子用例；
输入样本池模块，用于由生成种子随机生成一个标准输入样本集，并将其保存在输入样本池中；
变异样本池模块，用于对输入样本池中的标准输入样本作变异处理以生成对应的变异样本，并将其保存在变异样本池中；
比对模块，用于对以输入样本通过神经网络生成的结果与对应的变异样本通过神经网络生成的结果做比对，对两者的一致性进行判断；
对抗样本池模块，用于保存在比对模块中判断结果为不一致时对应的变异样本，并将其标记为对抗样本，同时设置需求的对抗样本数控制整体流程执行的循环是否停止。
根据本发明公开实施例的第三方面，提供一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行所述基于模糊测试的对抗样本生成方法。
根据本发明公开实施例的第四方面，提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
输入一个输入空间的生成种子池，生成种子池控制随机数的生成；
从正常输入池中选出一个输入样本；
对该输入样本进行变异生成变异样本；
将输入样本和变异输入样本都通过目标神经网络运行，得到正常输入样本的输出和变异输出样本的输出；
比对正常输入样本得到的输出和变异输入样本得到的输出，若有明显差异则将该变异样本加入对抗样本池。
根据本发明公开实施例的第五方面，提供一种信息数据处理终端，所述信息数据处理终端执行所述基于模糊测试的对抗样本生成方法。
本发明公开的实施例提供的技术方案可以包括以下有益效果：
本发明可以在需要大量对抗样本的场景下，快速批量生成对抗样本，也可以在对目标模型的黑盒场景下，生成覆盖率较高且可解释性强的对抗样本，为模型鲁棒性和安全性的优化提供一定的指导作用。
相比于现有技术，本发明的优点进一步包括：
基于软件工程中的模糊测试方法快速生成对抗样本；
模糊测试的变换基于可解释的仿射变换；
可以在黑盒环境下生成对抗样本；
需要的计算时间短和资源少。
对抗样本在深度学习的实际应用上具有重大的意义，本发明所快速生成的大批量对抗样本可以用于图像处理或网络或信息数据处理中对抗训练、深度神经网络模型鲁棒性和安全性的提高、模型优化以达到更高的分类准确性、在实际应用中的内在威胁检测中摆脱数据依赖等等，从而在机器学习和深度学习领域的攻防上占据优势，甚至在更早的训练模型阶段提前规避潜在的威胁和攻击。
当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本发明实施例提供的基于模糊测试的对抗样本生成系统示意图。
图中：1、生成种子池模块；2、输入样本池模块；3、变异样本池模块；4、比对模块；5、对抗样本池模块。
图2是本发明实施例提供的基于模糊测试的对抗样本生成系统原理图。
图3是本发明实施例提供的基于模糊测试的对抗样本生成方法流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
当前主流的深度神经网络领域的对抗样本生成方法均是从解决优化问题的角度出发，通过大量的计算来逼近一个理论上的最小扰动解。这类方法所获得的结果即是该问题的最佳答案，保证其最佳的同时也消耗了巨大的算力资源和时间成本。而本发明技术方案是从实际应用的角度出发，基于模糊测试变异样本的方式来寻找足够好的解，既保证能够满足实际应用对对抗样本对抗性的要求，同时又能够节省算力资源甚至做到在短时间内快速、批量的生成对抗样本。
当前传统软件工程领域中的模糊测试中，基于变异的模糊测试样本生成方式主要有两种：导向型突变和黑盒突变。导向型突变是指有引导的对样本进行突变，主要是基于代码覆盖率的引导，但传统软件工程领域中的代码覆盖率对深度神经网络没有指导意义。而黑盒突变采取的是随机突变策略对样本进行突变，尽管能够快速大量的生成输入，但可重复性和可解释性差。本发明基于传统模糊测试中的样本生成方式进行一些改进：
1)不考虑覆盖率的引导，仅基于黑盒模型来生成对抗样本。对生成样本的对抗性通过深度神经网络的输出结果来评价。
2)对随机突变策略进行改进，将其扩展为：基于线性变换的突变、基于仿射变换的突变、基于噪声的突变和基于点的突变。提升了整个突变过程的可解释性，对突变的方向以及模型的优化上都具有一定的指导意义。也使得突变过程具有可重复性，具有良好表现的突变形式可以对后续有一定的参考价值。
3)不论是深度神经网络领域的对抗样本生成还是传统软件工程领域的模糊测试，其主流方法均在白盒和黑盒情形下没有普适性。而本技术方案在白盒和黑盒情形下的应用场景中均具有现实意义：
4)黑盒情形下：因为本方案的对抗样本生成过程中并不需要模型内部的逻辑结构等做指导，所以在黑盒情形下也完全可以生成符合需求的对抗样本。
5)白盒情形下：白盒情形下，对生成的对抗样本于模型中的激活覆盖率等数值进行分析，可以指导突变方向以生成对抗性更强的对抗样本，同时也可以指导模型进行进一步的优化。
如图1所示，系统的组成结构包括：
生成种子池模块1、输入样本池模块2、变异样本池模块3、比对模块4和对抗样本池模块5。
生成种子池模块1负责处理输入的生成种子，并且保存有各种典型格式的生成种子模板以及经检测良好的生成种子用例。
输入样本池模块2负责由生成种子随机生成一个标准输入样本集，并将其保存在输入样本池中。
变异样本池模块3负责对输入样本池中的标准输入样本作变异处理以生成对应的变异样本，并将其保存在变异样本池中。
比对模块4负责对以输入样本通过神经网络生成的结果与对应的变异样本通过神经网络生成的结果做比对，对两者的一致性进行判断。
对抗样本池模块5负责保存在比对模块4中判断结果为不一致时对应的变异样本，并将其标记为对抗样本，同时可以设置需求的对抗样本数控制整体流程执行的循环是否停止。
图2是本发明技术方案的系统架构原理图。图3是本发明技术方案的流程图。本发明提出的基于模糊测试的生成对抗样本的方法包括下列步骤：
(1)输入一个输入空间的生成种子池，生成种子池随机生成正常输入样本集Xinput，放入正常输入池中；
(2)从正常输入池Xinput中选出一个输入样本xinput；
(3)对该输入样本xinput进行以函数M(x)为映射的变异生成变异样本x′input＝M(xinput)。
(4)将输入样本xinput和变异输入样本x′input都通过目标神经网络H(x)运行，得到正常输入样本的输出youtput＝H(xinput)和变异输出样本的输出y′output＝H(x′input)；
(5)比对正常输入样本得到的输出和变异输入样本得到的输出，若有明显差异，即|youtput-y′output|＞δ，则将该变异样本x′input加入对抗样本池。
在对抗样本池大小小于需求数量时，可以重复(2)-(5)直至满足需求。
其中，采用生成种子的方式来进行测试用例生成可以显著提升整个模糊测试的效率和效力，具体原因如下：
通过构建一个格式良好的生成种子可以节省大量的CPU时间；
基于良好格式的生成种子输入更有可能生成到达更深层和难以到达路径的测试用例；
经检验的良好的生成种子可以在多次测试中重复使用；
所述步骤(3)中，对输入样本的变异根据不同类型的样本约束有不同的变换方法，包括但不限于以下方法：
(3.1)对于图像类的样本，主要有以下的变异手段：
(3.1.1)灰度和对比度上的变异：灰度和对比度的变异都是一种线性的变换。图像的灰度是通过图像像素的一项值来决定的，本发明通过对每一个像素的当前值增加或减少一个连续系数β来调节其亮度；图像的对比度也是通过图像像素的一项值来决定，本发明通过对每一个像素的当前值乘以一个连续系数α来调节其对比度。
(3.1.2)基于仿射变换的变异：基础的四种仿射变换如表1所示。仿射变换模拟的是角度的变化导致不同于随机的变异，仿射变换的可解释性可以对生成对抗样本的性能做出反馈，既可以改良优化生成对抗样本的过程，对模型开发者如何优化深度神经网络模型也具有指导意义。
表1可解释的仿射变换方式
(3.1.3)基于添加噪声的变异：以三种或相结合的方式添加噪声：随机噪声、椒盐噪声和高斯白噪声。
(3.2)对于文本类的样本，主要有以下的变异手段：
在随机位置增加一个字符、在随机位置减少一个字符或是在随机位置更替一个字符。
与现有技术相比，本发明提出的技术方案建能够在低算力需求和短时间内，生成大量满足实际应用中需求的对抗样本，同时基于仿射变换使得该技术生成对抗样本的过程具有可解释性，在提高模糊测试覆盖率和优化深度神经网络模型的健壮性上可以起到一定的指导作用。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。
Claims (10)
1.一种基于模糊测试的对抗样本生成方法，其特征在于，所述基于模糊测试的对抗样本生成方法包括：
基于黑盒模型生成对抗样本，对生成样本的对抗性通过深度神经网络的输出结果进行评价，所述黑盒模型为对被测试模型的参数和神经网络架构完全未知；
基于线性变换的突变、基于仿射变换的突变、基于噪声的突变和基于点的突变，提升整个突变过程的可解释性以及使突变过程具有可重复性；
在白盒模型下对生成的对抗样本于该模型中的激活覆盖率数值进行分析，计算突变方向以生成对抗性更强的对抗样本，同时对模型进行进一步优化。
2.根据权利要求1所述的基于模糊测试的对抗样本生成方法，其特征在于，所述基于模糊测试的对抗样本生成方法具体包括以下步骤：
(1)输入一个输入空间的生成种子池，生成种子池随机生成正常输入样本集Xinput,放入正常输入池中；
(2)从正常输入池Xinput中选出一个输入样本xinput；
(3)对该输入样本xinput进行以函数M(x)为映射的变异生成变异样本
x′input＝M(xinput)；
(4)将输入样本xinput和变异输入样本x′input都通过目标神经网络H(x)运行，得到正常输入样本的输出youtput＝H(xinput)和变异输出样本的输出y′output＝H(x′input)；
(5)比对正常输入样本得到的输出和变异输入样本得到的输出，若有明显差异,即|youtput-y′output|>δ,则将该变异样本x′input加入对抗样本池。
3.根据权利要求2所述的基于模糊测试的对抗样本生成方法，其特征在于，所述步骤(3)中，对输入样本的变异根据不同类型的样本约束有不同的变换方法，包括：
对于图像类的样本变异，
对于文本类的样本的变异。
4.根据权利要求3所述的基于模糊测试的对抗样本生成方法，其特征在于，所述对于图像类的样本变异包括：
1)灰度和对比度上的变异：通过对每一个像素的当前值增加或减少一个连续系数β来调节图像的灰度亮度；
通过对每一个像素的当前值乘以一个连续系数α来调节图像的对比度；
2)基于仿射变换的变异：仿射变换模拟角度的变化导致不同于随机的变异，仿射变换的可解释性对生成对抗样本的性能做出反馈；
3)基于添加噪声的变异：随机噪声、椒盐噪声和高斯白噪声或相结合的方式添加噪声。
5.根据权利要求3所述的基于模糊测试的对抗样本生成方法，其特征在于，所述对于文本类的样本变异包括：
在随机位置增加一个字符、在随机位置减少一个字符或是在随机位置更替一个字符。
6.根据权利要求2所述的基于模糊测试的对抗样本生成方法，其特征在于，所述步骤(5)中，在对抗样本池大小小于需求数量时，重复步骤(2)-步骤(5)直至满足需求。
7.一种实现如权利要求1至6任意一项所述基于模糊测试的对抗样本生成方法的对抗样本生成系统，其特征在于，该基于模糊测试的对抗样本生成系统包括：
生成种子池模块，用于处理输入的生成种子，并且保存有各种典型格式的生成种子模板以及经检测良好的生成种子用例；
输入样本池模块，用于由生成种子随机生成一个标准输入样本集，并将其保存在输入样本池中；
变异样本池模块，用于对输入样本池中的标准输入样本作变异处理以生成对应的变异样本，并将其保存在变异样本池中；
比对模块，用于对以输入样本通过神经网络生成的结果与对应的变异样本通过神经网络生成的结果做比对，对两者的一致性进行判断；
对抗样本池模块，用于保存在比对模块中判断结果为不一致时对应的变异样本，并将其标记为对抗样本，同时设置需求的对抗样本数控制整体流程执行的循环是否停止。
8.一种接收用户输入程序存储介质，所存储的计算机程序使电子设备执行权利要求1～7任意一项所述基于模糊测试的对抗样本生成方法。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
输入一个输入空间的生成种子池，生成种子池控制随机数的生成；
从正常输入池中选出一个输入样本；
对该输入样本进行变异生成变异样本；
将输入样本和变异输入样本都通过目标神经网络运行，得到正常输入样本的输出和变异输出样本的输出；
比对正常输入样本得到的输出和变异输入样本得到的输出，若有明显差异则将该变异样本加入对抗样本池。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端执行权利要求1～7任意一项所述基于模糊测试的对抗样本生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110775901.8A CN113505886A (zh) | 2021-07-08 | 2021-07-08 | 基于模糊测试的对抗样本生成方法、系统、终端及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110775901.8A CN113505886A (zh) | 2021-07-08 | 2021-07-08 | 基于模糊测试的对抗样本生成方法、系统、终端及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113505886A true CN113505886A (zh) | 2021-10-15 |
Family
ID=78012074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110775901.8A Pending CN113505886A (zh) | 2021-07-08 | 2021-07-08 | 基于模糊测试的对抗样本生成方法、系统、终端及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113505886A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114064506A (zh) * | 2021-11-29 | 2022-02-18 | 电子科技大学 | 一种基于深度神经网络的二进制程序模糊测试方法及系统 |
| CN114116456A (zh) * | 2021-11-04 | 2022-03-01 | 广州市智能软件产业研究院 | 测试用例生成方法、系统及计算机可读存储介质 |
| CN114626042A (zh) * | 2022-03-18 | 2022-06-14 | 杭州师范大学 | 一种人脸验证攻击方法和装置 |
| CN118381751A (zh) * | 2024-06-21 | 2024-07-23 | 中国电子科技集团公司第三十研究所 | 基于大规模预训练模型的工控协议模糊测试用例生成方法 |
| CN114116456B (zh) * | 2021-11-04 | 2024-11-05 | 广州市智能软件产业研究院 | 测试用例生成方法、系统及计算机可读存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190238568A1 (en) * | 2018-02-01 | 2019-08-01 | International Business Machines Corporation | Identifying Artificial Artifacts in Input Data to Detect Adversarial Attacks |
| CN110334806A (zh) * | 2019-05-29 | 2019-10-15 | 广东技术师范大学 | 一种基于生成式对抗网络的对抗样本生成方法 |
| CN110348475A (zh) * | 2019-05-29 | 2019-10-18 | 广东技术师范大学 | 一种基于空间变换的对抗样本增强方法和模型 |
| CN111461307A (zh) * | 2020-04-02 | 2020-07-28 | 武汉大学 | 一种基于生成对抗网络的通用扰动生成方法 |
| CN112381142A (zh) * | 2020-11-13 | 2021-02-19 | 海南大学 | 基于重要特征的具有可解释性对抗样本生成方法及系统 |
| US20210067549A1 (en) * | 2019-08-29 | 2021-03-04 | Nec Laboratories America, Inc. | Anomaly detection with graph adversarial training in computer systems |
| CN112465019A (zh) * | 2020-11-26 | 2021-03-09 | 重庆邮电大学 | 一种基于扰动的对抗样本生成与对抗性防御方法 |
| CN112651459A (zh) * | 2020-12-31 | 2021-04-13 | 厦门易仕特仪器有限公司 | 深度学习图像对抗样本防御方法、装置、设备及存储介质 |
| WO2021109695A1 (zh) * | 2019-12-06 | 2021-06-10 | 支付宝(杭州)信息技术有限公司 | 一种对抗攻击的监测方法和装置 |
| CN113066002A (zh) * | 2021-02-27 | 2021-07-02 | 华为技术有限公司 | 对抗样本的生成方法、神经网络的训练方法、装置及设备 |
-
2021
- 2021-07-08 CN CN202110775901.8A patent/CN113505886A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190238568A1 (en) * | 2018-02-01 | 2019-08-01 | International Business Machines Corporation | Identifying Artificial Artifacts in Input Data to Detect Adversarial Attacks |
| CN110334806A (zh) * | 2019-05-29 | 2019-10-15 | 广东技术师范大学 | 一种基于生成式对抗网络的对抗样本生成方法 |
| CN110348475A (zh) * | 2019-05-29 | 2019-10-18 | 广东技术师范大学 | 一种基于空间变换的对抗样本增强方法和模型 |
| US20210067549A1 (en) * | 2019-08-29 | 2021-03-04 | Nec Laboratories America, Inc. | Anomaly detection with graph adversarial training in computer systems |
| WO2021109695A1 (zh) * | 2019-12-06 | 2021-06-10 | 支付宝(杭州)信息技术有限公司 | 一种对抗攻击的监测方法和装置 |
| CN111461307A (zh) * | 2020-04-02 | 2020-07-28 | 武汉大学 | 一种基于生成对抗网络的通用扰动生成方法 |
| CN112381142A (zh) * | 2020-11-13 | 2021-02-19 | 海南大学 | 基于重要特征的具有可解释性对抗样本生成方法及系统 |
| CN112465019A (zh) * | 2020-11-26 | 2021-03-09 | 重庆邮电大学 | 一种基于扰动的对抗样本生成与对抗性防御方法 |
| CN112651459A (zh) * | 2020-12-31 | 2021-04-13 | 厦门易仕特仪器有限公司 | 深度学习图像对抗样本防御方法、装置、设备及存储介质 |
| CN113066002A (zh) * | 2021-02-27 | 2021-07-02 | 华为技术有限公司 | 对抗样本的生成方法、神经网络的训练方法、装置及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 王晓萌等: "基于深度学习的对抗样本生成技术研究综述", 广州大学学报( 自然科学版), pages 1 - 4 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114116456A (zh) * | 2021-11-04 | 2022-03-01 | 广州市智能软件产业研究院 | 测试用例生成方法、系统及计算机可读存储介质 |
| CN114116456B (zh) * | 2021-11-04 | 2024-11-05 | 广州市智能软件产业研究院 | 测试用例生成方法、系统及计算机可读存储介质 |
| CN114064506A (zh) * | 2021-11-29 | 2022-02-18 | 电子科技大学 | 一种基于深度神经网络的二进制程序模糊测试方法及系统 |
| CN114626042A (zh) * | 2022-03-18 | 2022-06-14 | 杭州师范大学 | 一种人脸验证攻击方法和装置 |
| CN118381751A (zh) * | 2024-06-21 | 2024-07-23 | 中国电子科技集团公司第三十研究所 | 基于大规模预训练模型的工控协议模糊测试用例生成方法 |
| CN118381751B (zh) * | 2024-06-21 | 2024-08-20 | 中国电子科技集团公司第三十研究所 | 基于大规模预训练模型的工控协议模糊测试用例生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113505886A (zh) | 基于模糊测试的对抗样本生成方法、系统、终端及介质 | |
| US20230281310A1 (en) | Systems and methods of uncertainty-aware self-supervised-learning for malware and threat detection | |
| CN111428733A (zh) | 基于语义特征空间转换的零样本目标检测方法及系统 | |
| Kulinski et al. | Feature shift detection: Localizing which features have shifted via conditional distribution tests | |
| CN116432184A (zh) | 基于语义分析和双向编码表征的恶意软件检测方法 | |
| Cuevas et al. | Multithreshold segmentation based on artificial immune systems | |
| Heo et al. | Exploring the differences in adversarial robustness between ViT-and CNN-based models using novel metrics | |
| Li et al. | Toward visual distortion in black-box attacks | |
| Zhang et al. | Generalizing universal adversarial perturbations for deep neural networks | |
| Lu et al. | Robust and scalable Gaussian process regression and its applications | |
| CN115098857A (zh) | 一种可视化恶意软件的分类方法及装置 | |
| Hu et al. | Attention‐guided evolutionary attack with elastic‐net regularization on face recognition | |
| Tao et al. | Tpfl: Test input prioritization for deep neural networks based on fault localization | |
| CN111639688B (zh) | 一种基于线性核svm的物联网智能模型的局部解释方法 | |
| Chen et al. | Act-detector: Adaptive channel transformation-based light-weighted detector for adversarial attacks | |
| Aho et al. | Rule ensembles for multi-target regression | |
| Sato et al. | Affine template matching by differential evolution with adaptive two‐part search | |
| Yi et al. | A Coverage-Guided Fuzzing Framework based on Genetic Algorithm for Neural Networks | |
| Yang et al. | Regulating model reliance on non-robust features by smoothing input marginal density | |
| Ledda et al. | Adversarial Attacks Against Uncertainty Quantification | |
| CN113468046A (zh) | 一种面向多目标的dnn模型的诱导输入生成的方法 | |
| Wang et al. | Rethinking Meta-Learning from a Learning Lens | |
| Li et al. | Multiple landscape measure-based approach for dynamic optimization problems | |
| CN118196567B (zh) | 基于大语言模型的数据评价方法、装置、设备及存储介质 | |
| Guo et al. | Conjugate gradient algorithm for efficient covariance tracking with Jensen‐Bregman LogDet metric |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |