CN111881034A - 一种基于距离的对抗样本生成方法 - Google Patents
一种基于距离的对抗样本生成方法 Download PDFInfo
- Publication number
- CN111881034A CN111881034A CN202010714696.XA CN202010714696A CN111881034A CN 111881034 A CN111881034 A CN 111881034A CN 202010714696 A CN202010714696 A CN 202010714696A CN 111881034 A CN111881034 A CN 111881034A
- Authority
- CN
- China
- Prior art keywords
- distance
- sample
- data
- neural network
- confrontation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 210000002569 neuron Anatomy 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims description 2
- 239000011229 interlayer Substances 0.000 claims description 2
- 239000010410 layer Substances 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims 1
- 238000003062 neural network model Methods 0.000 abstract description 12
- 238000011156 evaluation Methods 0.000 abstract description 11
- 238000012545 processing Methods 0.000 abstract description 4
- 238000013136 deep learning model Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013522 software testing Methods 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种基于距离的对抗样本生成方法，包含数据集与神经网络模型处理模块、对抗样本生成模块和距离评估模块。在数据集与神经网络模型处理模块，获取用户输入的数据集和神经网络模型文件，对神经网络模型进行还原，在本地生成一个用户的神经网络模型。在对抗样本生成模块，对于数据集中的每一个数据，采用筛选后的对抗样本生成方法去生成对抗样本，通过计算每次迭代的梯度，每次迭代都会进行有效的的对抗扰动。在距离评估模块，通过采用L_∞、L_2和L_1三种范数对扰动大小进行评估，通过计算生成的对抗样本与原样本的距离。
Description
技术领域
本发明属于软件测试领域，特别是涉及到对抗样本生成，基于生成的对抗样本与原样本的距离，评估生成对抗样本的质量。
背景技术
近年来，深度学习与深度神经网络发展迅猛，深度学习模型已经关系到社会生活的方方面面。因此，保障深度学习模型质量的测试技术也随之有着越发重要的地位。传统的软件测试技术已然无法满足深度学习模型复杂多样，难以理解等特点。因此，针对深度学习模型的新的测试技术成为当前学术界和工业界的重要热点问题。事实证明，在某些领域，对抗样本可以有效的找出深度学习模型的bug，提升深度学习模型的质量。对抗样本[1]为对输入样本故意添加一些人无法察觉的细微的干扰，导致模型以高置信度给出一个错误的输出。对抗样本只需要对原数据进行计算，不需要人工标注，节省了大量的人力成本。
在深度学习模型测试中，对抗样本生成测试已成为主流方法，这是因为深度学习数据的碎片化，深度学习模型的的不可解释性，以及测试场景的多样性。但是，对抗样本生成的开放性也容易导致质量差的结果。质量控制是对抗样本生成的重大挑战，尤其是对于多次迭代的对抗样本生成方法，如up。对抗样本生成中的质量控制策略主要分为对抗样本攻击能力，对抗样本扰动大小等。对于大多数数据(甚至是普通的应用用户)来说，很容易在迭代计算中得到对抗样本。但未经限制的对抗样本很难保持原有性质，这导致了对抗样本通常包含一些新的性质，从而导致对抗样本质量低下。这些问题对于深度学习模型的缺陷定位与修复工作造成了很大的不便与负担。现阶段对于对抗样本的质量管理是缺乏有效手段的，因此，我们希望研究一种辅助手段来帮助评估对抗样本性质，从而达到对抗样本质量管理的目的。
在对抗样本方面，已经有一些研究者做了一些初步的工作，但是现有工作局限于对抗样本的生成，对对抗样本质量评估支持较弱。
基于上述工作，本发明深度挖掘了在深度学习模型的对抗样本与原数据的距离信息。这些信息对于人员来说是简单而可理解的。但对于机器来说，想要自动化地识别这些信息并将其归纳为失败的对抗样本是需要进一步技术处理工作的。因此，本发明基于这些已有的研究成果，将相应的对抗样本生成技术进行总结，修改，并添加新的技术方法，将其应用于深度学习模型中的对抗样本的生成与评估，加强对生成对抗样本的质量筛选，从而自动化地生成对抗样本。
发明内容
本发明要解决的问题是：深度学习模型测试中对抗样本生成方法生成的对抗样本质量地下，难以形成有效缺陷修复作用的问题。我们的发明能够评估其与原数据之间的关系，并由此自动化生成高质量的对抗样本，解决对抗样本质量低下的问题。
本发明的技术方案为：一种基于距离评估的对抗样本生成的方法，其特征是能够根据一张深度学习原数据生成一份可靠的对抗样本。该生成方法包含以下三个模块：
1)数据集与神经网络模型处理模块：首先，获取用户输入的数据集和神经网络模型文件，获取神经网络模型的结构信息，神经元数量，每个神经元权重，激活函数，对神经网络模型进行还原，在本地生成一个用户的神经网络模型。将输入的数据集进行解码等操作，将数据集转化成本项目中用于数值计算的python的numpy数据。
2)对抗样本生成模块。系统首先先针对此数据集，先随机筛选出一部分的数据，用不同的对抗样本生成方法生成对抗样本，并评估每个生成方法生成单个对抗样本的平均时间。根据生成的平均时间，排除时间耗时超过阈值的对抗样本生成方法，因为此方法对于此数据集可能花费太大，会影响后面生成对抗样本整体流程的花费。对于数据集中的每一个数据，采用筛选后的对抗样本生成方法去生成对抗样本，通过计算每次迭代的梯度，每次迭代都会进行有效的的对抗扰动。在迭代周期结束之后每一个对抗样本生成方法默认都会生成一个对抗样本，当然用户也可以设置生成对抗样本的数量。所以每一个数据都会有几个不同方法生成的对抗样本。
3)距离评估模块：首先将生成的对抗样本与原数据都提取特征，转换成向量表示。通过采用L_∞、L_2和L_1三种范数对扰动大小进行评估，通过计算生成的对抗样本与原样本的距离。经过大量的实验与计算，评估出距离的合理阈值。去掉扰动大小超出阈值的对抗样本，进而保证生成对抗样本的性质与原数据保持一致。
本发明的特点在于：
1.在对抗样本生成领域首次提出利用基于时间评估对抗样本生成技术。
2.首次将距离评估应用于对抗样本的生成。
附图说明
图1为本发明实施总流程图。
图2为关键步骤1流程图。
图3为关键步骤2流程图。
图4为关键步骤3流程图。
具体实施方式
以下通过特定的具体的实例说明本发明的实施方式，本领域的技术人员可由本说明书揭露的内容轻易地了解到本发明的其他优点和功效。
本专利实施基于距离评估的对抗样本自动生成，主要采用了对抗样本生成技术，涉及到的具体关键技术有深度卷积神经网络(CNN)、梯度下降技术、距离评估技术。
1.特征提取
在本发明中，我们采用卷积神经网络的方法对用户上传的数据文件进行特征提取，将一张图片转化为一个特征向量。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征。
2.深度神经网络还原
本发明中，我们面向的网络是深度神经网络，深度神经网络主要有卷积、池化、激活函数组成，由于深度神经网络具有不可解释性，故难以从白盒测试的角度来度量原始数据集的充分性。但是神经元几乎是代表深度神经网络的一个通用特征，神经元的结构和权重代表了深度神经网络的认知行为，神经元的输出最终决定了神经网络的输出。故在导入深度神经网络时，会对神经元进行插桩，进而计算出数据输入以后神经元的输出的变化，从而计算数据扰动后的梯度方向。
3.对抗样本方法时间评估
本发明中，需要通过对抗样本生成方法，计算原数据，迭代的扰动，从而生成对抗样本。而时间成本是对抗生成的重要成本，因此要度量不同对抗样本所需要花费的时间长度，从而排除时间成本不可承受的方法。本发明中采用数据集抽样来代替整个数据集的方法，计算不同对抗样本生成方法对于抽样的数据的平均生成时间，从而得出该方法对这个数据集的大概时间成本。
4.对抗样本生成
本发明中，我们采用梯度计算，将卷积神经网络所生成的图像特征向量扰动成为对抗样本。在机器学习算法中，在最小化损失函数时，可以通过梯度法来一步步的迭代求解，得到最小化的损失函数，和模型参数值。在生成对抗样本时，通过对数据在沿着梯度的方向加上扰动，可以使得扰动是最有效的，可以有效的找到使得神经网络出错的数据。
5.距离评估
本发明中，我们采用L范式距离计算，将扰动所生成的对抗样本与原数据相比较，得到他们的距离关系。L范式是一系列的计算距离的函数，常用的有L0，L2，L∞范式，他们可以有效的计算两个数据之间的距离。
在本实例中，数据特征提取部分的深度神经网络计算，将输入的图片转化成数据向量。在神经网络模型还原部分我们采用了公开可用的的神经网络模型还原方法以生成计算对抗样本生成的神经网络。对抗样本过滤时使用的对抗样本列表是由我们自动地从我们的数据集中扰动生成而成的，共有五种生成方法，每种方法都会生成若干个对抗样本。最后的对抗样本评估部分，我们采用的是L范式距离评估方法，有效的计算生成的对抗样本与原样本的性质差异，排除性质可能改变的对抗样本。
Claims (4)
1.一种基于距离的对抗样本生成方法，其特征是对生成的对抗样本与原数据都提取特征，转换成向量表示；通过计算生成的对抗样本与原样本的距离，评估出距离的合理阈值；通过对神经元进行插桩，计算数据扰动后的梯度方向。
2.根据权利要求1所描述的对生成的对抗样本与原数据都提取特征，转换成向量表示，其特征是：采用卷积神经网络的方法对用户上传的数据文件进行特征提取，将一张图片转化为一个特征向量。进行监督学习和非监督学习，使用隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征。
3.根据权利要求1所描述的通过计算生成的对抗样本与原样本的距离，评估出距离的合理阈值，其特征是：采用L范式距离计算，将扰动所生成的对抗样本与原数据相比较，得到他们的距离关系。
4.根据权利要求1所描述的通过对神经元进行插桩，计算数据扰动后的梯度方向。其特征是：在导入深度神经网络时，会对神经元进行插桩，进而计算出数据输入以后神经元的输出的变化，从而计算数据扰动后的梯度方向。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010714696.XA CN111881034A (zh) | 2020-07-23 | 2020-07-23 | 一种基于距离的对抗样本生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010714696.XA CN111881034A (zh) | 2020-07-23 | 2020-07-23 | 一种基于距离的对抗样本生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111881034A true CN111881034A (zh) | 2020-11-03 |
Family
ID=73155378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010714696.XA Pending CN111881034A (zh) | 2020-07-23 | 2020-07-23 | 一种基于距离的对抗样本生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111881034A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165671A (zh) * | 2018-07-13 | 2019-01-08 | 上海交通大学 | 基于样本到决策边界距离的对抗样本检测方法 |
| CN110084002A (zh) * | 2019-04-23 | 2019-08-02 | 清华大学 | 深度神经网络攻击方法、装置、介质和计算设备 |
| CN110532545A (zh) * | 2019-07-23 | 2019-12-03 | 福建奇点时空数字科技有限公司 | 一种基于复合神经网络建模的数据信息抽取方法 |
| CN110569916A (zh) * | 2019-09-16 | 2019-12-13 | 电子科技大学 | 用于人工智能分类的对抗样本防御系统及方法 |
| CN110717602A (zh) * | 2019-09-29 | 2020-01-21 | 南京大学 | 一种基于噪音数据的机器学习模型鲁棒性评估方法 |
| CN111325324A (zh) * | 2020-02-20 | 2020-06-23 | 浙江科技学院 | 一种基于二阶方法的深度学习对抗样本生成方法 |
| CN111368725A (zh) * | 2020-03-03 | 2020-07-03 | 广州大学 | 一种基于深度学习的hrrp有目标对抗样本生成方法 |
-
2020
- 2020-07-23 CN CN202010714696.XA patent/CN111881034A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165671A (zh) * | 2018-07-13 | 2019-01-08 | 上海交通大学 | 基于样本到决策边界距离的对抗样本检测方法 |
| CN110084002A (zh) * | 2019-04-23 | 2019-08-02 | 清华大学 | 深度神经网络攻击方法、装置、介质和计算设备 |
| CN110532545A (zh) * | 2019-07-23 | 2019-12-03 | 福建奇点时空数字科技有限公司 | 一种基于复合神经网络建模的数据信息抽取方法 |
| CN110569916A (zh) * | 2019-09-16 | 2019-12-13 | 电子科技大学 | 用于人工智能分类的对抗样本防御系统及方法 |
| CN110717602A (zh) * | 2019-09-29 | 2020-01-21 | 南京大学 | 一种基于噪音数据的机器学习模型鲁棒性评估方法 |
| CN111325324A (zh) * | 2020-02-20 | 2020-06-23 | 浙江科技学院 | 一种基于二阶方法的深度学习对抗样本生成方法 |
| CN111368725A (zh) * | 2020-03-03 | 2020-07-03 | 广州大学 | 一种基于深度学习的hrrp有目标对抗样本生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109408389B (zh) | 一种基于深度学习的代码缺陷检测方法及装置 | |
| CN108549841A (zh) | 一种基于深度学习的老人跌倒行为的识别方法 | |
| CN108398268A (zh) | 一种基于堆叠去噪自编码器和自组织映射的轴承性能退化评估方法 | |
| CN111325403B (zh) | 一种公路隧道机电设备剩余寿命预测方法 | |
| CN113344295A (zh) | 基于工业大数据的设备剩余寿命预测方法、系统及介质 | |
| CN109813542A (zh) | 基于生成式对抗网络的空气处理机组的故障诊断方法 | |
| CN113902104A (zh) | 联合无监督域自适应策略和注意力机制的非侵入式负荷监测方法 | |
| Wu et al. | Optimized deep learning framework for water distribution data-driven modeling | |
| CN114170184A (zh) | 一种基于嵌入特征向量的产品图像异常检测方法及装置 | |
| CN114500004A (zh) | 一种基于条件扩散概率生成模型的异常检测方法 | |
| CN117290800A (zh) | 一种基于超图注意力网络的时序异常检测方法及系统 | |
| CN111858343A (zh) | 一种基于攻击能力的对抗样本生成方法 | |
| CN113283546B (zh) | 加热炉完整性管理集控装置的炉况异常报警方法及系统 | |
| CN111368648A (zh) | 雷达辐射源个体识别方法、装置、电子设备及其存储介质 | |
| CN114580262A (zh) | 一种锂离子电池健康状态估计方法 | |
| CN110750848A (zh) | 一种考虑软件运行的软－硬件退化系统剩余寿命估计的方法 | |
| CN110288002B (zh) | 一种基于稀疏正交神经网络的图像分类方法 | |
| CN117110446A (zh) | 识别车轴疲劳裂纹声发射信号方法 | |
| CN111881034A (zh) | 一种基于距离的对抗样本生成方法 | |
| CN114387524B (zh) | 基于多层级二阶表征的小样本学习的图像识别方法和系统 | |
| CN112149311B (zh) | 一种基于数量规约的非线性多元统计回归测井曲线预测方法 | |
| CN115186574A (zh) | 一种基于门控循环残差网络的刀具剩余寿命预测方法 | |
| CN111104868B (zh) | 一种基于卷积神经网络特征的跨质量人脸识别方法 | |
| CN117909881A (zh) | 多源数据融合的抽油机的故障诊断方法及装置 | |
| CN111310907A (zh) | 一种微波组件故障诊断方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201103 |