CN109961145B - 一种针对图像识别模型分类边界敏感的对抗样本生成方法 - Google Patents

一种针对图像识别模型分类边界敏感的对抗样本生成方法 Download PDF

Info

Publication number
CN109961145B
CN109961145B CN201910256169.6A CN201910256169A CN109961145B CN 109961145 B CN109961145 B CN 109961145B CN 201910256169 A CN201910256169 A CN 201910256169A CN 109961145 B CN109961145 B CN 109961145B
Authority
CN
China
Prior art keywords
gene
value
original
population
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910256169.6A
Other languages
English (en)
Other versions
CN109961145A (zh
Inventor
张全新
周宇田
郭烽
王坤庆
李沛桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Publication of CN109961145A publication Critical patent/CN109961145A/zh
Application granted granted Critical
Publication of CN109961145B publication Critical patent/CN109961145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Genetics & Genomics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种针对图像识别模型分类边界敏感的对抗样本生成方法，属于神经网络安全，机器对抗领域。包括如下步骤：步骤一、初始参数设定；步骤二、生成初始基因种群；步骤三、基因交叉；步骤四、基因变异；步骤五、基因选择；步骤六、基因进化迭代；步骤七、减少对抗样本与原始样本不同像素点的个数；步骤八、减少对抗样本与原始样本不同RGB channels的个数；步骤九、缩小对抗样本与原始图片的像素值差异。本发明提出的黑盒攻击方法不依赖于模型返回的置信度，只需要一个最终的分类标签即可；针对于大型图片生成对抗样本具有很好的效果；在参数调节恰当的情况下，比一般的基于决策边界的攻击方法所需要的查询次数更少。

Description

一种针对图像识别模型分类边界敏感的对抗样本生成方法
技术领域
本发明涉及一种针对图像识别模型分类边界敏感的对抗样本生成方法，属于机器学习以及图像识别技术领域。
技术背景
自从深度神经网络被提出以来，深度神经网络得到了长足的发展。目前，深度神经网络已经应用在了自然语言处理，文本挖掘，恶意软件检测，语音识别，图像识别等领域。特别是在图像识别领域，深度神经网络已经显示出比传统图像识别算法更大的优势。因为深度神经网络在对图像进行识别标注的时候不需要抽取图片的特征，它只需要大量的图片作为训练数据进行训练，让神经网络自己学习经验和知识达到准确识别图片的效果。目前的研究表明，神经网络能够达到很高的准确率。尽管神经网络能够在图像识别领域表现得十分优秀，但是有研究表明神经网络同时也对扰动十分敏感。当一些微小的白噪声被添加到一张正常的图片上的时候，神经网络可能会对图片产生错误的分类，但是不影响人类视觉的正确识别。神经网络的这一特性导致了其在现实领域中应用需要十分谨慎。
目前根据对抗样本的生成方法，按照对被攻击对象信息的了解程度可以分为白盒攻击，灰盒攻击和黑盒攻击。白盒攻击可以获取被攻击模型的全部信息，包括内部参数，模型结构，梯度信息，训练数据集等。而黑盒模型则不知道关于模型的任何信息，只能对模型进行图片查询操作。灰盒攻击则是知道部分的模型信息。
发明内容
本发明的目的在于针对现有对抗样本生成方法在不知道神经网络模型的相关信息的情况下，对模型进行黑盒攻击，生成能让模型产生靶向错误的技术缺陷，设计了一种针对图像识别模型分类边界敏感的对抗样本生成方法。
本发明的核心思想为：针对前提条件：已有一个黑盒模型作为被攻击的目标模型，且目标模型对于查询图片只返回不包括置信度的分类标签，除此之外，关于模型的任何信息都不可获取；对模型进行不断的查询探测出不同类别的决策边界，利用进化以及二分方法找到合适的靶向对抗样本。
所述对抗样本生成方法，包括以下步骤：
步骤一：选择源-目标图片对，经查询得到目标标签并确定基因种群大小；具体包括如下子步骤：
步骤1.1：选择目标图片；
其中，目标图片，即target image,记为TI；
步骤1.2：选择原始图片；
其中，原始图片，即source image,记为SI；
其中，步骤1.1中的目标图片和步骤1.2中的原始图片组成了源-目标图片对；
步骤1.3：根据目标图片查询被攻击模型，得到目标标签；
其中，目标标签，即target label,TL；
步骤1.4：确定基因种群大小，即种群中个体的数目n；
步骤二：生成原始基因种群，具体包括如下子步骤：
步骤2.1：设定基因初始化概率值，初始化概率值标定了基因中值为1的元素所占的最大百分比；
初始化概率值，即initial probability,IP；
步骤2.2：根据IP生成n个基因，要求这n个基因对应的对抗样本得标签依旧被目标模型识别为TL；
其中，步骤2.2中根据IP生成的n个基因组成了原始基因种群；原始基因种群中的基因是一个二维数组，二维数组中每个元素的值为0或1，二维数组的大小即是要生成的对抗样本的大小，也即是步骤1.1和步骤1.2中目标图片和原始图片的大小；
步骤三：对基因进行两两交叉，具体包括如下子步骤：
步骤3.1：将原始基因种群中的基因全部复制到新的基因种群中；
步骤3.2：设定基因交叉概率值，新的基因种群中的基因中值为1的元素以这个概率继续保持为1；
其中，交叉概率值，即crossover probability,CP；
步骤3.3：从原始基因种群中选择“在此之前没有被配对和被选择过的”两个不同的基因a和基因b；
步骤3.4：将选定的基因a和基因b进行或操作生成新的基因c；
步骤3.5：根据CP对基因c中的值为1的元素进行值保留或者翻转为0的操作，具体为：当随机概率值小于CP时进行翻转，当随机概率值大于或等于CP时保留原值；
步骤3.6：将基因c表达为对抗样本，用目标模型判断该对抗样本的标签，如果标签为TL，那么将基因c加入到新的基因种群；否则，舍弃基因c；
步骤3.7：重复上述步骤3.3到步骤3.6直到原始基因种群中所有的基因都已经两两配对；
步骤四：针对基因种群中的每个基因进行基因变异操作，具体包括如下子步骤：
步骤4.1：将原始基因种群中的基因全部复制到新的基因种群中去；
步骤4.2：设定基因变异概率，基因中为0的元素将以这个概率进行值翻转，由0变成1，即当随机概率值小于MP时将0变为1，否则仍旧保持值为0；
变异概率，即mutation probability,MP；
步骤4.3：从原始基因种群中选择一个未被选择过的基因，按照MP对选择的基因进行值翻转生成新的基因a；
步骤4.4：将基因a表达为对抗样本，用目标模型判断该对抗样本的标签，如果标签为TL，那么将基因a加入到新的基因种群；否则，舍弃基因a；
步骤4.5：重复上述步骤4.3和步骤4.4直到原始基因种群中的基因全都遍历；
步骤4.6：舍弃原始基因种群，将新的基因种群代替原始基因种群；
步骤五：针对基因种群进行基因选择操作，具体包括如下子步骤：
步骤5.1：计算基因种群中每个基因中值为1的元素的个数，并将所有的基因按照此由高到低进行排序；
步骤5.2：按照排序截取前n个基因作为新的基因种群，替代原始基因种群；
步骤六：基因进化迭代，具体包括如下子步骤：
步骤6.1：重复步骤三到步骤五直到重复的次数达到某个限定值或者已生成了一个值为1的元素的百分占比达到了某个限定值的基因；
步骤6.2：从基因种群中将含有值为1的元素最多的基因选出，作为后续操作的基础；
步骤七：减少对抗样本与原始图片的不同像素点的个数，即减少基因中0的数目，具体包括如下子步骤：
步骤7.1：针对步骤六中选定的基因，遍历其中所有值为0的元素；
步骤7.2：将元素的值由0改为1；
步骤7.3：将基因表达成对抗样本，用目标模型判断该对抗样本的标签；如果标签为TL，那么保留本次元素的修改，否则将元素值由1回滚为0；
步骤7.4：重复上述步骤7.2和步骤7.3直到所有值为0的元素全部遍历一遍；
步骤7.5：重复步骤7.4直到没有元素的值被修改，从而生成了最新的基因；
步骤八：减少对抗样本与原始图片的不同RGB channels的个数，具体包括如下子步骤：
步骤8.1：将二维的基因扩展到三维，即新增第三维表示RGB channels，原始基因元素值为0的，增加的第三维值全为0，原始基因元素值为1的，增加的第三维值全为1；在像素层面的操作转移到了RGB channels层面的操作；
步骤8.2：遍历三维基因中所有值为0的元素；
步骤8.3：将元素值由0变为1；
步骤8.4：将基因表达成对抗样本，用目标模型判断该对抗样本的标签；如果标签为TL，那么保留本次元素的修改，否则将元素值由1回滚为0；
步骤8.5：重复上述步骤8.3和步骤8.4直到所有值为0的元素全部遍历一遍；
步骤8.6：重复步骤8.5直到没有元素的值被修改，从而生成了最新的基因；
步骤九：缩小对抗样本与原始图片的像素值差异，即用二分法逐渐将当前对抗样本的像素值向原始图片靠近，具体包括如下子步骤：
步骤9.1：将步骤8.6生成的基因表达为对抗样本；
步骤9.2：计算步骤9.1中生成的对抗样本与原始图片的差距，两者的差生成三维向量difference；
步骤9.3：遍历difference中不为0的元素，记录这些元素对应的下标；
步骤9.4：根据记录的下标找到对抗样本中对应的RGB通道；
步骤9.5：记录对抗样本和原始图片在步骤9.4找到的RGB通道上的值，分别记为a和b，此二值构成一个连续闭区间，用二分查找的方法在[a,b]区间中查找一个新的值c，c满足的条件为c再向b靠近一个像素值则会改变对抗样本的标签，通过二分查找法找到c值之后将c值赋给对抗样本对应的RGB通道；
步骤9.6：重复步骤9.3到步骤9.5直到向量difference中没有元素被修改。至此，对抗样本即为最终的对抗样本。
步骤9.1：将步骤8.6生成的最新的基因表达为对抗样本；
步骤9.2：计算对抗样本与原始图片的差距，生成二维向量difference；
步骤9.3：遍历difference中不为0的元素，记录这些元素对应的下标；
步骤9.4：根据记录的下标找到对抗样本中对应的RGB channels；
步骤9.5：用二分查找的方法缩小对抗样本和原始图片的RGB差值；
步骤9.6：重复步骤9.3到步骤9.5直到没有元素被修改，至此，生成了最终的对抗样本。
有益效果
本发明一种基于遗传算法的分类边界探测的黑盒攻击方法与现有的黑盒攻击方法相比，具有以下优势。
1.本发明提出的方法不仅是一种黑盒攻击，而且不依赖于模型返回的置信度，只需要一个最终的分类标签即可；
2.本发明提出的方法针对于大型图片生成对抗样本具有很好的效果。而且实验表明，图片越大，效果越好；
3.本发明提出的方法在参数调节恰当的情况下，比一般的基于决策边界的攻击方法所需要的查询次数更少。
附图说明
图1是本发明一种基于遗传算法的分类边界探测的黑盒攻击方法中目标图片target image，原始图片source image，对抗样本adversarial image和基因gene之间的关系；
图2是本发明一种基于遗传算法的分类边界探测的黑盒攻击方法中步骤9.5二分查找法的原理；
图3是本发明一种基于遗传算法的分类边界探测的黑盒攻击方法中实施例1中的原始图片；
图4是本发明一种基于遗传算法的分类边界探测的黑盒攻击方法实施例1中的目标图片；
图5是发明是本发明一种基于遗传算法的分类边界探测的黑盒攻击方法实施例1中样本生成过程中查询次数与像素变化情况说明；
图6是本发明一种基于遗传算法的分类边界探测的黑盒攻击方法实施例1中的90组对抗示例效果展示。
具体实施方式
下面结合附图和实施例对本发明做进一步的说明和阐述。
实施例1
本实施例详细阐述了应用本发明所述的一种基于遗传算法的分类边界探测的黑盒攻击方法攻击实验室本地ResNet50黑盒模型的过程。本实施例选用Keras提供的ResNet50作为被攻击的目标黑盒模型，该模型具有能识别1000个图片分类的能力，构建本地实验室目标黑盒模型环境时只需要从Keras工具包导入该模型即可。为了保证模型黑盒的特性，在本实施例中，对模型的利用仅限于查询图片的TOP1标签，并且不参考其返回的置信度等其他数据。攻击过程如下：
1.选择原始图片(图3)和目标图片(图4)，并将两张图片的大小置为224x 224；
2.确定目标标签为owl；
3.确定基因种群的大小为5；
4.设定IP为0.03；
5.生成一个大小为224x 224的二维数组作为基因，每个元素的值初始化为0，以0.03的概率让这些0变为1，然后将基因表达为对抗样本，即值为1表示对抗样本对应位置的像素来自SI，值为0表示来自TI。查询该对抗样本的标签，若标签是owl，则保留这个基因；
6.如此生成5个基因作为原始基因种群；
7.设定CP为1；
8.将基因种群中的5个基因两两进行或操作，得到新的基因后将新的基因表达为对抗样本。查询该对抗样本的标签，若标签是owl，则保留这个基因；
9.设定MP为0.005；
10.将基因种群中的所有基因按照0.005的概率将0翻转为1，得到新的基因后将新的基因表达为对抗样本。查询该对抗样本的标签，若标签是owl，则保留这个基因；
11.将基因种群中所有的基因按照1的数目排序，选择前5个基因作为新的基因种群，进行下一轮迭代进化；
12.直到迭代论述达到1000次或者出现了1的数目达到95％的基因则停止迭代进化，选出含有1数目最多的基因；
13.遍历当前基因中所有为0的元素，并逐一将0改成1，得到新的基因后将新的基因表达为对抗样本。查询该对抗样本的标签，若标签是owl，则保留这次修改，否则回滚到0；
14.重复遍历多次，直到找不到能够从0改为1的元素；
15.将基因扩展到三维，变成224x 224x 3大小的三维数组，即原基因中的0被扩展为[0,0,0]；
16.遍历当前基因中所有为0的元素，并逐一将0改成1，得到新的基因后将新的基因表达为对抗样本。查询该对抗样本的标签，若标签是owl，则保留这次修改，否则回滚到0；
17.重复遍历多次，直到找不到能够从0改为1的元素；
18.将当前的基因表达为对抗样本，与原始图片作对比，用二分法，如图2所示，逐渐将当前对抗样本的像素值向原始图片靠近。直到无法找到可以继续修改的像素值为止；
19.至此，对抗样本生成。
本发明一种基于遗传算法的分类边界探测的黑盒攻击方法中目标图片targetimage，原始图片source image，对抗样本adversarial image和基因gene之间的关系，如图1所示。
对抗样本的变化情况见图5，最终生成的对抗样本人眼看到的是猫头鹰(owl)但实际上ResNet50却将其识别为海豹(seal)，达到了我们的攻击目的。整个过程查询了20000次左右，最终的对抗样本相对于原始图片修改了0.1％的像素值。
后续又用本发明提出的方法针对上述的黑盒模型做了90组对抗攻击实验，实验结果表明本发明提出的方法能100％完成黑盒攻击，效果展示见图6，所有的对抗样本相对于原始图片平均修改的幅度为0.4％。
与其他发明的对比
目前在图像识别领域大都是关于如何准确识别图像，搭建高精度的识别模型，并没有和本专利类似的针对图像识别模型的对抗样本生生方法。
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

Claims (1)

1.一种针对图像识别模型分类边界敏感的对抗样本生成方法，其特征在于：包括以下步骤：
步骤一：选择源-目标图片对，经查询得到目标标签并确定基因种群大小；具体包括如下子步骤：
步骤1.1：选择目标图片；
其中，目标图片，即target image,记为TI；
步骤1.2：选择原始图片；
其中，原始图片，即source image,记为SI；
其中，步骤1.1中的目标图片和步骤1.2中的原始图片组成了源-目标图片对；
步骤1.3：根据目标图片查询被攻击模型，得到目标标签；
其中，目标标签，即target label,TL；
步骤1.4：确定基因种群大小，即种群中个体的数目n；
步骤二：生成原始基因种群，具体包括如下子步骤：
步骤2.1：设定基因初始化概率值，IP标定了基因中值为1的元素所占的最大百分比；
初始化概率值，即initial probability,IP；
步骤2.2：根据IP生成n个基因，要求这n个基因对应的对抗样本得标签依旧被目标模型识别为TL；
其中，步骤2.2中根据IP生成的n个基因组成了原始基因种群；原始基因种群中的基因是一个二维数组，二维数组中每个元素的值为0或1，二维数组的大小即是要生成的对抗样本的大小，也即是步骤1.1和步骤1.2中目标图片和原始图片的大小；
步骤三：对基因进行两两交叉，具体包括如下子步骤：
步骤3.1：将原始基因种群中的基因全部复制到新的基因种群中；
步骤3.2：设定基因交叉概率值，新的基因种群中的基因中值为1的元素以这个概率继续保持为1；
交叉概率值，即crossover probability,CP；
步骤3.3：从原始基因种群中选择“在此之前没有被配对和被选择过的”两个不同的基因a和基因b；
步骤3.4：将选定的基因a和基因b进行或操作生成新的基因c；
步骤3.5：根据CP对基因c中的值为1的元素进行值保留或者翻转为0的操作，具体为：当随机概率值小于CP时进行翻转，当随机概率值大于或等于CP时保留原值；
步骤3.6：将基因c表达为对抗样本，用目标模型判断该对抗样本的标签，如果标签为TL，那么将基因c加入到新的基因种群；否则，舍弃基因c；
步骤3.7：重复上述步骤3.3到步骤3.6直到原始基因种群中所有的基因都已经两两配对；
步骤四：针对基因种群中的每个基因进行基因变异操作，具体包括如下子步骤：
步骤4.1：将原始基因种群中的基因全部复制到新的基因种群中去；
步骤4.2：设定基因变异概率，基因中为0的元素将以这个概率进行值翻转，由0变成1，即当随机概率值小于MP时将0变为1，否则仍旧保持值为0；
变异概率，即mutation probability,MP；
步骤4.3：从原始基因种群中选择一个未被选择过的基因，按照MP对选择的基因进行值翻转生成新的基因a；
步骤4.4：将基因a表达为对抗样本，用目标模型判断该对抗样本的标签，如果标签为TL，那么将基因a加入到新的基因种群；否则，舍弃基因a；
步骤4.5：重复上述步骤4.3和步骤4.4直到原始基因种群中的基因全都遍历；
步骤4.6：舍弃原始基因种群，将新的基因种群代替原始基因种群；
步骤五：针对基因种群进行基因选择操作，具体包括如下子步骤：
步骤5.1：计算基因种群中每个基因中值为1的元素的个数，并将所有的基因按照此由高到低进行排序；
步骤5.2：按照排序截取前n个基因作为新的基因种群，替代原始基因种群；
步骤六：基因进化迭代，具体包括如下子步骤：
步骤6.1：重复步骤三到步骤五直到重复的次数达到某个限定值或者已生成了一个值为1的元素的百分占比达到了某个限定值的基因；
步骤6.2：从基因种群中将含有值为1的元素最多的基因选出，作为后续操作的基础；
步骤七：减少对抗样本与原始图片的不同像素点的个数，即减少基因中0的数目，具体包括如下子步骤：
步骤7.1：针对步骤六中选定的基因，遍历其中所有值为0的元素；
步骤7.2：将元素的值由0改为1；
步骤7.3：将基因表达成对抗样本，用目标模型判断该对抗样本的标签；如果标签为TL，那么保留本次元素的修改，否则将元素值由1回滚为0；
步骤7.4：重复上述步骤7.2和步骤7.3直到所有值为0的元素全部遍历一遍；
步骤7.5：重复步骤7.4直到没有元素的值被修改，从而生成了最新的基因；
步骤八：减少对抗样本与原始图片的不同RGB channels的个数，具体包括如下子步骤：
步骤8.1：将二维的基因扩展到三维，即新增第三维表示RGB channels，原始基因元素值为0的，增加的第三维值全为0，原始基因元素值为1的，增加的第三维值全为1；在像素层面的操作转移到了RGB channels层面的操作；
步骤8.2：遍历三维基因中所有值为0的元素；
步骤8.3：将元素值由0变为1；
步骤8.4：将基因表达成对抗样本，用目标模型判断该对抗样本的标签；如果标签为TL，那么保留本次元素的修改，否则将元素值由1回滚为0；
步骤8.5：重复上述步骤8.3和步骤8.4直到所有值为0的元素全部遍历一遍；
步骤8.6：重复步骤8.5直到没有元素的值被修改，从而生成了最新的基因；
步骤九：缩小对抗样本与原始图片的像素值差异，即用二分法逐渐将当前对抗样本的像素值向原始图片靠近，具体包括如下子步骤：
步骤9.1：将步骤8.6生成的基因表达为对抗样本；
步骤9.2：计算步骤9.1中生成的对抗样本与原始图片的差距，两者的差生成三维向量difference；
步骤9.3：遍历difference中不为0的元素，记录这些元素对应的下标；
步骤9.4：根据记录的下标找到对抗样本中对应的RGB通道；
步骤9.5：记录对抗样本和原始图片在步骤9.4找到的RGB通道上的值，分别记为a和b，此二值构成一个连续闭区间，用二分查找的方法在[a,b]区间中查找一个新的值c，c满足的条件为c再向b靠近一个像素值则会改变对抗样本的标签，通过二分查找法找到c值之后将c值赋给对抗样本对应的RGB通道；
步骤9.6：重复步骤9.3到步骤9.5直到向量difference中没有元素被修改，至此，对抗样本即为最终的对抗样本。
CN201910256169.6A 2018-12-21 2019-04-01 一种针对图像识别模型分类边界敏感的对抗样本生成方法 Active CN109961145B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811573255 2018-12-21
CN2018115732551 2018-12-21

Publications (2)

Publication Number Publication Date
CN109961145A CN109961145A (zh) 2019-07-02
CN109961145B true CN109961145B (zh) 2020-11-13

Family

ID=67025475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910256169.6A Active CN109961145B (zh) 2018-12-21 2019-04-01 一种针对图像识别模型分类边界敏感的对抗样本生成方法

Country Status (1)

Country Link
CN (1) CN109961145B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027628B (zh) * 2019-12-12 2022-03-11 支付宝(杭州)信息技术有限公司 一种模型确定方法和系统
CN111507384B (zh) * 2020-04-03 2022-05-31 厦门大学 一种黑盒深度模型对抗样本生成方法
CN111753880B (zh) * 2020-05-27 2023-06-27 华东师范大学 一种规避对抗样本攻击的图像分类方法
WO2022141625A1 (en) * 2021-01-04 2022-07-07 Robert Bosch Gmbh Method and apparatus for generating training data for graph neural network
CN113111731A (zh) * 2021-03-24 2021-07-13 浙江工业大学 基于测信道信息的深度神经网络黑盒对抗样本生成方法及系统
CN113571067B (zh) * 2021-06-21 2023-12-26 浙江工业大学 一种基于边界攻击的声纹识别对抗样本生成方法
CN113610904B (zh) * 2021-07-19 2023-10-20 广州大学 3d局部点云对抗样本生成方法、系统、计算机及介质
CN113642029B (zh) * 2021-10-12 2021-12-24 华中科技大学 一种度量数据样本与模型决策边界相关性的方法及系统
CN114139631B (zh) * 2021-12-03 2023-07-28 华北电力大学 一种面向多目标训练对象可选择的灰盒的对抗样本生成方法
CN113902962B (zh) * 2021-12-09 2022-03-04 北京瑞莱智慧科技有限公司 目标检测模型的后门植入方法、装置、介质和计算设备
CN116543268B (zh) * 2023-07-04 2023-09-15 西南石油大学 基于通道增强联合变换的对抗样本生成方法及终端

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007866B2 (en) * 2016-04-28 2018-06-26 Microsoft Technology Licensing, Llc Neural network image classifier
CN108615048B (zh) * 2018-04-04 2020-06-23 浙江工业大学 基于扰动进化对图像分类器对抗性攻击的防御方法

Also Published As

Publication number Publication date
CN109961145A (zh) 2019-07-02

Similar Documents

Publication Publication Date Title
CN109961145B (zh) 一种针对图像识别模型分类边界敏感的对抗样本生成方法
CN109840531B (zh) 训练多标签分类模型的方法和装置
CN111027060B (zh) 基于知识蒸馏的神经网络黑盒攻击型防御方法
Lerch-Hostalot et al. Unsupervised steganalysis based on artificial training sets
CN110276377B (zh) 一种基于贝叶斯优化的对抗样本生成方法
Tolias et al. Targeted mismatch adversarial attack: Query with a flower to retrieve the tower
CN109639710B (zh) 一种基于对抗训练的网络攻击防御方法
CN113674140B (zh) 一种物理对抗样本生成方法及系统
CN112633311A (zh) 利用输入数据结构的高效黑盒对抗性攻击
CN110334806A (zh) 一种基于生成式对抗网络的对抗样本生成方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN110348475A (zh) 一种基于空间变换的对抗样本增强方法和模型
CN111754519B (zh) 一种基于类激活映射的对抗防御方法
CN114419323B (zh) 基于跨模态学习与领域自适应rgbd图像语义分割方法
CN112200243A (zh) 一种基于低问询图像数据的黑盒对抗样本生成方法
Lv et al. Chinese character CAPTCHA recognition based on convolution neural network
CN113704758A (zh) 一种黑盒攻击对抗样本生成方法及系统
Ding et al. Beyond universal person re-identification attack
CN114399630A (zh) 基于信念攻击和显著区域扰动限制的对抗样本生成方法
CN113901448A (zh) 基于卷积神经网络和轻量级梯度提升机的入侵检测方法
CN114139631B (zh) 一种面向多目标训练对象可选择的灰盒的对抗样本生成方法
CN112529025A (zh) 一种数据处理方法及装置
CN112861759B (zh) 一种对抗样本生成方法及装置
CN114372505A (zh) 一种无监督网络对齐方法和系统
Tan et al. Wide Residual Network for Vision-based Static Hand Gesture Recognition.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant