CN109961145A - 一种针对图像识别模型分类边界敏感的对抗样本生成方法 - Google Patents
一种针对图像识别模型分类边界敏感的对抗样本生成方法 Download PDFInfo
- Publication number
- CN109961145A CN109961145A CN201910256169.6A CN201910256169A CN109961145A CN 109961145 A CN109961145 A CN 109961145A CN 201910256169 A CN201910256169 A CN 201910256169A CN 109961145 A CN109961145 A CN 109961145A
- Authority
- CN
- China
- Prior art keywords
- gene
- value
- original
- resisting sample
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Genetics & Genomics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
Abstract
一种针对图像识别模型分类边界敏感的对抗样本生成方法，属于神经网络安全，机器对抗领域。包括如下步骤：步骤一、初始参数设定；步骤二、生成初始基因种群；步骤三、基因交叉；步骤四、基因变异；步骤五、基因选择；步骤六、基因进化迭代；步骤七、减少对抗样本与原始样本不同像素点的个数；步骤八、减少对抗样本与原始样本不同RGB channels的个数；步骤九、缩小对抗样本与原始图片的像素值差异。本发明提出的黑盒攻击方法不依赖于模型返回的置信度，只需要一个最终的分类标签即可；针对于大型图片生成对抗样本具有很好的效果；在参数调节恰当的情况下，比一般的基于决策边界的攻击方法所需要的查询次数更少。
Description
技术领域
本发明涉及一种针对图像识别模型分类边界敏感的对抗样本生成方法，属于机器学习以及图像识别技术领域。
技术背景
自从深度神经网络被提出以来，深度神经网络得到了长足的发展。目前，深度神经网络已经应用在了自然语言处理，文本挖掘，恶意软件检测，语音识别，图像识别等领域。特别是在图像识别领域，深度神经网络已经显示出比传统图像识别算法更大的优势。因为深度神经网络在对图像进行识别标注的时候不需要抽取图片的特征，它只需要大量的图片作为训练数据进行训练，让神经网络自己学习经验和知识达到准确识别图片的效果。目前的研究表明，神经网络能够达到很高的准确率。尽管神经网络能够在图像识别领域表现得十分优秀，但是有研究表明神经网络同时也对扰动十分敏感。当一些微小的白噪声被添加到一张正常的图片上的时候，神经网络可能会对图片产生错误的分类，但是不影响人类视觉的正确识别。神经网络的这一特性导致了其在现实领域中应用需要十分谨慎。
目前根据对抗样本的生成方法，按照对被攻击对象信息的了解程度可以分为白盒攻击，灰盒攻击和黑盒攻击。白盒攻击可以获取被攻击模型的全部信息，包括内部参数，模型结构，梯度信息，训练数据集等。而黑盒模型则不知道关于模型的任何信息，只能对模型进行图片查询操作。灰盒攻击则是知道部分的模型信息。
发明内容
本发明的目的在于针对现有对抗样本生成方法在不知道神经网络模型的相关信息的情况下，对模型进行黑盒攻击，生成能让模型产生靶向错误的技术缺陷，设计了一种针对图像识别模型分类边界敏感的对抗样本生成方法。
本发明的核心思想为：针对前提条件：已有一个黑盒模型作为被攻击的目标模型，且目标模型对于查询图片只返回不包括置信度的分类标签，除此之外，关于模型的任何信息都不可获取；对模型进行不断的查询探测出不同类别的决策边界，利用进化以及二分方法找到合适的靶向对抗样本。
所述对抗样本生成方法，包括以下步骤：
步骤一：选择源-目标图片对，经查询得到目标标签并确定基因种群大小；具体包括如下子步骤：
步骤1.1：选择目标图片；
其中，目标图片，即target image,记为TI；
步骤1.2：选择原始图片；
其中，原始图片，即source image,记为SI；
其中，步骤1.1中的目标图片和步骤1.2中的原始图片组成了源-目标图片对；
步骤1.3：根据目标图片查询被攻击模型，得到目标标签；
其中，目标标签，即target label,TL；
步骤1.4：确定基因种群大小，即种群中个体的数目n；
步骤二：生成原始基因种群，具体包括如下子步骤：
步骤2.1：设定基因初始化概率值，初始化概率值标定了基因中值为1的元素所占的最大百分比；
初始化概率值，即initial probability,IP；
步骤2.2：根据IP生成n个基因，要求这n个基因对应的对抗样本得标签依旧被目标模型识别为TL；
其中，步骤2.2中根据IP生成的n个基因组成了原始基因种群；原始基因种群中的基因是一个二维数组，二维数组中每个元素的值为0或1，二维数组的大小即是要生成的对抗样本的大小，也即是步骤1.1和步骤1.2中目标图片和原始图片的大小；
步骤三：对基因进行两两交叉，具体包括如下子步骤：
步骤3.1：将原始基因种群中的基因全部复制到新的基因种群中；
步骤3.2：设定基因交叉概率值，新的基因种群中的基因中值为1的元素以这个概率继续保持为1；
其中，交叉概率值，即crossover probability,CP；
步骤3.3：从原始基因种群中选择“在此之前没有被配对和被选择过的”两个不同的基因a和基因b；
步骤3.4：将选定的基因a和基因b进行或操作生成新的基因c；
步骤3.5：根据CP对基因c中的值为1的元素进行值保留或者翻转为0的操作，具体为：当随机概率值小于CP时进行翻转，当随机值大于或等于CP时保留原值；
步骤3.6：将基因c表达为对抗样本，用目标模型判断该对抗样本的标签，如果标签为TL，那么将基因c加入到新的基因种群；否则，舍弃基因c；
步骤3.7：重复上述步骤3.3到步骤3.6直到原始基因种群中所有的基因都已经两两配对；
步骤3.8：舍弃原始基因种群，将新的基因种群代替原始基因种群；
步骤四：针对基因种群中的每个基因进行基因变异操作，具体包括如下子步骤：
步骤4.1：将原始基因种群中的基因全部复制到新的基因种群中去；
步骤4.2：设定基因变异概率，基因中为0的元素将以这个概率进行值翻转，由0变成1，即当随机概率值小于MP时将0变为1，否则仍旧保持值为0；
变异概率，即mutation probability,MP；
步骤4.3：从原始基因种群中选择一个未被选择过的基因，按照MP对选择的基因进行值翻转生成新的基因a；
步骤4.4：将基因a表达为对抗样本，用目标模型判断该对抗样本的标签，如果标签为TL，那么将基因a加入到新的基因种群；否则，舍弃基因a；
步骤4.5：重复上述步骤4.3和步骤4.4直到原始基因种群中的基因全都遍历；
步骤4.6：舍弃原始基因种群，将新的基因种群代替原始基因种群；
步骤五：针对基因种群进行基因选择操作，具体包括如下子步骤：
步骤5.1：计算基因种群中每个基因中值为1的元素的个数，并将所有的基因按照此由高到低进行排序；
步骤5.2：按照排序截取前n个基因作为新的基因种群，替代原始基因种群；
步骤六：基因进化迭代，具体包括如下子步骤：
步骤6.1：重复步骤三到步骤五直到重复的次数达到某个限定值或者已生成了一个值为1的元素的百分占比达到了某个限定值的基因；
步骤6.2：从基因种群中将含有值为1的元素最多的基因选出，作为后续操作的基础；
步骤七：减少对抗样本与原始图片的不同像素点的个数，即减少基因中0的数目，具体包括如下子步骤：
步骤7.1：针对步骤六中选定的基因，遍历其中所有值为0的元素；
步骤7.2：将元素的值由0改为1；
步骤7.3：将基因表达成对抗样本，用目标模型判断该对抗样本的标签；如果标签为TL，那么保留本次元素的修改，否则将元素值由1回滚为0；
步骤7.4：重复上述步骤7.2和步骤7.3直到所有值为0的元素全部遍历一遍；
步骤7.5：重复步骤7.4直到没有元素的值被修改，从而生成了最新的基因；
步骤八：减少对抗样本与原始图片的不同RGB channels的个数，具体包括如下子步骤：
步骤8.1：将二维的基因扩展到三维，即新增第三维表示RGB channels，原始基因元素值为0的，增加的第三维值全为0，原始基因元素值为1的，增加的第三维值全为1；在像素层面的操作转移到了RGB channels层面的操作；
步骤8.2：遍历三维基因中所有值为0的元素；
步骤8.3：将元素值由0变为1；
步骤8.4：将基因表达成对抗样本，用目标模型判断该对抗样本的标签；如果标签为TL，那么保留本次元素的修改，否则将元素值由1回滚为0；
步骤8.5：重复上述步骤8.3和步骤8.4直到所有值为0的元素全部遍历一遍；
步骤8.6：重复步骤8.5直到没有元素的值被修改，从而生成了最新的基因；
步骤九：缩小对抗样本与原始图片的像素值差异，即用二分法逐渐将当前对抗样本的像素值向原始图片靠近，具体包括如下子步骤：
步骤9.1：将步骤8.6生成的基因表达为对抗样本；
步骤9.2：计算步骤9.1中生成的对抗样本与原始图片的差距，两者的差生成三维向量difference；
步骤9.3：遍历difference中不为0的元素，记录这些元素对应的下标；
步骤9.4：根据记录的下标找到对抗样本中对应的RGB通道；
步骤9.5：记录对抗样本和原始图片在步骤9.4找到的RGB通道上的值，分别记为a和b，此二值构成一个连续闭区间，用二分查找的方法在[a,b]区间中查找一个新的值c，c满足的条件为c再向b靠近一个像素值则会改变对抗样本的标签，通过二分查找法找到c值之后将c值赋给对抗样本对应的RGB通道；
步骤9.6：重复步骤9.3到步骤9.5直到向量difference中没有元素被修改。至此，对抗样本即为最终的对抗样本。
步骤9.1：将步骤8.6生成的最新的基因表达为对抗样本；
步骤9.2：计算对抗样本与原始图片的差距，生成二维向量difference；
步骤9.3：遍历difference中不为0的元素，记录这些元素对应的下标；
步骤9.4：根据记录的下标找到对抗样本中对应的RGB channels；
步骤9.5：用二分查找的方法缩小对抗样本和原始图片的RGB差值；
步骤9.6：重复步骤9.3到步骤9.5直到没有元素被修改，至此，生成了最终的对抗样本。
有益效果
本发明一种基于遗传算法的分类边界探测的黑盒攻击方法与现有的黑盒攻击方法相比，具有以下优势。
1.本发明提出的方法不仅是一种黑盒攻击，而且不依赖于模型返回的置信度，只需要一个最终的分类标签即可；
2.本发明提出的方法针对于大型图片生成对抗样本具有很好的效果。而且实验表明，图片越大，效果越好；
3.本发明提出的方法在参数调节恰当的情况下，比一般的基于决策边界的攻击方法所需要的查询次数更少。
附图说明
图1是本发明一种基于遗传算法的分类边界探测的黑盒攻击方法中目标图片target image，原始图片source image，对抗样本adversarial image和基因gene之间的关系；
图2是本发明一种基于遗传算法的分类边界探测的黑盒攻击方法中步骤9.5二分查找法的原理；
图3是本发明一种基于遗传算法的分类边界探测的黑盒攻击方法中实施例1中的原始图片；
图4是本发明一种基于遗传算法的分类边界探测的黑盒攻击方法实施例1中的目标图片；
图5是发明是本发明一种基于遗传算法的分类边界探测的黑盒攻击方法实施例1中样本生成过程中查询次数与像素变化情况说明；
图6是本发明一种基于遗传算法的分类边界探测的黑盒攻击方法实施例1中的90组对抗示例效果展示。
具体实施方式
下面结合附图和实施例对本发明做进一步的说明和阐述。
实施例1
本实施例详细阐述了应用本发明所述的一种基于遗传算法的分类边界探测的黑盒攻击方法攻击实验室本地ResNet50黑盒模型的过程。本实施例选用Keras提供的ResNet50作为被攻击的目标黑盒模型，该模型具有能识别1000个图片分类的能力，构建本地实验室目标黑盒模型环境时只需要从Keras工具包导入该模型即可。为了保证模型黑盒的特性，在本实施例中，对模型的利用仅限于查询图片的TOP1标签，并且不参考其返回的置信度等其他数据。攻击过程如下：
1.选择原始图片(图3)和目标图片(图4)，并将两张图片的大小置为224x 224；
2.确定目标标签为owl；
3.确定基因种群的大小为5；
4.设定IP为0.03；
5.生成一个大小为224x 224的二维数组作为基因，每个元素的值初始化为0，以0.03的概率让这些0变为1，然后将基因表达为对抗样本，即值为1表示对抗样本对应位置的像素来自SI，值为0表示来自TI。查询该对抗样本的标签，若标签是owl，则保留这个基因；
6.如此生成5个基因作为原始基因种群；
7.设定CP为1；
8.将基因种群中的5个基因两两进行或操作，得到新的基因后将新的基因表达为对抗样本。查询该对抗样本的标签，若标签是owl，则保留这个基因；
9.设定MP为0.005；
10.将基因种群中的所有基因按照0.005的概率将0翻转为1，得到新的基因后将新的基因表达为对抗样本。查询该对抗样本的标签，若标签是owl，则保留这个基因；
11.将基因种群中所有的基因按照1的数目排序，选择前5个基因作为新的基因种群，进行下一轮迭代进化；
12.直到迭代论述达到1000次或者出现了1的数目达到95％的基因则停止迭代进化，选出含有1数目最多的基因；
13.遍历当前基因中所有为0的元素，并逐一将0改成1，得到新的基因后将新的基因表达为对抗样本。查询该对抗样本的标签，若标签是owl，则保留这次修改，否则回滚到0；
14.重复遍历多次，直到找不到能够从0改为1的元素；
15.将基因扩展到三维，变成224x 224x 3大小的三维数组，即原基因中的0被扩展为[0,0,0]；
16.遍历当前基因中所有为0的元素，并逐一将0改成1，得到新的基因后将新的基因表达为对抗样本。查询该对抗样本的标签，若标签是owl，则保留这次修改，否则回滚到0；
17.重复遍历多次，直到找不到能够从0改为1的元素；
18.将当前的基因表达为对抗样本，与原始图片作对比，用二分法，如图2所示，逐渐将当前对抗样本的像素值向原始图片靠近。直到无法找到可以继续修改的像素值为止；
19.至此，对抗样本生成。
本发明一种基于遗传算法的分类边界探测的黑盒攻击方法中目标图片targetimage，原始图片source image，对抗样本adversarial image和基因gene之间的关系，如图1所示。
对抗样本的变化情况见图5，最终生成的对抗样本人眼看到的是猫头鹰(owl)但实际上ResNet50却将其识别为海豹(seal)，达到了我们的攻击目的。整个过程查询了20000次左右，最终的对抗样本相对于原始图片修改了0.1％的像素值。
后续又用本发明提出的方法针对上述的黑盒模型做了90组对抗攻击实验，实验结果表明本发明提出的方法能100％完成黑盒攻击，效果展示见图6，所有的对抗样本相对于原始图片平均修改的幅度为0.4％。
与其他发明的对比
目前在图像识别领域大都是关于如何准确识别图像，搭建高精度的识别模型，并没有和本专利类似的针对图像识别模型的对抗样本生生方法。
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。
Claims (1)
1.一种针对图像识别模型分类边界敏感的对抗样本生成方法，其特征在于：包括以下步骤：
步骤一：选择源-目标图片对，经查询得到目标标签并确定基因种群大小；具体包括如下子步骤：
步骤1.1：选择目标图片；
其中，目标图片，即target image,记为TI；
步骤1.2：选择原始图片；
其中，原始图片，即source image,记为SI；
其中，步骤1.1中的目标图片和步骤1.2中的原始图片组成了源-目标图片对；
步骤1.3：根据目标图片查询被攻击模型，得到目标标签；
其中，目标标签，即target label,TL；
步骤1.4：确定基因种群大小，即种群中个体的数目n；
步骤二：生成原始基因种群，具体包括如下子步骤：
步骤2.1：设定基因初始化概率值，IP标定了基因中值为1的元素所占的最大百分比；
初始化概率值，即initial probability,IP；
步骤2.2：根据IP生成n个基因，要求这n个基因对应的对抗样本得标签依旧被目标模型识别为TL；
其中，步骤2.2中根据IP生成的n个基因组成了原始基因种群；原始基因种群中的基因是一个二维数组，二维数组中每个元素的值为0或1，二维数组的大小即是要生成的对抗样本的大小，也即是步骤1.1和步骤1.2中目标图片和原始图片的大小；
步骤三：对基因进行两两交叉，具体包括如下子步骤：
步骤3.1：将原始基因种群中的基因全部复制到新的基因种群中；
步骤3.2：设定基因交叉概率值，新的基因种群中的基因中值为1的元素以这个概率继续保持为1；
交叉概率值，即crossover probability,CP；
步骤3.3：从原始基因种群中选择“在此之前没有被配对和被选择过的”两个不同的基因a和基因b；
步骤3.4：将选定的基因a和基因b进行或操作生成新的基因c；
步骤3.5：根据CP对基因c中的值为1的元素进行值保留或者翻转为0的操作，具体为：当随机概率值小于CP时进行翻转，当随机值大于或等于CP时保留原值；
步骤3.6：将基因c表达为对抗样本，用目标模型判断该对抗样本的标签，如果标签为TL，那么将基因c加入到新的基因种群；否则，舍弃基因c；
步骤3.7：重复上述步骤3.3到步骤3.6直到原始基因种群中所有的基因都已经两两配对；
步骤3.8：舍弃原始基因种群，将新的基因种群代替原始基因种群；
步骤四：针对基因种群中的每个基因进行基因变异操作，具体包括如下子步骤：
步骤4.1：将原始基因种群中的基因全部复制到新的基因种群中去；
步骤4.2：设定基因变异概率，基因中为0的元素将以这个概率进行值翻转，由0变成1，即当随机概率值小于MP时将0变为1，否则仍旧保持值为0；
变异概率，即mutation probability,MP；
步骤4.3：从原始基因种群中选择一个未被选择过的基因，按照MP对选择的基因进行值翻转生成新的基因a；
步骤4.4：将基因a表达为对抗样本，用目标模型判断该对抗样本的标签，如果标签为TL，那么将基因a加入到新的基因种群；否则，舍弃基因a；
步骤4.5：重复上述步骤4.3和步骤4.4直到原始基因种群中的基因全都遍历；
步骤4.6：舍弃原始基因种群，将新的基因种群代替原始基因种群；
步骤五：针对基因种群进行基因选择操作，具体包括如下子步骤：
步骤5.1：计算基因种群中每个基因中值为1的元素的个数，并将所有的基因按照此由高到低进行排序；
步骤5.2：按照排序截取前n个基因作为新的基因种群，替代原始基因种群；
步骤六：基因进化迭代，具体包括如下子步骤：
步骤6.1：重复步骤三到步骤五直到重复的次数达到某个限定值或者已生成了一个值为1的元素的百分占比达到了某个限定值的基因；
步骤6.2：从基因种群中将含有值为1的元素最多的基因选出，作为后续操作的基础；
步骤七：减少对抗样本与原始图片的不同像素点的个数，即减少基因中0的数目，具体包括如下子步骤：
步骤7.1：针对步骤六中选定的基因，遍历其中所有值为0的元素；
步骤7.2：将元素的值由0改为1；
步骤7.3：将基因表达成对抗样本，用目标模型判断该对抗样本的标签；如果标签为TL，那么保留本次元素的修改，否则将元素值由1回滚为0；
步骤7.4：重复上述步骤7.2和步骤7.3直到所有值为0的元素全部遍历一遍；
步骤7.5：重复步骤7.4直到没有元素的值被修改，从而生成了最新的基因；
步骤八：减少对抗样本与原始图片的不同RGB channels的个数，具体包括如下子步骤：
步骤8.1：将二维的基因扩展到三维，即新增第三维表示RGB channels，原始基因元素值为0的，增加的第三维值全为0，原始基因元素值为1的，增加的第三维值全为1；在像素层面的操作转移到了RGB channels层面的操作；
步骤8.2：遍历三维基因中所有值为0的元素；
步骤8.3：将元素值由0变为1；
步骤8.4：将基因表达成对抗样本，用目标模型判断该对抗样本的标签；如果标签为TL，那么保留本次元素的修改，否则将元素值由1回滚为0；
步骤8.5：重复上述步骤8.3和步骤8.4直到所有值为0的元素全部遍历一遍；
步骤8.6：重复步骤8.5直到没有元素的值被修改，从而生成了最新的基因；
步骤九：缩小对抗样本与原始图片的像素值差异，即用二分法逐渐将当前对抗样本的像素值向原始图片靠近，具体包括如下子步骤：
步骤9.1：将步骤8.6生成的基因表达为对抗样本；
步骤9.2：计算步骤9.1中生成的对抗样本与原始图片的差距，两者的差生成三维向量difference；
步骤9.3：遍历difference中不为0的元素，记录这些元素对应的下标；
步骤9.4：根据记录的下标找到对抗样本中对应的RGB通道；
步骤9.5：记录对抗样本和原始图片在步骤9.4找到的RGB通道上的值，分别记为a和b，此二值构成一个连续闭区间，用二分查找的方法在[a,b]区间中查找一个新的值c，c满足的条件为c再向b靠近一个像素值则会改变对抗样本的标签，通过二分查找法找到c值之后将c值赋给对抗样本对应的RGB通道；
步骤9.6：重复步骤9.3到步骤9.5直到向量difference中没有元素被修改，至此，对抗样本即为最终的对抗样本。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2018115732551 | 2018-12-21 | ||
| CN201811573255 | 2018-12-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109961145A true CN109961145A (zh) | 2019-07-02 |
| CN109961145B CN109961145B (zh) | 2020-11-13 |
Family
ID=67025475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910256169.6A Active CN109961145B (zh) | 2018-12-21 | 2019-04-01 | 一种针对图像识别模型分类边界敏感的对抗样本生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109961145B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111027628A (zh) * | 2019-12-12 | 2020-04-17 | 支付宝(杭州)信息技术有限公司 | 一种模型确定方法和系统 |
| CN111507384A (zh) * | 2020-04-03 | 2020-08-07 | 厦门大学 | 一种黑盒深度模型对抗样本生成方法 |
| CN111753880A (zh) * | 2020-05-27 | 2020-10-09 | 华东师范大学 | 一种规避对抗样本攻击的图像分类方法 |
| CN113111731A (zh) * | 2021-03-24 | 2021-07-13 | 浙江工业大学 | 基于测信道信息的深度神经网络黑盒对抗样本生成方法及系统 |
| CN113571067A (zh) * | 2021-06-21 | 2021-10-29 | 浙江工业大学 | 一种基于边界攻击的声纹识别对抗样本生成方法 |
| CN113610904A (zh) * | 2021-07-19 | 2021-11-05 | 广州大学 | 3d局部点云对抗样本生成方法、系统、计算机及介质 |
| CN113642029A (zh) * | 2021-10-12 | 2021-11-12 | 华中科技大学 | 一种度量数据样本与模型决策边界相关性的方法及系统 |
| CN113902962A (zh) * | 2021-12-09 | 2022-01-07 | 北京瑞莱智慧科技有限公司 | 目标检测模型的后门植入方法、装置、介质和计算设备 |
| CN114139631A (zh) * | 2021-12-03 | 2022-03-04 | 华北电力大学 | 一种面向多目标训练对象可选择的灰盒的对抗样本生成方法 |
| WO2022141625A1 (en) * | 2021-01-04 | 2022-07-07 | Robert Bosch Gmbh | Method and apparatus for generating training data for graph neural network |
| CN116543268A (zh) * | 2023-07-04 | 2023-08-04 | 西南石油大学 | 基于通道增强联合变换的对抗样本生成方法及终端 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170316281A1 (en) * | 2016-04-28 | 2017-11-02 | Microsoft Technology Licensing, Llc | Neural network image classifier |
| CN108615048A (zh) * | 2018-04-04 | 2018-10-02 | 浙江工业大学 | 基于扰动进化对图像分类器对抗性攻击的防御方法 |
-
2019
- 2019-04-01 CN CN201910256169.6A patent/CN109961145B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170316281A1 (en) * | 2016-04-28 | 2017-11-02 | Microsoft Technology Licensing, Llc | Neural network image classifier |
| CN108615048A (zh) * | 2018-04-04 | 2018-10-02 | 浙江工业大学 | 基于扰动进化对图像分类器对抗性攻击的防御方法 |
Non-Patent Citations (2)
| Title |
|---|
| ANDREW ILYAS 等: "《Black-box Adversarial Attacks with Limited Queries and Information》", 《ARXIV》 * |
| 孟东宇: "《黑盒威胁模型下深度学习对抗样本的生成》", 《电子设计工程》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111027628B (zh) * | 2019-12-12 | 2022-03-11 | 支付宝(杭州)信息技术有限公司 | 一种模型确定方法和系统 |
| CN111027628A (zh) * | 2019-12-12 | 2020-04-17 | 支付宝(杭州)信息技术有限公司 | 一种模型确定方法和系统 |
| CN111507384A (zh) * | 2020-04-03 | 2020-08-07 | 厦门大学 | 一种黑盒深度模型对抗样本生成方法 |
| CN111507384B (zh) * | 2020-04-03 | 2022-05-31 | 厦门大学 | 一种黑盒深度模型对抗样本生成方法 |
| CN111753880A (zh) * | 2020-05-27 | 2020-10-09 | 华东师范大学 | 一种规避对抗样本攻击的图像分类方法 |
| CN111753880B (zh) * | 2020-05-27 | 2023-06-27 | 华东师范大学 | 一种规避对抗样本攻击的图像分类方法 |
| WO2022141625A1 (en) * | 2021-01-04 | 2022-07-07 | Robert Bosch Gmbh | Method and apparatus for generating training data for graph neural network |
| CN113111731A (zh) * | 2021-03-24 | 2021-07-13 | 浙江工业大学 | 基于测信道信息的深度神经网络黑盒对抗样本生成方法及系统 |
| CN113571067A (zh) * | 2021-06-21 | 2021-10-29 | 浙江工业大学 | 一种基于边界攻击的声纹识别对抗样本生成方法 |
| CN113571067B (zh) * | 2021-06-21 | 2023-12-26 | 浙江工业大学 | 一种基于边界攻击的声纹识别对抗样本生成方法 |
| CN113610904A (zh) * | 2021-07-19 | 2021-11-05 | 广州大学 | 3d局部点云对抗样本生成方法、系统、计算机及介质 |
| CN113610904B (zh) * | 2021-07-19 | 2023-10-20 | 广州大学 | 3d局部点云对抗样本生成方法、系统、计算机及介质 |
| CN113642029B (zh) * | 2021-10-12 | 2021-12-24 | 华中科技大学 | 一种度量数据样本与模型决策边界相关性的方法及系统 |
| CN113642029A (zh) * | 2021-10-12 | 2021-11-12 | 华中科技大学 | 一种度量数据样本与模型决策边界相关性的方法及系统 |
| CN114139631A (zh) * | 2021-12-03 | 2022-03-04 | 华北电力大学 | 一种面向多目标训练对象可选择的灰盒的对抗样本生成方法 |
| CN113902962A (zh) * | 2021-12-09 | 2022-01-07 | 北京瑞莱智慧科技有限公司 | 目标检测模型的后门植入方法、装置、介质和计算设备 |
| CN116543268A (zh) * | 2023-07-04 | 2023-08-04 | 西南石油大学 | 基于通道增强联合变换的对抗样本生成方法及终端 |
| CN116543268B (zh) * | 2023-07-04 | 2023-09-15 | 西南石油大学 | 基于通道增强联合变换的对抗样本生成方法及终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109961145B (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109961145A (zh) | 一种针对图像识别模型分类边界敏感的对抗样本生成方法 | |
| CN109639710B (zh) | 一种基于对抗训练的网络攻击防御方法 | |
| CN107704877B (zh) | 一种基于深度学习的图像隐私感知方法 | |
| Lerch-Hostalot et al. | Unsupervised steganalysis based on artificial training sets | |
| CN105069400B (zh) | 基于栈式稀疏自编码的人脸图像性别识别系统 | |
| CN109165688A (zh) | 一种安卓恶意软件家族分类器构建方法及其分类方法 | |
| CN103984738B (zh) | 一种基于搜索匹配的角色标注方法 | |
| CN112069929B (zh) | 一种无监督行人重识别方法、装置、电子设备及存储介质 | |
| CN105205448B (zh) | 基于深度学习的文字识别模型训练方法和识别方法 | |
| CN109299342A (zh) | 一种基于循环生成式对抗网络的跨模态检索方法 | |
| CN106874905B (zh) | 一种基于自学习色彩聚类的自然场景文本检测的方法 | |
| CN101447020B (zh) | 基于直觉模糊的色情图像识别方法 | |
| CN106529499A (zh) | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 | |
| CN107330444A (zh) | 一种基于生成对抗网络的图像自动文本标注方法 | |
| CN108960080A (zh) | 基于主动防御图像对抗攻击的人脸识别方法 | |
| US20230385409A1 (en) | Unstructured text classification | |
| CN110991549A (zh) | 一种针对图像数据的对抗样本生成方法及系统 | |
| CN109583379A (zh) | 一种基于随机擦除行人对齐网络的行人重识别方法 | |
| CN112734775A (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
| CN108681735A (zh) | 基于卷积神经网络深度学习模型的光学字符识别方法 | |
| CN112784790B (zh) | 一种基于元学习的泛化性伪造脸检测方法 | |
| Li et al. | Transfer learning for toxoplasma gondii recognition | |
| CN106503661A (zh) | 基于烟花深度信念网络的人脸性别识别方法 | |
| CN108268890A (zh) | 一种高光谱图像分类方法 | |
| CN112182576A (zh) | 一种基于深度学习中特征碰撞的投毒攻击方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |