CN113486736B - 一种基于活跃子空间与低秩进化策略的黑盒对抗攻击方法 - Google Patents
一种基于活跃子空间与低秩进化策略的黑盒对抗攻击方法 Download PDFInfo
- Publication number
- CN113486736B CN113486736B CN202110685660.8A CN202110685660A CN113486736B CN 113486736 B CN113486736 B CN 113486736B CN 202110685660 A CN202110685660 A CN 202110685660A CN 113486736 B CN113486736 B CN 113486736B
- Authority
- CN
- China
- Prior art keywords
- rank
- active
- image
- subspace
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000002779 inactivation Effects 0.000 claims abstract description 8
- 238000005516 engineering process Methods 0.000 claims abstract description 3
- 238000003709 image segmentation Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 8
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 238000013016 damping Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000003094 perturbing effect Effects 0.000 claims 1
- 238000012163 sequencing technique Methods 0.000 claims 1
- 239000003086 colorant Substances 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 235000000332 black box Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000415 inactivating effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Genetics & Genomics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于活跃子空间与低秩进化策略的黑盒对抗攻击方法,包括步骤如下：(1)采用图像分割技术，确定原始图像中对扰动较为敏感的活跃子空间；(2)利用低秩进化策略计算、更新附加在活跃子空间中的扰动；(3)配合基于安全裕度的目标函数；(4)种群中的每个个体随机选择区域实现活跃子空间失活；(5)满足迭代停止条件，输出对抗样本。本发明能实现生成高质量、低查询次数、低成本的对抗样本分布，所得对抗样本扩展性好、质量高。
Description
技术领域
本发明涉及黑盒对抗攻击方法，尤其涉及一种基于活跃子空间与低秩进化策略的黑盒对抗攻击方法。
背景技术
随着深度学习系统在各领域的广泛应用，这些系统在面对恶意攻击者时的安全性已经成为一个重要的研究领域。在自动驾驶领域，系统通过识别道路附近的标志牌来转变方向、控制时速。而攻击者只要在指示牌贴上少量不易被人察觉到的小方块，就能够使得系统错判，不能按照实际路况行进，极大地影响了自动驾驶的广泛使用。
根据攻击者获得信息的能力，对抗样本生成技术可分为白盒攻击与黑盒攻击。白盒攻击者可以获得模型的结构、参数以及训练集等信息；黑盒攻击者则受到更多的约束，往往只能通过查询来访问模型，攻击难度也大幅度提升。当前白盒对抗样本的生成方法已发展得较为成熟，可达到较高的攻击成功率。但由于深度学习模型往往是远程部署，攻击者只有访问权限而得不到详细的内部信息，所以在实际情况下白盒攻击的实用性并不高，黑盒攻击更加符合现实情况。黑盒攻击也因此成为了当前的研究热点。
目前，常见的黑盒攻击主要分为三类：基于优化的方法、基于决策边界的方法和基于迁移学习的方法。
基于优化的方法通过一定的算法构造输入，然后根据模型的反馈不断迭代修改输入，较为典型的是单像素攻击与基于自然进化策略(NES)的攻击。但是单像素攻击只对包含较少像素信息的图像可行，如CIFAR-10与MNIST数据集，而对于ImageNet数据集中信息量比较大的图像则显得力不从心。基于自然进化策略的攻击为了应对图像中的高维数据问题，使用固定步长，避免计算协方差矩阵带来的内存与时间损耗。但是会损失大量模型反馈信息，需要较高的查询次数，攻击成本较高。
基于决策边界的方法完全依赖于模型的最终决策。平均每成功生成一幅对抗样本需要10万次左右的查询，代价昂贵，并且生成的对抗样本可扩展性低。
基于迁移学习的方法，则需首先训练替代模型，然后对替代模型使用白盒攻击来生成对抗样本，再利用这些样本对黑盒模型进行攻击。缺点是替代模型较难对目标模型进行准确模拟。并且当对方模型有所改动时，基于替代模型生成的对抗样本会在成功率上大打折扣。
发明内容
发明目的：本发明的目的是基于活跃子空间与低秩进化策略，提供一种黑盒条件下，实现高质量、低查询次数、低成本的对抗样本生成方法。
技术方案：本发明的黑盒对抗攻击方法，包括如下步骤：
(1)确定原始图像中含有信息的位置，该位置囊括对扰动较为敏感的边界、线条，被称为活跃子空间；
(2)设计基于安全裕度的目标函数；
(3)利用低秩进化策略计算、更新附加在活跃子空间中的扰动；
(4)采用基于安全裕度的目标函数，对种群中的每个个体随机选择区域实现活跃子空间失活，将不敏感区域的扰动置为零；
(5)满足迭代停止条件，输出对抗样本。
进一步，所述步骤(1)实现步骤如下：
(11)平滑图像：当滤波模板滑过将被平滑的图像时，每个像素被由该滤波模板定义的邻域中的像素的平均值代替；
(12)图片二值化：将平滑后的图像转为非黑即白的二值图像，在黑白图像数据集中，直接设计阈值，得到二值化图像；在彩色图像中，使用红色或黄色通道作为二值化基础，并根据设定的阈值，得到多个二值图像；
(13)定义活跃子空间区域：检测二值图像的轮廓，返回该轮廓最大外接矩形的起点位置、长和宽；如果为彩色图像，则计算步骤12中得到的多个二值图像的最大外接矩形的面积，选取面积最大的矩形，作为活跃子空间区域；所述活跃子空间区域囊括了图像线条、颜色变化剧烈的区域。
进一步，所述步骤(2)实现步骤如下：
(21)基于安全裕度的非目标攻击：
其中，D(·)代表被攻击模型的输出结果，xclecan是被模型正确分类为类别y的原始输入，c代表模型的预测结果；则D(xclean+θ)y是真实标签y的概率，是最大候选类别的概率；θ是在图像增加的扰动；γ是引入的较小的非负值常数，代表安全裕度；
(22)定义新的损失函数公式h(θ)：
(23)增加正则项，则目标函数f可定义为：
其中，||·||p代表扰动的范数，p取值为常数，是评价对抗样本质量的重要指标；k是损失值与样本质量之间的平衡参数。
进一步，所述步骤(3)实现步骤如下：
(31)通过采样来估计梯度，选用协方差矩阵自适应进化策略CMA-ES，将优化目标函数问题转化为优化采样样本的期望值J(θ)问题：
其中，ξ是分布参数，E是f(θ)的期望；
(32)用均值m和协方差矩阵C参数化的高斯分布空间：
ξ＝(m，C)
(33)基于CMA-ES的参数更新方法：
其中，xi是每代中的第i个个体，维度与活跃子空间大小一致；η是学习率；wi是第i个最好个体对应的权重，由高到低排列；N为种群中个体个数；均值与协方差矩阵的角标t为第t代，t+1为下一代；
(34)低秩进化策略协方差分解；采用秩1进化策略R1-ES，将R1-ES协方差矩阵的更新表示为：
其中，α，β∈(0，1)为控制参数；I为单位矩阵；pt∈Rn为主要搜索方向，代表协方差矩阵最大特征值对应的特征向量，R为实数集；n是扰动维度；
(35)基于低秩进化策略的参数更新；
将每代种群中的个体xi按照目标函数值进行排序：
f(x1：λ)≤f(x2∶λ)≤…≤f(xλ∶λ)
其中，x1∶λ代表在大小为λ的种群中，最优的个体；xλ∶λ则代表最差的个体，第一个角标代表个体在种群中的排序值，第二个角标代表种群的大小。
分布均值更新为：
从整个种群中挑选前μ个优秀个体，更新下一代分布的均值；
主搜索方向更新：
其中，v为变化率，取值为σt为第t代的步长；
将父代与子代个体的目标函数值分别以Ft，Ft+1表示，将父代与子代的个体合并为Ft∪Ft+1，并按照目标函数值进行排序，则Ft，Ft+1分别对应于代数的序列值表示为Rt，Rt+1；
则序列值差异q可表示为：
子代累积秩率st+1可根据父代st表示为：
st+1＝(1-cs)st+cs(q-q*)
其中，q*为目标比；cs为关于累积秩率的变化率；
子代步长σt+1根据父代σt与阻尼系数dσ进行更新，其中阻尼系数决定了ln(σt)的变化幅度：
其中，dσ≥1；
(36)对抗样本生成：为便于将扰动附加于原始图片，以零填充非活跃子空间区域，扰动θt可表示为：
θt＝fill(mt，xpos，ypos，w，h)
进一步，所述步骤(4)实现步骤如下：
(41)结合在步骤(2)中设计的基于安全裕度的目标函数，随机将个体中某些活跃子空间的扰动置零，实现活跃子空间失活；
(42)经过排序，保留优秀个体继续进行参数更新。
进一步，所述步骤(5)满足任一迭代停止条件，则输出对抗样本，实现步骤如下：
(51)当成功得到对抗样本并且质量满足条件时，停止迭代；
(52)设定最大迭代次数，如满足迭代次数，则停止迭代；
(53)满足设定阈值，则停止迭代，输出对抗样本。
本发明与现有技术相比，其显著效果如下：1、利用低秩进化策略来估计黑盒模型梯度，不仅保留了模型的反馈信息，也降低了模型的查询次数，黑盒攻击效率高，确保自动驾驶系统按实际路况行进；2、本发明得到的是对抗样本的分布，在此分布中采样，能够获得成百上千的对抗样本，提升了对抗样本的可扩展性，降低攻击成本；3、通过激活活跃子空间，降低了扰动像素点个数；通过活跃子空间失活，降低了添加扰动后图像与原始图像的欧式距离；4、将扰动限制在活跃子空间中，降低了扰动维度，保留了最易受轻微扰动攻击的像素点，对于探究对抗样本存在的原因具有启发意义，也更加贴近实际攻击者的行为。
附图说明
图1为本发明的对抗样本生成的流程图；
图2为本发明的总示意图。
具体实施方式
下面结合说明书附图和具体实施方式对本发明做进一步详细描述。
以自动驾驶系统通过识别道路附近的标志牌来转变方向、控制时速为例，根据自动驾驶系统采集的道路标志牌等信息，本发明首先采用图像分割技术，确定自动驾驶系统采集的原始图像中含有较多信息的位置，该位置囊括了众多对于分类起到关键作用的特征，例如对扰动较为敏感的边界、线条，可被称为活跃子空间。接着，利用低秩进化策略计算、更新附加在活跃子空间中的扰动。再配合基于安全裕度的目标函数，种群中的每个个体随机选择区域实现活跃子空间失活，将较为不敏感区域的扰动置为零，最终生成高质量、低查询次数、低成本的对抗样本分布。
如图1和图2所示为本发明的黑盒对抗攻击方法，实现过程包括以下步骤：
步骤1，活跃子空间激活。
步骤11，平滑图像。本发明选择使用大小为5×5的内核作为滤波模板，对自动驾驶系统采集的原始图像进行卷积计算；当滤波模板滑过将被平滑的图像时，每个像素被由该滤波模板定义的邻域中的像素的平均值代替。
步骤12，图片二值化。结合数据集特性，设计二值化阈值，将平滑后的图像转为非黑即白的二值图像。在只有两种颜色的指示牌中，可以直接设计阈值，得到二值化图像；在颜色丰富的指示牌中，可以使用红色或黄色通道作为二值化基础，并根据合适的阈值以及区分方法，例如cv2.THRESH_BINARY，像素值大于阈值100则用255(白色)表示，小于阈值使用0(黑色)表示；cv2.THRESH_BINARY_INV则恰恰相反，大于阈值100，使用0表示，小于阈值则使用255表示，得到多个二值图像。
步骤13，定义活跃子空间区域。检测二值图像的轮廓，返回该轮廓最大外接矩形的起点位置(xpos，ypos)、长h和宽w。如果为彩色图像，则计算步骤12中得到的多个二值图像的最大外接矩形的面积，选取面积最大的矩形，作为活跃子空间区域。此区域大多囊括了图像线条、颜色变化剧烈的区域，在此区域增加扰动，更易攻击成功。
步骤2，设计目标函数。
步骤21，基于安全裕度的非目标攻击：
式(1)中，D(·)代表被攻击模型的输出结果，xclean是被模型正确分类为类别y的原始输入，c代表模型的预测结果；则D(xclean+θ)y是真实标签y的概率，是最大候选类别的概率；θ是在图像增加的扰动；γ是引入的较小的非负值常数，代表安全裕度，取值为0.15；
步骤22，在步骤21的基础上，定义新的损失函数公式h(θ)，则：
如果攻击失败(增加扰动后的图像仍被模型判别为原始类别y)，则有h(θ)＞0。如果攻击成功(增加扰动后的图像被预测为其他类别)但是两个概率之间的差小于安全裕度γ，则-γ＜h(θ)＜0。如果攻击成功并且概率差满足安全裕度，则有h(θ)＝-γ。因此，上述损失函数是对抗攻击的稳健度量。
步骤23，在步骤22的基础上，增加正则项，则目标函数f可定义为：
式(3)中，||·||p代表扰动的范数；p常取值为0、1、2或∞，是评价对抗样本质量的重要指标；k是损失值与样本质量之间的平衡参数。
步骤3，基于低秩进化策略迭代计算附加于活跃子空间的扰动。
步骤31，在黑盒攻击的条件下，无法获取模型的梯度，增加了优化目标函数的难度。通过采样来估计梯度，可解决这一难题，代表方法为协方差矩阵自适应进化策略(CMA-ES)。将优化目标函数问题转化为优化采样样本目标函数的期望值问题，使用J(θ)表示采样样本目标函数的期望值，即
式(4)中，ξ是分布参数，E是f(θ)的期望。
步骤32，对于用均值m和协方差矩阵C参数化的高斯分布空间，方法如下：
ξ＝(m，C) (5)
步骤33，基于CMA-ES的参数更新方法：
式(6)中，xi是每代中的第i个个体，维度与活跃子空间大小一致；η是学习率；wi是第i个最好个体对应的权重，由高到低排列；N为种群中个体个数；均值与协方差矩阵的角标t为第t代，t+1为下一代。
步骤34，低秩进化策略协方差分解。
在使用步骤33中全协方差矩阵来生成新的候选解时，需要耗费大量的计算量，限制了CMA-ES在图像领域的发展。本发明采用秩1进化策略(R1-ES)，在迭代中只保留协方差矩阵中的主要方向，将计算复杂度降低为与扰动维度线性相关。将R1-ES协方差矩阵的更新表示为：
式(7)中，α，β∈(0，1)为控制参数；I为单位矩阵；pt∈Rn为主要搜索方向，代表协方差矩阵最大特征值对应的特征向量，R为实数集；n是扰动维度。
步骤35，基于低秩进化策略的参数更新。
将每代种群中的个体xi(即扰动)按照目标函数值进行排序：
f(x1:λ)≤f(x2:λ)≤…≤f(Xλ:λ) (8)
式(8)中，x1:λ代表在大小为λ的种群中，最优的个体；x1:λ代表在大小为λ的种群中，最优的个体；xλ:λ则代表最差的个体，第一个角标代表个体在种群中的排序值，第二个角标代表种群的大小；个体xi，i＝1，2，...，λ；
分布均值更新为：
从整个种群中挑选前μ个优秀个体，来更新下一代分布的均值。
主搜索方向更新：
式(10)中，v为变化率，取值为以保证每代的搜索方向相反方向抵消，相同分量增加，保留最具价值的搜索方向；σt为第t代的步长。
将此代(即父代)与下一代(即子代)个体的目标函数值分别以Ft，Ft+1表示，将父代与子代的个体合并为Ft∪Ft+1，并按照目标函数值进行排序，则Ft，Ft+1分别对应于代数的序列值可表示为Rt，Rt+1。
则序列值差异q可表示为：
子代累积秩率st+1可根据父代st表示为：
st+1＝(1-cs)st+cs(q-q*) (12)
式(12)中，q*为目标比，决定了变异强度，设置为0.3；cs为关于累积秩率的变化率，取值为0.3。
子代步长σt+1可根据父代步长σt与阻尼系数dσ(dσ≥1)进行更新，其中阻尼系数决定了ln(σt)(即对父代步长σt取自然对数)的变化幅度：
步骤36，对抗样本生成。
在步骤35中，每代的个体、分布均值的维度由活跃子空间大小决定，低于原始图像维度。为便于将扰动附加于原始图片，需要以零填充非活跃子空间区域。即扰动θt可表示为：
θt＝fill(mt，xpos，ypos，w，h) (14)
步骤4，活跃子空间失活。
步骤41，在生成成功使模型错判的对抗样本后，可能会面临生成样本质量不高的问题。结合在步骤2中设计的基于安全裕度的目标函数，随机将个体中某些活跃子空间的扰动置零，实现活跃子空间失活，提升对抗样本质量。
步骤42，因种群中的每一个体失活区域不同，所以计算得到的目标函数会有差异。经过排序，保留优秀个体继续进行参数更新。
步骤5，满足任一迭代停止条件，输出对抗样本。
条件1，当成功得到对抗样本并且质量较优时(也就是在只包含两种颜色的指示牌中l2范数小于1.5，多种颜色的指示牌中l2范数小于1.0，其中l2为添加扰动后图像与原始图像的欧式距离)，可停止迭代。
条件2，设定最大迭代次数，如满足迭代次数，则停止迭代，以保证查询的高效。
条件3，极小的步长对于对抗样本质量提升作用较小。设定阈值σ＜0.00001，则停止迭代，输出对抗样本。此步骤能够降低查询次数，提升查询效率。
通过本发明所述的方法，自动驾驶系统能够识别被攻击后的道路标志牌，并能按照实际路况行进，提高了自动驾驶系统的道路识别效率。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种基于活跃子空间与低秩进化策略的黑盒对抗攻击方法，其特征在于，包括如下步骤：
(1)采用图像分割技术，确定原始图像中含有信息的位置，该位置囊括对扰动敏感的边界、线条，被称为活跃子空间；
(2)设计基于安全裕度的目标函数；
(3)利用低秩进化策略计算、更新附加在活跃子空间中的扰动；
(4)采用基于安全裕度的目标函数，对种群中的每个个体随机选择区域实现活跃子空间失活，将不敏感区域的扰动置为零；经过迭代排序，保留优秀个体继续进行参数更新；
(5)满足迭代停止条件，输出对抗样本；所述步骤(2)的目标函数f定义为：
其中，||·||p代表扰动的范数，p取值为常数，是评价对抗样本质量的指标；k是损失值与样本质量之间的平衡参数；
D(·)代表被攻击模型的输出结果，xclean是被模型正确分类为类别y的原始输入，c代表模型的预测结果；则D(xclean+θ)y是真实标签y的概率，是最大候选类别的概率；θ是在图像增加的扰动；γ是引入的非负值常数，代表安全裕度；
所述步骤(3)实现步骤如下：
(31)通过采样来估计梯度，选用协方差矩阵自适应进化策略CMA-ES，将优化目标函数问题转化为优化采样样本的期望值J(θ)问题：
其中，ξ是分布参数，E是f(θ)的期望；
(32)对样本用均值m和协方差矩阵C参数化的高斯分布空间：
ξ＝(m，C)
(33)基于CMA-ES的参数更新方法：
其中，xi是每代中的第i个个体，维度与活跃子空间大小一致；η是学习率；wi是第i个最优个体对应的权重，由高到低排列；N为种群中个体个数；均值与协方差矩阵的角标t为第t代，t+1为下一代；
(34)低秩进化策略协方差分解；采用秩1进化策略R1-ES，将R1-ES协方差矩阵的更新表示为：
其中，α，β∈(0，1)为控制参数；I为单位矩阵；pt∈Rn为主要搜索方向，代表协方差矩阵最大特征值对应的特征向量，R为实数集；n是扰动维度；
(35)基于低秩进化策略的参数更新；
将每代种群中的个体xi按照目标函数值进行排序：
f(x1：λ)≤f(x2：λ)≤…≤f(xλ：λ)
其中,x1：λ代表在大小为λ的种群中，最优个体；xλ：λ则代表最差个体，第一个角标代表个体在种群中的排序值，第二个角标代表种群的大小；
分布均值更新为：
从整个种群中挑选前μ个优秀个体，更新下一代分布的均值；
主搜索方向更新：
其中，v为变化率，取值为 σt为第t代的步长；
将父代与子代个体的目标函数值分别以Ft，Ft+1表示，则父代与子代的个体合并为Ft∪Ft+1，并按照目标函数值进行排序，则Ft，Ft+1分别对应于代数的序列值表示为Rt，Rt+1；
则序列值差异q表示为：
子代累积秩率st+1根据父代累积秩率st表示为：
st+1＝(1-cs)st+cs(q-q*)
其中，q*为目标比；cs为关于累积秩率的变化率；
子代步长σt+1根据父代步长σt与阻尼系数dσ进行更新,其中阻尼系数决定了ln(σt)的变化幅度：
其中，dσ≥1；
(36)对抗样本生成：为便于将扰动附加于原始图片，以零填充非活跃子空间区域，扰动θt表示为：
θt＝fill(mt，xpos，ypos，w，h)
其中，fill()表示用零填充非活跃子空间区域；xpos表示活跃子空间区域起点的横坐标,ypos表示活跃子空间区域起点的纵坐标，ω表示活跃子空间区域的宽度，h表示活跃子空间区域的长度。
2.根据权利要求1所述的基于活跃子空间与低秩进化策略的黑盒对抗攻击方法，其特征在于，所述步骤(1)实现步骤如下：
(11)平滑图像：当滤波模板滑过将被平滑的图像时，每个像素被由该滤波模板定义的邻域中的像素的平均值代替；
(12)图片二值化：将平滑后的图像转为非黑即白的二值图像，在黑白图像数据集中，直接设计阈值，得到二值化图像；在彩色图像中，使用红色通道作为二值化基础，并根据设定的阈值，得到多个二值图像；
(13)定义活跃子空间区域：检测二值图像的轮廓，返回该轮廓最大外接矩形的起点位置、长和宽；如果为彩色图像，则计算步骤(12)中得到的多个二值图像的最大外接矩形的面积，选取面积最大的矩形，作为活跃子空间区域；所述活跃子空间区域囊括了图像线条和颜色变化剧烈的区域。
3.根据权利要求1所述的基于活跃子空间与低秩进化策略的黑盒对抗攻击方法，其特征在于，所述步骤(4)实现步骤如下：
(41)结合在步骤(2)中设计的基于安全裕度的目标函数，随机将个体中某些活跃子空间的扰动置零，实现活跃子空间失活；
(42)经过排序，保留优秀个体继续进行参数更新。
4.根据权利要求1所述的基于活跃子空间与低秩进化策略的黑盒对抗攻击方法，其特征在于，所述步骤(5)满足任一迭代停止条件，则输出对抗样本：
条件1：当成功得到对抗样本并且质量满足条件时，停止迭代；
条件2：设定最大迭代次数，如满足迭代次数，则停止迭代；
条件3：满足设定步长阈值，则停止迭代，输出对抗样本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110685660.8A CN113486736B (zh) | 2021-06-21 | 2021-06-21 | 一种基于活跃子空间与低秩进化策略的黑盒对抗攻击方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110685660.8A CN113486736B (zh) | 2021-06-21 | 2021-06-21 | 一种基于活跃子空间与低秩进化策略的黑盒对抗攻击方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113486736A CN113486736A (zh) | 2021-10-08 |
| CN113486736B true CN113486736B (zh) | 2024-04-02 |
Family
ID=77935598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110685660.8A Active CN113486736B (zh) | 2021-06-21 | 2021-06-21 | 一种基于活跃子空间与低秩进化策略的黑盒对抗攻击方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113486736B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115641490A (zh) * | 2022-10-11 | 2023-01-24 | 华为技术有限公司 | 一种数据处理方法及其装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276377A (zh) * | 2019-05-17 | 2019-09-24 | 杭州电子科技大学 | 一种基于贝叶斯优化的对抗样本生成方法 |
| CN111967006A (zh) * | 2020-08-13 | 2020-11-20 | 成都考拉悠然科技有限公司 | 基于神经网络模型的自适应黑盒对抗攻击方法 |
| CN112200243A (zh) * | 2020-10-09 | 2021-01-08 | 电子科技大学 | 一种基于低问询图像数据的黑盒对抗样本生成方法 |
| DE102020211851A1 (de) * | 2019-09-24 | 2021-03-25 | Robert Bosch Gesellschaft mit beschränkter Haftung | Auf bayes'scher optimierung basierende abfrageeffiziente gegnerische black-box-angriffe |
| DE102020211853A1 (de) * | 2019-09-24 | 2021-03-25 | Robert Bosch Gesellschaft mit beschränkter Haftung | Effiziente gegnerische blackbox-angriffe unter ausnutzung einer eingabedatenstruktur |
-
2021
- 2021-06-21 CN CN202110685660.8A patent/CN113486736B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276377A (zh) * | 2019-05-17 | 2019-09-24 | 杭州电子科技大学 | 一种基于贝叶斯优化的对抗样本生成方法 |
| DE102020211851A1 (de) * | 2019-09-24 | 2021-03-25 | Robert Bosch Gesellschaft mit beschränkter Haftung | Auf bayes'scher optimierung basierende abfrageeffiziente gegnerische black-box-angriffe |
| DE102020211853A1 (de) * | 2019-09-24 | 2021-03-25 | Robert Bosch Gesellschaft mit beschränkter Haftung | Effiziente gegnerische blackbox-angriffe unter ausnutzung einer eingabedatenstruktur |
| CN111967006A (zh) * | 2020-08-13 | 2020-11-20 | 成都考拉悠然科技有限公司 | 基于神经网络模型的自适应黑盒对抗攻击方法 |
| CN112200243A (zh) * | 2020-10-09 | 2021-01-08 | 电子科技大学 | 一种基于低问询图像数据的黑盒对抗样本生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113486736A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Warde-Farley et al. | 11 adversarial perturbations of deep neural networks | |
| CN109840531B (zh) | 训练多标签分类模型的方法和装置 | |
| CN111368886B (zh) | 一种基于样本筛选的无标注车辆图片分类方法 | |
| DeVries et al. | Learning confidence for out-of-distribution detection in neural networks | |
| CN109754015B (zh) | 用于画作多标签识别的神经网络及相关方法、介质和设备 | |
| Awad et al. | Multicomponent image segmentation using a genetic algorithm and artificial neural network | |
| CN109961145B (zh) | 一种针对图像识别模型分类边界敏感的对抗样本生成方法 | |
| CN110866287B (zh) | 一种基于权重谱生成对抗样本的点攻击方法 | |
| CN111754519B (zh) | 一种基于类激活映射的对抗防御方法 | |
| CN113822328A (zh) | 防御对抗样本攻击的图像分类方法、终端设备及存储介质 | |
| Ellers et al. | Privacy attacks on network embeddings | |
| CN116310530A (zh) | 基于语义聚类的联邦无监督图像分类模型训练方法、分类方法及设备 | |
| Huo et al. | Semisupervised learning based on a novel iterative optimization model for saliency detection | |
| Im et al. | Semisupervised hyperspectral image classification via neighborhood graph learning | |
| CN113486736B (zh) | 一种基于活跃子空间与低秩进化策略的黑盒对抗攻击方法 | |
| Khan et al. | A hybrid defense method against adversarial attacks on traffic sign classifiers in autonomous vehicles | |
| CN116912568A (zh) | 基于自适应类别均衡的含噪声标签图像识别方法 | |
| WO2020075462A1 (ja) | 学習器推定装置、学習器推定方法、リスク評価装置、リスク評価方法、プログラム | |
| Pauling et al. | A tutorial on adversarial learning attacks and countermeasures | |
| Dou et al. | V-SOINN: A topology preserving visualization method for multidimensional data | |
| Zhang et al. | Towards invariant time series forecasting in smart cities | |
| Hui et al. | FoolChecker: A platform to evaluate the robustness of images against adversarial attacks | |
| CN116229172A (zh) | 基于对比学习的联邦少样本图像分类模型训练方法、分类方法及设备 | |
| KR20190134380A (ko) | 합성곱 신경망에 대한 도메인 불변 사람 분류기를 위한 연관성 학습 시스템 및 방법 | |
| CN113379001B (zh) | 针对图像识别模型的处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |