CN113689338A - 一种缩放鲁棒性对抗补丁的生成方法 - Google Patents
一种缩放鲁棒性对抗补丁的生成方法 Download PDFInfo
- Publication number
- CN113689338A CN113689338A CN202111048795.XA CN202111048795A CN113689338A CN 113689338 A CN113689338 A CN 113689338A CN 202111048795 A CN202111048795 A CN 202111048795A CN 113689338 A CN113689338 A CN 113689338A
- Authority
- CN
- China
- Prior art keywords
- patch
- countermeasure
- pixel
- superpixel
- countermeasure patch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000008569 process Effects 0.000 claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 16
- 238000010586 diagram Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000009286 beneficial effect Effects 0.000 claims description 9
- 230000002035 prolonged effect Effects 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 235000000332 black box Nutrition 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 238000013508 migration Methods 0.000 description 3
- 230000005012 migration Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010003694 Atrophy Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种缩放鲁棒性对抗补丁的生成方法，包括步骤：随机初始化固定大小的对抗补丁，对初始的对抗补丁中的像素进行分割，得到包含了若干个超像素块的分割模板；S2、随机初始化一维噪声向量，向量的长度与模板中超像素的数量相等；S3、基于模板使用噪声向量初始化对抗补丁，得到初始的超像素对抗补丁；S4、对抗补丁粘贴到图像的随机位置上，得到对抗样本；S5、根据对抗样本的梯度，以像素块的方式迭代更新对抗补丁中的像素；S6、同时使用黑盒指示器为超像素对抗补丁的更新过程增加反馈信息，经过多次迭代更新后最终生成超像素对抗补丁；S7、通过使用CAM模块提取对抗补丁的特征区域并消除冗余的噪声区域，得到最终的超像素对抗补丁块。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种缩放鲁棒性对抗补丁的生成方法。
背景技术
近年来，深度神经网络在许多领域都得到了广泛的应用，例如：图像的分类与识别、目标检测、语义分割等。然而研究表明深度神经网络极易受到对抗样本的攻击，攻击者通过在图像或者待检测目标上添加一些微小的扰动，就能导致神经网络失效，最终得到错误的预测结果，该过程称之为“对抗攻击”。
根据攻击者是否掌握目标模型的结构和参数，对抗攻击可分为白盒攻击和黑盒攻击。白盒攻击中，攻击者利用已知模型的结构或参数进行攻击；而在黑盒攻击中，目标模型的结构和参数是未知的，攻击者可以通过观察目标模型(Attacked Model)的输入和输出进行梯度估计实现攻击，也可以训练出相应的替代模型(Substitute Model)，提高对抗样本在不同模型间的迁移性实施攻击。此外根据是否需要将样本攻击为特定的类别，可分为有目标攻击和无目标攻击。本发明致力于研究实现黑盒有目标攻击。
对抗攻击的实现方法主要分为两类：全局扰动攻击(Whole-pixel Attack)和补丁攻击(Patch Attack)。全局扰动攻击通过在整张图像上添加人眼难以察觉的噪声，实现干扰神经网络的分类，常见的扰动算法如FGSM(快速梯度符号法)、MI-FGSM(动量迭代快速梯度符号法)、PGD(投影梯度下降)等。虽然全局扰动是人眼不可察觉的，但是在现实世界中无法实现。因为全局扰动需要针对每一张图像都生成特定的人眼不可见的全图像扰动，而且无法将扰动直接叠加到整张图像上。为了解决通用性的问题，相关工作提出了补丁攻击的概念。补丁攻击将噪声限制在一块很小的区域内，并且具有较强的攻击效果。与全局噪声相比，补丁攻击更加符合实际需要，只需要使用少部分的图像参与训练，就能生成对整个误分类任务都有效的对抗补丁(Adversarial Patch)，对抗补丁可以粘贴在图像的任意位置实现攻击。
目前关于对抗补丁迁移性的研究有很多，即提升对抗补丁的黑盒攻击能力，但是针对对抗补丁鲁棒性的研究却很少。在实际的黑盒攻击中，目标模型(Attacked Model)通常需要输入固定尺寸的图像，不同模型的输入尺寸可能不同。然而Adversarial Patch(对抗补丁)算法只能对同一分辨率的数据集生成通用的对抗补丁，所以现有的对抗补丁只对特定输入尺寸的图像有效，对图像的缩放操作不够鲁棒。在实际的攻击场景中，粘贴有对抗补丁的图像通常需要先经过图像处理操作，例如缩放操作，然后才能输入到目标模型中进行分类。当我们对图像进行缩放操作时，对抗补丁会丢失部分的语义特征，造成攻击能力下降。现实生活中许多实际场景中都应用到了图像缩放操作。例如，在人脸识别系统中，图像首先需要被统一缩小为112*112，然后再使用神经网络进行分类识别；此外许多图像分类任务都是基于多尺度数据集实现，多尺度数据集主要是通过图像缩放操作得到的。因此提高对抗补丁的缩放鲁棒性具有十分重要的意义。对抗补丁对缩放操作不具有鲁棒性，主要是因为像素级别的特征过于精细，如图1所示，对抗补丁中的每个像素对模型的误分类都起到了一定的作用，因此缩放操作会导致对抗补丁的黑盒攻击能力严重下降。此外我们也通过实验验证了图像的缩放操作确实可以导致对抗补丁严重失真。
现有的提升对抗样本鲁棒性的方法不适用于对抗补丁，直接使用现有技术提升对抗补丁的缩放鲁棒性是不可行的，现有技术存在的局限性主要包括以下几点：
(1)时间资源成本大
现有的方法将图像分割成多个超像素，然后使用对抗样本的梯度更新自定义的噪声向量。每次迭代更新都需要将噪声向量通过函数映射到图像中的每个超像素上，形成全局的超像素噪声，最终仅保留图像显著区域的超像素噪声作为最终的扰动。在该过程中基于梯度信息迭代添加噪声的操作较为频繁，每次迭代更新噪声都需要通过映射操作实现，因此会耗费大量的时间和空间资源。
(2)生成的扰动不是通用的
现有工作依赖于在每张图像的显著区域添加噪声扰动，该噪声扰动是针对单张图像的不是通用的，无法实现提升对抗补丁的缩放鲁棒性。
(3)对抗补丁噪声空间萎缩的问题
相对于整张图像来说，对抗补丁的面积区域很小，直接使用现有的技术将对抗补丁划分为多个超像素块，会造成噪声空间严重萎缩的问题。如何在约束的噪声空间中达到良好的攻击效果仍然是一个挑战。
已有工作关注于在图像上添加不可察觉的全局扰动。全局扰动是针对每张图像的特定扰动，将已有的方法直接应用到生成对抗补丁上具有一定的挑战性。因为已有方法需要对整张图像生成全局的超像素扰动，然后仅仅保留图像显著区域的超像素扰动。这种扰动是针对每张图像生成的特定扰动，然而每张图像的显著区域是不确定的，因此生成的噪声扰动并不通用。对抗补丁是可见的噪声块，在整个数据集和误分类任务中是通用的，面积很小且位置是随机的，我们不能直接粘贴在每张图像的显著区域位置，否则会直接遮挡住需要识别的目标。
由于补丁攻击(Patch Attack)更加符合实际生活中黑盒攻击的需要，因此提升基于补丁攻击的对抗样本的鲁棒性具有十分重要的意义。据我们所知，目前还没有相关工作可以解决对抗补丁的缩放鲁棒性问题。如何抵抗对抗补丁的缩放失真仍然是一个有待解决的问题。
发明内容
本发明针对如何生成缩放鲁棒性对抗补丁的问题，提出一种缩放鲁棒性对抗补丁的生成方法，使用同一分辨率数据集训练生成的对抗补丁，能够具有良好的缩放鲁棒性，将其直接放大或者缩小粘贴在其它分辨率图像上仍能保持良好的攻击效果。生成的对抗补丁不仅具有良好的黑盒攻击能力，而且具有一定的缩放鲁棒性，即实现真正意义上的通用对抗补丁，抵抗对抗补丁在缩放时出现的严重失真现象。
为了实现上述目的，本发明提供如下技术方案：
一种缩放鲁棒性对抗补丁的生成方法，包括以下步骤：
S1、随机初始化固定大小的对抗补丁P0，对初始的对抗补丁P0中的像素进行分割，得到分割模板T，T中包含了若干个超像素块；
S2、随机初始化一维噪声向量
向量的长度与模板T中超像素的数量相等；
S3、基于模板T使用噪声向量
初始化对抗补丁P0，得到初始的超像素对抗补丁P；
S4、对抗补丁P粘贴到图像x的随机位置上，得到对抗样本xadv；
S5、根据对抗样本的梯度
以像素块的方式迭代更新对抗补丁P中的像素；
S6、同时使用黑盒指示器fb为超像素对抗补丁的更新过程增加反馈信息，延长有利于提升黑盒攻击能力的梯度方向的更新过程，经过多次迭代更新后最终生成超像素对抗补丁P′；
S7、通过使用CAM模块提取对抗补丁P′的特征区域并消除冗余的噪声区域，得到最终的超像素对抗补丁块P″。
进一步地，步骤S1中每个像素块都是由四个像素组成。
进一步地，步骤S1中将初始时对抗补丁中像素数量的四分之一设置为超像素块的数量。
进一步地，步骤S1中应用SLIC算法对初始的对抗补丁P0中的像素进行分割。
进一步地，步骤S1中SLIC算法具体为：首先随机生成K个像素块中心，然后依次计算出每个像素与各个像素块中心的距离，并将其划分到最近的像素块中心，通过计算将相邻的多个像素组合成一个超像素，最后迭代地更新像素块中心和超像素，直到最终收敛。
进一步地，SLIC算法使用颜色坐标(L,a,b)和位置坐标(x,y)标识每个像素，每个像素与各个像素块中心的距离D包括颜色距离dc和位置距离ds，dc和ds计算公式如式(1)和式(2)所示：
其中i，j分别表示的是第i个像素块中心和第j个像素；
每个像素与各个像素块中心的距离D的计算公式如式(3)所示：
其中m和s为调配两种距离的常数参数。
进一步地，每个超像素块内的噪声值在训练过程中始终相同并且同步更新。
进一步地，步骤S5中使用每个超像素块中绝对值最大的梯度作为整个超像素块更新的梯度值。
进一步地，步骤S6中使用集成模型作为黑盒指示器fb，将多个黑盒模型进行集成，将各个模型把对抗样本分类到目标类概率的均值作为黑盒指示器判定的条件，若概率均值超过预定义的阈值bp，认为该梯度方向有利于提升对抗补丁的迁移性，则继续在该梯度方向上迭代地更新对抗补丁。
进一步地，步骤S6的具体方法为：使用CAM计算得到热力图M，热力图中的数值分布在0和1之间，根据热力图M中的最大值的位置坐标定位出显著区域的中心坐标，基于热力图M提取对抗补丁的显著区域作为最终的超像素对抗补丁块P″。
与现有技术相比，本发明的有益效果为：
(1)本发明开创性地提出解决对抗补丁攻击缩放鲁棒性问题的工作，并提出了以一种缩放鲁棒性对抗补丁的生成方法，该方法通过以像素块的形式更新对抗补丁，增强了对抗补丁对缩放操作的鲁棒性。
(2)同时，本发明为了克服以像素块更新时出现的噪声空间萎缩的情况，我们提出了增加集成指示器模块延长那些有利于提升黑盒攻击能力的样本的更新过程。通过为对抗补丁的训练过程增加反馈信息，在一定程度上增强了对抗补丁的黑盒攻击能力。
(3)此外，为了进一步增强对抗补丁的缩放鲁棒性和迁移性，本发明基于CAM提取对抗补丁的关键特征区域作为最终的对抗补丁。该模块不仅去除了对抗补丁中冗余的噪声信息，而且提高了关键特征区域在对抗补丁中所占的有效面积比例，减少了缩放时关键特征区域的信息损失。
采用本发明的缩放鲁棒性对抗补丁的生成方法，具有以下显著效果：
(1)时间资源成本较小
本发明以像素块的方式同步更新像素块中的像素，对于每个像素块中的像素直接绑定并同步更新。比起之前添加全图像的噪声，本发明仅在对抗补丁内部迭代更新噪声，而且每次迭代更新噪声时不需要通过映射操作实现，减少了噪声更新的时间和空间成本。
(2)生成的扰动是通用的
先前工作依赖于在每张图像的显著区域添加噪声扰动，该噪声扰动是针对单张图像的不是通用的。而本发明添加的噪声以对抗补丁的形式存在，针对整个数据集和分类任务的所有图像是通用的。此外将其直接放大和缩小即可粘贴在其他分辨率的图像上，也能达到良好的黑盒攻击效果。
(3)对抗补丁在缩放后仍能保持良好的黑盒攻击效果
即使使用超像素更新面积较小的对抗补丁中的噪声，使用现有的技术也能达到良好的黑盒攻击效果。本发明解决了使用超像素更新对抗补丁过程中的噪声萎缩的现象。同时生成的对抗补丁也能在一定程度上抵抗缩放时出现的而严重失真现象。
综上，本发明首次提出了一种缩放鲁棒性对抗补丁的生成方法，能够在保持良好的黑盒攻击能力的同时，抵抗对抗补丁在缩放时出现的严重失真现象。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为对抗补丁图像。
图2为超像素对抗补丁图像。
图3为图像缩放图。
图4为双线性插值图。
图5为本发明提供的缩放鲁棒性对抗补丁的生成方法过程图。
图6为本发明提供的超像素对抗补丁的更新过程图。
具体实施方式
超像素分割指的是将图像中位置相邻且特征相似的像素组合在一起形成超像素。用少量的像素块来表示整张图像的特征。经过超像素技术分割后的图像，每个超像素都是一块具有独立语义信息的像素块。目前该技术不仅被广泛应用到了图像分割、目标跟踪、目标识别领域，还被应用到了图像处理和图像压缩等领域。
缩放操作是图像处理中最常见的操作，由于已有模型的输入尺寸通常是确定的，因此需要对图像进行缩放。缩放主要是通过使用插值算法对已有的像素点进行操作得到新的图像。例如在最近邻插值算法中，将未知像素点的值设置为与其距离最近的像素点的值。双线性插值算法需要对相邻的四个像素点在横向和纵向上分别进行两次线性插值，如图4所示，点P的像素值通过计算周围四个相邻的像素点(P11，P12，P21，P22)的像素值得到，并以距离作为权重。
在图像处理时，我们通常直接调用resize库函数实现图像的缩放操作，实质上默认执行的是双线性插值算法。经过缩放后，图像和对抗补丁都会丢失一部分的像素信息。相比于图像而言，对抗补丁的面积更小，特征更为聚集，因此丢失的语义信息较多，黑盒攻击能力较差。
本发明提出了一种新颖的方法，该方法能够直接生成具有缩放鲁棒性的对抗补丁。为了解决对抗补丁在缩放时不具有鲁棒性的问题，我们提出了使用超像素的方法生成通用的对抗补丁，将像素块作为对抗补丁更新的基本单位。因为每个超像素中的像素值相互冗余，所以在进行缩放操作时，可以减少对抗补丁中的信息损失。但是由于对抗补丁的面积很小，使用像素块更新会使得对抗补丁中可更新的像素值的数量减少，对抗补丁的噪声空间萎缩，造成黑盒攻击能力下降的问题。
所以本发明提出了使用集成模型作为黑盒指示器，优化超像素对抗补丁的更新过程，提升对抗补丁在不同模型上的迁移性。最终我们对CAM模块得到的热力图进行分析，发现对抗补丁中的特征信息不仅呈聚集性存在，而且还包含了许多冗余的噪声，这些冗余噪声对误分类无实际的意义。因此为了进一步提升对抗补丁的缩放鲁棒性，我们提取对抗补丁中的主要特征区域，作为最终的通用对抗补丁。
为了更好地理解本技术方案，下面结合附图对本发明的方法做详细的说明。
本发明的缩放鲁棒性对抗补丁的生成方法，总体结构图如图5所示，包括以下步骤：
首先随机初始化固定大小的对抗补丁P0,应用SLIC算法对初始的对抗补丁P0中的像素进行分割，得到分割模板T，T中包含了若干个超像素块。然后随机初始化一维噪声向量
向量长度为模板T中超像素的数量，基于模板T使用噪声向量
初始化对抗补丁P0，可以得到初始的超像素对抗补丁P。在训练过程中，给定一张图像x，我们将对抗补丁P粘贴到图像的随机位置上，可以得到对抗样本xadv。根据对抗样本的梯度
以像素块的方式迭代更新对抗补丁P中的像素。每张图像的攻击过程在表1(第2-12行)中详细描述。然而通过实验我们发现以像素块的方式更新对抗补丁时，噪声空间是高度约束的，导致了对抗补丁的黑盒攻击能力下降，因此我们使用黑盒指示器fb延长有利于提升黑盒攻击能力的样本的更新过程，经过多次迭代更新后最终生成超像素对抗补丁P′。最后通过使用CAM模块提取对抗补丁P′的特征区域并消除冗余的噪声区域，得到最终的超像素对抗补丁块P″。
缩放鲁棒性对抗补丁生成算法如表1所示：
表1算法1：缩放鲁棒性对抗补丁的生成算法
输入：原始图像：x，损失函数：L，二进制掩膜矩阵：m，超像素模板：T，白盒模型：f，黑盒指示器：fb
输出：最终的对抗补丁(m⊙δ)
(1)基于像素块的对抗补丁
图2是本发明的方法得到的超像素对抗补丁图例，粘贴到图像上实现攻击。其中每个超像素中的像素值相同。图3是图像缩放时像素的变化过程，图像在缩放时，默认采用的缩放函数为双线性插值法，如图3所示，通过计算四个相邻的像素值得到新像素的值。
提出将相邻的几个像素绑定成为超像素，以像素块的形式更新对抗补丁,而不是单像素地更新。如图5所示，我们首先根据之前设置的大小定义对抗补丁P0并随机初始化其中的值,然后使用超像素算法将对抗补丁P0切分成多个像素块，得到超像素模板T。考虑到图像缩放算法的原理,我们希望每个像素块都是由四个像素组成的,所以我们将初始时对抗补丁P0中像素数量的四分之一设置为超像素块的数量。由于对抗补丁P0中的像素值是随机初始化的，所以分割模板T中的每个像素块几乎都包含四个像素值。这里我们使用的是SLIC超像素分割算法生成分割模板T。SLIC算法类似于KMeans聚类算法，该算法首先随机生成K个像素块中心，然后依次计算出每个像素与各个像素块中心的距离，并将其划分到最近的像素块中心，通过计算将相邻的多个像素组合成一个超像素。最后迭代地更新像素块中心和超像素，直到最终收敛。SLIC算法使用颜色坐标(L,a,b)和位置坐标(x,y)标识每个像素。在我们的方法中，是根据像素和像素块中心的距离划分超像素的，其中距离包括颜色距离dc和位置距离ds，dc和ds计算公式如式(1)和式(2)所示：
其中i，j分别表示的是第i个像素块中心和第j个像素。在公式(3)中，当我们在衡量像素和像素块中心的距离D时，需要同时考虑颜色距离dc和位置距离ds。每个像素与各个像素块中心的距离D的计算公式如式(3)所示：
为了增强对抗补丁的缩放鲁棒性,我们限制每个超像素块内的噪声值在训练过程中始终相同，并且同步更新，即绑定相邻像素进行更新，这与传统的超像素操作不同。如图6所示，为了保证初始时每个超像素块中所有像素值的一致性,我们随机初始化一个一维向量
它的长度等于模板T中超像素块的数量,然后使用一维向量
初始化每个超像素中的像素值可以得到对抗补丁P。
其次每个超像素块中的像素应该被同步更新，如表1中所示，对抗样本xadv像素的梯度信息被标记为
先前关于对抗补丁的所有相关工作都是通过单像素地迭代更新对抗补丁，所以导致缩放鲁棒性较差。因此我们考虑以像素块的形式更新对抗补丁中的像素值。比起整张图像来说，对抗补丁的面积区域很小，所以我们可以简单地使用每个超像素块中绝对值最大的梯度作为整个超像素块更新的梯度值，在Alg.1中我们通过自定义的函数func实现该操作，最终可以得到超像素对抗补丁的梯度信息
具体过程如图6所示，对抗样本在经过模型的预测后,通过损失函数可以计算得到对抗补丁的梯度信息，这里标记为“Raw grad”(原始梯度)。然后基于模板T计算每个超像素块的梯度，这里标记为“Superpixel grad”(超像素梯度)。使用Superpixel grad(超像素梯度)更新对抗补丁中的像素得到“Superpixel patch”(超像素补丁)。最终可以确保同一个超像素中的值同步地绑定实时更新。
(2)基于黑盒的指示器模块
我们使用像素块的方法生成缩放鲁棒的对抗补丁。尽管对抗补丁的缩放鲁棒性增强了，但是却在一定程度上约束了对抗补丁的噪声空间，导致黑盒攻击能力下降。由于对抗补丁的面积相对较小而且超像素块中的像素值都是冗余的，对抗补丁中可更新的噪声值的数量急剧减小，从而造成了噪声空间萎缩的现象。因此我们需要在高度限制的噪声空间下，提升对抗补丁的黑盒攻击能力(即不同模型之间的迁移性)。
如表1第3-4行所示，原始算法在更新对抗补丁时使用的是训练模型的梯度信息xadvl，然而实验中我们发现每张图像在提升不同模型迁移性时的权重并不等同。在相同参数和训练模型下生成的对抗样本被黑盒模型分类到目标类的概率并不相同。概率越高说明对抗样本的当前梯度方向越有利于提升迁移性，我们应该延长该梯度方向上的更新过程。
因此我们考虑为训练生成对抗补丁的过程增加一些黑盒模型的反馈信息，从而延长有利于提升迁移性的梯度方向的更新过程。为了最大化提升对抗补丁的迁移性，我们使用集成模型作为黑盒指示器fb。这里我们只是简单地将多个黑盒模型进行集成，将各个模型把对抗样本分类到目标类概率的均值作为黑盒指示器判定的条件。若概率均值超过我们预定义的阈值，则认为该梯度方向有利于提升对抗补丁的迁移性，需要继续在该梯度方向上进行更新。这里我们并没有访问到黑盒模型内部的参数和结构，仅仅是利用黑盒模型的输入和输出为训练过程增加了反馈信息。
如图5所示，在先前的工作中，攻击成功与否仅仅取决于白盒模型将对抗样本分类到目标类别的概率。我们认为当目标类的概率超过预先定义的阈值mp时，攻击是成功的。否则，需要在对抗补丁上迭代添加噪声，直至达到阈值，满足tp<mp。我们注意到，现有的方法只考虑到了训练模型预测的结果，导致对抗补丁在其它模型上的迁移性较差。因此我们对原始的对抗补丁算法进行了优化，增加了黑盒指示器提升对抗补丁的迁移性。
如表1中的第8-12行所示，黑盒指示器由集成模型fb表示。我们的方法中攻击是否成功实质上是由两个条件决定的。一是判断训练模型将对抗样本分类到目标类的概率是否达到阈值mp(tp<mp)。二是检查集成的黑盒模型fb将对抗样本分类到目标类的概率是否超过我们预先定义的阈值bp(ep>bp)。如果超过，说明当前梯度方向有利于提高迁移性。我们继续在当前的梯度方向上迭代地更新对抗补丁。我们通过消融实验确定相关的参数，例如黑盒指示器设定的阈值和额外的迭代次数。
(3)基于CAM(类激活映射)提取关键特征区域的模块
为了进一步提升对抗补丁的缩放鲁棒性，本发明利用类激活映射(ClassActivation Mapping,CAM)技术提取对抗补丁的显著区域作为最终的对抗补丁。更深层次的卷积层能够捕获更强的语义信息，所以CAM使用最后卷积层的梯度信息来理解每个神经单元对特定类识别的重要性。而且相关工作也表明了在图像分类中比较重要的显著区域通常呈聚集性存在。如图3中的热力图M所示，当我们使用CAM分析对抗补丁的显著区域时，对抗补丁的显著区域是聚集在一起的。
此外，对抗补丁中包含了大量的冗余噪声，这些冗余的噪声对误分类识别的作用很小，而且不利于图像的缩放。为了提升对抗补丁的缩放鲁棒性，需要在有效的面积中保留更多有效的特征信息,提高有效特征信息在对抗补丁中所占的面积比例。本发明考虑基于热力图M提取对抗补丁的显著区域作为最终的对抗补丁。本模块使用CAM计算得到热力图M，热力图中的数值分布在0和1之间，数值表明的是相应的像素在分类识别过程中的重要性。由于对抗补丁中的显著区域聚集在一起，因此我们可以定位出显著区域的中心坐标(热力图M中的最大值的位置坐标)，根据该位置坐标提取特征区域作为最终的对抗补丁。这样不仅去除了冗余的噪声，而且保留了重要的特征信息。在缩放时能够在有效的噪声空间中保留更多有效的特征信息，因此可以减少特征信息的丢失。
验证试验：
验证缩放鲁棒性主要分为两种情况，一是将对抗补丁直接放大粘贴在高分辨率图像的随机位置上；二是将对抗补丁直接缩小粘贴在低分辨率图像的随机位置上。从理论上说，对抗补丁具备良好的攻击能力，是因为它类似于图像，具有一定的分类特征，而且对抗补丁和图像一样在缩放时不可避免地会出现信息损失的现象，尤其当缩放比例较大时失真情况较为严重。因此我们通过实验分别探究了两种情况下对抗补丁的信息损失情况。我们使用128*128和256*256不同尺寸的数据集分别生成对抗补丁,其中对抗补丁占整张图像的面积比例始终保持不变，约为整张图像的11.8％左右。我们使用ResNet50作为替代模型(Substitute Model)即训练模型，VGG16,GoogleNet,DenseNet作为黑盒模型。实验结果如表2和3所示，其中中加粗的数值表示的是白盒攻击成功率。
(1)放大鲁棒性：在128*128数据集上训练生成通用的对抗补丁，将其直接放大，在256*256数据集上测试各个模型的攻击成功准确率，放大鲁棒性如表2所示：
表2：原始对抗补丁的放大鲁棒性验证
(2)缩小鲁棒性：在256*256数据集上训练生成通用的对抗补丁，将其直接缩小，在128*128数据集上测试各个模型的攻击成功准确率，缩小鲁棒性如表3所示：
表3：原始对抗补丁的缩小鲁棒性验证结果
| 测试数据集的分辨率 | ResNet | VGG | GoogleNet | DenseNet |
| 256×256 | 99.9％ | 70.8％ | 33.2％ | 68.8％ |
| 128×128(缩小补丁) | 10.2％ | 7.5％ | 3.6％ | 8.0％ |
通过实验探究，我们观察到将对抗补丁直接放大粘贴到高分辨率图像上时，特征信息损失较小，在各个黑盒模型上仍能保持良好的攻击能力。然而当我们将对抗补丁直接缩小粘贴到低分辨率图像上时，特征信息损失较大，在各个黑盒模型上的攻击能力出现明显的下降情况。为了提升对抗补丁的通用性和缩放鲁棒性，本发明着力于解决对抗补丁应用于低分辨率图像时的严重失真问题。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种缩放鲁棒性对抗补丁的生成方法，其特征在于，包括以下步骤：
S1、随机初始化固定大小的对抗补丁P0，对初始的对抗补丁P0中的像素进行分割，得到分割模板T，T中包含了若干个超像素块；
S2、随机初始化一维噪声向量
向量的长度与模板T中超像素的数量相等；
S3、基于模板T使用噪声向量
初始化对抗补丁P0，得到初始的超像素对抗补丁P；
S4、对抗补丁P粘贴到图像x的随机位置上，得到对抗样本xadv；
S5、根据对抗样本的梯度
以像素块的方式迭代更新对抗补丁P中的像素；
S6、同时使用黑盒指示器fb为超像素对抗补丁的更新过程增加反馈信息，延长有利于提升黑盒攻击能力的梯度方向的更新过程，经过多次迭代更新后最终生成超像素对抗补丁P′；
S7、通过使用CAM模块提取对抗补丁P′的特征区域并消除冗余的噪声区域，得到最终的超像素对抗补丁块P”。
2.根据权利要求1所述的缩放鲁棒性对抗补丁的生成方法，其特征在于，步骤S1中每个像素块都是由四个像素组成。
3.根据权利要求1所述的缩放鲁棒性对抗补丁的生成方法，其特征在于，步骤S1中将初始时对抗补丁中像素数量的四分之一设置为超像素块的数量。
4.根据权利要求1所述的缩放鲁棒性对抗补丁的生成方法，其特征在于，步骤S1中应用SLIC算法对初始的对抗补丁P0中的像素进行分割。
5.根据权利要求4所述的缩放鲁棒性对抗补丁的生成方法，其特征在于，步骤S1中SLIC算法具体为：首先随机生成K个像素块中心，然后依次计算出每个像素与各个像素块中心的距离，并将其划分到最近的像素块中心，通过计算将相邻的多个像素组合成一个超像素，最后迭代地更新像素块中心和超像素，直到最终收敛。
6.根据权利要求5所述的缩放鲁棒性对抗补丁的生成方法，其特征在于，SLIC算法使用颜色坐标(L,a,b)和位置坐标(x,y)标识每个像素，每个像素与各个像素块中心的距离D包括颜色距离dc和位置距离ds，dc和ds计算公式如式(1)和式(2)所示：
其中i，j分别表示的是第i个像素块中心和第j个像素；
每个像素与各个像素块中心的距离D的计算公式如式(3)所示：
其中m和s为调配两种距离的常数参数。
7.根据权利要求1所述的缩放鲁棒性对抗补丁的生成方法，其特征在于，每个超像素块内的噪声值在训练过程中始终相同并且同步更新。
8.根据权利要求1所述的缩放鲁棒性对抗补丁的生成方法，其特征在于，步骤S5中使用每个超像素块中绝对值最大的梯度作为整个超像素块更新的梯度值。
9.根据权利要求1所述的缩放鲁棒性对抗补丁的生成方法，其特征在于，步骤S6中使用集成模型作为黑盒指示器fb，将多个黑盒模型进行集成，将各个模型把对抗样本分类到目标类概率的均值作为黑盒指示器判定的条件，若概率均值超过预定义的阈值bp，认为该梯度方向有利于提升对抗补丁的迁移性，则继续在该梯度方向上迭代地更新对抗补丁。
10.根据权利要求1所述的缩放鲁棒性对抗补丁的生成方法，其特征在于，步骤S6的具体方法为：使用CAM计算得到热力图M，热力图中的数值分布在0和1之间，根据热力图M中的最大值的位置坐标定位出显著区域的中心坐标，基于热力图M提取对抗补丁的显著区域作为最终的超像素对抗补丁块P”。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111048795.XA CN113689338B (zh) | 2021-09-08 | 2021-09-08 | 一种缩放鲁棒性对抗补丁的生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111048795.XA CN113689338B (zh) | 2021-09-08 | 2021-09-08 | 一种缩放鲁棒性对抗补丁的生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113689338A true CN113689338A (zh) | 2021-11-23 |
| CN113689338B CN113689338B (zh) | 2024-03-22 |
Family
ID=78585618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111048795.XA Active CN113689338B (zh) | 2021-09-08 | 2021-09-08 | 一种缩放鲁棒性对抗补丁的生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113689338B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114363509A (zh) * | 2021-12-07 | 2022-04-15 | 浙江大学 | 一种基于声波触发的可触发对抗补丁生成方法 |
| CN114826649A (zh) * | 2022-03-07 | 2022-07-29 | 中国人民解放军战略支援部队信息工程大学 | 基于对抗补丁的网站指纹混淆方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111027628A (zh) * | 2019-12-12 | 2020-04-17 | 支付宝(杭州)信息技术有限公司 | 一种模型确定方法和系统 |
| CN111898731A (zh) * | 2020-06-24 | 2020-11-06 | 北京航空航天大学 | 基于偏见的通用对抗补丁生成方法和装置 |
| US20200380300A1 (en) * | 2019-05-30 | 2020-12-03 | Baidu Usa Llc | Systems and methods for adversarially robust object detection |
| US20210064938A1 (en) * | 2019-08-30 | 2021-03-04 | Accenture Global Solutions Limited | Adversarial patches including pixel blocks for machine learning |
| US20210110071A1 (en) * | 2019-10-14 | 2021-04-15 | International Business Machines Corporation | Providing adversarial protection for electronic screen displays |
| CN113255816A (zh) * | 2021-06-10 | 2021-08-13 | 北京邮电大学 | 定向攻击对抗补丁生成方法及装置 |
| CN113361604A (zh) * | 2021-06-03 | 2021-09-07 | 浙江工业大学 | 一种面向目标检测的物理攻击对抗补丁的生成方法及系统 |
-
2021
- 2021-09-08 CN CN202111048795.XA patent/CN113689338B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200380300A1 (en) * | 2019-05-30 | 2020-12-03 | Baidu Usa Llc | Systems and methods for adversarially robust object detection |
| US20210064938A1 (en) * | 2019-08-30 | 2021-03-04 | Accenture Global Solutions Limited | Adversarial patches including pixel blocks for machine learning |
| US20210110071A1 (en) * | 2019-10-14 | 2021-04-15 | International Business Machines Corporation | Providing adversarial protection for electronic screen displays |
| CN111027628A (zh) * | 2019-12-12 | 2020-04-17 | 支付宝(杭州)信息技术有限公司 | 一种模型确定方法和系统 |
| CN111898731A (zh) * | 2020-06-24 | 2020-11-06 | 北京航空航天大学 | 基于偏见的通用对抗补丁生成方法和装置 |
| CN113361604A (zh) * | 2021-06-03 | 2021-09-07 | 浙江工业大学 | 一种面向目标检测的物理攻击对抗补丁的生成方法及系统 |
| CN113255816A (zh) * | 2021-06-10 | 2021-08-13 | 北京邮电大学 | 定向攻击对抗补丁生成方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 刘西蒙;谢乐辉;王耀鹏;李旭如;: "深度学习中的对抗攻击与防御", 网络与信息安全学报, no. 05 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114363509A (zh) * | 2021-12-07 | 2022-04-15 | 浙江大学 | 一种基于声波触发的可触发对抗补丁生成方法 |
| CN114826649A (zh) * | 2022-03-07 | 2022-07-29 | 中国人民解放军战略支援部队信息工程大学 | 基于对抗补丁的网站指纹混淆方法 |
| CN114826649B (zh) * | 2022-03-07 | 2023-05-30 | 中国人民解放军战略支援部队信息工程大学 | 基于对抗补丁的网站指纹混淆方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113689338B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492416B (zh) | 一种基于安全区域的大数据图像保护方法和系统 | |
| Gani et al. | A robust copy-move forgery detection technique based on discrete cosine transform and cellular automata | |
| CN113689338A (zh) | 一种缩放鲁棒性对抗补丁的生成方法 | |
| Huang et al. | Single image super-resolution via multiple mixture prior models | |
| CN111898645A (zh) | 基于注意力机制的可迁移的对抗样本攻击方法 | |
| US20220156513A1 (en) | Method and system for localizing an anomaly in an image to be detected, and method for training reconstruction model thereof | |
| CN109426828A (zh) | 点云分类方法、装置、设备及存储介质 | |
| Wang et al. | Cloning outfits from real-world images to 3d characters for generalizable person re-identification | |
| Chen et al. | Image splicing localization using residual image and residual-based fully convolutional network | |
| Li et al. | High-capacity coverless image steganographic scheme based on image synthesis | |
| CN116757909B (zh) | Bim数据鲁棒水印方法、装置及介质 | |
| Shen et al. | Mutual information-driven triple interaction network for efficient image dehazing | |
| Yin et al. | Scaling resilient adversarial patch | |
| Peng et al. | Evaluating deep learning for image classification in adversarial environment | |
| CN114092494A (zh) | 一种基于超像素和全卷积神经网络的脑部mr图像分割方法 | |
| Ng et al. | Blind steganalysis with high generalization capability for different image databases using L-GEM | |
| CN114884704B (zh) | 一种基于对合和投票的网络流量异常行为检测方法和系统 | |
| Liu et al. | Stylized image resolution enhancement scheme based on an improved convolutional neural network in cyber‐physical systems | |
| Liu et al. | TFPGAN: Tiny Face Detection with Prior Information and GAN | |
| Bhadouria et al. | Edge detection in electron microscopy biological images using statistical dispersion | |
| CN116978134A (zh) | 图像处理方法、装置、设备、存储介质和计算机程序产品 | |
| Fu et al. | Learning full-range affinity for diffusion-based saliency detection | |
| Kim et al. | VGEF: contrast enhancement of dark images using value gap expansion force and sorted histogram equalization | |
| Wang et al. | A Parameter Adaptive Method for Image Smoothing | |
| Zhang et al. | APNet: Attention Mechanism with Point Sampling Loss Network for Remote Sensing Images Semantic Segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |