CN116844052A - 面向遥感图像的可部署补丁对抗攻击方法、装置和设备 - Google Patents

面向遥感图像的可部署补丁对抗攻击方法、装置和设备 Download PDF

Info

Publication number
CN116844052A
CN116844052A CN202310868239.XA CN202310868239A CN116844052A CN 116844052 A CN116844052 A CN 116844052A CN 202310868239 A CN202310868239 A CN 202310868239A CN 116844052 A CN116844052 A CN 116844052A
Authority
CN
China
Prior art keywords
patch
attack
module
map
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310868239.XA
Other languages
English (en)
Inventor
黄俊杰
王子悦
赵文涛
陈紫菡
刘天瑞
刘丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310868239.XA priority Critical patent/CN116844052A/zh
Publication of CN116844052A publication Critical patent/CN116844052A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种面向遥感图像的可部署补丁对抗攻击方法、装置和设备。所述方法包括：通过可行性图模块根据遥感图像确定对应的可行性图，通过攻击有效性图模块根据梯度信息得到遥感图像对应的攻击有效性图，通过位置掩码模块根据可行性图和攻击有效性图得到用于补丁位置采样的位置掩码；通过补丁攻击模块根据位置掩码进行补丁位置采样得到多个补丁位置，在补丁位置叠加随机生成的对抗扰动，得到对抗样本，通过梯度下降算法对对抗扰动进行迭代优化，直到对抗攻击成功，输出最终的对抗样本。本发明不仅可以在较小的补丁面积下获得更高的攻击成功率，而且还可以降低时间消耗，在遥感图像场景识别领域实现了较好的对抗补丁攻击效果。

Description

面向遥感图像的可部署补丁对抗攻击方法、装置和设备
技术领域
本申请涉及遥感图像领域，特别是涉及一种面向遥感图像的可部署补丁对抗攻击方法、装置和设备。
背景技术
现有的遥感图像(Remote Sensing Image，RSI)对抗攻击方法主要研究针对基于深度神经网络(Deep Neural Networks，DNNs)的场景分类器的攻击。已有技术通过在图像上粘贴对抗补丁的方式来骗过DNNs自然图像分类器，对抗补丁的方法目前已经被广泛应用于多个不同的领域。
通过添加对抗噪声来生成RSI对抗样本的方法是有效的，但是在物理世界中部署密集的微小噪声是不现实的。据知，目前还没有研究在RSI场景识别任务中进行物理可实现的对抗补丁的工作。直接将现有的自然图像上的对抗补丁攻击方法应用到RSI上存在三个挑战：(1)攻击RSI场景分类器更加困难，因为RSI通常比自然图像包含更少的场景类别；(2)RSI上的对抗补丁应当尽可能小，以避免在现实部署中占据过大的物理尺寸；(3)对抗补丁只能部署在场景中有限的区域内，很难将对抗补丁部署在例如树木，车辆和水域上。基于以上分析，在RSI上部署对抗补丁存在一个困境，即一个较小的补丁难以确保足够高得攻击成功率，而较大的补丁又难以实际进行部署。因此，现有技术存在适应性不佳的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够有效攻击RSI场景识别分类器的面向遥感图像的可部署补丁对抗攻击方法、装置、计算机设备和存储介质。
一种面向遥感图像的可部署补丁对抗攻击方法，所述方法包括：
获取遥感图像，将所述遥感图像输入预先设计的多补丁对抗攻击模型中；所述多补丁对抗攻击模型包括级联的位置选择模块和补丁攻击模块；所述位置选择模块包括可行性图模块、攻击有效性图模块和位置掩码模块；
通过所述可行性图模块根据所述遥感图像确定对应的可行性图；所述可行性图包含了能够放置对抗补丁的位置信息；
通过所述攻击有效性图模块将所述遥感图像输入目标分类器中，通过所述目标分类器的损失函数计算当前分类结果下每个像素点的梯度信息，根据所述梯度信息得到所述遥感图像对应的攻击有效性图；所述攻击有效性图包含了在当前位置放置补丁的概率指导信息；
通过所述位置掩码模块根据所述可行性图和所述攻击有效性图得到用于补丁位置采样的位置掩码；
通过所述补丁攻击模块根据所述位置掩码进行补丁位置采样得到多个补丁位置，在所述补丁位置叠加随机生成的对抗扰动，得到对抗样本，将所述对抗样本输入所述目标分类器中，通过梯度下降算法对所述对抗扰动进行迭代优化，直到对抗攻击成功，停止迭代；
若迭代次数达到预设的最大次数仍未攻击成功，则根据所述位置掩码重新进行补丁位置采样，直到输出最终的对抗样本。
在其中一个实施例中，还包括：通过所述可行性图模块基于对象上下文表示语义分割网络根据所述遥感图像确定对应的可行性图。
在其中一个实施例中，还包括：根据所述梯度信息将每个像素点RGB三个通道的梯度绝对值相加得到所述遥感图像对应的攻击有效性图。
在其中一个实施例中，还包括：通过所述位置掩码模块根据所述可行性图和所述攻击有效性图得到用于补丁位置采样的位置掩码为：
其中表示，表示所述可行性图，ε表示所述攻击有效性图，/>表示逐元素相乘。
在其中一个实施例中，还包括：根据所述梯度信息计算像素点被选为补丁位置的概率值：
其中，(i,j)表示像素点坐标，表示补丁所在区域梯度值之和，(u,v)表示按坐标对图像像素点的遍历，/>表示以(u,v)为左上顶点的补丁所在的区域内的梯度值之和，t是温度超参数，默认设置为t＝10；
通过所述补丁攻击模块根据所述概率值和所述位置掩码进行补丁位置采样得到多个补丁位置。
在其中一个实施例中，还包括：在所述补丁位置叠加随机生成的对抗扰动，得到对抗样本为：
xadv(m,p)＝(1-m)⊙x+m⊙p
其中，p表示对抗补丁，m与x尺寸相同，表示对应的0，1掩码矩阵，用于确定补丁的位置及形状，⊙表示哈达玛积。
在其中一个实施例中，还包括：根据预设的优化目标函数通过梯度下降算法对所述对抗扰动进行迭代优化；其中所述预设的优化目标函数为：
其中，p表示对抗补丁，m与x尺寸相同，表示对应的0，1掩码矩阵，用于确定补丁的位置及形状，f(·)表示所述目标分类器，y表示图像真实标签，Sp和Sx分别表示单个补丁和整张图片的面积，L表示f(·)的损失函数，∈表示对单个补丁占图片总面积比例的限制参数。
在其中一个实施例中，还包括：所述对抗扰动的初始值在[0，1]的区间内随机生成。
一种面向遥感图像的可部署补丁对抗攻击装置，所述装置包括：
数据输入模块，用于获取遥感图像，将所述遥感图像输入预先设计的多补丁对抗攻击模型中；所述多补丁对抗攻击模型包括级联的位置选择模块和补丁攻击模块；所述位置选择模块包括可行性图模块、攻击有效性图模块和位置掩码模块；
可行性图确定模块，用于通过所述可行性图模块根据所述遥感图像确定对应的可行性图；所述可行性图包含了能够放置对抗补丁的位置信息；
攻击有效性图确定模块，用于通过所述攻击有效性图模块将所述遥感图像输入目标分类器中，通过所述目标分类器的损失函数计算当前分类结果下每个像素点的梯度信息，根据所述梯度信息得到所述遥感图像对应的攻击有效性图；所述攻击有效性图包含了在当前位置放置补丁的概率指导信息；
位置掩码确定模块，用于通过所述位置掩码模块根据所述可行性图和所述攻击有效性图得到用于补丁位置采样的位置掩码；
对抗攻击模块，用于通过所述补丁攻击模块根据所述位置掩码进行补丁位置采样得到多个补丁位置，在所述补丁位置叠加随机生成的对抗扰动，得到对抗样本，将所述对抗样本输入所述目标分类器中，通过梯度下降算法对所述对抗扰动进行迭代优化，直到对抗攻击成功，停止迭代；
结果输出模块，用于若迭代次数达到预设的最大次数仍未攻击成功，则根据所述位置掩码重新进行补丁位置采样，直到输出最终的对抗样本。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取遥感图像，将所述遥感图像输入预先设计的多补丁对抗攻击模型中；所述多补丁对抗攻击模型包括级联的位置选择模块和补丁攻击模块；所述位置选择模块包括可行性图模块、攻击有效性图模块和位置掩码模块；
通过所述可行性图模块根据所述遥感图像确定对应的可行性图；所述可行性图包含了能够放置对抗补丁的位置信息；
通过所述攻击有效性图模块将所述遥感图像输入目标分类器中，通过所述目标分类器的损失函数计算当前分类结果下每个像素点的梯度信息，根据所述梯度信息得到所述遥感图像对应的攻击有效性图；所述攻击有效性图包含了在当前位置放置补丁的概率指导信息；
通过所述位置掩码模块根据所述可行性图和所述攻击有效性图得到用于补丁位置采样的位置掩码；
通过所述补丁攻击模块根据所述位置掩码进行补丁位置采样得到多个补丁位置，在所述补丁位置叠加随机生成的对抗扰动，得到对抗样本，将所述对抗样本输入所述目标分类器中，通过梯度下降算法对所述对抗扰动进行迭代优化，直到对抗攻击成功，停止迭代；
若迭代次数达到预设的最大次数仍未攻击成功，则根据所述位置掩码重新进行补丁位置采样，直到输出最终的对抗样本。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取遥感图像，将所述遥感图像输入预先设计的多补丁对抗攻击模型中；所述多补丁对抗攻击模型包括级联的位置选择模块和补丁攻击模块；所述位置选择模块包括可行性图模块、攻击有效性图模块和位置掩码模块；
通过所述可行性图模块根据所述遥感图像确定对应的可行性图；所述可行性图包含了能够放置对抗补丁的位置信息；
通过所述攻击有效性图模块将所述遥感图像输入目标分类器中，通过所述目标分类器的损失函数计算当前分类结果下每个像素点的梯度信息，根据所述梯度信息得到所述遥感图像对应的攻击有效性图；所述攻击有效性图包含了在当前位置放置补丁的概率指导信息；
通过所述位置掩码模块根据所述可行性图和所述攻击有效性图得到用于补丁位置采样的位置掩码；
通过所述补丁攻击模块根据所述位置掩码进行补丁位置采样得到多个补丁位置，在所述补丁位置叠加随机生成的对抗扰动，得到对抗样本，将所述对抗样本输入所述目标分类器中，通过梯度下降算法对所述对抗扰动进行迭代优化，直到对抗攻击成功，停止迭代；
若迭代次数达到预设的最大次数仍未攻击成功，则根据所述位置掩码重新进行补丁位置采样，直到输出最终的对抗样本。
上述面向遥感图像的可部署补丁对抗攻击方法、装置、计算机设备和存储介质，通过可行性图模块根据遥感图像确定对应的可行性图，通过攻击有效性图模块将遥感图像输入目标分类器中，通过目标分类器的损失函数计算当前分类结果下每个像素点的梯度信息，根据梯度信息得到遥感图像对应的攻击有效性图，通过位置掩码模块根据可行性图和攻击有效性图得到用于补丁位置采样的位置掩码；通过补丁攻击模块根据位置掩码进行补丁位置采样得到多个补丁位置，在补丁位置叠加随机生成的对抗扰动，得到对抗样本，将对抗样本输入目标分类器中，通过梯度下降算法对对抗扰动进行迭代优化，直到对抗攻击成功，停止迭代；若迭代次数达到预设的最大次数仍未攻击成功，则根据位置掩码重新进行补丁位置采样，直到输出最终的对抗样本。本发明利用多个较小且不易察觉的对抗补丁来代替单个对抗补丁进行物理上可行的对抗攻击，不仅可以在较小的补丁面积下获得更高的攻击成功率，而且还可以降低时间消耗，在遥感图像场景识别领域实现了较好的对抗补丁攻击效果。
附图说明
图1为一个实施例中面向遥感图像的可部署补丁对抗攻击方法的流程示意图；
图2为一个实施例中多补丁对抗攻击算法框架图；
图3为一个实施例中有无添加FRSNet的对抗样本对比图，其中，图3(a)、图3(b)和图3(c)分别为三个场景有添加FRSNet的对抗样本结果图，图3(d)、图3(e)和图3(f)分别为三个场景没有添加FRSNet的对抗样本结果图；
图4为一个实施例中有没有添加TV损失函数的对抗样本对比图，其中，图4(a)、图4(b)和图4(c)分别为三个场景有添加TV损失函数的对抗样本结果图，图4(d)、图4(e)和图4(f)分别为三个场景没有添加TV损失函数的对抗样本结果图；
图5为一个实施例中不同补丁数量的对抗样本热力图，其中图5(a)为干净图的对抗样本热力图，图5(b)为补丁数量为4的对抗样本热力图，图5(c)为补丁数量为8的对抗样本热力图，图5(d)为补丁数量为16的对抗样本热力图；
图6为一个实施例中面向遥感图像的可部署补丁对抗攻击装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种面向遥感图像的可部署补丁对抗攻击方法，包括以下步骤：
步骤102，获取遥感图像，将遥感图像输入预先设计的多补丁对抗攻击模型中。
本发明提出一种多补丁对抗攻击(Multi-patch Adversarial Attack，MPAA)方法。
如图2所示，多补丁对抗攻击模型包括级联的位置选择模块和补丁攻击模块；位置选择模块包括可行性图模块、攻击有效性图模块和位置掩码模块。
本发明的原理如下：
为了实现可行且鲁棒的RSI场景分类对抗补丁攻击，本发明提出通过在良性图像x的n个可行的位置上优化n个补丁来生成对抗样本xadv(m,p)。良性图像指的是能够被分类器正确分类的图像。MPAA的优化目标可以表示为：
xadv(m,p)＝(1-m)⊙x+m⊙p.#(2)
其中，⊙表示哈达玛积，p表示对抗补丁，m与x尺寸相同，表示对应的0，1掩码矩阵，用于确定补丁的位置及形状。f(·)表示目标分类器，y表示图像真实标签，表示可行性图，Sp和Sx分别表示单个补丁和整张图片的面积。L表示f(·)的损失函数，使用f(·)关于y的输出置信度来计算L：
L＝Pr(y│f(xadv(m,p))).#(3)
从公式(1)中可以看出，目标函数包含两个相互影响的变量，补丁位置m以及补丁图案p。这是一个双层优化问题，难以直接进行优化。本发明提出了一个搜索和优化的方法来解决这个问题，即使用一个可行且有效的位置选择(Feasible and Effective LocationSelection，FELS)模块来确定m，和一个补丁攻击(Patch Attack，PA)模块来优化p。
步骤104，通过可行性图模块根据遥感图像确定对应的可行性图。
可行性图包含了能够放置对抗补丁的位置信息。
可行且有效的位置选择模块同时考虑了物理可行性图以及攻击有效性图ε来对掩码m进行优化。位置图/>由/>与ε的逐元素乘积得到，用于进行补丁位置的采样。
可行性图由一个可行区域选择网络(Feasible Region Selection Network，FRSNet)得到，FRSNet应用对象上下文表示(object-contextual representation，OCR)语义分割网络的结构，在具有17个类别的DLRSD数据集上进行训练。该网络用来排除不适合放置补丁的位置，其中本实施例选择裸土，码头，田野，草地，人行道和沙滩作为可以放置对抗补丁的区域。将输出结果中可放置补丁的像素点赋值为1，其他为0，同时为了避免边界重叠，对区域分割的结果进行了相对于补丁大小的扩展。
步骤106，通过攻击有效性图模块将遥感图像输入目标分类器中，通过目标分类器的损失函数计算当前分类结果下每个像素点的梯度信息，根据梯度信息得到遥感图像对应的攻击有效性图；攻击有效性图包含了在当前位置放置补丁的概率指导信息。
与基于单个补丁的方法不同，本发明需要部署n个小的对抗补丁，这是一个求解难度较大的组合优化问题。本发明提出了一种快速有效的位置选择算法——随机梯度(Random Gradient,Rand-Grad)法。
本发明生成一个有效性图ε来表示图像上的像素点对分类结果的影响。具体来说，将x输入到分类器中，用损失函数L计算相对于x的梯度。注意到，每个像素点的梯度越大，表示对该像素点进行改变更有可能影响分类结果。因此，将每个像素点RGB三个通道的梯度绝对值相加来计算ε:
步骤108，通过位置掩码模块根据可行性图和攻击有效性图得到用于补丁位置采样的位置掩码。
如公式(4),位置掩码由/>与ε的逐元素乘积得到，用于进行补丁位置的采样。
步骤110，通过补丁攻击模块根据位置掩码进行补丁位置采样得到多个补丁位置，在补丁位置叠加随机生成的对抗扰动，得到对抗样本，将对抗样本输入目标分类器中，通过梯度下降算法对对抗扰动进行迭代优化，直到对抗攻击成功，停止迭代。
通过补丁攻击模块根据位置掩码进行补丁位置采样得到多个补丁位置。前文提到每个像素点的梯度越大，表示对该像素点进行改变更有可能影响分类结果。但直接选择最大的n个梯度值并不能保证得到最优解，因此在选择中引入随机性。具体来说，将这些梯度值视为选择补丁位置的概率指导，梯度越大的区域越容易被选择，Rand-Grad算法使用带温度系数的softmax算法对梯度的权重进行平缓化，具体的概率计算如下：
其中(i,j)表示补丁左上角的坐标，表示补丁所在区域梯度值之和，pi,j表示选择(i,j)坐标的概率，(u,v)表示按坐标对图像像素点的遍历，/>表示以(u,v)为左上顶点的补丁所在的区域内的梯度值之和，遍历是对整张图片进行的遍历，t是温度超参数，默认设置为t＝10。
FELS模块给定掩码m后，补丁攻击(Patch Attack，PA)模块对对抗扰动p进行优化来误导目标分类器。p的初始值在[0，1]的区间内随机生成，之后对抗样本图片xadv可由公式2得到。确定m之后，公式1中只剩下p一个变量需要优化，使用梯度下降法对p的值进行更新优化。具体的优化器设置为Adam，学习率为2/255。
优化中的最大迭代次数设置为2000，如果分类器输出y的置信度低于10％，则认为对抗攻击成功并停止迭代，如果采样位置超过2000次迭代也没有攻击成功，则将依概率重新对补丁位置进行采样。利用这种补丁位置重采样的策略，MPAA可以获得更好的补丁位置来提高攻击成功率。
步骤112，若迭代次数达到预设的最大次数仍未攻击成功，则根据位置掩码重新进行补丁位置采样，直到输出最终的对抗样本。
上述面向遥感图像的可部署补丁对抗攻击方法中，通过可行性图模块根据遥感图像确定对应的可行性图，通过攻击有效性图模块将遥感图像输入目标分类器中，通过目标分类器的损失函数计算当前分类结果下每个像素点的梯度信息，根据梯度信息得到遥感图像对应的攻击有效性图，通过位置掩码模块根据可行性图和攻击有效性图得到用于补丁位置采样的位置掩码；通过补丁攻击模块根据位置掩码进行补丁位置采样得到多个补丁位置，在补丁位置叠加随机生成的对抗扰动，得到对抗样本，将对抗样本输入目标分类器中，通过梯度下降算法对对抗扰动进行迭代优化，直到对抗攻击成功，停止迭代；若迭代次数达到预设的最大次数仍未攻击成功，则根据位置掩码重新进行补丁位置采样，直到输出最终的对抗样本。本发明提出了使用多个较小对抗补丁进行攻击的方法，解决了现实应用时补丁物理尺寸过大的问题；通过在位置选择中引入可行性图的限制，解决了现实场景下补丁放置位置不合理的问题；通过Rand-Grad的位置选择算法，获得了更优的补丁放置位置，因而提升了对抗攻击成功率。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个具体实施例中，对本发明方法进行了实验验证，实验如下：
数据集和目标模型：使用航拍数据集(Aerial Image Dataset,AID)来对所提出的方法进行评估。AID有30个类10000张图片，所有图片的分辨率均为600*600。数据集被随机分成训练集和测试集，比例为7：3。使用预训练的ResNet50作为目标模型，经过训练集微调得到3.83％的top-1错误率。同样微调了ResNet101和Densenet121，分别得到了4.43％和3.80％的top-1错误率。所有的实验均在一台NVIDIA RTX 3090具有24G显存的GPU上进行。
评价指标：使用攻击成功率(Attacking Success Rate，ASR)和消耗的时间作为评价指标来判断方法的有效性和效率。在测试过程中，丢弃了不能正确被分类以及没有足够空间放置补丁的图片。
基线：为了验证所提出的MPAA方法的有效性，与三种补丁攻击方法进行了比较，分别是：Advp，GDPA，Pfool。为了比较更加公平，所有的方法都在AID数据集上进行评价，进行无目标攻击，补丁总面积设置为图片面积的1％。对于MPAA，将补丁个数设置为16个，最大重采样次数设置为3次。
对比结果：
为了评估所提出方法的有效性，本发明在三种不同的分类器上比较了本发明的MPAA方法和基线方法。本发明主要关注非目标攻击，为了便于公平比较，这里与基线方法一样，在评估MPAA方法时不考虑位置可行性的约束。表1显示了不同的方法的对抗攻击性能。可以看到，本发明MPAA方法对所有分类器均达到了最高的ASR，并且收敛速度也较快。三种对比方法的ASR都更低，特别是在攻击层次更深的分类器时。AdvP方法使用一个补丁且随机选择放置位置，导致与使用多个补丁进行攻击的MPAA方法讯在巨大差距(三种分类器上ASR差距均大于25％)，尽管补丁的总面积大小是相同的。GDPA使用一个生成器而不是优化器来生成对抗补丁，因此对复杂的分类器也具有较低的时间复杂度，但是ASR在所有方法中是最低的。PFool方法根据补丁的大小将图像划分成固定数量的块，然后利用显著性图选择块来放置补丁，这可能会限制补丁位置的灵活性，比较结果也表明，PFool的ASR低于所提出的使用梯度信息作为概率指导进行补丁位置选择的MPAA方法。
表1不同方法的攻击表现
*：为了公平比较，去掉FRSNet的限制
消融实验：
为了研究该方法的性能，本实施例在ResNet50上进行了各个组件对性能影响的实验。如表2所示，所提出的补丁位置选择算法Rand-Grad确实比没有任何指导的随机位置选择方法获得了更好的ASR。如果不使用FRSNet，最终得到的ASR会稍稍提高，但是这意味着对抗补丁只针对对抗性能进行优化，会以较大概率被放置在不可行的位置(如树木，车辆，水域)，如Error！Reference source not found.所示。同样有趣的是，通过增加补丁的数量，MPAA不仅获得了更高的ASR，而且还能够以更短的时间达到收敛。这验证了所提出的所补丁对抗攻击的有效性和效率。考虑到实际部署时的困难，将补丁数量n＝16设置为默认值。
表2 MPAA方法缺少不同组件时的攻击成功率(ASR％)
补丁数量 1 2 4 8 16
无Rand-Grad 74.49 81.84 87.79 89.74 92.34
无FRSNet 79.05 87.08 92.23 93.42 96.61
无重采样 69.72 77.62 84.49 89.01 91.37
完整MPAA 76.19 84.44 90.21 92.74 94.80
在另一实施例中，为了说明本发明方法在不可察觉性上的可扩展性。本发明可以加入总变分(Total Variation，TV)损失函数来降低对抗补丁的可见性，TV损失函数可以表示为：
这时总的损失函数可以表示为：
Ltotal＝L(f(xadv),y)+λLTV,#(8)
其中λ是用于平衡不可见性和ASR的超参数，默认设置λ＝10。TV损失函数可以帮助生成图案更加平滑的对抗补丁，因此提高了对抗样本的不可见性。是否添加TV损失函数的对抗样本视觉效果图见图4。需要注意的是，尽管添加TV损失可以有效增加对抗样本的不可见性，但是作为代价，当使用16个补丁的时候，攻击成功率也会相应的从94.80％下降到82.92％，不过相比于传统方法，依然是较为优秀的攻击成功率。
在另一个实施例中，采用Grad-CAM方法可视化了分类器在良性图像和对抗图像之间的注意力转移。可视化的结果如Error！Reference source not found.所示。可以看到，在干净的图像中，分类器的关注点主要在储油罐上，而在MPAA生成的对抗图像上，几乎所有的注意力都转移到了对抗补丁上。随着补丁数量的增加，注意力变得更加分散，可以认为这就是随着补丁数量的增加，攻击能够变得更加容易成功的原因。
在一个实施例中，如图6所示，提供了一种面向遥感图像的可部署补丁对抗攻击装置，包括：数据输入模块602、可行性图确定模块604、攻击有效性图确定模块606、位置掩码确定模块608、对抗攻击模块610和结果输出模块612，其中：
数据输入模块602，用于获取遥感图像，将遥感图像输入预先设计的多补丁对抗攻击模型中；多补丁对抗攻击模型包括级联的位置选择模块和补丁攻击模块；位置选择模块包括可行性图模块、攻击有效性图模块和位置掩码模块；
可行性图确定模块604，用于通过可行性图模块根据遥感图像确定对应的可行性图；可行性图包含了能够放置对抗补丁的位置信息；
攻击有效性图确定模块606，用于通过攻击有效性图模块将遥感图像输入目标分类器中，通过目标分类器的损失函数计算当前分类结果下每个像素点的梯度信息，根据梯度信息得到遥感图像对应的攻击有效性图；攻击有效性图包含了在当前位置放置补丁的概率指导信息；
位置掩码确定模块608，用于通过位置掩码模块根据可行性图和攻击有效性图得到用于补丁位置采样的位置掩码；
对抗攻击模块610，用于通过补丁攻击模块根据位置掩码进行补丁位置采样得到多个补丁位置，在补丁位置叠加随机生成的对抗扰动，得到对抗样本，将对抗样本输入目标分类器中，通过梯度下降算法对对抗扰动进行迭代优化，直到对抗攻击成功，停止迭代；
结果输出模块612，用于若迭代次数达到预设的最大次数仍未攻击成功，则根据位置掩码重新进行补丁位置采样，直到输出最终的对抗样本。
可行性图确定模块604还用于通过可行性图模块基于对象上下文表示语义分割网络根据遥感图像确定对应的可行性图。
攻击有效性图确定模块606还用于根据梯度信息将每个像素点RGB三个通道的梯度绝对值相加得到遥感图像对应的攻击有效性图。
位置掩码确定模块608还用于通过位置掩码模块根据可行性图和攻击有效性图得到用于补丁位置采样的位置掩码为：
其中表示，表示可行性图，ε表示攻击有效性图，/>表示逐元素相乘。
对抗攻击模块610还用于根据梯度信息计算像素点被选为补丁位置的概率值：
其中，(i,j)表示像素点坐标，表示补丁所在区域梯度值之和，(u,v)表示按坐标对图像像素点的遍历，/>表示以(u,v)为左上顶点的补丁所在的区域内的梯度值之和，t是温度超参数，默认设置为t＝10；
通过补丁攻击模块根据概率值和位置掩码进行补丁位置采样得到多个补丁位置。
对抗攻击模块610还用于在补丁位置叠加随机生成的对抗扰动，得到对抗样本为：
xadv(m,p)＝(1-m)⊙x+m⊙p
其中，p表示对抗补丁，m与x尺寸相同，表示对应的0，1掩码矩阵，用于确定补丁的位置及形状，⊙表示哈达玛积。
关于面向遥感图像的可部署补丁对抗攻击装置的具体限定可以参见上文中对于面向遥感图像的可部署补丁对抗攻击方法的限定，在此不再赘述。上述面向遥感图像的可部署补丁对抗攻击装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种面向遥感图像的可部署补丁对抗攻击方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种面向遥感图像的可部署补丁对抗攻击方法，其特征在于，所述方法包括：
获取遥感图像，将所述遥感图像输入预先设计的多补丁对抗攻击模型中；所述多补丁对抗攻击模型包括级联的位置选择模块和补丁攻击模块；所述位置选择模块包括可行性图模块、攻击有效性图模块和位置掩码模块；
通过所述可行性图模块根据所述遥感图像确定对应的可行性图；所述可行性图包含了能够放置对抗补丁的位置信息；
通过所述攻击有效性图模块将所述遥感图像输入目标分类器中，通过所述目标分类器的损失函数计算当前分类结果下每个像素点的梯度信息，根据所述梯度信息得到所述遥感图像对应的攻击有效性图；所述攻击有效性图包含了在当前位置放置补丁的概率指导信息；
通过所述位置掩码模块根据所述可行性图和所述攻击有效性图得到用于补丁位置采样的位置掩码；
通过所述补丁攻击模块根据所述位置掩码进行补丁位置采样得到多个多个补丁位置，在所述补丁位置叠加随机生成的对抗扰动，得到对抗样本，将所述对抗样本输入所述目标分类器中，通过梯度下降算法对所述对抗扰动进行迭代优化，直到对抗攻击成功，停止迭代；
若迭代次数达到预设的最大次数仍未攻击成功，则根据所述位置掩码重新进行补丁位置采样，直到输出最终的对抗样本。
2.根据权利要求1所述的方法，其特征在于，通过所述可行性图模块根据所述遥感图像确定对应的可行性图，包括：
通过所述可行性图模块基于对象上下文表示语义分割网络根据所述遥感图像确定对应的可行性图。
3.根据权利要求2所述的方法，其特征在于，根据所述梯度信息得到所述遥感图像对应的攻击有效性图，包括：
根据所述梯度信息将每个像素点RGB三个通道的梯度绝对值相加得到所述遥感图像对应的攻击有效性图。
4.根据权利要求3所述的方法，其特征在于，通过所述位置掩码模块根据所述可行性图和所述攻击有效性图得到用于补丁位置采样的位置掩码，包括：
通过所述位置掩码模块根据所述可行性图和所述攻击有效性图得到用于补丁位置采样的位置掩码为：
其中表示，表示所述可行性图，ε表示所述攻击有效性图，/>表示逐元素相乘。
5.根据权利要求4所述的方法，其特征在于，通过所述补丁攻击模块根据所述位置掩码进行补丁位置采样得到多个补丁位置，包括：
根据所述梯度信息计算像素点被选为补丁位置的概率值：
其中，(i,j)表示像素点坐标，表示补丁所在区域梯度值之和，(u,v)表示按坐标对图像像素点的遍历，/>表示以(u,v)为左上顶点的补丁所在的区域内的梯度值之和，t是温度超参数，默认设置为t＝10；
通过所述补丁攻击模块根据所述概率值和所述位置掩码进行补丁位置采样得到多个补丁位置。
6.根据权利要求5所述的方法，其特征在于，在所述补丁位置叠加随机生成的对抗扰动，得到对抗样本，包括：
在所述补丁位置叠加随机生成的对抗扰动，得到对抗样本为：
xadv(m,p)＝(1-m)⊙x+m⊙p
其中，p表示对抗补丁，m与x尺寸相同，表示对应的0，1掩码矩阵，用于确定补丁的位置及形状，⊙表示哈达玛积。
7.根据权利要求6所述的方法，其特征在于，通过梯度下降算法对所述对抗扰动进行迭代优化，包括：
根据预设的优化目标函数通过梯度下降算法对所述对抗扰动进行迭代优化；其中所述预设的优化目标函数为：
其中，p表示对抗补丁，m与x尺寸相同，表示对应的0，1掩码矩阵，用于确定补丁的位置及形状，f(·)表示所述目标分类器，y表示图像真实标签，Sp和Sx分别表示单个补丁和整张图片的面积，L表示f(·)的损失函数，∈表示对单个补丁占图片总面积比例的限制参数。
8.根据权利要求1至7任意一项所述的方法，其特征在于，所述对抗扰动的初始值在[0，1]的区间内随机生成。
9.一种面向遥感图像的可部署补丁对抗攻击装置，其特征在于，所述装置包括：
数据输入模块，用于获取遥感图像，将所述遥感图像输入预先设计的多补丁对抗攻击模型中；所述多补丁对抗攻击模型包括级联的位置选择模块和补丁攻击模块；所述位置选择模块包括可行性图模块、攻击有效性图模块和位置掩码模块；
可行性图确定模块，用于通过所述可行性图模块根据所述遥感图像确定对应的可行性图；所述可行性图包含了能够放置对抗补丁的位置信息；
攻击有效性图确定模块，用于通过所述攻击有效性图模块将所述遥感图像输入目标分类器中，通过所述目标分类器的损失函数计算当前分类结果下每个像素点的梯度信息，根据所述梯度信息得到所述遥感图像对应的攻击有效性图；所述攻击有效性图包含了在当前位置放置补丁的概率指导信息；
位置掩码确定模块，用于通过所述位置掩码模块根据所述可行性图和所述攻击有效性图得到用于补丁位置采样的位置掩码；
对抗攻击模块，用于通过所述补丁攻击模块根据所述位置掩码进行补丁位置采样得到多个补丁位置，在所述补丁位置叠加随机生成的对抗扰动，得到对抗样本，将所述对抗样本输入所述目标分类器中，通过梯度下降算法对所述对抗扰动进行迭代优化，直到对抗攻击成功，停止迭代；
结果输出模块，用于若迭代次数达到预设的最大次数仍未攻击成功，则根据所述位置掩码重新进行补丁位置采样，直到输出最终的对抗样本。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。
CN202310868239.XA 2023-07-14 2023-07-14 面向遥感图像的可部署补丁对抗攻击方法、装置和设备 Pending CN116844052A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310868239.XA CN116844052A (zh) 2023-07-14 2023-07-14 面向遥感图像的可部署补丁对抗攻击方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310868239.XA CN116844052A (zh) 2023-07-14 2023-07-14 面向遥感图像的可部署补丁对抗攻击方法、装置和设备

Publications (1)

Publication Number Publication Date
CN116844052A true CN116844052A (zh) 2023-10-03

Family

ID=88159913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310868239.XA Pending CN116844052A (zh) 2023-07-14 2023-07-14 面向遥感图像的可部署补丁对抗攻击方法、装置和设备

Country Status (1)

Country Link
CN (1) CN116844052A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253094A (zh) * 2023-10-30 2023-12-19 上海计算机软件技术开发中心 一种图像分类系统对抗性样本生成方法、系统及电子设备
CN117409557A (zh) * 2023-12-14 2024-01-16 成都格理特电子技术有限公司 基于动态分析的检测高温报警方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253094A (zh) * 2023-10-30 2023-12-19 上海计算机软件技术开发中心 一种图像分类系统对抗性样本生成方法、系统及电子设备
CN117253094B (zh) * 2023-10-30 2024-05-14 上海计算机软件技术开发中心 一种图像分类系统对抗性样本生成方法、系统及电子设备
CN117409557A (zh) * 2023-12-14 2024-01-16 成都格理特电子技术有限公司 基于动态分析的检测高温报警方法
CN117409557B (zh) * 2023-12-14 2024-02-20 成都格理特电子技术有限公司 基于动态分析的检测高温报警方法

Similar Documents

Publication Publication Date Title
CN116844052A (zh) 面向遥感图像的可部署补丁对抗攻击方法、装置和设备
Jetchev et al. Texture synthesis with spatial generative adversarial networks
Chen et al. Shape matters: deformable patch attack
Barnes et al. Patchtable: Efficient patch queries for large datasets and applications
CN112132093B (zh) 高分辨率遥感图像目标检测方法、装置和计算机设备
Cozzolino et al. SpoC: Spoofing camera fingerprints
CN103279936B (zh) 基于画像的人脸伪照片自动合成及修正方法
CN113643278B (zh) 面向无人机影像目标检测的对抗样本生成方法
CN111275034B (zh) 从图像中提取文本区域的方法、装置、设备和存储介质
CN111898645A (zh) 基于注意力机制的可迁移的对抗样本攻击方法
CN112418165B (zh) 基于改进型级联神经网络的小尺寸目标检测方法与装置
CN108230269B (zh) 基于深度残差网络的去网格方法、装置、设备及存储介质
CN115424072A (zh) 一种基于探测技术的无人机防御方法
Khojasteh et al. Gmfim: a generative mask-guided facial image manipulation model for privacy preservation
Li et al. A survey of robustness and safety of 2d and 3d deep learning models against adversarial attacks
Nesti et al. Carla-gear: a dataset generator for a systematic evaluation of adversarial robustness of vision models
Jiang et al. Haze relevant feature attention network for single image dehazing
Gupta et al. A robust and efficient image de-fencing approach using conditional generative adversarial networks
CN111064905B (zh) 面向自动驾驶的视频场景转换方法
CN115861695A (zh) 一种基于空间变换的后门攻击方法、装置和介质
CN110378852A (zh) 图像增强方法、装置、计算机设备和存储介质
Xiang et al. PEEL: A provable removal attack on deep hiding
Zhong et al. Delving deep into pixelized face recovery and defense
CN111583168A (zh) 图像合成方法、装置、计算机设备和存储介质
Zhu et al. Adversarial example defense via perturbation grading strategy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination