CN114332446A - 在物理世界下具有旋转鲁棒性的图像对抗样本生成方法 - Google Patents

Abstract

本发明涉及一种在物理世界下具有旋转鲁棒性的图像对抗样本生成方法，涉及人工智能安全技术领域。主要步骤包括1.初始化算法参数与图像预处理得到当前对抗样本；2.利用当前对抗样本旋转得到旋转后的对抗样本；3.判断是否满足迭代终止条件，是则输出最终对抗样本并执行步骤7，否则执行步骤4；4.计算旋转不变联合梯度矩阵；5.对旋转不变联合梯度矩阵进行均值滤波；6.当前对抗样本更新，并返回步骤23；7.在真实物理世界下利用最终对抗样本进行测试，观察不同旋转角度下的对抗攻击效果。本发明生成的对抗样本在物理世界下具有旋转鲁棒性，解决了对抗样本在旋转过后攻击存在失效的情况，进一步提高了攻击成功率。

Description

在物理世界下具有旋转鲁棒性的图像对抗样本生成方法

技术领域

本发明涉及人工智能安全技术领域，具体涉及一种在物理世界下 具有旋转鲁棒性的图像对抗样本生成方法。

背景技术

在图像识别领域，一些标准测试集上的实验结果表明，深度模型 的识别能力已经可以达到甚至超过人类的智力水平。深度学习带给人 们巨大便利的同时，其本身也存在一些安全性问题.对于一个非正常 的输入，深度模型是否依然能够得出满意的结果。其中隐含的安全问 题也渐渐引起关注，多位学者开始关注深度模型的抗干扰能力。其中， 对抗样本是指由恶意攻击者在原有样本基础上添加微小扰动后，导致 深度学习算法产生错误分类、错误识别的样本。对抗样本的构造方法 也成为了人工智能安全领域的热点问题。

广州大学在其申请的专利“一种基于梯度屏蔽的对抗样本生成方 法”(专利申请号：2020113177768，公开号：CN112529047A)中提 出了基于梯度屏蔽的图像对抗样本生成方法，包括：S1，输入原始图 像；S2，采用目标检测算法进行核心区域定位得到核心区域；S3运 行基于梯度的攻击方法得到梯度矩阵；S4，基于核心区域和梯度矩阵 构造梯度屏蔽矩阵；S5，将梯度矩阵与梯度屏蔽矩阵对应相乘得到更 新梯度矩阵；S6，依据FGSM策略完成对抗样本的构造；S7，重复 执行S3-S6进行多轮迭代，最终得到基于区域的梯度屏蔽方法的对抗 样本。该方法拥有与梯度攻击相似的成功率，减少了对抗样本相对于 原始样本的扰动，提高了对抗样本的抗感知能力和抗检测能力。但是， 该方法仍然存在的不足之处在于：该方法只能处理数字世界下的图像 生成图像对抗样本，缺少在物理世界下生成图像对抗样本的能力。

同济大学在其申请的专利“一种面向交通信息感知的物理攻击对 抗样本生成方法”(专利申请号：202011316184.4，公开号： CN112541404A)中提供了一种面向交通信息感知的物理攻击的对抗 样本生成方法，该方法主要针对目标检测器网络。该方法包括：输入原始图片；使用ShapeShifter算法处理图片，获取训练样本；向训练 样本中加入高斯白噪声；计算损失函数；进行反向传播，迭代更新图 片；检查是否达到规定的迭代次数，若未达到则再次获取推荐窗口区 域并重复上述步骤，若达到则输出对应的对抗样本图片。以Faster R-CNN目标检测器网络为例，通过此专利可以生成进行物理攻击的 对抗样本，能够暴露Faster R-CNN存在的安全漏洞和问题，帮助改 进或提出更为有效的防御方法，提高交通信息感知系统的可靠性，保 证行车安全。但是，该方法仍然存在的不足之处在于：该方法在图像 添加旋转后的对抗扰动后，其攻击成功率相对较低。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何设计一种在物理世界下具有旋 转不变性的图像对抗样本生成方法，用于对基于深度学习的图像识别 系统发起对抗攻击，且在真实物理世界下具有旋转鲁棒性以及较高的 攻击成功率。

(二)技术方案

为了解决上述技术问题，本发明提供了一种在物理世界下具有旋 转不变性的图像对抗样本生成方法，包括以下步骤：

(1)初始化参数，进行图像预处理，得到当前对抗样本；

(1a)初始化参数，包括迭代次数n、学习率η、阈值t、掩码矩阵M， 其中阈值t用于判断是否攻击成功，掩码矩阵M是指生成一个与待攻 击图像尺寸相同、掩码区域为1，其余部分为0的矩阵，即，掩码矩 阵M的大小与待攻击图像相同，掩码区域为1，其余部分为0，其中掩码区域是指根据将要攻击的舰船目标，在舰船目标图像范围内选取 一个区域，区域范围为舰船目标图像范围的一部分，掩码区域由设定 的两个坐标决定；

(1b)读取待攻击图像并进行预处理，得到预处理后的图像，并以 预处理后的图像作为当前对抗样本，所述预处理具体是读取待攻击图 像，将待攻击图像转化为张量，将0-255像素值转化到0-1之间进行 加速计算，并对待攻击图像添加高斯噪声，得到预处理后的待攻击图 像，将预处理后的待攻击图像的掩码区域的值设置为一个定值，并以 预处理后的待攻击图像作为当前对抗样本；

(2)将360°均分为K个角度，利用当前对抗样本旋转得到K个不同 旋转角度的对抗样本，旋转操作是指计算旋转矩阵，再结合旋转矩阵 对当前对抗样本完成旋转操作；

(3)基于步骤(1)、步骤(2)判断是否满足迭代终止条件；

(3a)分别将待攻击的目标模型对当前所有对抗样本的各个损失函 数值L_i,i＝1,2,...,K与阈值t进行比较，判断K个旋转后的对抗样本是否 全部攻击成功，若均已成功则输出当前对抗样本作为最终对抗样本， 执行步骤(7)，否则执行步骤(3b)；

(3b)判断是否达到迭代次数n，若达到迭代次数n输出攻击失败信 息，否则执行步骤(4)；

(4)计算旋转不变联合梯度矩阵；

(4a)将K个旋转后的对抗样本输入到图像识别网络得到K个识别 结果；

(4b)利用所述识别结果计算损失函数值L_i，并反向传播分别计算 K个不同的输入梯度矩阵；损失函数用于衡量对抗攻击效果，损失函 数值越小则攻击效果越好，例如在图像分类中常用的交叉熵损失函数；

(4c)依据旋转的角度对不同输入梯度矩阵分别进行逆旋转，得到K个逆旋转后的输入梯度矩阵G_i,i＝1,2,...,K；其中逆旋转是指在反向 传播求解梯度矩阵的过程中，依据当前对抗样本记录下的角度，逆角 度旋转输入梯度矩阵得到逆旋转后的输入梯度矩阵；

(4d)根据步骤(4b)中的K个损失函数值得到K个逆旋转后的不同 输入梯度矩阵G_i的权重w_i,i＝1,2,...,K，将权重w_i与对应的K个输入梯 度矩阵加权求和后得到所述旋转不变联合梯度矩阵G，权重w_i由归一 化函数公式

计算得到；所述旋转不变联合梯度矩阵由公 式

计算得到；

(5)对所述旋转不变联合梯度矩阵进行均值滤波：

(5a)设计尺寸为n×n的均值滤波卷积核，卷积核的尺寸小于对抗 样本的尺寸；

(5b)利用所述均值滤波卷积核对所述旋转不变联合梯度矩阵进 行二维卷积，得到均值滤波后的旋转不变联合梯度矩阵G_f；所述的二 维卷积是将所述均值滤波卷积核在所述旋转不变联合梯度矩阵上滑 动，对应位置相乘再求和取均值；

(6)基于步骤1、步骤(5)进行当前对抗样本更新，完成更新之 后返回步骤(2)；

(6a)利用所述均值滤波后的旋转不变联合梯度矩阵G_f与掩码矩 阵M做点乘，得到局部梯度矩阵G_mask，其计算公式为G_mask＝G_f·M；利 用所述局部梯度矩阵对当前对抗样本进行更新可以保证非掩码区域 不受影响；

(6b)按照学习率η与所述局部梯度矩阵G_mask更新当前对抗样本， 更新公式为I_new＝I_old-η·sign(G_mask)，其中I_new和I_old分别为更新之后和更 新之前的当前对抗样本，其中sign为符号函数，完成更新之后返回步 骤(2)；

(7)在真实物理世界下利用所述最终对抗样本进行测试，观察不 同旋转角度下的对抗攻击效果；其中，打印生成的最终对抗样本，依 据掩码区域裁剪最终对抗样本得到对抗扰动，利用高清摄像头对加载 了对抗扰动的舰船目标进行物理世界下的实时目标检测，对舰船目标 旋转多次，每次在不同旋转角度下观察输出检测结果，即对抗攻击效 果，保存检测得到的结果与原始图像检测效果，并进行对比分析。

(三)有益效果

本发明提出通过同时使用多张旋转后的图像进行训练，应用均值 滤波、自适应加权策略对生成的攻击图像进行更新，能够保证生成的 对抗样本在物理世界下具有旋转鲁棒性。其中通过采用基于均值滤波 的策略，实现了在数字世界下的对抗样本攻击成功率较高，而在物理 世界下不能保证对抗样本攻击成功率的情况下，使用均值滤波模拟现 实物理世界的各种复杂因素影响下的真实图像；由于在训练过程中会 出现单一方向攻击效果较好，其它方向攻击效果较差的情况，而旋转 鲁棒性要求的是在各个方向都有较高的攻击成功性，因此通过使用自 适应加权的策略实现自适应学习权重，保证旋转鲁棒性。

附图说明

图1为本发明方法的流程图；

图2为本发明实验装置图；

图3(a)表示无旋转、无对抗扰动加入的检测结果；

图3(b)表示有旋转、无对抗扰动加入的检测结果；

图3(c)表示无旋转、有普通扰动加入的检测结果；

图3(d)表示有旋转、有普通扰动加入的检测结果；

图3(e)表示无旋转、有本发明生成的对抗扰动加入的检测结果；

图3(f)表示有旋转、有本发明生成的对抗扰动加入的检测结果。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实 施例，对本发明的具体实施方式作进一步详细描述。

本发明针对基于图像处理神经网络模型的图像对抗样本生成技 术进行研究，提供一种在物理世界下具有旋转不变性的图像对抗样本 生成方法，该方法加载物理世界下的原始图像，利用自适应加权、均 值滤波策略产生具有旋转鲁棒性效果的图像对抗扰动。与其它白盒对 抗样本生成算法相比，该方法生成的对抗样本在物理世界下具有旋转 鲁棒性，在针对物理世界下的图像信号具有较高的攻击成功率的同时， 还解决了对抗样本在旋转过后攻击存在失效的问题，达成了无论如何 旋转对抗样本都能保有较高的攻击成功性的效果。

该方法中，首先加载图像处理模型以及模型权重：使用 Fast-RCNN网络结构搭建一个图像处理神经网络模型，该模型以 “RGB”格式读入图像数据，输入维度为(3,224,224)，模型输出为物体 框及对应置信度。模型权重是指在Fast-RCNN网络模型下训练好的模型参数，并使用“.pth”格式加载到图像处理神经网络模型中。然后 执行以下步骤：

步骤1，初始化算法参数与图像预处理：

初始化算法参数，迭代次数n为1000，学习率η为0.01，阈值t为 0.8，掩码矩阵M为一个与攻击图像尺寸相同、掩码区域为1，其余 部分为0的矩阵；

读取待攻击图像并进行预处理，将高清摄像头拍摄到的物理世界 下的待攻击图像转化为张量，将0-255像素值转化到0-1之间加速计 算(是一种数值范围转化操作)，进行裁剪并保存，裁剪后的尺寸为 (3,224,224)；保存的原始图像用于与之后生成的对抗样本作对比。输 出最终对抗样本后与原始图像一同输入模型中并使用自定义的标框 算法在图像上标出模型识别到的舰船目标及置信度；

对输入的待攻击图像添加0.01倍的标准正态分布生成一张攻击 图像，噪声尺寸与待攻击图像尺寸相同；读取已经保存的掩码区域的 两个坐标，确定掩码区域，将攻击图像掩码区域的值设置为0.5后得 到预处理后的图像，并以预处理后的图像作为当前对抗样本。

步骤2，利用当前对抗样本旋转得到K个不同角度的旋转后的对 抗样本，K的值为8：

将360°均分为8个角度，记录下各个角度的度数；进行旋转操作 时先计算旋转矩阵，确 定图像旋转中心，旋转角度，以及缩放因子决定图像是否缩放，再结 合旋转矩阵及需要生成的图像尺寸对当前对抗样本完成8次映射变 换完成旋转操作并保存8个旋转后的对抗样本。

步骤3，判断是否满足迭代终止条件：

以模型(图像处理神经网络模型)给出的各个目标类别的预测概 率的最大值作为损失函数判断8个旋转后的对抗样本是否全部攻击 成功，若模型对当前所有对抗样本的损失函数值L_i均小于阈值0.8， 表示攻击成功，输出当前对抗样本作为最终对抗样本用于之后的实验 验证阶段；若存在L_i大于阈值0.8则执行判断当前迭代次数是否达到 1000，达到迭代上限1000输出攻击失败，否则执行步骤4。

步骤4，计算旋转不变联合梯度矩阵：

将8个旋转后的对抗样本输入到图像识别网络得到8个识别结果；

利用识别结果中得分最大值作为损失函数值L_i，并反向传播分别 计算8个不同对抗样本的输入梯度矩阵，输入梯度矩阵为损失函数值 对对抗样本的偏导；

对8个输入梯度矩阵分别进行逆旋转，在反向传播求解梯度矩阵 的过程中，依据不同对抗样本旋转的角度，逆角度旋转输入梯度矩阵 得到8个逆旋转后的输入梯度矩阵G_i；

进行梯度自适应加权时根据8个损失函数值得到8个对抗样本的 输入梯度矩阵的权重w_i，

与8个逆旋转后的输入梯度矩阵对应加权求和后得到旋转不变联合 梯度矩阵G；8个不同输入的权重w_i由归一化函数公式

计 算得到；旋转不变联合梯度矩阵由公式

计算得到。

步骤5，对旋转不变联合梯度矩阵进行均值滤波：

提升在物理世界下攻击成功率，对梯度进行均值滤波，设计尺寸 为5×5的均值滤波卷积核；利用像素点的邻域像素值来计算中心像素 点的值，均值滤波能够模拟现实物理世界的各种复杂因素影响下的真 实图像；

利用均值滤波卷积核对旋转不变联合梯度矩阵进行二维卷积，步 长设置为1，将均值滤 波卷积核在旋转不变联合梯度矩阵上滑动，对应位置相乘再求和取均 值得到均值滤波后的旋转不变联合梯度矩阵G_f，G_f的尺寸与G的尺寸 相同。

步骤6，当前对抗样本更新：

利用均值滤波后的旋转不变联合梯度矩阵G_f，与掩码矩阵M做 点乘，通过公式G_mask＝G_f·M计算得到局部梯度矩阵G_mask；利用局部梯 度矩阵对当前对抗样本进行更新保证非掩码区域不受影响，G_f为均值 滤波后的旋转不变联合梯度矩阵，M为掩码矩阵；

按照学习率η与局部梯度矩阵G_mask和符号函数sign使用公式 I_new＝I_old-η·sign(G_mask)对当前对抗样本进行更新，其中I_new和I_old分别为 更新之后和更新之前的当前对抗样本，并返回步骤2。

步骤7，在真实物理世界下利用最终对抗样本进行测试，观察不 同旋转角度下的对抗攻击效果：

在物理世界下，利用高清摄像头捕获舰船目标，进行实时的目标 检测，对舰船目标添加贴纸对抗扰动，多次旋转不同的角度观察输出 检测结果。保存检测得到的结果与原始图像检测结果进行对比，分析 对抗效果。

下面结合实验对本发明的效果做进一步的描述。

1.实验条件：

本发明的实验的软件平台为：Windows10操作系统和Spyder集 成开发环境。

本发明的实验的硬件设备为Intel Core(TM)i7-9700K@3.60GHz ×8，GPU NvidiaGeForce GTX 1080Ti，11GB显存。

本发明的实验使用的Python版本为python 3.7.3，所使用的库及 对应版本分别pytorch 1.1.0，torchvision 0.3.0，opencv-python 4.4.0， numpy 1.21.0。

2.实验内容和结果

结合附图3(a)～图3(f)对物理世界下的图像加载本算法生成的对 抗扰动的实验检测结果进行分析：图3(a)表示无旋转、无对抗扰动加 入的检测结果，模型能够正确识别舰船目标；图3(b)表示有旋转、无 对抗扰动加入的检测结果，模型在图像旋转之后能够正确识别舰船目 标；图3(c)表示无旋转、有普通扰动加入的检测结果，在添加了普通 扰动后，模型因具有一定的鲁棒性，能够正确识别舰船目标；图3(d) 表示有旋转、有普通扰动加入的检测结果，模型在添加了普通扰动且 图像旋转之后，能够正确识别舰船目标；图3(e)表示无旋转、由本发 明所提出方法生成的对抗扰动加入的检测结果，模型没有识别到舰船目标；图3(f)表示有旋转、有本发明生成的对抗扰动加入的检测结果， 对抗扰动在旋转之后，模型没有识别到舰船目标。

经实验验证，将本发明方法生成的对抗样本加载在待攻击图像上， 输入目标检测模型后，模型没有标出物体框；其它图像对抗样本生成 算法往往只具有缩放平移不变性，在对抗样本识别结果相同的情况下， 本发明方法生成的图像对抗样本不但具有一般图像对抗样本的平移 伸缩鲁棒性，更因采用了梯度自适应加权策略，有其它图像对抗样本 所不具备的旋转鲁棒性，同时应用均值滤波策略能够在真实物理世界 下具有稳定攻击效果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领 域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以 做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种在物理世界下具有旋转鲁棒性的图像对抗样本生成方法，其特征在于，包括以下步骤：

(1)初始化参数，进行图像预处理，得到当前对抗样本；

(2)将360°均分为K个角度，利用当前对抗样本旋转得到K个不同旋转角度的对抗样本，旋转操作是指计算旋转矩阵，再结合旋转矩阵对当前对抗样本完成旋转操作；

(3)基于步骤(1)、步骤(2)判断是否满足迭代终止条件；具体为：

(3a)分别将待攻击的目标模型对当前所有对抗样本的各个损失函数值L_i,i＝1,2,...,K与阈值t进行比较，判断K个旋转后的对抗样本是否全部攻击成功，若均已成功则输出当前对抗样本作为最终对抗样本，执行步骤(7)，否则执行步骤(3b)；

(3b)判断是否达到迭代次数n，若达到迭代次数n输出攻击失败信息，否则执行步骤(4)；

(4)计算旋转不变联合梯度矩阵；

(5)对所述旋转不变联合梯度矩阵进行均值滤波；

(6)基于步骤1、步骤(5)进行当前对抗样本更新，完成更新之后返回步骤(2)；

(7)在真实物理世界下利用所述最终对抗样本进行测试，观察不同旋转角度下的对抗攻击效果。

2.如权利要求1所述的方法，其特征在于，步骤(1)具体为：

(1a)初始化参数，包括迭代次数n、学习率η、阈值t、掩码矩阵M，其中阈值t用于判断是否攻击成功，掩码矩阵M是指生成一个与待攻击图像尺寸相同、掩码区域为1，其余部分为0的矩阵，即，掩码矩阵M的大小与待攻击图像相同，掩码区域为1，其余部分为0，其中掩码区域是指根据将要攻击的舰船目标，在舰船目标图像范围内选取一个区域，区域范围为舰船目标图像范围的一部分，掩码区域由设定的两个坐标决定；

(1b)读取待攻击图像并进行预处理，得到预处理后的图像，并以预处理后的图像作为当前对抗样本，所述预处理具体是读取待攻击图像，将待攻击图像转化为张量，将0-255像素值转化到0-1之间，并对待攻击图像添加高斯噪声，得到预处理后的待攻击图像，将预处理后的待攻击图像的掩码区域的值设置为一个定值，并以预处理后的待攻击图像作为当前对抗样本。

3.如权利要求2所述的方法，其特征在于，步骤(4)具体为：

(4a)将K个旋转后的对抗样本输入到图像识别网络得到K个识别结果；

(4b)利用所述识别结果计算损失函数值L_i，并反向传播分别计算K个不同的输入梯度矩阵；损失函数用于衡量对抗攻击效果；

(4c)依据旋转的角度对不同输入梯度矩阵分别进行逆旋转，得到K个逆旋转后的输入梯度矩阵G_i,i＝1,2,...,K；

(4d)根据步骤(4b)中的K个损失函数值得到K个逆旋转后的不同输入梯度矩阵G_i的权重w_i,i＝1,2,...,K，将权重w_i与对应的K个输入梯度矩阵加权求和后得到所述旋转不变联合梯度矩阵G。

4.如权利要求3所述的方法，其特征在于，所述损失函数为交叉熵损失函数。

5.如权利要求3所述的方法，其特征在于，其中逆旋转是指在反向传播求解梯度矩阵的过程中，依据当前对抗样本记录下的角度，逆角度旋转输入梯度矩阵得到逆旋转后的输入梯度矩阵。

6.如权利要求5所述的方法，其特征在于，权重w_i由归一化函数公式

计算得到；所述旋转不变联合梯度矩阵由公式

计算得到。

7.如权利要求6所述的方法，其特征在于，步骤(5)具体为：

(5a)设计尺寸为n×n的均值滤波卷积核，卷积核的尺寸小于对抗样本的尺寸；

(5b)利用所述均值滤波卷积核对所述旋转不变联合梯度矩阵进行二维卷积，得到均值滤波后的旋转不变联合梯度矩阵G_f；所述的二维卷积是将所述均值滤波卷积核在所述旋转不变联合梯度矩阵上滑动，对应位置相乘再求和取均值。

8.如权利要求7所述的方法，其特征在于，步骤(6)具体为：

(6a)利用所述均值滤波后的旋转不变联合梯度矩阵G_f与掩码矩阵M做点乘，得到局部梯度矩阵G_mask，其计算公式为G_mask＝G_f·M；

(6b)按照学习率η与所述局部梯度矩阵G_mask更新当前对抗样本，更新公式为I_new＝I_old-η·sign(G_mask)，其中I_new和I_old分别为更新之后和更新之前的当前对抗样本，其中sign为符号函数，完成更新之后返回步骤(2)。

9.如权利要求8所述的方法，其特征在于，步骤(7)具体为：打印生成的最终对抗样本，依据掩码区域裁剪最终对抗样本得到对抗扰动，利用高清摄像头对加载了对抗扰动的舰船目标进行物理世界下的实时目标检测，对舰船目标旋转多次，每次在不同旋转角度下观察输出检测结果，即对抗攻击效果，保存检测得到的结果与原始图像检测效果，并进行对比分析。

10.一种如权利要求1至9中任一项所述方法在人工智能安全技术领域中的应用。

Images