CN114972783A - 一种增强梯度低频信息的对抗样本生成方法及其应用 - Google Patents

一种增强梯度低频信息的对抗样本生成方法及其应用 Download PDF

Info

Publication number
CN114972783A
CN114972783A CN202210487135.XA CN202210487135A CN114972783A CN 114972783 A CN114972783 A CN 114972783A CN 202210487135 A CN202210487135 A CN 202210487135A CN 114972783 A CN114972783 A CN 114972783A
Authority
CN
China
Prior art keywords
gradient
low
frequency information
current iteration
iteration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210487135.XA
Other languages
English (en)
Inventor
刘汉文
盛银
曾志刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202210487135.XA priority Critical patent/CN114972783A/zh
Publication of CN114972783A publication Critical patent/CN114972783A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉图像识别技术领域，具体涉及一种增强梯度低频信息的对抗样本生成方法及其应用，包括：将原始图像输入待欺骗分类器中，基于该分类器的损失函数，得到当前迭代的第一梯度；采用低通滤波器从当前迭代的第一梯度中提取低频信息，作为第二梯度并与第一梯度线性融合，以增强梯度中的低频信息；采用融合后的梯度，通过加权平均，得到当前迭代的动量，并用当前迭代的动量计算对抗扰动，将对抗扰动添加到上一次迭代得到的对抗样本中，得到当前迭代的对抗样本；将当前迭代的对抗样本作为新的原始图像，重复上述过程，直到达到设定的迭代次数，输出对抗样本。本发明方法可有效提高MIM算法在正常训练和对抗训练的网络上的迁移攻击成功率。

Description

一种增强梯度低频信息的对抗样本生成方法及其应用
技术领域
本发明属于计算机视觉图像识别技术领域，更具体地，涉及一种增强梯度低频信息的对抗样本生成方法及其应用。
背景技术
近年来，深度卷积神经网络因为性能优越被广泛应用于计算机视觉领域，但与此同时，对抗样本给现代深度卷积神经网络带来的安全威胁也愈发严重。具体来说，将人眼难以察觉的恶意扰动添加到正常样本中生成对抗样本，导致神经网络对其以高置信度给出错误的输出结果，鲁棒性低的神经网络会深受其影响，进而产生较大的安全性问题。评估并提高卷积神经网络的鲁棒性是一个极其重要的课题，对抗样本是其中的评估方法之一。
截至目前，许多研究者提出了多种生成对抗样本的方法，其中快速梯度符号法(FGSM)是第一个被提出的基于梯度的对抗样本生成方法，之后有很多变体方法被提出，包括迭代快速梯度符号法(BIM)、动量迭代快速梯度符号法(MIM)、平移变换集成迭代快速梯度符号法(TIM)等。其中TIM是一种提取梯度低频信息用于生成对抗样本的方法，被应用于经过对抗训练得到的卷积神经网络中。与MIM相比，TIM在经过对抗训练得到的网络中迁移攻击成功率有所提升，但因为其过度提取了梯度的低频信息，导致梯度的高频信息失真，造成在经过正常训练得到的网络中迁移攻击成功率有所下降。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种增强梯度低频信息的对抗样本生成方法及其应用，其目的在于解决TIM算法在正常训练的网络中迁移攻击成功率有所下降的问题。
为实现上述目的，按照本发明的一个方面，提供了一种增强梯度低频信息的对抗样本生成方法，包括：
将原始图像输入待欺骗分类器中，基于该分类器的损失函数，得到当前迭代的第一梯度；
采用低通滤波器从当前迭代的第一梯度中提取低频的信息，作为第二梯度并与其对应的第一梯度线性融合，以增强梯度中的低频信息；
采用所述融合后的梯度，通过加权平均，得到当前迭代的动量，并用当前迭代的动量计算对抗扰动，将对抗扰动添加到上一次迭代得到的对抗样本中，得到当前迭代的对抗样本；将当前迭代的对抗样本作为新的原始图像，重复上述过程，直到达到设定的迭代次数，输出对抗样本。
进一步，所述线性融合的计算方式为：
Figure BDA0003629610430000021
其中，β为权重系数，取值为0.7，T(·)为大小11×11的高斯滤波器，gt为当前迭代的梯度。
进一步，所述当前迭代的动量的确定方式为：
将所述融合后的梯度进行标准化，并将标准化后的结果与上一次迭代得到的动量进行指数加权平均计算，得到当前迭代的动量。
进一步，所述当前迭代的动量的计算方式为：
Figure BDA0003629610430000022
其中，
Figure BDA0003629610430000023
为第t-1次迭代累加的动量，μ为动量系数，取值为1.0，
Figure BDA0003629610430000024
为所述线性融合的梯度，
Figure BDA0003629610430000025
表示
Figure BDA0003629610430000026
在L1范数下的取值。
本发明还提供一种增强梯度低频信息的对抗样本生成装置，包括：
初始梯度获取单元，用于将原始图像输入待欺骗分类器中，基于该分类器的损失函数，得到当前迭代的第一梯度；
增强单元，用于采用低通滤波器从所述初始梯度获取单元所获得的当前迭代的第一梯度中提取低频的信息，作为第二梯度并与其对应的第一梯度采用如上所述一种增强梯度低频信息的对抗样本生成方法中的线性融合方式进行线性融合，以增强梯度中的低频信息；
对抗样本生成单元，用于采用所述增强单元所得到的融合后的梯度，通过如上所述的一种增强梯度低频信息的对抗样本生成方法中的加权平均法进行加权平均，得到当前迭代的动量，并用当前迭代的动量计算对抗扰动，将对抗扰动添加到上一次迭代得到的对抗样本中，得到当前迭代的对抗样本，并根据迭代终止条件，将所述对抗样本发送给所述初始梯度获取单元，或者，迭代结束输出对抗样本。
本发明还提供一种图像对抗攻击方法，采用如上所述的一种增强梯度低频信息的对抗样本生成方法所生成的对抗样本，进行图像对抗攻击。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如上所述的一种增强梯度低频信息的对抗样本生成方法和/或如上所述的一种图像对抗攻击方法。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
本发明考虑了真实梯度与低频梯度在方向上的差异，是一种考虑多方面梯度信息的对抗样本生成技术。本发明在保留对抗扰动高频信息的基础上，通过线性融合操作增强对抗扰动的低频信息，在保持对经过对抗训练的卷积神经网络攻击效果的基础上，提高对抗样本在经过正常训练的卷积神经网络上的迁移攻击成功率，完成更为有效的攻击，本发明是新颖且普适的，并且在计算过程中不引入额外的计算复杂度，解决了传统利用梯度低频信息的攻击技术中造成的正常训练分类器迁移攻击成功率降低的问题。
附图说明
图1为本发明实施例提供的一种增强梯度低频信息的对抗样本生成方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
一种增强梯度低频信息的对抗样本生成方法，如图1所示，包括：
将原始图像输入待欺骗分类器中，基于该分类器的损失函数，得到当前迭代的第一梯度；
采用低通滤波器从当前迭代的第一梯度中提取低频的信息，作为第二梯度并与其对应的第一梯度线性融合，以增强梯度中的低频信息；
采用融合后的梯度，通过加权平均，得到当前迭代的动量，并用当前迭代的动量计算对抗扰动，将对抗扰动添加到上一次迭代得到的对抗样本中，得到当前迭代的对抗样本；将当前迭代的对抗样本作为新的原始图像，重复上述过程，直到达到设定的迭代次数，输出对抗样本。
与动量迭代快速梯度符号法(MIM)相比，平移变换集成迭代快速梯度符号法(TIM)在经过对抗训练得到的网络中迁移攻击成功率有所提升，但因为其过度提取了梯度的低频信息，导致梯度的高频信息失真，造成在经过正常训练得到的网络中迁移攻击成功率有所下降。
在迭代计算对抗样本的过程中，增强每次迭代所求梯度的低频信息，具体实施方法是首先利用低频信息提取器对反向传播求得的梯度提取低频信息，然后与原梯度进行线性融合。这在提高对抗样本在对抗训练模型上迁移攻击成功率的同时，同样会使得在正常训练模型上迁移攻击成功率有所提高。可以从破坏图像的低频信息更容易对对抗训练模型造成攻击，破坏图像的高频信息更易攻击正常训练的模型来解释该效果，这是一个统计结果。现有算法或许提取梯度的低频信息过度，因此造成了对正常训练模型攻击成功率的下降。本发明所提算法是TIM算法的一种泛化，在对梯度进行处理时，对其中所含低频信息以及高频信息有一定的取舍，使其达到对正常训练模型以及对抗训练模型上的迁移攻击成功率均有所提升的效果。因此，对TIM算法，该实施例方法无论是在经过正常训练的模型上还是在经过对抗训练的模型上迁移攻击成功率均有所提升。
当前迭代的第一梯度计算公式为：
Figure BDA0003629610430000051
其中，
Figure BDA0003629610430000052
为根据
Figure BDA0003629610430000053
对
Figure BDA0003629610430000054
求梯度，
Figure BDA0003629610430000055
为第t-1次迭代的对抗样本，ytrue为第一次迭代时输入分类器的原始图像的真实标签，取值固定，J(·，·)为目标函数。
计算当前迭代的对抗样本的公式为：
Figure BDA0003629610430000056
其中，ε为L∞范数的最大扰动限制，Clip为投影操作，α为步长因子，sign(·)为符号函数，
Figure BDA0003629610430000057
为当前迭代的动量。
优选的，上述线性融合的计算方式为：
Figure BDA0003629610430000058
其中，β为权重系数，取值为0.7，T(·)为大小11×11的高斯滤波器，gt为当前迭代的梯度。
优选的，上述当前迭代的动量的确定方式为：
将融合后的梯度进行标准化，并将标准化后的结果与上一次迭代得到的动量进行指数加权平均计算，得到当前迭代的动量。
优选的，上述当前迭代的动量的计算方式为：
Figure BDA0003629610430000061
其中，
Figure BDA0003629610430000062
为第t-1次迭代累加的动量，μ为动量系数，取值为1.0，
Figure BDA0003629610430000063
为所述线性融合的梯度，
Figure BDA0003629610430000064
表示
Figure BDA0003629610430000065
在L1范数下的取值。
实施例二
一种增强梯度低频信息的对抗样本生成装置，包括：
初始梯度获取单元，用于将原始图像输入待欺骗分类器中，基于该分类器的损失函数，得到当前迭代的第一梯度；
增强单元，用于采用低通滤波器从初始梯度获取单元所获得的当前迭代的第一梯度中提取低频的信息，作为第二梯度并与其对应的第一梯度采用如实施例一所述一种增强梯度低频信息的对抗样本生成方法中的线性融合方式进行线性融合，以增强梯度中的低频信息；
对抗样本生成单元，用于采用所述增强单元所得到的融合后的梯度，通过如实施例一所述的一种增强梯度低频信息的对抗样本生成方法中的加权平均法进行加权平均，得到当前迭代的动量，并用当前迭代的动量计算对抗扰动，将对抗扰动添加到上一次迭代得到的对抗样本中，得到当前迭代的对抗样本，并根据迭代终止条件，将所述对抗样本发送给所述初始梯度获取单元，或者，迭代结束输出对抗样本。
相关技术方案同实施例一，在此不再赘述。
实施例三
一种图像对抗攻击方法，采用如上所述的一种增强梯度低频信息的对抗样本生成方法所生成的对抗样本，进行图像对抗攻击。
相关技术方案同实施例一，在此不再赘述。
实施例四
一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如上所述的一种增强梯度低频信息的对抗样本生成方法和/或如上所述的一种图像对抗攻击方法。
相关技术方案同实施例一，在此不再赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种增强梯度低频信息的对抗样本生成方法，其特征在于，包括：
将原始图像输入待欺骗分类器中，基于该分类器的损失函数，得到当前迭代的第一梯度；
采用低通滤波器从当前迭代的第一梯度中提取低频的信息，作为第二梯度并与其对应的第一梯度线性融合，以增强梯度中的低频信息；
采用所述融合后的梯度，通过加权平均，得到当前迭代的动量，并用当前迭代的动量计算对抗扰动，将对抗扰动添加到上一次迭代得到的对抗样本中，得到当前迭代的对抗样本；将当前迭代的对抗样本作为新的原始图像，重复上述过程，直到达到设定的迭代次数，输出对抗样本。
2.根据权利要求1所述的一种增强梯度低频信息的对抗样本生成方法，其特征在于，所述线性融合的计算方式为：
Figure FDA0003629610420000011
其中，β为权重系数，取值为0.7，T(·)为大小11×11的高斯滤波器，gt为当前迭代的梯度。
3.根据权利要求1所述的一种增强梯度低频信息的对抗样本生成方法，其特征在于，所述当前迭代的动量的确定方式为：
将所述融合后的梯度进行标准化，并将标准化后的结果与上一次迭代得到的动量进行指数加权平均计算，得到当前迭代的动量。
4.根据权利要求3所述的一种增强梯度低频信息的对抗样本生成方法，其特征在于，所述当前迭代的动量的计算方式为：
Figure FDA0003629610420000012
其中，
Figure FDA0003629610420000013
为第t-1次迭代累加的动量，μ为动量系数，取值为1.0，
Figure FDA0003629610420000014
为所述线性融合的梯度，
Figure FDA0003629610420000015
表示
Figure FDA0003629610420000016
在L1范数下的取值。
5.一种增强梯度低频信息的对抗样本生成装置，其特征在于，包括：
初始梯度获取单元，用于将原始图像输入待欺骗分类器中，基于该分类器的损失函数，得到当前迭代的第一梯度；
增强单元，用于采用低通滤波器从所述初始梯度获取单元所获得的当前迭代的第一梯度中提取低频的信息，作为第二梯度并与其对应的第一梯度采用如权利要求1至4任一项所述一种增强梯度低频信息的对抗样本生成方法中的线性融合方式进行线性融合，以增强梯度中的低频信息；
对抗样本生成单元，用于采用所述增强单元所得到的融合后的梯度，通过如权利要求1至4任一项所述的一种增强梯度低频信息的对抗样本生成方法中的加权平均法进行加权平均，得到当前迭代的动量，并用当前迭代的动量计算对抗扰动，将对抗扰动添加到上一次迭代得到的对抗样本中，得到当前迭代的对抗样本，并根据迭代终止条件，将所述对抗样本发送给所述初始梯度获取单元，或者，迭代结束输出对抗样本。
6.一种图像对抗攻击方法，其特征在于，采用如权利要求1至4任一项所述的一种增强梯度低频信息的对抗样本生成方法所生成的对抗样本，进行图像对抗攻击。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利要求1至4任一项所述的一种增强梯度低频信息的对抗样本生成方法和/或如权利要求6所述的一种图像对抗攻击方法。
CN202210487135.XA 2022-05-06 2022-05-06 一种增强梯度低频信息的对抗样本生成方法及其应用 Pending CN114972783A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210487135.XA CN114972783A (zh) 2022-05-06 2022-05-06 一种增强梯度低频信息的对抗样本生成方法及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210487135.XA CN114972783A (zh) 2022-05-06 2022-05-06 一种增强梯度低频信息的对抗样本生成方法及其应用

Publications (1)

Publication Number Publication Date
CN114972783A true CN114972783A (zh) 2022-08-30

Family

ID=82980966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210487135.XA Pending CN114972783A (zh) 2022-05-06 2022-05-06 一种增强梯度低频信息的对抗样本生成方法及其应用

Country Status (1)

Country Link
CN (1) CN114972783A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439377A (zh) * 2022-11-08 2022-12-06 电子科技大学 一种增强对抗图像样本迁移性攻击的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115439377A (zh) * 2022-11-08 2022-12-06 电子科技大学 一种增强对抗图像样本迁移性攻击的方法

Similar Documents

Publication Publication Date Title
CN109035163B (zh) 一种基于深度学习的自适应图像去噪方法
CN110348475B (zh) 一种基于空间变换的对抗样本增强方法和模型
CN109376556B (zh) 一种针对以卷积神经网络为基础的eeg脑机接口的攻击方法
CN109543760B (zh) 基于图像滤镜算法的对抗样本检测方法
CN110941794A (zh) 一种基于通用逆扰动防御矩阵的对抗攻击防御方法
CN111047054A (zh) 一种基于两阶段对抗知识迁移的对抗样例防御方法
CN112287784B (zh) 一种基于深度卷积神经网络与特征融合的雷达信号分类方法
CN111967006A (zh) 基于神经网络模型的自适应黑盒对抗攻击方法
CN110647916A (zh) 基于卷积神经网络的色情图片识别方法及装置
CN114972783A (zh) 一种增强梯度低频信息的对抗样本生成方法及其应用
CN113487015A (zh) 基于图像亮度随机变换的对抗样本生成方法及系统
CN111178504B (zh) 基于深度神经网络的鲁棒压缩模型的信息处理方法及系统
CN115240280A (zh) 人脸活体检测分类模型的构建方法、检测分类方法及装置
CN115293235A (zh) 建立风险识别模型的方法及对应装置
CN115048983A (zh) 数据流形拓扑感知的人工智能系统对抗样本防御方法
Chou et al. Villandiffusion: A unified backdoor attack framework for diffusion models
Xu et al. Resilient binary neural network
CN113935396A (zh) 基于流形理论的对抗样本攻击方法及相关装置
CN113221388A (zh) 一种视觉感知扰动约束的黑盒深度模型对抗样本生成方法
CN117011508A (zh) 一种基于视觉变换和特征鲁棒的对抗训练方法
CN115481719B (zh) 一种防御基于梯度的对抗攻击的方法
CN111950635A (zh) 一种基于分层特征对齐的鲁棒特征学习方法
CN115409705A (zh) 一种面向sar图像目标识别模型的对抗样本生成方法
Goodman Transferability of adversarial examples to attack cloud-based image classifier service
CN116311439A (zh) 一种人脸验证隐私保护方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination