CN115187449A - 一种基于透视变换的提高对抗样本迁移性的方法 - Google Patents
一种基于透视变换的提高对抗样本迁移性的方法 Download PDFInfo
- Publication number
- CN115187449A CN115187449A CN202210701563.8A CN202210701563A CN115187449A CN 115187449 A CN115187449 A CN 115187449A CN 202210701563 A CN202210701563 A CN 202210701563A CN 115187449 A CN115187449 A CN 115187449A
- Authority
- CN
- China
- Prior art keywords
- sample
- mobility
- perspective transformation
- gradient
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009466 transformation Effects 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000003384 imaging method Methods 0.000 claims abstract description 7
- 238000003062 neural network model Methods 0.000 claims abstract description 6
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 4
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000007123 defense Effects 0.000 abstract 1
- 230000008260 defense mechanism Effects 0.000 abstract 1
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于透视变换的提高对抗样本迁移性的方法。具体涉及深度学习、图像分类、数据增强、对抗攻击等技术领域。该方法可以和其他基于梯度的攻击方法结合，并进一步提升对抗样本的迁移性。为达上述目的，本发明采用将数据增强的方式，来削弱对抗样本在源模型上的过拟合，从而提高对抗样本的迁移性。具体通过透视变换来模拟人眼从不同角度观测到的物体成像，通过输入变换后的图片到神经网络模型，并用该梯度来代替原图片的梯度，减少对抗样本在源模型上的过拟合。在ImageNet数据集上的实验结果表明，本发明提出的方法可以显著提高对抗样本的迁移性，并且，当和其他基于梯度的攻击方法结合时，在当前先进十种防御机制下，平均攻击成功率达到94.7％。这表明目前这些防御方法远远不能抵抗对抗样本。
Description
技术领域
本发明涉及深度学习、图像分类、数据增强、对抗攻击等技术领域，具体涉及一种利用透视变换来提高对抗样本迁移性的攻击方法。
背景技术
随着深度学习的快速发展，其应用领域越来越广泛，包括人脸识别、目标检测、语音识别、恶意软件检测等，但其安全性问题一直是一个尚待完善的难题。Szegedy等人首次发现在图片中加入特定的微妙噪声，可以造成神经网络模型对该图片分类错误。至此，拉开了对抗攻击的序幕。
对抗攻击(Adversarial attack)，即在神经网络模型的输入样本中，故意添加一些人眼无法察觉的细微的干扰，导致模型以高置信度给出一个错误的输出。被污染的输入样本称为对抗样本。对抗攻击分为白盒攻击和黑盒攻击。在白盒攻击环境下，受害者模型的架构、参数、训练集等是已知的，攻击者可以充分利用这些先验知识来达到攻击成功的目的，这种情况比较简单，但是和实际情况不符合，因为这些先验知识在实际情况下都是未知的。相反，黑盒攻击环境下，对受害者模型是完全未知的，这种和实际情况比较符合，是主要研究方向。
黑盒攻击又分为基于查询的攻击和基于迁移的攻击。前者利用随机添加噪声并查询模型的输出结果，多次迭代降低真实标签类别的判别率来达到攻击成功的目的，这通常需要耗费较大的查询次数；而基于迁移的攻击，是利用在白盒环境下生成对抗样本，将其迁移到黑盒环境下的受害者模型中去，只需一次即可，但是通常该对抗样本过拟合于源模型，而面临较低的迁移率。因此，研究提高对抗样本的迁移性成为一大热点。
透视变换(Perspective Transformation)是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使得透视面绕迹线旋转某一角度。破环原有的投影光线束，仍能保持透视面上投影几何图形不变的变换。透视变换是中心投影的射影变换，在用非齐次射影坐标表达时是平面的分式线性变换。简单理解的话，可以把透视变换后的成像看作是原图像在不同角度下利用相机拍照得到的成像。
发明内容
本发明提出了一种基于透视变换来提高对抗样本迁移性的方法(PerspectiveTransformation Attack,PTA)，它旨在通过一种数据增强的方式，来减少对抗样本在替代模型上的过拟合，从而提高对抗样本迁移性。该发明简单，容易实现，可以和其他基于梯度的攻击方法相结合，并进一步提升对抗样本在黑盒环境下的迁移性。
为了实现上述目的，本发明具体实施步骤如下：
1、将一批待输入的图片X中的每一张按照透视变换规则进行变换，得到变换后的成像XT，透视变换如下：
其中
是原图中像素点的横纵坐标位置，ws为缩放因子，(xt,yt)T是其对应变换后的像素点的横纵坐标位置，Tθ(·)代表一种透视变换。从上述变换公式可知，透视变换矩阵有8个参数(P11-P32)。根据线性代数知识易知，可以通过四个边框像素点前后对应关系，求得该8个参数，即知道
(原图中四个顶点像素坐标)和
(变换后四个顶点像素坐标的位置)。为求得原图片四个顶点像素坐标在变换后图像中的位置，我们采用随机获取法，假设原图的宽度和高度分别为W和H，则
其中，Rand(a,b)表示从a到b中随机选择一个数，λ是一个控制变换程度的参数，取值为(0,1)。
2、将步骤1得到的XT的像素值规格化到(0,1)，再将其按照数据集的分布特点进行正则化后得到模型输入Xin。
3、将Xin输入到模型F中，得到输出结果：output＝F(x)；然后根据output计算交叉熵损失值(loss)，并通过loss进行梯度回溯，求得loss关于Xin的梯度，即
4、重复步骤1-3T次，得到T次的平均梯度Xgrad＝Xgrad+Xin'/T。
5、用步骤4的平均梯度Xgrad求得对抗样本Xadv，即Xadv＝Xin+ε·sign(Xgrad)，其中ε为允许添加的最大扰动值。然后将Xgrad裁剪到合理值(0，1)，即Xadv＝clip(0,1)(Xadv)为最终的对抗样本。
附图说明
图1是本发明提出的用透视变换提高对抗样本迁移性的流程图。
图中，1、一批输入样本图片；2、将待入样本图片进行透视变换后的成像图片；3、将透视变换后的图像正则化后的张量；4、神经网络模型；5、神经网络模型的输出结果；6、生成的对抗样本。
Claims (3)
1.一种基于透视变换的提高对抗样本迁移性的方法，其特征在于将输入到神经网络模型中的图片，更换为不同程度的透视变换后的成像图片；并用输入透视变换后的图片得到的梯度来替换原始输入得到的梯度进行梯度下降。
2.根据权利要求1所述的一种基于透视变换的提高对抗样本迁移性的方法，其特征在于，可以调整变换后四个顶点坐标位置，得到不同程度的透视变换成像；多次输入不同程度透视变换后的图片，计算最后的平均梯度，在该梯度方向上添加扰动可以减轻对抗样本在源模型上的过拟合，从而提高对抗样本迁移性。
3.根据权利要求1所述的一种基于透视变换的提高对抗样本迁移性的方法，其特征在于，该方法可以和其他基于梯度的攻击方法相结合；在结合时，只需将输入的图片替换为透视变换后的图片即可，并且结合后还能进一步提升对抗样本的迁移性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210701563.8A CN115187449A (zh) | 2022-06-20 | 2022-06-20 | 一种基于透视变换的提高对抗样本迁移性的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210701563.8A CN115187449A (zh) | 2022-06-20 | 2022-06-20 | 一种基于透视变换的提高对抗样本迁移性的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115187449A true CN115187449A (zh) | 2022-10-14 |
Family
ID=83515794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210701563.8A Pending CN115187449A (zh) | 2022-06-20 | 2022-06-20 | 一种基于透视变换的提高对抗样本迁移性的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115187449A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115439377A (zh) * | 2022-11-08 | 2022-12-06 | 电子科技大学 | 一种增强对抗图像样本迁移性攻击的方法 |
-
2022
- 2022-06-20 CN CN202210701563.8A patent/CN115187449A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115439377A (zh) * | 2022-11-08 | 2022-12-06 | 电子科技大学 | 一种增强对抗图像样本迁移性攻击的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110991299B (zh) | 一种物理域上针对人脸识别系统的对抗样本生成方法 | |
| CN109948658B (zh) | 面向特征图注意力机制的对抗攻击防御方法及应用 | |
| Shen et al. | Ape-gan: Adversarial perturbation elimination with gan | |
| Pautov et al. | On adversarial patches: real-world attack on arcface-100 face recognition system | |
| CN108537743A (zh) | 一种基于生成对抗网络的面部图像增强方法 | |
| CN110348475B (zh) | 一种基于空间变换的对抗样本增强方法和模型 | |
| CN109992931A (zh) | 一种基于噪声压缩的可迁移的非黑盒攻击对抗方法 | |
| Zhou et al. | Infrared image segmentation based on Otsu and genetic algorithm | |
| CN111783890B (zh) | 一种针对图像识别过程中的小像素对抗样本防御方法 | |
| CN114626042B (zh) | 一种人脸验证攻击方法和装置 | |
| CN112883874A (zh) | 针对深度人脸篡改的主动防御方法 | |
| CN115187449A (zh) | 一种基于透视变换的提高对抗样本迁移性的方法 | |
| CN112818783A (zh) | 一种基于交通标志目标检测器改进的对抗样本生成方法 | |
| CN115147682B (zh) | 一种具有迁移性的隐蔽白盒对抗样本生成方法及装置 | |
| CN113435264A (zh) | 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置 | |
| Lapid et al. | Patch of Invisibility: Naturalistic Black-Box Adversarial Attacks on Object De-tectors | |
| CN117436077B (zh) | 一种基于图像隐写的联邦学习后门攻击方法 | |
| CN113222120B (zh) | 基于离散傅立叶变换的神经网络后门注入方法 | |
| CN117786682A (zh) | 基于增强框架的物理对抗攻击方法、装置、设备及介质 | |
| CN117011508A (zh) | 一种基于视觉变换和特征鲁棒的对抗训练方法 | |
| Agrawal et al. | Impact of attention on adversarial robustness of image classification models | |
| Rothberg et al. | Towards better accuracy and robustness with localized adversarial training | |
| Su et al. | Cleaning adversarial perturbations via residual generative network for face verification | |
| Xiao et al. | Defending against Adversarial Attacks using Digital Image Processing | |
| Li et al. | UCG: A Universal Cross-Domain Generator for Transferable Adversarial Examples |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |