CN111932646A - 一种用于对抗攻击的图像处理方法 - Google Patents
一种用于对抗攻击的图像处理方法 Download PDFInfo
- Publication number
- CN111932646A CN111932646A CN202010686338.2A CN202010686338A CN111932646A CN 111932646 A CN111932646 A CN 111932646A CN 202010686338 A CN202010686338 A CN 202010686338A CN 111932646 A CN111932646 A CN 111932646A
- Authority
- CN
- China
- Prior art keywords
- gradient
- image
- attack
- image processing
- amplification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 230000003321 amplification Effects 0.000 claims abstract description 31
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000005520 cutting process Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 5
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 238000013508 migration Methods 0.000 abstract description 3
- 230000005012 migration Effects 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域。本发明公开了一种用于对抗攻击的图像处理方法,包括以下步骤:a、通过本地已知模型,获取图像x的梯度信息;b、在迭代处理过程中引入步长放大因子放大每步的梯度,同时更新累计放大梯度;c、若累计放大梯度超过设置的阈值范围,即得到裁剪噪声C,否则C为0;d、以投影核函数Wp来进行投影,把裁剪噪声C均匀投影到图像x周围区域同时添加当前步的放大梯度得到样本图像本发明是一种区域级别的对抗攻击技术,为深度神经网络的研究提供了新的思路。本发明的对抗样本图像具有更强的迁移能力,可以更好地攻击那些未知黑盒模型,使他们产生误分类。本发明的技术方案可以轻松与许多其他攻击方法结合,从而产生更强攻击能力的对抗样本图像。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及神经网络图像识别的对抗攻击技术,具体而言,涉及一种用于对抗攻击的图像处理方法。
背景技术
随着深度神经网络的发展,图像分类任务已经能够达到非常高的识别水平。但是,由于近几年对抗攻击(adversarial attack)概念的提出,让人们开始重新审视深度神经网络的鲁棒性。
对抗攻击的基本思路是,通过对普通干净的图片添加一定的特殊噪声,使得深度神经网络给予一个毫无相关的预测输出,但这张加了噪声的图片对人眼来说没有任何识别问题。
对抗攻击可以认为是一种图像处理技术,通过对不同类型的对抗攻击的研究,可以反过来促进神经网络系统的发展,提高系统的鲁棒性。
对抗攻击技术,也可以用于图像加密和隐蔽伪装,在军事技术领域也有广泛的用途。
现有的技术中,一种主流的对抗攻击方法是基于迁移性的攻击,即通过本地的已知模型来训练噪声,产生的对抗样本用于攻击其他未知的黑盒模型。而这些方法中,大部分产生的噪声都是像素(pixel)级的噪声,比如FGSM(Fast Gradient Sign Method),I-FGSM,MI-FGSM,DI-FGSM等等。然而这些攻击方法大多是不会考虑像素间的联系关系,因此每次都是通过梯度来产生扰动,迭代多次得到结果。
发明内容
本发明的主要目的在于提供一种用于对抗攻击的图像处理方法,以解决现有技术中对抗攻击大都属于像素级攻击的问题,研究区域级别攻击的噪声处理技术。
为了实现上述目的,根据本发明具体实施方式的一个方面,提供了一种用于对抗攻击的图像处理方法,其特征在于,包括以下步骤:
a、通过本地已知模型,获取图像的梯度信息;
b、在迭代处理过程中引入步长放大因子放大每步的梯度,同时更新累计放大梯度;
c、若累计放大梯度超过设置的阈值,即得到裁剪噪声C,否则C为0;
进一步的,步骤a中,通过公开预训练模型来计算图像x的梯度信息。
进一步的,步骤b中,累计放大梯度表达为:
其中:
是当前步的放大梯度。
at为迭代t步时的累计放大梯度,a0初始化为0;
at+1为迭代到t+1步的累计放大梯度;
sign(·)表示符号函数,其表达式为:
J(·)为损失函数;
T为设定的迭代步数:
∈为扰动无穷范数阈值;
y为真实标签;
β为步长放大因子;
进一步的,所述裁剪噪声C表达为:
C=clip(|at+1|-∈,0,∞)·sign(at+1)
其中:
clip表示裁剪操作。
进一步的,所述投影核函数Wp为kw×kw的正方形矩阵,且kw为奇数。
进一步的,所述投影核函数Wp表达为:
其中,
Clipx,∈为使得返回结果在[x-∈,x+∈]的裁剪操作;*为卷积符号;γ为梯度投影核系数。
clip表示裁剪操作。
根据本发明技术方案及其在某些实施例中进一步改进的技术方案,本发明具有如下有益效果:
本发明考虑到了像素之间的关系,是一种区域级别的对抗攻击技术。本发明的对抗样本图像具有更强的迁移能力,即从一个已知模型中训练,可以更好地攻击那些未知黑盒模型,使他们产生误分类。本发明的技术方案可以轻松与许多其他攻击方法结合,从而产生更强攻击能力的对抗样本图像。本发明的技术方案虽然引入了步长放大因子和投影核,但是并不会对样本图像的生成计算开销增加负担。
下面结合附图和具体实施方式对本发明做进一步的说明。本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的具体实施方式、示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为根据本发明具体实施方式的流程示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的具体实施方式、实施例以及其中的特征可以相互组合。现将参考附图并结合以下内容详细说明本发明。
为了使本领域技术人员更好的理解本发明方案,下面将结合本发明具体实施方式、实施例中的附图,对本发明具体实施方式、实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的具体实施方式、实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式、实施例,都应当属于本发明保护的范围。
现对本发明涉及的一些符号统一给出解释:
干净样本(输入图像):x;
真实标签:y;
对抗样本图像:xadv;
扰动无穷范数阈值:∈;
设定的迭代步数:T;
基础迭代步长:α,α=∈/T;
步长放大因子:β,β>1;
投影核函数:Wp;
梯度投影核系数:γ;
累计放大梯度(t步):at;
裁剪噪声:C;
损失函数:J(·);
由于现有的基于迁移性的攻击方法往往是基于FGSM算法的,因此我们所采用的基线算法也是FGSM。通常,这类迭代攻击在选择步长α时,往往为最大扰动阈值除以迭代步数T。因为这种设置可以轻松使得在迭代结束后,产生的对抗样本符合条件且达到预设扰动阈值。但我们发现,适当地增大步长,即引入步长放大因子β,可以提高对抗样本的迁移性。另一方面,加入投影策略则可以进一步提升性能。
本发明的用于对抗攻击的图像处理方法,流程图如图1所示,包括如下步骤:
步骤S1,获取梯度信息
该步骤中,通过公开预训练模型(如Resnet-152)来计算图像x的梯度信息。
步骤S2,迭代处理
在迭代处理过程中引入步长放大因子放大每步的梯度,同时更新累计放大梯度,累计放大梯度表达为:
其中:
at迭代t步时的累计放大梯度,a0初始化为0;
at+1为迭代到t+1步的累计放大梯度;
sign(·)表示符号函数,其表达式为:
J(·)为损失函数;
T为设定的迭代步数:
∈为扰动无穷范数阈值;
y为真实标签;
β为步长放大因子。
步骤S3,获取裁剪噪声
若at超过设置的阈值范围,即得到裁剪噪声C,其表达式为:
C=clip(|at+1|-∈,0,∞)·sign(at+1)
否则C为0
其中:
clip表示裁剪操作。
步骤S4,噪声投影
以投影核函数Wp来进行投影,把裁剪噪声C均匀投影到图像x周围区域同时添加当前步的放大梯度。
投影核函数Wp为kw×kw的正方形矩阵,且kw为奇数。
投影核函数Wp表达为:
步骤S5,获取样本图像
其中,
Clipx,∈为使得返回结果在[x-∈,x+∈]的裁剪操作;*为卷积符号;
γ为梯度投影核系数。
clip表示裁剪操作。
步骤S6,输出样本图像
上述处理步骤主要程序语言描述如下:
输入:干净图像x以及对应的真实标签y
(1)初始化累计放大梯度a0和裁剪噪声C为0
(6)End
Claims (8)
2.根据权利要求1所述的一种用于对抗攻击的图像处理方法,其特征在于,步骤a中,通过公开预训练模型来计算图像x的梯度信息。
4.根据权利要求1所述的一种用于对抗攻击的图像处理方法,其特征在于,所述裁剪噪声C表达为:
C=clip(|at+1|-∈,0,∞)·sign(at+1)
其中:
clip表示裁剪操作。
5.根据权利要求1所述的一种用于对抗攻击的图像处理方法,其特征在于,所述投影核函数Wp为kw×kw的正方形矩阵,且kw为奇数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010686338.2A CN111932646B (zh) | 2020-07-16 | 2020-07-16 | 一种用于对抗攻击的图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010686338.2A CN111932646B (zh) | 2020-07-16 | 2020-07-16 | 一种用于对抗攻击的图像处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111932646A true CN111932646A (zh) | 2020-11-13 |
CN111932646B CN111932646B (zh) | 2022-06-21 |
Family
ID=73313099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010686338.2A Active CN111932646B (zh) | 2020-07-16 | 2020-07-16 | 一种用于对抗攻击的图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111932646B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112446040A (zh) * | 2020-11-24 | 2021-03-05 | 平安科技(深圳)有限公司 | 基于选择性梯度更新的联邦建模方法及相关设备 |
CN112907552A (zh) * | 2021-03-09 | 2021-06-04 | 百度在线网络技术(北京)有限公司 | 图像处理模型的鲁棒性检测方法、设备及程序产品 |
CN113344090A (zh) * | 2021-06-18 | 2021-09-03 | 成都井之丽科技有限公司 | 一种用于中间层有目标对抗攻击的图像处理方法 |
CN113392905A (zh) * | 2021-06-16 | 2021-09-14 | 电子科技大学 | 一种基于梯度修正的图像对抗攻击方法 |
CN113656813A (zh) * | 2021-07-30 | 2021-11-16 | 深圳清华大学研究院 | 基于对抗攻击的图像处理方法、系统、设备及存储介质 |
CN115439377A (zh) * | 2022-11-08 | 2022-12-06 | 电子科技大学 | 一种增强对抗图像样本迁移性攻击的方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060267589A1 (en) * | 2005-05-31 | 2006-11-30 | Peter Dietz | Magnetic resonance device with attachment means for attaching a gradient coil, attachment means |
CN101336831A (zh) * | 2008-08-13 | 2009-01-07 | 汕头超声仪器研究所 | 实时三维医学超声图像的重建方法 |
CN101354794A (zh) * | 2008-09-10 | 2009-01-28 | 汕头超声仪器研究所 | 基于图形处理器的实时三维图像的光照模拟方法 |
US20090149934A1 (en) * | 2007-12-06 | 2009-06-11 | Cardiac Pacemakers, Inc. | Implantable lead with shielding |
CN102665029A (zh) * | 2012-03-29 | 2012-09-12 | 中山大学 | 一种基于梯度学习的超分辨率图像放大方法 |
CN106228505A (zh) * | 2016-07-15 | 2016-12-14 | 广东技术师范学院 | 一种图像内容感知的鲁棒通用隐写分析方法 |
CN106780508A (zh) * | 2016-09-23 | 2017-05-31 | 北京联合大学 | 一种基于Gabor变换的GrabCut纹理图像分割方法 |
CN107067389A (zh) * | 2017-01-05 | 2017-08-18 | 佛山科学技术学院 | 一种基于Sobel边缘检测与图像块亮度特征的图像篡改盲取证方法 |
CN108257116A (zh) * | 2017-12-30 | 2018-07-06 | 清华大学 | 一种生成对抗图像的方法 |
CN109948663A (zh) * | 2019-02-27 | 2019-06-28 | 天津大学 | 一种基于模型抽取的步长自适应的对抗攻击方法 |
CN109992931A (zh) * | 2019-02-27 | 2019-07-09 | 天津大学 | 一种基于噪声压缩的可迁移的非黑盒攻击对抗方法 |
-
2020
- 2020-07-16 CN CN202010686338.2A patent/CN111932646B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060267589A1 (en) * | 2005-05-31 | 2006-11-30 | Peter Dietz | Magnetic resonance device with attachment means for attaching a gradient coil, attachment means |
US20090149934A1 (en) * | 2007-12-06 | 2009-06-11 | Cardiac Pacemakers, Inc. | Implantable lead with shielding |
CN101336831A (zh) * | 2008-08-13 | 2009-01-07 | 汕头超声仪器研究所 | 实时三维医学超声图像的重建方法 |
CN101354794A (zh) * | 2008-09-10 | 2009-01-28 | 汕头超声仪器研究所 | 基于图形处理器的实时三维图像的光照模拟方法 |
CN102665029A (zh) * | 2012-03-29 | 2012-09-12 | 中山大学 | 一种基于梯度学习的超分辨率图像放大方法 |
CN106228505A (zh) * | 2016-07-15 | 2016-12-14 | 广东技术师范学院 | 一种图像内容感知的鲁棒通用隐写分析方法 |
CN106780508A (zh) * | 2016-09-23 | 2017-05-31 | 北京联合大学 | 一种基于Gabor变换的GrabCut纹理图像分割方法 |
CN107067389A (zh) * | 2017-01-05 | 2017-08-18 | 佛山科学技术学院 | 一种基于Sobel边缘检测与图像块亮度特征的图像篡改盲取证方法 |
CN108257116A (zh) * | 2017-12-30 | 2018-07-06 | 清华大学 | 一种生成对抗图像的方法 |
CN109948663A (zh) * | 2019-02-27 | 2019-06-28 | 天津大学 | 一种基于模型抽取的步长自适应的对抗攻击方法 |
CN109992931A (zh) * | 2019-02-27 | 2019-07-09 | 天津大学 | 一种基于噪声压缩的可迁移的非黑盒攻击对抗方法 |
Non-Patent Citations (1)
Title |
---|
王伟 等: "视觉对抗样本生成技术概述", 《信息安全学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112446040A (zh) * | 2020-11-24 | 2021-03-05 | 平安科技(深圳)有限公司 | 基于选择性梯度更新的联邦建模方法及相关设备 |
CN112907552A (zh) * | 2021-03-09 | 2021-06-04 | 百度在线网络技术(北京)有限公司 | 图像处理模型的鲁棒性检测方法、设备及程序产品 |
CN112907552B (zh) * | 2021-03-09 | 2024-03-01 | 百度在线网络技术(北京)有限公司 | 图像处理模型的鲁棒性检测方法、设备及程序产品 |
CN113392905A (zh) * | 2021-06-16 | 2021-09-14 | 电子科技大学 | 一种基于梯度修正的图像对抗攻击方法 |
CN113392905B (zh) * | 2021-06-16 | 2022-03-25 | 电子科技大学 | 一种基于梯度修正的图像对抗攻击方法 |
CN113344090A (zh) * | 2021-06-18 | 2021-09-03 | 成都井之丽科技有限公司 | 一种用于中间层有目标对抗攻击的图像处理方法 |
CN113344090B (zh) * | 2021-06-18 | 2022-11-22 | 成都井之丽科技有限公司 | 一种用于中间层有目标对抗攻击的图像处理方法 |
CN113656813A (zh) * | 2021-07-30 | 2021-11-16 | 深圳清华大学研究院 | 基于对抗攻击的图像处理方法、系统、设备及存储介质 |
CN113656813B (zh) * | 2021-07-30 | 2023-05-23 | 深圳清华大学研究院 | 基于对抗攻击的图像处理方法、系统、设备及存储介质 |
CN115439377A (zh) * | 2022-11-08 | 2022-12-06 | 电子科技大学 | 一种增强对抗图像样本迁移性攻击的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111932646B (zh) | 2022-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111932646B (zh) | 一种用于对抗攻击的图像处理方法 | |
CN109658344B (zh) | 基于深度学习的图像去噪方法、装置、设备和存储介质 | |
Divakar et al. | Image denoising via CNNs: An adversarial approach | |
WO2020087607A1 (zh) | 一种基于Bi-Skip-Net的图像去模糊方法 | |
Feng et al. | Speckle reduction via higher order total variation approach | |
CN110717522A (zh) | 图像分类网络的对抗防御方法及相关装置 | |
Vishwakarma et al. | A novel non-linear modifier for adaptive illumination normalization for robust face recognition | |
JP6727642B2 (ja) | 学習型アルゴリズムによるフォーカス補正処理方法 | |
CN107133923B (zh) | 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法 | |
Abiko et al. | Blind denoising of mixed Gaussian-impulse noise by single CNN | |
Huang et al. | Two-step approach for the restoration of images corrupted by multiplicative noise | |
CN111768350B (zh) | 一种红外图像增强方法及系统 | |
Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
Yap et al. | A recursive soft-decision approach to blind image deconvolution | |
Tavassoli et al. | A new method for impulse noise reduction from digital images based on adaptive neuro-fuzzy system and fuzzy wavelet shrinkage | |
Nakashizuka et al. | Convex filter networks based on morphological filters and their application to image noise and mask removal | |
CN110009575B (zh) | 基于稀疏表示的红外图像条带噪声抑制方法 | |
Feng et al. | Blind poissonian image deblurring regularized by a denoiser constraint and deep image prior | |
Karalı et al. | Adaptive enhancement of sea-surface targets in infrared images based on local frequency cues | |
CN116311439A (zh) | 一种人脸验证隐私保护方法和装置 | |
CN114418873B (zh) | 一种暗光图像降噪方法及装置 | |
CN116258867A (zh) | 一种基于关键区域低感知性扰动的对抗样本生成方法 | |
Xi et al. | Research on image deblurring processing technology based on genetic algorithm | |
Jeyaprakash et al. | Linearly uncorrelated principal component and deep convolutional image deblurring for natural images | |
Karaca et al. | Image denoising with CNN-based attention |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |