CN109992931A - 一种基于噪声压缩的可迁移的非黑盒攻击对抗方法 - Google Patents

一种基于噪声压缩的可迁移的非黑盒攻击对抗方法 Download PDF

Info

Publication number
CN109992931A
CN109992931A CN201910147438.5A CN201910147438A CN109992931A CN 109992931 A CN109992931 A CN 109992931A CN 201910147438 A CN201910147438 A CN 201910147438A CN 109992931 A CN109992931 A CN 109992931A
Authority
CN
China
Prior art keywords
noise
target
resisting sample
picture
indicate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910147438.5A
Other languages
English (en)
Other versions
CN109992931B (zh
Inventor
韩亚洪
王思宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910147438.5A priority Critical patent/CN109992931B/zh
Publication of CN109992931A publication Critical patent/CN109992931A/zh
Application granted granted Critical
Publication of CN109992931B publication Critical patent/CN109992931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Technology Law (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于噪声压缩的可迁移的非黑盒攻击对抗方法,步骤1、构建VGG16待攻击神经网络模型及相应的参数配置文件;步骤2、给定待攻击的原始图片x,并指定错分的目标类别;步骤3、收集若干张目标类别的图片,将这些图片输入待攻击神经网络模型中,选取能够被正确分类的图片构成图像集合TargetImg;步骤4、利用二分插值法初步找到对抗样本;步骤5、找到噪声幅度更小的对抗样本;步骤6、进行分组降噪处理;步骤7、进行随机降噪处理,得到最终的对抗样本。与现有技术相比,本发明在实现非黑盒攻击的对抗能够更加简单高效且快速,相比于经典的“基于迭代的快速梯度符号法”算法在性能方面有显著的提高;生成的对抗样本在非黑盒攻击下更具有鲁棒性。

Description

一种基于噪声压缩的可迁移的非黑盒攻击对抗方法
技术领域
本发明涉及图像分类技术领域,尤其是涉及一种非黑盒攻击的对抗方法。
背景技术
随着人工智能的发展,在计算机视觉和多媒体领域中,特别是随着数字图片的急速 增长,无论是从学术界还是在工业界对于图片进行精准的分类任务都是一个非常重要和 具有挑战性的任务。在现实生活中对于图像分类器的应用不计其数,例如人脸识别、异常行为检测等等。人类的生活已经对其产生了非常强的依赖性。但是随着人工智能进一 步向前发展的同时,也需要进行思考。在过去的几年中已经涌现出了各种各样的图像分 类方法,特别是最近几年深度学习在计算机智能领域的异军突起。使得用深度神经网络 提取图片的特征表示成表示了一种主流方向。但是深度神经网络在一定程度上更像是一 个黑盒,某种程度上具有不可解释性,所以这也带了不可忽视的安全隐患。随着研究的 深入,谷歌大脑的研究人员首次在图片中增加人类视觉很难辨认的噪声,这种增加了噪 声的图片可以使分类器错分,而这种增加了噪声的图片就是对抗样本。对抗样本尤其对 基于深度神经网络的分类器效果更表示明显。对于分类器的错分分表示两种:针对性错 分和非针对性错分。在这两者中,针对性错分具有更高的难度。
根据攻击者对于目标模型和数据集的相关知识了解程度,攻击分类被分为白盒攻击、 非黑盒(灰盒)攻击和黑盒攻击。最开始对抗攻击的研究基于白盒攻击,在这种设定下,攻击者能够充分获取目标模型的网络内部结构和数据集的相关知识,但是这种对抗攻击往往只具有理论价值而缺乏实际价值。之后研究者开始探究非黑盒(灰盒)攻击和黑盒 的对抗攻击,该对抗攻击是指攻击者无法获取目标模型的内部知识或仅有少量的知识的 情况下对目标模型发起攻击。深度神经网络的泛化能力在一定程度上促成了对抗样本对 于分类器的鲁棒性。
发明内容
本发明提出一种基于噪声压缩的可迁移的非黑盒攻击对抗方法,目的是优化白盒攻 击的经典算法“基于迭代的快速梯度符号法”以及生成具有较强的可迁移能力的对抗样本,来实现对非黑盒攻击的对抗。
本发明的一种基于噪声压缩的可迁移的非黑盒攻击对抗方法,该方法包括以下步骤:
步骤1、构建VGG16待攻击神经网络模型及相应的参数配置文件,采用github上 的开源框架foolbox进行封装;
步骤2、给定一张待攻击的原始图片x,并指定错分的目标类别;
步骤3、收集若干张目标类别的图片,将这些图片输入待攻击神经网络模型中,选取输出类别与目标类别一致的图片构成图像集合TargetImg,公式如下:
TargetImg={Target1,…,TargetN},
其中,N表示集合TargetImg中的图像总数;
步骤4、利用二分插值法初步找到对抗样本:首先,采用二分插值法在每张目标类别的图片Targeti中寻找各图片Targeti的最优对抗样本共N张,再从该N张对抗样本中 选取最优的对抗样本Target0,其中评价对抗样本的优劣是利用l2范数,即原图与对抗样 本的差的二范数;
步骤5、利用“针对性错分下的基于迭代的快速梯度符号法”算法找到噪声幅度更小的对抗样本,具体公式如下:
其中,x′0表示第(4)步找到的对抗样本Target0,x表示原始图片,表示交叉熵损失函数对于图片x的导数,求导法则为复合函数的求导,x′t表示第t步的图片,x′t+1表示第t+1步的图片,α表示步长,Clipx,ε{·}函数的作用为限制对抗样本相对于原始 图片的改变幅度小于ε;
步骤6、对噪声进行分组降噪处理,首先将噪声z0根据像素值生成噪声集合V,然后每次迭代时寻找噪声集合V中绝对值最大的元素,对噪声矩阵z0中所有等于该像素值 的点全部除以2并在集合中删除该元素,最后加上原图,并查询是否为对抗样本,如果 是的话,维持此操作;否则撤销此操作,上述噪声集合V的形式化表示如下:
z0=x′-x
V(z)={v|v=zwhc,w∈[0,W],h∈[0,H],c∈[0,C]}
其中,z0表示噪声,L(V(z0),t)表示在噪声z0的所有像素值的集合V中,第t个绝对值最大的元素,W,H,C分别表示噪声z0的长、宽和RGB空间,表示第t次迭代、 噪声矩阵z的第whc元素;
步骤7、对噪声进行随机降噪处理,得到最终的对抗样本,噪声中的每个元素都有极小几率1%的概率被置为0,具体公式如下:
zt+1=zt·mask
其中,mask表示矩阵,maskwhc表示矩阵的第whc元素,random表示0~1之间的 随机数;
得到最终的对抗样本。
与现有技术相比,本发明具有以下积极技术效果:
(1)对抗样本生成方法简单高效且快速,相比于经典的“基于迭代的快速梯度符号法”算法在性能方面有了显著的提高且一定能找到对抗样本实现针对性错分任务;
(2)同时,所生成的对抗样本具有较强的可迁移能力;
(3)该方法对于研究神经网络的可解释性和对于分类器模型的防御也提供了一种有效思路;
(4)所生成的对抗样本在非黑盒攻击下更具有鲁棒性。
附图说明
图1为本发明的一种基于噪声压缩的可迁移的非黑盒攻击对抗方法整体流程图;
图2为样例图,展示了六组样例,其中最左侧的图为原始图片,采用的是Tiny-imagenet样例中的图片,大小为64×64×3,每组样例中左图表示原始图片,被分错到 三种不同目标类别,从左到右分别为目标类别图片、噪声和对抗样本。
具体实施方式
下面将结合附图对本发明的实施方式作进一步的详细描述。
本发明的一种基于噪声压缩的可迁移的非黑盒攻击对抗方法,在白盒攻击的基础上 优化了经典算法“基于迭代的快速梯度符号法”,增加了二分插值查找算法和降噪算法,进一步压缩噪声使之攻击效果更强;同时该方法生成的对抗样本具有较强的可迁移能力,即在一个模型上生成的对抗样本在另一个模型上保持攻击效果的能力。
步骤1、构建VGG16待攻击神经网络模型及相应的参数配置文件,采用github上 的开源框架foolbox进行封装;
步骤2、给定一张待攻击的原始图片x并指定错分的目标类别;为了体现效果,该图片需要能够被待攻击的神经网络正确识别出,指定的错分类别需要在该神经网络能够检测的类别集合内;
步骤3、收集若干张目标类别的图片(例如20张),将这些图片输入待攻击 神经网络模型中,选取输出类别与目标类别一致的图片构成图像集合TargetImg
TargetImg={Target1,…,TargetN},
其中,N表示集合TargetImg中的图像总数;
步骤4、利用二分插值法初步找到对抗样本:首先,采用二分插值法在每张目标类别的图片Targeti中寻找各图片Targeti的最优对抗样本共N张,再从该N张对抗样本中 选取最优的对抗样本Target0;其中评价对抗样本的优劣是利用l2范数,即原图与对抗样 本的差的二范数;寻找各图片Targeti的最优对抗样本的二分插值法的具体算法如下:
(1)定义low=0,high=1,z=Targeti-x;
(2)计算mid=(low+high)/2.0;
(3)生成新的图片x′=x+mid×z;
(4)判断新的图片x′是否为对抗样本,即能否被神经网络错分至目标类别;如果可以,令high=mid,否则令low=mid;
(5)循环(2)(3)(4)步骤直至收敛。
步骤5、利用“针对性错分下的基于迭代的快速梯度符号法”算法找到噪声幅度更小的对抗样本:
(1)经典对抗样本生成方法所采用的“基于迭代的快速梯度符号法”中,首先训 练替代模型,然后对原图进行迭代攻击,具体公式如下:
其中,x表示原始图片;表示交叉熵损失函数对于图片x的导数,求导法则 表示复合函数的求导,x′t表示第t步的图片;x′t+1表示第t+1步的图片;α表示步长; Clipx,ε{·}函数的作用为限制对抗样本相对于原始图片的改变幅度小于ε。
本发明对其进行了修改,具体公式如下:
其中,x′0表示第(4)步找到的对抗样本Target0
步骤6、对噪声进行分组降噪处理;
首先将噪声z0根据像素值生成噪声集合V,然后每次迭代时寻找噪声集合V中绝对值最大的元素,对噪声矩阵z0中所有等于该像素值的点全部除以2并在集合中删除该元素,最后加上原图,并查询是否为对抗样本,如果是的话,维持此操作;否则撤销此操 作。上述噪声集合V的形式化表示如下:
z0=x′-x
V(z)={v|v=zwhc,w∈[0,W],h∈[0,H],c∈[0,C]}
其中,z0表示噪声,即对抗样本x′与原图x的差值;L(V(z0),t)表示在噪声z0的所有像素值的集合V中,第t个绝对值最大的元素,W,H,C分别表示噪声z0的长、宽和 RGB空间,表示第t次迭代,噪声矩阵z的第whc元素;
步骤7、对噪声进行随机降噪处理,得到最终的对抗样本;噪声中的每个元素都有极小几率1%的概率被置为0,具体公式如下:
zt+1=zt·mask
其中,mask表示矩阵,与噪声Z大小一致,maskwhc表示矩阵的第whc元素,random表示0~1之间的随机数,服从均匀分布。

Claims (1)

1.一种基于噪声压缩的可迁移的非黑盒攻击对抗方法,其特征在于,该方法包括以下步骤:
步骤1、构建VGG16待攻击神经网络模型及相应的参数配置文件,采用github上的开源框架foolbox进行封装;
步骤2、给定一张待攻击的原始图片x,并指定错分的目标类别;
步骤3、收集若干张目标类别的图片,将这些图片输入待攻击神经网络模型中,选取输出类别与目标类别一致的图片构成图像集合TargetImg,公式如下:
TargetImg={Target1,…,TargetN},
其中,N表示集合TargetImg中的图像总数;
步骤4、利用二分插值法初步找到对抗样本:首先,采用二分插值法在每张目标类别的图片Targeti中寻找各图片Targeti的最优对抗样本共N张,再从该N张对抗样本中选取最优的对抗样本Target0,其中评价对抗样本的优劣是利用l2范数,即原图与对抗样本的差的二范数;
步骤5、利用“针对性错分下的基于迭代的快速梯度符号法”算法找到噪声幅度更小的对抗样本,具体公式如下:
其中,x′0表示第(4)步找到的对抗样本Target0,x表示原始图片,表示交叉熵损失函数对于图片x的导数,求导法则表示复合函数的求导,x′t表示第t步的图片,x′t+1表示第t+1步的图片,α表示步长,Clipx,ε{·}函数的作用表示限制对抗样本相对于原始图片的改变幅度小于ε;
步骤6、对噪声进行分组降噪处理,首先将噪声z0根据像素值生成噪声集合V,然后每次迭代时寻找噪声集合V中绝对值最大的元素,对噪声矩阵z0中所有等于该像素值的点全部除以2并在集合中删除该元素,最后加上原图,并查询是否为对抗样本,如果是的话,维持此操作;否则撤销此操作,上述噪声集合V的形式化表示如下:
z0=x′-x
V(z)={v|v=zwhc,w∈[0,W],h∈[0,H],c∈[0,C]}
其中,z0表示噪声,L(V(z0),t)表示在噪声z0的所有像素值的集合V中,第t个绝对值最大的元素,W,H,C分别表示噪声z0的长、宽和RGB空间,表示第t次迭代、噪声矩阵z的第whc元素;
步骤7、对噪声进行随机降噪处理,噪声中的每个元素都有极小几率1%的概率被置为0,具体公式如下:
zt+1=zt·mask
其中,mask表示矩阵,maskwhc表示矩阵的第whc元素,random表示0~1之间的随机数;
得到最终的对抗样本。
CN201910147438.5A 2019-02-27 2019-02-27 一种基于噪声压缩的可迁移的非黑盒攻击对抗方法 Active CN109992931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910147438.5A CN109992931B (zh) 2019-02-27 2019-02-27 一种基于噪声压缩的可迁移的非黑盒攻击对抗方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910147438.5A CN109992931B (zh) 2019-02-27 2019-02-27 一种基于噪声压缩的可迁移的非黑盒攻击对抗方法

Publications (2)

Publication Number Publication Date
CN109992931A true CN109992931A (zh) 2019-07-09
CN109992931B CN109992931B (zh) 2023-05-30

Family

ID=67130447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910147438.5A Active CN109992931B (zh) 2019-02-27 2019-02-27 一种基于噪声压缩的可迁移的非黑盒攻击对抗方法

Country Status (1)

Country Link
CN (1) CN109992931B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647645A (zh) * 2019-08-06 2020-01-03 厦门大学 一种基于通用扰动的攻击图像检索方法
CN111259881A (zh) * 2020-01-13 2020-06-09 南京航空航天大学 基于特征图去噪以及图像增强的敌对样本防护方法
CN111475797A (zh) * 2020-03-26 2020-07-31 深圳先进技术研究院 一种对抗图像生成方法、装置、设备以及可读存储介质
CN111507384A (zh) * 2020-04-03 2020-08-07 厦门大学 一种黑盒深度模型对抗样本生成方法
CN111539916A (zh) * 2020-04-08 2020-08-14 中山大学 一种对抗鲁棒的图像显著性检测方法及系统
CN111738374A (zh) * 2020-08-28 2020-10-02 北京智源人工智能研究院 多样本对抗扰动生成方法、装置、存储介质和计算设备
CN111932646A (zh) * 2020-07-16 2020-11-13 电子科技大学 一种用于对抗攻击的图像处理方法
CN112674709A (zh) * 2020-12-22 2021-04-20 泉州装备制造研究所 一种基于对抗噪声的弱视检测方法
CN112882382A (zh) * 2021-01-11 2021-06-01 大连理工大学 一种评价分类深度神经网络鲁棒性的几何方法
US11995155B2 (en) 2020-03-26 2024-05-28 Shenzhen Institutes Of Advanced Technology Adversarial image generation method, computer device, and computer-readable storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
US20170345132A1 (en) * 2014-11-24 2017-11-30 Koninklijke Philips N.V. Simulating dose increase by noise model based multi scale noise reduction
CN108257116A (zh) * 2017-12-30 2018-07-06 清华大学 一种生成对抗图像的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170345132A1 (en) * 2014-11-24 2017-11-30 Koninklijke Philips N.V. Simulating dose increase by noise model based multi scale noise reduction
CN106952239A (zh) * 2017-03-28 2017-07-14 厦门幻世网络科技有限公司 图像生成方法和装置
CN108257116A (zh) * 2017-12-30 2018-07-06 清华大学 一种生成对抗图像的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SIVY WANG ET AL.: "Universal Perturbation Generation for Black-box Attack Using Evolutionary Algorithms", 《2018 24TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION(ICPR)》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647645A (zh) * 2019-08-06 2020-01-03 厦门大学 一种基于通用扰动的攻击图像检索方法
CN111259881A (zh) * 2020-01-13 2020-06-09 南京航空航天大学 基于特征图去噪以及图像增强的敌对样本防护方法
CN111475797A (zh) * 2020-03-26 2020-07-31 深圳先进技术研究院 一种对抗图像生成方法、装置、设备以及可读存储介质
US11995155B2 (en) 2020-03-26 2024-05-28 Shenzhen Institutes Of Advanced Technology Adversarial image generation method, computer device, and computer-readable storage medium
CN111475797B (zh) * 2020-03-26 2023-09-29 深圳先进技术研究院 一种对抗图像生成方法、装置、设备以及可读存储介质
CN111507384B (zh) * 2020-04-03 2022-05-31 厦门大学 一种黑盒深度模型对抗样本生成方法
CN111507384A (zh) * 2020-04-03 2020-08-07 厦门大学 一种黑盒深度模型对抗样本生成方法
CN111539916B (zh) * 2020-04-08 2023-05-26 中山大学 一种对抗鲁棒的图像显著性检测方法及系统
CN111539916A (zh) * 2020-04-08 2020-08-14 中山大学 一种对抗鲁棒的图像显著性检测方法及系统
CN111932646A (zh) * 2020-07-16 2020-11-13 电子科技大学 一种用于对抗攻击的图像处理方法
CN111932646B (zh) * 2020-07-16 2022-06-21 电子科技大学 一种用于对抗攻击的图像处理方法
CN111738374A (zh) * 2020-08-28 2020-10-02 北京智源人工智能研究院 多样本对抗扰动生成方法、装置、存储介质和计算设备
CN112674709A (zh) * 2020-12-22 2021-04-20 泉州装备制造研究所 一种基于对抗噪声的弱视检测方法
CN112882382A (zh) * 2021-01-11 2021-06-01 大连理工大学 一种评价分类深度神经网络鲁棒性的几何方法

Also Published As

Publication number Publication date
CN109992931B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN109992931A (zh) 一种基于噪声压缩的可迁移的非黑盒攻击对抗方法
Gao et al. Deepcloak: Masking deep neural network models for robustness against adversarial samples
CN109376556B (zh) 一种针对以卷积神经网络为基础的eeg脑机接口的攻击方法
Laugros et al. Are adversarial robustness and common perturbation robustness independant attributes?
CN110348475B (zh) 一种基于空间变换的对抗样本增强方法和模型
CN111932646B (zh) 一种用于对抗攻击的图像处理方法
CN112200243B (zh) 一种基于低问询图像数据的黑盒对抗样本生成方法
CN113627543B (zh) 一种对抗攻击检测方法
CN111783890B (zh) 一种针对图像识别过程中的小像素对抗样本防御方法
CN113379618B (zh) 基于残差密集连接和特征融合的光学遥感图像去云方法
Song et al. Defense against adversarial attacks with saak transform
CN113487015A (zh) 基于图像亮度随机变换的对抗样本生成方法及系统
CN111047054A (zh) 一种基于两阶段对抗知识迁移的对抗样例防御方法
CN110021049B (zh) 一种面向深度神经网络的基于空间约束的高隐蔽性对抗性图像攻击方法
Yang et al. Adversarial attacks on brain-inspired hyperdimensional computing-based classifiers
CN116188874A (zh) 一种图像对抗样本生成方法及系统
Bu et al. Towards building more robust models with frequency bias
Liu et al. Feature prioritization and regularization improve standard accuracy and adversarial robustness
CN116011558B (zh) 一种高迁移性的对抗样本生成方法和系统
CN117171762A (zh) 一种基于数据增强和步长调整的单步对抗训练方法及系统
CN115187449A (zh) 一种基于透视变换的提高对抗样本迁移性的方法
Zou et al. Multi-Channel Image Noise Filter based on PCNN.
CN113450285A (zh) 一种去除图像中对抗扰动的方法
Wang et al. An Efficient Pre-processing Method to Eliminate Adversarial Effects
Fujisawa et al. ASCII Art Classification Model by Transfer Learning and Data Augmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant