CN114419358A - 一种对抗样本生成方法 - Google Patents

一种对抗样本生成方法 Download PDF

Info

Publication number
CN114419358A
CN114419358A CN202111214760.9A CN202111214760A CN114419358A CN 114419358 A CN114419358 A CN 114419358A CN 202111214760 A CN202111214760 A CN 202111214760A CN 114419358 A CN114419358 A CN 114419358A
Authority
CN
China
Prior art keywords
image
pixel
disturbance
new
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111214760.9A
Other languages
English (en)
Inventor
黄伟
章韵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202111214760.9A priority Critical patent/CN114419358A/zh
Publication of CN114419358A publication Critical patent/CN114419358A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

一种对抗样本生成方法，基于扰动关键像素相邻区域和贪婪局部搜索技术，根据从图像中提取出的相关像素点并扰动其相邻位置像素，生成对目标图像识别分类错误的对抗样本。本发明使用提取图像中的关键像素点，对其邻域进行扰动，通过贪婪局部搜索方法，构造微小扰动，从而实现图像的错误分类。本方法的简单性和有效性，可以用作设计健壮网络的试金石。

Description

一种对抗样本生成方法
技术领域
本发明属于模式识别技术领域，具体涉及一种对抗样本生成方法。
背景技术
深度神经网络是强大和流行的学习模型，在很多计算机视觉、语音和语言处理任务中实现了最先进的模式识别性能。然而这些网络也容易受到精心设计的对抗性干扰的影响，这些干扰会导致输入的错误分类，对抗性示例是对手破坏预期的系统行为，导致不希望的结果，并可能在这些系统部署到现实世界时造成安全风险。
基于对目标网络对抗知识的不同假设，针对对抗攻击的研究主要有两个方向。第一个方向，假设对手对网络架构和训练(或访问标记训练集)产生的参数有详细的了解。对手利用这个信息对给定的图像构造一个扰动，最有效的方法是基于梯度的。第二个方向是，对手限制了对网络的知识，使其不能仅在某些探测输入上观察网络的输出。这种黑盒模型是一种更加现实和适用的威胁模型，但它也更具有挑战性，因为它考虑的是不了解网络架构、参数或训练数据的弱小对手。
发明内容
本发明所要解决的技术问题是克服现有技术的不足，提供一种对抗样本生成方法，提取图像中的关键像素点，对其邻域进行扰动，通过贪婪局部搜索方法，构造微小扰动，从而实现图像的错误分类。
本发明提供一种对抗样本生成方法，包括如下步骤，
步骤S1、输入图像I，对图像进行标准化，标准化图像与原始图像尺寸相同，图像标准化之后的所有坐标均在[LB,UB]范围内，LB和UB为两个常数，且LB＜0,UB＞0；用T∈Rl×w×h表示满足上述性质的所有有效图像的空间；对于每个I∈Τ，图像中的所有坐标满足(b,x,y)∈[l]×[w]×[h],I(b,x,y)∈[LB,UB]；
步骤S2、分类标签为C(I)∈{1,...,C}，p和r为扰动系数，图像邻域搜索半径的边长为2d，最大迭代次数为R，每次迭代选择的像素点的个数为t；
步骤S3、随机选取10％的像素，初始化集合(Px,Py)，(Px,Py)i为一组像素位置；第一轮(Px,Py)0为随机生成的；在随后的每一轮中，均是基于在前一轮中被扰动的一组像素位置形成的；让(Px,Py)i-1表示i-1轮中被扰动区域的中间像素位置，则
Figure BDA0003310328860000021
步骤S4、遍历(Px,Py)的像素，进行扰动PRER(I,p,x,y)，获取新的图像集合；
扰动的方法为PETR(I,p,x,y)＝p×sign(I(*,x,y))，其中，sign是符号函数，定义为
Figure BDA0003310328860000022
步骤S5、计算新图像集合中每个图像预测原分类标签的概率score(I)；选择概率最大的t个像素点，获取新的像素点集合(Px,Py)；遍历(Px,Py)，对(x,y)∈(Px,Py)的邻域，进行扰动RangeAdv(r,b,x,y)，更新原始图像I；范围扰动方法为
Figure BDA0003310328860000023
步骤S6、若
Figure BDA0003310328860000024
则攻击成功，结束；否则，定义攻击的模型为NN，NN的分类结果为：NN(I)＝(o1,...,oc)，其中oi为图像识别为第i个标签的概率；π(NN(Ip),k)为模型NN针对图像I的分类的Topk个标签；
步骤S7、遍历(Px,Py)，以每个像素点为中心，画出边长为2d的正方形，正方形范围内的点都纳入(Px,Py)，转步骤S4。
作为本发明的进一步技术方案，从(Px,Py)集合中随机选择最多128个点，遍历每个点，针对每个点进行扰动并生成一个新的图像，获取一个新图像集合；对新图像集合中的每个图像进行计算，获取分类为原标签的概率值。
进一步的，数据标准化之后所有坐标均在[-0.5,0.5]之间。
本发明的优点在于，
1.对抗攻击的通用性。
2.适用于多种目标识别网络，即无需考虑网络架构。
3.具有较高的可用性，通过添加微小的扰动，造成图像目标识别失败。
4.降低寻找关键像素点的轮数，通过对关键像素点及其邻域添加扰动，能快速实现图像的分类错误。
5.根据模型的反馈信息去选择扰动的点，并随即选择对分类结果影响大的点周围的点，进一步进行扰动分析。
附图说明
图1为本发明的方法流程示意图。
具体实施方式
请参阅图1，本实施例提供本发明一种对抗样本生成方法，包括如下步骤，
步骤S1、输入图像I，对图像进行标准化，标准化图像与原始图像尺寸相同，图像标准化之后的所有坐标均在[LB,UB]范围内，LB和UB为两个常数，且LB＜0,UB＞0；用T∈Rl×w×h表示满足上述性质的所有有效图像的空间；对于每个I∈Τ，图像中的所有坐标满足：(b,x,y)∈[l]×[w]×[h],I(b,x,y)∈[LB,UB]；
步骤S2、分类标签为C(I)∈{1,...,C}，p和r为扰动系数，图像邻域搜索半径的边长为2d，最大迭代次数为R，每次迭代选择的像素点的个数为t；
步骤S3、随机选取10％的像素，初始化集合(Px,Py)，(Px,Py)i为一组像素位置；第一轮(Px,Py)0为随机生成的；在随后的每一轮中，均是基于在前一轮中被扰动的一组像素位置形成的；让(Px,Py)i-1表示i-1轮中被扰动区域的中间像素位置，则
Figure BDA0003310328860000031
步骤S4、遍历(Px,Py)的像素，进行扰动PRER(I,p,x,y)，获取新的图像集合；
扰动的方法为PETR(I,p,x,y)＝p×sign(I(*,x,y))，其中，sign是符号函数，定义为
Figure BDA0003310328860000041
步骤S5、计算新图像集合中每个图像预测原分类标签的概率score(I)；选择概率最大的t个像素点，获取新的像素点集合(Px,Py)；遍历(Px,Py)，对(x,y)∈(Px,Py)的邻域，进行扰动RangeAdv(r,b,x,y)，更新原始图像I；范围扰动方法为
Figure BDA0003310328860000042
步骤S6、若
Figure BDA0003310328860000043
则攻击成功，结束；否则，定义攻击的模型为NN，NN的分类结果为：NN(I)＝(o1,...,oc)，其中oi为图像识别为第i个标签的概率；π(NN(Ip),k)为模型NN针对图像I的分类的Topk个标签；
步骤S7、遍历(Px,Py)，以每个像素点为中心，画出边长为2d的正方形，正方形范围内的点都纳入(Px,Py)，转步骤S4。
该方法具体如下，
1.首先定义了标准化和逆标准化函数，为了处理方便，将数据标准化到[-0.5,0.5]之间。
标准化函数：
normalize(im):
im＝im–(min_+max_)/2
im＝im/(max_-min_)
LB＝-1/2
UB＝1/2
return im,LB,UB
逆标准化函数：
unnormalize(im)
im＝im*(max_-min_)
im＝im+(min_+max_)/2
return im
adv_img,LB,UB＝normalizez(adv_img)。
2.随机选取一部分像素点，总数不超过全部的10％,最大个数不超过128个。
Random_locations():
n＝int(0.1*h*w)
n＝min(n,128)
locations＝np.random.permutation(h*w)[:n]
p_x＝locations％w
p_y＝location//w
pxy＝list(zip(p_x,p_y))
pxy＝np.array(pxy)
returnpxy
实现扰动函数RangeAdv
RangeAdv(r,Ibxy):
result＝r*Ibxy
ifresult.any()<LB:
Result＝result+(UB-LB)
elseifresult.any()>UB:
result＝result–(UB-LB)
result＝result.clip(LB,UB)
returnresult
初始化图像以及(Px,Py)集合。
Ii＝adv_img
PxPy＝random_locations()。
3.从(Px,Py)集合中随机选择最多128个点，遍历每个点，针对每个点进行扰动并生成一个新的图像，得到一个新图像集合。对新图像集合。对新图像结合中的每个图像进行计算，得到分类为原标签的概率值。
fortry_timeinrange(R):
#重新排序，随机选择不超过128个点
PxPy＝PxPy[np.random.permutation(len(PxPy))[:128]]
L＝[pert(Ii,p,x,y)forx,yinPxPy]
#批量返回预测结果，获取原始图像标签的概率
defscore(Its):
Its＝np.stack(Its)
Its＝unnormalize(Its)
scores＝[self.model.predict(unnormalize(Ii))[original_label]forItinIts]
returnscores。
4.选择影响力最大的t个点组成新的(Px,Py)集合，np.argsort返回的是升序排序，因此需要取倒数t个。
scores＝scores[L]
indices＝np.argsort(scores)[:-t]
PxPy_star＝PxPy[indeces]。
5.遍历(Px,Py)集合，同时在原始图像上扰动。
针对新生成的图片进行预测，如果分类标签发生变化即说明攻击成功，反之继续。更新(Px,Py)集合，以每个像素点作为中心，画出边长为2d的正方形，正方形范围内的点都纳入集合(Px,Py)。
PxPy＝[(x,y)for_a,_binPxPy_star]
forxinrange(_a–d,_a+d+1)
foryinrange(_b–d,_b+d+1)]
PxPy＝[(x,y)forx,yinPxPyif0<＝x<wand0<＝y<h]
PxPy＝list(set(PxPy))
PxPy＝np.narry(PxPy)。
以上显示和描述了本发明的基本原理、主要特征和优点。本领域的技术人员应该了解，本发明不受上述具体实施例的限制，上述具体实施例和说明书中的描述只是为了进一步说明本发明的原理，在不脱离本发明精神范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由权利要求书及其等效物界定。

Claims (3)

1.一种对抗样本生成方法，其特征在于，包括如下步骤，
步骤S1、输入图像I，对图像进行标准化，标准化图像与原始图像尺寸相同，图像标准化之后的所有坐标均在[LB,UB]范围内，LB和UB为两个常数，且LB＜0,UB＞0；用T∈Rl×w×h表示满足上述性质的所有有效图像的空间；对于每个I∈Τ，图像中的所有坐标满足(b,x,y)∈[l]×[w]×[h],I(b,x,y)∈[LB,UB]；
步骤S2、分类标签为C(I)∈{1,...,C}，p和r为扰动系数，图像邻域搜索半径的边长为2d，最大迭代次数为R，每次迭代选择的像素点的个数为t；
步骤S3、随机选取10％的像素，初始化集合(Px,Py)，(Px,Py)i为一组像素位置；第一轮(Px,Py)0为随机生成的；在随后的每一轮中，均是基于在前一轮中被扰动的一组像素位置形成的；让(Px,Py)i-1表示i-1轮中被扰动区域的中间像素位置，则
Figure FDA0003310328850000011
步骤S4、遍历(Px,Py)的像素，进行扰动PRER(I,p,x,y)，获取新的图像集合；扰动的方法为PETR(I,p,x,y)＝p×sign(I(*,x,y))，其中，sign是符号函数，定义为
Figure FDA0003310328850000012
步骤S5、计算新图像集合中每个图像预测原分类标签的概率score(I)；选择概率最大的t个像素点，获取新的像素点集合(Px,Py)；遍历(Px,Py)，对(x,y)∈(Px,Py)的邻域，进行扰动RangeAdv(r,b,x,y)，更新原始图像I；范围扰动方法为
Figure FDA0003310328850000013
步骤S6、若
Figure FDA0003310328850000014
则攻击成功，结束；否则，定义攻击的模型为NN，NN的分类结果为：NN(I)＝(o1,...,oc)，其中oi为图像识别为第i个标签的概率；π(NN(Ip),k)为模型NN针对图像I的分类的Topk个标签；
步骤S7、遍历(Px,Py)，以每个像素点为中心，画出边长为2d的正方形，正方形范围内的点都纳入(Px,Py)，转步骤S4。
2.根据权利要求1所述的一种对抗样本生成方法，其特征在于，从(Px,Py)集合中随机选择最多128个点，遍历每个点，针对每个点进行扰动并生成一个新的图像，获取一个新图像集合；对新图像集合中的每个图像进行计算，获取分类为原标签的概率值。
3.根据权利要求1所述的一种对抗样本生成方法，其特征在于，将数据标准化之后所有坐标均在[-0.5,0.5]之间。
CN202111214760.9A 2021-10-19 2021-10-19 一种对抗样本生成方法 Pending CN114419358A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111214760.9A CN114419358A (zh) 2021-10-19 2021-10-19 一种对抗样本生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111214760.9A CN114419358A (zh) 2021-10-19 2021-10-19 一种对抗样本生成方法

Publications (1)

Publication Number Publication Date
CN114419358A true CN114419358A (zh) 2022-04-29

Family

ID=81264962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111214760.9A Pending CN114419358A (zh) 2021-10-19 2021-10-19 一种对抗样本生成方法

Country Status (1)

Country Link
CN (1) CN114419358A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998707A (zh) * 2022-08-05 2022-09-02 深圳中集智能科技有限公司 评估目标检测模型鲁棒性的攻击方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414964A (zh) * 2020-03-23 2020-07-14 上海金桥信息股份有限公司 一种基于对抗样本防御的图像安全识别方法
US20200265271A1 (en) * 2019-02-15 2020-08-20 Baidu Usa Llc Systems and methods for joint adversarial training by incorporating both spatial and pixel attacks
US20200410228A1 (en) * 2019-06-28 2020-12-31 Baidu Usa Llc Systems and methods for fast training of more robust models against adversarial attacks
CN113505864A (zh) * 2021-09-10 2021-10-15 南京理工大学 群智能单像素生成扰动与攻击方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200265271A1 (en) * 2019-02-15 2020-08-20 Baidu Usa Llc Systems and methods for joint adversarial training by incorporating both spatial and pixel attacks
US20200410228A1 (en) * 2019-06-28 2020-12-31 Baidu Usa Llc Systems and methods for fast training of more robust models against adversarial attacks
CN111414964A (zh) * 2020-03-23 2020-07-14 上海金桥信息股份有限公司 一种基于对抗样本防御的图像安全识别方法
CN113505864A (zh) * 2021-09-10 2021-10-15 南京理工大学 群智能单像素生成扰动与攻击方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998707A (zh) * 2022-08-05 2022-09-02 深圳中集智能科技有限公司 评估目标检测模型鲁棒性的攻击方法和装置

Similar Documents

Publication Publication Date Title
Jin et al. Ape-gan: Adversarial perturbation elimination with gan
CN111310802B (zh) 一种基于生成对抗网络的对抗攻击防御训练方法
Carrara et al. Adversarial examples detection in features distance spaces
Jandial et al. Advgan++: Harnessing latent layers for adversary generation
WO2021169157A1 (zh) 一种基于特征重映射的对抗样本防御方法和应用
CN110348475B (zh) 一种基于空间变换的对抗样本增强方法和模型
CN111600835A (zh) 一种基于fgsm对抗攻击算法的检测与防御方法
CN113139536B (zh) 一种基于跨域元学习的文本验证码识别方法、设备及存储介质
CN112396129A (zh) 一种对抗样本检测方法及通用对抗攻击防御系统
Katzir et al. Detecting adversarial perturbations through spatial behavior in activation spaces
Yin et al. Exploiting multi-object relationships for detecting adversarial attacks in complex scenes
CN113591975A (zh) 基于Adam算法的对抗样本生成方法及系统
Lu et al. Dance: Enhancing saliency maps using decoys
Mangla et al. AdvGAN++: Harnessing latent layers for adversary generation
CN114419358A (zh) 一种对抗样本生成方法
CN111444816A (zh) 一种基于Faster RCNN的多尺度密集行人检测方法
Naqvi et al. Adversarial attacks on visual objects using the fast gradient sign method
CN114140670A (zh) 基于外源特征进行模型所有权验证的方法和装置
KR20210127639A (ko) 분류기를 훈련하기 위한 디바이스 및 방법
CN113240080A (zh) 基于先验类别增强的对抗训练方法
Agrawal et al. Bmim: Generating adversarial attack on face recognition via binary mask
Zhang et al. A Review of Adversarial Attacks in Computer Vision
Sheikholeslami et al. Efficient randomized defense against adversarial attacks in deep convolutional neural networks
Pavate et al. Analyzing probabilistic adversarial samples to attack cloud vision image classifier service
KR20210127638A (ko) 분류기를 훈련하고 분류기의 강건성을 평가하기 위한 디바이스 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: Patent of Nanjing University of Posts and Telecommunications Receiver: The person in charge

Document name: Notification of procedure qualification