CN113033822A - 基于预测校正和随机步长优化的对抗性攻击与防御方法及系统 - Google Patents
基于预测校正和随机步长优化的对抗性攻击与防御方法及系统 Download PDFInfo
- Publication number
- CN113033822A CN113033822A CN202110340500.XA CN202110340500A CN113033822A CN 113033822 A CN113033822 A CN 113033822A CN 202110340500 A CN202110340500 A CN 202110340500A CN 113033822 A CN113033822 A CN 113033822A
- Authority
- CN
- China
- Prior art keywords
- sample
- loss function
- machine learning
- learning model
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012937 correction Methods 0.000 title claims abstract description 39
- 238000005457 optimization Methods 0.000 title claims abstract description 35
- 230000007123 defense Effects 0.000 title claims abstract description 29
- 230000003042 antagnostic effect Effects 0.000 title description 3
- 230000006870 function Effects 0.000 claims abstract description 60
- 238000010801 machine learning Methods 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 39
- 230000008485 antagonism Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明为基于预测校正和随机步长优化的对抗性攻击与防御方法及系统,其方法包括步骤:输入训练数据集和机器学习模型;根据输入的训练数据集训练机器学习模型;判断损失函数是否收敛;若损失函数不收敛则采用基于预测校正和随机步长优化的对抗攻击生成对抗样本,并和原始数据作为训练数据集对机器学习模型进行训练,直至损失函数收敛,得到训练好的机器学习模型;若损失函数收敛,则直接输出结果。本发明通过对抗攻击生成对抗样本,能够在相同扰动约束限制下实现更高的攻击成功率,可用于评估机器学习模型的性能以及对抗防御方法的有效性;所产生的对抗样本对机器学习模型实施对抗训练能有效地抵御各种对抗性攻击,提升模型的鲁棒性。
Description
技术领域
本发明涉及人工智能机器学习领域,具体为基于预测校正和随机步长优化的对抗性攻击与防御方法及系统。
背景技术
随着深度学习在数据挖掘、计算机视觉、自然语言处理和无人驾驶等诸多领域都取得了显著的成果,深度神经网络的鲁棒性和稳定性越来越受到人们的关注。然而,最近的研究已经证实,几乎所有的机器学习模型存在着易受对抗样本攻击的安全隐患。攻击者通过在原始输入样本中添加一些微小的扰动可以得到对抗样本,添加扰动后的对抗样本与原始样本在人类观察者看来具有相同的类别或属性,但会误导神经网络模型产生错误的预测输出,这给深度神经网络的实际应用带来了严重的安全问题。
基于梯度的对抗攻击算法具有较低的计算成本和较好的性能,是目前最流行的对抗攻击方法之一。基于梯度的对抗攻击是通过计算损失函数对输入样本的梯度来确定所添加的扰动,其中损失函数通常是由深度神经网络模型对输入样本的预测标签与真实标签确定的。对抗攻击的目标是在原始样本中添加扰动,使得添加扰动后得到的对抗样本的预测标签不等于真实标签,其核心是最大化模型对于输入样本的预测标签与真实标签之间的损失函数的值。对抗攻击不仅能误导正常训练的机器学习模型,同时也能攻击各种防御模型。而从另一方面来讲,对于对抗攻击研究可以发现机器学习模型存在的缺陷,利用对抗攻击方法生成的对抗样本对深度神经网络模型实施对抗性训练可以作为一种防御方法,能有效地提升模型的鲁棒性,抵御各种各样的对抗攻击。
尽管现有的基于梯度的对抗攻击方法取得了较好的效果,但生成的对抗样本距离最优的对抗样本可能存在一定的误差。这主要是由两个原因造成的,第一个原因是深度神经网络的复杂性和非线性导致添加扰动后,生成对抗样本的损失值并不一定严格地沿着梯度方向变化;第二个原因是每次迭代的步长决定了添加扰动的幅度,但在实践中,无论是固定步长还是自适应步长都不能保证最优扰动幅度,使得生成的对抗样本具有最大的损失值。因此,现有的技术无法准确地评估出机器学习模型的鲁棒性以及对抗防御方法的有效性。
发明内容
本发明提供基于预测校正和随机步长优化的对抗性攻击与防御方法,相较于现有基于梯度的对抗攻击方案,在相同的扰动约束限制下,本发明能实现更高的攻击成功率并降低模型分类的准确率,可以用来评估机器学习模型的性能以及对抗防御方法的有效性。另一方面,使用基于预测校正和随机步长优化的对抗攻击所产生的对抗样本对机器学习模型实施对抗训练可以作为一种防御方法,以提升模型的鲁棒性,抵御各种各样的对抗攻击。
本发明还提供基于预测校正和随机步长优化的对抗性攻击与防御系统。
本发明方法采用以下技术方案来实现:基于预测校正和随机步长优化的对抗性攻击与防御方法,包括以下步骤:
S1、输入训练数据集和机器学习模型f;
S2、根据输入的训练数据集训练机器学习模型f;
S3、判断损失函数J是否收敛,如果损失函数J不收敛,则采用基于预测校正和随机步长优化的对抗性攻击生成对抗样本xadv,并将所生成的对抗样本和原始数据x组成训练数据集对机器学习模型f进行训练,直至损失函数J收敛,得到训练后的机器学习模型f。
在优选的实施例中,步骤S3中基于预测校正和随机步长优化的对抗性攻击生成对抗样本xadv的具体步骤如下:
S31、输入原始数据x、机器学习模型f和损失函数J;
S32、进行参数初始化;
S33、根据给定的迭代次数T开始循环,初始化初值t=0;
S39、循环T次后结束循环,返回对抗样本xadv。
本发明系统采用以下技术方案来实现:基于预测校正和随机步长优化的对抗性攻击与防御系统,包括:
数据信息输入模块,用于输入训练数据集和机器学习模型f;
模型训练模块,用于根据输入的训练数据集训练机器学习模型f;
损失函数收敛判断模块,用于判断损失函数J是否收敛,如果损失函数J不收敛,则采用基于预测校正和随机步长优化的对抗性攻击生成对抗样本xadv,并将所生成的对抗样本和原始数据x组成训练数据集对机器学习模型f进行对抗性训练,直至损失函数J收敛,得到训练好的机器学习模型f;
对抗样本的生成模块,基于预测校正和随机步长优化的对抗攻击生成对抗样本,首先输入原始数据x、机器学习模型f和损失函数J,并初始化参数,根据给定的迭代次数T开始循环;接着计算损失函数J对于输入样本xt的梯度得到预测样本然后通过损失函数J对于预测样本的梯度校正所添加的扰动;接下来分别采用固定步长a和随机步长b作为添加扰动的幅值在输入样本xt中添加对抗扰动,生成样本和最后比较样本和的损失函数的值,将较大损失值所对应的样本作为每次迭代所生成的对抗样本循环T次后结束循环,返回对抗样本xadv,其中xt表示在迭代次数为t时的样本。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明采用了预测校正来优化扰动,这可以看作是一个预测系统和一个校正系统。首先,现有的对抗攻击方法所产生的对抗样本都可以被看作是预测样本,然后利用损失函数相对于预测样本的梯度对当前扰动进行修正,以确保加入扰动后生成对抗样本的损失函数的值尽可能地沿梯度方向变化。
2、本发明采用了随机步长优化扰动,在生成对抗样本的过程中引入随机步长,并比较固定步长与随机步长得到的样本的损失值,选取损失值较大的样本作为对抗样本。随机步长优化可以确保得到的对抗样本的预测标签与真实标签之间具有较大的损失值。
3、预测校正和随机步长优化的对抗性攻击生成对抗样本可以用来对机器学习模型进行对抗训练,以提升模型的鲁棒性,抵御各种各样的对抗攻击方法,进而为人工智能领域的机器学习方法的安全领域提供更为优质的服务。
4、本发明预测校正和随机步长优化的对抗攻击方法能达到较高的攻击成功率,可以用于使用该方法评估机器学习模型的鲁棒性以及对抗性防御方法的有效性。
附图说明
图1是本发明实施例中对抗攻击与防御方法的整体流程图;
图2是本发明实施例中进行对抗防御的流程图;
图3是本发明实施例中进行对抗攻击的流程图;
图4是本发明实施例中攻击MINST模型产生的对抗样本在不同的重启次数下模型分类的准确率曲线图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
如图1所示,本实施例基于预测校正和随机步长优化策略进行对抗攻击和防御攻击,主要涉及如下技术:1)基于预测校正和随机步长优化的对抗攻击,通过将现有方法生成的对抗样本作为预测样本,然后利用损失函数相对于预测样本的梯度对当前扰动进行修正。同时,在生成对抗样本的过程中引入随机步长,并比较固定步长与随机步长得到的样本的损失值,选取损失值较大的样本作为对抗样本。2)基于预测校正和随机步长优化的防御,采用基于预测校正和随机步长优化的对抗攻击方法生成的对抗样本对机器学习模型进行对抗训练作为一种防御方法,以提升模型的鲁棒性。
如图2所示,本实施例基于预测校正和随机步长优化的对抗性攻击与防御方法,具体步骤如下:
S1、输入训练数据集和机器学习模型f;
S2、根据输入的训练数据集训练机器学习模型f;
S3、判断损失函数J是否收敛,如果损失函数J不收敛,则采用基于预测校正和随机步长优化的对抗性攻击生成对抗样本xadv,并将所生成的对抗样本和原始数据x组成训练数据集对机器学习模型f进行训练,直至损失函数J收敛,得到训练后的具有较强鲁棒性的机器学习模型f。
如图3所示,以无穷范数的扰动约束下无目标对抗攻击为例,步骤S3中基于预测校正和随机步长优化的对抗性攻击生成对抗样本xadv的具体步骤如下:
S31、输入原始数据x、机器学习模型f和损失函数J;
S33、根据给定的迭代次数T开始进行循环,初始化初值t=0;
基于相同的发明构思,本发明提出了与上述攻击与防御方法相应的对抗性攻击与防御系统,其包括:
数据信息输入模块,用于输入训练数据集和机器学习模型f;
模型训练模块,用于根据输入的训练数据集训练机器学习模型f;
损失函数收敛判断模块,用于判断损失函数J是否收敛,如果损失函数J不收敛,则采用基于预测校正和随机步长优化的对抗性攻击生成对抗样本xadv,并将所生成的对抗样本和原始数据x组成训练数据集对机器学习模型f进行训练,直至损失函数J收敛,得到训练好的机器学习模型f,该模型具有较强的鲁棒性,能抵御各种各样的对抗攻击;
对抗样本的生成模块,基于预测校正和随机步长优化的对抗攻击生成对抗样本,先输入原始数据x、机器学习模型f和损失函数J,初始化参数,根据给定的迭代次数T开始循环;接着计算梯度、获取预测样本、校正所添加的扰动、生成随机步长、确定扰动、添加扰动、选取较大损失值所对应的对抗样本,循环T次后结束循环,返回对抗样本xadv。其中,对抗性攻击包括基于预测校正的对抗性攻击、基于随机步长优化的对抗性攻击以及基于预测校正和随机步长优化的对抗性攻击。
图4表示在不同的重启次数下,分别使用基于预测校正的对抗攻击算法以及基于预测校正和随机步长优化算法攻击MNIST模型得到的对抗样本被模型正确分类的准确率。所攻击的模型是由麻省理工学院Aleksander Madry教授提供的,该模型具有较强鲁棒性。从图4可以观察到,本实施例可以显著降低模型的分类准确率。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.基于预测校正和随机步长优化的对抗性攻击与防御方法,其特征在于,包括以下步骤:
S1、输入训练数据集和机器学习模型f;
S2、根据输入的训练数据集训练机器学习模型f;
S3、判断损失函数J是否收敛,如果损失函数J不收敛,则采用基于预测校正和随机步长优化的对抗性攻击生成对抗样本xadv,并将所生成的对抗样本和原始数据x组成训练数据集对机器学习模型f进行训练,直至损失函数J收敛,得到训练后的机器学习模型f。
2.根据权利要求1所述的对抗性攻击与防御方法,其特征在于,步骤S3中基于预测校正和随机步长优化的对抗性攻击生成对抗样本xadv包括以下步骤:
S31、输入原始数据x、机器学习模型f和损失函数J;
S32、进行参数初始化;
S33、根据给定的迭代次数T开始循环,初始化初值t=0;
S39、循环T次后结束循环,返回对抗样本xadv。
8.基于预测校正和随机步长优化的对抗性攻击与防御系统,其特征在于,包括:
数据信息输入模块,用于输入训练数据集和机器学习模型f;
模型训练模块,用于根据输入的训练数据集训练机器学习模型f;
损失函数收敛判断模块,用于判断损失函数J是否收敛,如果损失函数J不收敛,则采用基于预测校正和随机步长优化的对抗性攻击生成对抗样本xadv,并将所生成的对抗样本和原始数据x组成训练数据集对机器学习模型f进行对抗性训练,直至损失函数J收敛,得到训练好的机器学习模型f;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110340500.XA CN113033822A (zh) | 2021-03-30 | 2021-03-30 | 基于预测校正和随机步长优化的对抗性攻击与防御方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110340500.XA CN113033822A (zh) | 2021-03-30 | 2021-03-30 | 基于预测校正和随机步长优化的对抗性攻击与防御方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113033822A true CN113033822A (zh) | 2021-06-25 |
Family
ID=76453128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110340500.XA Pending CN113033822A (zh) | 2021-03-30 | 2021-03-30 | 基于预测校正和随机步长优化的对抗性攻击与防御方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113033822A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378988A (zh) * | 2021-07-06 | 2021-09-10 | 浙江工业大学 | 基于粒子群算法的深度学习系统鲁棒性增强方法及装置 |
WO2023019456A1 (en) * | 2021-08-18 | 2023-02-23 | Robert Bosch Gmbh | Method and apparatus for evaluation of adversarial robustness |
CN116543240A (zh) * | 2023-07-06 | 2023-08-04 | 华中科技大学 | 一种面向机器学习对抗攻击的防御方法 |
EP4296910A1 (en) * | 2022-06-22 | 2023-12-27 | Robert Bosch GmbH | Device and method for determining adversarial perturbations of a machine learning system |
-
2021
- 2021-03-30 CN CN202110340500.XA patent/CN113033822A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378988A (zh) * | 2021-07-06 | 2021-09-10 | 浙江工业大学 | 基于粒子群算法的深度学习系统鲁棒性增强方法及装置 |
CN113378988B (zh) * | 2021-07-06 | 2024-02-13 | 浙江工业大学 | 基于粒子群算法的深度学习系统鲁棒性增强方法及装置 |
WO2023019456A1 (en) * | 2021-08-18 | 2023-02-23 | Robert Bosch Gmbh | Method and apparatus for evaluation of adversarial robustness |
EP4296910A1 (en) * | 2022-06-22 | 2023-12-27 | Robert Bosch GmbH | Device and method for determining adversarial perturbations of a machine learning system |
CN116543240A (zh) * | 2023-07-06 | 2023-08-04 | 华中科技大学 | 一种面向机器学习对抗攻击的防御方法 |
CN116543240B (zh) * | 2023-07-06 | 2023-09-19 | 华中科技大学 | 一种面向机器学习对抗攻击的防御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113033822A (zh) | 基于预测校正和随机步长优化的对抗性攻击与防御方法及系统 | |
Chen et al. | POBA-GA: Perturbation optimized black-box adversarial attacks via genetic algorithm | |
CN109639710B (zh) | 一种基于对抗训练的网络攻击防御方法 | |
Wang et al. | Neural architecture search for robust networks in 6G-enabled massive IoT domain | |
CN113408743A (zh) | 联邦模型的生成方法、装置、电子设备和存储介质 | |
CN111047006B (zh) | 一种基于对偶式生成网络的对抗攻击防御模型及应用 | |
CN112199717A (zh) | 一种基于少量公共数据的隐私模型训练方法及装置 | |
CN111047054A (zh) | 一种基于两阶段对抗知识迁移的对抗样例防御方法 | |
CN112085050A (zh) | 基于pid控制器的对抗性攻击与防御方法及系统 | |
CN113505855B (zh) | 一种对抗攻击模型的训练方法 | |
CN113704758B (zh) | 一种黑盒攻击对抗样本生成方法及系统 | |
CN112580728B (zh) | 一种基于强化学习的动态链路预测模型鲁棒性增强方法 | |
CN113392396A (zh) | 面向深度强化学习的策略保护防御方法 | |
Suzuki et al. | Adversarial example generation using evolutionary multi-objective optimization | |
CN114758198A (zh) | 一种基于元学习对抗扰动的黑盒攻击方法及系统 | |
CN111311324A (zh) | 基于稳定神经协同过滤的用户-商品偏好预测系统和方法 | |
CN113935496A (zh) | 一种面向集成模型的鲁棒性提升防御方法 | |
CN113435264A (zh) | 基于寻找黑盒替代模型的人脸识别对抗攻击方法及装置 | |
CN115510986A (zh) | 一种基于AdvGAN的对抗样本生成方法 | |
CN115909027B (zh) | 一种态势估计方法及装置 | |
CN111950635A (zh) | 一种基于分层特征对齐的鲁棒特征学习方法 | |
CN111882037A (zh) | 一种基于网络附加/修改的深度学习模型优化方法 | |
CN113744175B (zh) | 一种基于双向约束生成对抗网络的图像生成方法及系统 | |
CN114584337A (zh) | 一种基于遗传算法的语音攻击伪造方法 | |
CN113537494B (zh) | 一种基于黑盒场景的图像对抗样本生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210625 |