CN114169532A - 一种基于自适应信赖域半径校正生成对抗样本的方法 - Google Patents
一种基于自适应信赖域半径校正生成对抗样本的方法 Download PDFInfo
- Publication number
- CN114169532A CN114169532A CN202111366061.6A CN202111366061A CN114169532A CN 114169532 A CN114169532 A CN 114169532A CN 202111366061 A CN202111366061 A CN 202111366061A CN 114169532 A CN114169532 A CN 114169532A
- Authority
- CN
- China
- Prior art keywords
- domain
- radius
- confidence
- adaptive
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012937 correction Methods 0.000 title claims abstract description 31
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 16
- 230000003044 adaptive effect Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 41
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于自适应信赖域半径校正生成对抗样本的方法，包括如下步骤：步骤S1，输入原始图像X，将其表示成a×b的矩阵D，在矩阵D中进行核心区域定位；步骤S2，采用自适应信赖域半径校正算法限制图片的扰动范围，得到基于信赖域半径校正算法的对抗样本。
Description
技术领域
本发明涉及计算机应用技术领域，特别是涉及一种基于自适应信赖域半径校正生成对抗样本的方法。
背景技术
近年来，随着深度学习技术的不断突破，极大地促进了人工智能行业的发展，但人工智能本身的安全性问题也引起了人们越来越多的关注。特别地，由于深度学习强大的表征能力，它已被应用到各个图像处理领域。尤其是像自动驾驶这种高安全性要求的领域，神经网络更是扮演着极其重要的角色。2014年，Szegedy等人指出，对图像添加微小的扰动，可以导致神经网络识别图片出错，这一发现引起了学术界和工业界的广泛关注。自此之后，许多研究人员提出了大量的攻击方法来针对先前的分类器生成对抗样本，有攻击就会有防御，一些研究人员也提出了大量的防御方法来抵御对抗样本的攻击，不论是攻击还是防御都有助于研究人员进一步地理解神经网络的运行机理。但是，此前很多研究神经网络攻击的人员通常将关注点主要放在了提高对抗样本的攻击成功率上，使对抗算法攻击速度和效率更高。
行业内急需研发一种既能高效的生成对抗样本，有更好的攻击成功率，又减少了对抗样本相对于原始样本的扰动的技术。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种基于自适应信赖域半径校正生成对抗样本的方法，以使对抗样本的扰动更快收敛到使模型分类错误。
为达上述目的，本发明提出一种基于自适应信赖域半径校正生成对抗样本的方法，包括如下步骤：
步骤S1，输入原始图像X，将其表示成a×b的矩阵D，在矩阵D中进行核心区域定位；
步骤S2，采用自适应信赖域半径校正算法限制图片的扰动范围，得到基于信赖域半径校正算法的对抗样本。
优选地，步骤S2进一步包括：
步骤S200，给定模型函数f(x)，目标函数g(x)；
步骤S201，若模型函数f(x)的一次导数信息||gk||≤ε，则停止更新信赖域，其中，|ε|<0.001；
步骤S202，计算信赖域半径，并更新所述原始图像X；
步骤S203，采用信赖域半径修正算法校正信赖域半径；
步骤S204，利用校正后的信赖域半径rk构造对抗样本；
步骤S205，重复执行步骤S201-S204进行K轮迭代，得到最终的对抗样本。
优选地，于步骤S203中，将所述信赖域半径rk与自定义超参数c0进行比较，根据比较结果确定自适应的变量参数c6，更新下一轮的可扰动的范围，从而将所述信赖域半径rk控制在信赖域的领域。
优选地，于步骤S203中，若信赖域半径rk>自定义超参数c0，则计算：
c6＝||sk||/||yk||，其中yk＝gk-gk-1，gk为模型函数f(x)的一次导数信息；
否则令c6＝c6/4；
然后更新信赖域Δk+1，将信赖域半径rk控制在信赖域的领域。
优选地，通过上一轮的梯度矩阵gk对k+1轮的扰动范围Δk+1即信赖域，进行更新。
优选地，所述信赖域Δk+1更新如下：
其中，Δk+1被定义为k+1轮的信赖域，c6表示自适应的变量参数，sk为步长因子，
其中
表示对f(xk)求一次导，c2为自定义参数，0<c2<1。
优选地，于步骤S203后，还包括如下步骤：
如果信赖域半径rk>自定义超参数c0,则修正所述模型函数f(x)的二次导数Bk以进一步对信赖域进行修正,并令k＝k+1，返回至步骤S201。
优选地，于步骤S204中，所述对抗样本构造如下：
其中，
表示第k轮生成的对抗样本。
与现有技术相比，本发明一种基于自适应信赖域半径校正生成对抗样本的方法，可以自然地把自适应信赖域半径校正策略与对抗样本的生成相结合，生成一种更强大的对抗样本攻击方法，除了进一步保证了攻击的效率和成功率，也大大减少了对抗的扰动，大大提高了生成的对抗样本的质量，其能真正做到更高的攻击效率和成功率以及更好的抗感知效果。
附图说明
图1为本发明一种基于自适应信赖域半径校正生成对抗样本的方法的步骤流程图；
图2为本发明具体实施例的流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
目前，对于信赖域半径的校正常常使用不同的信赖域算法进行确定，信赖域算法在求解问题上有全局收敛的性质。随着电子计算机的应用和快速发展，信赖域方法在许多方面有着广泛的应用，如能源通信工程、运筹学、自然科学等众多领域。
绝大部分的无约束非线性问题会较常使用线性搜索，对于这类问题常趋于使用信赖域算法和线性搜索的算法，线性搜索在每次搜索的时候都会生成一个搜索方向，而一维搜索得到下一次的迭代点是利用搜索方向在一定范围内的搜索得到的。信赖域方法相对于线性搜索方法控制搜索步长的范围，而线性搜索的失败在于搜索步长太大。
问题的数学模型如下：
minf(x),x∈Rn.
其中f(x)是一个二次连续可微函数。线性搜索方法的基本思想为：在搜索之前初始搜索方向dk的选取很重要，有了这个搜索方向dk找到一个较精确的步长因子sk，使其目标函数值在选定了搜索方向和步长因子之后有了充分的下降。得到的新的迭代点将其定义为
信赖域算法的基本思想为：将目前的点的领域定义为：
Ωk,Ωk＝{x∈Rn|||x-xk||≤Δk},
这里Δk被定义为信赖域半径，Ωk定义为信赖域。给信赖域半径一个初始值，以当前迭代点为中心，然后在以该中心点为中心的范围对二次模型进行求解，用二次模型的解对目标函数f(x)的解的近似。二次模型在信赖域的领域中极小化，可以得到一个极值点，定义为近似极小值点sk，并取xk+1＝xk+sk,其中||x-xk||≤Δk.在求解一个函数的信赖域时，可利用某一个测试函数来检查试探步sk能否符合在信赖域范围内满足使迭代点能更近似，用sk来确定下一个信赖域范围大小。信赖域Ωk范围的大小由sk的合适程度来决定，如果试探步比较精准，下次进行搜索的信赖域范围的大小可以扩大或者保持不变，反之，如果试探步误差大，信赖域范围的大小要进行缩小。
信赖域半径的校正对信赖域算法的收敛速度有着很重要的地位，不同的信赖域半径的求解对近似函数的数值计算效率和求得的极小值也有直接的影响。
因此，本发明采用一种对信赖域半径矫正的方法应用于对抗扰动的生成，以提高对模型攻击时的收敛性和控制对图片的攻击范围。
图1为本发明一种基于自适应信赖域半径校正生成对抗样本的方法的步骤流程图。如图1所示，本发明一种基于自适应信赖域半径校正生成对抗样本的方法，包括如下步骤：
步骤S1，输入原始图像，将其表示成a×b的矩阵D，在矩阵D中进行核心区域定位。
具体地说，输入原始图像X，首先将原始输入图像X表示成a×b的矩阵D,记为D＝Da×b；其中，dij表示位于第i行第j列的像素。
然后，选择要攻击的核心区域。在本发明中，使用经典的目标检测算法来检测要分类的对象，这些检测算法可以识别出目标的大致位置，并消除整个图像中的周围干扰。具体地，采用目标检测算法在矩阵D中进行核心区域定位，得到核心区域DS，以便在该核心区域内采用信赖域算法来限制扰动大小。
步骤S2，采用自适应信赖域半径校正算法限制图片的扰动范围，并得到基于信赖域半径校正算法的对抗样本。
具体地，步骤S2进一步包括：
步骤S200，给定模型函数f(x)，目标函数为g(x)。
步骤S201，若模型函数f(x)的一次导数信息||gk||≤ε，其中，|ε|<0.001,则停止更新信赖域。
步骤S202，计算信赖域半径，并更新图片X。
具体地，先将信赖域半径设置为目标函数g(x)的实际下降量和模型函数f(x)的下降量的比值，具体地，信赖域半径rk计算如下：
其中，Aredk为目标函数g(x)在第k步的实际下降量，Predk为模型函数f(x)在第k步的下降量。
在本发明具体实施例中，令sk为较精确的步长因子，sk＝αkdk，αk为步长大小，dk表示搜索方向，xk表示当前所在的像素点位置，对图片X的更新如下：
其中，c0≥0为一个自定义的超参数。
优选地，步骤S202中的信赖域半径的计算方法中保存了一次和二次模型函数梯度信息，所述一次和二次模型函数梯度信息是指模型函数f(x)的一次导数gk(即梯度矩阵)和二次导数信息Bk。
步骤S203，校正信赖域半径。
在本发明中，将信赖域半径rk与自定义的超参数c0进行比较，根据比较结果确定自适应的变量参数c6，更新下一轮的可扰动的范围。
具体地，如果rk>c0，则计算：
c6＝||sk||/||yk||，其中yk＝gk-gk-1，否则令c6＝c6/4，其中，gk为模型函数f(x)的一次导数信息，即梯度矩阵；
然后更新信赖域Δk+1。
在本发明具体实施例中，通过上一轮的梯度矩阵(k轮，即gk)对k+1轮的扰动范围Δk+1即信赖域，进行更新，从而将步长(信赖域半径rk，也即扰动的大小)控制在信赖域的领域中，具体如下：
其中，Δk+1被定义为k+1轮的信赖域，也就是k+1轮的可扰动的范围，c6表示自适应的变量参数，sk为步长因子，
其中
表示对f(xk)求一次导，c2为自定义参数，0<c2<1。
步骤S204，如果信赖域半径rk>c0,则计算模型函数f(x)的二次导数Bk以进一步对信赖域进行修正,并令k＝k+1，返回步骤S201。
在本发明中，Bk是用来近似Hessian矩阵
的矩阵，以进一步对信赖域进行修正，使产生的扰动更加有收敛性。
步骤S205，利用校正后的信赖域半径构造对抗样本。
在本发明具体实施例中，对抗样本构造如下：
其中，
表示第k轮生成的对抗样本。
步骤S206，重复执行步骤S201-S205进行K轮迭代，得到最终的对抗样本。
可见，在本发明中，充分考虑了信赖域半径rk、比值||sk||/||yk||和||gk||等参数，这些参数包含了目标函数的二次导数信息。在每次迭代时不再是在常数倍的区间调节，在sk每次迭代更新时，也同时影响下一次迭代步长，将步长限制在一个合适且使模型函数迭代次数更少的区间内。
实施例
图2为本发明基于自适应的信赖域半径的信赖域校正方法实施例的流程图。从图中2可以看出，本发明的方法可以分为两个部分：拟合目标函数部分(102)和基于自适应的信赖域半径修正部分(104-106)。拟合目标函数部分中rk表示目标函数和模型函数的比值，代表了目标函数和模型函数的拟合程度；自适应的信赖域半径是一种对信赖域半径修正的算法，表示可以通过自适应的信赖域半径来使模型函数更快的达到最小值；基于自适应的信赖域半径的迭代修正部分中可以将上一轮的目标函数的二次导数进行保留，构造一个信赖域Δk+1，用构造的信赖域来限制模型函数前进步长的大小和方向。
具体而言，假设给定一个测试函数的初始迭代点为x0,初始信赖域半径为
其中
为测试函数值域的上界，则
(1)可以通过初始迭代点计算目标函数的实际下降量和模型函数的下降量的比值rk，然后通过初始迭代点和模型函数求得包含了迭代点的方向和大小的sk，并且通过计算模型函数的梯度求得梯度的下降量yk。
(2)利用||sk||/||yk||作为信赖域调节的参数，可令该参数为c6，用c6＝c6/4来更新信赖域，可以小步长的变化来精确稳定的调节并且收敛效果更好。
(3)依据信赖域半径校正算法，先构造一个模型函数，通过模型函数得到B0，再通过对模型函数求解梯度，得到初始的下降方向。根据信赖域算法自适应的信赖域构造方法为：
其中，c6表示自适应的变量参数，sk为步长因子，
代表了模型函数的一次导数信息。
(4)依据，如果rk≥c2,Δk+1＝{max{c6||gk||,4||sk||}，否则Δk+1＝c6||gk||的信赖域半径修正算法，可以控制rk在一个使模型函数收敛速度小的区间内，进而控制了迭代点下降的步长和方向。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。
Claims (8)
1.一种基于自适应信赖域半径校正生成对抗样本的方法，包括如下步骤：
步骤S1，输入原始图像X，将其表示成a×b的矩阵D，在矩阵D中进行核心区域定位；
步骤S2，采用自适应信赖域半径校正算法限制图片的扰动范围，得到基于信赖域半径校正算法的对抗样本。
2.如权利要求1所述的一种基于自适应信赖域半径校正生成对抗样本的方法，其特征在于，步骤S2进一步包括：
步骤S200，给定模型函数f(x)，目标函数g(x)；
步骤S201，若模型函数f(x)的一次导数信息||gk||≤ε，则停止更新信赖域，其中，|ε|＜0.001；
步骤S202，计算信赖域半径，并更新所述原始图像X；
步骤S203，采用信赖域半径修正算法校正信赖域半径；
步骤S204，利用校正后的信赖域半径rk构造对抗样本；
步骤S205，重复执行步骤S201-S204进行K轮迭代，得到最终的对抗样本。
3.如权利要求2所述的一种基于自适应信赖域半径校正生成对抗样本的方法，其特征在于：于步骤S203中，将所述信赖域半径rk与自定义超参数c0进行比较，根据比较结果确定自适应的变量参数c6，更新下一轮的可扰动的范围，从而将所述信赖域半径rk控制在信赖域的领域。
4.如权利要求3所述的一种基于自适应信赖域半径校正生成对抗样本的方法，其特征在于，于步骤S203中，若信赖域半径rk＞自定义超参数c0，则计算：
c6＝||sk||/||yk||，其中yk＝gk-gk-1，gk为模型函数f(x)的一次导数信息；
否则令c6＝c6/4；
然后更新信赖域Δk+1，将信赖域半径rk控制在信赖域的领域。
5.如权利要求4所述的一种基于自适应信赖域半径校正生成对抗样本的方法，其特征在于：通过上一轮的梯度矩阵gk对k+1轮的扰动范围Δk+1即信赖域，进行更新。
6.如权利要求5所述的一种基于自适应信赖域半径校正生成对抗样本的方法，其特征在于，所述信赖域Δk+1更新如下：
其中，Δk+1被定义为k+1轮的信赖域，c6表示自适应的变量参数，sk为步长因子，
其中
表示对f(xk)求一次导，c2为自定义参数，0＜c2＜1。
7.如权利要求6所述的一种基于自适应信赖域半径校正生成对抗样本的方法，其特征在于，于步骤S203后，还包括如下步骤：
如果信赖域半径rk＞自定义超参数c0，则修正所述模型函数f(x)的二次导数Bk以进一步对信赖域进行修正，并令k＝k+1，返回至步骤S201。
8.如权利要求7所述的一种基于自适应信赖域半径校正生成对抗样本的方法，其特征在于，于步骤S204中，所述对抗样本构造如下：
其中，
表示第k轮生成的对抗样本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111366061.6A CN114169532A (zh) | 2021-11-18 | 2021-11-18 | 一种基于自适应信赖域半径校正生成对抗样本的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111366061.6A CN114169532A (zh) | 2021-11-18 | 2021-11-18 | 一种基于自适应信赖域半径校正生成对抗样本的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114169532A true CN114169532A (zh) | 2022-03-11 |
Family
ID=80479938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111366061.6A Pending CN114169532A (zh) | 2021-11-18 | 2021-11-18 | 一种基于自适应信赖域半径校正生成对抗样本的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114169532A (zh) |
-
2021
- 2021-11-18 CN CN202111366061.6A patent/CN114169532A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang | Intelligent critic control with robustness guarantee of disturbed nonlinear plants | |
| Wei et al. | Neural-network-based adaptive optimal tracking control scheme for discrete-time nonlinear systems with approximation errors | |
| Yu et al. | Roma: Robust model adaptation for offline model-based optimization | |
| Liu et al. | Off-policy policy gradient with stationary distribution correction | |
| Wu et al. | Learning dynamics of gradient descent optimization in deep neural networks | |
| CN109062040B (zh) | 基于系统嵌套优化的预测pid方法 | |
| Tejeda-Iglesias et al. | Explicit model predictive controller under uncertainty: An adjustable robust optimization approach | |
| Kusumoputro et al. | System identification and control of pressure process rig system using Backpropagation Neural Networks | |
| WO2013008345A1 (ja) | 最適解探索方法および最適解探索装置 | |
| Zhang et al. | Prediction algorithm for network security situation based on bp neural network optimized by sa-soa | |
| Zhang et al. | Adaptive neural network control for a class of interconnected pure-feedback time-delay nonlinear systems with full-state constraints and unknown measurement sensitivities | |
| Boutselis et al. | Constrained sampling-based trajectory optimization using stochastic approximation | |
| CN112835295B (zh) | 基于pi模型的压电陶瓷执行器参数辨识和复合控制方法 | |
| CN114169532A (zh) | 一种基于自适应信赖域半径校正生成对抗样本的方法 | |
| Ling et al. | An improved evolutionary random neural networks based on particle swarm optimization and input-to-output sensitivity | |
| Ramírez et al. | Computational burden reduction in min–max MPC | |
| Machón-González et al. | Feedforward nonlinear control using neural gas network | |
| Abbas et al. | Polytopic quasi-lpv models based on neural state-space models and application to air charge control of a si engine | |
| Yang et al. | Dynamic learning from adaptive neural control for full-state constrained strict-feedback nonlinear systems | |
| Li et al. | Neuro-fuzzy-based dynamic quadratic criterion-iterative learning control for batch process | |
| CN114638076A (zh) | 一种基于物理神经网络的流体拓扑优化方法及系统 | |
| CN113936189A (zh) | 一种自适应的信赖域半径校正方法 | |
| CN110543412A (zh) | 一种基于神经网络可达性的汽车电子功能安全评估方法 | |
| Yi et al. | Statistic PID tracking control for non-Gaussian stochastic systems based on TS fuzzy model | |
| Hu et al. | An event-triggered neural critic technique for nonzero-sum game design with control constraints |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |