CN110647918A - 面向深度学习模型对抗攻击的拟态防御方法 - Google Patents
面向深度学习模型对抗攻击的拟态防御方法 Download PDFInfo
- Publication number
- CN110647918A CN110647918A CN201910790333.1A CN201910790333A CN110647918A CN 110647918 A CN110647918 A CN 110647918A CN 201910790333 A CN201910790333 A CN 201910790333A CN 110647918 A CN110647918 A CN 110647918A
- Authority
- CN
- China
- Prior art keywords
- output
- model
- defense
- image
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Security & Cryptography (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
Abstract
面向深度学习模型对抗攻击的拟态防御方法,包括以下步骤:1)准备对抗样本;2)训练对抗样本检测器;3)检测对抗样本;4)防御对抗扰动,具体包括主动防御对抗扰动、被动防御对抗扰动。本发明避免了手动提取特征及划分像素块的弊端,简化了流程;提高了训练效率;提高了数据更新的速度及准确率;提高了数据处理的效率。
Description
技术领域
本发明涉及一种对抗攻击的拟态防御方法。
背景技术
深度学习是人工神经网络的一个分支,具有深度网络结构的人工神经网络是深度学习最早的网络模型。目前,深度学习已经广泛应用于机器视觉、视频识别、图像理解、人脸识别、体感识别、自然语言处理、语音识别、无监督学习、迁移学习以及其他商业领域,而且取得了一系列突破性成果。例如,机器视觉已经成功应用于汽车、医学以及航空等行业,UX/UI、汽车、安保、物联网等行业使用了语音识别,未来无论是学术界还是工业界,深度学习都将作为研究应用的焦点进一步发展。
然而随着深度学习模型在图像识别及攻防上的广泛应用,深度学习的抗干扰能力也逐渐成为人们关注的重点。无论是训练数据本身还是算法设计都存在着潜在的安全隐患,而且各存在的安全隐患是不确定的,各种攻击可能会随着时间及不同攻击方法的改变而有所差异,该类隐患会使得基于该类算法的应用存在安全问题,例如自动驾驶目标检测错误将造成车祸,医疗影像识别错误将对病人造成巨大影响,安全监控无法准确识别从而警报故障等。然而目前所提出的有关防御的方法都是针对被攻击后的模型采取防御,包括优化防御速度,还有就是通过多个检测器对样本进行协同免疫。然而这些方法都无法让模型自动的根据检测到的扰动随时做出防御,更不能在时间上优先于扰动从而使外加攻击对样本不起作用。目前,我国已有专利所涉及的防御领域主要有网络安全、电力系统、物联网、恶意代码、家庭安全、大数据分析的APT监测以及机器学习的xss防御等,而面向图像识别防御领域的研究则比较少。已有防御方法包括:使用检测器判断样本是否异常并作出判断,具体可参考专利“一种基于LSTM检测器的对抗攻击防御方法(专利号:2018101412736)”;训练不同结构的样本分类器,并用遗传算法进行优化,具体参考专利“面向多种对抗图片攻击的协同免疫防御方法(专利号:201810299225X)”;还有就是利用FaceNet模型、LSTM网络和AlexNet模型提取获得微表情特征并与脸部特征拼接获得最终脸部特征,根据人脸库中存储的人脸标签确定该最终脸部特征对应的人脸标签达到准确的人脸识别,有效地防御图像对抗攻击;也有基于扰动进化对图像分类器对抗性攻击的防御方法;“一种人工智能图像辨识攻击防御方法、系统及存储介质(专利号:201810223174.2)”中使用了监视器端和服务器端并还原成原始目标图像,快速判断图像目标的真伪性。这些方法针对性很强,但并不具有普适性,图像领域的防御仍有很大发展空间。
在自然界中,拟态现象(Mimic Phenomenon,MP)是指一种生物如果能够在色彩、纹理和形状等特征上模拟另一种生物或环境,从而使一方或双方受益的生态适应现象。按防御行为分类可将其列入基于内生机理的主动防御范畴,又可称之为拟态伪装(MimicGuise,MG)。如果这种伪装不仅限于色彩、纹理和形状上,而且在行为和形态上也能模拟另一种生物或环境的拟态伪装,则定义为“拟态防御”(Mimic Defense,MD)。受此启发,人们已经将其应用到了网络空间安全领域,并提出主动防御理论(CMD),为应对网络空间中基于未知漏洞、后门或病毒木马等的未知威胁。网络拟态安全最初是由邬江兴院士提出,邬江兴院士带领团队自主研制“网络空间拟态防御成套设备和系统”并有了成果,拟态防御原理是从内层结构带来的一种免疫能力的提升,以异构冗余可靠性技术架构为基础,通过导入基于拟态伪装策略的多维动态重构机制,建立动态异构冗余的拟态系统构造,产生一种内生的“测不准”效应。而深度学习在图像识别上的准确性问题在一定程度上也是环境变量。
发明内容
本发明要克服现有技术的上述缺点,提出面向深度学习模型对抗攻击的拟态防御方法。
为了抵御深度学习中存在的多种类型的对抗扰动,本发明提出了面向深度学习模型对抗攻击的拟态防御方法,包括主动防御和被动防御。当深度模型受到攻击,本方法采用混合GRU和编解码器架构用于检测图像样本中的对抗扰动。然后可根据攻击类型选取事先训练好的被动模型快速高效的达到防御效果。本发明也提供了另外一种方法,主动防御,在防御模型中加入变量扰动,攻击到达的时候我们的模型已经检测到并做出了扰动参数改动,而攻击做出响应的时候已经不是最初攻击的模型参数了,从而攻击无效,达到拟态防御效果。
为了识别各种新型攻击,减少对新型攻击的训练时间,提高攻击的防御效果,本发明提出一种面向深度学习模型对抗攻击的拟态防御方法,包括主动和被动防御方法。我们提出的被动防御方法可以随时调节,图像被添加对抗扰动之后再对原来搭建好的模型更改参数使其达到最佳防御效果。而对于主动防御只需要先给防御的深度模型加一个随对抗扰动变化的扰动变量,就可以达到良好的防御效果,而不需要考虑攻击模型变化而使原来防御方法失效,不需要重新训练整个模型,从而使得算法应用更加灵活,具有普适性。
本发明解决其技术问题所采用的技术方案是:
面向深度学习模型对抗攻击的拟态防御方法,包括以下步骤:
1)准备对抗样本;
对训练数据集使用多种攻击方法生成对抗样本S,采用的生成对抗样本方法有FGSM、JSMA、迭代计算法以及图像旋转等等。将使用不同攻击方法生成的对抗样本分批保存,攻击模型用A表示。
2)训练对抗样本检测器,过程如下:
2.1)将每个对抗样本分成8×8个互相没有交叉和重叠的图像块(batch),并为补丁提取重采样特征,然后将从图像中提取的重采样特征按顺序输入到GRU网络中;
2.2)本发明使用卷积层来设计编码器,对原图进行编码过滤,每个编码器的基本构建块使用卷积、池、和激活函数。为每个编码器使用剩余单元,剩余块使用无参连接。编码器中的每个剩余单元生成一组特征映射。本发明在每个卷积层使用批量标准化。批处理归一化对协方差漂移具有较强的鲁棒性。本发明选择Relu激活函数max(0,x)用在每个剩余单元的末尾来减小特征图的大小;
2.3)将2.1)的特征映射经两层卷积与原图经2.2)输出的特征值进行融合。再采用解码器对上一层学到的特征图进行上采样,然后进行卷积运算和批处理归一化。解码器网络采3×3大小的内核,本发明的解码器在第一层和第二层分别使用64和16个特征图。最后,利用两幅热图对解码器网络末端的操纵类和非操纵类进行了预测。在网络的最后,我们得到了更精细的空间图表示,他显示了图像中被攻击的区域。
3)检测对抗样本;
3.1)将用于检测的图片x输入到对抗样本检测器即1)中的模型,根据最终输出结果判断是否有对抗扰动;
3.2)根据检测结果,对样本进行分类;计算分类样本x被分成各类的次数,将被分类结果次数最多的类型作为图像检测的分类结果,即CL(x)=max{n(cl1),n(cl2),...,n(cln)},其中CL(x)检测样本的分类结果,n(cl1)表示检测样本被判为第1类攻击的次数,cl1表示被分为1类。
4)防御对抗扰动,具体如下:
4.1)主动防御对抗扰动;
4.1.1)首先是选取模型,本发明选用AlexNet模型,AlexNet模型的一个优点是使用了LRN创新层,局部响应归一化借鉴侧抑制的思想实现局部抑制,使得响应比较大的值相对更大,提高了模型的泛化能力。LRN只对数据相邻区域做归一化处理,不改变数据的大小和维度。AlexNet还应用了Overlapping(重叠池化),在fc6、fc7全连接层引入了dropout的功能。
4.1.2)对卷积层使用的过滤器参数进行调整,使用wi x,y,z来表示对于输出单位节点矩阵的第i个节点,过滤器输入节点(x,y,z)的权重,使用bi表示第i个输出节点对应的偏置项参数,单位矩阵中第i个节点的取值g(i)为:
其中ax,y,z为过滤器中节点(x,y,z)的取值,f为激活函数。
为使该模型有自动防御功能,本发明对权重wi x,y,z加上一个扰动S,A为wi x,y,z的权重,S为扰动变量,加扰动后单位矩阵中第i个节点的取值g′(i)为:
其中A指定值为0.5,S为扰动变量,根据检测到对抗样本的变化而自动调整,对新型攻击方法同样适用。
4.1.3)输出层采用全连接层,输出为y1,y2,y3,...,yn,然后经softmax回归处理之后再输出,softmax函数为:
其中,yi为经过全连接层的输出值。
4.2)被动防御对抗扰动;
若被检测图像存在被添加扰动的倾向,则对检测器参数进行更改。给GRU网络添加扰动,并使用正则化使结果更平滑,同时外加Fast R-CNN模型并对模型进行优化。此时整个网络的损失函数包括两部分Lcls和Lloc,分别对应分类的损失和回归的损失。分类的输出是q(q0,q1,......,qn),共n个类,回归的输出是一个四元组
分类的损失和回归的损失分别为:
Lcls(q,u)=-log qu (4)
其中u是真实类别,v是真实的平移缩放参数,q为分类的输出,zu是回归的输出。
本发明通过给FastR-CNN模型添加扰动减小损失来达到有效防御。加扰动之后的输出为:
fi(xi,θi)=xi-θi+log2(axi+bθi) (6)
其中xi[x1,x2,......,xk]为输入图像像素值,θi[θ1,θ2,......,θk]是输出像素值,a和b为训练得到的优化参数。
根据攻击方法的不同将被动防御模型进行优化,最终训练出多种防御方法,以备再次抵御后续攻击时使用,参数修改便捷。同时要训练主动防御,在大量各种攻击下测试主动防御的准确率,保证达到最优结果。
本发明的技术构思为:基于图像检测与识别的拟态防御方法,首先对输入图像分成多个小块(patch),然后逐个像素的去观察这些小块,获取重采样特征值,再由GRU单元输出生成特征映射,并经过两层卷积神经网络之后与原始图像通过编码器的特征值映射进行融合,最后再进行解码操作,通过输出有扰动痕迹的图像得出图像是否被攻击。这里编码器有残差块、批处理归一化和激活函数组成,如果受到攻击则可通过两种方法进行防御。第一种是主动防御,主要采用AlexNet模型加随对抗扰动变化的扰动变量,来抵御各种类型的攻击,从而实现高效的自动抵抗多种类型攻击的防御功能。第二种是被动防御,在时间上该防御是落后于对抗扰动的,具有可调性,需要对被攻击的深度模型给定优化参数。
本发明的有益效果主要表现在:1)使用卷积神经网络提取图像特征,并将图像分成64个batch,充分发挥了深度学习的优势,避免了手动提取特征及划分像素块的弊端,简化了流程;2)相比常用的LSTM,使用四层GRU网络处理图像特征能够达到相当的效果,并且相比之下更容易进行训练,能够很大程度上提高训练效率。3)主动防御使用了AlexNet模型,包含8层可学习层,提高了数据更新的速度及准确率。4)采用编码器降低图像处理过程中数据量大的弊端,提高了数据处理的效率,采用的编码过滤器能够使算法在更大、更全面的层次上考虑整个图像的情况。
附图说明
图1是本发明方法的流程图。
图2是本发明方法的检测算法结构框。
图3是本发明方法的主动防御框图。
图4是本发明方法的被动防御框图。
具体实施方式
下面结合附图对本发明作进一步描述。
面向深度学习模型对抗攻击的拟态防御方法,包括以下步骤:
1)随机取部分正常图片输入到多种攻击模型A,生成有对抗扰动的图片,即对抗样本s。本发明以cifa10数据集为例,采用的生成对抗样本方法有FGSM、JSMA、迭代计算法以及图像旋转等等。将使用不同攻击方法生成的对抗样本分批保存。
2)训练对抗样本检测器,过程如下:
2.1)将每个对抗样本分成8×8个互相没有交叉和重叠的图像块(batch),并为补丁提取重采样特征,然后将从图像中提取的重采样特征按顺序输入到GRU网络中。算法结构图如图2所示,在GRU网络中,我们使用2个堆叠层和64个时间步长,在最后一层,每一步都得到一个64维向量,然后将GRU网络生成的向量投影到Nf特征映射中。用表示第lth个步长生成的特征向量,为了得到输出Ol,本发明引入了一个权矩阵从Fl变换到Fl′,向量Fl′为:
Fl′=Fl·Wl+Bl (1)
其中,Bl是带Nf维的偏置,Fl和Fl′是权矩阵Wl的两种状态。
2.2)使用编码器主要是设计一个有效的结构,为像素级篡改区域分割。我们使用卷积层来设计编码器,每个编码器的基本构建块使用卷积、池、和激活函数。为每个编码器使用剩余单元,剩余块使用无参连接。假设剩余单位的输入是y,单位从输入到输出的映射是T(y),在正向传递中,剩余单元的输出为T(y)+y。在每个卷积层中,我们使用核大小为3×3×d,d为滤波器的深度。本发明对网络中的不同层使用不同的深度。本方法分别在编码器的构架的第一层、第二层、第三层和第四层使用了23、64、128和256个特征映射。编码器中的每个剩余单元生成一组特征映射。我们在每个卷积层使用批量标准化。批处理归一化对协方差漂移具有较强的鲁棒性。我们选择Relu激活函数max(0,x)用在每个剩余单元的末尾来减小特征图的大小。
2.3)将2.1)的特征映射经两层卷积与原图经2.2)输出的特征值进行融合。再采用解码器对上一层学到的特征图进行上采样,然后进行卷积运算和批处理归一化。解码器网络采用3×3大小的内核,本方法的解码器在第一层和第二层分别使用64和16个特征图。最后,利用两幅热图对对解码器网络末端的操纵类和非操纵类进行了预测。在网络的最后,本方法得到了更精细的空间图表示,他显示了图像中被攻击的区域。
3)检测对抗样本;
3.1)将用于检测的图片x输入到对抗样本检测器即1)中的模型,根据最终输出结果判断是否有对抗扰动;
3.2)根据检测结果,对样本进行分类;计算分类样本x被分成各类的次数为,将被分类结果次数最多的类型作为图像检测的分类结果,即CL(x)=max{n(cl1),n(cl2),...,n(cln)},其中CL(x)检测样本的分类结果,n(cl1)表示检测样本被判为第1类攻击的次数,cl1表示被分为1类;
4)防御对抗扰动,具体如下:
4.1)主动防御对抗扰动;
4.1.1)首先是选取模型,如图3所示,本发明选用AlexNet模型,有5个卷积层和3个全连接层组成,除了第八层全连接层之外都使用了Relu激活函数,AlexNet模型的一个优点是使用了LRN创新层,局部响应归一化借鉴侧抑制的思想实现局部抑制,使得响应比较大的值相对更大,提高了模型的泛化能力。LRN只对数据相邻区域做归一化处理,不改变数据的大小和维度。AlexNet还应用了Overlapping(重叠池化),在fc6、fc7全连接层引入了dropout的功能。
4.1.2)对卷积层使用的过滤器参数进行调整,使用wi x,y,z来表示对于输出单位节点矩阵的第i个节点,过滤器输入节点(x,y,z)的权重,使用bi表示第i个输出节点对应的偏置项参数,单位矩阵中第i个节点的取值g(i)为:
其中ax,y,z为过滤器中节点(x,y,z)的取值,f为激活函数。
为使该模型有自动防御功能,本发明对权重wi x,y,z加上一个扰动S,A为wi x,y,z的权重,加扰动后单位矩阵中第i个节点的取值g′(i)为:
其中A为wi x,y,z的权重,S为扰动变量,A和S的值根据检测到对抗样本的变化而自动调整。
4.1.3)输出层采用全连接层,输出为y1,y2,y3,...,yn,然后经softmax回归处理之后输出:
其中,yi为经过全连接层的输出值。
4.2)被动防御对抗扰动;
若被检测图像存在被添加扰动的倾向,则对检测器参数进行更改。给GRU网络添加扰动,结构框图如图4所示,并使用正则化使结果更平滑,同时外加Fast R-CNN模型并对模型进行优化。此时整个网络的损失函数包括两部分Lcls和Lloc,分别对应分类的损失和回归的损失。分类的输出是q(q0,q1,......,qn),共n个类,回归的输出是一个四元组
分类的损失和回归的损失分别为:
Lcls(q,u)=-log qu (5)
其中u是真实类别,v是真实的平移缩放参数,q为分类的输出,zu是回归的输出。
本发明通过给Fast R-CNN模型添加扰动减小损失来达到有效防御。加扰动之后的输出为:
fi(xi,θi)=xi-θi+log2(axi+bθi) (7)
其中xi[x1,x2,......,xk]为输入图像像素值,θi[θ1,θ2,......,θk]是输出像素值,a和b为训练得到的优化参数。
根据攻击方法的不同将被动防御模型进行优化,最终训练出多种防御方法,以备再次抵御后续攻击时使用,参数修改便捷。同时要训练主动防御,在大量各种攻击下测试主动防御的准确率,保证达到最优结果。
训练好的基于GRU网络的检测模型有很高精确度,可直接检测并可视化出被攻击部分。本发明的防御方法提供了两种,主动防御方法的模型可以自动调节参数已达到期望防御结果,被动防御则比较灵活,只需要改变设置好的参数。因此,本发明基本上可以防御各有已经存在的和未来可能会出现的各种类型的攻击。
本说明书所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (1)
1.面向深度学习模型对抗攻击的拟态防御方法,包括以下步骤:
1)准备对抗样本;
对训练数据集使用多种攻击方法生成对抗样本S,采用的生成对抗样本方法有FGSM、JSMA、迭代计算法以及图像旋转等等;将使用不同攻击方法生成的对抗样本分批保存,攻击模型用A表示;
2)训练对抗样本检测器,过程如下:
2.1)将每个对抗样本分成8×8个互相没有交叉和重叠的图像块(batch),并为补丁提取重采样特征,然后将从图像中提取的重采样特征按顺序输入到GRU网络中;
2.2)使用卷积层来设计编码器,对原图进行编码过滤,每个编码器的基本构建块使用卷积、池、和激活函数;为每个编码器使用剩余单元,剩余块使用无参连接;编码器中的每个剩余单元生成一组特征映射;在每个卷积层使用批量标准化;批处理归一化对协方差漂移具有较强的鲁棒性;选择Relu激活函数max(0,x)用在每个剩余单元的末尾来减小特征图的大小;
2.3)将2.1)的特征映射经两层卷积与原图经2.2)输出的特征值进行融合;再采用解码器对上一层学到的特征图进行上采样,然后进行卷积运算和批处理归一化;解码器网络采用3×3大小的内核,第一层和第二层分别使用64和16个特征图;最后,利用两幅热图对解码器网络末端的操纵类和非操纵类进行了预测;在网络的最后,得到了更精细的空间图表示,显示了图像中被攻击的区域;
3)检测对抗样本;
3.1)将用于检测的图片x输入到对抗样本检测器即1)中的模型,根据最终输出结果判断是否有对抗扰动;
3.2)根据检测结果,对样本进行分类;计算分类样本x被分成各类的次数,将被分类结果次数最多的类型作为图像检测的分类结果,即CL(x)=max{n(cl1),n(cl2),...,n(cln)},其中CL(x)检测样本的分类结果,n(cl1)表示检测样本被判为第1类攻击的次数,cl1表示被分为1类;
4)防御对抗扰动,具体如下:
4.1)主动防御对抗扰动;
4.1.1)首先是选取模型,选用AlexNet模型,AlexNet模型的一个优点是使用了LRN创新层,局部响应归一化借鉴侧抑制的思想实现局部抑制,使得响应比较大的值相对更大,提高了模型的泛化能力;LRN只对数据相邻区域做归一化处理,不改变数据的大小和维度;AlexNet还应用了重叠池化Overlapping,在fc6、fc7全连接层引入了dropout的功能;
4.1.2)对卷积层使用的过滤器参数进行调整,使用wi x,y,z来表示对于输出单位节点矩阵的第i个节点,过滤器输入节点(x,y,z)的权重,使用bi表示第i个输出节点对应的偏置项参数,单位矩阵中第i个节点的取值g(i)为:
其中ax,y,z为过滤器中节点(x,y,z)的取值,f为激活函数;
为使该模型有自动防御功能,给权重wi x,y,z加上一个扰动S,A为wi x,y,z的权重,S为扰动变量,加扰动后单位矩阵中第i个节点的取值g′(i)为:
其中A指定值为0.5,S为扰动变量,根据检测到对抗样本的变化而自动调整,对新型攻击方法同样适用;
4.1.3)输出层采用全连接层,输出为y1,y2,y3,...,yn,然后经softmax回归处理之后再输出,softmax函数为:
其中,yi为经过全连接层的输出值;
4.2)被动防御对抗扰动;
若被检测图像存在被添加扰动的倾向,则对检测器参数进行更改;给GRU网络添加扰动,并使用正则化使结果更平滑,同时外加Fast R-CNN模型并对模型进行优化;此时整个网络的损失函数包括两部分Lcls和Lloc,分别对应分类的损失和回归的损失;分类的输出是q(q0,q1,......,qn),共n个类,回归的输出是一个四元组
分类的损失和回归的损失分别为:
Lcls(q,u)=-logqu (4)
其中u是真实类别,v是真实的平移缩放参数,q为分类的输出,zu是回归的输出;
通过给FastR-CNN模型添加扰动减小损失来达到有效防御;加扰动之后的输出为:
fi(xi,θi)=xi-θi+log2(axi+bθi) (6)
其中xi[x1,x2,......,xk]为输入图像像素值,θi[θ1,θ2,......,θk]是输出像素值,a和b为训练得到的优化参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910790333.1A CN110647918B (zh) | 2019-08-26 | 2019-08-26 | 面向深度学习模型对抗攻击的拟态防御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910790333.1A CN110647918B (zh) | 2019-08-26 | 2019-08-26 | 面向深度学习模型对抗攻击的拟态防御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110647918A true CN110647918A (zh) | 2020-01-03 |
CN110647918B CN110647918B (zh) | 2020-12-25 |
Family
ID=69009793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910790333.1A Active CN110647918B (zh) | 2019-08-26 | 2019-08-26 | 面向深度学习模型对抗攻击的拟态防御方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110647918B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111259393A (zh) * | 2020-01-14 | 2020-06-09 | 河南信息安全研究院有限公司 | 一种基于生成对抗网络的恶意软件检测器抗概念漂移方法 |
CN111310802A (zh) * | 2020-01-20 | 2020-06-19 | 星汉智能科技股份有限公司 | 一种基于生成对抗网络的对抗攻击防御训练方法 |
CN111401407A (zh) * | 2020-02-25 | 2020-07-10 | 浙江工业大学 | 一种基于特征重映射的对抗样本防御方法和应用 |
CN111431946A (zh) * | 2020-06-10 | 2020-07-17 | 网络通信与安全紫金山实验室 | 一种拟态路由器执行体调度方法和拟态路由器 |
CN111600851A (zh) * | 2020-04-27 | 2020-08-28 | 浙江工业大学 | 面向深度强化学习模型的特征过滤防御方法 |
CN111639688A (zh) * | 2020-05-19 | 2020-09-08 | 华中科技大学 | 一种基于线性核svm的物联网智能模型的局部解释方法 |
CN112187833A (zh) * | 2020-11-09 | 2021-01-05 | 浙江大学 | 一种拟态waf中的ai+正则双匹配检测方法 |
CN112257063A (zh) * | 2020-10-19 | 2021-01-22 | 上海交通大学 | 一种基于合作博弈论的联邦学习中后门攻击的检测方法 |
CN112884802A (zh) * | 2021-02-24 | 2021-06-01 | 电子科技大学 | 一种基于生成的对抗攻击方法 |
CN112948237A (zh) * | 2021-01-29 | 2021-06-11 | 浙江工业大学 | 基于神经通路的中毒模型测试方法、装置及系统 |
CN112989346A (zh) * | 2021-04-09 | 2021-06-18 | 鹏城实验室 | 对抗样本生成方法、装置、终端设备以及存储介质 |
CN113343225A (zh) * | 2021-06-23 | 2021-09-03 | 浙江工业大学 | 一种基于神经通路的深度学习的中毒防御方法及装置 |
CN113392403A (zh) * | 2021-06-11 | 2021-09-14 | 连云港微部落网络技术有限公司 | 一种具备主动防御功能的网站安全防御系统和方法 |
CN113420326A (zh) * | 2021-06-08 | 2021-09-21 | 浙江工业大学之江学院 | 面向深度强化学习的模型隐私保护方法和系统 |
CN113420841A (zh) * | 2021-08-23 | 2021-09-21 | 北京邮电大学 | 有毒样本数据生成方法及装置 |
CN113537284A (zh) * | 2021-06-04 | 2021-10-22 | 中国人民解放军战略支援部队信息工程大学 | 基于拟态机制的深度学习实现方法及系统 |
CN113570627A (zh) * | 2021-07-02 | 2021-10-29 | 上海健康医学院 | 深度学习分割网络的训练方法及医学图像分割方法 |
CN113973008A (zh) * | 2021-09-28 | 2022-01-25 | 佳源科技股份有限公司 | 基于拟态技术和机器学习的检测系统、方法、设备及介质 |
CN114868127A (zh) * | 2020-01-07 | 2022-08-05 | 三菱电机株式会社 | 信息处理装置、信息处理方法和信息处理程序 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170227995A1 (en) * | 2016-02-09 | 2017-08-10 | The Trustees Of Princeton University | Method and system for implicit authentication |
CN108304858A (zh) * | 2017-12-28 | 2018-07-20 | 中国银联股份有限公司 | 对抗样本识别模型生成方法、验证方法及其系统 |
CN108388795A (zh) * | 2018-02-11 | 2018-08-10 | 浙江工业大学 | 一种基于lstm检测器的对抗攻击防御方法 |
US20180349605A1 (en) * | 2017-06-05 | 2018-12-06 | Microsoft Technology Licensing, Llc | Adversarial quantum machine learning |
CN109936517A (zh) * | 2018-12-19 | 2019-06-25 | 国网浙江省电力有限公司电力科学研究院 | 拟态防御中的自适应动态流量分配方法 |
-
2019
- 2019-08-26 CN CN201910790333.1A patent/CN110647918B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170227995A1 (en) * | 2016-02-09 | 2017-08-10 | The Trustees Of Princeton University | Method and system for implicit authentication |
US20180349605A1 (en) * | 2017-06-05 | 2018-12-06 | Microsoft Technology Licensing, Llc | Adversarial quantum machine learning |
CN108304858A (zh) * | 2017-12-28 | 2018-07-20 | 中国银联股份有限公司 | 对抗样本识别模型生成方法、验证方法及其系统 |
CN108388795A (zh) * | 2018-02-11 | 2018-08-10 | 浙江工业大学 | 一种基于lstm检测器的对抗攻击防御方法 |
CN109936517A (zh) * | 2018-12-19 | 2019-06-25 | 国网浙江省电力有限公司电力科学研究院 | 拟态防御中的自适应动态流量分配方法 |
Non-Patent Citations (1)
Title |
---|
WEIJUN ZHU 等: "If Air-Gap Attacks Encounter the Mimic Defense", 《2019 9TH INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND TECHNOLOGY (ICIST)》 * |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114868127A (zh) * | 2020-01-07 | 2022-08-05 | 三菱电机株式会社 | 信息处理装置、信息处理方法和信息处理程序 |
CN111259393B (zh) * | 2020-01-14 | 2023-05-23 | 河南信息安全研究院有限公司 | 一种基于生成对抗网络的恶意软件检测器抗概念漂移方法 |
CN111259393A (zh) * | 2020-01-14 | 2020-06-09 | 河南信息安全研究院有限公司 | 一种基于生成对抗网络的恶意软件检测器抗概念漂移方法 |
CN111310802A (zh) * | 2020-01-20 | 2020-06-19 | 星汉智能科技股份有限公司 | 一种基于生成对抗网络的对抗攻击防御训练方法 |
CN111401407A (zh) * | 2020-02-25 | 2020-07-10 | 浙江工业大学 | 一种基于特征重映射的对抗样本防御方法和应用 |
CN111600851A (zh) * | 2020-04-27 | 2020-08-28 | 浙江工业大学 | 面向深度强化学习模型的特征过滤防御方法 |
CN111600851B (zh) * | 2020-04-27 | 2022-03-08 | 浙江工业大学 | 面向深度强化学习模型的特征过滤防御方法 |
CN111639688A (zh) * | 2020-05-19 | 2020-09-08 | 华中科技大学 | 一种基于线性核svm的物联网智能模型的局部解释方法 |
CN111431946A (zh) * | 2020-06-10 | 2020-07-17 | 网络通信与安全紫金山实验室 | 一种拟态路由器执行体调度方法和拟态路由器 |
CN111431946B (zh) * | 2020-06-10 | 2020-09-04 | 网络通信与安全紫金山实验室 | 一种拟态路由器执行体调度方法和拟态路由器 |
CN112257063A (zh) * | 2020-10-19 | 2021-01-22 | 上海交通大学 | 一种基于合作博弈论的联邦学习中后门攻击的检测方法 |
CN112187833A (zh) * | 2020-11-09 | 2021-01-05 | 浙江大学 | 一种拟态waf中的ai+正则双匹配检测方法 |
CN112948237B (zh) * | 2021-01-29 | 2024-08-20 | 浙江工业大学 | 基于神经通路的中毒模型测试方法、装置及系统 |
CN112948237A (zh) * | 2021-01-29 | 2021-06-11 | 浙江工业大学 | 基于神经通路的中毒模型测试方法、装置及系统 |
CN112884802A (zh) * | 2021-02-24 | 2021-06-01 | 电子科技大学 | 一种基于生成的对抗攻击方法 |
CN112989346A (zh) * | 2021-04-09 | 2021-06-18 | 鹏城实验室 | 对抗样本生成方法、装置、终端设备以及存储介质 |
CN112989346B (zh) * | 2021-04-09 | 2021-08-10 | 鹏城实验室 | 对抗样本生成方法、装置、终端设备以及存储介质 |
CN113537284B (zh) * | 2021-06-04 | 2023-01-24 | 中国人民解放军战略支援部队信息工程大学 | 基于拟态机制的深度学习实现方法及系统 |
CN113537284A (zh) * | 2021-06-04 | 2021-10-22 | 中国人民解放军战略支援部队信息工程大学 | 基于拟态机制的深度学习实现方法及系统 |
CN113420326B (zh) * | 2021-06-08 | 2022-06-21 | 浙江工业大学之江学院 | 面向深度强化学习的模型隐私保护方法和系统 |
CN113420326A (zh) * | 2021-06-08 | 2021-09-21 | 浙江工业大学之江学院 | 面向深度强化学习的模型隐私保护方法和系统 |
CN113392403A (zh) * | 2021-06-11 | 2021-09-14 | 连云港微部落网络技术有限公司 | 一种具备主动防御功能的网站安全防御系统和方法 |
CN113343225B (zh) * | 2021-06-23 | 2022-08-05 | 浙江工业大学 | 一种基于神经通路的深度学习的中毒防御方法及装置 |
CN113343225A (zh) * | 2021-06-23 | 2021-09-03 | 浙江工业大学 | 一种基于神经通路的深度学习的中毒防御方法及装置 |
CN113570627A (zh) * | 2021-07-02 | 2021-10-29 | 上海健康医学院 | 深度学习分割网络的训练方法及医学图像分割方法 |
CN113570627B (zh) * | 2021-07-02 | 2024-04-16 | 上海健康医学院 | 深度学习分割网络的训练方法及医学图像分割方法 |
CN113420841A (zh) * | 2021-08-23 | 2021-09-21 | 北京邮电大学 | 有毒样本数据生成方法及装置 |
CN113973008A (zh) * | 2021-09-28 | 2022-01-25 | 佳源科技股份有限公司 | 基于拟态技术和机器学习的检测系统、方法、设备及介质 |
CN113973008B (zh) * | 2021-09-28 | 2023-06-02 | 佳源科技股份有限公司 | 基于拟态技术和机器学习的检测系统、方法、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110647918B (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110647918B (zh) | 面向深度学习模型对抗攻击的拟态防御方法 | |
CN113554089B (zh) | 一种图像分类对抗样本防御方法、系统及数据处理终端 | |
CN108710892B (zh) | 面向多种对抗图片攻击的协同免疫防御方法 | |
CN113538202B (zh) | 一种基于生成式隐写对抗的图像隐写方法及系统 | |
CN113297572B (zh) | 基于神经元激活模式的深度学习样本级对抗攻击防御方法及其装置 | |
CN113723564B (zh) | 一种对抗样本防御模型训练方法、系统及其应用 | |
CN114139155A (zh) | 一种恶意软件检测模型及其增强对抗样本的生成方法 | |
CN113537284B (zh) | 基于拟态机制的深度学习实现方法及系统 | |
CN108764122A (zh) | 一种基于深度学习的auv控制系统优化与故障监测方法 | |
CN115758337A (zh) | 基于时序图卷积网络的后门实时监测方法、电子设备、介质 | |
Khan et al. | A hybrid defense method against adversarial attacks on traffic sign classifiers in autonomous vehicles | |
CN113312621B (zh) | 基于增强深度学习的拟态的安卓恶意软件动态检测方法 | |
EP3832542A1 (en) | Device and method with sensor-specific image recognition | |
Chen et al. | ActGraph: prioritization of test cases based on deep neural network activation graph | |
CN117152486A (zh) | 一种基于可解释性的图像对抗样本检测方法 | |
Wei et al. | Intrusive detection systems design based on BP neural network | |
CN113283520B (zh) | 面向成员推理攻击的基于特征增强的深度模型隐私保护方法和装置 | |
Gomathy et al. | Network intrusion detection using genetic algorithm and neural network | |
Nami et al. | Adversarial attacks and defense on deep learning models for big data and IoT | |
CN113780557A (zh) | 基于免疫理论的对抗图像攻击方法、装置、产品及介质 | |
CN113378985A (zh) | 一种基于逐层相关性传播的对抗样本检测方法和装置 | |
Zhang et al. | Reliability on Deep Learning Models: A Comprehensive Observation | |
Kotuliak et al. | Synthesizing unrestricted false positive adversarial objects using generative models | |
Feltus | LogicGAN–based Data Augmentation Approach to Improve Adversarial Attack DNN Classifiers | |
Bui et al. | A double-shrink autoencoder for network anomaly detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |