CN111915486B - 基于图像超分辨重建的对抗样本防御方法 - Google Patents

基于图像超分辨重建的对抗样本防御方法 Download PDF

Info

Publication number
CN111915486B
CN111915486B CN202010749629.1A CN202010749629A CN111915486B CN 111915486 B CN111915486 B CN 111915486B CN 202010749629 A CN202010749629 A CN 202010749629A CN 111915486 B CN111915486 B CN 111915486B
Authority
CN
China
Prior art keywords
sample
model
defense
denoised
channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010749629.1A
Other languages
English (en)
Other versions
CN111915486A (zh
Inventor
刘兴伟
何意
廖明阳
陈琪琪
曾晓龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xihua University
Original Assignee
Xihua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xihua University filed Critical Xihua University
Priority to CN202010749629.1A priority Critical patent/CN111915486B/zh
Publication of CN111915486A publication Critical patent/CN111915486A/zh
Application granted granted Critical
Publication of CN111915486B publication Critical patent/CN111915486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明涉及人工智能技术领域,提出一种基于图像超分辨重建的对抗样本防御方法,包括以下步骤:将训练样本输入防御模型进行训练,以输出正常样本,得到训练后的防御模型;所述训练样本为干净样本;将初始样本输入训练好的防御模型,依次进行图像预处理和图像重建,以输出正常样本,再将正常样本输入分类模型,从而得到正确的分类结果;所述初始样本包括对抗样本、干净样本。本发明设计的防御模型无论输入干净样本还是对抗样本,都可以重建为正常样本,达到防御恶意攻击的功能,而现有的许多防御方法还需要单独训练出训练集和测试集,才能实现防御方法,因而本方案降低了防御的成本和代价。

Description

基于图像超分辨重建的对抗样本防御方法
技术领域
本发明涉及人工智能技术领域,特别涉及一种基于图像超分辨重建的对抗样本防御方法。
背景技术
深度学习在人工智能的研究应用中表现出极其强大的自主学习能力,这是因为深度卷积神经网络是由多层非线性的结构构成,这就使得它能够学习各种复杂的高维特征以及拟合各种各样复杂的样本空间,这些特点使得它拥有非常强大的表达能力,因此在许多领域都获得了巨大的成功。
但是在深度学习给人们带来巨大便利的同时,其背后也留下了许多的安全隐患问题,比如,它的算法缺陷、训练模型的鲁棒性以及用于模型训练的数据完整性等,其中对抗样本攻击就是其安全隐患之一。
对抗样本较为通俗的理解就是在干净的数据中添加一些经过人为精心构造的扰动形成的对抗样本,这种扰动或者说噪音非常的小,人们肉眼不能轻易分辨出来是否有对抗样本,但在深度学习进行分类时,这些对抗样本可以“蒙骗”神经网络模型使得分类器分类错误,这样的话,若将对抗样本应用到自然语言处理、人脸识别、自动驾驶等领域将会有极大的可能对人们的生命财产造成严重威胁。
比如,在自动驾驶中的停车标志中加入了“直行”的扰动,形成对抗样本后,人看起来还是停车标志,不至于分类错误,但分类器则会认为是直行标志,则会发生严重的后果。因此,在进行深度学习应用的过程中,需要防御这些对抗样本的攻击,避免造成威胁。
发明内容
本发明的目的在于对深度学习训练过程中进入的对抗样本等扰动或噪音进行防御,使得分类模型最终能正确分类,避免图像领域在深度学习的过程中受到对抗样本的威胁,因此提供一种基于图像超分辨重建的对抗样本防御方法。
为了实现上述发明目的,本发明实施例提供了以下技术方案:
基于图像超分辨重建的对抗样本防御方法,包括以下步骤:
将训练样本输入防御模型进行训练,以输出正常样本,得到训练后的防御模型;所述训练样本为干净样本;
将初始样本输入训练好的防御模型,依次进行图像预处理和图像重建,以输出正常样本,再将正常样本输入分类模型,从而得到正确的分类结果;所述初始样本包括对抗样本、干净样本。
本方案首先对防御模型进行训练,完成训练后,再将样本输入训练好的防御模型中以达到防御恶意攻击的功能,使得经过防御模型进行防御恶意攻击后的样本进入分类模型后能正确分类。一方面,本方案中输入防御模型进行训练的训练样本使用干净样本,现有的许多防御方法还需要单独训练出训练集和测试集,而本方案仅使用干净样本即可,不需要单独去生产大量的数据集,因此降低了防御的成本和代价。另一方面,本方案设计的防御模型完成训练后,无论是输入干净样本还是对抗样本都可以重建为正常样本,达到正确分类的目的,如果是干净样本,则不会影响到干净样本的质量,如果是对抗样本,则可以去除恶意攻击,达到防御的效果。
所述将训练样本输入防御模型进行训练,以输出正常样本,得到训练后的防御模型的步骤包括:将干净样本输入防御模型进行图像预处理,得到进行图像预处理的样本,再对进行了图像预处理的样本进行图像重建,输出正常样本,得到训练后的防御模型;
所述将干净样本输入防御模型进行图像预处理,得到进行图像预处理的样本的步骤,包括:
将干净样本输入防御模型,在干净样本上添加一层与该干净样本形状相同的高斯噪音,使得干净样本中产生随机噪音;在干净样本产生了随机噪音后的样本中加入非局部均值滤波信号,通过该样本邻域间所有值的相似性来确定对抗样本当前的像素权值,可去除样本中的部分随机噪音,对后续进行图像重建更有利;
所述对进行了图像预处理的样本进行图像重建,输出正常样本,得到训练后的防御模型的步骤,包括:
使用去噪编码器对进行了图像预处理的样本进行去噪,以去除样本中的噪音,得到去噪后的样本;将去噪后的样本输入FSRCNN模型中进行网络训练,对去噪后的样本进行重建,输出正常样本,相当于去噪后的样本是模糊图,输入FSRCNN模型训练后得到清晰图,完成对防御模型的训练,得到训练后的防御模型。
在使用防御模型之前,需要对防御模型进行训练,本方案使用干净样本对防御模型进行训练即可,无需单独生产大量的数据集,降低了防御的成本和代价,训练包括两大步骤,一是将干净样本输入防御模型后进行图像预处理,再进行图像重建,继而防御模型输出正常样本,从而完成对防御模型的训练,以便进行后续防御恶意攻击的实施。
更进一步地,所述将去噪后的样本输入FSRCNN模型中进行网络训练,对去噪后的样本进行重建,输出正常样本的步骤,包括:
使用大小为9*9的卷积核对该去噪后的样本进行特征抽取,得到64通道的特征图;使用大小为1*1的卷积核对该64通道的特征图进行降维,得到32通道的特征图;使用多个大小为3*3的卷积核对32通道的特征图进行非线性映射,再使用大小为1*1的卷积核对进行了非线性映射的32通道的特征图进行升维,得到64通道的特征图;使用大小为9*9的卷积核对升维得到的64通道的特征图输出为正常样本。
在使用防御模型时,可以输入对抗样本,也可以输入干净样本。因为通常当人们拿到一个样本时,不能用肉眼区分该样本是干净样本还是对抗样本,因此本方案训练出的防御模型既可以使用干净样本,也可以使用对样样本,无需样本进行区分,减轻了工作量。
作为一种可实施方式,若所述初始样本为对抗样本,将初始样本输入训练好的防御模型,进行图像预处理的步骤包括:在所述对抗样本上添加一层与该对抗样本形状相同的高斯噪音,使得对抗样本中的恶意扰动被打乱;在被打乱了恶意扰动的对抗样本中加入非局部均值滤波信号,通过对抗样本邻域间所有值的相似性来确定对抗样本当前的像素权值,使得对抗样本中的恶意扰动再次被打乱,同时去除部分随机噪音,对后续进行图像重建更有利。
对进行了图像预处理的初始样本进行图像重建以输出正常样本的步骤,包括:使用去噪编码器对进行了图像预处理的对抗样本进行去噪,以去除对抗样本中的噪音,输出去噪后的对抗样本;将去噪后的对抗样本输入FSRCNN模型中,对去噪后的对抗样本进行重建,以输出正常样本。
作为另一种可实施方式,若所述初始样本为干净样本,将初始样本输入训练好的防御模型,进行图像预处理的步骤包括:在所述干净样本上添加一层与该干净样本形状相同的高斯噪音,使得干净样本中产生随机噪音;在干净样本产生了随机噪音后的样本中加入非局部均值滤波信号,通过该样本邻域间所有值的相似性来确定对抗样本当前的像素权值,可以去除样本中的部分随机噪音,对后续进行图像重建更有利。
对进行了图像预处理的初始样本进行图像重建以输出正常样本的步骤,包括:使用去噪编码器对进行了图像预处理的样本进行去噪,以去除样本中的噪音,得到去噪后的样本;将去噪后的样本输入FSRCNN模型中,对去噪后的样本进行重建,以输出正常样本。
向训练好的防御模型中输入对抗样本或干净样本后,都可以得到经过防御后的正常样本,将正常样本再输入分类模型,则可以输出正确的分类结果了。
与现有技术相比,本发明的有益效果:
(1)本发明引入图像超分辨重建网络模型(FSRCNN模型)的思想到对抗样本的防御方法研究中,无论对抗样本是目标攻击还是非目标攻击生成的,经过图像预处理做统一处理后,都会使其失去攻击性,然后进行图像超分辨重建即可恢复为正常样本。
(2)本发明在对防御模型进行训练时使用干净样本,现有的许多防御方法还需要单独训练出训练集和测试集,而本方案仅使用干净样本即可,不需要单独去生产大量的数据集,因此降低了防御的成本和代价。
(3)本发明设计的防御模型完成训练后,无论是输入干净样本还是对抗样本都可以重建为正常样本,达到正确分类的目的。如果是干净样本,则不会影响到干净样本的质量,如果是对抗样本,则可以去除恶意攻击,达到防御的效果。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明防御方法流程图;
图2为本发明实施例1图像预处理过程示意图;
图3为本发明实施例1图像重建过程示意图;
图4为实施例2测试后的收敛效果。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
实施例1:
本发明通过下述技术方案实现,如图1所示,提出一种基于图像超分辨重建的对抗样本防御方法,分为两大部分:第一部分是将训练样本输入防御模型进行训练,得到训练后的防御模型;第二部分将初始样本输入训练好的防御模型中,进行防御恶意攻击后得到正常样本,再将正常样本输入分类模型,从而得到正确的分类结果,达到防御恶意攻击的效果。
第一部分是对防御模型进行训练,输入的训练样本为干净样本,训练过程分为对训练样本进行图像预处理和图像重建,输出正常样本。
请参见图2,首先将干净样本输入防御模型,在干净样本上添加一层与该干净样本形状相同的高斯噪音(GN),使得干净样本中产生随机噪音。对抗样本的产生其最根本的原因是人为的对干净样本添加一些肉眼看不见的扰动,这些扰动的加入导致训练好的分类模型在分类时出现错误,最终造成恶意攻击的现象。本方案在干净样本上添加高斯噪音与对抗样本的生成原理是基本一致的,但在干净样本上添加的高斯噪音不是特殊或指定的扰动,而是随机数据,比如背景技术中在停车标志中加入直行的扰动就是特殊扰动或指定扰动。直接在干净数据上添加高斯噪音相比于生成对抗样本的好处是,在防御模型训练时不需要再生成训练集和测试集,降低了防御模型训练的成本和代价,同时也减少了训练过程中带来的意外干扰。
请参见图2,在干净样本产生了随机噪音后的样本中加入非局部均值滤波信号(NLM),通过该样本邻域间所有值的相似性来确定对抗样本当前的像素权值,可以去除样本中的部分随机噪音,对后续进行图像重建更有利,有助于达到去噪的效果。
现有的均值滤波法(信号)也能达到相似的效果,但是会抹平图像的边缘信息,然而本方案选择的非局部均值滤波信号在满足彻底打乱样本中的扰动的同时,还能在一定程度上消除一部分的随机噪音,并保留图像更多的原始信息不被破坏,对接下来进行的图像重建步骤更有利。
需要说明的是,请参见图2,在向样本中添加随机的高斯噪音时,存在一个参数λ,是代表添加的随机高斯噪音的强度。λ设置得越大,添加随机高斯噪音后对样本造成的破坏程度越大,会导致其原始信息损失过多,则后续防御模型输出的正常样本的图像质量会有很大影响,因此应该根据实际的样本的情况适当设置λ。
请参见图3,使用去噪编码器(DAE)对进行了图像预处理的样本进行去噪,以去除样本中的噪音,得到去噪后的样本;将去噪后的样本输入FSRCNN模型中进行网络训练(图像超分辨重建网络),对去噪后的样本进行重建,输出正常样本,相当于去噪后的样本是模糊图,输入FSRCNN模型训练后得到清晰图,完成对防御模型的训练,得到训练后的防御模型(GN-CNN模型)。通常神经网络训练的结构为卷积、激活函数、池化层、全连接,本方案为了避免在训练过程中图像细节的丢失,在构建FSRCNN模型时没有加入池化层。
FSRCNN模型中的激活函数选择ELU函数,而不是常用的ReLU函数,因为有学者发现ReLU函数在进行网络训练的过程中某些神经元可能永远不会被激活,导致模型相应的参数永远不能被更新。
使用均方误差作为FSRCNN模型的损失函数,优化的目标为FSRCNN模型的输出值与干净样本(对抗样本加入扰动之前的样本)的真实值之间距离的平方和,该损失函数的表达式为:
Figure GDA0003553974090000091
其中yi
Figure GDA0003553974090000092
分别表示干净样本的图像和经过FSRCNN模型输出的图像,在对抗样本防御模型中为了让去噪自编码器能为FSRCNN模型提供低质量图像,因此如图3中所示的lmse,在去噪自编码器对经过图像预处理的样本去噪结束时,以及FSRCNN模型的网络训练结束时分别使用一次均方误差。
为保证FSRCNN模型的网络训练能够输出高质量的图像,在FSRCNN模型的损失函数中加入全变差正则化函数(TV,Total Variation loss),这样可以在进行图像重建的过程中抑制噪音以及保持重建后的图像的空间平滑性。其原理是求取图像中每一个像素和横向的下一个像素的差的平方,加上纵向的下一个像素的差的平方,TV函数在二维图像上的表达式为:
Figure GDA0003553974090000093
该TV函数计算的是图像中梯度幅值的积分,让初始样本的图像与FSRCNN模型输出的图像的TV值相等便可以最大程度上使得FSRCNN模型输出图像接近于初始图像。那么对抗样本防御模型的损失函数表达式为:
Figure GDA0003553974090000094
其中,yi表示干净样本,y′表示经过去噪编码器后输出的图像,y″i表示FSRCNN模型输出的图像,μ表示一个超参数值,用于控制正则化的强度。
请参见图3,得到与干净样本的图像相近甚至相同的图像后,便完成了FSRCNN模型的网络训练,去噪后的样本输入FSRCNN模型后,使用大小为9*9的卷积核对该去噪后的对抗样本进行特征抽取,得到64通道的特征图;使用大小为1*1的卷积核对该64通道的特征图进行降维,得到32通道的特征图;使用多个大小为3*3的卷积核对32通道的特征图进行非线性映射,再使用大小为1*1的卷积核对进行了非线性映射的32通道的特征图进行升维,得到64通道的特征图;使用大小为9*9的卷积核对升维得到的64通道的特征图输出为正常样本,完成图像重建,得到防御了对抗样本攻击的正常样本。
完成对防御模型的训练后,即可进入第二部分,请参见图1,使用训练好的防御模型对初始样本进行恶意攻击的防御,输入的初始样本可以为对抗样本,也可以为干净样本。
作为一种可实施方式,如果输入的初始样本为对抗样本,将对抗样本输入训练好的防御模型,在所述对抗样本上添加一层与该对抗样本形状相同的高斯噪音,使得对抗样本中的恶意扰动被打乱;在被打乱了恶意扰动的对抗样本中加入非局部均值滤波信号,通过对抗样本邻域间所有值的相似性来确定对抗样本当前的像素权值,使得对抗样本中的恶意扰动再次被打乱,同时可以消除一部分噪音,完成对对抗样本的图像预处理。
使用去噪编码器对进行了图像预处理的对抗样本进行去噪,以去除对抗样本中的噪音,输出去噪后的对抗样本;将去噪后的对抗样本输入FSRCNN模型中,对去噪后的对抗样本进行重建,以输出正常样本。将输出的正常样本经过分类模型进行分类后,即可得到正确的分类结果。
所述将去噪后的对抗样本输入FSRCNN模型中,对去噪后的对抗样本进行重建,以输出正常样本的步骤,包括:使用大小为9*9的卷积核对该去噪后的对抗样本进行特征抽取,得到64通道的特征图;使用大小为1*1的卷积核对该64通道的特征图进行降维,得到32通道的特征图;使用多个大小为3*3的卷积核对32通道的特征图进行非线性映射,再使用大小为1*1的卷积核对进行了非线性映射的32通道的特征图进行升维,得到64通道的特征图;使用大小为9*9的卷积核对升维得到的64通道的特征图输出为正常样本。
对抗样本包括目标攻击性对抗样本和非目标攻击性对抗样本,无论是目标攻击性还是非目标攻击性,经过图像预处理做统一处理后,使其失去攻击性,然后再进行图像重建恢复为正常样本。
作为另一种可实施方式,如果输入的初始样本为干净样本,将干净样本输入训练好的防御模型,在所述干净样本上添加一层与该干净样本形状相同的高斯噪音,使得干净样本中产生随机噪音;在干净样本产生了随机噪音后的样本中加入非局部均值滤波信号,通过该样本邻域间所有值的相似性来确定对抗样本当前的像素权值,同时可以消除一部分噪音,完成对样本的图像预处理。
需要说明的是,由于本实施方式使用的是干净样本,不存在恶意扰动,因此加入非局部均值滤波信号时就不会像使用对抗样本那样对对抗样本中的恶意扰动进行打乱,但同时也并不会影响干净样本的质量,还能去除一部分噪音。
使用去噪编码器对进行了图像预处理的样本进行去噪,以去除样本中的噪音,得到去噪后的样本;将去噪后的样本输入FSRCNN模型中,对去噪后的样本进行重建,以输出正常样本。将输出的正常样本经过分类模型进行分类后,即可得到正确的分类结果。
所述将去噪后的样本输入FSRCNN模型中,对去噪后的样本进行重建,以输出正常样本的步骤,包括:使用大小为9*9的卷积核对该去噪后的样本进行特征抽取,得到64通道的特征图;使用大小为1*1的卷积核对该64通道的特征图进行降维,得到32通道的特征图;使用多个大小为3*3的卷积核对32通道的特征图进行非线性映射,再使用大小为1*1的卷积核对进行了非线性映射的32通道的特征图进行升维,得到64通道的特征图;使用大小为9*9的卷积核对升维得到的64通道的特征图输出为正常样本。
为了使结果更加具有说服力,实施例2选择了MNIST数据集对防御后再分类的样本结果进行测试。
实施例2:
本实施例针对实施例1的方法选择MNIST数据集对防御结果进行测试。
MNIST数据集由美国国家标准与研究所(National Institute of Standards andTechnology,NIST)提供,一共包含了70000条图像数据和其对应的标签,其中有60000条训练数据以及10000条测试数据,每一张图像数据都是有28*28个像素点构成的单通道图像,每个像素点用一个灰度值来表示,图像数据的最小值是0,最大值接近1,这是因为数据已经经过标准化处理了,如果没有进行标准化处理,图像的像素值会在0~255之间,所有图像分数0到9十个不同的类别。
那么MNIST数据集上防御模型(GN-CNN模型)的网络结构及其对应的参数如表1所示:
Figure GDA0003553974090000131
表1
网络中每一层的输出数据作为下一层的输入数据,图像样本在经过数据预处理后将其送入卷积核为3*3的去噪自编码器中进行去噪得到低质量的图像样本,然后输入FSRCNN模型进行超分辨重建,由9*9大小的卷积核对该图像样本进行特征抽取得到64通道的特征图,为了减少计算量使用1*1的卷积核进行降维到32通道,再用多个3*3的卷积核进行非线性映射,然后使用1*1的卷积核进行升维到64通道,最后再使用9*9的卷积核来输出图像。
在训练MNIST数据集上的防御模型的时候设置迭代次数为50次,迭代次数完成时该防御模型的损失稳定在0.01左右,在数据预处理中加入的随机噪音强度设置为0.4,NLM中的过滤器强度设置为30。GN-CNN防御模型的训练损失收敛情况如图4所示,从图4中我们可以看到,GN-CNN防御模型在MNIST数据集上可以获得较为理想的的收敛效果。
在利用该防御模型进行防御的时候预处理中的随机噪音强度与训练该模型时相比设置的相对较小一些其防御效果会更好,在本方案中随机噪音强度的值可以设置为0.2,这是因为与训练时的干净样本相比,对抗样本中本就带有一层噪音,而且经过实验测试表明经过这种操作对后干净样本在原始分类模型上的准确率影响不大。另外,在本方案的实验测试中,GN-CNN防御模型的防御能力以生成的对抗样本经防御模型重建后在原始分类模型上的准确率来衡量,准确率越高,那么模型的防御能力越强,反之越弱。
本实施例的其他部分与上述的实施例相同,故不再赘述。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (4)

1.基于图像超分辨重建的对抗样本防御方法,其特征在于:包括以下步骤:
将训练样本输入防御模型进行训练,以输出正常样本,得到训练后的防御模型;所述训练样本为干净样本;
将初始样本输入训练好的防御模型,依次进行图像预处理和图像重建,以输出正常样本,再将正常样本输入分类模型,从而得到正确的分类结果;所述初始样本包括对抗样本、干净样本;
所述将训练样本输入防御模型进行训练,以输出正常样本,得到训练后的防御模型的步骤包括:将干净样本输入防御模型进行图像预处理,得到进行图像预处理的样本,再对进行了图像预处理的样本进行图像重建,输出正常样本,得到训练后的防御模型;
所述将干净样本输入防御模型进行图像预处理,得到进行图像预处理的样本的步骤,包括:
将干净样本输入防御模型,在干净样本上添加一层与该干净样本形状相同的高斯噪音,使得干净样本中产生随机噪音;在干净样本产生了随机噪音后的样本中加入非局部均值滤波信号,通过该样本邻域间所有值的相似性来确定样本当前的像素权值;
所述对进行了图像预处理的样本进行图像重建,输出正常样本,得到训练后的防御模型的步骤,包括:
使用去噪编码器对进行了图像预处理的样本进行去噪,以去除样本中的噪音,得到去噪后的样本;将去噪后的样本输入FSRCNN模型中进行网络训练,对去噪后的样本进行重建,输出正常样本,完成对防御模型的训练,得到训练后的防御模型;
若所述初始样本为对抗样本,将初始样本输入训练好的防御模型,进行图像预处理的步骤包括:
在所述对抗样本上添加一层与该对抗样本形状相同的高斯噪音,使得对抗样本中的恶意扰动被打乱;在被打乱了恶意扰动的对抗样本中加入非局部均值滤波信号,通过对抗样本邻域间所有值的相似性来确定对抗样本当前的像素权值,使得对抗样本中的恶意扰动再次被打乱;
对进行了图像预处理的初始样本进行图像重建以输出正常样本的步骤,包括:
使用去噪编码器对进行了图像预处理的对抗样本进行去噪,以去除对抗样本中的噪音,输出去噪后的对抗样本;将去噪后的对抗样本输入FSRCNN模型中,对去噪后的对抗样本进行重建,以输出正常样本;
若所述初始样本为干净样本,将初始样本输入训练好的防御模型,进行图像预处理的步骤包括:
在所述干净样本上添加一层与该干净样本形状相同的高斯噪音,使得干净样本中产生随机噪音;在干净样本产生了随机噪音后的样本中加入非局部均值滤波信号,通过该样本邻域间所有值的相似性来确定样本当前的像素权值;
对进行了图像预处理的初始样本进行图像重建以输出正常样本的步骤,包括:
使用去噪编码器对进行了图像预处理的样本进行去噪,以去除样本中的噪音,得到去噪后的样本;将去噪后的样本输入FSRCNN模型中,对去噪后的样本进行重建,以输出正常样本。
2.根据权利要求1所述的方法,其特征在于:所述将去噪后的样本输入FSRCNN模型中进行网络训练,对去噪后的样本进行重建,输出正常样本的步骤,包括:
使用大小为9*9的卷积核对该去噪后的样本进行特征抽取,得到64通道的特征图;使用大小为1*1的卷积核对该64通道的特征图进行降维,得到32通道的特征图;使用多个大小为3*3的卷积核对32通道的特征图进行非线性映射,再使用大小为1*1的卷积核对进行了非线性映射的32通道的特征图进行升维,得到64通道的特征图;使用大小为9*9的卷积核对升维得到的64通道的特征图输出为正常样本。
3.根据权利要求1所述的方法,其特征在于:所述将去噪后的对抗样本输入FSRCNN模型中,对去噪后的对抗样本进行重建,以输出正常样本的步骤,包括:
使用大小为9*9的卷积核对该去噪后的对抗样本进行特征抽取,得到64通道的特征图;使用大小为1*1的卷积核对该64通道的特征图进行降维,得到32通道的特征图;使用多个大小为3*3的卷积核对32通道的特征图进行非线性映射,再使用大小为1*1的卷积核对进行了非线性映射的32通道的特征图进行升维,得到64通道的特征图;使用大小为9*9的卷积核对升维得到的64通道的特征图输出为正常样本。
4.根据权利要求1所述的方法,其特征在于:所述将去噪后的样本输入FSRCNN模型中,对去噪后的样本进行重建,以输出正常样本的步骤,包括:
使用大小为9*9的卷积核对该去噪后的样本进行特征抽取,得到64通道的特征图;使用大小为1*1的卷积核对该64通道的特征图进行降维,得到32通道的特征图;使用多个大小为3*3的卷积核对32通道的特征图进行非线性映射,再使用大小为1*1的卷积核对进行了非线性映射的32通道的特征图进行升维,得到64通道的特征图;使用大小为9*9的卷积核对升维得到的64通道的特征图输出为正常样本。
CN202010749629.1A 2020-07-30 2020-07-30 基于图像超分辨重建的对抗样本防御方法 Active CN111915486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010749629.1A CN111915486B (zh) 2020-07-30 2020-07-30 基于图像超分辨重建的对抗样本防御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010749629.1A CN111915486B (zh) 2020-07-30 2020-07-30 基于图像超分辨重建的对抗样本防御方法

Publications (2)

Publication Number Publication Date
CN111915486A CN111915486A (zh) 2020-11-10
CN111915486B true CN111915486B (zh) 2022-04-22

Family

ID=73287408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010749629.1A Active CN111915486B (zh) 2020-07-30 2020-07-30 基于图像超分辨重建的对抗样本防御方法

Country Status (1)

Country Link
CN (1) CN111915486B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487931B (zh) * 2020-11-25 2022-08-02 北京有竹居网络技术有限公司 对抗攻击的方法、装置、可读介质和电子设备
CN112990384B (zh) * 2021-05-13 2021-08-31 中国科学院自动化研究所 一种基于噪声灭活的生物特征识别对抗防御方法
CN113436073B (zh) * 2021-06-29 2023-04-07 中山大学 一种基于频域的真实图像超分辨鲁棒方法及装置
CN115205608B (zh) * 2022-09-15 2022-12-09 杭州涿溪脑与智能研究所 基于压缩感知的自适应图像对抗样本检测与防御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537271A (zh) * 2018-04-04 2018-09-14 重庆大学 一种基于卷积去噪自编码机防御对抗样本攻击的方法
CN109242096A (zh) * 2017-07-01 2019-01-18 英特尔公司 用于训练深度神经网络的技术
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110717522A (zh) * 2019-09-18 2020-01-21 平安科技(深圳)有限公司 图像分类网络的对抗防御方法及相关装置
CN110910328A (zh) * 2019-11-26 2020-03-24 电子科技大学 一种基于对抗性样本分类等级的防御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242096A (zh) * 2017-07-01 2019-01-18 英特尔公司 用于训练深度神经网络的技术
CN108537271A (zh) * 2018-04-04 2018-09-14 重庆大学 一种基于卷积去噪自编码机防御对抗样本攻击的方法
CN110136063A (zh) * 2019-05-13 2019-08-16 南京信息工程大学 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN110717522A (zh) * 2019-09-18 2020-01-21 平安科技(深圳)有限公司 图像分类网络的对抗防御方法及相关装置
CN110910328A (zh) * 2019-11-26 2020-03-24 电子科技大学 一种基于对抗性样本分类等级的防御方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Accelerating the Super-Resolution Convolutional Neural Network;Chao Dong等;《Springer》;20160917;第391-407页 *
Accurate image super-resolution using very deep convolutional;Jiwon Kim等;《Proceedings of the IEEE conference on computer vision and pattern》;20161212;第1646-1654页 *
Learning a deep convolutional network for image super-resolution;Chao Dong等;《Springer》;20141231;第184-199页 *
The super-resolution reconstruction of SAR image based on the improved FSRCNN;Zhenyu Luo等;《The Journal of Engineering》;20190726;第5975-5978页 *
图像对抗样本的防御方法研究;范伟琦;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200315;第I138-1323页 *

Also Published As

Publication number Publication date
CN111915486A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111915486B (zh) 基于图像超分辨重建的对抗样本防御方法
CN113554089B (zh) 一种图像分类对抗样本防御方法、系统及数据处理终端
Divakar et al. Image denoising via CNNs: An adversarial approach
Fu et al. Clearing the skies: A deep network architecture for single-image rain removal
Sharma et al. Classification-driven dynamic image enhancement
CN110569916B (zh) 用于人工智能分类的对抗样本防御系统及方法
CN104657951A (zh) 图像乘性噪声移除方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
CN113850725A (zh) 一种滤波增强深度学习的被动式太赫兹图像目标检测方法
CN112489168A (zh) 一种图像数据集生成制作方法、装置、设备及存储介质
CN115984979A (zh) 一种面向未知对抗攻击的人脸伪造识别方法及装置
Wei et al. Mesh defiltering via cascaded geometry recovery
CN114626042A (zh) 一种人脸验证攻击方法和装置
CN112488934B (zh) 一种基于cs-tcgan的指静脉图像去噪方法
CN114049537A (zh) 一种基于卷积神经网络的对抗样本防御方法
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN116228537A (zh) 基于去噪和超分辨率重构融合的攻击图像防御方法
CN105719257A (zh) 图像超高密度椒盐噪声的降除方法
Zhu et al. Research on denoising of finger vein image based on deep convolutional neural network
Ojha et al. Denoising high resolution multispectral images using deep learning approach
CN113487506A (zh) 基于注意力去噪的对抗样本防御方法、装置和系统
Yang et al. Analysis of Feature Extraction and Anti-Interference of Face Image under Deep Reconstruction Network Algorithm
Gong et al. Image denoising with GAN based model
Yang et al. Underwater image restoration for seafloor targets with hybrid attention mechanisms and conditional generative adversarial network
Hong et al. WGAN based edge preserved de-blurring using perceptual style similarity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant