CN117689005A - 一种基于样本预处理的低成本对抗样本防御方法及系统 - Google Patents
一种基于样本预处理的低成本对抗样本防御方法及系统 Download PDFInfo
- Publication number
- CN117689005A CN117689005A CN202311725099.7A CN202311725099A CN117689005A CN 117689005 A CN117689005 A CN 117689005A CN 202311725099 A CN202311725099 A CN 202311725099A CN 117689005 A CN117689005 A CN 117689005A
- Authority
- CN
- China
- Prior art keywords
- sample
- defense
- challenge
- preprocessing
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007123 defense Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000007781 pre-processing Methods 0.000 title claims abstract description 28
- 238000005520 cutting process Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000011156 evaluation Methods 0.000 claims abstract description 4
- 241000345998 Calamus manan Species 0.000 claims description 26
- 235000012950 rattan cane Nutrition 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 241000512668 Eunectes Species 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 15
- 238000010801 machine learning Methods 0.000 abstract description 8
- 238000012549 training Methods 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 208000001613 Gambling Diseases 0.000 description 3
- 241000598860 Garcinia hanburyi Species 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 2
- 244000025221 Humulus lupulus Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 229940117709 gamboge Drugs 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- MEOVPKDOYAIVHZ-UHFFFAOYSA-N 2-chloro-1-(1-methylpyrrol-2-yl)ethanol Chemical compound CN1C=CC=C1C(O)CCl MEOVPKDOYAIVHZ-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008260 defense mechanism Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于对抗机器学习技术领域，公开了一种基于样本预处理的低成本对抗样本防御方法及系统，包括：接收输入样本，调整样本大小；对样本进行切割处理，剔除部分干扰区域；使用图像放缩模块来处理切割模块处理完的样本；对放缩后的样本进行像素值统一化操作；对处理完的样本进行图像放缩操作，将尺寸放缩到模型识别干净样本时可获得的最佳样本准确率的样本尺寸；将处理后的样本输入目标模型，通过评价指标来评价算法防御能力。本发明的核心是图像中非重要信息切割、部分像素值统一化和图像放缩三个模块，均是简单的图像处理操作，满足低成本的要求，通过这三个模块的组合式使用可以达到满足不同防御需求所需的动态防御效果。
Description
技术领域
本发明属于对抗机器学习技术领域，尤其涉及一种基于样本预处理的低成本对抗样本防御方法及系统。
背景技术
目前人工智能的各个领域，尤其是人工神经网络正在蓬勃发展，而且已经取得了很多成果，如自动驾驶、目标检测等。但是在蓬勃发展的背后，人工神经网络自身的安全问题也日益严重和突出。尤其是2013年Szegedy等人提出了对抗样本的概念以来，出现了各种专门针对神经网络的攻击算法，将神经网络预测的结果误导至攻击者设想的方向，从而造成更严重的后果。因此，研究如何抵御这些攻击，对保障神经网络正常运行具有很重要的意义。
为了有效抵御对抗攻击，出现了许多针对神经网络的防御方法，比如在2016年提出的防御蒸馏。Liao等人提出基于高级表示法指导的去噪器(High-level representationGuided Denoiser,HGD)算法，解决了残余噪声放大问题。Xie等人通过在深度神经网络模型中加入特征去噪模块，对图像特征层面的数据进行去噪处理，从而更好地消除了对抗噪声。Tramèr等人提出了整体性对抗训练(Ensemble Adversarial Training,EAT)方法，对于基于可迁移的黑盒攻击具有良好的防御效果。Fu等人提出了Double-Win-Quant方法来确保神经网络的鲁棒性。Croce等人提出了一个对模型中的线性整流单元(Rectified LinearUnit，ReLU)函数进行正则化的方法，让使用了ReLU函数的模型的鲁棒性增强从而更好地抵抗攻击。Xu等人提出了特征压缩机制用来检测样本是否为攻击样本。Kiritani等人为了提高模型的鲁棒性，提出了一种基于循环注意力的模型和对数极坐标映射的方法。Song等人提出了PixelDefend算法，通过随机扰动输入样本的像素来破坏攻击样本，从而完成防御。Yan等人提出了一种基于通道重要特征选择方法，通过在模型中间层嫁接辅助器来提高模型鲁棒性从而提高抵抗对抗攻击的能力。Wang等人设计一种通过高斯增强和迭代攻击的防御方法来帮助模型抵抗攻击。虽然这些算法提出了各自不同且有效的防御策略，但是它们的共同点和不足之处都是需要先消耗额外的计算资源和时间成本来提高模型鲁棒性，然后才能抵御对抗攻击。但是在实际应用中，许多场景往往缺少额外的计算资源和时间成本，所以基于现实需求的考虑，本发明需要研究一个低成本的防御方法来保护模型。
通过上述分析，现有技术存在的问题及缺陷为：
现有算法都是需要先消耗额外的计算资源和时间成本来提高模型鲁棒性，然后才能抵御对抗攻击，但是在实际应用中，许多场景往往缺少额外的计算资源和时间成本。
最接近的现有技术：对抗训练(Adversarial Training)
对抗训练是一种常见的对抗样本防御策略，旨在增强机器学习模型对对抗性攻击的鲁棒性。该方法通过在训练阶段引入对抗样本，教导模型学习如何正确识别这些经过故意扰动的样本。
现有技术存在的技术问题：
1)泛化能力问题：
对抗训练主要针对训练过程中已知的攻击类型。对于新型或未知的攻击方法，模型的防御效果大大降低。这限制了模型对未来攻击的防御能力。
2)训练成本和时间：
对抗训练需要额外的时间和资源来生成对抗样本，并在训练过程中不断调整模型以适应这些样本。这使得训练过程更为复杂和耗时。
3)准确率下降：
在某些情况下，为了增强模型的鲁棒性，对抗训练会牺牲模型在干净样本上的准确率。换句话说，模型在防御对抗样本的同时，减少了对正常样本的识别能力。
4)攻击方法的适应性：
对抗训练导致攻击者适应并开发新的攻击策略，从而绕过防御。这种“军备竞赛”式的循环使得持续的安全防御变得更加困难。
总的来说，尽管对抗训练在提高模型对现有对抗样本的鲁棒性方面取得了一定成效，但其在泛化能力、训练成本和时间、准确率平衡以及应对新型攻击方法方面仍存在挑战。相比之下，藤牌算法通过预处理输入样本而非修改模型或训练过程，提供了一种不同的防御机制，在某些方面表现得更为高效和灵活。
发明内容
针对现有技术存在的问题，本发明提供了一种基于样本预处理的低成本对抗样本防御方法及系统。
由于本发明提出的防御方法在图像样本上的作用效果类似于冷兵器藤牌的外形，且目前无相同的算法，故命名为藤牌算法。藤牌算法的核心思想为将干净样本和扰动样本均视为扰动样本，通过破坏原有的输入样本来生成新的输入样本。破坏掉样本中原有的不可控的对抗扰动，然后重新由防御方来产生可控的新扰动。将扰动这一因素变为防御方可以控制的因素，就能有效地应对对抗攻击。比如可以达到比较好的防御效果，让模型识别扰动样本时的样本准确率变高，或者故意达到不好的防御效果，从而迷惑攻击方，最终达到防御方的其他目的。
本发明是这样实现的，一种基于样本预处理的低成本对抗样本防御方法——藤牌算法，所述基于样本预处理的低成本对抗样本防御方法包括：
步骤一，接收输入样本，调整样本大小；
步骤二，对样本进行切割处理，剔除部分干扰区域；
步骤三，使用图像放缩模块来处理切割模块处理完的样本；
步骤四，对放缩后的样本进行像素值统一化操作；
步骤五，对处理完的样本进行图像放缩操作，将尺寸放缩到模型识别干净样本时可获得的最佳样本准确率的样本尺寸；
步骤六，将处理后的样本输入目标模型，通过评价指标来评价算法防御能力。
进一步，所述步骤一，调整原有的输入样本大小，设原有输入大小为64×64，使用藤牌算法作为防御手段后，需要调整为一个大于64×64的尺寸，使其作为藤牌算法的输入样本。
进一步，所述步骤二，通过计算相邻像素点的像素值差异来决定保留的区域，选择好保留的区域后，将保留下来的区域的尺寸放大到未切割处理以前的尺寸Bpx Bpx。
进一步，所述步骤四，防御者需要提供一个包含部分像素值的有序列表，然后将样本中像素值位于此列表中任意两个相邻像素值范围内的像素点的值统一更改为这两个相邻像素值的平均值，比如像素值大小处于C到D的像素点符合要求，那么将这些像素点的像素值统一更改为
进一步，所述步骤五，将样本尺寸大小放缩到Apx Apx。
进一步，所述基于样本预处理的低成本对抗样本防御方法，可以通过软件平台进行仿真实验，软件平台可以选择使用Google Colab或anaconda，在此平台上安装并调用各种程序需要的库函数，并采用开源的跨平台python库，使用cleverhans库实施对抗样本攻击，实现在对抗场景下使用本发明的对抗样本防御方法实施对抗样本防御。
本发明的另一目的在于提供一种基于样本预处理的低成本对抗样本防御系统，所述基于样本预处理的低成本对抗样本防御系统包括：
图像放缩模块，用于根据前后使用的模块采用放大操作或缩小操作来处理样本；
切割图像冗余信息模块，用于对样本进行切割处理，剔除部分干扰区域；
像素值统一化模块，用于进行像素值统一化操作。
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于样本预处理的低成本对抗样本防御方法的步骤。
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于样本预处理的低成本对抗样本防御方法的步骤。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于样本预处理的低成本对抗样本防御系统。
结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
第一、本发明为解决以往算法在实际应用中，需要额外的计算资源和时间成本，来提高模型鲁棒性，然后才能抵御对抗攻击这一问题。提出了一种基于样本预处理的低成本防御方法——藤牌算法。藤牌算法的核心是图像中非重要信息切割、部分像素值统一化和图像放缩三个模块，通过这三个模块的组合式使用可以达到满足不同防御需求所需的动态防御效果。这三个模块均是简单的图像处理操作，不需要训练额外的模型，满足低成本的要求，同时这三个模块是以组合使用的形式来共同抵抗攻击，使得三个模块的防御效果进行了叠加，满足了保持有效的防御的要求。其中通过切割图像中非重要信息部分的操作，可以把一些对正确识别无用的信息去除掉，得到仍然保留主要信息但是较为简单的样本，提升最后成功识别的精度。
第二，本发明具备更加高效的对抗样本检测：相对于传统的对抗样本检测方法，本申请不需要训练额外的模型。降低了检测算法的时间复杂度，可以更加高效地进行对抗样本防御。
本发明具备更加鲁棒的对抗样本检测：由于本申请的三个模块是以组合使用的形式来共同抵抗攻击，使得三个模块的防御效果进行了叠加，满足了保持有效的防御的要求。
本发明基于样本预处理的低成本对抗样本防御方法更高效和更鲁棒的优点，可以在对抗样本防御方面有着广泛的应用前景。
第三，本发明的技术方案转化后的预期收益和商业价值为：
1)提高检测对抗样本的效率：以往的对抗攻击防御方法需要额外的计算资源和时间成本，而本发明的方法不需要训练额外的模型，降低时间复杂度，满足低成本的要求，从而提高了对对抗样本的防御效率。
2)增强机器学习系统的鲁棒性：使用本发明的方法，可以有效地防御对抗样本攻击，从而提高机器学习系统的鲁棒性。
3)保护品牌声誉：对抗样本攻击导致模型输出错误，从而影响企业的品牌声誉。通过部署本发明的方法，企业可以提高其机器学习系统的可信度，降低因模型错误而导致的负面影响。
4)合规性要求：在一些行业，特别是金融和医疗领域，对合规性的要求非常高。本发明的方法可以帮助确保机器学习模型在面对潜在攻击时仍能够满足法规和行业标准的要求，从而降低企业面临的法律责任。
第四，本发明提出的基于样本预处理的低成本对抗样本防御方法，其在对抗样本攻击防御领域取得了显著的技术进步。以下是对该算法具体取得的技术进步进行的详细分析：
1)有效对抗攻击策略
控制扰动因素：通过将所有输入样本视为扰动样本并主动引入可控扰动，藤牌算法有效地破坏了原有的不可控对抗扰动。这种主动控制策略使得防御方能够更有效地应对对抗性攻击。
增强模型鲁棒性：通过预处理手段(如切割、放缩和像素值统一化操作)，藤牌算法增强了目标模型对抗不良输入样本的鲁棒性，提高了模型识别扰动样本时的准确率。
2)低成本实施
无需修改模型结构：藤牌算法作为一种预处理方法，不需要对现有的模型结构进行任何修改，因此，它为保护现有模型免受对抗攻击提供了一个低成本的解决方案。
适用性广泛：由于算法基于样本预处理，因此它可以广泛应用于不同类型的模型和数据集，增加了其适用范围。
3)提高算法透明度和可解释性
明确的操作步骤：藤牌算法通过具体的、可解释的图像处理步骤(如切割、放缩和像素值统一化)，提高了防御方法的透明度和可解释性。
灵活的调整机制：算法允许防御者根据不同的防御需求(如提高准确率或迷惑攻击者)灵活调整预处理步骤，提供了一种更加灵活和适应性强的防御策略。
4)易于实现和测试
软件平台实施：藤牌算法可以通过常用的软件平台(如Google Colab或Anaconda)进行实施，易于在现有的计算环境中部署和测试。
与开源库的兼容性：算法可利用开源python库(如cleverhans)来实施对抗样本攻击和防御，使得测试和验证变得更加方便。
总体来说，藤牌算法在对抗样本攻击的防御领域实现了重要的技术进步，特别是在提高防御效率和减少实施成本方面。通过对输入样本的智能预处理，这种方法为提高机器学习模型的鲁棒性和安全性提供了一种有效的途径。
附图说明
图1是本发明实施例提供的方法流程图；
图2是本发明实施例提供的使用其他防御方法和本防御方法在CIFAR10的样本初始输入尺寸大小调整的实验结果；
图3是本发明实施例提供的使用其他防御方法和本防御方法在MNIST的样本初始输入尺寸大小调整的实验结果；
图4是本发明实施例提供的在CIFAR10数据集上使用FGSM攻击样本和本防御方法样本修改结果；
图5是本发明实施例提供在MNIST数据集上使用FGSM攻击样本和本防御方法样本修改结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
基于藤牌算法的原理，我们可以构想以下两个具体的实施例及其具体实现方案：
实施例1：保护人脸识别系统
1)接收和调整人脸图像：
收集用于人脸识别的原始图像样本。
调整图像大小，使其大于原有输入大小(如从64×64调整到128×128)。
2)图像预处理：
对图像进行切割处理，剔除含有对抗性扰动的区域。
使用图像放缩模块处理切割后的样本。
3)像素值统一化：
根据预设的像素值范围，对图像的像素值进行统一化处理。
4)再次放缩：
将处理过的图像尺寸放缩到最佳样本准确率的尺寸。
5)输入人脸识别模型：
将处理后的图像样本输入到人脸识别模型。
评估模型的识别准确率，以验证藤牌算法的防御效果。
#应用价值：
提高人脸识别系统对对抗性攻击的防御能力。
确保系统在面对恶意扰动时仍能准确识别人脸。
实施例2：保护交通标志识别系统
1)接收和调整交通标志图像：
收集用于交通标志识别的原始图像样本。
调整图像大小，使其适应藤牌算法的输入要求。
2)图像预处理：
对图像执行切割处理，移除包含对抗性扰动的区域。
应用图像放缩模块处理切割后的样本。
3)像素值统一化：
对图像进行像素值统一化操作，以减少对抗性扰动的影响。
4)再次放缩：
将处理过的图像尺寸放缩到模型最佳识别准确率的尺寸。
5)输入交通标志识别模型：
将处理后的图像输入到交通标志识别模型。
评估模型的识别性能，验证藤牌算法的防御效果。
#应用价值：
增强自动驾驶系统中交通标志识别的鲁棒性。
防止对抗性攻击导致的交通安全隐患。
这两个实施例展示了藤牌算法在不同应用领域中的广泛适用性。通过对输入样本的智能预处理，这种方法可以有效防御对抗性攻击，增强关键系统的安全性和可靠性。
本发明实施例提供的基于样本预处理的低成本对抗样本防御方法——藤牌算法，用A～D表示纯数值，px表示像素，dpi表示像素值，如图1所示，具体包括以下步骤：
S101，接收输入样本，调整样本大小；
S102，对样本进行切割处理，剔除部分干扰区域；
S103，使用图像放缩模块来处理切割模块处理完的样本；
S104，对放缩后的样本进行像素值统一化操作；
S105，对处理完的样本进行图像放缩操作，将尺寸放缩到模型识别干净样本时可获得的最佳样本准确率的样本尺寸；
S106，将处理后的样本输入目标模型，通过评价指标来评价算法防御能力。
本发明实施例提供的步骤一，需要调整原有的输入样本大小，设原有输入大小为64×64，那么使用藤牌算法作为防御手段后，需要调整为一个大于64×64的尺寸，使其作为藤牌算法的输入样本。
本发明实施例提供的步骤二，通过计算相邻像素点的像素值差异来决定保留的区域，选择好保留的区域后，将保留下来的区域的尺寸放大到未切割处理以前的尺寸Bpx Bpx。
本发明实施例提供的步骤四，防御者需要提供一个包含部分像素值的有序列表，然后将样本中像素值位于此列表中任意两个相邻像素值范围内的像素点的值统一更改为这两个相邻像素值的平均值，比如像素值大小处于C到D的像素点符合要求，那么将这些像素点的像素值统一更改为
本发明实施例提供的步骤五，将样本尺寸大小放缩到Apx Apx。
本发明实施例可以通过软件平台进行仿真实验，软件平台可以选择使用GoogleColab或anaconda，在此平台上安装并调用各种程序需要的库函数，并采用开源的跨平台python库，使用cleverhans库实施对抗样本攻击，实现了在对抗场景下使用本发明的对抗样本防御方法实施对抗样本防御。
本发明实施例提供的基于样本预处理的低成本对抗样本防御系统包括：
图像放缩模块，用于根据前后使用的模块采用放大操作或缩小操作来处理样本；
切割图像冗余信息模块，用于对样本进行切割处理，剔除部分干扰区域；
像素值统一化模块，用于进行像素值统一化操作。
将本发明应用实施例提供的基于样本预处理的低成本对抗样本防御方法应用于计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于样本预处理的低成本对抗样本防御方法的步骤。
将本发明应用实施例提供的基于样本预处理的低成本对抗样本防御方法应用于信息数据处理终端，所述信息数据处理终端用于实现所述基于样本预处理的低成本对抗样本防御系统。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
将本发明的技术方案应用于一个基于深度神经网络的图像分类器，该图像分类器可以实现对手写数据集MNIST、图像数据集CIFAR10等数据集的准确分类，为了保护目标模型基于深度神经网络的图像分类器免受对抗样本的攻击，本申请使用藤牌算法来将干净样本和扰动样本均视为扰动样本，通过破坏原有的输入样本来生成新的输入样本。破坏掉样本中原有的不可控的对抗扰动，然后重新由防御方来产生可控的新扰动。将扰动这一因素变为防御方可以控制的因素，就能有效地应对对抗攻击。比如可以达到比较好的防御效果，让模型识别扰动样本时的样本准确率变高，或者故意达到不好的防御效果，从而迷惑攻击方，最终达到防御方的其他目的。
为验证基于样本预处理的低成本对抗样本防御方法的可行性与有效性，分别使用CIFAR10(1024维属性值)和手写数据集MNIST(784维属性值)两种数据集进行算法验证，选择squeezenet1_1、mnasnet1_3和mobilenet_v3_large三种模型作为目标模型、对抗攻击算法是FGSM、PGD、DeepFool和MIM。使用MNIST数据集训练模型时的样本尺寸大小为28，使用CIAFR10数据集训练模型时的样本尺寸大小为64。
样本输入尺寸：对于攻防实验设置为256×256，对于参数选择实验则设置为28，32，64，128和256。其中CIAFR10数据集的选择范围不包括28。
放缩后的尺寸：MNIST数据集和CIFAR10数据集下均为95。
在识别干净样本时可获得的最佳样本准确率的样本尺寸：MNIST数据集下参数为28，CIFAR10数据集下为64。
对正常样本进行防御以及对被攻击的样本进行防御。实验所需要的样本分别是未修改过的干净样本，藤牌算法修改过的干净样本，攻击样本和藤牌算法修改过的攻击样本。其中未修改过的干净样本是实验的对照组，对照组的样本准确率是100％。我们将这些样本作为测试样本分别对2个数据集与4种攻击算法进行测试。经过测试的数据如表1所示，其中，Clean代表藤牌算法修改过的干净样本。
本发明实施例提供的使用其他防御方法和本防御方法在CIFAR10和MNIST的样本初始输入尺寸大小调整的实验结果分别如图2、图3所示。
图4是本发明实施例提供的在CIFAR10数据集上使用FGSM攻击样本和本防御方法样本修改结果。图5是本发明实施例提供的在MNIST数据集上使用FGSM攻击样本和本防御方法样本修改结果。
实施例1:
由表1的藤牌算法处理后的样本准确率可以看出，藤牌算法目前可以针对几种不同的模型和数据集进行防御，可以有效地防御几种不同类型的攻击：基于梯度符号的(FGSM)、基于迭代的(PGD)、基于超平面的(DeepFool)和基于动量的(MIM)攻击。从PGD和MIM攻击算法的测试数据可以看出，藤牌算法可以帮助模型在遭受对抗攻击的情况下将样本准确率从0.00％恢复到81.66％～95.50％。对于未被攻击的情况，经过藤牌算法修改过的干净样本的样本准确率最低可达88.50％，其大部分保持在91.00％以上，甚至可以达到99.32％，约等于未修改过的干净样本的样本准确率。对于这些干净样本，修改前后的样本准确率差异整体处在一个可以接受的范围内。
所以通过本实验，可以得出结论：目前藤牌算法可以有效地抵御作用在表1所列的数据集与模型组合上的4种攻击，且不易受外界因素(模型，数据集和攻击算法)的影响，具有较好的防御效果和较好的鲁棒性。
以上仿真实验对提出的算法进行了验证与应用，证明了算法的可用性与有效性。除此之外，算法核心是图像中非重要信息切割、部分像素值统一化和图像放缩三个模块，通过这三个模块的组合式使用可以达到满足不同防御需求所需的动态防御效果。这三个模块均是简单的图像处理操作，不需要训练额外的模型，满足低成本的要求，同时这三个模块是以组合使用的形式来共同抵抗攻击，使得三个模块的防御效果进行了叠加，满足了保持有效的防御的要求。其中通过切割图像中非重要信息部分的操作，可以把一些对正确识别无用的信息去除掉，得到仍然保留主要信息但是较为简单的样本，提升最后成功识别的精度。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于样本预处理的低成本对抗样本防御方法，其特征在于，包括：
步骤一，接收输入样本，调整样本大小；
步骤二，对样本进行切割处理，剔除部分干扰区域；
步骤三，使用图像放缩模块来处理切割模块处理完的样本；
步骤四，对放缩后的样本进行像素值统一化操作；
步骤五，对处理完的样本进行图像放缩操作，将尺寸放缩到模型识别干净样本时可获得的最佳样本准确率的样本尺寸；
步骤六，将处理后的样本输入目标模型，通过评价指标来评价算法防御能力。
2.根据权利要求1所述的基于样本预处理的低成本对抗样本防御方法，其特征在于，所述步骤一，调整原有的输入样本大小，设原有输入大小为64×64，使用藤牌算法作为防御手段后，需要调整为一个大于64×64的尺寸，使其作为藤牌算法的输入样本。
3.根据权利要求1所述的基于样本预处理的低成本对抗样本防御方法，其特征在于，所述步骤二，通过计算相邻像素点的像素值差异来决定保留的区域，选择好保留的区域后，将保留下来的区域的尺寸放大到未切割处理以前的尺寸Bpx′Bpx。
4.根据权利要求1所述的基于样本预处理的低成本对抗样本防御方法，其特征在于，所述步骤四，防御者需要提供一个包含部分像素值的有序列表，然后将样本中像素值位于此列表中任意两个相邻像素值范围内的像素点的值统一更改为这两个相邻像素值的平均值，比如像素值大小处于C到D的像素点符合要求，那么将这些像素点的像素值统一更改为
5.根据权利要求1所述的基于样本预处理的低成本对抗样本防御方法，其特征在于，所述步骤五，将样本尺寸大小放缩到Apx′Apx。
6.根据权利要求1所述的基于样本预处理的低成本对抗样本防御方法，其特征在于，所述基于样本预处理的低成本对抗样本防御方法，可以通过软件平台进行仿真实验，软件平台可以选择使用Google Colab或anaconda，在此平台上安装并调用各种程序需要的库函数，并采用开源的跨平台python库，使用cleverhans库实施对抗样本攻击，实现在对抗场景下使用本发明的对抗样本防御方法实施对抗样本防御。
7.一种实施如权利要求1-6任意一项所述方法的基于样本预处理的低成本对抗样本防御系统，其特征在于，所述基于样本预处理的低成本对抗样本防御系统包括：
图像放缩模块，用于根据前后使用的模块采用放大操作或缩小操作来处理样本；
切割图像冗余信息模块，用于对样本进行切割处理，剔除部分干扰区域；
像素值统一化模块，用于进行像素值统一化操作。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-6任意一项所述基于样本预处理的低成本对抗样本防御方法的步骤。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-6任意一项所述基于样本预处理的低成本对抗样本防御方法的步骤。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求7所述基于样本预处理的低成本对抗样本防御系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311725099.7A CN117689005A (zh) | 2023-12-15 | 2023-12-15 | 一种基于样本预处理的低成本对抗样本防御方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311725099.7A CN117689005A (zh) | 2023-12-15 | 2023-12-15 | 一种基于样本预处理的低成本对抗样本防御方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117689005A true CN117689005A (zh) | 2024-03-12 |
Family
ID=90131603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311725099.7A Pending CN117689005A (zh) | 2023-12-15 | 2023-12-15 | 一种基于样本预处理的低成本对抗样本防御方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117689005A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111783083A (zh) * | 2020-06-19 | 2020-10-16 | 浙大城市学院 | 一种防御算法的推荐方法及装置 |
| CN115600107A (zh) * | 2022-10-21 | 2023-01-13 | 浙江大华技术股份有限公司（Cn） | 一种对抗攻击的防御方法、装置及电子设备 |
| US20230022943A1 (en) * | 2021-07-22 | 2023-01-26 | Xidian University | Method and system for defending against adversarial sample in image classification, and data processing terminal |
| CN116630685A (zh) * | 2023-04-23 | 2023-08-22 | 成都信息工程大学 | 一种对抗样本防御方法、系统、介质、设备及终端 |
-
2023
- 2023-12-15 CN CN202311725099.7A patent/CN117689005A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111783083A (zh) * | 2020-06-19 | 2020-10-16 | 浙大城市学院 | 一种防御算法的推荐方法及装置 |
| US20230022943A1 (en) * | 2021-07-22 | 2023-01-26 | Xidian University | Method and system for defending against adversarial sample in image classification, and data processing terminal |
| CN115600107A (zh) * | 2022-10-21 | 2023-01-13 | 浙江大华技术股份有限公司（Cn） | 一种对抗攻击的防御方法、装置及电子设备 |
| CN116630685A (zh) * | 2023-04-23 | 2023-08-22 | 成都信息工程大学 | 一种对抗样本防御方法、系统、介质、设备及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Turner et al. | Clean-label backdoor attacks | |
| Ma et al. | Nic: Detecting adversarial samples with neural network invariant checking | |
| Wang et al. | Data hiding with deep learning: A survey unifying digital watermarking and steganography | |
| CN108717550B (zh) | 一种基于对抗学习的图像对抗验证码生成方法和系统 | |
| Li et al. | Deep learning backdoors | |
| Wu et al. | Just rotate it: Deploying backdoor attacks via rotation transformation | |
| Zhu et al. | Fragile neural network watermarking with trigger image set | |
| CN112766324A (zh) | 图像对抗样本检测方法、系统、存储介质、终端及应用 | |
| Duan et al. | Mask-guided noise restriction adversarial attacks for image classification | |
| Berghoff et al. | The interplay of AI and biometrics: Challenges and opportunities | |
| Shi et al. | Black-box backdoor defense via zero-shot image purification | |
| Liang et al. | Revisiting backdoor attacks against large vision-language models | |
| Zhang et al. | Detector collapse: Backdooring object detection to catastrophic overload or blindness | |
| Zhu et al. | Breaking the False Sense of Security in Backdoor Defense through Re-Activation Attack | |
| CN117689005A (zh) | 一种基于样本预处理的低成本对抗样本防御方法及系统 | |
| Chen et al. | When deep learning meets watermarking: A survey of application, attacks and defenses | |
| Nami et al. | Adversarial attacks and defense on deep learning models for big data and IoT | |
| Yang et al. | A novel and universal GAN-based countermeasure to recover adversarial examples to benign examples | |
| Zhu et al. | Reliable Model Watermarking: Defending Against Theft without Compromising on Evasion | |
| Chen et al. | A Defense Method against Backdoor Attacks in Neural Networks Using an Image Repair Technique | |
| Zhu et al. | Adversarial example defense via perturbation grading strategy | |
| Ren et al. | EnTruth: Enhancing the Traceability of Unauthorized Dataset Usage in Text-to-image Diffusion Models with Minimal and Robust Alterations | |
| Yue et al. | Model-Contrastive Learning for Backdoor Elimination | |
| Gu | Watermark Removal Scheme Based on Neural Network Model Pruning | |
| Leroux et al. | Multi-bit Black-box Watermarking of Deep Neural Networks in Embedded Applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |