CN110598400A - 一种基于生成对抗网络的高隐藏中毒攻击的防御方法及应用 - Google Patents
一种基于生成对抗网络的高隐藏中毒攻击的防御方法及应用 Download PDFInfo
- Publication number
- CN110598400A CN110598400A CN201910808010.0A CN201910808010A CN110598400A CN 110598400 A CN110598400 A CN 110598400A CN 201910808010 A CN201910808010 A CN 201910808010A CN 110598400 A CN110598400 A CN 110598400A
- Authority
- CN
- China
- Prior art keywords
- sample
- detector
- adversarial
- generator
- attack
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000607 poisoning effect Effects 0.000 title claims abstract description 61
- 231100000572 poisoning Toxicity 0.000 title claims abstract description 59
- 230000007123 defense Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 55
- 230000006870 function Effects 0.000 claims abstract description 47
- 241000628997 Flos Species 0.000 claims abstract description 18
- 230000000694 effects Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 238000012804 iterative process Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims 1
- 230000003042 antagnostic effect Effects 0.000 abstract 2
- 231100000331 toxic Toxicity 0.000 abstract 1
- 230000002588 toxic effect Effects 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002574 poison Substances 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Hardware Design (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成对抗网络的高隐藏中毒攻击的防御方法，包括：构建生成器训练体系，包括生成器G、检测器D，检测器FCD；构建生成器G、检测器D、检测器FCD的损失函数Gloss，Dloss，Floss；利用损失函数Gloss和Dloss交替训练生成器G和检测器D；同时，利用损失函数Floss训练生成器G，获得训练好的生成器G；利用生成器G生成大量的对抗样本，将对抗样本结合待攻击样本，重新训练检测器FCD，获得训练好的检测器FCD，将攻击目标样本输入至训练好的检测器FCD，输出攻击目标样本的置信度；根据输出的置信度确定中毒攻击现象的严重性，采用不同防御措施。该防御方法能够防御中毒攻击。
Description
技术领域
本发明属于深度学习安全技术领域，具体涉及一种基于生成对抗网络的高隐藏中毒攻击的防御方法及应用。
背景技术
深度学习受神经科学启发而来，可以通过学习和计算大量数据的潜在联系，获得比一般算法更准确的分类结果，具有强大的特征学习能力和特征表达能力。而随着深度学习在视觉辨析、语音识别、金融欺诈检测、身份鉴定以及恶意软件检测等的各种领域的深入应用，深度学习的安全问题越来越受到人们的关注。
虽然深度学习在计算机视觉领域表现出很强大的分类能力，但是szegedy等人发现，深度模型很容易对某些不可见的细微的扰动出现错误的判断。这些细小的扰动不仅可以用于攻击识别阶段，导致模型分类错误，甚至对错误的分类结果表现出很高的置信度；而且在训练阶段试图毒害数据样本，以移动分类器对好、坏输入归类的学习边界，从而导致训练模型产生偏移，影响分类结果的正确性。中毒攻击的危害在于部分很难被去除的中毒数据导致系统模型偏移，而后造成后门，识别不正确等安全事故，例如：中毒数据导致错误权限，无法区分入侵用户，导致一系列的安全问题。
对于目前大部分已有的中毒攻击来说，攻击的实现通常是通过对虚假样本打上错误类标的方式，污染训练数据集，导致模型偏移。但是，目前大部分中毒攻击，对虚假样本的掩饰程度往往不高，只是简单地欺骗一些针对数据检测的模型结构，反而忽略了视觉上虚假样本和类标的差别，难以欺骗人脸。所以在数据集较为庞大，难以逐一人工检测的时候，已有的中毒攻击能够取得一定的攻击效益。但同样，对虚假样本的掩饰程度不高，可能会造成检测器无法收敛。因此，进一步保证中毒样本的高隐藏性，确保中毒样本足以欺骗视觉识别，是对防御中毒攻击提出更高的要求。
综上所述，如何对中毒攻击方法进一步优化，得到具有更高隐藏性的中毒样本，并针对相应高隐藏性的中毒攻击，确定相应防御方法，在提升图像训练阶段对污染数据的防御效果方面有着极其重要的理论与实践意义。
发明内容
为了提升图像训练阶段对污染数据的防御能力，本发明提出通过对基于生成对抗网络的高隐藏中毒攻击的重现，评估不同中毒样本对模型训练的危险性，并且采取相关的筛选划分方法，防御中毒攻击。
本发明解决其技术问题所采用的技术方案是：
一种基于生成对抗网络的高隐藏中毒攻击的防御方法，包括以下步骤：
构建生成器训练体系，该生成器训练体系包括生成对抗样本的生成器G、分辨对抗样本和待攻击样本的检测器D，以及分辨生成对抗样本和攻击目标样本的检测器FCD，生成器G和检测器D组成生成对抗网络，其中，生成器G的输入为待攻击样本、攻击目标样本以及扰动noise，输出为生成对抗样本；检测器D的输入为待攻击样本和生成对抗样本，其输出为待攻击样本和生成对抗样本的置信度；检测器FCD的输入为攻击目标样本和生成对抗样本，其输出为攻击目标样本和生成对抗样本的置信度；
构建损失函数，根据待攻击样本和生成对抗样本的差异、生成对抗样本与攻击目标样本的差异构建生成器G的损失函数Gloss，根据待攻击样本和生成对抗样本各自的交叉熵构建检测器D的损失函数Dloss，根据攻击目标样本和生成对抗样本的置信度构建检测器FCD的损失函数Floss；
利用损失函数Gloss和损失函数Dloss交替训练生成器G和检测器D，同时，利用损失函数Floss训练生成器G，训练结束后，获得训练好的生成器G；
利用生成器G生成大量的对抗样本，将对抗样本结合待攻击样本，重新训练检测器FCD，获得训练好的检测器FCD，将攻击目标样本输入至训练好的检测器FCD，输出攻击目标样本的置信度；
根据输出的置信度，观察中毒攻击效果，根据中毒攻击现象的严重性，采用不同防御措施。
本发明的技术构思为：基于生成对抗网络的高隐藏中毒攻击的防御方法。首先，采用基础的GAN结构和检测器FCD作为特征提取结构，进行预训练。然后，利用多方博弈，逐步提升所生成的对抗样本在视觉上与待攻击样本以及在特征层面上与攻击目标样本的相似度。接着，利用对抗样本观察中毒攻击效果。最后，根据中毒攻击效果，采用不同措施，在训练前筛选数据。
一种基于生成对抗网络的高隐藏中毒攻击的防御方法在人脸图像中毒攻击防御的应用，生成器G采用卷积神经网络，检测器D采用卷积神经网络，以及检测器FCD采用facenet网络，训练阶段，输入的数据为待攻击人脸图像、攻击目标人脸图像以及扰动noise，利用待攻击人脸图像和攻击目标人脸图像对生成器G、检测器D以及检测器FCD进行训练后，即获得能够生成大量对抗性人脸图像的生成器G；
然后利用将训练好的生成器G生成大量的对抗性人脸图像混入到待攻击人脸图像A中形成新数据集，利用数据集重新训练检测器FCD，训练好后，将攻击目标人脸图像输入至重新训练的检测器FCD，输出攻击目标人脸图像的置信度；
根据攻击目标人脸图像的置信度，观察中毒攻击效果，根据中毒攻击现象的严重性，采用不同防御措施。
本发明的有益效果主要表现在：
利用基础GAN结构产生中毒数据，极大地提高中毒数据的可拓展性，同时利用多方博弈，提高中毒数据的隐藏性。算法中采用双重限制的措施，在交替迭代训练中，分别控制对抗样本在视觉上与待攻击样本以及在特征层面上与攻击目标样本的相似度。并且通过中毒效果的划分，采用不同措施，在训练前筛选数据，可以有效针对地避免高隐藏性中毒数据带来的危害。本发明能够有效地应用于各种需要人脸识别，身份验证的场所，能够有效地防止，未注册用户冒用他人合法身份，企图入侵的行为；能够保护小区、办公、考试场地的出入安全，有效阻止一些企图盗用身份的入侵者。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
图1是实施例提供的基于生成对抗网络的高隐藏中毒攻击的防御方法中获得攻击模型的流程图；
图2是实施例提供的基于生成对抗网络的高隐藏中毒攻击的防御方法中防御措施的流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
为了实现对高隐藏中毒攻击进行防御，本实施例提供了一种基于生成对抗网络的高隐藏中毒攻击的防御方法，该防御方法包括两个阶段，分别为生成对抗样本阶段，应用防御阶段，下面针对每阶段进行说明。
对抗样本生成阶段
基于背景技术可知，能够对待攻击样本进行攻击的扰动往往都是很细微的，具有很高的隐藏性，不容易被察觉分辨，因为了有针对性地对这些扰动进行有效防御，必需要很清楚这些扰动的特性，为此，防御的首要阶段就是研究对抗样本。
对抗样本生成阶段的目的就是要获得各种各样的隐藏性及其高的对抗样本，具体过程包括：
构建由生成对抗样本的生成器G、分辨对抗样本和待攻击样本的检测器D组成的GAN。其中生成器G的输入为待攻击样本、扰动参数noise，以及攻击目标样本，其输出为生成的对抗样本。检测器的输入是生成的对样样本和待攻击的待攻击样本，输出为对输入的预测分类输出，其目的就是检测输入样本的类型；
构建的GAN的基础上，构建了一个检测器FCD，该检测器FCD的输入为生成的对抗样本和攻击目标样本，输出为对输入样本进行特征提取的样本特征。
在构建好以上模型后，联立GAN和检测器FCD，对GAN中的生成器G和检测器D进行对抗训练，具体过程为：
确定待攻击样本A、攻击目标样本B，明确攻击的目的是为了让攻击目标样本B能够以待攻击样本A的身份，在中毒后的识别系统中通过。这里为了方便说明，将待攻击样本A作为系统合法用户，称作合法者，而攻击目标样本B作为系统未注册的入侵用户，称作入侵者。
(a)将待攻击样本A、攻击目标样本B，以及参数noise输入生成器得到对抗样本A′，并通过公式(1)得到生成器G的损失函数Gloss：
Gloss＝0.95*||(A'-A)||2+0.05*(||(B-A)||2-||(B-A)||2) (1)
其中，||·||2表示对内容求二范数，生成器G的损失函数分为两个部分：第一部分0.95*||(A'-A)||2是为了保证对抗样本A'与待攻击样本A的相似度尽可能的高，第二部分0.05*|||(B-A)||2-||(B-A')||2|是为了让对抗样本A'与攻击目标样本B的相似度尽可能地维持在正常水平下。总的来说，生成器G的损失函数是为了反应对抗样本A'与待攻击样本A在视觉上效果的相近与否。
(b)将对抗样本A'与待攻击样本A输入检测器D中，获得检测器D的输出y和y'，并计算检测器D的损失函数Dloss，计算公式为：
其中，y表示的是待攻击样本A获得的输出，y'表示的是对抗样本A'获得的输出。而Y与Y'表示的是对应输入下的期望输出值，检测器D的损失函数是为了提高检测器D分辨对抗样本的能力，间接地在博弈过程中提高生成器G的能力。
(c)利用生成器G的损失函数Gloss训练生成器G，训练指标是在迭代过程中不断寻找，产生更小的损失的对抗样本，使得对抗样本在与待攻击样本A的相似度越来越高的过程中，增加通过检测器D识别的概率，最后计算训练阶段始末的损失变化ΔGloss。
ΔGloss＝2*(Gloss1+Gloss2/Gloss1-Gloss2) (3)
其中，Gloss1，Gloss2分别表示训练始末生成器G的损失函数值。
(d)利用检测器D的损失函数Dloss训练检测器，训练指标是在迭代过程中不断提高检测器D区分对抗样本的能力，从而在博弈过程中提高生成器G的能力，最后计算训练阶段始末的损失变化ΔDloss。
ΔDloss＝2*(Dloss1+Dloss2/Dloss1-Dloss2) (4)
其中，Dloss1、Dloss2分别表示训练始末检测器D的损失函数值。
(e)将对抗样本A'与攻击目标样本B作为检测器FCD的输入，获得FCD反馈的输出C'和C，并计算检测器FCD的损失函数Floss，计算公式如下：
Floss＝||C'-C||2 (5)
其中，C'和C分别表示对抗样本A'与攻击目标样本B通过检测器FCD获得的置信度输出。检测器FCD的损失函数反应了对抗样本A'与攻击目标样本B在特征方面的相似关系。
(f)利用检测器FCD的损失函数Floss训练生成器G，训练目的是在迭代过程中不断提高生成器G生成的对抗样本A'和攻击目标样本B的特征相似程度，以提高中毒攻击的效果，最后计算训练阶段始末的损失变化ΔFloss。
ΔFloss＝2*(Floss1+Floss2/Floss1-Floss2)(5)
其中，Floss1，Floss2分别表示训练始末检测器FCD的损失函数值。
在训练过程中，通过比较各个训练阶段损失变化，以调整每个阶段训练的迭代次数。根据损失函数变化的比例，因为可以知道越接近训练完美，损失函数的衰减是越小。所以当损失函数变化得越来越小时，在将损失函数的衰减大于预期值，将迭代次数乘以预设的放大倍数，反之除以放大倍数，以此调整迭代次数。但是如果当损失函数变大，或不变时，考虑这部分训练已经完成可以暂时跳过。
同时，交替迭代步骤(a)～(f)，利用多方博弈，不断提高生成器G点能力，在训练的同时，还要观察损失函数Gloss、Dloss以及Floss曲线，在生成器G生成的对抗样本达到较小损失，即损失函数Gloss最小时停止训练，提取训练好的生成器G，并对该训练好的生成器G进行测试训练。测试结束后，可以利用训练好的生成器G生成大量的对抗样本。
上述生成器G是在采用二重博弈思想的GAN的基础上，进一步添加第三方博弈——FCD反馈的特征差限制形成的训练体系下，训练得到的，该生成器G的目的是在保证所生成的对抗样本在具有一定欺骗视觉的能力后，逐步提升对抗样本所能造成的模型偏移效果，也就是提高中毒能力。
由于训练FCD的目的是为了限制待攻击样本A，攻击目标样本B的特征距离在一定范围，并以返回的置信度差值来判断待攻击样本A与攻击目标样本B特征距离。因此，预训练过程就是两个部分，第一是利用迭代训练GAN结构，达到生成一定对抗样本的能力；第二是在大量包含A，B的数据集中，利用FCD自身的三元组损失函数，训练所需要的FCD，达到能够较为准确区分A，B的能力。
应用防御阶段
在获得大量对抗样本以后即可以针对这些大量对抗样本进行有针对性防御，具体过程为：
将训练好的生成器G生成大量的对抗样本A′混入到原有待攻击样本数据集中形成新数据集，利用训数据集重新训练检测器FCD，训练好后，将攻击目标样本输入至重新训练的检测器FCD，输出攻击目标样本的置信度；
根据输出的置信度，观察中毒攻击效果，根据中毒攻击现象的严重性，采用不同防御措施。
当攻击目标样本的类标未发生偏转，意味着攻击目标样本和待攻击样本的特征提取耦合度不大，即特征嵌入不协调，此时采用放大、缩小、旋转的方式对攻击目标样本进行处理，来突出特征提取层面的不协调，当攻击目标样本的类标发生偏转，且保持很高的置信度，则意味着攻击目标样本和待攻击样本提取耦合度很高，即特征嵌入协调，此时采用线性插值的方法对攻击目标样本进行屏蔽型防御。
以上生成器G可以采用卷积神经网络，检测器D采用卷积神经网络，以及检测器FCD采用facenet网络(卷积神经网络与Inception网络相连接)
上述基于生成对抗网络的高隐藏中毒攻击的防御方法可以应用到人脸图像的中毒攻击防御。在人脸图像的中毒攻击防御中，生成器G采用卷积神经网络，检测器D采用卷积神经网络，以及检测器FCD采用facenet网络(卷积神经网络与Inception网络相连接)。训练阶段，输入的数据为待攻击人脸图像A、攻击目标人脸图像B以及扰动noise，在按照上述对抗样本生成阶段的过程，利用待攻击人脸图像A、攻击目标人脸图像B对生成器G、检测器D以及检测器FCD进行训练后，即可以获得能够生成大量对抗性人脸图像的生成器G。
然后利用将训练好的生成器G生成大量的对抗性人脸图像混入到待攻击人脸图像A中形成新数据集，利用数据集重新训练检测器FCD，训练好后，将攻击目标人脸图像输入至重新训练的检测器FCD，输出攻击目标人脸图像的置信度；
如图2所示，根据攻击目标人脸图像的置信度，观察中毒攻击效果，根据中毒攻击现象的严重性，采用不同防御措施。
因为，高隐藏中毒攻击的本质是将目标人脸的特征以类似不可见扰动的方法添加到待攻击人脸中。也就是说，由于扰动的存在，干扰了模型特征提取部分判断同时，蒙蔽人的视觉，当目标人脸图像的类标未发生偏转，意味着两张人脸的特征提取耦合度不大，即特征嵌入不协调，此时我们只需要简单的采用放大、缩小、旋转来突出这种特征提取层面的不协调，如果目标人脸图像的类标发生偏转，且保持很高的置信度，则意味着两张人脸的特征提取耦合度很高，即特征嵌入协调，此时我们可以采用线性插值的方法，进行屏蔽型防御。
上述基于生成对抗网络的高隐藏中毒攻击的防御方法，利用基础GAN结构产生中毒数据，极大地提高中毒数据的可拓展性，同时利用多方博弈，提高中毒数据的隐藏性。采用双重限制的措施，在交替迭代训练中，分别控制对抗样本在视觉上与待攻击样本A以及在特征层面上与攻击目标样本B的相似度。并且通过中毒效果的划分，采用不同措施，在训练前筛选数据，可以有效针对地避免高隐藏性中毒数据带来的危害。本发明能够有效地应用于各种需要人脸识别，身份验证的场所，能够有效地防止，未注册用户冒用他人合法身份，企图入侵的行为；能够保护小区、办公、考试场地的出入安全，有效阻止一些企图盗用身份的攻击目标样本。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于生成对抗网络的高隐藏中毒攻击的防御方法，包括以下步骤：
构建生成器训练体系，该生成器训练体系包括生成对抗样本的生成器G、分辨对抗样本和待攻击样本的检测器D，以及分辨生成对抗样本和攻击目标样本的检测器FCD，生成器G和检测器D组成生成对抗网络，其中，生成器G的输入为待攻击样本、攻击目标样本以及扰动noise，输出为生成对抗样本；检测器D的输入为待攻击样本和生成对抗样本，其输出为待攻击样本和生成对抗样本的置信度；检测器FCD的输入为攻击目标样本和生成对抗样本，其输出为攻击目标样本和生成对抗样本的置信度；
构建损失函数，根据待攻击样本和生成对抗样本的差异、生成对抗样本与攻击目标样本的差异构建生成器G的损失函数Gloss，根据待攻击样本和生成对抗样本各自的交叉熵构建检测器D的损失函数Dloss，根据攻击目标样本和生成对抗样本的置信度构建检测器FCD的损失函数Floss；
利用损失函数Gloss和损失函数Dloss交替训练生成器G和检测器D，同时，利用损失函数Floss训练生成器G，训练结束后，获得训练好的生成器G；
利用生成器G生成大量的对抗样本，将对抗样本结合待攻击样本，重新训练检测器FCD，获得训练好的检测器FCD，将攻击目标样本输入至训练好的检测器FCD，输出攻击目标样本的置信度；
根据输出的置信度，观察中毒攻击效果，根据中毒攻击现象的严重性，采用不同防御措施。
2.如权利要求1所述的基于生成对抗网络的高隐藏中毒攻击的防御方法，其特征在于，构建的损失函数Gloss为：
Gloss＝0.95*||(A'-A)||2+0.05*(||(B-A)||2-||(B-A)||2)
其中，||·||2表示对内容求二范数，第一部分0.95*||(A'-A)||2是为了保证对抗样本A'与待攻击样本A的相似度尽可能的高，第二部分0.05*|||(B-A)||2-||(B-A')||2|是为了让对抗样本A'与攻击目标样本B的相似度尽可能地维持在正常水平下；
损失函数Dloss为：
其中，y表示的是待攻击样本A获得的预测输出，y′表示的是对抗样本A'获得的预测输出，Y与Y'分别表示的是待攻击样本A和对抗样本A'的期望输出值；
损失函数Floss为：
Floss＝||C’-C||2
其中，C'和C分别表示对抗样本A'与攻击目标样本B通过检测器FCD获得的置信度输出。
3.如权利要求1所述的基于生成对抗网络的高隐藏中毒攻击的防御方法，其特征在于，具体训练过程包括：
利用生成器G的损失函数Gloss训练生成器G，训练指标是在迭代过程中不断寻找，产生更小的损失的对抗样本，使得对抗样本在与待攻击样本的相似度越来越高的过程中，增加通过检测器D识别的概率；
利用检测器D的损失函数Dloss训练检测器，训练指标是在迭代过程中不断提高检测器D区分对抗样本的能力，从而在博弈过程中提高生成器G的能力；
利用检测器FCD的损失函数Floss训练生成器G，训练目的是在迭代过程中不断提高生成器G生成的对抗样本和攻击目标样本的特征相似程度，以提高中毒攻击的效果。
4.如权利要求1所述的基于生成对抗网络的高隐藏中毒攻击的防御方法，其特征在于，在训练的过程中，根据训练阶段损失函数变化调整每个阶段训练的迭代次数，具体包括：
当损失函数变化得越来越小时，在将损失函数的衰减大于预期值，将迭代次数乘以预设的放大倍数，反之除以预设的放大倍数，以此调整迭代次数。
5.如权利要求1所述的基于生成对抗网络的高隐藏中毒攻击的防御方法，其特征在于，所述根据输出的置信度，观察中毒攻击效果，根据中毒攻击现象的严重性，采用不同防御措施包括：
当攻击目标样本的类标未发生偏转，采用放大、缩小、旋转的方式对攻击目标样本进行处理，来突出特征提取层面的不协调；
当攻击目标样本的类标发生偏转，且保持很高的置信度，采用线性插值的方法对攻击目标样本进行屏蔽型防御。
6.如权利要求1所述的基于生成对抗网络的高隐藏中毒攻击的防御方法，其特征在于，生成器G采用卷积神经网络，检测器D采用卷积神经网络，以及检测器FCD采用卷积神经网络与Inception网络相连接。
7.一种基于生成对抗网络的高隐藏中毒攻击的防御方法在人脸图像中毒攻击防御的应用，其特征在于，生成器G采用卷积神经网络，检测器D采用卷积神经网络，以及检测器FCD采用facenet网络，训练阶段，输入的数据为待攻击人脸图像、攻击目标人脸图像以及扰动noise，利用待攻击人脸图像和攻击目标人脸图像对生成器G、检测器D以及检测器FCD进行训练后，即获得能够生成大量对抗性人脸图像的生成器G；
然后利用将训练好的生成器G生成大量的对抗性人脸图像混入到待攻击人脸图像A中形成新数据集，利用数据集重新训练检测器FCD，训练好后，将攻击目标人脸图像输入至重新训练的检测器FCD，输出攻击目标人脸图像的置信度；
根据攻击目标人脸图像的置信度，观察中毒攻击效果，根据中毒攻击现象的严重性，采用不同防御措施。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910808010.0A CN110598400B (zh) | 2019-08-29 | 2019-08-29 | 一种基于生成对抗网络的高隐藏中毒攻击的防御方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910808010.0A CN110598400B (zh) | 2019-08-29 | 2019-08-29 | 一种基于生成对抗网络的高隐藏中毒攻击的防御方法及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110598400A true CN110598400A (zh) | 2019-12-20 |
| CN110598400B CN110598400B (zh) | 2021-03-05 |
Family
ID=68856252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910808010.0A Active CN110598400B (zh) | 2019-08-29 | 2019-08-29 | 一种基于生成对抗网络的高隐藏中毒攻击的防御方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110598400B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597983A (zh) * | 2020-05-14 | 2020-08-28 | 公安部第三研究所 | 基于深度卷积神经网络实现生成式虚假人脸图像鉴定的方法 |
| CN111737691A (zh) * | 2020-07-24 | 2020-10-02 | 支付宝(杭州)信息技术有限公司 | 对抗样本的生成方法和装置 |
| CN111738217A (zh) * | 2020-07-24 | 2020-10-02 | 支付宝(杭州)信息技术有限公司 | 生成人脸对抗补丁的方法和装置 |
| CN111881935A (zh) * | 2020-06-19 | 2020-11-03 | 北京邮电大学 | 一种基于内容感知gan的对抗样本生成方法 |
| CN112162515A (zh) * | 2020-10-10 | 2021-01-01 | 浙江大学 | 一种针对过程监控系统的对抗攻击方法 |
| CN112163638A (zh) * | 2020-10-20 | 2021-01-01 | 腾讯科技（深圳）有限公司 | 图像分类模型后门攻击的防御方法、装置、设备及介质 |
| CN112528281A (zh) * | 2020-12-11 | 2021-03-19 | 浙江工业大学 | 联邦学习的中毒攻击检测方法、装置及设备 |
| CN112598029A (zh) * | 2020-12-07 | 2021-04-02 | 中国建设银行股份有限公司 | 一种ocr识别对抗样本攻击的方法和装置 |
| CN112927211A (zh) * | 2021-03-09 | 2021-06-08 | 电子科技大学 | 一种基于深度三维检测器的通用对抗攻击方法、存储介质和终端 |
| CN113076557A (zh) * | 2021-04-02 | 2021-07-06 | 北京大学 | 一种基于对抗攻击的多媒体隐私保护方法、装置及设备 |
| CN113283476A (zh) * | 2021-04-27 | 2021-08-20 | 广东工业大学 | 一种物联网网络入侵检测方法 |
| CN113380255A (zh) * | 2021-05-19 | 2021-09-10 | 浙江工业大学 | 一种基于迁移训练的声纹识别中毒样本生成方法 |
| CN113395280A (zh) * | 2021-06-11 | 2021-09-14 | 成都为辰信息科技有限公司 | 基于生成对抗网络的抗混淆性网络入侵检测方法 |
| CN113420289A (zh) * | 2021-06-17 | 2021-09-21 | 浙江工业大学 | 面向深度学习模型的隐蔽中毒攻击防御方法及其装置 |
| CN113821770A (zh) * | 2021-07-07 | 2021-12-21 | 大连理工大学 | 一种针对共享数据保护的定向对抗下毒攻击方法 |
| CN113988312A (zh) * | 2021-11-02 | 2022-01-28 | 贵州大学 | 一种面向机器学习模型的成员推理隐私攻击方法及系统 |
| CN113988293A (zh) * | 2021-10-29 | 2022-01-28 | 北京邮电大学 | 一种不同层级函数组合的对抗生成网络的方法 |
| CN114726636A (zh) * | 2022-04-19 | 2022-07-08 | 电子科技大学 | 一种异构跨域系统的攻击动态检测与识别方法 |
| CN114866341A (zh) * | 2022-06-17 | 2022-08-05 | 哈尔滨工业大学 | 面向网络入侵检测系统的漏洞放大式后门攻击安全评估方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108322349A (zh) * | 2018-02-11 | 2018-07-24 | 浙江工业大学 | 基于对抗式生成网络的深度学习对抗性攻击防御方法 |
| CN109460814A (zh) * | 2018-09-28 | 2019-03-12 | 浙江工业大学 | 一种具有防御对抗样本攻击功能的深度学习分类方法 |
| US20190253452A1 (en) * | 2018-02-14 | 2019-08-15 | Cisco Technology, Inc. | Adaptive union file system based protection of services |
-
2019
- 2019-08-29 CN CN201910808010.0A patent/CN110598400B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108322349A (zh) * | 2018-02-11 | 2018-07-24 | 浙江工业大学 | 基于对抗式生成网络的深度学习对抗性攻击防御方法 |
| US20190253452A1 (en) * | 2018-02-14 | 2019-08-15 | Cisco Technology, Inc. | Adaptive union file system based protection of services |
| CN109460814A (zh) * | 2018-09-28 | 2019-03-12 | 浙江工业大学 | 一种具有防御对抗样本攻击功能的深度学习分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| ZHIGANG LI等: "Generate Identity-Preserving Faces by Generative Adversarial Networks", 《ARXIV》 * |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111597983A (zh) * | 2020-05-14 | 2020-08-28 | 公安部第三研究所 | 基于深度卷积神经网络实现生成式虚假人脸图像鉴定的方法 |
| CN111597983B (zh) * | 2020-05-14 | 2023-06-06 | 公安部第三研究所 | 基于深度卷积神经网络实现生成式虚假人脸图像鉴定的方法 |
| CN111881935A (zh) * | 2020-06-19 | 2020-11-03 | 北京邮电大学 | 一种基于内容感知gan的对抗样本生成方法 |
| CN111737691A (zh) * | 2020-07-24 | 2020-10-02 | 支付宝(杭州)信息技术有限公司 | 对抗样本的生成方法和装置 |
| CN111738217A (zh) * | 2020-07-24 | 2020-10-02 | 支付宝(杭州)信息技术有限公司 | 生成人脸对抗补丁的方法和装置 |
| CN111738217B (zh) * | 2020-07-24 | 2020-11-13 | 支付宝(杭州)信息技术有限公司 | 生成人脸对抗补丁的方法和装置 |
| CN112162515B (zh) * | 2020-10-10 | 2021-08-03 | 浙江大学 | 一种针对过程监控系统的对抗攻击方法 |
| CN112162515A (zh) * | 2020-10-10 | 2021-01-01 | 浙江大学 | 一种针对过程监控系统的对抗攻击方法 |
| CN112163638A (zh) * | 2020-10-20 | 2021-01-01 | 腾讯科技（深圳）有限公司 | 图像分类模型后门攻击的防御方法、装置、设备及介质 |
| CN112163638B (zh) * | 2020-10-20 | 2024-02-13 | 腾讯科技（深圳）有限公司 | 图像分类模型后门攻击的防御方法、装置、设备及介质 |
| CN112598029A (zh) * | 2020-12-07 | 2021-04-02 | 中国建设银行股份有限公司 | 一种ocr识别对抗样本攻击的方法和装置 |
| CN112528281B (zh) * | 2020-12-11 | 2024-08-27 | 浙江工业大学 | 联邦学习的中毒攻击检测方法、装置及设备 |
| CN112528281A (zh) * | 2020-12-11 | 2021-03-19 | 浙江工业大学 | 联邦学习的中毒攻击检测方法、装置及设备 |
| CN112927211A (zh) * | 2021-03-09 | 2021-06-08 | 电子科技大学 | 一种基于深度三维检测器的通用对抗攻击方法、存储介质和终端 |
| CN112927211B (zh) * | 2021-03-09 | 2023-08-25 | 电子科技大学 | 一种基于深度三维检测器的通用对抗攻击方法、存储介质和终端 |
| CN113076557A (zh) * | 2021-04-02 | 2021-07-06 | 北京大学 | 一种基于对抗攻击的多媒体隐私保护方法、装置及设备 |
| CN113076557B (zh) * | 2021-04-02 | 2022-05-20 | 北京大学 | 一种基于对抗攻击的多媒体隐私保护方法、装置及设备 |
| CN113283476A (zh) * | 2021-04-27 | 2021-08-20 | 广东工业大学 | 一种物联网网络入侵检测方法 |
| CN113283476B (zh) * | 2021-04-27 | 2023-10-10 | 广东工业大学 | 一种物联网网络入侵检测方法 |
| CN113380255B (zh) * | 2021-05-19 | 2022-12-20 | 浙江工业大学 | 一种基于迁移训练的声纹识别中毒样本生成方法 |
| CN113380255A (zh) * | 2021-05-19 | 2021-09-10 | 浙江工业大学 | 一种基于迁移训练的声纹识别中毒样本生成方法 |
| CN113395280B (zh) * | 2021-06-11 | 2022-07-26 | 成都为辰信息科技有限公司 | 基于生成对抗网络的抗混淆性网络入侵检测方法 |
| CN113395280A (zh) * | 2021-06-11 | 2021-09-14 | 成都为辰信息科技有限公司 | 基于生成对抗网络的抗混淆性网络入侵检测方法 |
| CN113420289B (zh) * | 2021-06-17 | 2022-08-26 | 浙江工业大学 | 面向深度学习模型的隐蔽中毒攻击防御方法及其装置 |
| CN113420289A (zh) * | 2021-06-17 | 2021-09-21 | 浙江工业大学 | 面向深度学习模型的隐蔽中毒攻击防御方法及其装置 |
| CN113821770A (zh) * | 2021-07-07 | 2021-12-21 | 大连理工大学 | 一种针对共享数据保护的定向对抗下毒攻击方法 |
| CN113988293A (zh) * | 2021-10-29 | 2022-01-28 | 北京邮电大学 | 一种不同层级函数组合的对抗生成网络的方法 |
| CN113988293B (zh) * | 2021-10-29 | 2024-07-12 | 北京邮电大学 | 一种不同层级函数组合的对抗生成网络的方法 |
| CN113988312A (zh) * | 2021-11-02 | 2022-01-28 | 贵州大学 | 一种面向机器学习模型的成员推理隐私攻击方法及系统 |
| CN114726636A (zh) * | 2022-04-19 | 2022-07-08 | 电子科技大学 | 一种异构跨域系统的攻击动态检测与识别方法 |
| CN114866341A (zh) * | 2022-06-17 | 2022-08-05 | 哈尔滨工业大学 | 面向网络入侵检测系统的漏洞放大式后门攻击安全评估方法 |
| CN114866341B (zh) * | 2022-06-17 | 2024-03-05 | 哈尔滨工业大学 | 面向网络入侵检测系统的漏洞放大式后门攻击安全评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110598400B (zh) | 2021-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110598400A (zh) | 一种基于生成对抗网络的高隐藏中毒攻击的防御方法及应用 | |
| CN110674938B (zh) | 基于协同多任务训练的对抗攻击防御方法 | |
| Kanimozhi et al. | Artificial intelligence based network intrusion detection with hyper-parameter optimization tuning on the realistic cyber dataset CSE-CIC-IDS2018 using cloud computing | |
| Khan et al. | Malicious insider attack detection in IoTs using data analytics | |
| US10084822B2 (en) | Intrusion detection and prevention system and method for generating detection rules and taking countermeasures | |
| Park et al. | Host-based intrusion detection model using siamese network | |
| JP7512523B2 (ja) | ビデオ検出方法、装置、電子機器及び記憶媒体 | |
| CN113094707B (zh) | 一种基于异质图网络的横向移动攻击检测方法及系统 | |
| CN108960064A (zh) | 一种基于卷积神经网络的人脸检测及识别方法 | |
| Yin et al. | Defense against adversarial attacks by low‐level image transformations | |
| Liang et al. | Poisoned forgery face: Towards backdoor attacks on face forgery detection | |
| Gao et al. | Backdoor attack with sparse and invisible trigger | |
| Chen et al. | {FACE-AUDITOR}: Data auditing in facial recognition systems | |
| CN117579290A (zh) | 一种基于融合时空注意力的积分时空图卷积神经网络的恶意流量检测方法 | |
| Gong et al. | Agramplifier: defending federated learning against poisoning attacks through local update amplification | |
| Sun et al. | Instance-level trojan attacks on visual question answering via adversarial learning in neuron activation space | |
| Al Solami et al. | Continuous biometric authentication: Can it be more practical? | |
| Xue | Research on network security intrusion detection with an extreme learning machine algorithm | |
| Hu et al. | ${\sf VeriDIP} $ VeriDIP: Verifying Ownership of Deep Neural Networks Through Privacy Leakage Fingerprints | |
| CN113989898B (zh) | 一种基于空间敏感度的人脸对抗样本检测方法 | |
| Osamor et al. | Deep learning-based hybrid model for efficient anomaly detection | |
| Gomathy et al. | Network intrusion detection using genetic algorithm and neural network | |
| Zhang et al. | Pip: Detecting adversarial examples in large vision-language models via attention patterns of irrelevant probe questions | |
| CN115664784A (zh) | 一种采用多模组学习的网络攻击免疫防御方法及系统 | |
| Srinivasan | Keylogger malware detection using machine learning model for platform-independent devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared | ||
| OL01 | Intention to license declared | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20191220 Assignee: Linyi CITIC Information Technology Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2024980035813 Denomination of invention: A defense method and application for high hidden poisoning attacks based on generative adversarial networks Granted publication date: 20210305 License type: Open License Record date: 20241219 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20191220 Assignee: FENGCHENG TANTAI BIOTECHNOLOGY Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2024980037343 Denomination of invention: A defense method and application for high hidden poisoning attacks based on generative adversarial networks Granted publication date: 20210305 License type: Open License Record date: 20241223 Application publication date: 20191220 Assignee: Shandong Kangdi Decoration Material Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2024980037342 Denomination of invention: A defense method and application for high hidden poisoning attacks based on generative adversarial networks Granted publication date: 20210305 License type: Open License Record date: 20241222 Application publication date: 20191220 Assignee: Shandong Quanyi Machinery Manufacturing Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2024980037341 Denomination of invention: A defense method and application for high hidden poisoning attacks based on generative adversarial networks Granted publication date: 20210305 License type: Open License Record date: 20241222 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20191220 Assignee: SHANDONG KAIJIA ENERGY SAVING BUILDING MATERIAL ENGINEERING Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2024980038855 Denomination of invention: A defense method and application for high hidden poisoning attacks based on generative adversarial networks Granted publication date: 20210305 License type: Open License Record date: 20241226 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20191220 Assignee: Hangzhou MuShang Exhibition Design Co.,Ltd. Assignor: JIANG University OF TECHNOLOGY Contract record no.: X2024980041359 Denomination of invention: A defense method and application for high hidden poisoning attacks based on generative adversarial networks Granted publication date: 20210305 License type: Open License Record date: 20241231 |
|
| EE01 | Entry into force of recordation of patent licensing contract |