CN113283590A - 一种面向后门攻击的防御方法 - Google Patents

一种面向后门攻击的防御方法 Download PDF

Info

Publication number
CN113283590A
CN113283590A CN202110656133.4A CN202110656133A CN113283590A CN 113283590 A CN113283590 A CN 113283590A CN 202110656133 A CN202110656133 A CN 202110656133A CN 113283590 A CN113283590 A CN 113283590A
Authority
CN
China
Prior art keywords
data
network
node
train
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110656133.4A
Other languages
English (en)
Other versions
CN113283590B (zh
Inventor
陈晋音
熊海洋
黄国瀚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202110656133.4A priority Critical patent/CN113283590B/zh
Publication of CN113283590A publication Critical patent/CN113283590A/zh
Application granted granted Critical
Publication of CN113283590B publication Critical patent/CN113283590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及人工智能技术领域，具体公开一种面向后门攻击的防御方法，包括如下步骤：步骤1，获取图神经网络模型Moracle及其训练数据集Dataoracle；步骤2，对训练数据集Dataoracle进行预处理；步骤3，构建生成器网络G，得到预测图Ypred；步骤4，构建鉴别器网络D，并输出图数据二分类的结果；步骤5，防御模型的训练，完成后门攻击的防御网络模型搭建；步骤6，将删减连边处理后的任务数据Dreal输入到生成器网络G中进行数据重建，得到任务结果。本发明的防御方法能直接破坏插入在图数据中的触发器结构，导致它无法取得该有的效果，但又不影响正常样本，模型对于输入正常样本仍然可以表现出应有的性能。

Description

一种面向后门攻击的防御方法
技术领域
本发明涉及人工智能技术领域，具体涉及一种面向后门攻击的防御方法。
背景技术
深度学习逐渐成为人工智能领域的研究热点和主流发展方向。近年来，深度学习经过快速的发展，被运用到许多任务上，取得了良好的效果，从图像分类到视频处理再到语音识别和自然语言处理。这些任务中的数据通常表示在欧几里得空间中，然而，越来越多的任务从非欧几里得生成数据，并将它们表示为具有复杂关系和相互依赖关系的图。现实生活中大多数的系统都可以用图数据来表示，例如社交网络，通信网络，生物网络和智能电网等。随着图数据的应用范围的增多，越来越多的深度神经网络被用于解决图演化任务，例如图分类、节点分类和链接预测等。
图神经网络解决图演化任务的过程中，同时也带来了许多的问题，而关于图神经网络模型的安全问题是在整个过程里尤为重要的部分。目前对于深度学习的模型的安全性工作，大多数都是关于连续数据(例如图像)DNN的，但对于离散结构数据(例如图)的图神经网络(GNN)的脆弱性知之甚少，鉴于其应用范围的增加，其安全性是一个高度令人担忧的问题。
其中，图神经网络(GNN)在后门攻击的防御方面研究近乎空白，但GNN确实遭遇着后门攻击的威胁，后门攻击是发生在训练阶段的攻击方法，攻击者通过设置好触发器的训练数据来对模型进行训练，该模型能在应用阶段以高度可预测的方式响应带有触发器嵌入的数据输入，导致模型产生预先设置好的结果，而对于输入模型的其他正常样本，模型则能正常运行。模型一旦在训练阶段被设置好了触发器，该模型就相当于给攻击者留出了后门，攻击者在模型的使用阶段，输入带有触发器嵌入的数据，将导致极其严重的后果，为此提出针对后门攻击的防御方法是十分重要的。
图神经网络后门攻击这一领域，近些年，出现了几种不同的攻击方法，在其攻击性能上都表现良好，但对于后门攻击的防御方法，目前还处于空白状态，这使得图神经网络模型在安全这一领域，时刻有遭受着后门攻击的危险，而造成严重的后果。为此本发明提出了面向图神经网络模型基于生成式对抗网络的后门攻击防御方法，来尽可能减少后门攻击在图神经网络模型领域所带来的损失，来提高模型的安全性。
发明内容
本发明为了克服现有技术图神经网络后门防御方法的空白，本发明提供一种基于生成式对抗网络的后门攻击防御方法，对输入到正在运行模型的数据进行预处理，破坏数据中存在的触发器结构，从而起到防御的作用。
为实现上述目的，本发明采用的技术方案是：
一种面向后门攻击的防御方法，包括如下步骤：
步骤1，获取图神经网络模型Moracle及其训练数据集Dataoracle；
步骤2，对训练数据集Dataoracle进行预处理：取出部分数据组成干净样本数据集Dataclean，连边操作后获得新的训练数据集Datadeal，将新的训练数据集Datadeal划分为训练集Datatrain，验证集Dataval和测试集Datatest；
步骤3，构建生成器网络G，将所述训练集Datatrain中样本数据输入到生成器网络G中，得到重要性数值eij；将所述重要性数值eij输入softmax层得到相应的节点嵌入h'，将节点嵌入h'经解码器解码得到预测图Ypred；
步骤4，构建鉴别器网络D，将所述干净样本数据集Dataclean和预测图Ypred输入鉴别器，经鉴别器网络D特征提取得到相应的节点嵌入Ztrain，将节点嵌入Ztrain输入全连接层FC和softmax层，输出图数据二分类的结果；
步骤5，防御模型的训练：对生成器网络G和判别器进行优化训练，得到训练后的生成器网络G作为后续防御网络；将所述数据训练集Datatrain和生成器网络G的优化函数输入到后续防御网络中降低模型的损失函数值，完成后门攻击的防御网络模型搭建；
步骤6，防御模型中生成器网络的应用：将删减连边处理后的任务数据Dreal输入到生成器网络G中进行数据重建，得到最终数据Dreal_defense，再将该数据送入执行下有任务的模型Moracle中，得到任务结果。
优选地，所述图神经网络模型Moracle的下游任务为图分类任务；图神经网络模型Moracle为已经训练完成的图分类器f:E→{0,1,...,yi}；其中E为相应的输入样本，{0,1,...,yi}为所对应的分类器预测标签。
优选地，所述训练数据集Dataoracle为COLLAB数据集，Twitter数据集或Bitcoin数据集。该数据可从网络上进行下载。该数据集为针对图分类任务，每一数据集都有若干张图Gi，并每一张图都有相对应的其被分类的标签yi，图数据是由节点和连边组成，其中图数据用G表示，图数据的结构信息用邻接矩阵Aij表示，若节点i,j之间存在连边，则在其相对应邻接矩阵位置eij的数值为1，不存在连边eij其对应数值为0，每个节点有着来自同一分布的特征矩阵X～U(0,1)。
对于不同数据集，其节点和连边都有着其对应含义，例如COLLAB数据集，一个样本代表一位研究者自我中心网络，其中，研究者和其合作的研究人员，都是使用节点来表示，两者之间如果存在合作联系，则两者之间会存在一条连边，而每一样本都存在其相对应的标签，该数据的标签可能的标签为高能物理，凝聚态物理和天体物理学，标签由0，1，2来表示。
优选地，步骤3中，
得到重要性数值eij的过程具体包括：将所述训练集Datatrain中每一样本数据转换成相应的邻接矩阵Atrain和特征矩阵Xtrain～U(0,1)，输入到生成器网络G中，其中特征矩阵Xtrain作为噪声输入，通过GAT网络得到节点的嵌入，从输入数据得到的节点特征的集合
Figure BDA0003113687320000041
表示为：
Figure BDA0003113687320000042
其中，
Figure BDA0003113687320000043
为节点i的特征向量,N为节点的数量，F节点的特征维度；eij代表节点j对节点i的重要性程度，a为映射函数，W为权重参数矩阵。
优选地，步骤3中，得到预测图Ypred的过程具体包括：
将所述重要性数值eij输入softmax层得到相应的重要性系数αij，并对邻居节点进行聚合，得到各个节点新的特征向量，公式为：
Figure BDA0003113687320000044
Figure BDA0003113687320000045
其中，
Figure BDA0003113687320000046
是得到的节点i的新特征向量，F'是新特征的维度，N为节点的数量；
再将得到的节点嵌入h'输入到解码器中进行解码，解码过程公式如下：
Figure BDA0003113687320000047
其中，Y∈RN×N是通过解码器预测出的邻接矩阵，W是全连接层的权重，B是偏置，ReLU，softmax为激活函数，节点嵌入h'通过解码器得到了预测结果Ytrain∈RN×N，Ytrain(i,j)取值范围在[0,1],对其进行阈值处理，Ytrain(i,j)≥0.5,赋值为1，表示节点i和节点j之间存在连边，否则为0，表示节点i和节点j之间不存在连边，得到最后的预测图Ypred。
优选地，步骤4中，所述鉴别器网络D包括两层GCN网络、一层全连接层FC和一层softmax层，其中GCN网络用于提取数据特征，全连接层FC以及softmax层用于分类。
优选地，步骤4中，取得相应的节点嵌入Ztrain的过程具体包括：将所述干净样本数据集Dataclean和预测图Ypred输入鉴别器，经过GCN网络进行数据的特征提取,Z∈RN×F是节点通过GCN所得到的嵌入特征，X∈RN×D是特征矩阵Xtrain，A∈RN×N是邻接矩阵Atrain，N其中为节点的个数，D为节点的特征维数，W(0)、W(1)分别为第一、第二层权重参数，ReLU为激活函数，得到相应的节点嵌入Ztrain。
优选地，步骤4中，输出图数据二分类的结果的过程具体包括：将节点嵌入Ztrain输入全连接层FC和softmax层，输出的Y是对输入样本最后分类的概率，
Figure BDA0003113687320000051
是全连接层的权重，
Figure BDA0003113687320000052
是偏置，ReLU和softmax为激活函数，最后输入图数据二分类的结果。
优选地，步骤5中，对生成器网络G和判别器进行优化训练具体过程包括：
所述生成器网络G的优化函数，生成器网络G目的在于得到的生成样本G(Adeal)与真实样本，越接近越好，让判别器无法做出准确的判断。优化函数的公式如下：
Figure BDA0003113687320000053
Figure BDA0003113687320000054
其中，Lbce为二值交叉熵，G为生成器，D为鉴别器，N为训练样本的数量；
判别器的目标是，将干净样本与生成器生成的样本进行区分，干净样本的标签是1，而生成器生成的样本标签为0，去训练好这一判别器。而生成器和判别器是一个相互博弈的过程，不断训练，双方也就不断完善，最后当判别器无法识别干净样本与生成器生成样本时，防御网络训练完成，本发明取出训练完成的生成器网络G来进行后续的防御。所述判别器的优化函数公式如下：
Figure BDA0003113687320000055
将所述数据训练集Datatrain和生成器网络G的优化函数输入到后续防御网络进行村联，练时采用小批量梯度下降(Mini-Batch Gradient Descent，MBGD)的训练方法，每次从训练集中随机选择一批数据用于模型的训练，既可避免随机梯度下降(StochasticGradient Descent，SGD)产生的训练震荡，也可避免批量梯度下降(Batch GradientDescent，BGD)对资源的过度消耗，批的大小选择128。训练目标是通过梯度的前向和反向传播调整网络的结构参数，不断降低模型的损失函数值，完成后门攻击的防御网络模型搭建；
为避免实验偶然性的干扰，实验采用十折交叉验证，即将数据集分成10份，每次选取其中的9份用于训练，一份用于测试。训练完成后，用于防御神经网络后门攻击的网络模型搭建完毕。
优选地，步骤6中，删减连边处理后的任务数据Dreal的过程包括：对需要输入所述图神经网络模型Moracle的下有任务数据Dreal随机删减连边处理，得到处理后的任务数据Dreal。
本发明的技术构思为：后门攻击的触发方式是将子图结构作为触发器，导致被设置了触发器的神经网络模型输出错误的结果，因此本发明提出了一种基于GAN网络的数据重构防御模型，将数据先随机删减连边，破坏其中的网络结构，再使用生成器网络对数据进行重构，复原最初的图结构，如果是正常样本通过这一网络，会恢复到与输入相似的图结构，不会影响后续的任务操作，而被设置的触发器的样本，子图结构被破坏，就意味着触发器结构被破坏了，因触发器的结构与正常样本之间的结构差异性，被破坏后无法恢复成原来的触发器的结构，经过这样的数据预处理的操作，就能针对向图神经网络的后门攻击起到防御作用，且不影响模型在正常样本上的性能。
与现有技术相比，本发明具有以下有益效果：
对于现有类型的大部分后门攻击方法，提出了一种面向后门攻击的防御方法。该方法能直接破坏插入在图数据中的触发器结构，导致它无法取得该有的效果，但又不影响正常样本，模型对于输入正常样本仍然可以表现出应有的性能。
附图说明
图1为实施例中面向神经网络后门攻击的防御方法流程图。
图2为实施例中基于GAN网络的防御模型框架图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。本领域技术人员在理解本发明的技术方案基础上进行修改或等同替换，而未脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围内。
如图1-2所示，一种面向后门攻击的防御方法，包括如下步骤：
步骤1，获取图神经网络模型Moracle及其训练数据集Dataoracle；
实施例中所述图神经网络模型Moracle的下游任务为图分类任务；图神经网络模型Moracle为已经训练完成的图分类器f:E→{0,1,...,yi}；其中E为相应的输入样本，{0,1,...,yi}为所对应的分类器预测标签。
所述训练数据集Dataoracle为COLLAB数据集，Twitter数据集或Bitcoin数据集。该数据可从网络上进行下载。该数据集为针对图分类任务，每一数据集都有若干张图Gi，并每一张图都有相对应的其被分类的标签yi，图数据是由节点和连边组成，其中图数据用G表示，图数据的结构信息用邻接矩阵Aij表示，若节点i,j之间存在连边，则在其相对应邻接矩阵位置eij的数值为1，不存在连边eij其对应数值为0，每个节点有着来自同一分布的特征矩阵X～U(0,1)。
对于不同数据集，其节点和连边都有着其对应含义，例如COLLAB数据集，一个样本代表一位研究者自我中心网络，其中，研究者和其合作的研究人员，都是使用节点来表示，两者之间如果存在合作联系，则两者之间会存在一条连边，而每一样本都存在其相对应的标签，该数据的标签可能的标签为高能物理，凝聚态物理和天体物理学，标签由0，1，2来表示。
步骤2，对训练数据集Dataoracle进行预处理：取出部分数据组成干净样本数据集Dataclean，连边操作后获得新的训练数据集Datadeal，将新的训练数据集Datadeal划分为训练集Datatrain，验证集Dataval和测试集Datatest；
步骤3，构建生成器网络G，生成器网络G包括编码器和解码器，所述编码器为GAT网络，所述解码器为全连接层FC网络；
3-1，将所述训练集Datatrain中每一样本数据转换成相应的邻接矩阵Atrain和特征矩阵Xtrain～U(0,1)，输入到生成器网络G中，其中特征矩阵Xtrain作为噪声输入，通过GAT网络得到节点的嵌入，从输入数据得到的节点特征的集合
Figure BDA0003113687320000081
Figure BDA0003113687320000082
表示为：
Figure BDA0003113687320000083
其中，
Figure BDA0003113687320000084
为节点i的特征向量，N为节点的数量，F节点的特征维度；eij代表节点j对节点i的重要性程度，a为映射函数，W为权重参数矩阵。
3-2，将所述重要性数值eij输入softmax层得到相应的重要性系数αij，并对邻居节点进行聚合，得到各个节点新的特征向量，公式为：
Figure BDA0003113687320000085
Figure BDA0003113687320000086
其中，
Figure BDA0003113687320000087
是得到的节点i的新特征向量，F'是新特征的维度，N为节点的数量；
再将得到的节点嵌入h'输入到解码器中进行解码，解码过程公式如下：
Figure BDA0003113687320000088
其中，Y∈RN×N是通过解码器预测出的邻接矩阵，W是全连接层的权重，B是偏置，ReLU，softmax为激活函数，节点嵌入h'通过解码器得到了预测结果Ytrain∈RN×N，Ytrain(i,j)取值范围在[0,1],对其进行阈值处理，Ytrain(i,j)≥0.5,赋值为1，表示节点i和节点j之间存在连边，否则为0，表示节点i和节点j之间不存在连边，得到最后的预测图Ypred。
步骤4，构建鉴别器网络D，所述鉴别器网络D包括两层GCN网络、一层全连接层FC和一层softmax层，其中GCN网络用于提取数据特征，全连接层FC以及softmax层用于分类。
4-1，将所述干净样本数据集Dataclean和预测图Ypred输入鉴别器，经过GCN网络进行数据的特征提取,Z∈RN×F是节点通过GCN所得到的嵌入特征，X∈RN×D是特征矩阵Xtrain，A∈RN×N是邻接矩阵Atrain，N其中为节点的个数，D为节点的特征维数，W(0)、W(1)分别为第一、第二层权重参数，ReLU为激活函数，得到相应的节点嵌入Ztrain；
4-2，输出图数据二分类的结果的过程具体包括：将节点嵌入Ztrain输入全连接层FC和softmax层，输出的Y是对输入样本最后分类的概率，
Figure BDA0003113687320000091
是全连接层的权重，
Figure BDA0003113687320000092
是偏置，ReLU和softmax为激活函数，最后输入图数据二分类的结果。
步骤5，防御模型的训练：对生成器网络G和判别器进行优化训练，得到训练后的生成器网络G作为后续防御网络；
所述生成器网络G的优化函数，生成器网络G目的在于得到的生成样本G(Adeal)与真实样本，越接近越好，让判别器无法做出准确的判断。优化函数的公式如下：
Figure BDA0003113687320000093
Figure BDA0003113687320000094
其中，Lbce为二值交叉熵，G为生成器，D为鉴别器，N为训练样本的数量；
判别器的目标是，将干净样本与生成器生成的样本进行区分，干净样本的标签是1，而生成器生成的样本标签为0，去训练好这一判别器。而生成器和判别器是一个相互博弈的过程，不断训练，双方也就不断完善，最后当判别器无法识别干净样本与生成器生成样本时，防御网络训练完成，本发明取出训练完成的生成器网络G来进行后续的防御。所述判别器的优化函数公式如下：
Figure BDA0003113687320000101
将所述数据训练集Datatrain和生成器网络G的优化函数输入到后续防御网络进行村联，练时采用小批量梯度下降(Mini-Batch Gradient Descent，MBGD)的训练方法，每次从训练集中随机选择一批数据用于模型的训练，既可避免随机梯度下降(StochasticGradient Descent，SGD)产生的训练震荡，也可避免批量梯度下降(Batch GradientDescent，BGD)对资源的过度消耗，批的大小选择128。训练目标是通过梯度的前向和反向传播调整网络的结构参数，不断降低模型的损失函数值，完成后门攻击的防御网络模型搭建；
为避免实验偶然性的干扰，实验采用十折交叉验证，即将数据集分成10份，每次选取其中的9份用于训练，一份用于测试。训练完成后，用于防御神经网络后门攻击的网络模型搭建完毕。
步骤6，防御模型中生成器网络的应用：对需要输入所述图神经网络模型Moracle的下有任务数据Dreal随机删减连边处理，得到处理后的任务数据Dreal。将删减连边处理后的任务数据Dreal输入到生成器网络G中进行数据重建，得到最终数据Dreal_defense，再将该数据送入执行下有任务的模型Moracle中，得到任务结果。

Claims (10)

1.一种面向后门攻击的防御方法，其特征在于，包括如下步骤：
步骤1，获取图神经网络模型Moracle及其训练数据集Dataoracle；
步骤2，对训练数据集Dataoracle进行预处理：取出部分数据组成干净样本数据集Dataclean，连边操作后获得新的训练数据集Datadeal，将新的训练数据集Datadeal划分为训练集Datatrain，验证集Dataval和测试集Datatest；
步骤3，构建生成器网络G，将所述训练集Datatrain中样本数据输入到生成器网络G中，得到重要性数值eij；将所述重要性数值eij输入softmax层得到相应的节点嵌入h'，将节点嵌入h'经解码器解码得到预测图Ypred；
步骤4，构建鉴别器网络D，将所述干净样本数据集Dataclean和预测图Ypred输入鉴别器，经鉴别器网络D特征提取得到相应的节点嵌入Ztrain，将节点嵌入Ztrain输入全连接层FC和softmax层，输出图数据二分类的结果；
步骤5，防御模型的训练：对生成器网络G和判别器进行优化训练，得到训练后的生成器网络G作为后续防御网络；将所述数据训练集Datatrain和生成器网络G的优化函数输入到后续防御网络中降低模型的损失函数值，完成后门攻击的防御网络模型搭建；
步骤6，防御模型中生成器网络的应用：将删减连边处理后的任务数据Dreal输入到生成器网络G中进行数据重建，得到最终数据Dreal_defense，再将该数据送入执行下有任务的模型Moracle中，得到任务结果。
2.根据权利要求1所述的面向后门攻击的防御方法，其特征在于，所述图神经网络模型Moracle的下游任务为图分类任务；图神经网络模型Moracle为已经训练完成的图分类器f:E→{0,1,...,yi}；其中E为相应的输入样本，{0,1,...,yi}为所对应的分类器预测标签。
3.根据权利要求1所述的面向后门攻击的防御方法，其特征在于，所述训练数据集Dataoracle为COLLAB数据集，Twitter数据集或Bitcoin数据集。
4.根据权利要求1所述的面向后门攻击的防御方法，其特征在于，步骤3中，生成器网络G包括编码器和解码器，所述编码器为GAT网络，所述解码器为全连接层FC网络；
得到重要性数值eij的过程具体包括：将所述训练集Datatrain中每一样本数据转换成相应的邻接矩阵Atrain和特征矩阵Xtrain～U(0,1)，输入到生成器网络G中，其中特征矩阵Xtrain作为噪声输入，通过GAT网络得到节点的嵌入，从输入数据得到的节点特征的集合
Figure FDA0003113687310000021
表示为：
Figure FDA0003113687310000022
其中，
Figure FDA0003113687310000023
为节点i的特征向量,N为节点的数量，F节点的特征维度；eij代表节点j对节点i的重要性程度，a为映射函数，W为权重参数矩阵。
5.根据权利要求1所述的面向后门攻击的防御方法，其特征在于，步骤3中，得到预测图Ypred的过程具体包括：
将所述重要性数值eij输入softmax层得到相应的重要性系数αij，并对邻居节点进行聚合，得到各个节点新的特征向量，公式为：
Figure FDA0003113687310000024
Figure FDA0003113687310000025
其中，
Figure FDA0003113687310000026
是得到的节点i的新特征向量，F'是新特征的维度，N为节点的数量；
再将得到的节点嵌入h'输入到解码器中进行解码，解码过程公式如下：
Figure FDA0003113687310000027
其中，Y∈RN×N是通过解码器预测出的邻接矩阵，W是全连接层的权重，B是偏置，ReLU，softmax为激活函数，节点嵌入h'通过解码器得到了预测结果Ytrain∈RN×N，Ytrain(i,j)取值范围在[0,1],对其进行阈值处理，Ytrain(i,j)≥0.5,赋值为1，表示节点i和节点j之间存在连边，否则为0，表示节点i和节点j之间不存在连边，得到最后的预测图Ypred。
6.根据权利要求1所述的面向后门攻击的防御方法，其特征在于，步骤4中，所述鉴别器网络D包括两层GCN网络、一层全连接层FC和一层softmax层，其中GCN网络用于提取数据特征，全连接层FC以及softmax层用于分类。
7.根据权利要求1所述的面向后门攻击的防御方法，其特征在于，步骤4中，取得相应的节点嵌入Ztrain的过程具体包括：将所述干净样本数据集Dataclean和预测图Ypred输入鉴别器，经过GCN网络进行数据的特征提取,Z∈RN×F是节点通过GCN所得到的嵌入特征，X∈RN×D是特征矩阵Xtrain，A∈RN×N是邻接矩阵Atrain，N其中为节点的个数，D为节点的特征维数，W(0)、W(1)分别为第一、第二层权重参数，ReLU为激活函数，得到相应的节点嵌入Ztrain。
8.根据权利要求1所述的面向后门攻击的防御方法，其特征在于，步骤4中，输出图数据二分类的结果的过程具体包括：将节点嵌入Ztrain输入全连接层FC和softmax层，输出的Y是对输入样本最后分类的概率，
Figure FDA0003113687310000031
是全连接层的权重，
Figure FDA0003113687310000032
是偏置，ReLU和softmax为激活函数，最后输入图数据二分类的结果。
9.根据权利要求1所述的面向后门攻击的防御方法，其特征在于，步骤5中，对生成器网络G和判别器进行优化训练具体过程包括：
所述生成器网络G的优化函数，公式如下：
Figure FDA0003113687310000033
Figure FDA0003113687310000034
其中，Lbce为二值交叉熵，G为生成器，D为鉴别器，N为训练样本的数量；
所述判别器的优化函数公式如下：
Figure FDA0003113687310000041
10.根据权利要求1所述的面向后门攻击的防御方法，其特征在于，步骤6中，删减连边处理后的任务数据Dreal的过程包括：对需要输入所述图神经网络模型Moracle的下有任务数据Dreal随机删减连边处理，得到处理后的任务数据Dreal。
CN202110656133.4A 2021-06-11 2021-06-11 一种面向后门攻击的防御方法 Active CN113283590B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110656133.4A CN113283590B (zh) 2021-06-11 2021-06-11 一种面向后门攻击的防御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110656133.4A CN113283590B (zh) 2021-06-11 2021-06-11 一种面向后门攻击的防御方法

Publications (2)

Publication Number Publication Date
CN113283590A true CN113283590A (zh) 2021-08-20
CN113283590B CN113283590B (zh) 2024-03-19

Family

ID=77284602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110656133.4A Active CN113283590B (zh) 2021-06-11 2021-06-11 一种面向后门攻击的防御方法

Country Status (1)

Country Link
CN (1) CN113283590B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918717A (zh) * 2021-10-18 2022-01-11 中国人民解放军国防科技大学 清洗数据的文本后门防御方法
CN114897161A (zh) * 2022-05-17 2022-08-12 中国信息通信研究院 一种基于掩码的图分类后门攻击防御方法、系统、电子设备及存储介质
CN117131503A (zh) * 2023-10-27 2023-11-28 中孚信息股份有限公司 一种用户行为的威胁链识别方法
CN117274879A (zh) * 2023-10-10 2023-12-22 扬州大自然网络信息有限公司 一种工业网络安全智能防御系统及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110855649A (zh) * 2019-11-05 2020-02-28 西安交通大学 一种检测服务器中异常进程的方法与装置
CN112287997A (zh) * 2020-10-27 2021-01-29 浙江工业大学 一种基于生成式对抗网络的深度图卷积模型防御方法
US20210067549A1 (en) * 2019-08-29 2021-03-04 Nec Laboratories America, Inc. Anomaly detection with graph adversarial training in computer systems
CN112765607A (zh) * 2021-01-19 2021-05-07 电子科技大学 一种神经网络模型后门攻击检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210067549A1 (en) * 2019-08-29 2021-03-04 Nec Laboratories America, Inc. Anomaly detection with graph adversarial training in computer systems
CN110855649A (zh) * 2019-11-05 2020-02-28 西安交通大学 一种检测服务器中异常进程的方法与装置
CN112287997A (zh) * 2020-10-27 2021-01-29 浙江工业大学 一种基于生成式对抗网络的深度图卷积模型防御方法
CN112765607A (zh) * 2021-01-19 2021-05-07 电子科技大学 一种神经网络模型后门攻击检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵维;: "基于生成对抗网络的异常行为模拟算法研究", 长春理工大学学报(自然科学版), no. 06, 15 December 2019 (2019-12-15), pages 142 - 146 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918717A (zh) * 2021-10-18 2022-01-11 中国人民解放军国防科技大学 清洗数据的文本后门防御方法
CN113918717B (zh) * 2021-10-18 2023-07-04 中国人民解放军国防科技大学 清洗数据的文本后门防御方法
CN114897161A (zh) * 2022-05-17 2022-08-12 中国信息通信研究院 一种基于掩码的图分类后门攻击防御方法、系统、电子设备及存储介质
CN114897161B (zh) * 2022-05-17 2023-02-07 中国信息通信研究院 一种基于掩码的图分类后门攻击防御方法、系统、电子设备及存储介质
CN117274879A (zh) * 2023-10-10 2023-12-22 扬州大自然网络信息有限公司 一种工业网络安全智能防御系统及其方法
CN117131503A (zh) * 2023-10-27 2023-11-28 中孚信息股份有限公司 一种用户行为的威胁链识别方法
CN117131503B (zh) * 2023-10-27 2024-02-20 中孚信息股份有限公司 一种用户行为的威胁链识别方法

Also Published As

Publication number Publication date
CN113283590B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
Gao et al. Deep leaf‐bootstrapping generative adversarial network for structural image data augmentation
CN113283590A (zh) 一种面向后门攻击的防御方法
CN112199536A (zh) 一种基于跨模态的快速多标签图像分类方法和系统
CN113822315A (zh) 属性图的处理方法、装置、电子设备及可读存储介质
CN112580902B (zh) 对象数据处理方法、装置、计算机设备和存储介质
Suzuki et al. Adversarial example generation using evolutionary multi-objective optimization
CN113705099A (zh) 基于对比学习的社交平台谣言检测模型构建方法及检测方法
CN117155706A (zh) 网络异常行为检测方法及其系统
Suratkar et al. Deep-fake video detection approaches using convolutional–recurrent neural networks
Shanthamallu et al. Uncertainty-matching graph neural networks to defend against poisoning attacks
CN113268370A (zh) 一种根因告警分析方法、系统、设备及存储介质
CN111126155B (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN116977725A (zh) 一种基于改进卷积神经网络的异常行为识别方法及装置
Wistuba et al. Inductive transfer for neural architecture optimization
CN115987485B (zh) 一种水力模型数据处理方法
CN116188439A (zh) 一种基于身份识别概率分布的伪造换脸图像检测方法和装置
CN114265954B (zh) 基于位置与结构信息的图表示学习方法
CN116232699A (zh) 细粒度网络入侵检测模型的训练方法和网络入侵检测方法
Liang et al. Large-scale image classification using fast svm with deep quasi-linear kernel
CN116822569A (zh) 模型训练方法、装置、相关设备及存储介质
CN114842242A (zh) 一种基于生成模型的鲁棒对抗样本生成方法
CN114202397A (zh) 基于神经元激活值聚类的纵向联邦学习后门防御方法
CN113837360B (zh) 一种基于关系图的dnn鲁棒模型加固方法
CN117058493B (zh) 一种图像识别的安全防御方法、装置和计算机设备
Kato et al. EdgePruner: Poisoned Edge Pruning in Graph Contrastive Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant