CN114491515B - 基于节点匹配的对抗图生成方法、装置和计算机设备 - Google Patents
基于节点匹配的对抗图生成方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN114491515B CN114491515B CN202210080815.XA CN202210080815A CN114491515B CN 114491515 B CN114491515 B CN 114491515B CN 202210080815 A CN202210080815 A CN 202210080815A CN 114491515 B CN114491515 B CN 114491515B
- Authority
- CN
- China
- Prior art keywords
- node
- graph
- algorithm
- searching
- confrontation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computer Security & Cryptography (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Hardware Design (AREA)
- Physiology (AREA)
- Genetics & Genomics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于节点匹配的对抗图生成方法、装置、计算机设备和存储介质。所述方法包括:获取待修改的原始社交图;根据节点搜索算法搜索所述原始社交图,得到节点集;根据节点对应算法查找所述节点集中的每一个节点的对应节点,得到对应节点集;根据所述节点集和所述对应节点集,得到对抗边集合;根据所述对抗边集合修改所述原始社交图,获得对抗图。采用本方法能够将边搜索问题转化为节点搜索问题,灵活地选择具体实现算法,可以应对不同的攻击场景和攻击目标,高效地生成对抗图。
Description
技术领域
本发明涉及深度学习技术领域,特别是涉及一种基于节点匹配的对抗图生成方法、装置、计算机设备和存储介质。
背景技术
随着深度学习技术的发展,图神经网络在继承深度学习优点的同时,也隐含了深度学习容易受到干扰的缺点。攻击者可以通过改变图结构或者特征来欺骗图神经网络模型,导致模型产生分类错误,影响最终的决断。例如,在信用评分系统中,欺诈者可以通过伪造与高信用客户的潜在联系,逃脱欺诈检测;在引文网络中,虚假用户对检测模型进行对抗攻击,从而逃脱检测。目前针对图神经网络中节点分类任务的攻击方法可分为两类。
第一类方法为搜索式方法,攻击者通过遍历所有可能的对抗样本,计算修改该样本带来的攻击收益,最终得到最优的对抗样本,该方法的核心在于快速计算特定对抗样本带来的攻击收益。以对抗边生成方法为例,在图数据中,任意两个节点之间都有可能存在边,若节点数为N,则需要计算N2种可能性,计算复杂度非常高,无法应用于大型图数据。而且,该方法忽略了对抗样本之间的关联性,仅仅依靠单个对抗样本的攻击效果进行选择。
第二类方法是基于优化的对抗样本生成方法。在白盒攻击中,梯度是最具指导性的信息,因此基于梯度的对抗样本生成算法是当前主流的对抗攻击方法。这类方法通过迭代的方式,利用梯度信息优化对抗样本。在传统的深度学习中,基于梯度值的优化算法能够以极小的攻击代价造成巨大的攻击效果。以图片分类为例,最佳的攻击方法能够在人眼无法分辨的情况下,通过对像素点细微的改动,使深度学习模型以很高的置信度将大熊猫的图片分类为吉娃娃。但是,由于图数据中的边和特征为离散数据,难以直接利用梯度值优化对抗样本,目前已经有利用投影法、积分梯度法等近似方法进行梯度优化。
上述两类方法都存在一个共性问题,即都是在整个邻接矩阵上搜索(或优化)对抗样本,这种全局视角不但增加了计算复杂度,也限制了一些优秀的优化算法的应用。
发明内容
基于此,有必要针对上述技术问题,提供一种基于节点匹配的对抗图生成方法、装置、计算机设备和存储介质。
一种基于节点匹配的对抗图生成方法,所述方法包括:
获取待修改的原始引用关系图;
根据节点搜索算法搜索所述原始引用关系图,得到节点集;
根据节点对应算法查找所述节点集中的每一个节点的对应节点,得到对应节点集;
根据所述节点集和所述对应节点集,得到对抗边集合;
根据所述对抗边集合修改所述原始引用关系图,获得对抗图。
在其中一个实施例中,还包括:选择预先设置的优化算法策略,确定节点搜索算法的类型;所述优化算法策略包括:结果相关策略和结果无关策略;所述结果相关策略是通过节点搜索算法的损失值确定节点集中的节点,所述结果无关策略是通过节点对应算法的损失值确定节点集中的节点;根据优化算法策略确定的节点搜索算法搜索所述原始引用关系图,得到节点集。
在其中一个实施例中,还包括:选择预先设置的结果相关策略,确定节点搜索算法为逐个搜索算法和遗传算法;选择预先设置的结果无关策略,确定节点搜索算法为节点迭代算法。
在其中一个实施例中,还包括:根据基于梯度的优化方法或基于图卷积神经网络的生成方法查找所述节点集中的每一个节点的对应节点,得到对应节点集。
在其中一个实施例中,还包括:将所述节点对应算法进行近似优化,得到:
其中,为节点搜索算法搜索原始引用关系图得到的节点集,为节点对应算法查找节点集得到的对应节点集,表示原始引用关系图,表示修改原始引用关系图后得到的对抗图,θ*表示在原始引用关系图上进行训练后得到的模型参数,表示利用对抗边集合对图进行修改后在参数θ*上的训练误差,y表示节点标签,表示模型参数为θ*时修改后的图中节点vi的预测值,表示模型参数为θ时图中节点vi的预测值;
根据所述梯度损失值,计算梯度gt为:
根据所述梯度gt,确定被优化的对应节点集为:
在其中一个实施例中,还包括:构建初始生成模型;所述初始生成模型用于根据输入的节点集输出对应节点集;模型的输出为:
其中,gi表示Gumbel噪声,参数τ控制结果的分布,当τ趋近于0时,结果趋近于one-hot向量形式,
A为原始引用关系图的邻接矩阵,IN为单位对角矩阵,是一个对角矩阵,L表示隐藏层层数,l=0,1,…,L-1,H为隐藏层,W为模型参数;构建用于训练所述初始生成模型的损失函数;所述损失函数是通过训练图卷积神经网络分类模型构建;所述损失函数为:
其中, 为节点搜索算法搜索原始引用关系图得到的节点集,表示原始引用关系图,表示修改原始引用关系图后得到的对抗图,S为扰动矩阵,A为原始引用关系图的邻接矩阵,A′为被修改的邻接矩阵,。是矩阵的逐元素乘法操作,(11T-I)是一个全连接矩阵,y表示节点标签,X为特征矩阵;根据训练样本和所述损失函数,对所述初始生成模型进行训练,得到稳定生成模型。
在其中一个实施例中,还包括:根据所述对抗边,定义扰动矩阵为:
根据扰动矩阵,得到被修改的邻接矩阵为:
根据被修改的邻接矩阵,得到修改后的对抗图为:
其中,X为特征矩阵。
一种基于节点匹配的对抗图生成装置,所述装置包括:
节点搜索模块,用于根据节点搜索算法搜索所述原始引用关系图,得到节点集;
节点对应模块,根据节点对应算法查找所述节点集中的每一个节点的对应节点,得到对应节点集;
对抗图输出模块,用于根据所述节点集和所述对应节点集,得到对抗边集合;根据所述对抗边集合修改所述原始引用关系图,获得对抗图。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待修改的原始引用关系图;
根据节点搜索算法搜索所述原始引用关系图,得到节点集;
根据节点对应算法查找所述节点集中的每一个节点的对应节点,得到对应节点集;
根据所述节点集和所述对应节点集,得到对抗边集合;
根据所述对抗边集合修改所述原始引用关系图,获得对抗图。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待修改的原始引用关系图;
根据节点搜索算法搜索所述原始引用关系图,得到节点集;
根据节点对应算法查找所述节点集中的每一个节点的对应节点,得到对应节点集;
根据所述节点集和所述对应节点集,得到对抗边集合;
根据所述对抗边集合修改所述原始引用关系图,获得对抗图。
上述基于节点匹配的对抗图生成方法、装置、计算机设备和存储介质,利用局部信息的节点配对框架获得对抗样本,该框架包括两个主要步骤:节点对应和节点搜索。在节点对应步骤中,将双层优化问题通过近似组合优化求解或者将离散的图数据改变为连续的模型参数,解决图数据难以利用的问题,在节点搜索步骤中,不用针对特定的攻击策略与效果,灵活地选择具体实现算法,可以应对不同的攻击场景和攻击目标,高效地生成对抗图。本发明实施例,站在引文网络中虚假用户的角度对检测模型进行对抗攻击,使得虚假用户逃脱检测,从对抗攻击方向为加强检测模型的鲁棒性做铺垫,相比于传统的对抗图生成方法,可以取得更好的攻击效果。
附图说明
图1为一个实施例中基于节点匹配的对抗图生成方法的流程示意图;
图2为一个具体实施例中基于节点匹配的对抗图生成方法的流程示意图;
图3为一个实施例中六种对抗攻击方法在cora数据集上的攻击效果示意图;
图4为一个实施例中六种对抗攻击方法在cora-ml数据集上的攻击效果示意图;
图5为一个实施例中六种对抗攻击方法在citeseer数据集上的攻击效果示意图;
图6为另一个实施例中六种对抗攻击方法在不同的扰动率下,在citeseer数据集上的攻击效果
图7为一个实施例中基于节点匹配的对抗图生成方法装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在一个实施例中,如图1所示,提供了一种基于节点匹配的对抗图生成方法,该方法可以应用于终端中,包括以下步骤:
步骤102,获取待修改的原始引用关系图。
图是一种以顶点和边为基础形成的一种结构化数据表现形式,引用关系图指的是在引文网络中文献与文献间的关系所构成的数据模型,引文网络是社会网络的变型,引文网络中的节点是文献,边代表了文献间的引用关系。引文网络的发展区别于一般的社会网络,它由文献的引用关系确定,不可随意添加或删除,其中的引用关系在时间上具有单向性,只能是后期的文献引用前期的文献。引文与被引文之间体现了文献内容的相关性以及知识的传递。对抗图生成方法可以通过修改图数据,使论文分类模型出现大量分类错误,从而使虚假用户逃脱检测。
步骤104,根据节点搜索算法搜索原始引用关系图,得到节点集。
节点搜索算法指的是能够从原始引用关系图中获取节点集的算法,包括:逐个搜索算法(one-by-one search method,OBO)、遗传算法在(genetic algorithm,GA)、节点迭代算法(node iteration method,ITER),节点搜索算法的本质是优化算法,有目的地筛选原始引用关系图中的所有节点,输出最优节点集。节点集满足节点搜索算法的约束条件,且该节点集作为节点对应算法的输入时,能够获得效果最佳的对抗样本集。通过对抗样本集得到对抗图。
步骤106,根据节点对应算法查找节点集中的每一个节点的对应节点,得到对应节点集。
节点对应算法指的是根据节点搜索算法输出的节点集查找与之匹配的对应节点集的算法,包括:基于梯度的优化方法(optimization method based on gradient,OPT)和基于图卷积神经网络的生成方法(generation method based on graph convolutionnetwork,GEN),节点对应算法的目的在于定义一个映射,通过近似优化的方式映射出节点集的对应节点集,两个节点集的元素一一对应,从而配对节点组成对抗边,在边级扰动中,攻击者能够在给定的预算内,在整个原始图中添加或者删除边,根据对抗边可以得到扰动矩阵,从而对原始引用关系图进行修改,边级扰动很难被维护者发现,能够达到不被人眼察觉而能欺骗模型的目的。
步骤108,根据节点集和对应节点集,得到对抗边集合。
对抗边集合由对抗边组成,对抗边由两个一一对应的节点组成。
步骤110,根据对抗边集合修改原始引用关系图,获得对抗图。
对抗图是对抗攻击的结果,在图领域中,通过人为地准确计算出一个攻击图像,将其乘以系数附加到原始图上得到修改后的图(此修改微乎其微,人的肉眼无法明显察觉),就能欺骗深度学习模型,使得深度学习模型识别出错误的结果。这一过程即对抗攻击,修改后的图即对抗图。
上述基于节点匹配的对抗图生成方法中,通过局部信息的节点配对框架获得对抗样本,该框架包括两个主要步骤:节点对应和节点搜索。在节点对应步骤中,将双层优化问题通过近似组合优化求解或者将离散的图数据改变为连续的模型参数,解决图数据难以利用的问题,在节点搜索步骤中,不用针对特定的攻击策略与效果,灵活地选择具体实现算法,可以应对不同的攻击场景和攻击目标,高效地生成对抗图。本发明实施例,相比于传统的对抗图生成方法,可以取得更好的攻击效果,从而取得更有效的图神经网络模型,站在引文网络中虚假用户的角度对检测模型进行对抗攻击,使得虚假用户逃脱检测,从对抗攻击方向为加强检测模型的鲁棒性做铺垫。
在一个实施例中,根据节点搜索算法搜索原始引用关系图,得到节点集包括:选择预先设置的优化算法策略,确定节点搜索算法的类型;优化算法策略包括:结果相关策略和结果无关策略;结果相关策略是通过节点搜索算法的损失值确定节点集中的节点,结果无关策略是通过节点对应算法的损失值确定节点集中的节点;根据优化算法策略确定的节点搜索算法搜索原始引用关系图,得到节点集。
在本实施例中,算法策略指的是在问题空间中随机搜索所有可能的解决问题的方法,直至选择一种有效的方法解决问题,结果相关策略包括逐个搜索算法,遗传算法,符号梯度下降方法和模拟退火算法,结果无关策略不依赖于攻击损失值确定节点集中的节点,包括节点迭代算法和关键节点选取,图2所示的流程图中三种算法的具体实施方式如下:
逐个搜索算法遵循一个简单的假设:包含了具有最好攻击效果的节点的集合,被视为最具攻击效果的节点集。具体步骤如下:遍历原始引用关系图中的每个节点vi,令通过节点对应算法得到根据损失值评估vi的攻击效果,选择攻击效果最佳(具有最大的损失值)的np个点组成优化后的节点集。上述过程可以形式化为:
i=1,2,…,N,
K=np,
遗传算法可以分为三个部分:选择、交叉和突变。在选择阶段,随机选择m个节点集作为初始的种群,需要计算种群中所有个体的适应度,以确定该个体被选中成为父母的概率。在基于遗传算法的节点搜索方法中,使用损失值作为适应度的得分,当某个体能够造成较高的损失值,说明该个体能够较好的适应对抗攻击任务,有更高的繁殖价值。在交叉阶段,一对父母互相交换集合中的元素,例如,个体和个体进行交叉后,可以获得子代每个子代的每个元素均有一定概率发生突变,发生突变的元素将会被替换成整个节点集中的随机节点通过突变操作,一些没有包含在初始种群中的节点也可以被引入到种群中。根据适应度,选择n个子代和m-n个父代作为下一次迭代的种群,经过多次迭代,可以获得具有高适应度的种群及个体。
证明:
综合上面两个式子,可以得到:
证明完毕。以上证明说明了节点迭代算法能够应用于节点搜索,达到优化节点集的目的。在本实施例中,通过算法策略,能够根据应用场景灵活地选择具体的节点搜索算法,通过节点搜索算法搜索原始引用关系图,得到最优的节点集。
在其中一个实施例中,节点对应算法包括:基于梯度的优化方法或基于图卷积神经网络的生成方法,根据基于梯度的优化方法或基于图卷积神经网络的生成方法查找节点集中的每一个节点的对应节点,得到对应节点集。在本实施例中,节点对应算法还可以包括基于遗传算法的优化算法,节点对应算法的主要任务是定义一个映射该映射能够根据给定的节点集,输出与之匹配的对应节点集。基于梯度的优化方法通过近似优化使用投影梯度下降法近似求解来定义映射,基于图卷积神经网络的生成方法通过构建出稳定的生成模型定义映射。
在其中一个实施例中,根据基于梯度的优化方法查找节点集中的每一个节点的对应节点,得到对应节点集,包括:将节点对应算法进行近似优化,得到:
其中,为节点搜索算法搜索原始引用关系图得到的节点集,为节点对应算法查找节点集得到的对应节点集,表示原始引用关系图,表示修改原始引用关系图后得到的对抗图,θ*表示在原始引用关系图上进行训练后得到的模型参数,表示利用对抗边集合对图进行修改后在参数θ*上的训练误差,y表示节点标签,表示模型参数为θ*时修改后的图中节点vi的预测值,表示模型参数为θ时图中节点vi的预测值;在每次迭代开始时,通过和修改原始引用关系图的邻接矩阵,计算当前状态下的梯度损失值根据梯度损失值,计算梯度gt为:
根据梯度gt,确定被优化的对应节点集为:
在本实施例中,在试图通过向训练数据集中添加敌对样本来影响模型的性能时,攻击者期望通过修改邻接矩阵,获取在测试集上的最大损失函数(即模型在测试集上表现更差)。数学上,可将映射定义为:
映射的双层优化问题难以解决,基于梯度的优化方法进行了两个近似,将双层优化问题转化为组合优化问题:
1、忽略对抗样本生成过程中模型参数的改变,将模型参数固定。
2、由于测试样本无法在训练中获得,因此使用训练误差作为替代。
首先,随机选取一个初始节点集使用纯净的图数据训练模型,得到模型参数θ*,当固定模型参数θ*时,可以将对抗样本生成的双层优化问题近似为组合优化问题。给定一个one-hot形式的节点集,该组合优化问题可以描述为:
其中,为节点搜索算法搜索原始引用关系图得到的节点集,为节点对应算法查找节点集得到的对应节点集,表示原始引用关系图,表示修改原始引用关系图后得到的对抗图,θ*表示在原始引用关系图上进行训练后得到的模型参数,表示利用对抗边集对图进行修改后,在参数θ*上的训练误差,y表示节点标签;表示模型参数为θ*时修改后的图中节点vi的预测值,表示模型参数为θ时图中节点vi的预测值。
在另一个实施例中,根据基于图卷积神经网络的生成方法查找节点集中的每一个节点的对应节点,得到对应节点集,包括:构建初始生成模型;初始生成模型用于根据输入的节点集输出对应节点集;模型的输出为:
其中,gi表示Gumbel噪声,参数τ控制结果的分布,当τ趋近于0时,结果趋近于one-hot向量形式,
A为原始引用关系图的邻接矩阵,IN为单位对角矩阵是一个对角矩阵,L表示隐藏层层数,l=0,1,…,L-1,H为隐藏层,W为模型参数;构建用于训练初始生成模型的损失函数;损失函数是通过训练图卷积神经网络分类模型构建;损失函数为:
为节点搜索算法搜索原始引用关系图得到的节点集,表示原始引用关系图,表示修改原始引用关系图后得到的对抗图,S为扰动矩阵,A为原始引用关系图的邻接矩阵,A′为被修改的邻接矩阵,是矩阵的逐元素乘法操作,(11T-I)是一个全连接矩阵,y表示节点标签,X为特征矩阵;根据训练样本和损失函数,对初始生成模型进行训练,得到稳定生成模型。
在本实施例中,梯度作为白盒设置中最为有效的信息,当前主流的对抗边生成方法大多使用梯度信息构造对抗样本,但是梯度为连续值,图数据为离散值,因此本发明将优化对象从离散的图数据改变为连续的模型参数,通过构造一个生成模型,根据输入的节点集快速生成对应节点集该模型首先利用卷积层进行特征提取:
其中L表示隐藏层层数,l=0,1,…,L-1,H为隐藏层,且H(0)=X W为模型参数,选择分数最高的节点作为最终的输出节点,本发明使用了Gumbel-Softmax函数替代argmax函数,解决argmax函数无法求导、包含该函数的网络无法进行反向传播的问题,对于有:
gi表示Gumbel噪声,参数τ控制结果的分布,当τ趋近于0时,结果趋近于one-hot向量形式,模型的输出可以表示为训练一个图卷积神经网络分类模型来对生成模型输出的进行评估并计算损失,解决基于优化的生成模型的训练数据中没有真值标签,只能依靠攻击效果来评估从而对模型进行优化的问题。图卷积神经网络分类模型如下:
由此可以计算模型的损失,并通过梯度优化模型参数,得到一个稳定的生成模型。
在一个实施例中,根据对抗边集合修改原始引用关系图,获得对抗图包括:根据对抗边,定义扰动矩阵为:
根据扰动矩阵,得到被修改的邻接矩阵为:
根据被修改的邻接矩阵,得到修改后的对抗图为:
在本实施例中,图可以通过邻接矩阵与特征矩阵进行表示,定义扰动矩阵为:
扰动矩阵用来标识邻接矩阵中每一条边e是否被修改,当Si,j=1时,边将会作为对抗边被攻击者修改(当该边原本不存在时添加该边,反之删除该边);当Si,j=0时,对应位置的边保持原状。当图数据为无向图时,邻接矩阵A为对称矩阵,因此扰动矩阵也为对称矩阵:
根据扰动矩阵,被修改的邻接矩阵A′可以表示为:
在一个具体实施例中,如图2所示,提供了一种基于节点匹配的对抗图生成方法的流程示意图,输入原始引用关系图,选择逐个搜索算法、遗传算法、节点迭代算法中的一个作为节点搜索算法,通过节点搜索算法对原始引用关系图上的所有节点进行搜索,依据约束条件对节点进行筛选搜索出被优化的节点集,且该节点集作为节点对应算法的输入时,能够获得效果最佳的对抗样本集;将节点集输入到节点对应算法中,选择基于梯度的优化算法或基于图卷积神经网络的生成方法作为节点对应算法,得到对应节点集,节点集与对应节点集中的节点是一一对应的关系;匹配节点对组成对抗边,节点集与对应节点集组成对抗边集合,根据对抗边集合,修改原始引用关系图,得到对抗图。
在一个具体实施例中,将本发明提出的节点配对框架在三个图数据集(cora、cora-ml、citeseer)上进行实验,实验结果展示了本发明的性能显著优于现有最好的同类方法,具有极大的可行性。将每个数据集随机地分为训练集(10%)、验证集(10%)和测试集(80%)。使用DeepRobust开源项目中复现的Random、DICE、Mettack和PGD四种攻击方法作为对比方法。采用准确率作为评估指标,计算方法为:准确率=(分类正确的节点数/所有节点数)×100%,在实现过程中,使用与DeepRobust的默认设置相同的设置:目标模型为一个带有两个卷积层的图卷积神经网络,扰动比例为5%,使用DeepRobust的预处理方法对三种数据集进行预处理。GA和GEN的参数设置如下:
GA方法:突变率设置为0.5%,初始种群大小m为200,子代数量n为150。
GEN方法:该生成模型包含两个卷积层和一个输出层。
三个图数据集的具体情况如表1所示:
表1数据集构成
针对不同的数据集,模型中各个层的大小如表2所示。
表2基于卷积神经网络的生成方法中生成模型的各个层的尺寸
在图数据集上比较六种节点匹配算法(OPT-OBO、OPT-ITER、OPT-GA、GEN-OBO、GEN-ITER、GEN-GA),六种节点匹配算法在Cora、Cora ML和Citeser数据集上的测试结果如表3、4、5所示。
表3不同的节点配对方法在cora数据集上的攻击效果比较
注:表中数值表示受到攻击的图卷积神经网络在测试集上的节点分类准确率
表4不同的节点配对方法在cora-ml数据集上的攻击效果比较
注:表中数值表示受到攻击的图卷积神经网络在测试集上的节点分类准确率
表5不同的节点配对方法在citeseer数据集上的攻击效果比较
注:表中数值表示受到攻击的图卷积神经网络在测试集上的节点分类准确率
从表中可以看出,与其他两种节点搜索算法相比,ITER方法,尤其是GEN-ITER,攻击性能弱于其他方法,这是由于ITER方法依赖于节点对应算法的性能来生成并且在生成过程中没有引入额外的优化信息,导致ITER方法的性能略逊于两种结果相关方法。在与其他对抗攻击方法比较时,采用OPT-OBO方法和GEN-GA方法作为节点匹配模型的两种代表性方法。图3、4、5显示了扰动率为5%时,受到攻击的图卷积神经网络在三个数据集上的节点分类准确率。在大多数情况下,本发明提出的OPT-OBO方法和GEN-GA方法能够比其他对抗攻击方法获得更好的攻击性能。图6进一步显示了在citeser数据集上不同扰动率(即1%、5%、10%、15%和20%)下,受不同对抗攻击方法影响的图卷积神经网络的在测试集上的准确率。当扰动率小于15%时,所有方法的攻击性能都以几乎线性的方式增加。然而,随着扰动率的不断增加,Mettack和OPT-GA的攻击性能进一步增强,而PDG方法和GEN-GA方法的攻击性能被Mettack和OPT-GA方法反超。当citeser图数据中有超过20%的边被修改时,GEN-GA方法的攻击性能将低于其他三种方法。但是通常来说,在实施对抗攻击时很难达到20%以上的扰动率。因此,可以认为本发明提出的节点配对方法优于现有的针对图数据中节点分类任务的攻击方法。
应该理解的是,虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图7所示,提供了一种基于节点匹配的对抗图生成装置,包括:图获取模块702、节点搜索模块704、节点对应模块706和对抗图输出模块708,其中:
图获取模块702,用于获取待修改的原始引用关系图;
节点搜索模块704,用于根据节点搜索算法搜索所述原始引用关系图,得到节点集;
节点对应模块706,根据节点对应算法查找所述节点集中的每一个节点的对应节点,得到对应节点集;
对抗图输出模块708,用于根据所述节点集和所述对应节点集,得到对抗边集合;根据所述对抗边集合修改所述原始引用关系图,获得对抗图。
在其中一个实施例中,节点搜索模块704还用于选择预先设置的优化算法策略,确定节点搜索算法的类型;优化算法策略包括:结果相关策略和结果无关策略;结果相关策略是通过节点搜索算法的损失值确定节点集中的节点,结果无关策略是通过节点对应算法的损失值确定节点集中的节点;根据优化算法策略确定的节点搜索算法搜索原始引用关系图,得到节点集。
在其中一个实施例中,节点搜索模块704还用于选择预先设置的结果相关策略,确定节点搜索算法为逐个搜索算法和遗传算法;选择预先设置的结果无关策略,确定节点搜索算法为节点迭代算法。
在其中一个实施例中,节点对应模块706还用于根据基于梯度的优化方法或基于图卷积神经网络的生成方法查找所述节点集中的每一个节点的对应节点,得到对应节点集。
在其中一个实施例中,节点对应模块706还用于将所述节点对应算法进行近似优化,得到:
其中,为节点搜索算法搜索原始引用关系图得到的节点集,为节点对应算法查找节点集得到的对应节点集,表示原始引用关系图,表示修改原始引用关系图后得到的对抗图,θ*表示在原始引用关系图上进行训练后得到的模型参数,表示利用对抗边集合对图进行修改后在参数θ*上的训练误差,y表示节点标签,表示模型参数为θ*时修改后的图中节点vi的预测值,表示模型参数为θ时图中节点vi的预测值;在每次迭代开始时,通过和修改原始引用关系图的邻接矩阵,计算当前状态下的梯度损失值
根据所述梯度损失值,计算梯度gt为:
根据所述梯度gt,确定被优化的对应节点集为:
在其中一个实施例中,节点对应模块706还用于构建初始生成模型;所述初始生成模型用于根据输入的节点集输出对应节点集;模型的输出为:
其中,gi表示Gumbel噪声,参数τ控制结果的分布,当τ趋近于0时,结果趋近于one-hot向量形式,
A为原始引用关系图的邻接矩阵,IN为单位对角矩阵,是一个对角矩阵,L表示隐藏层层数,l=0,1,…,L-1,H为隐藏层,W为模型参数;构建用于训练所述初始生成模型的损失函数;所述损失函数是通过训练图卷积神经网络分类模型构建;所述损失函数为:
其中, 为节点搜索算法搜索原始引用关系图得到的节点集,表示原始引用关系图,表示修改原始引用关系图后得到的对抗图,S为扰动矩阵,A为原始引用关系图的邻接矩阵,A′为被修改的邻接矩阵,是矩阵的逐元素乘法操作,(11T-I)是一个全连接矩阵,y表示节点标签,X为特征矩阵;根据训练样本和所述损失函数,对所述初始生成模型进行训练,得到稳定生成模型。
在其中一个实施例中,对抗图输出模块708还用于根据所述对抗边,定义扰动矩阵为:
根据扰动矩阵,得到被修改的邻接矩阵为:
根据被修改的邻接矩阵,得到修改后的对抗图为:
其中,X为特征矩阵。
关于基于节点匹配的对抗图生成装置的具体限定可以参见上文中对于基于节点匹配的对抗图生成方法的限定,在此不再赘述。上述基于节点匹配的对抗图生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于节点匹配的对抗图生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (5)
1.一种基于节点匹配的对抗图生成方法,其特征在于,所述方法包括:
获取待修改的原始引用关系图;
根据节点搜索算法搜索所述原始引用关系图,得到节点集;
根据节点对应算法查找所述节点集中的每一个节点的对应节点,得到对应节点集;
根据所述节点集和所述对应节点集,得到对抗边集合;
根据所述对抗边集合修改所述原始引用关系图,获得对抗图;
所述根据节点搜索算法搜索所述原始引用关系图,得到节点集,包括:
选择预先设置的优化算法策略,确定节点搜索算法的类型;所述优化算法策略包括:结果相关策略和结果无关策略;所述结果相关策略是通过节点搜索算法的损失值确定节点集中的节点,所述结果无关策略是通过节点对应算法的损失值确定节点集中的节点;
根据优化算法策略确定的节点搜索算法搜索所述原始引用关系图,得到节点集;
所述选择预先设置的优化算法策略,确定节点搜索算法的类型,包括:
选择预先设置的结果相关策略,确定节点搜索算法为逐个搜索算法和遗传算法;
选择预先设置的结果无关策略,确定节点搜索算法为节点迭代算法;
所述节点对应算法包括:基于梯度的优化方法或基于图卷积神经网络的生成方法;
根据基于梯度的优化方法或基于图卷积神经网络的生成方法查找所述节点集中的每一个节点的对应节点,得到对应节点集;
根据基于梯度的优化方法查找所述节点集中的每一个节点的对应节点,得到对应节点集,包括:
将所述节点对应算法进行近似优化,得到:
其中,为节点搜索算法搜索原始引用关系图得到的节点集,为节点对应算法查找节点集得到的对应节点集,表示原始引用关系图,表示修改原始引用关系图后得到的对抗图,θ*表示在原始引用关系图上进行训练后得到的模型参数,表示利用对抗边集合对图进行修改后在参数θ*上的训练误差,y表示节点标签,表示模型参数为θ*时修改后的图中节点vi的预测值,表示模型参数为θ时图中节点vi的预测值;
根据所述梯度损失值,计算梯度gt为:
根据所述梯度gt,确定被优化的对应节点集为:
所述根据所述对抗边集合修改所述原始引用关系图,获得对抗图包括:
根据所述对抗边,定义扰动矩阵为:
根据扰动矩阵,得到被修改的邻接矩阵为:
根据被修改的邻接矩阵,得到修改后的对抗图为:
其中,X为特征矩阵。
2.根据权利要求1所述的方法,其特征在于,根据基于图卷积神经网络的生成方法查找所述节点集中的每一个节点的对应节点,得到对应节点集,包括:
构建初始生成模型;所述初始生成模型用于根据输入的节点集输出对应节点集;
模型的输出为:
其中,gi表示Gumbel噪声,参数τ控制结果的分布,当τ趋近于0时,结果趋近于one-hot向量形式,
构建用于训练所述初始生成模型的损失函数;所述损失函数是通过训练图卷积神经网络分类模型构建;
所述损失函数为:
其中, 为节点搜索算法搜索原始引用关系图得到的节点集,表示原始引用关系图,表示修改原始引用关系图后得到的对抗图,S为扰动矩阵,A为原始引用关系图的邻接矩阵,A′为被修改的邻接矩阵,是矩阵的逐元素乘法操作,(11T-I)是一个全连接矩阵,y表示节点标签,X为特征矩阵;
根据训练样本和所述损失函数,对所述初始生成模型进行训练,得到稳定生成模型。
3.一种基于节点匹配的对抗图生成装置,其特征在于,所述装置包括:
图获取模块,用于获取待修改的原始引用关系图;
节点搜索模块,用于根据节点搜索算法搜索所述原始引用关系图,得到节点集;
节点对应模块,用于根据节点对应算法查找所述节点集中的每一个节点的对应节点,得到对应节点集;
对抗图输出模块,用于根据所述节点集和所述对应节点集,得到对抗边集合;根据所述对抗边集合修改所述原始引用关系图,获得对抗图;
节点搜索模块,还用于选择预先设置的优化算法策略,确定节点搜索算法的类型;所述优化算法策略包括:结果相关策略和结果无关策略;所述结果相关策略是通过节点搜索算法的损失值确定节点集中的节点,所述结果无关策略是通过节点对应算法的损失值确定节点集中的节点;根据优化算法策略确定的节点搜索算法搜索所述原始引用关系图,得到节点集;
节点搜索模块,还用于选择预先设置的结果相关策略,确定节点搜索算法为逐个搜索算法和遗传算法;选择预先设置的结果无关策略,确定节点搜索算法为节点迭代算法;
节点对应模块,还用于节点对应算法包括:基于梯度的优化方法或基于图卷积神经网络的生成方法;根据基于梯度的优化方法或基于图卷积神经网络的生成方法查找所述节点集中的每一个节点的对应节点,得到对应节点集;
节点对应模块,还用于将所述节点对应算法进行近似优化,得到:
其中,为节点搜索算法搜索原始引用关系图得到的节点集,为节点对应算法查找节点集得到的对应节点集,表示原始引用关系图,表示修改原始引用关系图后得到的对抗图,θ*表示在原始引用关系图上进行训练后得到的模型参数,表示利用对抗边集合对图进行修改后在参数θ*上的训练误差,y表示节点标签,表示模型参数为θ*时修改后的图中节点vi的预测值,表示模型参数为θ时图中节点vi的预测值;在每次迭代开始时,通过和修改原始引用关系图的邻接矩阵,计算当前状态下的梯度损失值根据所述梯度损失值,计算梯度gt为:
根据所述梯度gt,确定被优化的对应节点集为:
对抗图输出模块,还用于根据所述对抗边,定义扰动矩阵为:
根据扰动矩阵,得到被修改的邻接矩阵为:
根据被修改的邻接矩阵,得到修改后的对抗图为:
其中,X为特征矩阵。
4.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至2中任一项所述方法的步骤。
5.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至2中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210080815.XA CN114491515B (zh) | 2022-01-24 | 2022-01-24 | 基于节点匹配的对抗图生成方法、装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210080815.XA CN114491515B (zh) | 2022-01-24 | 2022-01-24 | 基于节点匹配的对抗图生成方法、装置和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114491515A CN114491515A (zh) | 2022-05-13 |
CN114491515B true CN114491515B (zh) | 2022-12-30 |
Family
ID=81474984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210080815.XA Active CN114491515B (zh) | 2022-01-24 | 2022-01-24 | 基于节点匹配的对抗图生成方法、装置和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114491515B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112069398A (zh) * | 2020-08-24 | 2020-12-11 | 腾讯科技(深圳)有限公司 | 一种基于图网络的信息推送方法及装置 |
CN112200121A (zh) * | 2020-10-24 | 2021-01-08 | 中国人民解放军国防科技大学 | 基于evm和深度学习的高光谱未知目标检测方法 |
CN113765716A (zh) * | 2021-09-06 | 2021-12-07 | 浙江工业大学 | 一种基于梯度对抗的网络流量防测绘方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10862918B2 (en) * | 2017-04-21 | 2020-12-08 | Raytheon Bbn Technologies Corp. | Multi-dimensional heuristic search as part of an integrated decision engine for evolving defenses |
US20210374499A1 (en) * | 2020-05-26 | 2021-12-02 | International Business Machines Corporation | Iterative deep graph learning for graph neural networks |
-
2022
- 2022-01-24 CN CN202210080815.XA patent/CN114491515B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112069398A (zh) * | 2020-08-24 | 2020-12-11 | 腾讯科技(深圳)有限公司 | 一种基于图网络的信息推送方法及装置 |
CN112200121A (zh) * | 2020-10-24 | 2021-01-08 | 中国人民解放军国防科技大学 | 基于evm和深度学习的高光谱未知目标检测方法 |
CN113765716A (zh) * | 2021-09-06 | 2021-12-07 | 浙江工业大学 | 一种基于梯度对抗的网络流量防测绘方法 |
Non-Patent Citations (4)
Title |
---|
A Cost-based Optimizer for Gradient Descent Optimization;Zoi Kaoudi 等;《ACM》;20170519;第1-16页 * |
Improved Particle Swarm Optimization Based on Gradient Descent Method;Weifeng Lu 等;《ACM》;20201122;第1-6页 * |
基于网络流跨层特征的深度入侵检测方法;刘啸;《计算机与数字工程》;20200331;第1-6页 * |
面向图神经网络的对抗攻击与防御综述;陈晋音 等;《网络与信息安全学报》;20210630;第1-28页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114491515A (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210174264A1 (en) | Training tree-based machine-learning modeling algorithms for predicting outputs and generating explanatory data | |
Squartini et al. | Reconstruction methods for networks: The case of economic and financial systems | |
US11809993B2 (en) | Systems and methods for determining graph similarity | |
US20240185158A1 (en) | Automated path-based recommendation for risk mitigation | |
CN109242223B (zh) | 城市公共建筑火灾风险的量子支持向量机评估与预测方法 | |
WO2015062209A1 (zh) | 随机森林分类模型的可视化优化处理方法及装置 | |
US20220301288A1 (en) | Control method and information processing apparatus | |
Alfarra et al. | On the decision boundaries of neural networks: A tropical geometry perspective | |
CN113190688A (zh) | 基于逻辑推理和图卷积的复杂网络链接预测方法及系统 | |
CN114239685B (zh) | 评估神经网络图像分类模型鲁棒性的方法及装置 | |
Corazza et al. | An evolutionary approach to preference disaggregation in a MURAME-based creditworthiness problem | |
US20210326475A1 (en) | Systems and method for evaluating identity disclosure risks in synthetic personal data | |
CN111639688B (zh) | 一种基于线性核svm的物联网智能模型的局部解释方法 | |
CN114491515B (zh) | 基于节点匹配的对抗图生成方法、装置和计算机设备 | |
Gronowski et al. | Classification utility, fairness, and compactness via tunable information bottleneck and Rényi measures | |
Yousef et al. | Classifier calibration: with application to threat scores in cybersecurity | |
CN113515519A (zh) | 图结构估计模型的训练方法、装置、设备及存储介质 | |
CN115834251A (zh) | 基于超图Transformer威胁狩猎模型建立方法 | |
CN115329938A (zh) | 一种基于鉴别器森林提高生成对抗网络泛化能力的方法 | |
Wu et al. | Structural predictability optimization against inference attacks in data publishing | |
CN116633571A (zh) | 基于同态加密以及无监督特征选择的隐私信息保护方法以及装置 | |
Li | Sequential Design of Experiments to Estimate a Probability of Failure. | |
KR20220009662A (ko) | 신경망 모델 학습 방법 및 이를 제공하는 장치 | |
Mall et al. | Agglomerative hierarchical kernel spectral data clustering | |
Hu et al. | Bayesian pseudo posterior synthesis for data privacy protection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |