CN117875359A - 一种基于动量梯度候选的图对比学习对抗性攻击方法 - Google Patents
一种基于动量梯度候选的图对比学习对抗性攻击方法 Download PDFInfo
- Publication number
- CN117875359A CN117875359A CN202410043451.7A CN202410043451A CN117875359A CN 117875359 A CN117875359 A CN 117875359A CN 202410043451 A CN202410043451 A CN 202410043451A CN 117875359 A CN117875359 A CN 117875359A
- Authority
- CN
- China
- Prior art keywords
- graph
- disturbance
- gradient
- momentum
- views
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000006870 function Effects 0.000 claims abstract description 27
- 238000011156 evaluation Methods 0.000 claims abstract description 13
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 12
- 241000689227 Cora <basidiomycete fungus> Species 0.000 description 11
- 238000003860 storage Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 8
- 238000002679 ablation Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000008485 antagonism Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012854 evaluation process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于动量梯度候选的图对比学习对抗性攻击方法，涉及图技术领域，方法包括以下步骤：对原始图进行数据增强得到两个视图，将两个视图输入至预先建立的图神经网络模型内，得到两个视图的嵌入表示和目标损失函数；通过反向传播计算当前模型下所有图节点的梯度信息，然后将两个视图邻接矩阵的梯度更新为动量梯度，将两个动量梯度求和；并根据梯度的符号，绝对值大小和边是否真实存在，生成扰动候选图的集合，将扰动候选图集合中的所有扰动候选图输入至预先建立的评估函数内，生成损失值，根据损失值的大小选出本轮的正式扰动边，从而生成本轮扰动图；重复以上步骤，至扰动边的数量达到设定扰动阈值，生成最终扰动图。
Description
技术领域
本发明涉及图技术领域，具体的是一种基于动量梯度候选的图对比学习对抗性攻击方法。
背景技术
近年来，图神经网络通过邻域聚合的方式提取图结构特征并生成嵌入表示，在图分类、节点分类、链接预测等下游任务中取得了显著效果，其兼顾了节点的属性特征和节点间的拓扑结构。因此，图神经网络在社交网络、推荐系统、知识图谱等多个领域广泛应用；然而，由于图神经网络的可解释性较弱以及图数据的离散复杂性，其应用安全性备受关注。最近的研究表明，图神经网络容易受到对抗性攻击，攻击者可以在输入中故意插入不可察觉的扰动，可能导致模型的预测错误，从而增加了图神经网络在应用中的潜在风险。
目前，图神经网络的对抗性攻击主要基于监督和半监督方法。这些方法对真实标签高度依赖，而在现实中存在大量无标注数据。标注数据的成本高昂以及图结构的复杂性成为限制监督对抗性攻击的瓶颈。为了克服这些问题，无监督图对比学习作为一种无监督图表示学习方法，因其出色的特征提取效果而被广泛应用。然而，对于无监督图表示学习的鲁棒性探索仍然具有挑战性。无监督图神经网络的对抗性攻击和防御已成为当前研究的热点问题。无监督节点嵌入攻击是对无监督图对抗性攻击的首次研究，它利用了谱图中基于随机游走的算法(RW-based)在生成嵌入时的一个特性。该研究通过修改有限数量的边来降低新生成图的嵌入效果。然而，该方法仅适用于DeepWalk模型，在其他图神经网络和下游分类任务上的普适性和效果有限，CLGA方法在对抗性攻击中利用对比损失相对于数据增强视图的邻接矩阵进行梯度更新，并取得了良好的效果。然而，由于图结构的离散性以及未考虑梯度的可靠性因素，该方法容易陷入局部最优问题，导致扰动效果不佳且收敛速度较慢。
发明内容
为解决上述背景技术中提到的不足，本发明的目的在于提供一种基于动量梯度候选的图对比学习对抗性攻击方法。
本发明的目的可以通过以下技术方案实现：一种基于动量梯度候选的图对比学习对抗性攻击方法，方法包括以下步骤：
将图邻接矩阵视为超参数，对原始图进行数据增强得到两个视图，将两个视图输入至预先建立的图神经网络模型中，得到两个视图的嵌入表示和目标损失函数；
通过反向传播计算当前模型下所有图节点的梯度信息，然后将两个视图邻接矩阵的梯度更新为动量梯度，将两个动量梯度求和；
根据梯度的符号，绝对值大小和边是否真实存在，生成扰动候选图的集合，将扰动候选图集合中的所有扰动候选图输入至预先建立的评估函数内，生成损失值，根据损失值的大小选出本轮的正式扰动边，生成本轮扰动图；
重复以上步骤，至扰动边的数量达到设定扰动阈值，生成最终扰动图。
优选地，所述基于梯度攻击模型内主要包括生成对抗性样本和攻击图对比学习模型两个步骤，在生成对抗性样本过程中，将图结构矩阵视为超参数，并进行正向传播来计算图节点的嵌入表示和目标损失函数；反向传播计算在当前模型下所有图节点的梯度信息，为节点的梯度向量。
优选地，所述生成对抗性样本的目标函数定义如下：
其中，为对抗样本，fθ为参数为θ的图神经网络，/>为损失值，θ′为扰动后的模型参数，yu表示节点u的类别。
优选地，所述扰动边的扰动规则如下：
对于一条边(vi，vj)；若Ai，j＝1and或者Ai，j＝0and/>则翻转边(vi，vj)，该边被认为是具有对受害者模型产生负面影响的潜在扰动。
优选地，确定边的翻转，生成一个扰动边，将扰动边添加到上一轮所确定的扰动向量上，以使图的拓扑结构发生变化；攻击者通过不断优化扰动向量，从而降低图对比学 模型的预测精度，产生扰动图的整体思路采用贪婪策略，每次扰动一条边，公式如下：
G(0)→G(1)→…→G(k)→G(k+1)→…→G(K)。
优选地，所述扰动阈值的设定如下：
由公式得出扰动阈值为σ。
优选地，图对比学习对抗性攻击的目标函数如下：
(A1，X1)＝t1(A′，X)，(A2，X2)＝t2(A′，X)，||A-A′||0＝2σ.
其中，为对比损失，目标是在内层优化中获得最佳模型参数的同时，最大化外层优化的损失函数，从而使基于梯度的攻击模型能够生成更具扰动效果的对抗样本，θ，θ’分别是干净和被扰动后的对比学习模型参数，t1,t2是两个随机增强函数，A1，A2为图增强视图邻接矩阵，X1，X2为图增强视图节点特征矩阵，A为原始图邻接矩阵。
优选地，所述动量梯度的更新过程如下：将反向传播产生的目标损失相对于两个视图的梯度向量，分别按一定比例叠加先前的梯度信息，这个比例为动量梯度，更新公式如下：
其中，分别是两个视图第k轮的动量梯度，/>分别是两个视图第k-1轮的动量梯度；
为了能够充分表达原图梯度的显著性，以及减少随机增强引起的偏差，使用两个视图梯度相加后绝对值的显著性作为确定扰动边的依据，Δsum表示两个视图求和后的动量梯度，公式如下：
优选地，所述评估函数如下：
其中，(θ’)k是前一轮扰动图训练后的模型参数，分别是候选图/>经过自适应图数据增强后形成的两个视图。
优选地，图对抗性攻击的复杂度分析包括时间复杂度和空间复杂度。
本发明的有益效果：
本发明提出使用动量梯度代替普通梯度，用先前梯度信息来指导梯度的更新。提高了参数更新的准确性和模型收敛速度，从而减少了资源浪费并提升了攻击效果，由于非欧图结构和数据增强噪声导致梯度最显著值并未对模型预测产生最大影响，本发明提出了候选、评估的探索性方法。生成了更具扰动效果的对抗性样本，提高了扰动的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；
图1是本发明方法流程示意图；
图2是本发明不同攻击策略攻击效果的折线对比示意图；
图3是本发明不同攻击方法的嵌入可视化散点示意图；
图4是本发明不同扰动率下嵌入可视化散点示意图；
图5是本发明实验流程伪代码图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，一种基于动量梯度候选的图对比学习对抗性攻击方法，方法包括以下步骤：
将图邻接矩阵视为超参数，对原始图进行数据增强得到两个视图，将两个视图输入至预先建立的图神经网络模型中，得到两个视图的嵌入表示和目标损失函数；
通过反向传播计算当前模型下所有图节点的梯度信息，然后将两个视图邻接矩阵的梯度更新为动量梯度，将两个动量梯度求和；
根据梯度的符号，绝对值大小和边是否真实存在，生成扰动候选图的集合，将扰动候选图集合中的所有扰动候选图输入至预先建立的评估函数内，生成损失值，根据损失值的大小选出本轮的正式扰动边，生成本轮扰动图；
重复以上步骤，至扰动边的数量达到设定扰动阈值，生成最终扰动图。
其中，所述基于梯度攻击的过程主要包括生成对抗性样本和攻击图对比学习模型两个步骤，在生成对抗性样本过程中，将图结构矩阵视为超参数，并进行正向传播来计算图节点的嵌入表示和目标损失函数；反向传播计算在当前模型下所有图节点的梯度信息，为节点的梯度向量。
其中，所述生成对抗性样本的目标函数定义如下：
其中，为对抗样本，fθ为参数为θ的图神经网络，/>为损失值，θ′为扰动后的模型参数，yu表示节点u的类别。
其中，所述扰动边的扰动规则如下：
对于一条边(vi,vj)；若Ai，j＝1 and或者Ai，j＝0 and/>则翻转边(vi,vj)，该边被认为是具有对受害者模型产生负面影响的潜在扰动。
其中，确定边的翻转，生成一个扰动边，将扰动边添加到上一轮所确定的扰动向量上，以使图的拓扑结构发生变化；攻击者通过不断优化扰动向量，从而降低图对比学习模型的预测精度，产生扰动图的整体思路采用贪婪策略，每次扰动一条边，公式如下：
G(0)→G(1)→…→G(k)→G(k+1)→…→G(K)。
其中，所述扰动阈值的设定如下：
由公式得出扰动阈值为σ。
其中，图对比学习对抗性攻击的目标函数如下：
(A1，X1)＝t1(A′，X)，(A2，X2)＝t2(A′，X)，||A-A′||0＝2σ.
其中，为对比损失，目标是在内层优化中获得最佳模型参数的同时，最大化外层优化的损失函数，从而使基于梯度的攻击模型能够生成具扰动效果的对抗样本，θ，θ’分别是干净和被扰动后的对比学习模型参数，t1，t2是两个随机增强函数，A1，A2为图增强视图邻接矩阵，X1，X2为图增强视图节点特征矩阵，A为原始图邻接矩阵。
其中，所述动量梯度的更新过程如下：将反向传播产生的目标损失相对于两个视图的梯度向量，分别按一定比例叠加先前的梯度信息，这个比例为动量梯度，更新公式如下：
其中，分别是两个视图第k轮的动量梯度，/>分别是两个视图第k-1轮的动量梯度；
为了能够充分表达原图梯度的显著性，以及减少随机增强引起的偏差，使用两个视图梯度相加后绝对值的显著性作为确定扰动边的依据，Δsum表示两个视图求和后的动量梯度，公式如下：
其中，所述评估函数如下：
其中，(θ’)k是前一轮扰动图训练后的模型参数，分别是候选图/>经过自适应图数据增强后形成的两个视图。
其中，图对抗性攻击的复杂度分析包括时间复杂度和空间复杂度。
需要进一步进行说明的是，在具体实施过程中，时间复杂度：本文所提出的方法本身不需要消耗大量时间，它仅需将生成的梯度进行带系数的求和运算，并在对动量梯度进行排序后保存候选图。在评估阶段，本文不进行模型的重新训练，而是利用上一轮生成的扰动图训练好的替代模型，通过正向传播来测试候选扰动图的效果。因此，在每轮生成扰动边时，我们确保仅进行一次对比模型的训练。同时，采用动量梯度来更新参数，加快了收敛速度，减少了模型训练的迭代次数，从而减少了模型训练过程中的时间开销。
空间复杂度：鉴于邻接矩阵梯度的计算需求，导致内存需求为O(N2)，其中N表示图中节点的数量。同时，每轮需要保存候选扰动图列表和评估函数结果列表，两者的大小与候选集H的规模相等。为了降低内存消耗，我们仅保存候选扰动边，而非整个候选扰动图。在每轮候选扰动结束后，立即清空并释放内存，从而减少内存容量的开销。
如表1所示，本文采用Cora和CiteSeer数据集作为实验对象，数据集基本情况如下表所示：
表1:数据集基本情况
本文基线实验数据来源于CLGA；所有攻击方法都是先生成扰动图，然后将其送入先进的图对比学习GCA中进行训练，并测试模型准确率；本文将扰动率设置为原始图总边数的1％/5％/10％，将候选集的大小设置为64/96/128，将动量系数设置为0.75/0.8/0.85/0.9，为了更方便比较不同攻击策略的效果，本文将实验中GCA模型的超参数，包括温度系数τ和数据的随机增强率设置为固定值，其中，τ设置为0.4，将两个视图的拓扑增强率设置为0.3和0.4，将特征增强率设置为0.1和0.0，使用的优化器为Adam，并将学习率设置为0.01。
本文进行了基于节点分类和链接预测下游任务的实验，为了增加实验结果的代表性和可靠性，同时减少随机误差，我们对节点分类和链接预测下游任务进行了多次实验，并取得了平均值作为最终结果。此外，为了比较动量梯度和候选评估两种方法对攻击效果的影响，我们进行了消融实验。GCLA_M和GCLA_H分别代表仅使用动量梯度和候选评估方法进行的消融实验。
基于节点分类下游任务实验结果分析
对于节点分类任务，我们将学习的嵌入表示输入逻辑回归模型，并计算分类准确率；下表展示了基于节点分类的下游任务实验结果。我们观察到，除了在Cora数据集，扰动率为0.01时的结果相对较差外，我们的方法在其他扰动攻击下表现出色，整体上优于其他无监督方法。图2的a、b展示了不同攻击策略在Cora和CiteSeer数据集上不同扰动率下的节点分类准确率折线对比图。
表2:节点分类的联合测试实验结果
基于链接预测下游任务实验结果分析：
对于链接预测任务，使用两层MLP作为投影头，将学习到的嵌入投影到新的潜在空间中，将边划分为70％20％10％的训练/测试/验证集，并采用归纳式的训练模式，使用余弦相似性作为相似性的度量标准。链接预测的准确率使用曲线下面积(AUC)进行评估。其计算公式如下所示：
基于链接预测的下游任务实验结果如下表所示，结果表现较为稳定。从实验数据可以观察到，在链接预测任务中，我们的方法在Cora数据集中，扰动率为0.05和0.1的情况下，以及在CiteSeer数据集中，扰动率为0.05的情况下，取得了与监督学习相当甚至更好的结果。整体而言，我们的方法在链接预测中优于其他无监督对抗性攻击方法。图2的c和d展示了不同攻击策略在Cora和CiteSeer数据集上不同扰动率下的链接预测AUC值的折线对比图。
表3:链接预测的联合测试实验结果
动量梯度方法，如下表
表4:动量梯度的实验结果
GCLA_M是只采用动量梯度的消融实验，其实验结果如上表所示。从实验数据可以观察到，在节点分类任务中，Cora数据集和扰动率为0.01的情况下，以及CiteSeer数据集和扰动率为0.1的情况下，GCLA_M的效果较差，而在其他情况下，GCLA_M的结果优于CLGA方法；在链接预测任务中，GCLA_M在Cora数据集上的实验结果表现良好，取得了与监督学习相当甚至更好的结果，而在CiteSeer数据集下，GCLA_M的结果与CLGA方法表现相当。
候选评估方法
表5：候选评估的实验结果
GCLA_H是只采用梯度候选评估的消融实验，其实验结果如上表所示。从实验数据可以观察到，扰动率为0.01的情况下，扰动效果均不佳，而在扰动率为0.05和0.1的情况下，效果良好，尤其是在链接预测任务中，扰动率为0.05和0.1，数据集为Cora，以及扰动率为0.05，数据集为CiteSeer的情况下，GCLA_H展现出比监督学习更好的性能。我们推测候选评估方法在扰动率为0.01时效果不佳的原因是候选评估过程是一个连续影响过程，当扰动量较小时，候选评估过程未能发挥出较好的作用，只有当扰动达到一定量时，其优势才能显现出来。
从整个实验结果来看，一方面，我们发现取得良好效果的方法参数设置(包括动量系数和候选集的大小)是与数据集和下游任务相关的。同时，在下游任务为链接预测时，我们的方法表现出与监督学习相当甚至更好的结果，尤其在Cora数据集上。另一方面，在消融实验结果中显示，某些单个方法在特定情况下的实验结果优于联合测试结果(如GCLA_H在链接预测任务中，Cora和CiteSeer数据集，扰动率为0.1时)。然而，总体而言，联合测试结果仍然展现出更优的效果。
根据不同攻击策略的折线图对比，我们可以得出结论，本文方法具有更强的稳定性。随着扰动率的增加，无论是节点分类还是链接预测任务，在Cora和CiteSeer数据集上，攻击效果都在不断增强，没有出现与其他方法类似的负相关现象。
同时，在实验过程中，我们注意到影响模型预测效果的改变更倾向于加边而非减边。这是因为加边可以改变原始图的拓扑结构，而减边只是丢失了原始图的信息。
可转移性分析
本文针对节点分类的下游任务，在GCA模型的基础上对图对比学习模型进行了更新。我们采用生成的扰动图来训练负样本采样策略的对比学习模型。该模型不再将除了正样本以外的所有节点都视为负样本，而是尽可能地利用监督信号，选择与中心节点标签不同的节点作为负样本。通过这种方式，我们将无监督学习转化为与监督信号联合训练的半监督学习方法。同时，我们采用了GCN、SGC、APPNP作为共享的图神经网络模型。在更完善的对比学习模型上，我们的方法在不同的共享神经网络上都取得了一定的攻击效果。测试结果如下表所示，整体上降低了对比模型的测试精度，从而证明了本文方法的可转移性。
通过实验证明，在更为完善的对比模型下，本文方法在不同共享模型和不同扰动率下均能降低模型的预测准确率，这表明了本文方法的可转移性和有效性；
表6:在GCNSS上的实验结果
可视化分析：
通过表2和表3的结果可以得出结论，Metattack方法在总体上具有最佳的效果。因此，本文选择Metattack方法与本文方法进行嵌入散点图的对比分析。图3展示了经过不同扰动方法生成扰动图后，攻击模型的嵌入可视化散点图结果。图a展示了干净的Cora数据集经过GCA模型后的嵌入可视化结果。可以观察到各个类别之间的分布较为聚集，分界线清晰可辨。而图b和图c分别展示了经过Metattack和GCLA_M_H方法生成的扰动图(扰动率为0.05)训练GCA模型后的嵌入可视化。可以看出混入噪声的扰动图导致模型的预测能力降低，各个类别之间的分界线变得模糊，将节点拉向中心，由于中心节点与每个类别的距离相似，从而降低了模型的预测泛化能力。
图4展示了CLGA_M_H方法在不同扰动率下生成的扰动图经过GCA模型后的图节点嵌入可视化散点图。随着扰动率的逐渐增加，节点逐渐被拉向中心。由于中心节点与每个类别的距离相近，因此导致节点被误分类。
基于同一种发明构思，本发明还提供一种计算机设备，该计算机设备包括包括：一个或多个处理器，以及存储器，用于存储一个或多个计算机程序；程序包括程序指令，处理器用于执行存储器存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其用于实现一条或一条以上指令，具体用于加载并执行计算机存储介质内一条或一条以上指令从而实现上述方法。
需要进一步进行说明的是，基于同一种发明构思，本发明还提供一种计算机存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法。该存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电、磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本公开的基本原理、主要特征和本公开的优点。本行业的技术人员应该了解，本公开不受上述实施例的限制，上述实施例和说明书中描述的只是说明本公开的原理，在不脱离本公开精神和范围的前提下，本公开还会有各种变化和改进，这些变化和改进都落入要求保护的本公开范围内容。
Claims (10)
1.一种基于动量梯度候选的图对比学习对抗性攻击方法，其特征在于，方法包括以下步骤：
接收原始图，对原始图进行数据增强得到两个视图，将两个视图输入至预先建立的图神经网络模型中，得到两个视图的嵌入表示，从而计算目标损失；
通过反向传播计算图神经网络模型下目标损失相对于所有图节点的梯度信息，然后将两个视图节点的梯度更新为动量梯度，将两个动量梯度求和得到动量梯度和；
根据动量梯度和的符号，绝对值大小和边是否真实存在，确定边的翻转，生成候选扰动边，从而生成扰动候选图集合，将扰动候选图集合中的所有扰动候选图输入至预先建立的评估函数内，生成损失值，根据损失值的大小选出本轮的正式扰动边，生成本轮扰动图；
重复以上步骤，至扰动边的数量达到设定扰动阈值，生成最终扰动图。
2.根据权利要求1所述的一种基于动量梯度候选的图对比学习对抗性攻击方法，其特征在于，所述将两个视图输入至预先建立的图神经网络模型内，主要包括生成对抗性样本和攻击图对比学习模型两个步骤，在生成对抗性样本过程中，将图结构矩阵视为超参数，并进行正向传播来计算图节点的嵌入表示和目标损失函数；反向传播计算在当前模型下所有图节点的梯度信息，为节点的梯度向量。
3.根据权利要求2所述的一种基于动量梯度候选的图对比学习对抗性攻击方法，其特征在于，所述生成对抗性样本的目标函数定义如下：
其中，为对抗样本，fθ为参数为θ的图神经网络，/>为损失值，θ′为扰动后的模型参数，yu表示节点u的类别。
4.根据权利要求1所述的一种基于动量梯度候选的图对比学习对抗性攻击方法，其特征在于，所述扰动边的扰动规则如下：
对于一条边(vi,vj)；若或者/>则翻转边(vi,vj)，边(vi,vj)被认为是具有对受害者模型产生负面影响的潜在扰动。
5.根据权利要求4所述的一种基于动量梯度候选的图对比学习对抗性攻击方法，其特征在于，确定边的翻转，生成一个扰动边，将扰动边添加到上一轮所确定的扰动向量上，使图的拓扑结构发生变化；攻击者通过不断优化扰动向量，从而降低图对比学习模型的预测精度，产生扰动图的整体思路采用贪婪策略，每次扰动一条边，公式如下：
G(0)→G(1)→…→G(k)→G(k+1)→…→G(K)。
6.根据权利要求1所述的一种基于动量梯度候选的图对比学习对抗性攻击方法，其特征在于，所述扰动阈值的设定如下：
由公式得出扰动阈值为σ。
7.根据权利要求2所述的一种基于动量梯度候选的图对比学习对抗性攻击方法，其特征在于，图对比学习对抗性攻击的目标函数如下：
(A1，X1)＝t1(A′，X)，(A2,X2)＝t2(A′，X)，||A-A′||0＝2σ。
其中，为对比损失，目标是在内层优化中获得最佳模型参数的同时，最大化外层优化的损失函数，从而使基于梯度的攻击模型能够生成更具扰动效果的对抗样本，θ，θ’分别是干净和被扰动后的对比学习模型参数，t1,t2是两个随机增强函数，A1，A2为图增强视图邻接矩阵，X1，X2为图增强视图节点特征矩阵，A为原始图邻接矩阵。
8.根据权利要求1所述的一种基于动量梯度候选的图对比学习对抗性攻击方法，其特征在于，所述动量梯度的更新过程如下：将反向传播产生的目标损失相对于两个视图的梯度向量，分别按一定比例叠加先前的梯度信息，这个比例为动量梯度，更新公式如下：
其中，分别是两个视图第k轮的动量梯度，/>分别是两个视图第k-1轮的动量梯度；
为了能够充分表达原图梯度的显著性，以及减少随机增强引起的偏差，使用两个视图梯度相加后绝对值的显著性作为确定扰动边的依据，Δsum表示两个视图求和后的动量梯度，公式如下：
9.根据权利要求1所述的一种基于动量梯度候选的图对比学习对抗性攻击方法，其特征在于，所述评估函数如下：
其中，(θ’)k是前一轮扰动图训练后的模型参数，分别是候选图/>经过自适应图数据增强后形成的两个视图。
10.根据权利要求7所述的一种基于动量梯度候选的图对比学习对抗性攻击方法，其特征在于，图对抗性攻击的复杂度分析包括时间复杂度和空间复杂度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410043451.7A CN117875359A (zh) | 2024-01-11 | 2024-01-11 | 一种基于动量梯度候选的图对比学习对抗性攻击方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410043451.7A CN117875359A (zh) | 2024-01-11 | 2024-01-11 | 一种基于动量梯度候选的图对比学习对抗性攻击方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117875359A true CN117875359A (zh) | 2024-04-12 |
Family
ID=90576966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410043451.7A Pending CN117875359A (zh) | 2024-01-11 | 2024-01-11 | 一种基于动量梯度候选的图对比学习对抗性攻击方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117875359A (zh) |
-
2024
- 2024-01-11 CN CN202410043451.7A patent/CN117875359A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zaman et al. | Density-based denoising of point cloud | |
| Picheny | A stepwise uncertainty reduction approach to constrained global optimization | |
| CN107634857B (zh) | 基于svm的故障检测模型构建及评估方法 | |
| CN114048331A (zh) | 一种基于改进型kgat模型的知识图谱推荐方法及系统 | |
| KR101828215B1 (ko) | Long Short Term Memory 기반 순환형 상태 전이 모델의 학습 방법 및 장치 | |
| Zhang et al. | Three-way decisions of rough vague sets from the perspective of fuzziness | |
| US11416760B2 (en) | Machine learning based user interface controller | |
| CN103065192B (zh) | 一种基于确定学习理论的海量时态数据建模方法 | |
| Mohammadi et al. | Making EGO and CMA-ES complementary for global optimization | |
| CN112257851A (zh) | 一种模型对抗训练方法、介质及终端 | |
| Wang et al. | A bio-inspired method for the constrained shortest path problem | |
| Lian et al. | Training algorithm for radial basis function neural network based on quantum-behaved particle swarm optimization | |
| Regis | Surrogate-assisted particle swarm with local search for expensive constrained optimization | |
| Haklidir et al. | Guided soft actor critic: A guided deep reinforcement learning approach for partially observable Markov decision processes | |
| Liu et al. | An obsolescence forecasting method based on improved radial basis function neural network | |
| US20160189026A1 (en) | Running Time Prediction Algorithm for WAND Queries | |
| Sun et al. | Particle swarm algorithm: convergence and applications | |
| CN117875359A (zh) | 一种基于动量梯度候选的图对比学习对抗性攻击方法 | |
| Harde et al. | Design and implementation of ACO feature selection algorithm for data stream mining | |
| Choi et al. | Recurrent DETR: Transformer-Based Object Detection for Crowded Scenes | |
| Stojanova | Considering autocorrelation in predictive models | |
| Wei et al. | Attribute reduction algorithm based on improved information gain rate and ant colony optimization | |
| Zhang et al. | Global exponential stability and existence of periodic solutions for delayed reaction-diffusion BAM neural networks with Dirichlet boundary conditions | |
| Zhang et al. | A Bayesian method for link prediction with considering path information | |
| Zhang et al. | Algorithms to calculate the most reliable maximum flow in content delivery network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |