CN114708479B - 一种基于图结构和特征的自适应防御方法 - Google Patents

Abstract

本发明公开了一种基于图结构和特征的自适应防御方法。目前已经有很多对抗训练、注意力机制、去噪网络等方法来提高图神经网络模型的防御能力，但是当前GCN模型倾向于保持结构相似性而不是特征相似性的问题。本发明包含了三部分的内容：基于Attention机制进行原始图和特征图的训练，自适应平衡图结构和特征的信息；基于权重学习思想进行辅助模型的训练获取不同特征的权重进行消息聚合，考虑了不同特征的不同重要性；利用特征信息单独训练获取不依赖结构信息的结果，并采用对比学习和标签平滑方法提高模型性能。通过本发明提供的平衡图结构和特征的防御方法，可以有效的利用两方面信息提升图神经网络模型的防御能力。

Description

一种基于图结构和特征的自适应防御方法

技术领域

本发明属于图神经网络领域，涉及图神经网络安全性问题，特别涉及一种基于图结构和特征的自适应防御方法。

背景技术

近年来，深度神经网络(DNNs)取得了巨大的成功，广泛应用在图像识别、自然语言处理、人脸识别、物体识别等领域。然而，在现实生活中，并不是所有的事物都可以表示成一个序列或者一个网格，例如社交网络、知识图谱、物联网等。图由于其强大的表达能力，在现实生活中有着广泛的应用。针对具有不规则的空间结构的图数据，研究人员尝试将神经网络推广用以处理任意结构的图，图神经网络(GNN)应运而生。图神经网络可以地从图中提取特征，这些特征可以完成许多图分析任务，如节点分类、链路预测、社区检测和图分类等。

虽然图神经网络应用广泛，但近年来研究人员发现了图神经网络本身存在一些漏洞，并且容易被一些对抗性扰动误导，导致模型性能严重下降。围绕GNN的安全性问题，主要有图对抗攻击和图对抗防御两个研究方向。图攻击算法通常通过重要的数据特征，在评估函数的指导下修改图中的连边以产生对抗性扰动，使得图神经网络失效。而对抗攻击的产生降低了GNN的性能，在实际应用会导致严重后果。

针对图对抗攻击和图神经网络模型本身存在的问题，已有众多GNN模型产生以提高模型鲁棒性。目前已有的防御方法大多是基于图提纯、对抗训练、注意力机制等，最简单的图提纯方法是在训练中随机丢弃一些连边，使用更多的是依据一些相似性度量指标和图本身的特性丢弃一些可能是攻击者添加的连边；对抗训练因其出色的表现在深度学习中得到了广泛的应用，一些研究人员成功地将其从其他领域引入到图域，在图训练中使用对抗训练方法以提高模型鲁棒性，有带对抗目标的训练和使用对抗样本训练两种对抗训练方法；注意力机制已广泛应用于自然语言处理模型和图神经网络，除了能够处理具有不同输入大小的数据外，注意力机制的另一个好处是它们提供了一个框架来根据节点特性分配连边权重以控制消息传递过程。但是这些方法不能很好的解决这样一个问题：目前图卷积神经网络GCN在融合结构和特征信息方面的能力不佳，可以说是倾向于保持结构相似性而不是特征相似性，如何自适应地平衡来着图结构和节点特征信息是提升图神经网络模型防御能力的研究方向之一。

发明内容

本发明的目的是针对GCN倾向于保持结构相似性而不是特征相似性的问题，为了更好地利用图结构和特征两方面的信息，提出一种自适应平衡图结构和特征信息的防御方法，使得图神经网络模型不易受到对抗攻击导致性能下降。

本发明包含以下步骤：

步骤1.利用节点特征生成一个特征图，同时训练原图和特征图，训练模型采用两层GCN，第一层将学习节点的特征权重，依据学习到的特征级权重进行邻域信息的聚合，第二层则是普通的GCN卷积层，遵循其邻域聚合更新公式。

步骤2.采用Attention机制将上述步骤中得到的模型结果自适应合成综合了图结构和特征的结果。

步骤3.为了进一步利用特征信息，将单独使用特征矩阵进行训练，由于使用的数据集中相似的节点之间倾向于有边，故在训练过程中采用了对比学习方法，使得原本相似的节点对的隐藏表示也相似，不相似的节点对隐藏表示也不相似。同时使用标签平滑方法，让学习到的分布去接近标签平滑之后的分布，使得改模型有更好的泛化效果。

步骤4.依据上述步骤设计损失函数，其中模型对齐损失是将步骤1和3分别训练的两个模型进行对齐，让两个模型向对方靠拢，学习到更有用的信息，达到共同优化的目的。

步骤5.计算损失函数，进行梯度更新，重复上述步骤直至训练结束。

步骤6.输出测试集的节点分类结果。

本发明的有益效果：

本发明提高了特征在模型中的利用率，更好地发挥特征的有益作用，解决GCN倾向于保持结构相似性而不是特征相似性的问题；

本发明中的Attention机制自适应平衡了图结构和特征的信息，提高了模型性能；

本发明提高了图神经网络模型的鲁棒性，从攻击的防御指标来看，提高了模型的防御能力，特别是提高了目标攻击场景下的防御性能。

附图说明

图1是基于图结构和特征的自适应防御方法的模型构架图。

图2是辅助模型的架构图。

图3是单独训练特征的模型架构图。

图4是该方法的训练流程图。

具体实施方式

下面结合附图进一步说明本发明；请参阅图1和图4。图1给出了本发明提出的基于图结构和特征的自适应防御方法的体系结构。以下采用的数据集是引文数据集Cora，取其最大连通子图，其中包含2485个节点，每个节点特征具有1433个维度，7个标签，5069条边。本发明具体实施步骤如下。

步骤1.首先使用节点特征X进行kNN聚类，获得特征图，依据特征图可以得到新的邻接矩阵A_f，将原图G(A,X)、特征图G_f(A_f,X)分别输入到设计好的两层GCN中训练，其中GCN设计如下：

第一层将进行特征权重细化，不对所有节点都进行特征权重细化，而是选取部分节点操作：首先采样M个节点，对于这M个节点都将进行如图2所示的流程：将中心节点及其邻居的特征共同输入到辅助模型中，输出的是中心节点的每个邻居的每个特征的权重，中心节点再根据特征权重聚合邻居的信息；其余节点按GCN卷积层的邻域聚合方法聚合邻居信息；聚合邻域信息之后再进行更新得到新的节点表示H₁。

第二层是GCN卷积层，节点更新公式如公式1所示：

其中σ是非线性激活函数，本方法中使用softmax函数；是归一化之后的邻接矩阵；W₂是第二层的参数矩阵。

步骤2.原始图和特征图分别训练得到结果，通过Attention机制合成最终结果：将两者经过步骤1得到的特征向量输入到attention层中，会得到两者的权重分配，再按权重值获取最终结果。

步骤3.为了进一步利用特征信息，将单独使用特征矩阵进行训练，如图3所示，训练模型采用两层MLP，每层均为全连接层。由于使用的数据集是同质图，即图中相似的节点之间倾向于有边，故在训练过程中采用了对比学习方法，获取m对最相似节点对和最不相似节点对，利用节点原始特征和模型第一层输出的隐藏表示分别计算节点对的相似度进行对比学习，使得原本特征相似的节点对的隐藏表示也相似，不相似的节点对隐藏表示也不相似。在计算该模型的交叉熵损失时，将标签进行平滑处理，让学习到的分布去接近标签平滑之后的分布，使得该模型有更好的泛化效果。

步骤4.根据上述的步骤设计的损失函数，具体如公式2所示：

其中λ_m、λ_s、λ_c是超参数，可调节。

其中是有标签数据的交叉熵损失，也就是训练集V_l的交叉熵损失，其中K为标签数量，/>是节点i的预测值，在这里y_i是one-hot形式，即只有正确标签对应的位置为1，其余为0，例如节点i正确标签为1，那么y_i1＝1，其余均为0。

其中是模型对齐的损失，尝试将两个模型的分布对齐。其中u₁、u₂分别为两个模型的不确定性，将使用未经过激活函数的模型输出进行交叉熵公式的计算结果作为模型的不确定性；KL散度是相对熵，是两个概率分布之间差异的非对称性度量，参与计算的两个分布一个是真实分布，一个是理论拟合分布，考虑到KL散度的不对称性，将两个模型的预测结果分别作为真实分布情况下的KL散度结果的和作为损失函数的一部分。

其中将F与平滑标签S的分布对齐，使得模型有更好的泛化效果；标签平滑是一种损失函数的修正，用于解决模型过于自信的问题，也就是说在训练过程中假设标签可能存在错误，避免过分相信训练样本的标签，标签的表现形式变化如图3中所示。标签平滑的公式如公式3所示：

S＝y(1-∈)+∈/K (3)

其中∈是标签平滑调整因子，通常取一个较小的数值；K是指标签的数量。

是对比学习的损失，f是线性映射函数，Sim_ij是节点i、j之间的相似度，M是依据节点特征相似度分别采样出来m个最相似的节点对和最不相似的节点对。

步骤5.每一轮epoch计算上述损失函数的值，进行梯度更新，然后重复步骤1、步骤2、步骤3直至训练任务结束。

步骤6.训练完成之后输入节点特征到MLP模型中预测测试集的节点标签，至此完成所有任务。

本实例中的模型完成的图分析任务是节点分类，故主要从测试集节点分类精度、攻击节点分类正确个数两个方面来进行模型性能及其防御能力评估。主要采取的攻击策略为拓扑攻击，也称结构攻击，包括删除边和添加边，但是不添加节点或者修改节点特征。攻击阶段是模型训练阶段，即中毒攻击，指在模型训练之前对图进行扰动，将扰动之后的图作为模型的输入。中毒攻击可以分为两种方法：

(1)非目标攻击，即攻击者的目的是使模型整体性能下降，本实例中采用的非目标攻击方法为Metattack，其扰动预算是253条边。

(2)目标攻击，即攻击者的目的是使模型将指定的节点预测错误，本实例中采用的是Nettack和FGA，其中Nettack攻击选取的节点为40个，FGA攻击选取的节点是100个。

表1为本发明的方法和基础模型在干净图、攻击图上的实验结果

由表1可以看出本实施案例中的改进后的基于图结构和特征的自适应防御方法在保证干净图精度的前提下，提高模型在受到攻击情况下的防御能力，尤其是在目标攻击场景下，本方法的防御性能得到了极大的提高。

以上是本发明的较佳实施过程，凡依本发明技术所做的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于图结构和特征的自适应防御方法，其特征在于该方法包括如下步骤：

步骤1.利用节点特征生成特征图，同时训练原图和特征图，训练模型采用两层图卷积神经网络GCN；

其中图卷积神经网络的第一层学习节点的特征权重，将中心节点及其邻居的特征共同输入到辅助模型中，输出的是中心节点的每个邻居的每个特征的权重，中心节点再根据特征权重聚合邻居的信息；其余节点按GCN卷积层的邻域聚合方法聚合邻居信息；聚合邻域信息之后再进行更新得到新的节点表示；第二层则是普通的GCN卷积层，遵循其邻域聚合更新公式；

步骤2.采用Attention机制将步骤1中得到的结果自适应合成，得到综合了图结构和特征的结果；所述的步骤1中得到的结果是指原始图和特征图分别训练得到的结果；

步骤3.单独使用特征矩阵进行训练，训练模型采用两层MLP，在训练过程中采用了对比学习方法，采用m对最相似节点对和最不相似节点对，利用原始特征和模型第一层输出的隐藏表示分别计算节点对的相似度进行对比学习，使得原本相似的节点对的隐藏表示也相似，不相似的节点对隐藏表示也不相似；在计算该模型的交叉熵损失时，将标签进行平滑处理，让学习到的分布去接近标签平滑之后的分布，使得模型有更好的泛化效果；

所述的将标签进行平滑处理由以下公式表征：

S＝y(1-∈)+∈/K

其中S表示平滑后的标签；y表示待平滑的标签；∈表示标签平滑调整因子；K表示标签的数量；

步骤4.设计损失函数，其中模型对齐损失是将步骤1、3分别训练的两个模型进行对齐，让两个模型向对方靠拢，学习到更有用的信息，达到共同优化的目的；

所述的损失函数计算如下：

其中表示有标签数据的交叉熵损失；/>表示模型对齐的损失；/>表示分布对齐损失；/>表示对比学习的损失；λ_m、λ_s、λ_c分别表示对应损失的超参数；

其中V_l表示训练集，i表示第i个节点，k表示第k个标签，K表示标签数量，u₁、u₂分别表示两个模型的不确定性，KL表示散度值，Z表示真实分布，F表示理论拟合分布，S表示平滑标签，Div()表示对齐函数，M表示依据节点特征相似度分别采样出来m个最相似的节点对和最不相似的节点对，f表示线性映射函数，Sim_ij表示节点i、j之间的相似度；H_i表示节点i的表示，H_j表示节点j的表示；

步骤5.计算损失函数，进行梯度更新，重复上述步骤直至训练结束；

步骤6.输出测试集的节点分类结果。

2.根据权利要求1所述的一种基于图结构和特征的自适应防御方法,其特征在于：步骤1中第一层将进行特征权重细化，不对所有节点都进行特征权重细化，而是选取部分节点操作。

3.根据权利要求1所述的一种基于图结构和特征的自适应防御方法,其特征在于：步骤4中的模型对齐要求获取模型输出层未经过激活函数的表示，用于获取不确定性；在计算KL散度需要乘上相应的不确定性值，同时考虑KL散度的不对称性，将两个模型的结果分别作为真实分布进行计算，以便模型相互学习。