CN113452548A - 一种针对网络节点分类和链路预测的指标评测方法及系统 - Google Patents

Abstract

一种针对网络节点分类和链路预测的指标评测方法，包括：S1：选取最新的节点分类模型和链路预测模型和攻击算法；S2：计算得到网络图性质指标和攻击隐蔽性指标；S3：通过指标相关性分析，筛选掉相关性过高的指标。S4：训练随机森林模型。设计特征映射损失函数，并进行多次迭代，使用t‑SNE方法对输出指标进行可视化，可视化模型鲁棒性特征。本发明还公开了一种针对网络节点分类和链路预测的指标评测方法，由识别攻击模块，评测模块，相关性分析模块，搜索优化模块连接而成。本发明将图像的模型分析方法引入网络领域，使得其可以分析网络领域中模型的性质。提出了网络图性质指标和攻击隐蔽性指标，设计损失函数，多次迭代，寻找最优参数。

Description

一种针对网络节点分类和链路预测的指标评测方法及系统

技术领域

本发明涉及复杂网络节点分类和链路预测模型评测领域，特别是一种针对网络节点分类和链路预测的指标评测方法。

背景技术

深度神经网络的发展导致了输入时自然和恶意变化的鲁棒性问题。神经网络可能在输入的过程中容易导致不可察觉的变化，最后影响神经网络的决定。这个问题存在于各种机器学习应用之中，可以通过实施各种防御机制来抵抗对抗性干扰的威胁，要么试图恢复真实语义标签，要么检测并拒绝对抗性示例或者通过不同指标数据衡量模型之间的脆弱性。在不同的模型上也会表现出对抗样本的特性，也就是说DNN模型具有非直观的特性和固有的盲点，其结构与数据分布的关系不明显，对抗样本在自然图像的区域之外运行，模型在训练期间没有接触到这些区域，因此它的行为可以被任意操纵。但现如今对于模型的指标评测分析仅仅在图像分类领域，虽然复杂网络数据与图像数据有所不同，但复杂网络节点分类和链路预测模型的鲁棒性分析还是引起了很多网络学者的关注。

已有专利：

申请号为202010799032.8的专利所公开的技术方案，人工智能图像分类模型的鲁棒性评估和增强系统，其包括白盒评估模块，黑盒评估模块和防御增强模块，通过多种鲁棒性评估指标优化鲁棒性评估流程，通过内置的多种技术对模型进行防御。本专利基于网络领域，提出攻击前后的一系列指标，丰富了整个指标体系。整合攻击前后的指标得到对于模型鲁棒性的综合评价，经过指标之间的相关性分析，筛选掉部分相关性极高的指标，经过随机森林的机器学习算法，设计特征映射损失函数使得同类型特征聚合，不同类特征分离。生成模型鲁棒性的判定准则，评价报告和直观评价。

针对鲁棒性分析的工作，当下在图像领域已经有较为完善的分析方法，但针对网络领域的论文非常少。

发明内容

本发明要克服现有技术的上述缺点，提供一种针对网络节点分类和链路预测的指标评测方法及系统，使能在网络领域通过全面的指标分析分类模型的鲁棒性。

为实现上述目的，本发明提供如下方案：

本发明提供了一种针对网络节点分类和链路预测的指标评测方法及系统，包括以下步骤：

S1：使用cora引文网络数据集，选取最新的节点分类模型和链路预测模型，选取最新的深度学习攻击方法，将生成的对抗样本和原始样本一一对应保存；

S2：将原始样本输入到不同参数、结构的模型得到网络图性质指标；将原始样本和攻击样本输入模型得到攻击隐蔽性指标；

S3：通过指标相关性分析、筛选掉相关性过高的指标，并把输出的指标保存下来；

S4：将输出指标分为训练集和验证集，训练随机森林模型。设计特征映射损失函数作为其损失函数，进行多次迭代，制作鲁棒性分析模块，使用t-SNE方法对输出指标进行可视化，可视化模型鲁棒性特征；

S5：用户可以选择上传自己的网络模型，选择使用的攻击方法，得到相应的鲁棒性判定准则、鲁棒性评价报告和鲁棒性直观评价。

进一步的，步骤S1所述的选取最新的节点分类模型和链路预测模型，节点分类模型包括：GCN，GAT，MIXHOP模型，链路预测模型包括：GCN_VAE,ARGA_AE,ARGA_VAE模型，所述的最新的攻击方法，节点分类最新的攻击方法包括NTK，GFA，链路预测最新的攻击方法包括白盒攻击和代替模型攻击；具体包括：

S1.1：使用Cora数据集作为样本数据：

本发明使用Cora数据集进行评估，该数据集共2708个样本点，每个样本点都是一篇科学论文，所有样本点被分为8个类别，类别分别是1)基于案例；2)遗传算法；3)神经网络；4)概率方法；5)强化学习；6)规则学习；7)理论，每篇论文都由一个1433维的词向量表示，所以，每个样本点具有1433个特征。词向量的每个元素都对应一个词，且该元素只有0或1两个取值。取0表示该元素对应的词不在论文中，取1表示在论文中。所有的词来源于一个具有1433个词的字典。每篇论文都至少引用了一篇其他论文，或者被其他论文引用，也就是样本点之间存在联系，没有任何一个样本点与其他样本点完全没联系。如果将样本点看做图中的点，则这是一个连通的图，不存在孤立点。其中训练集、验证集、测试集包含的节点个数分别为：140、500、1000，其中每类节点个数相同；

S1.2：选取最新的节点分类模型和链路预测模型，选取最新的攻击方法，将生成的对抗样本和原始样本一一对应保存：

选取最新的节点分类模型包括：GCN，GAT，MIXHOP模型，最新的链路预测模型包括：GCN_VAE,ARGA_AE,ARGA_VAE模型，选取最新的攻击方法，节点分类最新的攻击方法包括NTK，GFA，链路预测最新的攻击方法包括白盒攻击和代替模型攻击。

进一步的，步骤S2具体包括：

S2.1:将原始样本输入到不同参数、结构的模型得到网络图性质指标：

所述的网络图性质指标包括度中心性DC，接近中心性CC，介数中心性BC，特征向量中心性EC，聚类系数Cluster，其中DC常用来衡量节点在网络中的重要性，即一个节点的度中心性越大则意味着这个节点越重要；CC表示节点到其它所有节点距离的平均值的倒数，用于度量网络中的一个节点到其它节点的平均最短距离；BC指标为网络中所有节点对之间的最短路径中，经过某节点的最短路径的数量占所有最短路径数量的比例；EC指标用来衡量网络中节点影响力的一种度量指标，网络中节点的重要性取决于其邻居节点的数量，也取决于其邻居节点的重要性；Cluster指标表示该节点的邻居节点之间实际存在的连边占邻居节点之间可能形成的最大连边数的比例，用来定量刻画邻居节点形成连边的概率。

2.2:将原始样本和攻击样本输入模型得到攻击隐蔽性指标：

所述的攻击隐蔽性指标包括所述的攻击隐蔽性指标如下：对抗网络的最大连接部分的大小，对抗网络的‘三角形’数，对抗网络的‘矩形数’，对抗网络的幂律系数，对抗网络节点连接相似度，对抗网络的连接部分数，对抗网络的特征路径长度。其中对抗网络的最大连接部分的大小表示其子图内的每个点至少与其余点中的一个连接，且子图间没有连接，最大连接部分的大小即最大子图的尺寸；对抗网络的‘三角形’数表示对抗网络图中包含一个节点作为一个顶点的三角形数量；对抗网络的‘矩形’数：表示对抗网络图中平均每个节点含有的矩形数量；对抗网络的幂律系数表示当随机从网络中抽取一个节点时，与该节点相连的节点数的概率分布，对对抗网络的概率分布进行幂律拟合，计算幂律拟合的最小值；对抗网络节点的连接相似度：先求节点度发生共现的联合概率，分别按行和列得到两个量，求两个量的线性相关系数；对抗网络的连接部分数：表示图的连接部分定义为一个子图，子图内的每个点至少与子图内其余点中的一个连接，且子图间的点没有连接，统计对抗网络的子图数量；对抗网络的特征路径长度：表示求对抗网络从节点i到节点j的最短路径距离，得到一个各个节点间最短距离数值的矩阵，再对矩阵中非无穷的元素求和取平均值得到特征路径长。

进一步的，所述步骤S3具体包括：

S3.1：选取两种相关性算法，计算不同指标之间的相关性：

选取kendall相关系数作为衡量指标之间相关性的方法，kendall系数是一个用来测量两个随机数相关性的统计值，将保存好的指标csv文件进行kendall相关系数计算。

S3.2：根据指标之间的相关性，筛选出相关性值较高的两两指标，选取其中一个指标，并将结果保存下来；

当相关系数大于0.8，或小于-0.8时，那么表示这指标之间存在很强的相关性，对后续的分类可能造成过拟合等不良影响，除去掉两两相关性高于0.8或小于-0.8两列中的一列，并将筛选后的指标保存下来。

进一步的，所述步骤包括S4具体包括：

S4.1将输出指标分为训练集和验证集，设计经验损失函数：

将输出指标按照2:1的比例划分为训练集和验证集，保证训练集中鲁棒模型指标和不鲁棒模型指标相同。按照指标体系的输出指标，设计经验损失函数，使得鲁棒模型和不鲁棒模型的指标分布相距更远。本发明提出的经验损失函数如下：

loss_总＝η₁×loss_网+η₂×loss_隐 (1)

公式(1)中，η₁为0.5，η₂为0.5，loss_网表示网络图性质指标，loss_隐表示隐蔽性指标。

S4.2优化模型参数，训练随机森林模型：

本发明先通过不断迭代随机森林决策树数量这一重要参数，使得上述的经验损失函数更大，鲁棒模型和不鲁棒模型的指标分布相距更远。之后使用网格迭代法寻优，找到决策树深度，最大分叉树等一系列参数的最优解，进一步扩大指标的分布距离。

S4.3提取模型的指标数据，经过t-SNE降维方法可视化模型鲁棒性特征

本发明通过获得模型的多维指标数据，整合成一个多维数组。经过t-SNE方法，将多维特征降维到二维空间，可以直观的看出模型在鲁棒空间的特征分布，可视化不同模型的鲁棒情况。

实施并发明的一种针对网络节点分类和链路预测的指标评测方法的系统，包括识别攻击模块，评测模块，相关性分析模块，搜索优化模块，可视化模块；

所述识别攻击模块，选取cora引文数据集作为使用数据集，选取最新的节点分类模型包括：GCN，GAT，MIXHOP模型，链路预测模型包括：GCN_VAE,ARGA_AE,ARGA_VAE模型。选取最新的攻击，节点分类最新的攻击方法包括NTK，GFA，链路预测最新的攻击方法包括白盒攻击和代替模型攻击，用攻击方法在训练好的模型上生成攻击样本，保存所述模型和攻击样本。

所述评测模块，输入保存的模型和原始样本计算模型的网络图性质指标，输入保存的模型、原始样本和攻击样本计算模型的攻击隐蔽性指标，并将上述评测的指标保存成字典形式。

所述的相关性分析模块，输入指标字典，选取kendall相关性算法计算不同指标之间的相关性。根据指标之间的相关性，筛选出相关性值较高的两两指标，选取其中一个指标，并把结果保存下来；

所述搜索优化模块，将输出指标按照2:1的比例划分为训练集与测试集，保证训练集中鲁棒性指标和不鲁棒模型指标相同。不断迭代随机森林决策树数量这一重要参数，使得上述的经验损失函数更大，鲁棒模型和不鲁棒模型的指标分布相距更远，之后使用网格迭代法寻优，找到决策树深度，最大分叉树参数的最优解，进一步扩大指标的分布距离。

所述的可视化模块：取出模型的指标数据，经过t-SNE降维方法可视化模型鲁棒性特征。

所述识别攻击模块，所述评测模块，所述相关性分析模块，所述搜索优化模块，所述可视化模块依次链接。

本发明公开了以下技术效果：

1.本发明不需要使用任何网络数据的各种先验知识，在网络节点分类模型和链路预测模型的分析具有普适性。

2.本发明将图像的模型分析方法引入网络领域，根据网络的特点对指标进行修改，使得其可以分析网络节点分类和链路预测模型的性质。

3.模型的分析过程中，很难有一个确切的标准评价模型的鲁棒性，针对目前主流的攻击驱动的评价指标可能存在不全面的弊端，本发明综合了网络图性质指标，进一步补充攻击驱动的评价指标。

4.本发明搭建了识别攻击，评测，分析，搜索优化的评测系统，先对数据集进行识别攻击，再识别攻击的过程中，评测对应模型的属性和特征，对属性和特征进行筛选，根据损失函数搜索优化随机森林参数。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法的流程图；

图2本发明的针对网络节点分类和链路预测的指标评测系统框架；

图3是本发明方法的具体方法；

图4是本发明的指标评测方法。

具体实施方式

现详细说明本发明的多种示例性实施方式，该详细说明不应认为是对本发明的限制，而应理解为本发明的某些方面、特性和实施方案的更详细的描述。

应理解本发明中所述的术语仅仅是为描述特别的实施方式，并非用于限制本发明。另外，对于本发明中的数值范围，应理解为还具体公开了该范围的上限和下限之间的每个中间值，在任何陈述值或陈述范围内的中间值，在任何陈述值或陈述范围内的中间值以及任何其他陈述值或在所述范围内的中间值之间的每个较小的范围也包括在本发明内。这些较小范围的上限和下限可独立地包括或排除在范围内。

除非另有说明，否则本文使用的所有技术和科学术语具有本发明所属领域的常规技术人员通常理解的相同含义。虽然本发明仅描述了优选的方法和材料，但是在本发明的实施或测试中也可以使用与本文所述相似或等同的任何方法和材料。本说明书中提到的所有文献通过引入并入，用以公开和描述与所述文献相关的方法和/或材料。在与任何并入的文献冲突时，以本说明书的内容为准。

在不背离本发明的范围或精神的情况下，可对本发明说明书的具体实施方式做多种改进和变化，这对本领域技术人员而言是显而易见的。由本发明的说明书得到的其他实施方式对技术人员而言是显而易见得的。本申请说明书和实施例仅是示例性的

关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。

本发明中所述的“份”如无特别说明，均按质量份计。

S1：使用cora引文网络数据集，选取最新的节点分类模型和链路预测模型，选取最新的攻击方法，将生成的对抗样本和原始样本一一对应保存；

S1.1：使用Cora数据集作为样本数据：

S1.2：选取最新的节点分类模型和链路预测模型，选取最新的攻击方法，将生成的对抗样本和原始样本一一对应保存；

S2：将原始样本输入模型得到网络图性质指标；将原始样本和攻击样本输入模型得到攻击隐蔽性指标：

S2.1:将原始样本输入模型得到网络图性质指标；

S2.2：将原始样本和攻击样本输入模型得到攻击隐蔽性指标：

S3：通过指标相关性分析、筛选掉相关性过高的指标，并把输出的指标保存下来：

S3.1：选取两种相关性算法，计算不同指标之间的相关性。

S3.2：根据指标之间的相关性，筛选出相关性值较高的两两指标，选取其中一个指标，并将结果保存下来；

S4：将输出指标分为训练集和验证集，训练随机森林模型。设计特征映射损失函数作为其损失函数，进行多次迭代，制作鲁棒性分析模块，使用t-SNE方法对输出指标进行可视化，可视化模型鲁棒性特征：

S4.1将输出指标分为训练集和验证集，设计经验损失函数；

S4.2优化模型参数，训练随机森林模型；

S4.3提取模型的指标数据，经过t-SNE降维方法可视化模型鲁棒性特征。

所述步骤S1中，使用Cora数据集进行评估，该数据集共2708个样本点，每个样本点都是一篇科学论文，所有样本点被分为8个类别，类别分别是1)基于案例；2)遗传算法；3)神经网络；4)概率方法；5)强化学习；6)规则学习；7)理论，每篇论文都由一个1433维的词向量表示，所以，每个样本点具有1433个特征。词向量的每个元素都对应一个词，且该元素只有0或1两个取值。取0表示该元素对应的词不在论文中，取1表示在论文中。所有的词来源于一个具有1433个词的字典。每篇论文都至少引用了一篇其他论文，或者被其他论文引用，也就是样本点之间存在联系，没有任何一个样本点与其他样本点完全没联系。如果将样本点看做图中的点，则这是一个连通的图，不存在孤立点。其中训练集、验证集、测试集包含的节点个数分别为：140、500、1000，其中每类节点个数相同；选取最新的节点分类模型包括：GCN，GAT，MIXHOP模型，最新的链路预测模型包括：GCN_VAE,ARGA_AE,ARGA_VAE模型。选取最新的攻击方法，节点分类最新的攻击方法包括NTK，GFA，链路预测最新的攻击方法包括白盒攻击和代替模型攻击。

节点分类NTK攻击方法指从对抗攻击的目的出发，对于某一个目标节点的攻击可以看作扰动图的结构或者节点特征信息使目标节点的分类错误。既然无法通过梯度方式一步到位，则可以通过多次的单次扰动不断地降低目标节点的正确标签的预测概率，根据该目标可以设计如下损失函数：

上述攻击(2)中，A′、X′即图G0被攻击后的邻接矩阵和特征矩阵，

为扰动节点(直接攻击：直接攻击目标节点；间接攻击：通过多个扰动节点攻击目标节点)，Δ代表设定的扰动量，

表示所有G0的扰动节点被设定扰动量内的干扰攻击后的图信息；

即目标节点v₀对应的标签c的预测概率，c_old即节点v₀的原始正确标签。

节点分类GFA攻击方法指图信号处理主要研究将数据点之间的关系建模为图进行分析和处理，从这个角度上讲，图节点的特征矩阵X可以看作是具有l通道的图信号，并建立图嵌入模型：

上述公式(3)中，

表示图信号滤波器，上述公式(4)中，σ(·)表示神经网络的激活函数，

即转换特征通道数的卷积滤波器。为了避免访问目标模型的参数Θ，所以需要针对

图信号滤波器进行攻击。已有的一些工作证明了图嵌入模型的输出嵌入具有很低的秩。所以为了破坏嵌入Z的输出质量，可以将一般优化问题建立为一个T-rank近似问题：

上述公式(5)中，h(S′)是多项式图滤波器，S′是由扰动邻接矩阵A′构造的图信号滤波器。

链路预测白盒攻击指我们根据每一条目标连边涉及具体的损失函数：

其中mask是目标矩阵，只有目标连边位置为1，其余都为0，A为原始邻接矩阵，

为重构的邻接矩阵。然后根据目标连边的损失函数对原始邻接矩阵求导，可以得到梯度矩阵

由于我们时针对无权无向网络进行攻击的，因此我们需要保证我们所得到的梯度矩阵也是对称矩阵，因此需对得到的梯度矩阵进行预处理：

根据得到的梯度矩阵，我们对原始网络进行连边修改。

链路预测代替模型攻击指先搭建gcn_ae模型，将其作为等价代替模型，并将网络数据放入进行训练，最终获取训练好的gcn_ae模型，在gcn_ae模型上，我们进行白盒攻击，我们根据每一条目标连边涉及具体的损失函数：

其中mask是目标矩阵，只有目标连边位置为1，其余都为0，A为原始邻接矩阵，

为重构的邻接矩阵。然后根据目标连边的损失函数对原始邻接矩阵求导，可以得到梯度矩阵

由于我们时针对无权无向网络进行攻击的，因此我们需要保证我们所得到的梯度矩阵也是对称矩阵，因此需对得到的梯度矩阵进行预处理：

根据得到的梯度矩阵，我们对原始网络进行连边修改。

所述步骤S2.1中，所述网络图性质指标包括度中心性DC，接近中心性CC，介数中心性BC，特征向量中心性EC，聚类系数Cluster，其中DC常用来衡量节点在网络中的重要性，即一个节点的度中心性越大则意味着这个节点越重要；CC表示节点到其它所有节点距离的平均值的倒数，用于度量网络中的一个节点到其它节点的平均最短距离；BC指标为网络中所有节点对之间的最短路径中，经过某节点的最短路径的数量占所有最短路径数量的比例；EC指标用来衡量网络中节点影响力的一种度量指标，网络中节点的重要性取决于其邻居节点的数量，也取决于其邻居节点的重要性；Cluster指标表示该节点的邻居节点之间实际存在的连边占邻居节点之间可能形成的最大连边数的比例，用来定量刻画邻居节点形成连边的概率。

所述步骤S2.2中，所述的攻击隐蔽性指标包括所述的攻击隐蔽性指标如下：对抗网络的最大连接部分的大小，对抗网络的‘三角形’数，对抗网络的‘矩形数’，对抗网络的幂律系数，对抗网络节点连接相似度，对抗网络的连接部分数，对抗网络的特征路径长度。其中对抗网络的最大连接部分的大小表示其子图内的每个点至少与其余点中的一个连接，且子图间没有连接，最大连接部分的大小即最大子图的尺寸；对抗网络的‘三角形’数表示对抗网络图中包含一个节点作为一个顶点的三角形数量；对抗网络的‘矩形’数：表示对抗网络图中平均每个节点含有的矩形数量；对抗网络的幂律系数表示当随机从网络中抽取一个节点时，与该节点相连的节点数的概率分布，对对抗网络的概率分布进行幂律拟合，计算幂律拟合的最小值；对抗网络节点的连接相似度：先求节点度发生共现的联合概率，分别按行和列得到两个量，求两个量的线性相关系数；对抗网络的连接部分数：表示图的连接部分定义为一个子图，子图内的每个点至少与子图内其余点中的一个连接，且子图间的点没有连接，统计对抗网络的子图数量；对抗网络的特征路径长度：表示求对抗网络从节点i到节点j的最短路径距离，得到一个各个节点间最短距离数值的矩阵，再对矩阵中非无穷的元素求和取平均值得到特征路径长度。

所述步骤S3.1中选取kendall相关系数作为衡量指标之间相关性的方法，kendall系数是一个用来测量两个随机数相关性的统计值，将保存好的指标csv文件进行kendall相关系数计算。

所述步骤S3.2中，当相关系数大于0.8，或小于-0.8时，那么表示这指标之间存在很强的相关性，对后续的分类可能造成过拟合等不良影响，除去掉两两相关性高于0.8或小于-0.8两列中的一列，并将筛选后的指标保存下来。

所述S4,1的步骤中，将输出指标按照2:1的比例划分为训练集和验证集，保证训练集中鲁棒模型指标和不鲁棒模型指标相同。按照指标体系的输出指标，设计经验损失函数，使得鲁棒模型和不鲁棒模型的指标分布相距更远。本发明提出的经验损失函数如下：

loss_总＝η₁×loss_网+η₂×loss_隐 (1)

上述公式1中，η₁为0.5，η₂为0.5，loss_网表示网络图性质指标，loss_隐表示隐蔽性指标。

所述步骤S4.2中先通过不断迭代随机森林决策树数量这一重要参数，使得上述的经验损失函数更大，鲁棒模型和不鲁棒模型的指标分布相距更远。之后使用网格迭代法寻优，找到决策树深度，最大分叉树等一系列参数的最优解，进一步扩大指标的分布距离。

所述步骤S4.3中通过获得模型的多维指标数据，整合成一个多维数组。经过t-SNE方法，将多维特征降维到二维空间，可以直观的看出模型在鲁棒空间的特征分布，可视化不同模型的鲁棒情况。

实施并发明的一种针对网络节点分类和链路预测的指标评测方法的系统，包括识别攻击模块，评测模块，相关性分析模块，搜索优化模块，可视化模块：

所述识别攻击模块，具体包括：

使用Cora数据集进行评估，该数据集共2708个样本点，每个样本点都是一篇科学论文，所有样本点被分为8个类别，类别分别是1)基于案例；2)遗传算法；3)神经网络；4)概率方法；5)强化学习；6)规则学习；7)理论，每篇论文都由一个1433维的词向量表示，所以，每个样本点具有1433个特征。词向量的每个元素都对应一个词，且该元素只有0或1两个取值。取0表示该元素对应的词不在论文中，取1表示在论文中。所有的词来源于一个具有1433个词的字典。每篇论文都至少引用了一篇其他论文，或者被其他论文引用，也就是样本点之间存在联系，没有任何一个样本点与其他样本点完全没联系。如果将样本点看做图中的点，则这是一个连通的图，不存在孤立点。其中训练集、验证集、测试集包含的节点个数分别为：140、500、1000，其中每类节点个数相同；选取最新的节点分类模型包括：GCN，GAT，MIXHOP模型，最新的链路预测模型包括：GCN_VAE,ARGA_AE,ARGA_VAE模型。选取最新的攻击方法，节点分类最新的攻击方法包括NTK，GFA，链路预测最新的攻击方法包括白盒攻击和代替模型攻击。

节点分类NTK攻击方法指从对抗攻击的目的出发，对于某一个目标节点的攻击可以看作扰动图的结构或者节点特征信息使目标节点的分类错误。既然无法通过梯度方式一步到位，则可以通过多次的单次扰动不断地降低目标节点的正确标签的预测概率，根据该目标可以设计如下损失函数：

上述攻击(2)中，A′、X′即图G0被攻击后的邻接矩阵和特征矩阵，

为扰动节点(直接攻击：直接攻击目标节点；间接攻击：通过多个扰动节点攻击目标节点)，Δ代表设定的扰动量，

表示所有G0的扰动节点被设定扰动量内的干扰攻击后的图信息；

即目标节点v₀对应的标签c的预测概率，c_old即节点v₀的原始正确标签。

节点分类GFA攻击方法指图信号处理主要研究将数据点之间的关系建模为图进行分析和处理，从这个角度上讲，图节点的特征矩阵X可以看作是具有l通道的图信号，并建立图嵌入模型：

上述公式(3)中，

表示图信号滤波器，上述公式(4)中，σ(·)表示神经网络的激活函数，

即转换特征通道数的卷积滤波器。为了避免访问目标模型的参数Θ，所以需要针对

图信号滤波器进行攻击。已有的一些工作证明了图嵌入模型的输出嵌入具有很低的秩。所以为了破坏嵌入Z的输出质量，可以将一般优化问题建立为一个T-rank近似问题：

上述公式(5)中，h(S′)是多项式图滤波器，S′是由扰动邻接矩阵A′构造的图信号滤波器。

链路预测白盒攻击指我们根据每一条目标连边涉及具体的损失函数：

其中mask是目标矩阵，只有目标连边位置为1，其余都为0，A为原始邻接矩阵，

为重构的邻接矩阵。然后根据目标连边的损失函数对原始邻接矩阵求导，可以得到梯度矩阵

由于我们时针对无权无向网络进行攻击的，因此我们需要保证我们所得到的梯度矩阵也是对称矩阵，因此需对得到的梯度矩阵进行预处理：

根据得到的梯度矩阵，我们对原始网络进行连边修改。

链路预测代替模型攻击指先搭建gcn_ae模型，将其作为等价代替模型，并将网络数据放入进行训练，最终获取训练好的gcn_ae模型，在gcn_ae模型上，我们进行白盒攻击，我们根据每一条目标连边涉及具体的损失函数：

其中mask是目标矩阵，只有目标连边位置为1，其余都为0，A为原始邻接矩阵，

为重构的邻接矩阵。然后根据目标连边的损失函数对原始邻接矩阵求导，可以得到梯度矩阵

由于我们时针对无权无向网络进行攻击的，因此我们需要保证我们所得到的梯度矩阵也是对称矩阵，因此需对得到的梯度矩阵进行预处理：

根据得到的梯度矩阵，我们对原始网络进行连边修改。

所述评测模块，输入保存的模型和原始样本计算模型的网络图性质指标，输入保存的模型、原始样本和攻击样本计算模型的攻击隐蔽性指标，并将上述评测的指标保存成字典形式；具体包括：

S2.1:将原始样本输入到不同参数、结构的模型得到网络图性质指标；

所述网络图性质指标包括度中心性DC，接近中心性CC，介数中心性BC，特征向量中心性EC，聚类系数Cluster，其中DC常用来衡量节点在网络中的重要性，即一个节点的度中心性越大则意味着这个节点越重要；CC表示节点到其它所有节点距离的平均值的倒数，用于度量网络中的一个节点到其它节点的平均最短距离；BC指标为网络中所有节点对之间的最短路径中，经过某节点的最短路径的数量占所有最短路径数量的比例；EC指标用来衡量网络中节点影响力的一种度量指标，网络中节点的重要性取决于其邻居节点的数量，也取决于其邻居节点的重要性；Cluster指标表示该节点的邻居节点之间实际存在的连边占邻居节点之间可能形成的最大连边数的比例，用来定量刻画邻居节点形成连边的概率。

S2.2:将原始样本和攻击样本输入模型得到攻击隐蔽性指标；

所述的攻击隐蔽性指标包括所述的攻击隐蔽性指标如下：对抗网络的最大连接部分的大小，对抗网络的‘三角形’数，对抗网络的‘矩形数’，对抗网络的幂律系数，对抗网络节点连接相似度，对抗网络的连接部分数，对抗网络的特征路径长度。其中对抗网络的最大连接部分的大小表示其子图内的每个点至少与其余点中的一个连接，且子图间没有连接，最大连接部分的大小即最大子图的尺寸；对抗网络的‘三角形’数表示对抗网络图中包含一个节点作为一个顶点的三角形数量；对抗网络的‘矩形’数：表示对抗网络图中平均每个节点含有的矩形数量；对抗网络的幂律系数表示当随机从网络中抽取一个节点时，与该节点相连的节点数的概率分布，对对抗网络的概率分布进行幂律拟合，计算幂律拟合的最小值；对抗网络节点的连接相似度：先求节点度发生共现的联合概率，分别按行和列得到两个量，求两个量的线性相关系数；对抗网络的连接部分数：表示图的连接部分定义为一个子图，子图内的每个点至少与子图内其余点中的一个连接，且子图间的点没有连接，统计对抗网络的子图数量；对抗网络的特征路径长度：表示求对抗网络从节点i到节点j的最短路径距离，得到一个各个节点间最短距离数值的矩阵，再对矩阵中非无穷的元素求和取平均值得到特征路径长度。

所述的相关性分析模块，输入指标字典，选取kendall相关性算法计算不同指标之间的相关性。根据指标之间的相关性，筛选出相关性值较高的两两指标，选取其中一个指标，并把结果保存下来；具体包括：

S3.1：选取kendall相关性算法，计算不同指标之间的相关性；选取kendall相关系数作为衡量指标之间相关性的方法，kendall系数是一个用来测量两个随机数相关性的统计值，将保存好的指标csv文件进行kendall相关系数计算。

S3.2：根据指标之间的相关性，筛选出相关性值较高的两两指标，选取其中一个指标，并把结果保存下来；当相关系数大于0.8，或小于-0.8时，那么表示这指标之间存在很强的相关性，对后续的分类可能造成过拟合等不良影响，除去掉两两相关性高于0.8或小于-0.8两列中的一列，并将筛选后的指标保存下来。

所述搜索优化模块，将输出指标按照2:1的比例划分为训练集与测试集，保证训练集中鲁棒性指标和不鲁棒模型指标相同。不断迭代随机森林决策树数量这一重要参数，使得上述的经验损失函数更大，鲁棒模型和不鲁棒模型的指标分布相距更远，之后使用网格迭代法寻优，找到决策树深度，最大分叉树参数的最优解，进一步扩大指标的分布距离；具体包括：

S4.1将输出指标分为训练集和验证集，设计经验损失函数；

将输出指标按照2:1的比例划分为训练集和验证集，保证训练集中鲁棒模型指标和不鲁棒模型指标相同。按照指标体系的输出指标，设计经验损失函数，使得鲁棒模型和不鲁棒模型的指标分布相距更远。本发明提出的经验损失函数如下：

loss_总＝η₁×loss_网+η₂×loss_隐 (1)

上述公式1中，η₁为0.5，η₂为0.5，loss_网表示网络图性质指标，loss_隐表示隐蔽性指标。

S4.2优化模型参数，训练随机森林模型；

先通过不断迭代随机森林决策树数量这一重要参数，使得上述的经验损失函数更大，鲁棒模型和不鲁棒模型的指标分布相距更远。之后使用网格迭代法寻优，找到决策树深度，最大分叉树等一系列参数的最优解，进一步扩大指标的分布距离。

所述的可视化模块：取出模型的指标数据，经过t-SNE降维方法可视化模型鲁棒性特征；具体包括：

S4.3中通过获得模型的多维指标数据，整合成一个多维数组。经过t-SNE方法，将多维特征降维到二维空间，可以直观的看出模型在鲁棒空间的特征分布，可视化不同模型的鲁棒情况。

本发明将图像的模型分析方法引入网络领域，使得其可以分析网络领域中模型的性质。提出了网络图性质指标和攻击隐蔽性指标，设计损失函数，多次迭代，寻找最优参数。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (6)

1.一种针对网络节点分类和链路预测的指标评测方法，其特征在于：包括以下步骤：

S1：使用cora引文网络数据集，选取最新的节点分类模型和链路预测模型，选取最新的深度学习攻击方法，将生成的对抗样本和原始样本一一对应保存；

S2：将原始样本输入到最新的节点分类模型和链路预测模型得到网络图性质指标；将原始样本和攻击样本输入模型得到攻击隐蔽性指标；

S3：通过指标相关性分析、筛选掉相关性过高的指标，并把输出的指标保存下来；

S4：将输出指标分为训练集和验证集，训练随机森林模型，设计特征映射损失函数作为其损失函数，进行多次迭代，制作鲁棒性分析模块，使用t-SNE方法对输出指标进行可视化，可视化模型鲁棒性特征。

2.根据权利要求1所述的一种针对网络节点分类和链路预测的指标评测方法，其特征在于：步骤S1所述的选取最新的节点分类模型和链路预测模型，节点分类模型包括：GCN，GAT，MIXHOP模型，链路预测模型包括：GCN_VAE,ARGA_AE,ARGA_VAE模型，所述的最新的攻击方法，节点分类最新的攻击方法包括NTK，GFA，链路预测最新的攻击方法包括白盒攻击和代替模型攻击。具体包括：

S1.1：使用Cora数据集作为样本数据：

使用Cora数据集进行评估，该数据集共2708个样本点，每个样本点都是一篇科学论文，所有样本点被分为8个类别，类别分别是1)基于案例；2)遗传算法；3)神经网络；4)概率方法；5)强化学习；6)规则学习；7)理论，每篇论文都由一个1433维的词向量表示，所以，每个样本点具有1433个特征；词向量的每个元素都对应一个词，且该元素只有0或1两个取值。取0表示该元素对应的词不在论文中，取1表示在论文中。所有的词来源于一个具有1433个词的字典。每篇论文都至少引用了一篇其他论文，或者被其他论文引用，也就是样本点之间存在联系，没有任何一个样本点与其他样本点完全没联系。如果将样本点看做图中的点，则这是一个连通的图，不存在孤立点。其中训练集、验证集、测试集包含的节点个数分别为：140、500、1000，其中每类节点个数相同；

S1.2：选取最新的节点分类模型和链路预测模型，选取最新的攻击方法，将生成的对抗样本和原始样本一一对应保存：

选取最新的节点分类模型包括：GCN，GAT，MIXHOP模型，最新的链路预测模型包括：GCN_VAE,ARGA_AE,ARGA_VAE模型，选取最新的攻击方法，节点分类最新的攻击方法包括NTK，GFA，链路预测最新的攻击方法包括白盒攻击和代替模型攻击。

3.根据权利要求1所述的一种针对网络节点分类和链路预测的指标评测方法，其特征在于：步骤S2具体包括：

S2.1:将原始样本输入到不同参数、结构的模型得到网络图性质指标；

所述的网络图性质指标如下：度中心性DC，接近中心性CC，介数中心性BC，特征向量中心性EC，聚类系数Cluster，其中DC常用来衡量节点在网络中的重要性，即一个节点的度中心性越大则意味着这个节点越重要；CC表示节点到其它所有节点距离的平均值的倒数，用于度量网络中的一个节点到其它节点的平均最短距离；BC指标为网络中所有节点对之间的最短路径中，经过某节点的最短路径的数量占所有最短路径数量的比例；EC指标用来衡量网络中节点影响力的一种度量指标，网络中节点的重要性取决于其邻居节点的数量，也取决于其邻居节点的重要性；Cluster指标表示该节点的邻居节点之间实际存在的连边占邻居节点之间可能形成的最大连边数的比例，用来定量刻画邻居节点形成连边的概率；

S2.2:将原始样本和攻击样本输入模型得到攻击隐蔽性指标；所述的攻击隐蔽性指标如下：对抗网络的最大连接部分的大小，对抗网络的‘三角形’数，对抗网络的‘矩形数’，对抗网络的幂律系数，对抗网络节点连接相似度，对抗网络的连接部分数，对抗网络的特征路径长度；其中对抗网络的最大连接部分的大小表示其子图内的每个点至少与其余点中的一个连接，且子图间没有连接，最大连接部分的大小即最大子图的尺寸；对抗网络的‘三角形’数表示对抗网络图中包含一个节点作为一个顶点的三角形数量；对抗网络的‘矩形’数：表示对抗网络图中平均每个节点含有的矩形数量；对抗网络的幂律系数表示当随机从网络中抽取一个节点时，与该节点相连的节点数的概率分布，对对抗网络的概率分布进行幂律拟合，计算幂律拟合的最小值；对抗网络节点的连接相似度：先求节点度发生共现的联合概率，分别按行和列得到两个量，求两个量的线性相关系数；对抗网络的连接部分数：表示图的连接部分定义为一个子图，子图内的每个点至少与子图内其余点中的一个连接，且子图间的点没有连接，统计对抗网络的子图数量；对抗网络的特征路径长度：表示求对抗网络从节点i到节点j的最短路径距离，得到一个各个节点间最短距离数值的矩阵，再对矩阵中非无穷的元素求和取平均值得到特征路径长度。

4.根据权利要求1所述的一种针对网络节点分类和链路预测的指标评测方法，其特征在于：步骤S3具体包括：

S3.1：选取kendall相关性算法，计算不同指标之间的相关性；选取kendall相关系数作为衡量指标之间相关性的方法，kendall系数是一个用来测量两个随机数相关性的统计值，将保存好的指标csv文件进行kendall相关系数计算。

S3.2：根据指标之间的相关性，筛选出相关性值较高的两两指标，选取其中一个指标，并把结果保存下来；当相关系数大于0.8，或小于-0.8时，那么表示这指标之间存在很强的相关性，对后续的分类可能造成过拟合等不良影响，除去掉两两相关性高于0.8或小于-0.8两列中的一列，并将筛选后的指标保存下来。

5.根据权利要求1所述的一种针对网络节点分类和链路预测的指标评测方法，其特征在于：步骤S4具体包括：

S4.1将输出指标分为训练集和验证集，设计经验损失函数；

将输出指标按照2:1的比例划分为训练集和验证集，保证训练集中鲁棒模型指标和不鲁棒模型-指标相同。按照指标体系的输出指标，设计经验损失函数，使得鲁棒模型和不鲁棒模型的指标分布相距更远。

经验损失函数如下：

loss_总＝η₁×loss_网+η₂×loss_隐 (1)

上述公式1中，η₁为0.5，η₂为0.5，loss_网表示网络图性质指标，loss_隐表示隐蔽性指标。

S4.2优化模型参数，训练随机森林模型；

先通过不断迭代随机森林决策树数量这一重要参数，使得上述的经验损失函数更大，鲁棒模型和不鲁棒模型的指标分布相距更远。之后使用网格迭代法寻优，找到决策树深度，最大分叉树等一系列参数的最优解，进一步扩大指标的分布距离。

S4.3提取模型的指标数据，经过t-SNE降维方法可视化模型鲁棒性特征。

6.实施权利要求1所述的一种针对网络节点分类和链路预测的指标评测系统的系统，其特征在于：包括依次连接的识别攻击模块，评测模块，相关性分析模块，搜索优化模块，可视化模块；

所述识别攻击模块，选取cora引文数据集作为使用数据集，选取最新的节点分类模型包括：GCN，GAT，MIXHOP模型，链路预测模型包括：GCN_VAE,ARGA_AE,ARGA_VAE模型，选取最新的攻击，节点分类最新的攻击方法包括NTK，GFA，链路预测最新的攻击方法包括白盒攻击和代替模型攻击，用攻击方法在训练好的模型上生成攻击样本，保存所述模型和攻击样本；

所述评测模块，输入保存的模型和原始样本计算模型的网络图性质指标，输入保存的模型、原始样本和攻击样本计算模型的攻击隐蔽性指标，并将上述评测的指标保存成字典形式；

所述的相关性分析模块，输入指标字典，选取kendall相关性算法计算不同指标之间的相关性，根据指标之间的相关性，筛选出相关性值较高的两两指标，选取其中一个指标，并把结果保存下来；

所述搜索优化模块，将输出指标按照2:1的比例划分为训练集与测试集，保证训练集中鲁棒性指标和不鲁棒模型指标相同，不断迭代随机森林决策树数量这一重要参数，使得上述的经验损失函数更大，鲁棒模型和不鲁棒模型的指标分布相距更远，之后使用网格迭代法寻优，找到决策树深度，最大分叉树参数的最优解，进一步扩大指标的分布距离；

所述的可视化模块：取出模型的指标数据，经过t-SNE降维方法可视化模型鲁棒性特征。

Images