CN112860977A

CN112860977A - 一种基于卷积神经网络的链路预测方法

Info

Publication number: CN112860977A
Application number: CN202110292561.3A
Authority: CN
Inventors: 陈伟伦; 周银座; 焦安楠; 陈鸿渐; 赵世跃
Original assignee: Hangzhou Normal University
Current assignee: Hangzhou Normal University
Priority date: 2021-03-18
Filing date: 2021-03-18
Publication date: 2021-05-28

Abstract

本发明公开了一种基于卷积神经网络的链路预测方法。本发明包括如下步骤：步骤1、读取数据，构建复杂网络结构，并获取网络结构的最大连通集团；步骤2、对于网络结构中的任一节点，提取节点的相似性序列；步骤3、构造特征工程；步骤4、对卷积神经网络LeNet‑LP模型进行训练；步骤5、使用测试集样本评价卷积神经网络LeNet‑LP模型性能。本发明使用三种链路预测的相似性指标构造特征矩阵，相当于使用了卷积神经网络的通道数可拓展的特性把三种相似性指标在卷积运算的层面做了一个指标融合。因此在评价算法性能的时候需要对比那些被用作特征工程的相似性指标。本发明的算法取得的AUC对比其他算法有较为明显的提升。

Description

一种基于卷积神经网络的链路预测方法

技术领域

本发明涉及一种基于卷积神经网络的链路预测方法。

背景技术

复杂网络在自然界中广泛存在，并且与我们的生活息息相关。比如万维网、航空网络、在线社交网络等关键网络都可以看成复杂网络，因此加强对复杂网络的科学研究是人类社会日益迫切的需求。链路预测是复杂网络中研究缺失连边和未来形成连边的重要组成部分。复杂网络中的链路预测是指如何通过已知的网络节点以及网络结构信息预测网络中尚未产生连边的两个节点之间产生连接的可能性，当前基于网络结构的链路预测方法成果丰富,而基于深度学习方法的链路预测研究较少。

卷积神经网络(Convolutional Neural Networks)是近几年来深度学习中的研究热点，卷积神经网络被广泛的运用于分类任务中。链路预测问题可以看作机器学习中的二分类问题。网络中两个节点之间存在连边，可以被标记为1类，两个节点之间不存在连边标记为0类，因此卷积神经网络也可以用于链路预测任务。但是目前将卷积神经网络模型应用于链路预测任务的研究较少。

发明内容

本发明的目的是提供一种基于卷积神经网络的链路预测算法。

本发明首先对数据进行预处理，读取数据之后构造完整的复杂网络，之后进行网络结构的划分，将网络划分为训练网络以及测试网络，数据集也对应地划分为训练数据集和测试数据集。然后提取网络中每一个节点的相似性序列。在整理特征工程时，将数据集中的边的两端端点的相似性序列整合成二维矩阵的行和列的坐标索引信息。然后通过创新的特征矩阵构造方式构造特征工程。最后将特征矩阵送入卷积神经网络LeNet-LP模型进行学习训练，使用测试集对模型的分类性能进行评价。

一种基于卷积神经网络的链路预测方法，包括如下步骤：

步骤1、读取数据，构建复杂网络结构，并获取网络结构的最大连通集团；

本发明使用公开数据集，选取佛罗里达州食物链网络(FWFW)、美国首选航线网络(ATC)以及维基百科(Wiki)等实际网络对应的数据集。

需要指出的是，本发明使用的网络数据集为上述几种实际网络结构中最大连通集团。

在数据集划分时，本发明采用随机抽样策略。随机选取网络中10％的连边作为测试集的正样本，剩余90％的连边作为训练集，从不存在的连边的节点对列表中选取与测试集的正样本等大的连边集合作为测试集中的负样本。

步骤2、对于网络结构中的任一节点，提取节点的相似性序列；

首先，设定待提取的节点的相似性序列的长度N，例如设定N＝12，16，20......

对于网络中的任意节点，计算该节点和网络中其余节点的链路预测相似性指标，比如使用RA相似性指标。按照相似性指标的计算结果降序排列，取得相似性指标最大的前N个数值所对应的节点的序号，这些节点的序号形成一个序列，这个序列就是节点的相似性序列。

步骤3、构造特征工程；

31.构造矩阵

分别获取训练集以及测试集中每一条边的两端节点的相似性序列:开始节点x和结束节点y的相似性序列。将开始节点x的长度为N的相似性序列作为矩阵的横坐标索引，将结束节点y的长度为N的相似性序列作为矩阵的纵坐标的列索引的值，构成一个大小为N×N的二维矩阵。

32.使用链路预测中的相似性指标的值填充二维矩阵

链路预测中两个节点之间相似性指标的值与两节点的连接概率正相关。本发明使用链路预测中基于局部信息的相似性指标来填充矩阵的值。对于矩阵中的一个单元格(i,j)，计算节点i和节点j之间的相似性指标的得分作为该单元格的数值。

本发明选取三种基于局部信息的相似性指标来分别填充三层矩阵的数值。三个相似性指标分别是CN指标、RA指标以及Jaccard指标。

需要指出的是，我们在构建特征的时候使用的是训练网络，训练网络并不是完整的网络G，而是将10％的测试集的边删除之后剩余的90％的训练集中的边构成的网络结构G^Train。

步骤4、使用卷积神经网络进行训练；

将训练集中的正负样本的特征工程以及对应的标签送入卷积神经网络LeNet-LP模型进行训练。

步骤5、使用测试集样本评价卷积神经网络模型性能；

将测试集中的每个正样本和负样本输入到已经训练好的神经网络中，得到预测结果。

在进行链路预测任务的二分类性能评价时，本发明使用AUC指标对LeNet-LP模型的分类性能进行评价。

步骤6、对于同一个数据集，使用经典的链路预测指标CN、RA以及Jaccard计算AUC。对比相似性指标算法和本发明所使用的链路预测算法的优劣性，本发明的算法取得的AUC对比其他算法有较为明显的提升。

本发明有益效果如下：

本发明使用了三种链路预测的相似性指标构造特征矩阵，在一定程度上面相当于使用了卷积神经网络的通道数可拓展的特性把三种相似性指标在卷积运算的层面做了一个指标融合。因此在评价算法性能的时候需要对比那些被用作特征工程的相似性指标。发明使用的链路预测算法(CNN-LP)和几个传统的链路预测相似性指标算法所得到的AUC的对比。可以看到，本发明的算法取得的AUC对比其他算法有较为明显的提升。

附图说明

图1是本发明流程图。

图2是构造特征矩阵的流程示意图。

具体实施方式

下面结合附图，进一步说明本发明的技术方案。

如图1-2所示，一种基于卷积神经网络的链路预测方法，包括如下步骤：

步骤1、读取数据，构建复杂网络结构，并获取最大连通子图；

本发明使用公开数据集，选择3种实际的网络数据集。

选取的网络均为无权无向网络结构，包括如下：

1)佛罗里达州食物链网络(FWFW)：佛罗里达海湾雨季的食物链网络，节点表示生物，连边表示捕食关系；

2)美国首选航线网络(ATC)：该网络节点表示机场或者服务中心，连边表示首选航线。

3)维基百科(Wiki):WikiPedi百科全书是由来自世界各地的志愿者协作编辑而成，其中一些比较活跃的志愿者可以有机会获得提名管理员的资格。当这名志愿者被提名时，就会有一次对应的选举行为，其他的志愿者可以对被提名的候选人选择支持，中立或者反对的态度。这个选举的过程可以形成一个复杂网络。在Wiki这个网络中，志愿者(用户)被视为节点，连边则代表选举的行为，若用户A在选举中投给了用户B支持票，那么就会有一条从用户A指向用户B的连边。本文选取的网络是将原始网络进行无向图处理后形成的无权无向网络。

本发明采用随机抽样策略，随机选取网络中10％的连边作为测试集的正样本，将这10％的边从完整网络中删除，网络结构中剩余90％的边作为训练集。并从不存在的连边的节点对列表中选取与正样本等大的连边集合作为测试集的负样本。由于实际的网络中或多或少会存在孤点，因此为了忽略孤点对算法的影响，在数据的预处理的过程中需增加获取测试集和训练集网络结构的最大连通集团的步骤。

假设规定的节点相似性序列的长度N＝6。以提取节点1的相似性序列为例，首先计算节点1和网络中其他节点的RA相似性指标的大小。将计算结果降序排列，选取最大的前6个数值所对应的节点的序号，将这6个序号整合为一个序列。这里假设提取到的节点1的相似性序列为list1＝[6,7,2,4,3,5]。

步骤3、构造特征工程；

结合图2对这一步骤进行说明。如图2，预测节点1和节点13之间产生连接的概率。目标节点为节点1和节点13，假设节点的邻居相似性序列的长度N＝6，节点1提取到的邻居相似性序列为list1＝[6,7,2,4,3,5],节点13提取到的邻居相似性序列是list13＝[19,18,30,17,23,25]。在构造卷积神经网络所使用的输入特征矩阵时，选取节点1的邻居信息序列list1作为特征矩阵的行索引的值，将节点13的邻居信息序列list13作为特征矩阵的列索引的值。

本发明使用特征矩阵构造算法来构造每个样本的特征矩阵。算法的大致思路如下：

(1)使用构造相似性矩阵的方式去刻画节点x和节点y的相似性序列之间的相似程度。构造相似性矩阵的算法规则如下：

分别将节点x和节点y的相似性序列分别作为相似性矩阵的行索引和列索引，使用基于局部信息的链路预测指标来填充矩阵中每一个单元格的值。对于矩阵中的单元格(i,j)，计算节点i和节点j之间的相似性指标的得分作为该单元格的数值。

定义矩阵中每个单元格的数值为score，那么：

score(i,j)₁＝CN(i,j)

score(i,j)₂＝RA(i,j)

score(i,j)₃＝Jaccard(i,j)

其中，score(i,j)的下标1代表的是第一层相似性矩阵，CN、RA、Jaccard为链路预测中的相似性指标。

本文使用三种不同的相似性指标来填充三层的相似性矩阵。每一层相似性矩阵对应于一种链路预测的相似性指标。第一层相似性矩阵的数值由CN相似性指标的得分数值进行填充，第二层数值由相似性指标RA指标的得分进行填充，第三层的相似性矩阵的数值由Jaccard指标的得分进行填充。

(2)构造邻接矩阵。同样地，使用节点x和节点y的相似性序列作为局部邻接矩阵的行索引和列索引。

邻接矩阵的计算规则如下：

其中(i,j)是矩阵中的坐标，(v_i,v_j)分别是i和j对应到训练网络G^Train中的顶点。如果(v_i,v_j)存在边则对应的单元格的数值为1。

(3)计算特征矩阵

将前两个步骤计算得到的邻接矩阵和三个相似性矩阵进行一一的矩阵运算进而得到特征矩阵。本文采用的矩阵运算为哈达玛积。哈达玛积的运算规则定义如下：

其中A_ij＝[a_ij]_m×n，B_ij＝[b_ij]_m×n。A_ij和B_ij均为m×n的矩阵，因此经过哈达玛积运算之后得到的C_ij也是m×n的矩阵。

本发明使用到的链路预测相似性指标的定义如下：

1)共同邻居(Common Neighbors，CN)指标

对于网络中的节点x，定义其邻居集合为Γ(x)，则两个节点x和y的相似性定义为它们共同的邻居数，即：

S_xy＝|Γ(x)∩Γ(y)|

2)资源分配(Resource Allocation，RA)指标

RA指标认为没有直接相连的两个节点x和y，可以通过共同邻居作为传递媒介从而传递资源。假设每个媒介都有一个单位的资源并且将平均分配传给它的邻居，则节点y接收的资源数即节点x和y的相似度，即：

3)杰卡德相似系数(Jaccard)指标

记网络中的节点x的邻居集合为Γ(x)，节点y的邻居集合为Γ(y)。则两个邻居集合Γ(x)和Γ(y)交集元素的个数在Γ(x)、Γ(y)并集中所占的比例称为两个集合的杰卡德相似系数，即：

步骤4、使用卷积神经网络进行训练；

将训练集中的正样本和负样本的特征矩阵以及对应的标签送入卷积神经网络模型LeNet-LP进行训练。

本发明采用的卷积神经网络结构为LeNet-LP。LeNet-LP模型基于LeNet-5模型进行改进，LeNet-5模型是1998年由Yann LeCun教授发明的用于手写数字识别的神经网络结构。本发明针对链路预测的任务特点，对LeNet-5模型进行了修改，构造了更适合进行链路预测任务的LeNet-LP模型。

由于设定的节点邻居相似性序列的长度N的值决定了卷积神经网络输入特征图的大小。不同的输入特征图的大小对应的网络结构LeNet-LP会有微小的差别。以N＝16为例，即输入特征图大小为16×16，此时对应的卷积神经网络结构LeNet-LP模型的参数细节如表1所示。

表1网络结构参数细节

Tab.1 Parameter details of network structure

LeNet-LP模型的最后三层为全连接层。全连接层本质上是含有一个隐藏层的神经网络模型。全连接层起到将学到的“分布式特征表示”映射到样本标记空间的作用。全连接层中的最后的一层—FC3层的输出维度是2，即将结果最终映射为0或1，输出为0，也即预测没有连边，反之，输出为1则代表存在连边。

为了预防模型训练时可能出现的过拟合情况，我们在全连接层中使用Dropout的技术。我们设定Dropout中FC1和FC2层神经元被丢弃的概率drop_prob＝0.3。

Dropout是一种目前比较流行的运用于深度学习中的正则化技术，其核心思想是在前向传播的时候，让某个神经元的激活值以概率drop_prob失效。使用Dropout可以让模型在训练的过程中不会过分依赖某些局部的特征，从而增强了模型的泛化能力。

步骤5、使用测试集样本评价卷积神经网络模型性能；

在卷积神经网络训练结束之后，本发明使用测试集中的正负样本对模型进行测试，计算AUC的值。

本发明使用衡量分类器性能的AUC指标对训练好的LeNet-LP模型的分类性能进行评价。

步骤6、对于同一个数据集，使用经典的链路预测指标CN、RA、Jaccard计算AUC。最后将链路预测相似性指标得到的AUC和本发明链路预测算法的AUC做对比分析，分析算法的优劣。

本发明在公开的数据集：FWFW、ATC以及Wiki数据集上取得了较好的链路预测效果。表2为本发明使用的链路预测算法(CNN-LP)和几个传统的链路预测相似性指标算法所得到的AUC的对比。可以看到，本发明的算法取得的AUC对比其他算法有较为明显的提升。

表2不同算法AUC指标对比

Tab.2 Comparison of AUC indicators of different algorithms

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims

1.一种基于卷积神经网络的链路预测方法，其特征在于包括如下步骤：

步骤3、构造特征工程；

31.构造矩阵；

32.使用链路预测中的相似性指标的值填充二维矩阵；

步骤4、对卷积神经网络LeNet-LP模型进行训练；

步骤5、使用测试集样本评价卷积神经网络LeNet-LP模型性能。

2.根据权利要求1所述的一种基于卷积神经网络的链路预测方法，其特征在于步骤1具体实现如下：

首先使用公开的3种实际的网络数据集，且选取的网络均为无权无向网络结构，具体包括如下：1)佛罗里达州食物链网络(FWFW)，2)美国首选航线网络(ATC)，3)维基百科(Wiki)；

其次采用随机抽样策略，随机选取网络中10％的连边作为测试集的正样本，将这10％的边从完整网络中删除，网络结构中剩余90％的边作为训练集；并从不存在的连边的节点对列表中选取与正样本等大的连边集合作为测试集的负样本；且在数据的预处理过程中增加获取测试集和训练集网络结构的最大连通集团的步骤。

3.根据权利要求1所述的一种基于卷积神经网络的链路预测方法，其特征在于步骤3具体实现如下：

(1)使用构造相似性矩阵的方式去刻画节点x和节点y的相似性序列之间的相似程度，构造相似性矩阵规则如下：

分别将节点x和节点y的相似性序列分别作为相似性矩阵的行索引和列索引，使用基于局部信息的链路预测指标来填充矩阵中每一个单元格的值；对于矩阵中的单元格(i，j)，计算节点i和节点j之间的相似性指标的得分作为该单元格的数值；

定义矩阵中每个单元格的数值为score，那么：

score(i，j)₁＝CN(i，j)

score(i，j)₂＝RA(i，j)

score(i，j)₃＝Jaccard(i，j)

其中，score(i，j)的下标1代表的是第一层相似性矩阵，CN、RA、Jaccard为链路预测中的相似性指标；

(2)构造邻接矩阵，使用节点x和节点y的相似性序列作为局部邻接矩阵的行索引和列索引；

邻接矩阵的计算规则如下：

其中(i，j)是矩阵中的坐标，(v_i，v_j)分别是i和j对应到训练网络G^Train中的顶点；如果(v_i，v_j)存在边则对应的单元格的数值为1；

(3)计算特征矩阵

将邻接矩阵和三个相似性矩阵进行一一的矩阵运算进而得到特征矩阵，采用的矩阵运算为哈达玛积，运算规则定义如下：

其中A_ij＝[a_ij]_m×n，B_ij＝[b_ij]_m×n；A_ij和B_ij均为m×n的矩阵，因此经过哈达玛积运算之后得到的C_ij也是m×n的矩阵；

4.根据权利要求1所述的一种基于卷积神经网络的链路预测方法，其特征在于使用三种不同的相似性指标来填充三层的相似性矩阵；每一层相似性矩阵对应于一种链路预测的相似性指标；第一层相似性矩阵的数值由CN相似性指标的得分数值进行填充，第二层数值由相似性指标RA指标的得分进行填充，第三层的相似性矩阵的数值由Jaccard指标的得分进行填充。

5.根据权利要求1所述的一种基于卷积神经网络的链路预测方法，其特征在于步骤4具体实现如下：

将训练集中的正样本和负样本的特征矩阵以及对应的标签送入卷积神经网络模型LeNet-LP进行训练，LeNet-LP模型的最后三层为全连接层；全连接层中的最后的一层-FC3层的输出维度是2，即将结果最终映射为0或1，输出为0，也即预测没有连边，反之，输出为1则代表存在连边；为预防模型训练时出现过拟合情况，在全连接层中使用Dropout技术，设定Dropout中FC1和FC2层神经元被丢弃的概率drop_prob＝0.3。