CN103905246B - 基于分组遗传算法的链路预测方法 - Google Patents

Abstract

本发明公开了一种基于分组遗传算法的链路预测方法，主要解决现有技术预测精度低的问题。其实现步骤为：读入观测网络，初始化相关参数；随机产生分组遗传算法的初始种群；计算种群中每个个体的目标函数；对种群进行交叉和变异，生成新的种群，并替换原始种群；控制循环条件，得到不同分辨率下的社区划分方法；计算网络中未连接的边之间的连接概率值，并计算并输出算法的预测精度AUC的值。

Description

基于分组遗传算法的链路预测方法

技术领域

本发明属于模型评价领域，涉及网络的链路预测，具体的说是一种新的基于分组遗传算法的链路预测方法，可用于对网络的演化模型进行评价。

背景技术

链路预测通俗的讲是根据网络中已知连边的结构信息以及这些节点的属性来预测网络中那些不存在连接的节点对之间建立连边的可能性的大小。链路预测包括两类：一类是对真实存在但是尚未被发现的连边的预测；另一类是对那些现在不存在，但是在将来有可能存在的连边的预测。

链路预测问题之所以引起众多领域的研究者的广泛关注，是因为其具有重大的实用价值。如酵母菌的新陈代谢网络中80％的新陈代谢作用还没有被我们发现，如果我们能够根据已知的新陈代谢作用和酵母菌的节点属性等相关信息预测出其他的还未被发现的新陈代谢作用，并依据这些作用来指导实验验证这些作用，这将大大减少实验的时间和花费，对了解整个酵母菌的性能产生巨大的推动作用。真实网络的实验数据中通常都含有噪声，这些噪声影响了网络的真实连接，可能使网络中产生一些虚假的连边或则是丢失了一部分连边，通过链路预测的方法，可以有针对性的对这些连边进行实验，而不需要将全部的连边都考虑在实验中，这样就避免了盲目而无意义的实验。

链路预测问题不仅具有重大的实际应用价值，而且对复杂网络的理论的建立和完善起到推动和借鉴的作用。连边预测可以用来理解、揭示和比较动态网络内在的演化机制。比如，判断提供网络演化机制的模型的预测准确性。实际上在社会网络的分析和传输过程中也会遇到数据不全或则传输出错的问题，链路预测的方法可以在这种情况下作为准确分析社会网络结构有力的辅助工具。

因其重要的实用价值和理论研究价值，国内外目前对复杂网络的链路预测方向上的研究也越来越多。早期的链路预测是数据挖掘领域的一个研究分支，主要是基于概率模型和机器学习的方法来进行研究。Sarukkai于2000年首先用马尔科夫链的方法对web网站上用户浏览和访问路径的网络进行了路径分析和预测。随后，Zhu等人将马尔科夫链的方法扩展到了自适应网站中。节点的属性信息随后也被应用到链路预测中，并且这种预测方法取得了很好的预测效果。但是很多情况下节点的属性信息是很难获得的，或则说是不可能得到的。另外获得的节点的属性信息并不完全是真实的。相对于节点的属性信息；来说，网络的结构或则说用户的历史信息是容易获得且十分可靠的。Liben-Nowell和Kleinberg等人根据网络的拓扑结构特性提出了相似性的方法。相似性的方法主要分为两类，一类是基于节点的相似性的方法，另一类是基于路径的相似性的方法。基于相似性的方法的关键在于如何定义节点之间的相似性。近年来，相似性的方法已经取得了不错的研究成果。

基于网络拓扑结构的最大似然估计方法也是解决链路预测问题中的一个重要突破。Clauset，Moore和Newman指出网络节点之间的连接可以看做是某种内在的层次结构的反映，并提出了层次结构模型的方法。通过实验证明这种方法在具有明显层次结构的网络中预测精度较高；但是，这种方法每次预测时都必须要生成很大的网络样本集，因此它的计算复杂度非常高，只适合用来处理一些规模不太大的网络。此外，还有一类方法是利用随机分块模型来进行相关预测，它不仅可以预测出网络中的缺失连边，还可以预测出错误的连边。随机分块模型的方法虽然取得了很好的预测效果，但是同样由于计算复杂度的关系，使其不能够应用于规模较大的网络。

发明内容

本发明的目的在于针对已有链路预测方法的不足，提出一种基于分组遗传算法的链路预测方法，以提高预测的精度和速度。

为实现上述目的，本发明的技术方案是：一种基于分组遗传算法的链路预测方法，其特征在于：包含如下步骤：

(1)参数的初始化：根据需要预测的具体网络确定网络的节点个数N、种群大小M＝100及种群迭代次数P＝200、移除的边的比例P_r，其中P_r取(0,1)中的任何一个值；

(2)确定训练集E^T和测试集E^P，得到观测矩阵A⁰：载入网络的连边数据集，计算出整个网络的连边数n，从网络的连边数据集中随机抽取[n×P_r+0.5]条边,其中[]表示取整数，这些边所组成的集合即为测试集E^P，网络的连边数据集除去测试集E^P之外作为训练集E^T；先初始化观测矩阵A⁰为一个N×N的全零矩阵，依次遍历训练集E^T中的所有边，并将这些边在观测矩阵A⁰中对应的元素改成1；

(3)用分组遗传算法在不同分辨率λ的情况下对观测网络进行社区划分，其中λ依次取{0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9}中的一个；

(4)根据步骤(3)中最后得到的划分结果，计算测试集E^P以及原始网络中不存在连边的节点对之间连接的可能性大小，记为R值；

(5)从步骤(4)中计算R值的那些边中，按照R值从大到小的顺序排列，挑选前m个R值大对应的边作为我们算法预测出来的边；

(6)计算这种预测算法的准确度。

上述的步骤(3)中用分组遗传算法在不同分辨率λ的情况下对观测网络进行社区划分的具体步骤如下：

分组遗传算法用于社区划分时染色体的编码由两个部分组成，一部分由N个标号对应N个节点所在的社区标号，称为目标部分；另一部分由这个社区划分结构中所有的社区标号的标号从小到大排列组成，称为小组部分；

1)随机生成M种初始的社区划分结构作为初始种群的染色体，依次遍历每一个染色体中的每一个社区，若社区内有节点与其它节点不全连接，那么将这个节点移入一个新的社区内，直到所有的社区内的节点之间都互相连接为止；

2)计算初始种群中各个染色体的模块度密度函数值D_λ，按D_λ值的大小对染色体进行排序，并选择D_λ值最大的那个染色体作为最优染色体：

其中V_i表示第i个社区内的所有节点的集合，表示不在第i个社区内的节点的集合，L(V_i,V_i)表示第i个社区内所含边数的2倍，表示第i个社区与其他社区的连接边数，|V_i|为第i个社区内的节点个数，K表示网络中所含有的社区的个数；

3)根据轮盘赌的方法随机选择两个染色体作为父代1和父代2；

4)在所选择的父代1的染色体的小组部分随机选择两个社区，将这两个社区标号内的所有社区标号取出，将这些社区内的节点对应的分组情况遗传给子代，子代中其它还未分组的节点的分组情况与这些节点在父代2中的节点的分组情况相同；

5)调整分组情况：找出社区内节点个数小于k最小值的那些社区内的节点，并将这些节点分别移入与其连接边数最多的社区内部；

6)重复步骤3)至5)直到生成M个子带；

7)重复步骤2)至6)直到迭代P代为止；

8)保存最优染色体的社区划分情况作为计算出来的社区划分情况。

上述的步骤(4)中R值由以下公式计算得到：

其中：k(i)表示节点i的度；K(j)表示节点j的度；α_i表示节点i所在的社区的标号；表示第α_i个社区和第α_j个社区之间的实际连接边数；表示第α_i个社区和第α_j个社区之间的最大连接边数。

上述的步骤(6)中的准确度由以下公示计算得到：

其中：AUC表示准确度，n表示独立的比较的次数，n₁表示从测试集中选择的边的相似性大于从不存在边的集合中选择的边的相似性的次数，n₂表示从测试集中选择的边的相似性等于从不存在边的集合中选择的边的相似性的次数。

本发明与现有的技术相比具有以下优点：

1.在计算时间上，比基于全局信息的其它算法块；

2.在计算精度上，比其它方法预测精度高。

附图说明

图1是本发明的总流程图；

图2是本发明仿真实验海豚网络的原始网络图；

图3是本发明仿真实验的结果与现有的其它算法的对比；

具体实施方式

如图1所示，本发明的基于分组遗传算法的链路预测方法，包含如下步骤：

步骤1：参数的初始化：根据需要预测的具体网络确定网络的节点个数N、种群大小M＝100及种群迭代次数P＝200、移除的边的比例Pr，其中Pr取(0,1)中的任何一个值；

步骤2：确定训练集E^T和测试集E^P，得到观测矩阵A⁰：载入网络的连边数据集，计算出整个网络的连边数n，从网络的连边数据集中随机抽取[n×Pr+0.5]条边,其中[]表示取整数，这些边所组成的集合即为测试集E^P，网络的连边数据集除去测试集E^P之外作为训练集E^T；先初始化观测矩阵A⁰为一个N×N的全零矩阵，依次遍历训练集E^T中的所有边，并将这些边在观测矩阵A⁰中对应的元素改成1；

步骤3：用分组遗传算法在不同分辨率λ的情况下对观测网络进行社区划分，其中λ依次取{0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9}中的一个，具体步骤如下：

分组遗传算法用于社区划分时染色体的编码由两个部分组成，一部分由N个标号对应N个节点所在的社区标号，称为目标部分；另一部分由这个社区划分结构中所有的社区标号的标号从小到大排列组成，称为小组部分；

1)随机生成M种初始的社区划分结构作为初始种群的染色体，依次遍历每一个染色体中的每一个社区，若社区内有节点与其它节点不全连接，那么将这个节点移入一个新的社区内，直到所有的社区内的节点之间都互相连接为止；

2)计算初始种群中各个染色体的模块度密度函数值D_λ，按D_λ值的大小对染色体进行排序，并选择D_λ值最大的那个染色体作为最优染色体：

其中V_i表示第i个社区内的所有节点的集合，表示不在第i个社区内的节点的集合，L(V_i,V_i)表示第i个社区内所含边数的2倍，表示第i个社区与其他社区的连接边数，|V_i|为第i个社区内的节点个数，K表示网络中所含有的社区的个数；

3)根据轮盘赌的方法随机选择两个染色体作为父代1和父代2；

4)在所选择的父代1的染色体的小组部分随机选择两个社区，将这两个社区标号内的所有社区标号取出，将这些社区内的节点对应的分组情况遗传给子代，子代中其它还未分组的节点的分组情况与这些节点在父代2中的节点的分组情况相同；

5)调整分组情况：找出社区内节点个数小于k最小值的那些社区内的节点，并将这些节点分别移入与其连接边数最多的社区内部；

6)重复3)4)5)直到生成M个子带；

7)重复2)3)4)5)6)直到迭代P代为止；

8)保存最优染色体的社区划分情况作为计算出来的社区划分情况。

步骤4：根据(3)中最后得到的划分结果，计算测试集E^P以及原始网络中不存在连边的节点对之间连接的可能性大小，记为R值，R值由以下公式计算得到：

其中：k(i)表示节点i的度；K(j)表示节点j的度；α_i表示节点i所在的社区的标号；表示第α_i个社区和第α_j个社区之间的实际连接边数；表示第α_i个社区和第α_j个社区之间的最大连接边数。

步骤5：从步骤4中计算R值的那些边中，按照R值从大到小的顺序排列，挑选前m个R值大对应的边作为我们算法预测出来的边；

步骤6：计算这种预测算法的准确度，准确度由以下公示计算得到：

其中：AUC表示准确度，n表示独立的比较的次数，n₁表示从测试集中选择的边的相似性大于从不存在边的集合中选择的边的相似性的次数，n₂表示从测试集中选择的边的相似性等于从不存在边的集合中选择的边的相似性的次数。

1、实验条件与方法

硬件平台为：Intel(R)Core(TM)i5-2450M@2.50GHz、3.91GB RAM.；

软件平台为：MATLAB R2012b；

实验方法：分别用现有的共同邻居、随机分块模型、层次结构模型等链路预测方法和本发明仿真实现复杂网络的链路预测。

2、仿真内容与结果

实验所用图像为含有62个节点的海豚网络图，如图2所示。

仿真一，用共同邻居方法(CN)，层次结构模型方法(HRG)，随机分块模型的方法(SBM)对海豚网络进行链路预测，观测集的比例依次取0.05,0.15,0.25,0.35,0.45,0.55,0.65,0.75,0.85，得到的实验结果如图3所示。图中的横坐标是观测集的比例，纵坐标是用来评价算法预测准确度的AUC指标，图中的每个数据点是随机取10次观测集，分别进行预测，得到的AUC的平均值。

仿真二，用本发明(CSM)对海豚网络进行链路预测，观测集的比例依次取0.05,0.15,0.25,0.35,0.45,0.55,0.65,0.75,0.85，判别预测好坏的标准取AUC指标，得到的实验结果如图3所示。

由上述仿真结果可知，本发明相较于共同邻居，层次结构模型，随机分块模型方法可以有效地提高预测精度。

Claims (3)

1.一种基于分组遗传算法的链路预测方法，其特征在于：包括如下步骤：

(1)参数的初始化：根据需要预测的具体网络确定网络的节点个数N、种群大小M＝100及种群迭代次数P＝200、移除的边的比例Pr，其中Pr取(0,1)中的任何一个值；

(2)确定训练集E^T和测试集E^P，得到观测矩阵A⁰：载入网络的连边数据集，计算出整个网络的连边数n，从网络的连边数据集中随机抽取[n×Pr+0.5]条边,其中[]表示取整数，这些边所组成的集合即为测试集E^P，网络的连边数据集除去测试集E^P之外作为训练集E^T；先初始化观测矩阵A⁰为一个N×N的全零矩阵，依次遍历训练集E^T中的所有边，并将这些边在观测矩阵A⁰中对应的元素改成1；

(3)用分组遗传算法在不同分辨率λ的情况下对观测网络进行社区划分，其中λ依次取{0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9}中的一个，该分组遗传算法的具体步骤包括：

1)随机生成M种初始的社区划分结构作为初始种群的染色体，依次遍历每一个染色体中的每一个社区，若社区内有节点与其它节点不全连接，那么将这个节点移入一个新的社区内，直到所有的社区内的节点之间都互相连接为止；

2)计算初始种群中各个染色体的模块度密度函数值D_λ，按D_λ值的大小对染色体进行排序，并选择D_λ值最大的那个染色体作为最优染 色体：

其中V_i表示第i个社区内的所有节点的集合，表示不在第i个社区内的节点的集合，L(V_i,V_i)表示第i个社区内所含边数的2倍，表示第i个社区与其他社区的连接边数，|V_i|为第i个社区内的节点个数，K表示网络中所含有的社区的个数；

3)根据轮盘赌的方法随机选择两个染色体作为父代1和父代2；

4)在所选择的父代1的染色体的小组部分随机选择两个社区，将这两个社区标号内的所有社区标号取出，将这些社区内的节点对应的分组情况遗传给子代，子代中其它还未分组的节点的分组情况与这些节点在父代2中的节点的分组情况相同；

5)调整分组情况：找出社区内节点个数小于k最小值的那些社区内的节点，并将这些节点分别移入与其连接边数最多的社区内部；

6)重复步骤3)至步骤5)直到生成M个子带；

7)重复步骤2)至步骤6)直到迭代P代为止；

8)保存最优染色体的社区划分情况作为计算出来的社区划分情况；

(4)根据步骤(3)中最后得到的划分结果，计算测试集E^P以及原始网络中不存在连边的节点对之间连接的可能性大小，记为R值；

(5)从步骤(4)中计算R值的那些边中，按照R值从大到小的顺序排列，挑选前m个R值大对应的边作为我们算法预测出来的边；

(6)计算这种预测算法的准确度。

2.根据权利要求1所述的基于分组遗传算法的链路预测方法，其特征在于：所述的步骤(4)中R值由以下公式计算得到：

其中：k(i)表示节点i的度；k(j)表示节点j的度；α_i表示节点i所在的社区的标号；表示第α_i个社区和第α_j个社区之间的实际连接边数；表示第α_i个社区和第α_j个社区之间的最大连接边数。

3.根据权利要求1所述的基于分组遗传算法的链路预测方法，其特征在于：所述的步骤(6)中的准确度由以下公式计算得到：

其中：AUC表示准确度，n表示独立的比较的次数，n₁表示从测试集中选择的边的相似性大于从不存在边的集合中选择的边的相似性的次数，n₂表示从测试集中选择的边的相似性等于从不存在边的集合中选择的边的相似性的次数。