CN113297429A - 一种基于神经网络架构搜索的社交网络链路预测方法 - Google Patents

Abstract

本发明公开一种基于神经网络架构搜索的社交网络链路预测方法，包括以下步骤：步骤1，构建训练数据集；步骤2，利用神经网络架构搜索框架进行搜索，并对搜索框架进行改进；利用其搜索到的最优cell构建神经网络模型；步骤3，对社交网络进行链路预测。该方法可以自动探索更优的神经网络的结构，从而降低了在链路预测中人工设计神经网络的困难，并可以提高链路预测算法的预测效果。

Description

一种基于神经网络架构搜索的社交网络链路预测方法

技术领域

本发明涉及一种基于神经网络架构搜索的社交网络链路预测方法，适用于社交网络预测，并且在此基础上可以获得比基于神经网络的链路预测方法更好的预测效果。

背景技术

社交网络的研究一直是研究热点，其中链路预测是社交网络的核心内容之一。社交网络中节点表示用户，连边表示用户之间的关系，链路预测即是对社交网络中的任意两个用户，根据已有的数据，预测这两个用户间是否存在社交关系，即表现为两个节点是否存在连边。

目前，链路预测的研究方法有基于节点属性，网络拓扑结构，以及基于深度学习等。基于节点属性的方法可以根据节点间是否有相同标签来判断是否存在连接，但出于隐私保护，信息获取难度大，所以基于节点属性的方法难度较大，基于网络拓扑结构的方法根据网络结构的相似性来判断节点的相似性，但该方法的预测精度低，且普适性差，常常需要针对某一类复杂网络的特征设计算法。基于深度学习的方法将社交网络的拓扑结构当做输入，利用神经网络自动提取特征进行学习，并进行预测，基于神经网络的方法更加普适，但当前大多数基于深度学习的链路预测方法中，神经网络的结构的设计都依赖科研人员的调参经验，没有进行足够的探索，使得最终方法的预测效果不佳。

在链路预测的研究中，神经网络模型用于对社交网络的邻接矩阵做特征提取，并利用提取的特征做最终的二分类预测(判断两个节点之间是否存在连边)。因此，神经网络模型学习能力的好坏决定了最终的预测精度。虽然越深的神经网络模型拟合能力越强，但越深的神经网络模型越容易出现过拟合现象，表现为在训练数据集上预测精度偏高，在测试数据集上预测精度偏低。而且不同的数据集具有不同的分布，不存在一个足够鲁棒的神经网络模型，适用所有数据集。所以在实际应用当中如果希望获得更高的预测精度，那么就需要寻找更合适的神经网络模型，而现有技术中这一步工作需要从业人员具备相当的调参经验以及大量的时间和精力，对于企业应用来讲显得效率偏低。

在论文《Weisfeiler-Lehman Neural Machine for Link Prediction》，KDD2017Research Paper，中提出了一种对基于神经网络的链路预测方法，该方法使用的是只有3层全连接层的神经网络结构，在应对更复杂的社交网络依旧表现不足。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种基于神经网络架构搜索的社交网络链路预测方法，该方法可以自动探索更优的神经网络的结构，从而降低了在链路预测中人工设计神经网络的困难，并可以提高链路预测算法的预测效果。

技术方案：一种基于神经网络架构搜索的社交网络链路预测方法，具体包括以下步骤：

步骤1，构建训练数据集。

步骤2，利用神经网络架构搜索框架进行搜索，并对搜索框架进行改进。利用其搜索到的最优cell构建神经网络模型。

步骤3，对社交网络进行链路预测。

所述步骤1中，对于一个社交网络，网络中的节点通常表示用户，节点间的连边表示两个用户之间的存在的社交关系。这里用V＝{v₁,…v_n}表示网络中节点的集合，

表示节点间边的集合。用Γ(x)表示节点x直接相连的邻居集合，Γ^d(x)表示距离节点x有d跳的邻居集合。对任意两个节点x和y，依次将Γ(x)，Γ(y)，Γ²(x)，Γ²(y)……添加到节点集合V中，直到节点x和y不再有邻居节点或者邻居节点集合的节点总数大于某个阈值N。再将节点集合以及节点之间的连边构成的邻接矩阵作为数据样本的特征，节点x和y是否存在连边作为数据样本标签。将邻接矩阵特征(数据样本的特征)和标签作为数据集，数据集分成训练、验证、测试三组提供搜索框架进行网络结构的搜索。

步骤2中，本发明对搜索框架的搜索空间进行了改进，使其更适合于社交网络的链路预测。由于输入数据为链路两个节点的邻居节点集以及边集所构成的0-1邻接矩阵，在实际情况中，大部分邻接矩阵都十分稀疏，这也是社交网络的特性之一，常规卷积或者可分离卷积操作等处理的数据都为稠密数据(例如图像)，这使得直接用这类卷积构建的神经网络显得比较低效。基于这点观察，本发明在搜索空间的设计上将所有卷积操作都替换为稀疏卷积(sparse convolution，SC)。稀疏卷积的区别在于提出的活动点(active site)概念，对于第一层的特征图，活动点即为邻接矩阵上为1的点，对之后层的特征图，若当前点存在活动点(active site)，则为活动点。活动点的计算方式与传统卷积相同，对于非活动点直接设置为0。利用稀疏卷积，神经网络保留了数据的稀疏性。

步骤3将步骤1数据集的训练集和验证集合并为训练集训练从搜索框架搜索到的神经网络模型，并利用训练好的神经网络模型预测待测试数据，输出节点之间产生连接的概率。

附图说明

图1是本发明方法流程图；

图2是本发明链路子图；

图3是cell结构总图；

图4是cell的堆叠方式图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，基于神经网络架构搜索的社交网络链路预测方法，在步骤1中，首先对数据集进行预处理，对于一条需要预测的链路，提取其相关子图，子图如图2所示，图中的编号表示节点编号。对于链路(x，y)，首先添加它们的直接邻居集合Γ(x)，Γ(y)到节点集合V_k中，然后，将集合Γ²(x)，Γ²(y)，Γ³(x)，Γ³(y)，Γ⁴(x)，Γ⁴(y)…依次添加到节点集合V_k中直到|V_k|≥K，或者没有更多的邻居节点。这里将K定为10和20两组，其次是对子图进行编码，子图编码是将每个封闭子图表示为具有特定顺序的邻接矩阵，以便我们设计的网络可以顺序读取数据，所以我们先按照节点x和节点y的Γ(x)，Γ(y)，Γ²(x)，Γ²(y)，Γ³(x)，Γ³(y)，…顺序排列，再按节点编号排列以保证顺序，对于|V_k|>K部分丢弃。

对每一个子图，用图标记算法决定每一个节点的顺序，对于一个好的图标记算法，应该要满足以下两点：

3)中心转换总是具有最小的颜色

4)更靠近中心链接的节点具有比更远的颜色更小的颜色

图标记算法应该满足的以上两点，这对于定义有意义的节点排序是至关重要的。如果图形标记方法不保持该方向性，则生成的节点表示对于链接预测可能非常差。

只有同时满足以上两个条件，才能对子图进行一个好的编码。

这里用染色表示对不同节点的编码。

算法输入：以节点x，节点y为链路中心的子图

算法输出：所有节点的一个颜色标号

1)为子图中除节点x和y以外的所有节点v计算

2)得到每个节点的初始化颜色：c(v)＝f(d(v))

3)为除节点x和y以外的所有节点计算哈希值h(v)

4)通过哈希值h(v)更新节点的颜色c(v)

5)重复3)4)两步直到c(v)收敛

在上述算法中，d(v,x)表示节点v与节点x之间的距离，d(v,y)表示节点v与节点y之间的距离，函数f:R^K→C^K表示K个整数与K种颜色之间的一种映射关系，函数f首先将最小的整数映射到第一种颜色，再将第二小的整数映射到第二种颜色，依次类推。h(v)是对节点v的一种哈希映射

其中

表示所有素数的列表，

表示第n个素数，通过这样一种哈希映射，可以快速找到每一个节点对应的颜色，收敛的判定条件为所有节点的颜色在这一轮的迭代过程中不再变化。

每条链路的子图，以及该链路的标签作为数据集，构建好数据集后，将数据集分为训练集，验证集和测试集三部分，每部分的比例为60％，20％，20％。

在步骤2中，首先是搜索空间的定义，搜索空间由两部分组成，操作配置和网络结构，操作配置包含3*3稀疏卷积，5*5稀疏卷积，3*3平均池化，3*3最大池化，跳边和空值。在网络结构上，所有的cell(单元)结构都是从包含5个节点的总图产生的有向无环子图，总图结构如图3所示，边表示操作。其次是cell的结构，cell的输出由所有的中间节点进行合并，cell结构分为常规cell和缩减cell，常规cell和缩减cell的结构区别在于常规cell输出特征图大小和输入的特征图一样，而缩减cell和是常规cell的一半，最终的网络结构由8个cell堆叠而成，堆叠方式为两个常规单元后接一个缩减单元，结构如图4所示。其次是优化策略，网络结构的权重参数使用带动量的随机梯度下降算法进行优化。网络结构变量使用Adam算法进行优化。最后的评估策略使用AUC指标。

首先，搜索框架在初始状态下随机采样一个神经网络结构，再利用训练集进行训练。对于训练完成的神经网络结构会用验证集进行评估，并将AUC值作为评估指标对网络结构变量进行优化。进入下一轮迭代。在选出最优的常规cell和缩减cell之后，按照图4方式进行堆叠，整个网络结构包含8个单元，在网络结构的第3个单元和第6个单元使用缩减cell，其他均为常规cell，构建最终的网络结构。

在步骤3中，将训练集，验证集合并为训练集，训练最终的网络结构，直到网络收敛，之后再用测试集测试网络结构。

Claims (7)

1.一种基于神经网络架构搜索的社交网络链路预测方法，其特征在于，包括以下步骤：

步骤1，构建训练数据集；

步骤2，利用神经网络架构搜索框架进行搜索，并对搜索框架进行改进；利用其搜索到的最优cell构建神经网络模型；

步骤3，对社交网络进行链路预测。

2.根据权利要求1所述的基于神经网络架构搜索的社交网络链路预测方法，其特征在于，所述步骤1中，网络中的节点表示实体，节点间的连边表示两个实体之间的关系；用V＝{v₁，…v_n}表示网络中节点的集合，

表示节点间边的集合；用Γ(x)表示节点x直接相连的邻居集合，Γ^d(x)表示距离节点x有d跳的邻居集合；对任意两个节点x和y，依次将Γ(x)，Γ(y)，Γ²(x)，Γ²(y)……添加到节点集合V中，直到节点x和y不再有邻居节点或者邻居节点集合的节点总数大于某个阈值N；再将节点集合以及节点之间的连边构成的邻接矩阵作为数据样本的特征，节点x和y是否存在连边作为数据样本标签；将数据样本的特征和标签作为数据集，数据集分成训练、验证、测试三组提供搜索框架进行网络结构的搜索。

3.根据权利要求1所述的基于神经网络架构搜索的社交网络链路预测方法，其特征在于，所述步骤2中，对搜索框架进行改进指的是在搜索空间的设计上将所有卷积操作都替换为稀疏卷积。

4.根据权利要求1所述的基于神经网络架构搜索的社交网络链路预测方法，其特征在于，所述步骤3中，将步骤1数据集的训练集和验证集合并为训练集训练从搜索框架搜索到的神经网络模型，并利用训练好的神经网络模型预测待测试数据，输出节点之间产生连接的概率。

5.根据权利要求1所述的基于神经网络架构搜索的社交网络链路预测方法，其特征在于，在步骤1中，对于一条需要预测的链路，提取其相关子图，其次是对子图进行编码，子图编码是将每个封闭子图表示为具有顺序的邻接矩阵，以便顺序读取数据；

对每一个子图，用图标记算法决定每一个节点的顺序，图标记算法，应该要满足以下两点：

1)中心转换总是具有最小的颜色

2)更靠近中心链接的节点具有比更远的颜色更小的颜色

用染色表示对不同节点的编码：

算法输入：以节点x，节点y为链路中心的子图

算法输出：所有节点的一个颜色标号

1)为子图中除节点x和y以外的所有节点v计算

2)得到每个节点的初始化颜色：c(v)＝f(d(v))

3)为除节点x和y以外的所有节点计算哈希值h(v)

4)通过哈希值h(v)更新节点的颜色c(v)

5)重复3)4)两步直到c(v)收敛

d(v，x)表示节点v与节点x之间的距离，d(v，y)表示节点v与节点y之间的距离，函数f：R^K→C^K表示K个整数与K种颜色之间的一种映射关系，函数f首先将最小的整数映射到第一种颜色，再将第二小的整数映射到第二种颜色，依次类推；h(v)是对节点v的一种哈希映射

其中

表示所有素数的列表，

表示第n个素数，通过这样一种哈希映射，可以快速找到每一个节点对应的颜色，收敛的判定条件为所有节点的颜色在这一轮的迭代过程中不再变化。

6.根据权利要求1所述的基于神经网络架构搜索的社交网络链路预测方法，其特征在于，在步骤2中，首先是搜索空间的定义，搜索空间由两部分组成，操作配置和网络结构，操作配置包含3*3稀疏卷积，5*5稀疏卷积，3*3平均池化，3*3最大池化，跳边和空值；

在网络结构上，所有的cell结构都是从包含5个节点的总图产生的有向无环子图，边表示操作；其次是cell的结构，cell的输出由所有的中间节点进行合并，cell结构分为常规cell和缩减cell，常规cell和缩减cell的结构区别在于常规cell输出特征图大小和输入的特征图一样，而缩减cell和是常规cell的一半，最终的网络结构由8个cell堆叠而成，堆叠方式为两个常规单元后接一个缩减单元。

7.根据权利要求6所述的基于神经网络架构搜索的社交网络链路预测方法，其特征在于，其次是优化策略，网络结构的权重参数使用带动量的随机梯度下降算法进行优化；网络结构变量使用Adam算法进行优化；最后的评估策略使用AUC指标；首先，搜索框架在初始状态下随机采样一个神经网络结构，再利用训练集进行训练；对于训练完成的神经网络结构会用验证集进行评估，并将AUC值作为评估指标对网络结构变量进行优化；进入下一轮迭代；在选出最优的常规cell和缩减cell之后，整个网络结构包含8个单元，在网络结构的第3个单元和第6个单元使用缩减cell，其他均为常规cell，构建最终的网络结构。

Images