CN109523021A - 一种基于长短时记忆网络的动态网络结构预测方法 - Google Patents

Abstract

本发明公开了一种基于长短时记忆网络的动态网络结构预测方法，包括：(1)收集动态网络数据，确定时间间隔Δ，将数据分割成N个时刻的静态网络G₁,G₂,…,G_N；(2)设定训练时间步长t，根据训练时间步长t将静态网络划分为一系列的数据样本，组成训练集用于模型的训练；(3)根据动态网络中的节点数量，确定模型中的隐藏层层数和每一个隐藏层的单元数量，并搭建模型；(4)将训练集中的数据样本输入模型进行训练，当达到最大训练步数或模型收敛后，模型训练完毕；(5)输入待测试的序列，进行网络结构预测。利用本发明，能够同时学习网络的非线性特征和时间上的结构演化特征，从而准确预测下一时刻网络的整体结构。

Description

一种基于长短时记忆网络的动态网络结构预测方法

技术领域

本发明涉及数据挖掘与网络科学领域，尤其是涉及一种基于长短时记忆网络的动态网络结构预测方法。

背景技术

复杂系统常常用复杂网络来进行建模分析，节点代表系统中的个体，邻边代表个体与个体之间的关系。现实生活中的复杂系统往往是动态演化的，包括个体数量的增加或减少和个体与个体之间关系的变化，例如社交网络中新用户的加入和新的朋友关系的建立。这些动态演化的系统通常用动态网络来描述。

动态网络的链路预测能够利用网络演化的历史数据对网络中可能出现或者消失的边进行判断，预测网络的发展趋势，从而使人们可以进一步把握网络演化的内在规律。这对社交网络、经济网络、电力网络和生物网络等典型动态网络的研究具有重要意义。

动态网络中包含空间上的结构分布特征和时间上的结构演化特征这两部分主要信息。只考虑其中的一方面信息不能够对网络的演化做出准确预测。

传统的网络结构预测算法主要利用的是静态网络结构特征，如CommonNeighbors、Jaccard Index和Katz等。这一类算法依靠的是静态网络结构的统计特征，不仅无法有效提取网络的非线性结构特征，而且无法充分利用网络演变的动态特征，因此不适用于动态网络的结构预测。

近年来，随着人工智能学习的兴起，神经网络被广泛应用于检测、分类以及预测等领域。现有的技术方案中，在利用机器学习对网络演化进行预测时，只能对下一时刻中网络中增加的邻边进行预测，而无法预测网络的整体结构变化。

发明内容

本发明的目的是提供一种基于长短时记忆网络的动态网络结构预测方法，能够在一个端到端的模型内同时学习网络的非线性特征和时间上的结构演化特征，从而能够准确预测下一时刻网络的整体结构。

本发明的技术方案如下：

一种基于长短时记忆网络的动态网络结构预测方法，包括以下步骤：

(1)收集动态网络数据，确定时间间隔Δ，将数据分割成N个时刻的静态网络G₁，G₂，…，G_N；

(2)设定训练时间步长t，根据训练时间步长t将静态网络划分为一系列的数据样本，组成训练集用于模型的训练；

(3)根据动态网络中的节点数量，确定模型中的隐藏层层数和每一个隐藏层的单元数量，并搭建模型，所述的模型包括编码器、LSTM和解码器3个部分；

(4)将训练集中的数据样本输入模型进行训练，当训练达到最大训练步数或模型收敛后，模型训练完毕；

(5)输入待测试的序列，进行网络结构预测。

步骤(1)中，所述的时间间隔Δ根据整个动态网络数据集的时间跨度确定，确定的原则是要保证能够产生足够的训练和测试样本，一般保证分割得到的静态网络的序列大于300个。例如，整个动态网络的时间跨度为1个月，则可以将Δ设定为2个小时，这样可以将整个动态网络分割为一个包含420个静态网络的序列。这些网络可以是无向网络，也可以是有向网络，但本发明方法只限于无权网络，即预测连边是否存在。

同时，考虑到现实中人与人之间的交互总是会存在一段时间，在构建网络时，除了增加新出现的连边，也会移除4Δ时间段内没有再次出现的连边。

步骤(2)中，训练时间步长t一般设定为1～20之间的整数，t越大，则包含的历史信息越多，但也会增加模型的计算量。

所述数据样本的划分方法为：按照顺序取{G_k+1，G_k+2，…，G_k+t，G_k+t+1}构成一个样本，其中，前t个网络组成一个序列用于模型的输入，而G_k+t+1为该数据样本对应的实际值。

步骤(3)中，在搭建模型之间需要确定模型中隐藏层层数和每一个隐藏层的单元数量，动态网络中包含的节点数量越多，编码器中隐藏层的单元数量越多。解码器与编码器的结构相同，一般都分别包含1～3个隐藏层，LSTM包含1～2个隐藏层，模型中隐藏层可以加速模型的收敛，其激活函数设定为：

其中，α表示在模型中隐藏层的激活度值。

模型的输出层的激活函数用于判断连边是否存在，其激活函数设定为：

其中，x为模型输出。

模型的输出层采用sigmoid作为激活函数，因此输出的值为0～1之间的小数。为了与真实的网络结构进行比较(其值为0或1)，确定0.5作为阈值。若输出≥0.5，则存在连边；反之则不存在。

此外，还可以利用网络中的已知信息对预测结果进行改善：1)网络中不存在自连边，因此将预测得到的网络的对角线置0；2)若网络为无向网络，则需要将预测得到的网络规则化为对称矩阵，本发明方法中取预测结果的上三角矩阵及其转置组合得到的矩阵作为预测的下一时刻网络结构。

步骤(4)中，模型选用Adam作为反向传播的优化器，在模型训练之前，设置学习率、最大训练步数和最大容忍误差，模型收敛的条件为训练误差小于最大容忍误差，当训练步数到达最大训练步数或者模型收敛时，停止训练。

所述模型的训练误差为拟合误差与正则项之和，拟合误差和正则项。拟合误差与正则项的具体公式如下：

其中，X代表真实数据，代表预测结果，P为惩罚系数矩阵，n为总节点数，若节点i和j之间存在连边，则p_i，j＝η＞1；反之，则p_i，j＝1。

其中，W_e为编码器的权重，W_d为解码器的权重，K为组成编码器和解码器的全连接层层数；W_f为LSTM中的遗忘门的权重，W_i和W_C为输入门的权重，W_o为输出门的权重，l为LSTM层数。

本发明通过在一个端到端的模型中，同时学习网络的静态结构特征与随时间演化的动态特性，将两者进行有机融合，判断网络中每一个节点对是否会在下一时刻增加或者减少连边，能够更准确地预测下一时刻网络的整体结构。

附图说明

图1为本发明实施例的基于长短时记忆网络的动态网络结构预测方法的流程图。

图2为本发明实施例的基于长短时记忆网络的动态网络结构预测方法的模型结构图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本实施例使用公开数据集CONTACT来验证和说明本发明方法的有效性。CONTACT数据集包含一个人与人之间交互产生的有向无权的动态网络，其中的节点代表用户，连边表示用户之间的联系。整个数据集包含274个节点，2.82×10⁴条动态连边，共记录了3.97天内的用户间的交流信息。

如图1所示，一种基于长短时记忆网络的动态网络结构预测方法，包括以下步骤：

S1：确定时间间隔Δ＝10min，截取整个数据集中的前56个小时，CONTACT动态网络分割成为一个由336个静态网络组成的序列。由于深度学习模型需要大量的训练数据，因此需要将该动态网络分割为较多的时间片。再考虑人与人之间的面对面交流的实际情况，令Δ＝10min是较为合适的。

S2：综合考虑模型计算效率与精度，本实施例将模型训练步长t设为10，并据此划分训练集和测试集数据。每一个数据样本为一个由11个静态网络组成的序列{G_k+1，G_k+2，…，G_k+t，G_k+t+1}。其中，前10个网络{G_k+1，G_k+2，…，G_k+t}用于模型的输入，第11个网络为该序列对应的真实数据，与预测结果进行比较，通过反向传播参与模型的训练过程。按照t＝10划分336个静态网络，共可得到320个数据样本，即k∈[1，320]。设定训练集和测试集的数据比例为3∶1，即前240个样本数据作为训练集，后80个样本作为测试集。

S3：本实施例中所用的模型包括编码器、LSTM和解码器3个部分。编码器和解码器具有相同的模型结构，分别由两个全连接层组成，全连接层中单元数分别为512与384。每一个全连接层之后，都使用ReLU作为激活函数，以限定激活度值。在编码器和解码器之间放置了2层的级联LSTM，每一层的单元数为128。输出层由一层单元数为274(即节点数)的全连接层组成，使用的激活函数为sigmoid。在目标函数中，整个模型结构如图2所示。

S4：模型选用Adam作为反向传播的优化器，学习率设置为0.01，最大训练步数为2000，最大容忍误差设置为10。若模型训练误差小于10或者训练步数到达2000，则停止训练。模型收敛后，将测试集中的样本数据输入模型，得到未来时刻CONTACT网络结构的预测结果，并与真实数据进行比较。

本发明方法中采用AUC和Error Rate作为评判模型预测结果是否具有实用性的标准。具体公式如下：

其中，AUC定义为，在n次独立的采样中，其中n′次存在连边的节点对得到的分数比不存在连边的节点对高，n″次不存在连边的节点对得到的分数比存在连边的节点对高。在Error Rate的定义中，N_true代表真实存在的边数，N_false代表预测错的边数。

在CONTACT数据集上，本发明方法得到了较高的精度：AUC＝0.9907，Error Rate＝0.3302。该结果远远超过了如CN等传统的预测方法。

本发明通过充分学习网络的非线性结构特征和动态演变特性，并将两者进行有机结合，能够大大提高动态网络结构预测的精度。而且，端到端的模型简化了特征提取步骤，能够更加便捷地应用到实际问题中。

Claims (8)

1.一种基于长短时记忆网络的动态网络结构预测方法，其特征在于，包括以下步骤：

(1)收集动态网络数据，确定时间间隔Δ，将数据分割成N个时刻的静态网络G₁，G₂，…，G_N；

(2)设定训练时间步长t，根据训练时间步长t将静态网络划分为一系列的数据样本，组成训练集用于模型的训练；

(3)根据动态网络中的节点数量，确定模型中的隐藏层层数和每一个隐藏层的单元数量，并搭建模型，所述的模型包括编码器、LSTM和解码器3个部分；

(4)将训练集中的数据样本输入模型进行训练，当达到最大训练步数或模型收敛后，模型训练完毕；

(5)输入待测试的序列，进行网络结构预测。

2.根据权利要求1所述的基于长短时记忆网络的动态网络结构预测方法，其特征在于，步骤(1)中，所述的时间间隔Δ根据整个动态网络数据集的时间跨度确定，保证分割得到的静态网络的序列大于300个。

3.根据权利要求1所述的基于长短时记忆网络的动态网络结构预测方法，其特征在于，步骤(2)中，训练时间步长t为1～20之间的整数。

4.根据权利要求1所述的基于长短时记忆网络的动态网络结构预测方法，其特征在于，步骤(2)中，所述数据样本的划分方法为：按照顺序取G_k+1，G_k+2，…，G_k+t，G_k+t+1构成一个样本，其中，前t个网络组成一个序列用于模型的输入，G_k+t+1为该数据样本对应的实际值。

5.根据权利要求1所述的基于长短时记忆网络的动态网络结构预测方法，其特征在于，步骤(3)中，解码器与编码器的结构相同，包含1～3个隐藏层，LSTM包含1～2个隐藏层，所述的隐藏层的激活函数设定为：

其中，α表示在模型中隐藏层的激活度值。

6.根据权利要求1所述的基于长短时记忆网络的动态网络结构预测方法，其特征在于，步骤(3)中，所述模型的输出层的激活函数为：

其中，x为模型输出。

7.根据权利要求1所述的基于长短时记忆网络的动态网络结构预测方法，其特征在于，步骤(4)中，模型选用Adam作为反向传播的优化器，在模型训练之前，设置学习率、最大训练步数和最大容忍误差，模型收敛的条件为训练误差小于最大容忍误差，当训练步数到达最大训练步数或者模型收敛时，停止训练。

8.根据权利要求7所述的基于长短时记忆网络的动态网络结构预测方法，其特征在于，所述模型的训练误差为拟合误差与正则项之和，拟合误差的计算公式如下：

其中，X代表真实数据，代表预测结果，P为惩罚系数矩阵，n为总节点数，若节点i和j之间存在连边，则p_i，j＝η＞1；反之，则p_i，j＝1；

正则项的计算公式如下：

其中，W_e为编码器的权重，W_d为解码器的权重，K为组成编码器和解码器的全连接层层数；W_f为LSTM中的遗忘门的权重，W_i和W_C为输入门的权重，W_o为输出门的权重，l为LSTM层数。