CN111784081A - 一种采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法 - Google Patents

Abstract

本发明公开了一种采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法，包括以下步骤：S1，处理原始社交样本数据并提取短语和与该短语相关的自变量的元组，构建结构化事件元组并链接到知识图谱，从知识图谱中构造子图并提取事件嵌入向量；S2，将社交网络的网络结构用邻接矩阵表示，以向量形式融合事件嵌入向量和网络邻接矩阵；S3，建立基于改进时间卷积网络的链路预测模型，将事件嵌入向量与网络邻接矩阵的融合向量作为预测模型的输入，经过迭代训练以获取最优模型，以对社交网络链路进行预测。本发明能够提高社交网络链路的预测精度。

Description

一种采用知识图谱嵌入和时间卷积网络的社交网络链路预测 方法

技术领域

本发明涉及网络分析技术领域，特别是涉及一种采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法。

背景技术

社交网络不仅包含用户间的网络结构，同时存在大量用户所分享的文本信息，具有规模大、动态变化、信息混杂等网络大数据通常所具有的特点。链路预测作为数据挖掘领域中的研发方向之一，它的研发目标是预测当前网络中节点间是否存在缺失的连边或是未来网络中是否会产生新的连边。

链路预测主要是利用目前已有的网络结构去预测节点间潜在关系，如在朋友关系的预测中，将链路预测产生的结果作为“朋友推荐”推送至相应的用户，在推荐系统中研究如何整合海量的多源异构数据，构建更加贴合用户偏好需求的用户模型，以提高推荐系统的性能和用户满意度。然而现有的社交网络链路预测方法仍存在预测精度的问题。

发明内容

针对上述问题，本发明的目的在于提出一种采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法，以提高社交网络链路的预测精度。

本发明采用的技术方案如下：一种采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法，社交网络中链路状态的变化受到用户节点的影响，社交网络拓扑结构与用户节点的社交文本信息相关，其链路状态的变化隐含着某种内在特征，这种特征能在一定程度上体现节点对连接的变化趋势，发明的研究重点在于以合适的方式提取网络链路的内在特征。整个预测过程具体步骤如下：

S1，文本数据处理：从原始样本数据中去除冗余数据，从提取到的文本中读取句子，并提取短语和与该短语相关的自变量的元组，将非结构化社交文本转换为结构化事件元组，利用实体链接技术从知识图谱构造一个子图，通过知识图谱的嵌入方法从中提取事件嵌入向量。

S2，网络样本融合：社交网络的网络结构通过邻接矩阵表示，邻接矩阵中包含网络中的节点集和边集，网络连边即为用户节点间关注/被关注关系。社交网络的结构和非结构信息由邻接矩阵和事件嵌入向量融合结果表示。

S3，构建时间卷积网路预测模型：以融合信息作为链路预测模型的输入。选用时间卷积网络的模型结构、超参数及优化算法等，将事件嵌入向量与网络邻接矩阵融合后作为模型的原始输入。经过不断地迭代训练并测试以获取最优模型，从而对社交网络链路进行有效预测。

其中，步骤S1具体包括：

S11，从原始样本数据中去除冗余数据，从提取到的文本中读取句子，并提取短语和与该短语相关的自变量的元组，将非结构化社交文本转换为结构化事件元组；

S12，将事件元组链接到开源知识图谱数据库中，利用实体链接技术从知识图谱构造一个子图，通过知识图谱嵌入方法从中提取事件嵌入向量；

S13，利用TransE算法作为知识图谱的嵌入方法，通过嵌入方法从知识图谱中提取事件嵌入向量P，设网络用户节点数为n，事件嵌入向量表示为P_i,(i＝1,2,3,…,n)，每个用户i的文本信息最终由对应的事件嵌入向量P_i来表示。

其中，步骤S2具体包括：

S21，社交网络的网络结构通过邻接矩阵表示，邻接矩阵中包含网络中的节点集和边集，节点集为用户节点，边集为用户节点间关注/被关注关系，社交网络的结构化信息和非结构化信息分别由邻接矩阵和事件嵌入向量表示；

S22，网络结构邻接矩阵由N_g表示，从网络结构的邻接矩阵N_g的边集E中选择用户节点V_i的邻接矩阵的向量a_i并对其进行维度处理后，得到向量a’_i，再与事件嵌入向量P_i进行融合，得到融合向量X＝{a’_i,P_i}。

其中，步骤S3具体包括：

S31，将所述融合向量X作为预测模型的输入，网络各层为全连接网络，各层之间使用扩张卷积，扩张卷积率按指数增长；

S32，时间卷积网路在连接神经网络各层时均采用残差连接，使输入数据跳过中间环节直接跨层输入，其结果作为该层最终的输出数据，对应的激活函数为ReLU函数，残差连接封装成为1个残差模块，即为组成时间卷积网络的基本单元；

S33，在时间卷积网络中，第l层有N_l个卷积核，且卷积核长度为d_l，则当前层所包含的权重为：

其中每一个卷积核的权重表示为

给定前一层输出X_l-1，则第l的输出表示为：X_l＝β(W*X_l-1)，网络输出层为Logistic Regression(逻辑回归)分类器；

S34，选取多组用户构建训练样本集，按照预设比例将样本集分割为训练集和测试集，训练集用于训练模型的参数，测试集用于测试模型的泛化性能。

根据本发明提供的采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法，具有以下有益效果：

本发明从社交网络用户文本信息中提取结构化事件元组，将它们链接到知识图谱，通过多通道串联得到事件嵌入向量，把事件嵌入向量与网络邻接矩阵融合，将融合信息作为基于时间卷积网路链路预测模型的输入，提取网络链路随时间的演化规律，从而能够对社交网络的链路进行有效预测；

本发明提取社交网络的复杂特性和大量文本语义信息构建社交网络的实体知识图谱，将社交网络结构与知识图谱的嵌入向量融合，建立网络特征模型，该方法提取社交网络中用户节点对的拓扑信息和非拓扑信息，构建基于时间卷积网络预测模型提取社交网络的内在特征，结合节点自身属性，能够提高社交网络链路预测的精度。

附图说明

本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1社交网络文本信息提取过程图；

图2为事件三元组示意图；

图3为时间卷积网络卷积示意图；

图4为时间卷积网络残差链接结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的实施例提供一种采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法，该方法通过建立时间卷积网络模型来实现自发地提取节点间链路特征并进行链路预测，该方法包括步骤S1～S3。

S1，处理原始社交样本数据并提取短语和与该短语相关的自变量的元组，构建结构化事件元组并链接到知识图谱，从知识图谱中构造子图并提取事件嵌入向量。

其中，步骤S1具体包括：

S11，样本数据处理，筛选出发表动态次数较多的用户，然后从这些用户的文本信息中去除掉非文本字符，如数字、表情符号等，再去除分词、停用词和“分享”、“转发”、“点赞”等冗余词。

S12，从提取到的文本中读取句子，并提取短语和与该短语相关的自变量的元组，将非结构化社交文本转换为结构化事件元组，提取过程如图1所示。设定事件元组e为三元组(h，r，t)的有限集合，每个三元组表示是一个事实陈述句，其中，h是主语，r是谓语，t是宾语，e＝(h，r，t)表示h与t之间具有联系，将每个三元组实例中的关系r看做从实体h到实体t的翻译，通过不断调整h、r和t的向量，使(h+r)尽可能与t相等，即h+r≈t。该优化目标如下图2所示。将提取到事件元组链接到WordNet开源知识图谱数据库中，获得词汇之间的关联特点。该数据库将名词、动词、形容词和副词与同义词联系起来，这些同义词通过语义关系相互联系，从而确定单词的定义。从WordNet中选取链接相关的内容构建子图。

S13，采用TransE算法作为知识图谱的嵌入方法，TransE定义了一个距离函数d(h+r,t)，它用来衡量h+r和t之间的距离。在模型的训练过程中，TransE采用最大间隔方法，其目标函数如下：

L＝∑_(h,r,t)∈S∑_{(h′,r,t′)∈S′}[γ+d(h+r,t)-d(h′+r,t′)]₊ (1)

其中，S是知识库中的三元组，S′是负采样的三元组，通过替换h或t所得。γ是取值大于0的间隔距离参数，[x]₊表示正值函数，即x>0时，[x]₊＝x；当x≤0时[x]₊＝0。算法模型梯度更新只需计算距离d(h+r,t)和d(h′+r,t′)。

通过嵌入方法从知识图谱中提取事件嵌入向量P，设网络用户节点数为n，事件嵌入向量表示为P_i,(i＝1,2,3,…,n)。每个用户i的文本信息最终由对应的事件嵌入向量P_i来表示其节点特征。

S2，将社交网络的网络结构用邻接矩阵表示，以向量形式融合事件嵌入向量和网络邻接矩阵。

其中，步骤S2具体包括：

S21，网络信息融合过程中，设网络用户节点数为n，则邻接矩阵为n阶方阵，其中行与列对应节点。由于一条信息从发布者传播到关注者，同时在传播过程中也会影响网络的形成，则邻接矩阵N_g的是有向邻接矩阵。边集E为n×n矩阵可以记作：

其中，a_i＝[a_i1,a_i2,…,a_in]是由N_g的第i行元素构成的n维向量(i＝1,2,3,…,n)，即a₁,a₂,…,a_n是矩阵N_g的行向量组，其a_i表示节点v_i在网络中的连边情况。

节点v_i与节点v_j产生网络连边则矩阵元素为1，如果节点v_i与节点v_j未产生网络连边则矩阵元素为0，即：

S22，从网络结构的邻接矩阵N_g的边集E中选择节点v_i的向量a_i结合事件嵌入向量P_i进行融合。设事件嵌入向量P_i的维度为d，且d<n。从节点向量a_i中取前d个元素得到向量a’_i与时间嵌入向量融合，得到向量x_i＝{a’_i,P_i}，链路预测模型的输入X，表示为：

X＝(x_i,x_j) (4)

其中，x_i和x_j为用户节点v_i和v_j的融合向量。

S3，建立基于改进时间卷积网络的链路预测模型，将事件嵌入向量与网络邻接矩阵的融合向量作为预测模型的输入，经过迭代训练以获取最优模型，以对社交网络链路进行预测。

其中，步骤S3具体包括：

S31，构建基于时间卷积网络的预测模型中，将上述X向量为预测模型的输入，根据社交网络特性所需要研究的历史信息比较长，将导致网络层数增加，从而使模型变得比较复杂。因此，本研究方法中的时间卷积网络使用扩张卷积。因果卷积和扩张卷积的对比如图3所示。其中，d表示每一层的扩张率，扩张率指卷积时扩张的大小。d随着网络层数的增多按指数增长，图3(b)中d＝2i，i表示神经网络的层数。单元扩张卷积F(s)的计算如式(4)所示。

其中，k表示卷积核的大小，f表示卷积核，d表示扩张系数，X是输入序列，s表示序列中第s个元素。

S32，时间卷积网络增加了残差连接可以使输入数据跳过中间环节直接跨层输入，经过1×1的卷积处理至指定维度后，方便与经扩张卷积提取出的特征数据相加，其结果作为本层最终的输出数据。如图4，将2个扩张卷积层加上与之配套的权值规范化、随机失活、激活函数、残差连接环节封装成为1个残差模块，即为组成深度时间卷积网络的基本单元。时间卷积网路在连接神经网络各层时均采用残差连接。残差连接能够解决在网络层数增加时训练结果的退化问题，残差连接如式(5)所示。

f_output＝ReLU(x+f(x)) (6)

f(x)表示卷积操作的输出，x表示本层的输入，ReLU函数是线性激活函数。

激活函数为ReLU修正线性单元，计算如式(7)所示。

f(x)＝max(0,x) (7)

其中，f(x)是函数输出结果，x是单元的输入。

S33，在时间卷积网络中，第l层有N_l个卷积核，且卷积核长度为d_l，则当前层所包含的权重为：

其中每一个卷积核的权重可表示为

给定前一层输出X_l-1，则第l的输出可表示如式(8)所示，网络输出层利用Logistic Regression(逻辑回归)分类器完成二分类任务。

X_l＝β(W*X_l-1) (8)

其中，β表示非线性激活函数。

S34，本发明中使用单节点对链路预测精度来衡量特征提取的优劣，选用Keras框架作为模型训练工具，选取多对用户节点构成样本数据集，标签为社交网络的关注/被关注情况，将样本数据集按照7:3的比例划分为训练集和测试集，训练集中的节点的文本信息融合的向量作为模型的输入，用户节点对连接状态作为输出。训练结束后，通过测试集来验证模型，若测试结果满足一定的精度则预测成功，即可使用该模型来预测社交网络的链路。

需要指出的是，本发明中，使用时间卷积网络预测模型的目的就是为了学习得到链路状态变化的内在特征，但不同结构和参数的模型对特征的提取效果不同,针对实际数据集的特点,考虑从模型结构、超参数、训练算法、优化算法等方面来构建合适的时间卷积网络模型。

根据上述的采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法，从社交网络用户文本信息中提取结构化事件元组，将它们链接到知识图谱，通过多通道串联得到事件嵌入向量，把事件嵌入向量与网络邻接矩阵融合，将融合信息作为基于时间卷积网路链路预测模型的输入，提取网络链路随时间的演化规律，从而能够对社交网络的链路进行有效预测。

此外，该方法提取社交网络的复杂特性和大量文本语义信息构建社交网络的实体知识图谱，将社交网络结构与知识图谱的嵌入向量融合，建立网络特征模型，该方法提取社交网络中用户节点对的拓扑信息和非拓扑信息，构建基于时间卷积网络预测模型提取社交网络的内在特征，结合节点自身属性，能够提高社交网络链路预测的精度。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (4)

1.一种采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法，其特征在于，包括以下步骤：

S1，处理原始社交样本数据并提取短语和与该短语相关的自变量的元组，构建结构化事件元组并链接到知识图谱，从知识图谱中构造子图并提取事件嵌入向量；

S2，将社交网络的网络结构用邻接矩阵表示，以向量形式融合事件嵌入向量和网络邻接矩阵；

S3，建立基于改进时间卷积网络的链路预测模型，将事件嵌入向量与网络邻接矩阵的融合向量作为预测模型的输入，经过迭代训练以获取最优模型，以对社交网络链路进行预测。

2.根据权利要求1所述的采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法，其特征在于，步骤S1具体包括：

S11，从原始样本数据中去除冗余数据，从提取到的文本中读取句子，并提取短语和与该短语相关的自变量的元组，将非结构化社交文本转换为结构化事件元组；

S12，将事件元组链接到开源知识图谱数据库，利用实体链接技术从知识图谱构造一个子图，通过知识图谱嵌入方法从中提取事件嵌入向量；

S13，利用TransE算法作为知识图谱的嵌入方法，通过嵌入方法从知识图谱中提取事件嵌入向量P，设网络用户节点数为n，事件嵌入向量表示为P_i，(i＝1，2，3，...，n)，每个用户i的文本信息最终由对应的事件嵌入向量P_i来表示。

3.根据权利要求2所述的采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法，其特征在于，步骤S2具体包括：

S21，社交网络的网络结构通过邻接矩阵表示，邻接矩阵中包含网络中的节点集和边集，节点集为用户节点，边集为用户节点间关注/被关注关系，社交网络的结构化信息和非结构化信息分别由邻接矩阵和事件嵌入向量表示；

S22，网络结构邻接矩阵由N_g表示，从网络结构的邻接矩阵N_g的边集E中选择用户节点V_i的邻接矩阵的向量a_i并对其进行维度处理后，得到向量a’_i，再与事件嵌入向量P_i进行融合，得到融合向量X＝{a’_i，P_i}。

4.根据权利要求3所述的采用知识图谱嵌入和时间卷积网络的社交网络链路预测方法，其特征在于，步骤S3具体包括：

S31，将所述融合向量X作为预测模型的输入，网络各层为全连接网络，各层之间使用扩张卷积，扩张卷积率按指数增长；

S32，时间卷积网路在连接神经网络各层时均采用残差连接，使输入数据跳过中间环节直接跨层输入，其结果作为该层最终的输出数据，对应的激活函数为ReLU函数，残差连接封装成为1个残差模块，即为组成时间卷积网络的基本单元；

S33，在时间卷积网络中，第l层有N_l个卷积核，且卷积核长度为d_l，则当前层所包含的权重为：

其中每一个卷积核的权重表示为

给定前一层输出X_l-1，则第l的输出表示为：X_l＝β(W*X_l-1)，网络输出层为逻辑回归分类器；

S34，选取多组用户构建训练样本集，按照预设比例将样本集分割为训练集和测试集，训练集用于训练模型的参数，测试集用于测试模型的泛化性能。

Images