CN115496174A - 优化网络表示学习的方法、模型训练方法和系统 - Google Patents

Abstract

本发明提供的优化网络表示学习的方法、模型训练方法和系统，通过获取图网络中的待处理节点及其预测时间点；从图网络中获取以待处理节点为中心节点的子图网络；去除子图网络中时间戳晚于预测时间点的邻域节点，得到有效的子图网络；基于图卷积神经网络，使用注意力机制分别计算子图网络中待处理节点与各个邻域节点之间的相关性；对各个相关性进行归一化，得到对应的注意力权重系数；采用注意力权重系数对待处理节点的所有邻域节点进行加权，得到待处理节点的邻域聚合表示向量。可见，本发明可解析预测时间点附近的最新节点交互，更好地捕捉由于时间错位而产生的动态异构网络变化，从而提高了网络表示学习的准确性。

Description

优化网络表示学习的方法、模型训练方法和系统

技术领域

本发明涉及人工智能技术领域，具体涉及优化网络表示学习的方法、模型训练方法和系统。

背景技术

近年来，随着现实生活中异构网络的增长，异构网络数据挖掘在学术界和工业领域都受到了广泛的关注。

异构网络中的节点与邻域节点交互，可通过对节点的潜在语义建模，从而更好地实现知识计算和知识推理。

在实际生活中，异构网络中存在多种类型信息的动态交互，包括电子邮件往来，社交网络信息传递，电子购物交易等。与静态异构网络不同，动态异构网络中的节点通常会随着时间的推移而动态变化。然而，现有的异构网络中，对节点的表示还是采用静态异构网络的方式，基于二分图得到节点的嵌入向量，这种方式没有考虑到时间对节点的影响，导致用嵌入向量来表示节点不太准确，会影响整个网络表示学习的准确性、推荐的准确性等。

发明内容

本发明提供的优化网络表示学习的方法、模型训练方法和系统，旨在提高网络表示学习的准确性。

根据第一方面，一种实施例中提供一种优化网络表示学习的方法，包括：

获取图网络中的待处理节点以及所述待处理节点的预测时间点；

从所述图网络中获取以所述待处理节点为中心节点的子图网络；所述子图网络包括：所述待处理节点，所述待处理节点的邻域节点以及节点之间交互的时间戳；

去除所述子图网络中时间戳晚于预测时间点的邻域节点，得到有效的子图网络；

基于图卷积神经网络，使用注意力机制分别计算所述子图网络中待处理节点与各个邻域节点之间的相关性；

对各个相关性进行归一化，得到对应的注意力权重系数；

采用所述注意力权重系数对待处理节点的所有邻域节点进行加权，得到待处理节点的邻域聚合表示向量。

所述的方法中，所述去除所述子图网络中时间戳晚于预测时间点的邻域节点，得到有效的子图网络，包括：

根据图卷积运算，将所述待处理节点的邻域节点及其时间戳记录为一个时序邻接表；

根据所述预测时间点对所述时序邻接表中的邻域节点进行过滤，去除所述时间戳晚于预测时间点的邻域节点，得到有效的时序邻接表。

所述的方法中，还包括：

从其他图网络中获取新的邻域节点及其与待处理节点之间交互的时间戳，以扩充所述子图网络。

所述的方法中，基于图卷积神经网络，使用注意力机制分别计算所述子图网络中待处理节点与各个邻域节点之间的相关性，包括：

基于图卷积神经网络，将所述时间戳晚于预测时间点作为时间边缘信息，定义时间边缘的上下文窗口超参数；

通过所述时间边缘的上下文窗口超参数将待处理节点的嵌入向量和待处理节点的邻域节点的嵌入向量映射到同一个空间；

使用注意力机制分别计算待处理节点映射后的嵌入向量与各个邻域节点映射后的嵌入向量之间的相似度。

所述的方法中，所述对各个相关性进行归一化，得到对应的注意力权重系数，包括：

使用softmax激活函数对各个相似度进行归一化，得到对应的注意力权重系数。

所述的方法中，所述待处理节点的邻域节点包括单跳邻域节点和多跳邻域节点。

根据第二方面，一种实施例中提供一种基于图网络的推荐方法，包括：

获取图网络中的待处理节点及其预测时间点；

从所述图网络中获取以所述待处理节点为中心节点的子图网络；所述子图网络包括：所述待处理节点，所述待处理节点的邻域节点以及节点之间交互的时间戳；

将所述子图网络和预测时间点输入知识表示学习模型，得到知识表示学习模型输出的所述待处理节点的邻域聚合表示向量以及所述待处理节点的邻域节点的邻域聚合表示向量；

基于所述待处理节点的邻域聚合表示向量以及所述待处理节点的邻域节点的邻域聚合表示向量进行概率计算并排序，根据排序结果推荐相应的邻域节点；

其中所述知识表示学习模型通过以下方式被训练：

获取训练集，所述训练集包括多个子图网络；所述子图网络包括：所述待处理节点，待处理节点的预测时间点，所述待处理节点的邻域节点以及节点之间交互的时间戳；

去除所述子图网络中时间戳晚于预测时间点的邻域节点，得到有效的子图网络；

基于图卷积神经网络，使用注意力机制分别计算所述子图网络中待处理节点与各个邻域节点之间的相关性；

对各个相关性进行归一化，得到对应的注意力权重系数；

采用所述注意力权重系数对待处理节点的所有邻域节点进行加权，得到待处理节点的邻域聚合表示向量。

所述的方法中，所述去除所述子图网络中时间戳晚于预测时间点的邻域节点，得到有效的子图网络，包括：

根据图卷积运算，将所述待处理节点的邻域节点及其时间戳记录为一个时序邻接表；

根据所述预测时间点对所述时序邻接表中的邻域节点进行过滤，去除所述时间戳晚于预测时间点的邻域节点，得到有效的时序邻接表。

根据第三方面，一种实施例中提供一种优化网络表示学习的系统，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现如上所述的方法。

根据第四方面，一种实施例中提供一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上所述的方法。

依据上述实施例的优化网络表示学习的方法、模型训练方法和系统，通过获取图网络中的待处理节点及其预测时间点；从图网络中获取以待处理节点为中心节点的子图网络；去除子图网络中时间戳晚于预测时间点的邻域节点，得到有效的子图网络；基于图卷积神经网络，使用注意力机制分别计算子图网络中待处理节点与各个邻域节点之间的相关性；对各个相关性进行归一化，得到对应的注意力权重系数；采用注意力权重系数对待处理节点的所有邻域节点进行加权，得到待处理节点的邻域聚合表示向量。可见，本发明可解析预测时间点附近的最新节点交互，更好地捕捉由于时间错位而产生的动态异构网络变化，从而提高了网络表示学习的准确性。

附图说明

图1为本发明提供的优化网络表示学习的方法一实施例的流程图；

图2为本发明提供的优化网络表示学习的方法中，步骤4一实施例的流程图；

图3为本发明提供的优化网络表示学习的系统一实施例的结构框图；

图4为本发明提供的基于图网络的推荐方法一实施例的流程图；

图5为本发明提供的基于图网络的推荐系统一实施例的结构框图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

动态异构网络可被定义如下：给定一个异构网络G＝(V,E,T)，V为异构网络中所有节点的集合，E为异构网络中边的集合，T:E→R⁺是将每个边映射到相应时间戳的函数。在最细的粒度中，每一条边e∈E皆有唯一的时间戳t∈R⁺。

尽管静态异构网络学习已取得一定的研究成果，但动态异构网络仍有不少值得探索之处。本发明重点关注两个尚未引起重视的时序信息，即

1)动态邻域信息聚合

给定节点v、初始数据时间点t_initial以及预测时间点t，在动态变化的异构网络中，节点v与其邻域节点如{u₁,u₂,u₃，…}进行动态交互。进一步地，我们关注节点v的2跳邻域节点{u₁₁,u₁₂,…,u₂₁,…}。该动态邻域信息描述了给定节点的变量偏好，从而将时序信息交互的研究问题转化为给定节点的动态邻域信息聚合问题。

2)时间错位的动态调整

给定节点v、最新交互时间t_intra和预测时间点t。本发明观察到，在真实世界如电子购物交易过程中，节点v与邻域节点的交互时间点t_intra(如最后一次购物记录)，可能早于预测时间点t。在此期间，可能会出现新的节点交互。这些新的节点交互可真实反映时间t附近的市场变化等各种诱因，会对最终预测时间点t的预测结果产生影响。

当t_intra<t且t_intra≈t时，可以忽略t_intra和t之间的时间差。通过聚合节点v的动态邻域信息即可获得最终的语义信息。

但当t_intra明显早于t时，需对时间错位进行动态调整，捕捉交互时间点t_intra和预测时间点t之间，由于时间错位而产生的动态异构网络变化。

本发明优化网络表示学习的方法，其核心思想是提出一种邻域聚合机制，充分聚合邻域节点的动态信息，生成具有时间约束、语义丰富的节点嵌入。并且在该过程中，通过时序感知掩码网络来过滤邻接表中的无效交互；采用时序边缘感知注意力机制，其目的在于探索在预测时间点之前，新出现的节点交互对目标节点的影响，从而实现对预测结果的动态调整。本发明能实现异构网络中的时序知识计算，通过知识嵌入方法从异构网络中提取有用的时序知识，并有效地融入深度学习模型进行时序推理计算；提出的时序掩码聚合机制，可自适应地为节点生成时间感知的嵌入，更好地学习随时间而动态变化的节点交互作用；提出的时序边缘感知注意力机制，可解析预测时间点附近的最新节点交互，更好地捕捉由于时间错位而产生的动态异构网络变化，从而提高了时序知识计算和推理的准确度。下面，就本发明的详细方案展开说明。

如图1所示，本发明提供的优化网络表示学习的方法，包括如下步骤：

步骤1、获取图网络中的待处理节点以及待处理节点的预测时间点t。图网络(Graph Network,GN)是在拓扑空间(topological space)内按图(graph)结构组织以进行关系推理(relational reasoning)的函数集合。现有的图网络通常只包括多个节点以及节点之间的边。而本发明的图网络包括：多个节点以及节点之间交互的时间戳，引入时间戳是本发明的改进点之一，例如电子购物的交易时间就是一个时间戳。本发明的图网络是已知的数据，将图网络输入节点表达模型，得到节点表达模型输出的各个节点的嵌入向量，便于进行后续处理。嵌入(embedding)，即用连续向量表示离散变量的方法。可见，节点表达模型主要用于捕捉到图网络的拓扑结构，节点与节点的关系以及子图、连边等，通过学习图的结构、节点之间的邻接关系，将所有节点(如高维稠密的矩阵)映射为等维度的向量(低维稠密向量)。节点表达模型可以是预先训练好的word2vec模型、transE模型或图卷积神经网络等。以图卷积神经网络为例，通过嵌入层可获得图网络中各个节点的嵌入向量。此为现有技术，在此不赘述。

待处理节点及其预测时间点t通常是用户的操作确定的，以推荐系统为例，用户购买的商品A即为待处理节点，购买的时间为预测时间点t；以搜索系统为例，用户输入的内容即为待处理节点，用户输入的时间或者当前时刻即为预测时间点t。

步骤2、从图网络中获取以待处理节点为中心节点的子图网络；子图网络包括：待处理节点v，待处理节点的邻域节点u以及节点之间交互的时间戳。由此，也就得到了待处理节点的嵌入向量以及待处理节点的邻域节点的嵌入向量。待处理节点的邻域节点包括单跳邻域节点和多跳邻域节点。

步骤3、根据图卷积运算方法，待处理节点v的嵌入可通过自身及其多跳邻域节点的信息来进行计算，并基于时序邻接表执行加法和过滤运算，以实现有效的局部图卷积运算。加法运算是从其他图网络中获取新的邻域节点及其与待处理节点之间交互的时间戳，以扩充子图网络。过滤运算是去除子图网络中时间戳晚于预测时间点的邻域节点，得到有效的子图网络。具体过程如下：

步骤31、根据图卷积运算方法，将待处理节点v的邻域节点u及其时间戳记录为一个时序邻接表N(v)＝{(u₁,t₁),(u₂,t₂),…(u_n,t_n)}；待处理节点v的邻域节点(u₁,u₂,…u_n)有n个，对应的时间戳(t₁,t₂,…t_n)也有n个，n为大于或等于1的整数。用时序邻接表来表示子图网络。

步骤32、从其他图网络中获取新的邻域节点及其与待处理节点之间交互的时间戳，以扩充子图网络，具体包括：给定新的边e_i＝(u，v，t)，可在N(v)上挂接(u_i,t_i)。例如，步骤1中的图网络是由A购物平台的交易信息构建的，通过本步骤可从其他购物平台构建的交易信息中获取新的邻域节点，从而更准确的获取待处理节点与邻域节点的交互信息。

步骤33、根据预测时间点t对时序邻接表中的邻域节点进行过滤，去除时间戳晚于预测时间点t的邻域节点，得到有效的时序邻接表N(v,t)＝{(u,t)|t_intra≤t}。即有效的时序邻接表中，待处理节点v的各个邻域节点u，其时间戳小于(早于)预测时间点t。

可见，本发明设计了一种掩码机制来实现时序邻接表的操作，用于在预测时间点t处过滤待处理节点v的有效邻域节点u，待处理节点v的嵌入向量变为：

步骤4、基于图卷积神经网络，使用注意力机制分别计算有效的子图网络中待处理节点与各个邻域节点之间的相关性。将待处理节点v的嵌入向量和待处理节点的邻域节点的嵌入向量输入到图卷积神经网络，各个节点的嵌入向量经过图注意力层后生成新的节点向量。具体如图2所示，包括如下步骤：

步骤41、基于图卷积神经网络，将时间戳晚于预测时间点作为时间边缘信息，定义时间边缘的上下文窗口超参数。具体的，利用G(t)＝{(u,v,t)|t_intra≤t}表示时间边缘信息，即待处理节点v与其邻域节点u交互的时间戳，与预测时间点t之间的关系。|G(t)|＝W，即定义时间边缘的上下文窗口超参数W，如后续的模型自学习的权重矩阵W_p、W_q和W_s，用于调整原有矩阵或者向量的值。

步骤42、通过时间边缘的上下文窗口超参数将待处理节点的嵌入向量和待处理节点的邻域节点的嵌入向量映射到同一个空间。具体地，在第l层，输入的待处理节点v的嵌入向量为h_v ^(l-1)，输入的邻域节点u的嵌入向量为h_u ^(l-1)，对输入进行线性变换如下：

p_v ^(l)＝W_p ^(l)h_v ^(l-1)， (1)

q_vu ^(l)＝p_v ^(l)-W_q ^(l)h_u ^(l-1)。

W_p和W_q均为模型自学习的权重矩阵。

步骤43、计算待处理节点v与邻域节点u的相关性

其中，

本实施例中，以相似度来作为相关性，即使用注意力机制分别计算待处理节点映射后的嵌入向量h_v与各个邻域节点映射后的嵌入向量h_u之间的相似度Sim_u，v：

Sim_u，v＝attention(Wh_v，Wh_u)， (2)

步骤5、对各个相关性进行归一化，得到对应的注意力权重系数。通过softmax激活函数对各个相关性

进行归一化，从而得到注意力权重系数

其中，N_v表示与待处理节点v的邻域节点u的集合。

本实施例中，具体使用softmax激活函数对各个相似度Sim_u，v进行归一化，得到对应的注意力权重系数a_u,v:

从公式(4)可知，该注意力权重系数a_u,v体现了时间边缘信息，为时序边缘感知注意力权重系数。

步骤6、采用所述注意力权重系数对待处理节点的所有邻域节点进行加权，得到待处理节点的邻域聚合表示向量：

其中，

表示图卷积神经网络的第l层输出，W_s ^(l)表示权重矩阵。

本实施例中，具体通过时序边缘感知注意力权重系数a_u,v以及变换矩阵A来计算待处理节点v的邻域聚合表示向量(时间嵌入向量)

其中，变换矩阵A用于降低向量的维度。

可见，本发明使得所学得的目标节点(待处理节点)知识嵌入具有更丰富的语义信息和时间戳，以提升异构网络的知识计算和推理能力，也就提高了网络表示学习的准确性。

本发明还可以建立一个知识表示学习模型(基于图卷积神经网络的模型)，采用图1所示的步骤，将多个图网络的多个待处理节点作为训练集进行训练，训练得到的知识表示学习模型能更好的进行网络表示学习。

本发明还提供一种优化网络表示学习的系统，如图3所示，包括第一存储器10和第一处理器20。第一存储器10存储有程序，第一处理器20通过执行第一存储器10存储的程序以实现图1所示的方法，具体过程在上述方法实施例中已详细阐述，在此不做赘述。

网络表示学习能力提高后，其应用到推荐系统、检索系统中能提高推荐、检索的准确性。本发明以推荐系统为例，给出了一种基于图网络的推荐方法，如图4所示，包括如下步骤：

步骤1’、获取图网络中的待处理节点及其预测时间点。本步骤同图1实施例的的步骤1，在此不做赘述。

步骤2’、从图网络中获取以待处理节点为中心节点的子图网络。同样的，本步骤同图1实施例的的步骤2，在此不做赘述。

步骤3’、将子图网络和预测时间点输入知识表示学习模型，得到知识表示学习模型输出的待处理节点的邻域聚合表示向量以及待处理节点的邻域节点的邻域聚合表示向量。即，将待处理节点的嵌入向量、预测时间点以及待处理节点的邻域节点的嵌入向量输入知识表示学习模型，得到知识表示学习模型输出的待处理节点的邻域聚合表示向量以及待处理节点的邻域节点的邻域聚合表示向量。

其中，知识表示学习模型通过以下方式被训练：

步骤31’、获取训练集，所述训练集包括多个子图网络；所述子图网络包括：待处理节点，待处理节点的预测时间点，待处理节点的邻域节点以及节点之间交互的时间戳。

步骤32’、去除所述子图网络中时间戳晚于预测时间点的邻域节点，得到有效的子图网络；

步骤33’、基于图卷积神经网络，使用注意力机制分别计算所述子图网络中待处理节点与各个邻域节点之间的相关性；

步骤34’、对各个相关性进行归一化，得到对应的注意力权重系数；

步骤35’、采用所述注意力权重系数对待处理节点的所有邻域节点进行加权，得到待处理节点的邻域聚合表示向量。

从上述步骤可知，知识表示学习模型的训练过程同图1的方法基本相同，在此不做赘述。

知识表示学习模型根据待处理节点的嵌入向量、预测时间点以及待处理节点的邻域节点的嵌入向量得到待处理节点的邻域聚合表示向量的过程如图1所示，得到邻域节点的邻域聚合表示向量的过程也是一样的，只是邻域节点可能没有预测时间点，其邻域聚合表示向量跟嵌入向量较为接近或相同，在此不做赘述。

步骤4’、基于所述待处理节点的邻域聚合表示向量以及所述待处理节点的邻域节点的邻域聚合表示向量进行概率计算并排序，根据排序结果推荐相应的邻域节点。例如通过softmax激活函数进行概率计算，将概率最大的邻域节点推荐给用户。

由于邻域聚合表示向量中包含了各个邻域节点的权重，使得推荐系统可归因可解释。当然，网络表示学习能力提高后，还可以应用在其他自然语言处理任务中。

本发明还提供一种基于图网络的推荐系统，如图5所示，包括第二存储器10’和第二处理器20’。第二存储器10’存储有程序，第二处理器20’通过执行第二存储器10’存储的程序以实现图4所示的方法，具体过程在上述方法实施例中已详细阐述，在此不做赘述。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种优化网络表示学习的方法，其特征在于，包括：

获取图网络中的待处理节点以及所述待处理节点的预测时间点；

从所述图网络中获取以所述待处理节点为中心节点的子图网络；所述子图网络包括：所述待处理节点，所述待处理节点的邻域节点以及节点之间交互的时间戳；

去除所述子图网络中时间戳晚于预测时间点的邻域节点，得到有效的子图网络；

基于图卷积神经网络，使用注意力机制分别计算所述子图网络中待处理节点与各个邻域节点之间的相关性；

对各个相关性进行归一化，得到对应的注意力权重系数；

采用所述注意力权重系数对待处理节点的所有邻域节点进行加权，得到待处理节点的邻域聚合表示向量。

2.如权利要求1所述的方法，其特征在于，所述去除所述子图网络中时间戳晚于预测时间点的邻域节点，得到有效的子图网络，包括：

根据图卷积运算，将所述待处理节点的邻域节点及其时间戳记录为一个时序邻接表；

根据所述预测时间点对所述时序邻接表中的邻域节点进行过滤，去除所述时间戳晚于预测时间点的邻域节点，得到有效的时序邻接表。

3.如权利要求2所述的方法，其特征在于，还包括：

从其他图网络中获取新的邻域节点及其与待处理节点之间交互的时间戳，以扩充所述子图网络。

4.如权利要求1所述的方法，其特征在于，基于图卷积神经网络，使用注意力机制分别计算所述子图网络中待处理节点与各个邻域节点之间的相关性，包括：

基于图卷积神经网络，将所述时间戳晚于预测时间点作为时间边缘信息，定义时间边缘的上下文窗口超参数；

通过所述时间边缘的上下文窗口超参数将待处理节点的嵌入向量和待处理节点的邻域节点的嵌入向量映射到同一个空间；

使用注意力机制分别计算待处理节点映射后的嵌入向量与各个邻域节点映射后的嵌入向量之间的相似度。

5.如权利要求4所述的方法，其特征在于，所述对各个相关性进行归一化，得到对应的注意力权重系数，包括：

使用softmax激活函数对各个相似度进行归一化，得到对应的注意力权重系数。

6.如权利要求1所述的方法，其特征在于，所述待处理节点的邻域节点包括单跳邻域节点和多跳邻域节点。

7.一种基于图网络的推荐方法，其特征在于，包括：

获取图网络中的待处理节点及其预测时间点；

从所述图网络中获取以所述待处理节点为中心节点的子图网络；所述子图网络包括：所述待处理节点，所述待处理节点的邻域节点以及节点之间交互的时间戳；

将所述子图网络和预测时间点输入知识表示学习模型，得到知识表示学习模型输出的所述待处理节点的邻域聚合表示向量以及所述待处理节点的邻域节点的邻域聚合表示向量；

基于所述待处理节点的邻域聚合表示向量以及所述待处理节点的邻域节点的邻域聚合表示向量进行概率计算并排序，根据排序结果推荐相应的邻域节点；

其中所述知识表示学习模型通过以下方式被训练：

获取训练集，所述训练集包括多个子图网络；所述子图网络包括：所述待处理节点，待处理节点的预测时间点，所述待处理节点的邻域节点以及节点之间交互的时间戳；

去除所述子图网络中时间戳晚于预测时间点的邻域节点，得到有效的子图网络；

基于图卷积神经网络，使用注意力机制分别计算所述子图网络中待处理节点与各个邻域节点之间的相关性；

对各个相关性进行归一化，得到对应的注意力权重系数；

采用所述注意力权重系数对待处理节点的所有邻域节点进行加权，得到待处理节点的邻域聚合表示向量。

8.如权利要求7所述的方法，其特征在于，所述去除所述子图网络中时间戳晚于预测时间点的邻域节点，得到有效的子图网络，包括：

根据图卷积运算，将所述待处理节点的邻域节点及其时间戳记录为一个时序邻接表；

根据所述预测时间点对所述时序邻接表中的邻域节点进行过滤，去除所述时间戳晚于预测时间点的邻域节点，得到有效的时序邻接表。

9.一种优化网络表示学习的系统，其特征在于，包括：

存储器，用于存储程序；

处理器，用于通过执行所述存储器存储的程序以实现如权利要求1至6中任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1至8中任意一项所述的方法。

Images