CN108805291A - 一种网络表示学习模型的训练方法及服务器 - Google Patents

Abstract

本发明实施例提供一种网络表示学习模型的训练方法及服务器，所述方法包括：获取网络节点的文本信息和所述网络节点之间的关联信息；为每个网络节点初始化一个结构向量；根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；根据所述结构向量和所述文本向量构成网络节点表示向量；将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。所述服务器执行上述方法。本发明实施例提供的网络表示学习模型的训练方法及服务器，能够提高网络表示学习模型对网络节点分类和链路预测的准确性。

Description

一种网络表示学习模型的训练方法及服务器

技术领域

本发明实施例涉及机器学习技术领域，具体涉及一种网络表示学习模型的训练方法及服务器。

背景技术

真实世界中的实体之间通常会互相交互，形成大规模的复杂网络。

网络中的节点代表真实世界中的实体，网络中的节点之间是否连接有边代表实体之间是否存在交互关系。近些年来，已经提出了一些网络表示学习模型，即表示网络中的节点与邻居节点之间的交互关系，已有的网络表示学习模型为每个网络节点学习一个或多个固定的网络表示向量。然而，一个网络节点当与不同的邻居节点发生交互时，往往会展现出不同方面的特点(例如：一个研究者与不同的研究者发生合作关系往往因为不同的研究主题；社交媒体中的用户会因为不同的兴趣爱好与其他用户建立联系；一个Web页面往往因为不同的目的链接向其他的页面)，上述网络表示学习模型面临着如下的问题：没有考虑网络节点与不同邻居节点交互内容对网络表示的影响，从而导致使用该网络表示学习模型预测各网络节点交互关系不够准确。

因此，如何优化各网络节点之间的网络表示，进而提高网络表示学习模型预测效果的准确性，成为亟须解决的问题。

发明内容

针对现有技术存在的问题，本发明实施例提供一种网络表示学习模型的训练方法及服务器。

第一方面，本发明实施例提供一种网络表示学习模型的训练方法，所述方法包括：

获取网络节点的文本信息和所述网络节点之间的关联信息；

为每个网络节点初始化一个结构向量；

根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；

根据所述结构向量和所述文本向量构成网络节点表示向量；

将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。

第二方面，本发明实施例提供一种网络表示学习模型的训练服务器，所述服务器包括：

第一获取模块，用于获取网络节点的文本信息和所述网络节点之间的关联信息；

初始化模块，用于为每个网络节点初始化一个结构向量；

第二获取模块，用于根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；

构成模块，用于根据所述结构向量和所述文本向量构成网络节点表示向量；

训练模块，用于将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。

第三方面，本发明实施例提供另一种网络表示学习模型的训练服务器，包括：处理器、存储器和总线，其中，

所述处理器和所述存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：

获取网络节点的文本信息和所述网络节点之间的关联信息；

为每个网络节点初始化一个结构向量；

根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；

根据所述结构向量和所述文本向量构成网络节点表示向量；

将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，包括：

所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：

获取网络节点的文本信息和所述网络节点之间的关联信息；

为每个网络节点初始化一个结构向量；

根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；

根据所述结构向量和所述文本向量构成网络节点表示向量；

将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。

本发明实施例提供的网络表示学习模型的训练方法及服务器，能够提高网络表示学习模型对网络节点分类和链路预测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例网络表示学习模型的训练方法流程示意图；

图2为本发明实施例网络表示学习模型的训练服务器结构示意图；

图3为本发明实施例提供的服务器实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例网络表示学习模型的训练方法流程示意图，如图1所示，本发明实施例提供的一种网络表示学习模型的训练方法，包括以下步骤：

S1：获取网络节点的文本信息和所述网络节点之间的关联信息。

具体的，服务器获取网络节点的文本信息和所述网络节点之间的关联信息。需要说明的是：网络节点可以代表现实世界中的实体，实体可以包括人或物，网络节点之间连接的边用于代表实体之间是否存在关联(即有边则实体之间有关联，没有边则实体之间没有关联)，文本信息表示网络节点与相邻网络节点交互的内容(相邻网络节点可以理解为与网络节点连接有有向边的关联网络节点，有向边的方向表示了网络节点和相邻网络节点之间的相互表示关系)，举例说明如下：一条由网络节点x指向网络节点y的边就表示：网络节点x对网络节点y的网络表示，同理，一条由网络节点y指向网络节点x的边就表示：网络节点y对网络节点x的网络表示。有交互关系的网络节点就认为网络节点之间具有关联信息，网络节点的相邻网络节点就可以认为与该网络节点存在交互关系，即有关联信息。还可以将获取到的文本信息和关联信息构建成社交网络数据集。

S2：为每个网络节点初始化一个结构向量。

具体的，服务器为每个网络节点初始化一个结构向量。该结构向量记为v_s。

S3：根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的。

具体的，服务器根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的。网络节点x对网络节点y的文本向量表示可以记为v_tx；网络节点y对网络节点x的文本向量表示可以记为v_ty。

S4：根据所述结构向量和所述文本向量构成网络节点表示向量。

具体的，服务器根据所述结构向量和所述文本向量构成网络节点表示向量。网络节点x对网络节点y的网络节点表示向量记为v_x＝[v_sx,v_tx]，其中的v_sx表示的是网络节点x的结构向量；同理：网络节点y对网络节点x的网络节点表示向量不再赘述。

S5：将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。

具体的，服务器将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。其中的网络表示学习模型为：

其中，σ为sigmoid函数、可以表示为

v_x为网络节点x对网络节点y的网络节点表示向量、相应的，将上述的v_x＝[v_sx,v_tx]代入v_x；

v_y为网络节点y对网络节点x的网络节点表示向量、相应的，将

v_y＝[v_sy,v_ty]代入v_y；

v_z表示与网络节点x不相连的网络节点所对应的向量、k为随机采样的网络节点z的数量(即与网络节点x不相连的网络节点的数量)、E_p(z)表示网络节点z服从的分布函数为p(z)的数学期望值。

可以根据分布函数为p(z)＝d_z ^3/4，来对网络节点z进行随机采样；其中，d_z表示网络节点z的出度，出度可以理解为网络节点z相邻的网络节点的数量。例如：网络节点z相邻的网络节点有5个，则出度5，相应的分布函数为5^3/4、网络节点z相邻的网络节点有10个，则出度为10，相应的分布函数为10^3/4。

可以利用随机梯度下降方法对代入网络节点表示向量后的网络表示学习模型进行训练，具体的训练方法为成熟技术，不再赘述。

将训练好的网络表示学习模型分别代入由结构向量表示的函数和由文本向量表示的函数中，具体的，对于一条有向边x→y

构造结构向量表示的函数为：

L_s＝w_x,ylogp(v_sy|v_sx) (1)

其中，L_s是由结构向量表示的函数、w_x,y表示网络节点x与网络节点y之间的关联，其值在0～1之间，该数值越大表示网络节点x与网络节点y之间的关联越紧密，反之，该数值越小表示网络节点x与网络节点y之间的关联越稀疏。p(v_sy|v_sx)表示基于LINE定义的网络节点y对网络节点x的结构向量表示的条件概率，其计算公式为：

其中，z是所有与网络节点x不相邻的边，V是网络中所有的边的集合。v_sx是网络节点x的结构向量、v_sy是网络节点y的结构向量、v_sz是网络节点_z的结构向量。

构造文本向量表示的函数为：

L_t＝α·L_tt+β·L_ts+γ·L_st (2)

其中：L_t是文本向量表示的函数、α、β、γ分别表示L_tt、L_ts、L_st的权重系数，可自主设置，

L_tt由如下公式计算：

L_tt＝w_x,ylogp(v_ty|v_tx) (3)

其中，w_x,y不再赘述、v_ty是网络节点y对网络节点x的文本向量表示、v_tx是网络节点x对网络节点y的文本向量表示、p(v_ty|v_tx)是表示基于LINE定义的网络节点y对网络节点x的文本向量表示的条件概率。

L_ts由如下公式计算：

L_ts＝w_x,ylogp(v_ty|v_sx) (4)

其中，w_x,y不再赘述、v_ty是网络节点y对网络节点x的文本向量表示、v_sx是网络节点x的结构向量、p(v_ty|v_sx)是表示基于LINE定义的网络节点y对网络节点x的结构向量和文本向量表示的条件概率。

L_st由如下公式计算：

L_st＝w_x,ylog p(v_sy|v_tx) (5)

其中，w_x,y不再赘述、v_sy是网络节点y的结构向量、v_tx是网络节点x对网络节点y的文本向量表示、p(v_sy|v_tx)是表示基于LINE定义的网络节点y对网络节点x的结构向量和文本向量表示的条件概率。

使用上述训练后的网络表示学习模型依次替代上述公式(1)中的p(v_sy|v_sx)、公式(3)中的p(v_ty|v_tx)、公式(4)中的p(v_ty|v_sx)、公式(5)中的p(v_sy|v_tx)，再将完成替代后的公式(3)、公式(4)和公式(5)代入公式(2)中，根据输入公式(1)、和公式(2)的网络节点和网络节点之间的边、得到相应的计算数值，该计算数值反映了网络节点分类和网络节点链路(网络节点之间的边)预测结果。

还可以对训练好的网络表示学习模型进行测试，因为每个网络节点有对应不同相邻网络节点的多网络节点表示向量，将每个网络节点v用全局的网络节点表示向量表示，

根据公式：

对所有的边上的v网络节点表示向量求平均值，该平均值为E表示所有边的集合、N表示包含节点v的边的数量、u表示所有包含节点v的边的另一网络节点。

用该平均值替代上述每个网络节点表示向量，根据公式(1)、和公式(2)得到相应的计算数值，将该计算数值输入SVC分类器，从SVC分类器得到节点分类的结果。

还可以进行网络节点边的预测，从训练好的边的集合中分别抽取一定比率(可选为90％)的边作为样本，对剩余的10％的边做测试，以验证网络节点链路的预测效果。

本发明实施例提供的网络表示学习模型的训练方法，能够提高网络表示学习模型对网络节点分类和链路预测的准确性。

在上述实施例的基础上，所述根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，包括：

分别将每对相邻网络节点中的两个网络节点x和y进行卷积运算，以获取卷积计算的结果c_x和c_y。

具体的，服务器分别将每对相邻网络节点中的两个网络节点x和y进行卷积运算，以获取卷积计算的结果c_x和c_y。根据公式：

c_x＝M*T_x

计算出卷积计算的结果c_x，其中，M为预先训练好的卷积矩阵，T_x为网络节点x的文本信息。

根据公式：

c_y＝M*T_y

计算出卷积计算的结果c_y，其中，M为预先训练好的卷积矩阵，T_y为网络节点y的文本信息。

根据公式F＝tanh(c_xac_y)计算c_x和c_y的关联矩阵，其中，F为关联矩阵、a为预设关联规则矩阵。

具体的，服务器根据公式F＝tanh(c_xac_y)计算c_x和c_y的关联矩阵，其中，F为关联矩阵、a为预设关联规则矩阵。需要说明的是：预设关联规则矩阵a有预先训练好的文本向量之间的关联规则，该关联规则匹配有文本向量之间的映射关系。其中tanh为双曲正切函数。

分别对所述关联矩阵进行行池化和列池化，并分别获取所述相邻网络节点中的两个网络节点的权重a_x和a_y。

具体的，服务器分别对所述关联矩阵进行行池化和列池化，并分别获取所述相邻网络节点中的两个网络节点的权重a_x和a_y。权重a_x的计算公式为：

a_x＝mean(F_i,1,...,F_i,n)

其中，其中F_i,1,...,F_i,n表示关联矩阵F的行向量、mean表示取关联矩阵F的行向量平均值；

权重a_y的计算公式为：

a_y＝mean(F_1,i,...,F_m,i)

其中F_1,i,...,F_m,i表示关联矩阵F的列向量、mean表示取关联矩阵F的列向量平均值。

将v_tx＝c_xa_x的计算结果作为网络节点x对网络节点y的文本向量表示，相应的，将v_ty＝c_ya_y的计算结果作为网络节点y对网络节点x的文本向量表示。

具体的，服务器将v_tx＝c_xa_x的计算结果作为网络节点x对网络节点y的文本向量表示，相应的，将v_ty＝c_ya_y的计算结果作为网络节点y对网络节点x的文本向量表示。

本发明实施例提供的网络表示学习模型的训练方法，通过卷积计算、关联矩阵计算等步骤得到表示网络节点之间的关系的文本向量，优化了网络节点之间的相互表示。

在上述实施例的基础上，所述并分别获取所述相邻网络节点中的两个网络节点的权重a_x和a_y，包括：

根据公式a_x＝mean(F_i,1,...,F_i,n)获取网络节点a_x的权重，其中F_i,1,...,F_i,n表示关联矩阵F的行向量、mean表示取关联矩阵F的行向量平均值。

具体的，服务器根据公式a_x＝mean(F_i,1,...,F_i,n)获取网络节点a_x的权重，其中F_i,1,...,F_i,n表示关联矩阵F的行向量、mean表示取关联矩阵F的行向量平均值。可参照上述实施例的说明，不再赘述。

根据公式a_y＝mean(F_1,i,...,F_m,i)获取网络节点a_y的权重，其中F_1,i,...,F_m,i表示关联矩阵F的列向量、mean表示取关联矩阵F的列向量平均值。

具体的，服务器根据公式a_y＝mean(F_1,i,...,F_m,i)获取网络节点a_y的权重，其中F_1,i,...,F_m,i表示关联矩阵F的列向量、mean表示取关联矩阵F的列向量平均值。可参照上述实施例的说明，不再赘述。

本发明实施例提供的网络表示学习模型的训练方法，通过计算网络节点的权重，进一步优化了网络节点之间的相互表示。

在上述实施例的基础上，所述网络表示学习模型为：

其中，σ为sigmoid函数、v_x为网络节点x对网络节点y的网络节点表示向量、v_y为网络节点y对网络节点x的节点表示向量、v_z表示与网络节点x不相连的网络节点所对应的向量、k为随机采样的网络节点z的数量、E_p(z)表示节点z服从的分布函数为p(z)的数学期望值。

具体的，服务器中所述网络表示学习模型为：

其中，σ为sigmoid函数、v_x为网络节点x对网络节点y的网络节点表示向量、v_y为网络节点y对网络节点x的节点表示向量、v_z表示与网络节点x不相连的网络节点所对应的向量、k为随机采样的网络节点z的数量、E_p(z)表示节点z服从的分布函数为p(z)的数学期望值。可参照上述实施例的说明，不再赘述。

本发明实施例提供的网络表示学习模型的训练方法，采用网络表示学习模型进行训练，极大的简化了网络表示学习模型的运算。

在上述实施例的基础上，所述分布函数为p(z)＝d_z ^3/4，其中，d_z表示网络节点z的出度。

具体的，服务器中所述分布函数为p(z)＝d_z ^3/4，其中，d_z表示网络节点z的出度。可参照上述实施例的说明，不再赘述。

本发明实施例提供的网络表示学习模型的训练方法，通过选定分布函数，保证了随机采样的合理性。

图2为本发明实施例网络表示学习模型的训练服务器结构示意图，如图2所示，本发明实施例提供了一种网络表示学习模型的训练服务器，包括第一获取模块1、初始化模块2、第二获取模块3、构成模块4和训练模块5，其中：

第一获取模块1用于获取网络节点的文本信息和所述网络节点之间的关联信息，初始化模块2用于为每个网络节点初始化一个结构向量，第二获取模块3用于根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的，构成模块4用于根据所述结构向量和所述文本向量构成网络节点表示向量，训练模块5用于将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。

具体的，第一获取模块1用于获取网络节点的文本信息和所述网络节点之间的关联信息，初始化模块2用于为每个网络节点初始化一个结构向量，第二获取模块3用于根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的，构成模块4用于根据所述结构向量和所述文本向量构成网络节点表示向量，训练模块5用于将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。

本发明实施例提供的网络表示学习模型的训练服务器，能够提高网络表示学习模型对网络节点分类和链路预测的准确性。

在上述实施例的基础上，所述第二获取模块3具体用于：

分别将每对相邻网络节点中的两个网络节点x和y进行卷积运算，以获取卷积计算的结果c_x和c_y，根据公式F＝tanh(c_xac_y)计算c_x和c_y的关联矩阵，其中，F为关联矩阵、a为预设关联规则矩阵；分别对所述关联矩阵进行行池化和列池化，并分别获取所述相邻网络节点中的两个网络节点的权重a_x和a_y；将v_tx＝c_xa_x的计算结果作为网络节点x对网络节点y的文本向量表示，相应的，将v_ty＝c_ya_y的计算结果作为网络节点y对网络节点x的文本向量表示。

具体的，所述第二获取模块3具体用于：

分别将每对相邻网络节点中的两个网络节点x和y进行卷积运算，以获取卷积计算的结果c_x和c_y，根据公式F＝tanh(c_xac_y)计算c_x和c_y的关联矩阵，其中，F为关联矩阵、a为预设关联规则矩阵；分别对所述关联矩阵进行行池化和列池化，并分别获取所述相邻网络节点中的两个网络节点的权重a_x和a_y；将v_tx＝c_xa_x的计算结果作为网络节点x对网络节点y的文本向量表示，相应的，将v_ty＝c_ya_y的计算结果作为网络节点y对网络节点x的文本向量表示。

本发明实施例提供的网络表示学习模型的训练服务器，通过卷积计算、关联矩阵计算等步骤得到表示网络节点之间的关系的文本向量，优化了网络节点之间的相互表示。

在上述实施例的基础上，所述第二获取模块3还用于：

根据公式a_x＝mean(F_i,1,...,F_i,n)获取网络节点a_x的权重，其中F_i,1,...,F_i,n表示关联矩阵F的行向量、mean表示取关联矩阵F的行向量平均值；根据公式a_y＝mean(F_1,i,...,F_m,i)获取网络节点a_y的权重，其中F_1,i,...,F_m,i表示关联矩阵F的列向量、mean表示取关联矩阵F的列向量平均值。

具体的，所述第二获取模块3还用于：

根据公式a_x＝mean(F_i,1,...,F_i,n)获取网络节点a_x的权重，其中F_i,1,...,F_i,n表示关联矩阵F的行向量、mean表示取关联矩阵F的行向量平均值；根据公式a_y＝mean(F_1,i,...,F_m,i)获取网络节点a_y的权重，其中F_1,i,...,F_m,i表示关联矩阵F的列向量、mean表示取关联矩阵F的列向量平均值。

本发明实施例提供的网络表示学习模型的训练服务器，通过计算网络节点的权重，进一步优化了网络节点之间的相互表示。

本发明实施例提供的网络表示学习模型的训练服务器具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。

图3为本发明实施例提供的服务器实体结构示意图，如图3所示，所述服务器包括：处理器(processor)301、存储器(memory)302和总线303；

其中，所述处理器301、存储器302通过总线303完成相互间的通信；

所述处理器301用于调用所述存储器302中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取网络节点的文本信息和所述网络节点之间的关联信息；为每个网络节点初始化一个结构向量；根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；根据所述结构向量和所述文本向量构成网络节点表示向量；将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取网络节点的文本信息和所述网络节点之间的关联信息；为每个网络节点初始化一个结构向量；根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；根据所述结构向量和所述文本向量构成网络节点表示向量；将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取网络节点的文本信息和所述网络节点之间的关联信息；为每个网络节点初始化一个结构向量；根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；根据所述结构向量和所述文本向量构成网络节点表示向量；将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的服务器等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。

Claims (10)

1.一种网络表示学习模型的训练方法，其特征在于，包括：

获取网络节点的文本信息和所述网络节点之间的关联信息；

为每个网络节点初始化一个结构向量；

根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；

根据所述结构向量和所述文本向量构成网络节点表示向量；

将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，包括：

分别将每对相邻网络节点中的两个网络节点x和y进行卷积运算，以获取卷积计算的结果c_x和c_y；

根据公式F＝tanh(c_xac_y)计算c_x和c_y的关联矩阵，其中，F为关联矩阵、a为预设关联规则矩阵；

分别对所述关联矩阵进行行池化和列池化，并分别获取所述相邻网络节点中的两个网络节点的权重a_x和a_y；

将v_tx＝c_xa_x的计算结果作为网络节点x对网络节点y的文本向量表示，相应的，将v_ty＝c_ya_y的计算结果作为网络节点y对网络节点x的文本向量表示。

3.根据权利要求2所述的方法，其特征在于，所述并分别获取所述相邻网络节点中的两个网络节点的权重a_x和a_y，包括：

根据公式a_x＝mean(F_i,1,...,F_i,n)获取网络节点a_x的权重，其中F_i,1,...,F_i,n表示关联矩阵F的行向量、mean表示取关联矩阵F的行向量平均值；

根据公式a_y＝mean(F_1,i,...,F_m,i)获取网络节点a_y的权重，其中F_1,i,...,F_m,i表示关联矩阵F的列向量、mean表示取关联矩阵F的列向量平均值。

4.根据权利要求1或2或3所述的方法，其特征在于，所述网络表示学习模型为：

其中，σ为sigmoid函数、v_x为网络节点x对网络节点y的网络节点表示向量、v_y为网络节点y对网络节点x的节点表示向量、v_z表示与网络节点x不相连的网络节点所对应的向量、k为随机采样的网络节点z的数量、E_p(z)表示节点z服从的分布函数为p(z)的数学期望值。

5.根据权利要求4所述的方法，其特征在于，所述分布函数为p(z)＝d_z ^3/4，其中，d_z表示网络节点z的出度。

6.一种网络表示学习模型的训练服务器，其特征在于，包括：

第一获取模块，用于获取网络节点的文本信息和所述网络节点之间的关联信息；

初始化模块，用于为每个网络节点初始化一个结构向量；

第二获取模块，用于根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；

构成模块，用于根据所述结构向量和所述文本向量构成网络节点表示向量；

训练模块，用于将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。

7.根据权利要求6所述的服务器，其特征在于，所述第二获取模块具体用于：

分别将每对相邻网络节点中的两个网络节点x和y进行卷积运算，以获取卷积计算的结果c_x和c_y；

根据公式F＝tanh(c_xac_y)计算c_x和c_y的关联矩阵，其中，F为关联矩阵、a为预设关联规则矩阵；

分别对所述关联矩阵进行行池化和列池化，并分别获取所述相邻网络节点中的两个网络节点的权重a_x和a_y；

将v_tx＝c_xa_x的计算结果作为网络节点x对网络节点y的文本向量表示，相应的，将v_ty＝c_ya_y的计算结果作为网络节点y对网络节点x的文本向量表示。

8.根据权利要求7所述的服务器，其特征在于，所述第二获取模块还用于：

根据公式a_x＝mean(F_i,1,...,F_i,n)获取网络节点a_x的权重，其中F_i,1,...,F_i,n表示关联矩阵F的行向量、mean表示取关联矩阵F的行向量平均值；

根据公式a_y＝mean(F_1,i,...,F_m,i)获取网络节点a_y的权重，其中F_1,i,...,F_m,i表示关联矩阵F的列向量、mean表示取关联矩阵F的列向量平均值。

9.一种网络表示学习模型的训练服务器，其特征在于，包括：处理器、存储器和总线，其中，

所述处理器和所述存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至5任一所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至5任一所述的方法。