CN108805291B - 一种网络表示学习模型的训练方法及服务器 - Google Patents

一种网络表示学习模型的训练方法及服务器 Download PDF

Info

Publication number
CN108805291B
CN108805291B CN201710288128.6A CN201710288128A CN108805291B CN 108805291 B CN108805291 B CN 108805291B CN 201710288128 A CN201710288128 A CN 201710288128A CN 108805291 B CN108805291 B CN 108805291B
Authority
CN
China
Prior art keywords
network
vector
network node
network nodes
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710288128.6A
Other languages
English (en)
Other versions
CN108805291A (zh
Inventor
孙茂松
涂存超
刘知远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201710288128.6A priority Critical patent/CN108805291B/zh
Publication of CN108805291A publication Critical patent/CN108805291A/zh
Application granted granted Critical
Publication of CN108805291B publication Critical patent/CN108805291B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例提供一种网络表示学习模型的训练方法及服务器，所述方法包括：获取网络节点的文本信息和所述网络节点之间的关联信息；为每个网络节点初始化一个结构向量；根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；根据所述结构向量和所述文本向量构成网络节点表示向量；将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。所述服务器执行上述方法。本发明实施例提供的网络表示学习模型的训练方法及服务器，能够提高网络表示学习模型对网络节点分类和链路预测的准确性。

Description

一种网络表示学习模型的训练方法及服务器
技术领域
本发明实施例涉及机器学习技术领域，具体涉及一种网络表示学习模型的训练方法及服务器。
背景技术
真实世界中的实体之间通常会互相交互，形成大规模的复杂网络。
网络中的节点代表真实世界中的实体，网络中的节点之间是否连接有边代表实体之间是否存在交互关系。近些年来，已经提出了一些网络表示学习模型，即表示网络中的节点与邻居节点之间的交互关系，已有的网络表示学习模型为每个网络节点学习一个或多个固定的网络表示向量。然而，一个网络节点当与不同的邻居节点发生交互时，往往会展现出不同方面的特点(例如：一个研究者与不同的研究者发生合作关系往往因为不同的研究主题；社交媒体中的用户会因为不同的兴趣爱好与其他用户建立联系；一个Web页面往往因为不同的目的链接向其他的页面)，上述网络表示学习模型面临着如下的问题：没有考虑网络节点与不同邻居节点交互内容对网络表示的影响，从而导致使用该网络表示学习模型预测各网络节点交互关系不够准确。
因此，如何优化各网络节点之间的网络表示，进而提高网络表示学习模型预测效果的准确性，成为亟须解决的问题。
发明内容
针对现有技术存在的问题，本发明实施例提供一种网络表示学习模型的训练方法及服务器。
第一方面，本发明实施例提供一种网络表示学习模型的训练方法，所述方法包括：
获取网络节点的文本信息和所述网络节点之间的关联信息；
为每个网络节点初始化一个结构向量；
根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；
根据所述结构向量和所述文本向量构成网络节点表示向量；
将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。
第二方面，本发明实施例提供一种网络表示学习模型的训练服务器，所述服务器包括：
第一获取模块，用于获取网络节点的文本信息和所述网络节点之间的关联信息；
初始化模块，用于为每个网络节点初始化一个结构向量；
第二获取模块，用于根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；
构成模块，用于根据所述结构向量和所述文本向量构成网络节点表示向量；
训练模块，用于将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。
第三方面，本发明实施例提供另一种网络表示学习模型的训练服务器，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：
获取网络节点的文本信息和所述网络节点之间的关联信息；
为每个网络节点初始化一个结构向量；
根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；
根据所述结构向量和所述文本向量构成网络节点表示向量；
将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，包括：
所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：
获取网络节点的文本信息和所述网络节点之间的关联信息；
为每个网络节点初始化一个结构向量；
根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；
根据所述结构向量和所述文本向量构成网络节点表示向量；
将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。
本发明实施例提供的网络表示学习模型的训练方法及服务器，能够提高网络表示学习模型对网络节点分类和链路预测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例网络表示学习模型的训练方法流程示意图；
图2为本发明实施例网络表示学习模型的训练服务器结构示意图；
图3为本发明实施例提供的服务器实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例网络表示学习模型的训练方法流程示意图，如图1所示，本发明实施例提供的一种网络表示学习模型的训练方法，包括以下步骤：
S1：获取网络节点的文本信息和所述网络节点之间的关联信息。
具体的，服务器获取网络节点的文本信息和所述网络节点之间的关联信息。需要说明的是：网络节点可以代表现实世界中的实体，实体可以包括人或物，网络节点之间连接的边用于代表实体之间是否存在关联(即有边则实体之间有关联，没有边则实体之间没有关联)，文本信息表示网络节点与相邻网络节点交互的内容(相邻网络节点可以理解为与网络节点连接有有向边的关联网络节点，有向边的方向表示了网络节点和相邻网络节点之间的相互表示关系)，举例说明如下：一条由网络节点x指向网络节点y的边就表示：网络节点x对网络节点y的网络表示，同理，一条由网络节点y指向网络节点x的边就表示：网络节点y对网络节点x的网络表示。有交互关系的网络节点就认为网络节点之间具有关联信息，网络节点的相邻网络节点就可以认为与该网络节点存在交互关系，即有关联信息。还可以将获取到的文本信息和关联信息构建成社交网络数据集。
S2：为每个网络节点初始化一个结构向量。
具体的，服务器为每个网络节点初始化一个结构向量。该结构向量记为vs。
S3：根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的。
具体的，服务器根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的。网络节点x对网络节点y的文本向量表示可以记为vtx；网络节点y对网络节点x的文本向量表示可以记为vty。
S4：根据所述结构向量和所述文本向量构成网络节点表示向量。
具体的，服务器根据所述结构向量和所述文本向量构成网络节点表示向量。网络节点x对网络节点y的网络节点表示向量记为vx＝[vsx,vtx]，其中的vsx表示的是网络节点x的结构向量；同理：网络节点y对网络节点x的网络节点表示向量不再赘述。
S5：将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。
具体的，服务器将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。其中的网络表示学习模型为：
Figure BDA0001281212530000051
其中，σ为sigmoid函数、可以表示为
Figure BDA0001281212530000052
vx为网络节点x对网络节点y的网络节点表示向量、相应的，将上述的vx＝[vsx,vtx]代入vx；
vy为网络节点y对网络节点x的网络节点表示向量、相应的，将
vy＝[vsy,vty]代入vy；
vz表示与网络节点x不相连的网络节点所对应的向量、k为随机采样的网络节点z的数量(即与网络节点x不相连的网络节点的数量)、Ep(z)表示网络节点z服从的分布函数为p(z)的数学期望值。
可以根据分布函数为p(z)＝dz 3/4，来对网络节点z进行随机采样；其中，dz表示网络节点z的出度，出度可以理解为网络节点z相邻的网络节点的数量。例如：网络节点z相邻的网络节点有5个，则出度5，相应的分布函数为53/4、网络节点z相邻的网络节点有10个，则出度为10，相应的分布函数为103/4。
可以利用随机梯度下降方法对代入网络节点表示向量后的网络表示学习模型进行训练，具体的训练方法为成熟技术，不再赘述。
将训练好的网络表示学习模型分别代入由结构向量表示的函数和由文本向量表示的函数中，具体的，对于一条有向边x→y
构造结构向量表示的函数为：
Ls＝wx,ylogp(vsy|vsx) (1)
其中，Ls是由结构向量表示的函数、wx,y表示网络节点x与网络节点y之间的关联，其值在0～1之间，该数值越大表示网络节点x与网络节点y之间的关联越紧密，反之，该数值越小表示网络节点x与网络节点y之间的关联越稀疏。p(vsy|vsx)表示基于LINE定义的网络节点y对网络节点x的结构向量表示的条件概率，其计算公式为：
Figure BDA0001281212530000061
其中，z是所有与网络节点x不相邻的边，V是网络中所有的边的集合。vsx是网络节点x的结构向量、vsy是网络节点y的结构向量、vsz是网络节点z的结构向量。
构造文本向量表示的函数为：
Lt＝α·Ltt+β·Lts+γ·Lst (2)
其中：Lt是文本向量表示的函数、α、β、γ分别表示Ltt、Lts、Lst的权重系数，可自主设置，
Ltt由如下公式计算：
Ltt＝wx,ylogp(vty|vtx) (3)
其中，wx,y不再赘述、vty是网络节点y对网络节点x的文本向量表示、vtx是网络节点x对网络节点y的文本向量表示、p(vty|vtx)是表示基于LINE定义的网络节点y对网络节点x的文本向量表示的条件概率。
Lts由如下公式计算：
Lts＝wx,ylogp(vty|vsx) (4)
其中，wx,y不再赘述、vty是网络节点y对网络节点x的文本向量表示、vsx是网络节点x的结构向量、p(vty|vsx)是表示基于LINE定义的网络节点y对网络节点x的结构向量和文本向量表示的条件概率。
Lst由如下公式计算：
Lst＝wx,ylog p(vsy|vtx) (5)
其中，wx,y不再赘述、vsy是网络节点y的结构向量、vtx是网络节点x对网络节点y的文本向量表示、p(vsy|vtx)是表示基于LINE定义的网络节点y对网络节点x的结构向量和文本向量表示的条件概率。
使用上述训练后的网络表示学习模型依次替代上述公式(1)中的p(vsy|vsx)、公式(3)中的p(vty|vtx)、公式(4)中的p(vty|vsx)、公式(5)中的p(vsy|vtx)，再将完成替代后的公式(3)、公式(4)和公式(5)代入公式(2)中，根据输入公式(1)、和公式(2)的网络节点和网络节点之间的边、得到相应的计算数值，该计算数值反映了网络节点分类和网络节点链路(网络节点之间的边)预测结果。
还可以对训练好的网络表示学习模型进行测试，因为每个网络节点有对应不同相邻网络节点的多网络节点表示向量，将每个网络节点v用全局的网络节点表示向量表示，
根据公式：
Figure BDA0001281212530000081
对所有的边上的v网络节点表示向量求平均值，该平均值为
Figure BDA0001281212530000082
E表示所有边的集合、N表示包含节点v的边的数量、u表示所有包含节点v的边的另一网络节点。
用该平均值
Figure BDA0001281212530000083
替代上述每个网络节点表示向量，根据公式(1)、和公式(2)得到相应的计算数值，将该计算数值输入SVC分类器，从SVC分类器得到节点分类的结果。
还可以进行网络节点边的预测，从训练好的边的集合中分别抽取一定比率(可选为90％)的边作为样本，对剩余的10％的边做测试，以验证网络节点链路的预测效果。
本发明实施例提供的网络表示学习模型的训练方法，能够提高网络表示学习模型对网络节点分类和链路预测的准确性。
在上述实施例的基础上，所述根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，包括：
分别将每对相邻网络节点中的两个网络节点x和y进行卷积运算，以获取卷积计算的结果cx和cy。
具体的，服务器分别将每对相邻网络节点中的两个网络节点x和y进行卷积运算，以获取卷积计算的结果cx和cy。根据公式：
cx＝M*Tx
计算出卷积计算的结果cx，其中，M为预先训练好的卷积矩阵，Tx为网络节点x的文本信息。
根据公式：
cy＝M*Ty
计算出卷积计算的结果cy，其中，M为预先训练好的卷积矩阵，Ty为网络节点y的文本信息。
根据公式F＝tanh(cxacy)计算cx和cy的关联矩阵，其中，F为关联矩阵、a为预设关联规则矩阵。
具体的，服务器根据公式F＝tanh(cxacy)计算cx和cy的关联矩阵，其中，F为关联矩阵、a为预设关联规则矩阵。需要说明的是：预设关联规则矩阵a有预先训练好的文本向量之间的关联规则，该关联规则匹配有文本向量之间的映射关系。其中tanh为双曲正切函数。
分别对所述关联矩阵进行行池化和列池化，并分别获取所述相邻网络节点中的两个网络节点的权重ax和ay。
具体的，服务器分别对所述关联矩阵进行行池化和列池化，并分别获取所述相邻网络节点中的两个网络节点的权重ax和ay。权重ax的计算公式为：
ax＝mean(Fi,1,...,Fi,n)
其中，其中Fi,1,...,Fi,n表示关联矩阵F的行向量、mean表示取关联矩阵F的行向量平均值；
权重ay的计算公式为：
ay＝mean(F1,i,...,Fm,i)
其中F1,i,...,Fm,i表示关联矩阵F的列向量、mean表示取关联矩阵F的列向量平均值。
将vtx＝cxax的计算结果作为网络节点x对网络节点y的文本向量表示，相应的，将vty＝cyay的计算结果作为网络节点y对网络节点x的文本向量表示。
具体的，服务器将vtx＝cxax的计算结果作为网络节点x对网络节点y的文本向量表示，相应的，将vty＝cyay的计算结果作为网络节点y对网络节点x的文本向量表示。
本发明实施例提供的网络表示学习模型的训练方法，通过卷积计算、关联矩阵计算等步骤得到表示网络节点之间的关系的文本向量，优化了网络节点之间的相互表示。
在上述实施例的基础上，所述并分别获取所述相邻网络节点中的两个网络节点的权重ax和ay，包括：
根据公式ax＝mean(Fi,1,...,Fi,n)获取网络节点ax的权重，其中Fi,1,...,Fi,n表示关联矩阵F的行向量、mean表示取关联矩阵F的行向量平均值。
具体的，服务器根据公式ax＝mean(Fi,1,...,Fi,n)获取网络节点ax的权重，其中Fi,1,...,Fi,n表示关联矩阵F的行向量、mean表示取关联矩阵F的行向量平均值。可参照上述实施例的说明，不再赘述。
根据公式ay＝mean(F1,i,...,Fm,i)获取网络节点ay的权重，其中F1,i,...,Fm,i表示关联矩阵F的列向量、mean表示取关联矩阵F的列向量平均值。
具体的，服务器根据公式ay＝mean(F1,i,...,Fm,i)获取网络节点ay的权重，其中F1,i,...,Fm,i表示关联矩阵F的列向量、mean表示取关联矩阵F的列向量平均值。可参照上述实施例的说明，不再赘述。
本发明实施例提供的网络表示学习模型的训练方法，通过计算网络节点的权重，进一步优化了网络节点之间的相互表示。
在上述实施例的基础上，所述网络表示学习模型为：
Figure BDA0001281212530000111
其中，σ为sigmoid函数、vx为网络节点x对网络节点y的网络节点表示向量、vy为网络节点y对网络节点x的节点表示向量、vz表示与网络节点x不相连的网络节点所对应的向量、k为随机采样的网络节点z的数量、Ep(z)表示节点z服从的分布函数为p(z)的数学期望值。
具体的，服务器中所述网络表示学习模型为：
Figure BDA0001281212530000112
其中，σ为sigmoid函数、vx为网络节点x对网络节点y的网络节点表示向量、vy为网络节点y对网络节点x的节点表示向量、vz表示与网络节点x不相连的网络节点所对应的向量、k为随机采样的网络节点z的数量、Ep(z)表示节点z服从的分布函数为p(z)的数学期望值。可参照上述实施例的说明，不再赘述。
本发明实施例提供的网络表示学习模型的训练方法，采用网络表示学习模型进行训练，极大的简化了网络表示学习模型的运算。
在上述实施例的基础上，所述分布函数为p(z)＝dz 3/4，其中，dz表示网络节点z的出度。
具体的，服务器中所述分布函数为p(z)＝dz 3/4，其中，dz表示网络节点z的出度。可参照上述实施例的说明，不再赘述。
本发明实施例提供的网络表示学习模型的训练方法，通过选定分布函数，保证了随机采样的合理性。
图2为本发明实施例网络表示学习模型的训练服务器结构示意图，如图2所示，本发明实施例提供了一种网络表示学习模型的训练服务器，包括第一获取模块1、初始化模块2、第二获取模块3、构成模块4和训练模块5，其中：
第一获取模块1用于获取网络节点的文本信息和所述网络节点之间的关联信息，初始化模块2用于为每个网络节点初始化一个结构向量，第二获取模块3用于根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的，构成模块4用于根据所述结构向量和所述文本向量构成网络节点表示向量，训练模块5用于将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。
具体的，第一获取模块1用于获取网络节点的文本信息和所述网络节点之间的关联信息，初始化模块2用于为每个网络节点初始化一个结构向量，第二获取模块3用于根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的，构成模块4用于根据所述结构向量和所述文本向量构成网络节点表示向量，训练模块5用于将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。
本发明实施例提供的网络表示学习模型的训练服务器，能够提高网络表示学习模型对网络节点分类和链路预测的准确性。
在上述实施例的基础上，所述第二获取模块3具体用于：
分别将每对相邻网络节点中的两个网络节点x和y进行卷积运算，以获取卷积计算的结果cx和cy，根据公式F＝tanh(cxacy)计算cx和cy的关联矩阵，其中，F为关联矩阵、a为预设关联规则矩阵；分别对所述关联矩阵进行行池化和列池化，并分别获取所述相邻网络节点中的两个网络节点的权重ax和ay；将vtx＝cxax的计算结果作为网络节点x对网络节点y的文本向量表示，相应的，将vty＝cyay的计算结果作为网络节点y对网络节点x的文本向量表示。
具体的，所述第二获取模块3具体用于：
分别将每对相邻网络节点中的两个网络节点x和y进行卷积运算，以获取卷积计算的结果cx和cy，根据公式F＝tanh(cxacy)计算cx和cy的关联矩阵，其中，F为关联矩阵、a为预设关联规则矩阵；分别对所述关联矩阵进行行池化和列池化，并分别获取所述相邻网络节点中的两个网络节点的权重ax和ay；将vtx＝cxax的计算结果作为网络节点x对网络节点y的文本向量表示，相应的，将vty＝cyay的计算结果作为网络节点y对网络节点x的文本向量表示。
本发明实施例提供的网络表示学习模型的训练服务器，通过卷积计算、关联矩阵计算等步骤得到表示网络节点之间的关系的文本向量，优化了网络节点之间的相互表示。
在上述实施例的基础上，所述第二获取模块3还用于：
根据公式ax＝mean(Fi,1,...,Fi,n)获取网络节点ax的权重，其中Fi,1,...,Fi,n表示关联矩阵F的行向量、mean表示取关联矩阵F的行向量平均值；根据公式ay＝mean(F1,i,...,Fm,i)获取网络节点ay的权重，其中F1,i,...,Fm,i表示关联矩阵F的列向量、mean表示取关联矩阵F的列向量平均值。
具体的，所述第二获取模块3还用于：
根据公式ax＝mean(Fi,1,...,Fi,n)获取网络节点ax的权重，其中Fi,1,...,Fi,n表示关联矩阵F的行向量、mean表示取关联矩阵F的行向量平均值；根据公式ay＝mean(F1,i,...,Fm,i)获取网络节点ay的权重，其中F1,i,...,Fm,i表示关联矩阵F的列向量、mean表示取关联矩阵F的列向量平均值。
本发明实施例提供的网络表示学习模型的训练服务器，通过计算网络节点的权重，进一步优化了网络节点之间的相互表示。
本发明实施例提供的网络表示学习模型的训练服务器具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
图3为本发明实施例提供的服务器实体结构示意图，如图3所示，所述服务器包括：处理器(processor)301、存储器(memory)302和总线303；
其中，所述处理器301、存储器302通过总线303完成相互间的通信；
所述处理器301用于调用所述存储器302中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取网络节点的文本信息和所述网络节点之间的关联信息；为每个网络节点初始化一个结构向量；根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；根据所述结构向量和所述文本向量构成网络节点表示向量；将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取网络节点的文本信息和所述网络节点之间的关联信息；为每个网络节点初始化一个结构向量；根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；根据所述结构向量和所述文本向量构成网络节点表示向量；将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取网络节点的文本信息和所述网络节点之间的关联信息；为每个网络节点初始化一个结构向量；根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；根据所述结构向量和所述文本向量构成网络节点表示向量；将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的服务器等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上各实施例仅用以说明本发明的实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明的实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。

Claims (8)

1.一种网络表示学习模型的训练方法，其特征在于，包括：
获取网络节点的文本信息和所述网络节点之间的关联信息；
为每个网络节点初始化一个结构向量；
根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；
根据所述结构向量和所述文本向量构成网络节点表示向量；
将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练；所述根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，包括：
分别将每对相邻网络节点中的两个网络节点x和y进行卷积运算，以获取卷积计算的结果cx和cy；
根据公式F＝tanh(cxacy)计算cx和cy的关联矩阵，其中，F为关联矩阵、a为预设关联规则矩阵；
分别对所述关联矩阵进行行池化和列池化，并分别获取所述相邻网络节点中的两个网络节点的权重ax和ay；
将vtx＝cxax的计算结果作为网络节点x对网络节点y的文本向量表示，相应的，将vty＝cyay的计算结果作为网络节点y对网络节点x的文本向量表示。
2.根据权利要求1所述的方法，其特征在于，所述并分别获取所述相邻网络节点中的两个网络节点的权重ax和ay，包括：
根据公式ax＝mean(Fi,1,...,Fi,n)获取网络节点x的权重ax，其中Fi,1,...,Fi,n表示关联矩阵F的行向量、mean表示取关联矩阵F的行向量平均值；
根据公式ay＝mean(F1,j,...,Fm,j)获取网络节点y的权重ay，其中F1,j,...,Fm,j表示关联矩阵F的列向量、mean表示取关联矩阵F的列向量平均值。
3.根据权利要求1或2所述的方法，其特征在于，所述网络表示学习模型为：
Figure FDA0002611285010000021
其中，σ为sigmoid函数、vx为网络节点x对网络节点y的网络节点表示向量、vy为网络节点y对网络节点x的节点表示向量、vz表示与网络节点x不相连的网络节点所对应的向量、k为随机采样的网络节点z的数量、Ep(z)表示节点z服从的分布函数为p(z)的数学期望值。
4.根据权利要求3所述的方法，其特征在于，所述分布函数为p(z)＝dz 3/4，其中，dz表示网络节点z的出度。
5.一种网络表示学习模型的训练服务器，其特征在于，包括：
第一获取模块，用于获取网络节点的文本信息和所述网络节点之间的关联信息；
初始化模块，用于为每个网络节点初始化一个结构向量；
第二获取模块，用于根据所述网络节点的文本信息，获取每对相邻网络节点的文本向量，其中，所述每对相邻网络节点是根据所述网络节点之间的关联信息所获取的；
构成模块，用于根据所述结构向量和所述文本向量构成网络节点表示向量；
训练模块，用于将所述网络节点表示向量代入网络表示学习模型中，并对代入网络节点表示向量后的网络表示学习模型进行训练；
所述第二获取模块具体用于：
分别将每对相邻网络节点中的两个网络节点x和y进行卷积运算，以获取卷积计算的结果cx和cy；
根据公式F＝tanh(cxacy)计算cx和cy的关联矩阵，其中，F为关联矩阵、a为预设关联规则矩阵；
分别对所述关联矩阵进行行池化和列池化，并分别获取所述相邻网络节点中的两个网络节点的权重ax和ay；
将vtx＝cxax的计算结果作为网络节点x对网络节点y的文本向量表示，相应的，将vty＝cyay的计算结果作为网络节点y对网络节点x的文本向量表示。
6.根据权利要求5所述的服务器，其特征在于，所述第二获取模块还用于：
根据公式ax＝mean(Fi,1,...,Fi,n)获取网络节点x的权重ax，其中Fi,1,...,Fi,n表示关联矩阵F的行向量、mean表示取关联矩阵F的行向量平均值；
根据公式ay＝mean(F1,j,...,Fm,j)获取网络节点y的权重ay，其中F1,j,...,Fm,j表示关联矩阵F的列向量、mean表示取关联矩阵F的列向量平均值。
7.一种网络表示学习模型的训练服务器，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至4任一所述的方法。
CN201710288128.6A 2017-04-27 2017-04-27 一种网络表示学习模型的训练方法及服务器 Active CN108805291B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710288128.6A CN108805291B (zh) 2017-04-27 2017-04-27 一种网络表示学习模型的训练方法及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710288128.6A CN108805291B (zh) 2017-04-27 2017-04-27 一种网络表示学习模型的训练方法及服务器

Publications (2)

Publication Number Publication Date
CN108805291A CN108805291A (zh) 2018-11-13
CN108805291B true CN108805291B (zh) 2020-09-29

Family

ID=64070221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710288128.6A Active CN108805291B (zh) 2017-04-27 2017-04-27 一种网络表示学习模型的训练方法及服务器

Country Status (1)

Country Link
CN (1) CN108805291B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919316B (zh) * 2019-03-04 2021-03-12 腾讯科技（深圳）有限公司 获取网络表示学习向量的方法、装置和设备及存储介质
CN112751690B (zh) * 2019-10-30 2022-07-22 腾讯科技（深圳）有限公司 网络表征学习方法、装置、电子设备及可读存储介质
CN111353002B (zh) * 2020-02-03 2024-05-03 中国人民解放军国防科技大学 网络表示学习模型的训练方法、装置、电子设备及介质
CN112785350B (zh) * 2021-02-24 2023-09-19 深圳市慧择时代科技有限公司 一种产品向量确定方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354339A (zh) * 2015-12-15 2016-02-24 成都陌云科技有限公司 基于上下文的内容个性化提供方法
CN106295796A (zh) * 2016-07-22 2017-01-04 浙江大学 基于深度学习的实体链接方法
WO2017044958A1 (en) * 2015-09-11 2017-03-16 Ayasdi, Inc. Network representation for evolution of clusters and groups

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017044958A1 (en) * 2015-09-11 2017-03-16 Ayasdi, Inc. Network representation for evolution of clusters and groups
CN105354339A (zh) * 2015-12-15 2016-02-24 成都陌云科技有限公司 基于上下文的内容个性化提供方法
CN106295796A (zh) * 2016-07-22 2017-01-04 浙江大学 基于深度学习的实体链接方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A Convolutional Neural Network for Modelling Sentences;Nal Kalchbrenner et al.;《arXiv》;20140408;第1-11页 *
LINE: Large-scale Information Network Embedding;Jian Tang et al.;《http://de.arxiv.org/pdf/1503.03578》;20150312;第4页 *
Max-Margin DeepWalk: Discriminative Learning of Network Representation;Cunchao Tu et al.;《Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence》;20161231;第3889-3891页 *
node2vec: Scalable Feature Learning for Networks;Aditya Grover et al.;《the 22nd ACM SIGKDD International Conference》;20161231;第1-10页 *
基于 deepwalk 方法的适应有限文本信息的DWLTI算法;江东灿 等;《郑州大学学报（理学版）》;20170331;第49卷(第1期);第29页 *
知识表示学习研究进展;刘知远 等;《计算机研究与发展》;20161231;第247-261页 *

Also Published As

Publication number Publication date
CN108805291A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
JP6959308B2 (ja) スパース性制約及び知識の蒸留に基づくスパースかつ圧縮されたニューラルネットワーク
CN110807154B (zh) 一种基于混合深度学习模型的推荐方法与系统
CN108805291B (zh) 一种网络表示学习模型的训练方法及服务器
CN112288086B (zh) 一种神经网络的训练方法、装置以及计算机设备
CN108052588B (zh) 一种基于卷积神经网络的文档自动问答系统的构建方法
JP6961727B2 (ja) 関心点コピーの生成
CN107515855B (zh) 一种结合表情符的微博情感分析方法和系统
CN109189921B (zh) 评论评估模型的训练方法和装置
CN109325875B (zh) 基于在线社交用户隐特征的隐式群体发现方法
CN111104513B (zh) 一种游戏平台用户问答业务的短文本分类方法
CN110427560A (zh) 一种应用于推荐系统的模型训练方法以及相关装置
CN112800225B (zh) 一种微博评论情绪分类方法和系统
CN109189922B (zh) 评论评估模型的训练方法和装置
CN113255798A (zh) 一种分类模型训练方法、装置、设备及介质
Yuan et al. Twitter sentiment analysis with recursive neural networks
CN113409157B (zh) 一种跨社交网络用户对齐方法以及装置
CN110489552B (zh) 一种微博用户自杀风险检测方法及装置
CN110874392A (zh) 基于深度双向注意力机制的文本网络信息融合嵌入方法
CN114723011A (zh) 一种面向动态图链接预测的高阶时序超图卷积网络运行方法
CN112364236A (zh) 目标对象推荐系统、方法、装置、数据处理方法及装置
CN110222839A (zh) 一种网络表示学习的方法、装置及存储介质
CN109858031A (zh) 神经网络模型训练、上下文预测方法及装置
CN113723108A (zh) 一种事件提取方法、装置、电子设备及存储介质
CN109190040A (zh) 基于协同演化的个性化推荐方法及装置
CN111079084B (zh) 一种基于长短时记忆网络的信息转发概率预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant