CN110378486B - 网络嵌入方法、装置、电子设备和存储介质 - Google Patents

网络嵌入方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN110378486B
CN110378486B CN201910637719.9A CN201910637719A CN110378486B CN 110378486 B CN110378486 B CN 110378486B CN 201910637719 A CN201910637719 A CN 201910637719A CN 110378486 B CN110378486 B CN 110378486B
Authority
CN
China
Prior art keywords
node
target node
vector
matrix
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910637719.9A
Other languages
English (en)
Other versions
CN110378486A (zh
Inventor
王东升
范红杰
林凤绿
柳泽明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobvoi Information Technology Co Ltd
Original Assignee
Mobvoi Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobvoi Information Technology Co Ltd filed Critical Mobvoi Information Technology Co Ltd
Priority to CN201910637719.9A priority Critical patent/CN110378486B/zh
Publication of CN110378486A publication Critical patent/CN110378486A/zh
Application granted granted Critical
Publication of CN110378486B publication Critical patent/CN110378486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了一种网络嵌入方法、装置、电子设备和存储介质。通过将词序列的节点设置为目标节点的子节点、目标节点、目标节点的父节点和目标节点到根节点路径上的节点，进而获取所述目标节点的词向量。可以使得目标节点的词向量能够比较全面的保留树状结构的信息，嵌入后的词向量能够包含更多原有的语义信息，提高后续应用的准确率。

Description

网络嵌入方法、装置、电子设备和存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种网络嵌入方法、装置、电子设备和存储介质。
背景技术
网络嵌入(Network Embedding)旨在学习网络中节点的低维度潜在表示，所学习到的特征表示可以用作基于图的各种任务的特征，例如分类，聚类，链路预测和可视化。
现有技术中的网络嵌入方法包括LINE(Large-Information Network Embedding，大规模信息网络嵌入)、DeepWalk(深度游走)和node2vec(可伸缩的网络特性学习)等，可以将网络中节点用一个低维度的向量表示，方便进行下游计算，如分类、聚类、半监督学习、标签传播和图像分割等。
然而，现有技术中的网络嵌入方法大多是用于通用的图结构，对于树状结构的图，现有技术中的方法难以保留比较全面的树状结构信息。
发明内容
有鉴于此，本发明的目的在于提供一种网络嵌入方法、装置、电子设备和存储介质，能够比较全面的保留树状结构的信息，嵌入后的词向量能够包含更多原有的语义信息，提高后续应用的准确率。
第一方面，本发明实施例的提供了一种网络嵌入方法，用于获取树状结构中节点的词向量，所述方法包括：
获取目标节点；
确定所述目标节点对应的词序列，所述词序列包括所述目标节点的子节点、目标节点、目标节点的父节点和目标节点到根节点路径上的节点；以及
根据所述目标节点对应的词序列通过预先训练的网络模型获取所述目标节点的词向量。
优选地，所述目标节点到根节点路径上的节点为节点到根节点的一条路径上的节点。
优选地，所述目标节点到根节点路径上的节点为节点到根节点的多条路径上的节点。
优选地，所述网络模型为连续词袋模型；
所述网络模型的训练过程包括：
获取所述词序列中各节点的独热向量；
根据所述各节点的独热向量和第一矩阵获取第一隐层向量；
根据所述第一隐层向量和第二矩阵获取第一输出向量；
根据所述第一输出向量获取目标节点的概率；以及
根据所述目标节点的概率更新所述第一矩阵和所述第二矩阵的权重。
优选地，通过预训练的网络模型获取所述目标节点的词向量包括：
确定目标节点的独热向量；以及
将所述目标节点的独热向量与所述第一矩阵相乘以获取目标节点的词向量。
优选地，所述网络模型为连续跳跃模型；
所述网络模型的训练过程包括：
获取所述目标节点的独热向量；
根据所述目标节点的独热向量和第三矩阵获取第二隐层向量；
根据所述第二隐层向量和第四矩阵获取第二输出向量；
根据所述第二输出向量获取所述词序列中各节点的概率；以及
根据所述词序列中各节点的概率更新所述第三矩阵和所述第四矩阵的权重。
优选地，通过预训练的网络模型获取所述目标节点的词向量包括：
确定目标节点的独热向量；以及
将所述目标节点的独热向量与所述第三矩阵相乘以获取目标节点的词向量。
第二方面，本发明实施例的提供了一种网络嵌入装置，用于获取树状结构中节点的词向量，所述装置包括：
目标节点获取单元，用于获取目标节点；
词序列确定单元，用于确定所述目标节点对应的词序列，所述词序列包括所述目标节点的子节点、目标节点、目标节点的父节点和目标节点到根节点路径上的节点；以及
词向量获取单元，通过预训练的网络模型获取所述目标节点的词向量。
第三方面，本发明实施例的提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。
第四方面，本发明实施例的提供了一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面所述的方法。
本发明实施例的技术方案通过将词序列的节点设置为目标节点的子节点、目标节点、目标节点的父节点和目标节点到根节点路径上的节点，进而获取所述目标节点的词向量。可以使得目标节点的词向量能够比较全面的保留树状结构的信息，嵌入后的词向量能够包含更多原有的语义信息，提高后续应用的准确率。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1是本发明实施例的网络嵌入系统的结构示意图；
图2是本发明实施例的网络嵌入方法的流程图；
图3是本发明实施例的树状图的结构示意图；
图4是本发明实施例的获取连续词袋模型的流程图；
图5是本发明实施例的连续词袋模型的结构示意图；
图6是本发明实施例的获取连续跳跃模型的流程图；
图7是本发明实施例的连续跳跃模型的结构示意图；
图8是本发明实施例的网络嵌入装置的结构示意图；
图9是本发明实施例的电子设备的示意图。
具体实施方式
以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本实施例中，网络嵌入方法、装置、电子设备和存储介质可以对树状结构的图进行处理，以获取图中节点的词向量。本发明实施例的树状结构的图以WordNet(词汇网络)为例进行说明，应理解对于其它树状结构的图，本发明实施例的技术方法同样适用。具体地，WordNet是普林斯顿大学研制的大规模语义词典，在组织结构上，WordNet以同义词集合作为基本的构建单位来组织的。WordNet以entity(实体、存在、本质)为根节点，不断往下扩充，形成了一棵庞大的树。
图1是本发明实施例的网络嵌入系统的结构示意图。如图1所示，本发明实施例的网络嵌入系统包括客户端A1和服务器A2。其中，客户端A1用于获取目标节点，并将所述目标节点发送至服务器A2。服务器A2用于获取所述目标节点的词向量。
在本实施例中，所述客户端A1可以是智能手机、平板电脑、笔记本电脑或台式电脑等，也可以是设置有专用软件程序的其它设备。用户可以通过使用鼠标等输入设备操纵屏幕上的图标或菜单选择目标节点，也可以通过键盘等设备输入目标节点的文本信息。
在本实施例中，所述客户端A1和服务器A2之间可以通过本地网关或英特网进行通信。
在本实施例中，服务器A2用于根据网络嵌入方法获取所述目标节点的词向量。具体地，图2是本发明实施例的网络嵌入方法的流程图。如图2所示，所述方法包括如下步骤：
步骤S210、获取目标节点。
在本实施例中，服务器接收客户端发送的目标节点，所述目标节点为需要获取词向量的节点。
步骤S220、确定所述目标节点对应的词序列。
在本实施例中，服务器根据接收到的目标节点确定所述目标节点对应的词序列，其中，所述词序列包括所述目标节点的子节点、目标节点、目标节点的父节点和目标节点到根节点路径上的节点。
图3是本发明实施例的树状图的结构示意图。如图3所示，本发明实施例的树状图包括多个节点，为了方便描述，本发明实施例以数字1-16标识每个节点，应理解，节点1-16实际为树状图中的词。
在本实施例中，以节点8为目标节点为例，对应的词序列包括所述目标节点的所有子节点、目标节点、目标节点的所有父节点和目标节点到根节点路径上的所有节点。
在本实施例中，所述目标节点到根节点路径上的节点为节点到根节点的一条或多条路径上的节点。也即，响应于所述目标节点到根节点有多条路径，可以选择其中一条路径上的节点，也可以选择其中的多条或全部路径上的节点。
在本实施例中，以选择其中一条路径上的节点为例进行说明，对应的词序列为[10，11，8，5，6，5，2，1]。其中，[10，11]为目标节点的子节点，[8]为目标节点，[5，6]为目标节点的父节点，[5，2，1]为目标节点到根节点路径上的所有节点。
步骤S230、根据所述目标节点对应的词序列通过预训练的网络模型获取所述目标节点的词向量。
在本实施例中，服务器通过预训练的网络模型获取所述目标节点的词向量。
进一步地，所述网络模型为连续词袋(Continuous Bag-Of-Words，CBOW)模型或连续跳跃(Continuous Skip-gram)模型。
进一步地，当所述网络模型为连续词袋模型时，通过预训练的网络模型获取所述目标节点的词向量包括如下步骤：
步骤S231、确定目标节点的独热向量。
在本实施例中，获取目标节点的One-Hot(独热)编码确定为目标节点的独热向量。
进一步地，One-Hot编码又称为一位有效编码。具体地，各节点的独热向量为：各节点的独热向量包含的元素个数与选取的样本个数相同，各节点的独热向量只有一个元素为1，其它元素均为0，其中，各节点在选取的样本中的位置对应于在独热向量元素为1的位置。
步骤S232、将所述目标节点的独热向量与所述第一矩阵相乘以获取目标节点的词向量。
在本实施例中，通过预训练的网络模型获取第一矩阵，将所述目标节点的独热向量与所述第一矩阵相乘以获取目标节点的词向量。
图4是本发明实施例的获取连续词袋模型的流程图，图5是本发明实施例的连续词袋模型的结构示意图。如图4和图5所示，网络模型的训练过程包括如下步骤：
步骤S410、获取所述词序列中各节点的独热向量。
在本实施例中，连续词袋模型包括输入层L51、隐藏层L52和输出层L53。
在本实施例中，输入层L51用于获取所述词序列中各节点的独热向量。具体地，所述词序列包含m个词，其中m≤n。根据上述步骤S231获取各节点的独热向量，各节点对应的独热向量分别表示为X1-Xm。其中，独热向量X1-Xm均为1*n的向量。
步骤S420、根据所述各节点的独热向量和第一矩阵获取第一隐层向量。
在本实施例中，隐藏层L52包括第一矩阵W1和第二矩阵W2。
进一步地，第一矩阵W1为n*D的矩阵，其中，n为选取的样本个数，D为需要设置的维数。也即，第一矩阵W1是一个n行的矩阵，且每一行都有D个元素。
在本实施例中，根据所述各节点的独热向量和第一矩阵获取第一隐层向量包括如下步骤：
步骤S421、将所述各节点的独热向量与第一矩阵相乘以获取第一中间矩阵。
在本实施例中，由于各节点的独热向量X1-Xm中均有一位有效数字，且有效数字为1。同时，第一矩阵W1是一个n行的矩阵，且每一行都有D个元素。因此，独热向量Xi(1≤i≤m)与第一矩阵相乘获取的第一中间矩阵为第一矩阵中的独热向量Xi元素为1的位置对应的该行。例如，假设Xi的第j(1≤j≤n)个元素为1，则对应的第一中间矩阵为第一矩阵的第j行。由此，即可获取m个第一中间矩阵VX1-VXm。
步骤S422、计算所述第一中间矩阵的平均值以获取第一隐层向量。
在本实施例中，计算第一中间矩阵VX1-VXm中相同位置的元素的平均值组成所述第一隐层向量Vc。
进一步地，所述第一隐层向量为1*D的向量。
步骤S430、根据所述第一隐层向量和第二矩阵获取第一输出向量。
在本实施例中，将所述第一隐层向量Vc和第二矩阵W2相乘以获取第一输出向量Uc。由于，第二矩阵W2为D*n的矩阵，且第一隐层向量为1*D的向量。因此，第一输出向量Uc为1*n的向量。也即，Uc＝[a1 a2 … an]。
步骤S440、根据所述第一输出向量获取各节点的概率。
在本实施例中，输出层L53根据所述第一输出向量Uc获取各节点的概率。
进一步地，对于词序列中的节点i，根据所述第一输出向量Uc获取各节点的概率的公式为：
Figure BDA0002130839970000081
其中，ai为节点i在样本中的位置对应的在第一输出向量Uc中相应位置的元素，Pi为节点i的概率。
由此，即可获取词序列中各节点的概率P1-Pn，进而可以获取目标节点的概率。
步骤S450、根据所述目标节点的概率更新所述第一矩阵和所述第二矩阵的权重。
由此，即可根据目标节点的概率更新所述第一矩阵和所述第二矩阵的权重。
在一个可选的实现方式中，根据目标节点的概率更新所述第一矩阵和所述第二矩阵的权重的方法为：将P1-Pn中最大的数字标记为1，其它数字均标记为0，由此，即可组成一个独热向量，如图5中[0 0 … 1 … 0 0]。获取所述独热向量中元素为1的位置，该位置对应的在样本中相应位置的节点即为目标节点。由此，即可根据获取到的目标节点与预先设置的目标节点对比以更新第一矩阵和第二矩阵的权重。
由此，即可通过预训练的网络模型获取第一矩阵，将所述目标节点的独热向量与所述第一矩阵相乘以获取目标节点的词向量。同时，通过设置第一矩阵的维数可以对词向量的维数进行设置，以获取低维的词向量。
进一步地，当所述网络模型为连续跳跃模型时，通过预训练的网络模型获取所述目标节点的词向量包括：
步骤S231′、确定目标节点的独热向量。
进一步地，各节点的独热向量为：各节点的独热向量包含的元素个数与选取的样本个数相同，各节点的独热向量只有一个元素为1，其它元素均为0，其中，各节点在选取的样本中的位置对应于在独热向量元素为1的位置。
步骤S232′、将所述目标节点的独热向量与所述第三矩阵相乘以获取目标节点的词向量。
在本实施例中，通过预训练的网络模型获取第三矩阵，将所述目标节点的独热向量与所述第三矩阵相乘以获取目标节点的词向量。
图6是本发明实施例的获取连续跳跃模型的流程图，图7是本发明实施例的连续跳跃模型的结构示意图。如图6和图7所示，网络模型的训练过程包括如下步骤：
步骤S610、获取所述目标节点的独热向量。
在本实施例中，连续词袋模型包括输入层L71、隐藏层L72和输出层L73。
在本实施例中，输入层L71用于获取目标节点的独热向量。根据上述步骤S231＇获取目标节点的独热向量Xk＝[0 0 … 1 … 0 0]。
步骤S620、根据所述目标节点的独热向量和第三矩阵获取第二隐层向量。
在本实施例中，在本实施例中，隐藏层L72包括第三矩阵W3和第四矩阵W4。
进一步地，第三矩阵W3为n*D的矩阵，其中，n为选取的样本个数，D为需要设置的维数。
进一步地，第三矩阵W3是一个n行的矩阵。即，第三矩阵包括V1-Vn，其中V1-Vn均是1*D的矩阵。
在本实施例中，将所述目标节点的独热向量和第三矩阵相乘以获取第二隐层向量。
进一步地，由于目标节点的独热向量中只有一元素为1，其它元素均为0。同时，第三矩阵W3是一个n行的矩阵，且每一行都有D个元素。因此，目标节点的独热向量与第三矩阵相乘获取的第二隐层向量VXk为第三矩阵中目标节点的独热向量元素为1的位置对应的该行。例如，假设目标节点的独热向量的第k(1≤k≤n)个元素为1，则对应的第二隐层向量VXk为第三矩阵的第k行。
步骤S630、根据所述第二隐层向量和第四矩阵获取第二输出向量。
在本实施例中，将所述第二隐层向量VXk和第四矩阵W4相乘以获取第二输出向量Uk。由于，第四矩阵W4为D*n的矩阵，且第二隐层向量为1*D的向量。因此，第二输出向量Uk为1*n的向量。也即，Uk＝[b1 b2 … bn]。
步骤S640、根据所述第二输出向量获取所述词序列中各节点的概率。
在本实施例中，输出层L73将上述获取的第二输出向量Uk作归一化处理以获取第二输出向量Uk中每个元素的概率。
进一步地，计算第二输出向量Uk中第i个元素的概率的公式为：
Figure BDA0002130839970000101
其中，bi为第二输出向量Uk中的第i个元素，Pi′为第二输出向量Uk中第i个元素的概率。
由此，即可第二输出向量Uk中每个元素的概率P1′-Pn′。
在本实施例中，第二输出向量Uk中每个元素的概率P1′-Pn′即表征词序列中各节点的概率。
步骤S650、根据所述词序列中各节点的概率更新所述第三矩阵和所述第四矩阵的权重。
进一步地，根据所述词序列中各节点的概率P1′-Pn′获取各节点的独热向量。
具体地，首先将P1′-Pn′中的最大值标记为1，其它均标记为0，以此组成一个独热向量。然后，将P1′-Pn′中的第二大的值标记为1，其它均标记为0，以此组成一个独热向量。以此类推，获取m(m为词序列中词的个数)个独热向量。获取的m个独热向量为词序列中各节点的独热向量Y1-Yn。
将获取的各节点的独热向量与预设的各节点的独热向量相比较以更新所述第三矩阵和所述第四矩阵的权重。
由此，即可获取第三矩阵。将所述目标节点的独热向量与所述第三矩阵相乘以获取目标节点的词向量。
本发明实施例通过将词序列的节点设置为目标节点的子节点、目标节点、目标节点的父节点和目标节点到根节点路径上的节点，进而获取所述目标节点的词向量。可以使得目标节点的词向量能够比较全面的保留树状结构的信息，嵌入后的词向量能够包含更多原有的语义信息，提高后续应用的准确率。
进一步地，可以获得树状词典对应图中的每个节点在词向量空间的表示，使用余弦相似度等相似度计算方法可以计算任意两个节点的相似度，或者查找一个词的相关词。
图8是本发明实施例的网络嵌入装置的结构示意图。如图8所示，所述装置包括目标节点获取单元81、词序列确定单元82和词向量获取单元83。其中，所述目标节点获取单元81用于获取目标节点。词序列确定单元82用于确定所述目标节点对应的词序列，所述词序列包括所述目标节点的子节点、目标节点、目标节点的父节点和目标节点到根节点路径上的节点。词向量获取单元83通过预训练的网络模型获取所述目标节点的词向量。
优选地，所述目标节点到根节点路径上的节点为节点到根节点的一条或多条路径上的节点。
优选地，所述网络模型为连续词袋模型或连续跳跃模型。
优选地，响应于所述网络模型为连续词袋模型，所述网络模型的训练过程包括：
获取所述词序列中各节点的独热向量；
根据所述各节点的独热向量和第一矩阵获取第一隐层向量；
根据所述第一隐层向量和第二矩阵获取第一输出向量；
根据所述第一输出向量获取目标节点的概率；以及
根据所述目标节点的概率更新所述第一矩阵和所述第二矩阵的权重。
优选地，通过预训练的网络模型获取所述目标节点的词向量包括：
确定目标节点的独热向量；以及
将所述目标节点的独热向量与所述第一矩阵相乘以获取目标节点的词向量。
优选地，响应于所述网络模型为连续跳跃模型，所述网络模型的训练过程包括：
获取所述目标节点的独热向量；
根据所述目标节点的独热向量和第三矩阵获取第二隐层向量；
根据所述第二隐层向量和第四矩阵获取第二输出向量；
根据所述第二输出向量获取所述词序列中各节点的概率；以及
根据所述词序列中各节点的概率更新所述第三矩阵和所述第四矩阵的权重。
优选地，通过预训练的网络模型获取所述目标节点的词向量包括：
确定目标节点的独热向量；以及
将所述目标节点的独热向量与所述第三矩阵相乘以获取目标节点的词向量。
本发明实施例通过将词序列的节点设置为目标节点的子节点、目标节点、目标节点的父节点和目标节点到根节点路径上的节点，进而获取所述目标节点的词向量。可以使得目标节点的词向量能够比较全面的保留树状结构的信息，嵌入后的词向量能够包含更多原有的语义信息，提高后续应用的准确率。
图9是本发明实施例的电子设备的示意图。图9所示的电子设备为自动问答装置，其包括通用的计算机硬件结构，其至少包括处理器91和存储器92。处理器91和存储器92通过总线。连接。存储器92适于存储处理器51可执行的指令或程序。处理器91可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器91通过执行存储器92所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线93将上述多个组件连接在一起，同时将上述组件连接到显示控制器94和显示装置以及输入/输出(I/O)装置95。输入/输出(I/O)装置95可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置95通过输入/输出(I/O)控制器96与系统相连。
如本领域技术人员将意识到的，本发明实施例的各个方面可以被实现为系统、方法或计算机程序产品。因此，本发明实施例的各个方面可以采取如下形式：完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或者在本文中通常可以都称为“电路”、“模块”或“系统”的将软件方面与硬件方面相结合的实施方式。此外，本发明实施例的各个方面可以采取如下形式：在一个或多个计算机可读介质中实现的计算机程序产品，计算机可读介质具有在其上实现的计算机可读程序代码。
可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是如(但不限于)电子的、磁的、光学的、电磁的、红外的或半导体系统、设备或装置，或者前述的任意适当的组合。计算机可读存储介质的更具体的示例(非穷尽列举)将包括以下各项：具有一根或多根电线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储装置、磁存储装置或前述的任意适当的组合。在本发明实施例的上下文中，计算机可读存储介质可以为能够包含或存储由指令执行系统、设备或装置使用的程序或结合指令执行系统、设备或装置使用的程序的任意有形介质。
计算机可读信号介质可以包括传播的数据信号，所述传播的数据信号具有在其中如在基带中或作为载波的一部分实现的计算机可读程序代码。这样的传播的信号可以采用多种形式中的任何形式，包括但不限于:电磁的、光学的或其任何适当的组合。计算机可读信号介质可以是以下任意计算机可读介质；不是计算机可读存储介质，并且可以对由指令执行系统、设备或装置使用的或结合指令执行系统、设备或装置使用的程序进行通信、传播或传输。
可以使用包括但不限于无线、有线、光纤电缆、RF等或前述的任意适当组合的任意合适的介质来传送实现在计算机可读介质上的程序代码。
用于执行针对本发明实施例各方面的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写，所述编程语言包括：面向对象的编程语言如Java、Smalltalk，C++等；以及常规过程编程语言如“C”编程语言或类似的编程语言。程序代码可以作为独立软件包完全地在用户计算机上、部分地在用户计算机上执行:部分地在用户计算机上且部分地在远程计算机上执行；或者完全地在远程计算机或服务器上执行。在后一种情况下，可以将远程计算机通过包括局域网(LAN)或广域网(WAN)的任意类型的网络连接至用户计算机，或者可以与外部计算机进行连接(例如通过使用因特网服务供应商的因特网)。
上述根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图图例和/或框图描述了本发明实施例的各个方面。将要理解的是，流程图图例和/或框图的每个块以及流程图图例和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供至通用计算机、专用计算机或其它可编程数据处理设备的处理器，以产生机器，使得(经由计算机或其它可编程数据处理设备的处理器执行的)指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。
还可以将这些计算机程序指令存储在可以指导计算机、其它可编程数据处理设备或其它装置以特定方式运行的计算机可读介质中，使得在计算机可读介质中存储的指令产生包括实现在流程图和/或框图块或块中指定的功能/动作的指令的制品。
计算机程序指令还可以被加载至计算机、其它可编程数据处理设备或其它装置上，以便在计算机、其它可编程设备或其它装置上执行一系列可操作步骤来产生计算机实现的过程，使得在计算机或其它可编程设备上执行的指令提供用于实现在流程图和/或框图块或块中指定的功能/动作的过程。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种网络嵌入方法，用于获取树状结构中节点的词向量，其特征在于，所述方法包括：
获取目标节点；
确定所述目标节点对应的词序列，所述词序列包括所述目标节点的子节点、目标节点、目标节点的父节点和目标节点到根节点路径上的节点；以及
根据所述目标节点对应的词序列通过预先训练的网络模型获取所述目标节点的词向量；
其中，所述节点为树状结构中的词。
2.根据权利要求1所述的方法，其特征在于，所述目标节点到根节点路径上的节点为节点到根节点的一条路径上的节点。
3.根据权利要求1所述的方法，其特征在于，所述目标节点到根节点路径上的节点为节点到根节点的多条路径上的节点。
4.根据权利要求1所述的方法，其特征在于，所述网络模型为连续词袋模型；
所述网络模型的训练过程包括：
获取所述词序列中各节点的独热向量；
根据所述各节点的独热向量和第一矩阵获取第一隐层向量；
根据所述第一隐层向量和第二矩阵获取第一输出向量；
根据所述第一输出向量获取目标节点的概率；以及
根据所述目标节点的概率更新所述第一矩阵和所述第二矩阵的权重。
5.根据权利要求4所述的方法，其特征在于，通过预训练的网络模型获取所述目标节点的词向量包括：
确定目标节点的独热向量；以及
将所述目标节点的独热向量与所述第一矩阵相乘以获取目标节点的词向量。
6.根据权利要求1所述的方法，其特征在于，所述网络模型为连续跳跃模型；
所述网络模型的训练过程包括：
获取所述目标节点的独热向量；
根据所述目标节点的独热向量和第三矩阵获取第二隐层向量；
根据所述第二隐层向量和第四矩阵获取第二输出向量；
根据所述第二输出向量获取所述词序列中各节点的概率；以及
根据所述词序列中各节点的概率更新所述第三矩阵和所述第四矩阵的权重。
7.根据权利要求6所述的方法，其特征在于，通过预训练的网络模型获取所述目标节点的词向量包括：
确定目标节点的独热向量；以及
将所述目标节点的独热向量与所述第三矩阵相乘以获取目标节点的词向量。
8.一种网络嵌入装置，用于获取树状结构中节点的词向量，其特征在于，所述装置包括：
目标节点获取单元，用于获取目标节点；
词序列确定单元，用于确定所述目标节点对应的词序列，所述词序列包括所述目标节点的子节点、目标节点、目标节点的父节点和目标节点到根节点路径上的节点；以及
词向量获取单元，通过预训练的网络模型获取所述目标节点的词向量；
其中，所述节点为树状结构中的词。
9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN201910637719.9A 2019-07-15 2019-07-15 网络嵌入方法、装置、电子设备和存储介质 Active CN110378486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910637719.9A CN110378486B (zh) 2019-07-15 2019-07-15 网络嵌入方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910637719.9A CN110378486B (zh) 2019-07-15 2019-07-15 网络嵌入方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110378486A CN110378486A (zh) 2019-10-25
CN110378486B true CN110378486B (zh) 2021-12-03

Family

ID=68253364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910637719.9A Active CN110378486B (zh) 2019-07-15 2019-07-15 网络嵌入方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110378486B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832797B (zh) * 2020-04-10 2024-06-04 北京嘀嘀无限科技发展有限公司 数据处理方法、数据处理装置、存储介质和电子设备
CN111832602B (zh) * 2020-04-13 2023-12-08 北京嘀嘀无限科技发展有限公司 基于地图的特征嵌入方法、装置、存储介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844608A (zh) * 2017-12-06 2018-03-27 湖南大学 一种基于词向量的句子相似度比较方法
CN109582956A (zh) * 2018-11-15 2019-04-05 中国人民解放军国防科技大学 应用于句子嵌入的文本表示方法和装置
CN109683946A (zh) * 2018-12-13 2019-04-26 南开大学 一种基于代码克隆技术的用户评论推荐方法
CN109885841A (zh) * 2019-03-20 2019-06-14 苏州大学 基于结点表示法的指代消解方法
CN110008723A (zh) * 2019-03-27 2019-07-12 东南大学 一种基于词嵌入技术的加密算法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7340674B2 (en) * 2002-12-16 2008-03-04 Xerox Corporation Method and apparatus for normalizing quoting styles in electronic mail messages
WO2015103695A1 (en) * 2014-01-10 2015-07-16 Cluep Inc. Systems, devices, and methods for automatic detection of feelings in text
CN107301170B (zh) * 2017-06-19 2020-12-22 北京百度网讯科技有限公司 基于人工智能的切分语句的方法和装置
CN109902283B (zh) * 2018-05-03 2023-06-06 华为技术有限公司 一种信息输出方法及装置
CN108875024B (zh) * 2018-06-20 2020-10-20 清华大学深圳研究生院 文本分类方法、系统、可读存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844608A (zh) * 2017-12-06 2018-03-27 湖南大学 一种基于词向量的句子相似度比较方法
CN109582956A (zh) * 2018-11-15 2019-04-05 中国人民解放军国防科技大学 应用于句子嵌入的文本表示方法和装置
CN109683946A (zh) * 2018-12-13 2019-04-26 南开大学 一种基于代码克隆技术的用户评论推荐方法
CN109885841A (zh) * 2019-03-20 2019-06-14 苏州大学 基于结点表示法的指代消解方法
CN110008723A (zh) * 2019-03-27 2019-07-12 东南大学 一种基于词嵌入技术的加密算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Toward Detection of Access Control Models from Source Code via Word Embedding;John Heaps等;《SACMAT "19: Proceedings of the 24th ACM Symposium on Access Control Models and Technologies》;20190606;第103–112页第1节、第3节 *
word2vec之CBOW;kamekin;《https://www.cnblogs.com/kamekin/p/9752010.html》;20181008;第1-3页 *
Word2vec之Skip-Gram模型;猪逻辑公园;《https://blog.csdn.net/qq_15111861/article/details/81103793》;20180718;第1-3页 *

Also Published As

Publication number Publication date
CN110378486A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
JP7206288B2 (ja) 音楽推薦方法、装置、コンピューティング機器及び媒体
CN109947919B (zh) 用于生成文本匹配模型的方法和装置
CN109190049B (zh) 关键词推荐方法、系统、电子设备和计算机可读介质
CN110110139B (zh) 一种对推荐结果进行解释的方法、装置及电子设备
CN111461301B (zh) 序列化数据处理方法和装置、文本处理方法和装置
CN111461345B (zh) 深度学习模型训练方法及装置
CN112861012B (zh) 基于上下文和用户长短期偏好自适应学习的推荐方法及装置
CN112115257A (zh) 用于生成信息评估模型的方法和装置
JP2014106661A (ja) ユーザ状態予測装置及び方法及びプログラム
CN110263218B (zh) 视频描述文本生成方法、装置、设备和介质
CN110297885B (zh) 实时事件摘要的生成方法、装置、设备及存储介质
US20230096118A1 (en) Smart dataset collection system
CN110378486B (zh) 网络嵌入方法、装置、电子设备和存储介质
CN107111607A (zh) 用于语言检测的系统和方法
CN114780861A (zh) 基于聚类技术的用户多兴趣推荐方法、装置、设备及介质
CN112288483A (zh) 用于训练模型的方法和装置、用于生成信息的方法和装置
Giaimo et al. Invasion and effective size of graph-structured populations
JP6770709B2 (ja) 機械学習用モデル生成装置及びプログラム。
CN112395517B (zh) 房源搜索展示方法、装置及计算机可读存储介质
CN114040216A (zh) 直播间推荐方法、介质、装置和计算设备
CN111340605B (zh) 训练用户行为预测模型、用户行为预测的方法和装置
CN115048425A (zh) 一种基于强化学习的数据筛选方法及其装置
JP7352640B2 (ja) 検索項目書き換え方法、装置、機器および記憶媒体
CN111475614B (zh) 知识推理对话方法、装置、电子设备和存储介质
WO2020231091A1 (en) Improved exploration for interactive recommendation systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant