CN112069822A - 一种词向量表示的获取方法、装置、设备及可读介质 - Google Patents

一种词向量表示的获取方法、装置、设备及可读介质 Download PDF

Info

Publication number
CN112069822A
CN112069822A CN202010962795.XA CN202010962795A CN112069822A CN 112069822 A CN112069822 A CN 112069822A CN 202010962795 A CN202010962795 A CN 202010962795A CN 112069822 A CN112069822 A CN 112069822A
Authority
CN
China
Prior art keywords
word
graph
vector representation
node
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010962795.XA
Other languages
English (en)
Inventor
吴明平
梁新敏
陈羲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Second Picket Network Technology Co ltd
Original Assignee
Shanghai Fengzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fengzhi Technology Co ltd filed Critical Shanghai Fengzhi Technology Co ltd
Priority to CN202010962795.XA priority Critical patent/CN112069822A/zh
Publication of CN112069822A publication Critical patent/CN112069822A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种词向量表示的获取方法、装置、设备及可读介质，所述获取方法包括：构建语料库对应的词语依赖图谱；将所述词语依赖图谱的文本特征输入适用于有向图的图神经网络模型中进行训练，得到词向量图结构模型；其中，所述适用于有向图的图神经网络模型中是对图神经网络模型的目标节点的出入链的嵌入表示、出链邻居节点的特征向量表示和入链邻居节点的特征向量表示进行构建得到的；利用所述词向量图结构模型对所述词语依赖图谱进行图嵌入处理，确定所述词语依赖图谱中的每个词的词向量表示。本发明不仅可以将词向量图结构模型应用于无向图得到无向图的词向量表示，还可以应用于有向图以得到有向图的词向量表示。

Description

一种词向量表示的获取方法、装置、设备及可读介质
技术领域
本申请涉及数据处理技术领域，尤其涉及一种词向量表示的获取方法、装置、设备及可读介质。
背景技术
随着互联网时代的飞速发展，数据存储更加便利快捷，图算法也得到了进一步的发展，图结构本身具备关联性，其中，定义数据结构的链接，即表示链接实体之间的关系。
然而，现有技术中的一些图算法的适用范围具有一定的局限性，比如现有技术中的graphsage模型是针对各向同性的网络结构，只适用于无向图节点的嵌入表示，无法应用于有向图节点的嵌入表示；
而对于GCN(Graph Convolutional Network)模型，当有新节点进入图中，需要重新计算全图所有的节点，这样就导致需要对全量词进行计算造成计算速度慢。
发明内容
为了克服背景技术所提出的至少技术问题，本申请提供了一种词向量表示的获取方法及装置。
第一方面，本申请提供了一种词向量表示的获取方法，所述获取方法包括：
构建语料库对应的词语依赖图谱；
将所述词语依赖图谱的文本特征输入适用于有向图的图神经网络模型中进行训练，得到词向量图结构模型；其中，所述适用于有向图的图神经网络模型中是对图神经网络模型的目标节点的出入链的嵌入表示、出链邻居节点的特征向量表示和入链邻居节点的特征向量表示进行构建得到的；
利用所述词向量图结构模型对所述词语依赖图谱进行图嵌入处理，确定所述词语依赖图谱中的每个词的词向量表示。
可选的，所述将所述词语依赖图谱的文本特征输入适用于有向图的图神经网络模型中进行训练，得到词向量图结构模型包括：
提取所述词语依赖图谱的实体特征和各实体间的边特征；
将所述词语依赖图谱实体特征和各实体间的边特征输入所述适用于有向图的图神经网络模型中进行训练，得到所述词向量图结构模型。
可选的，所述对图神经网络模型的目标节点的出入链的嵌入表示、出链邻居节点的特征向量表示和入链邻居节点的特征向量表示进行构建之前，所述获取方法还包括：
对图神经网络模型的目标节点进行初始化，得到目标节点的出入链的嵌入表示；
获取目标节点的邻居节点；
对目标节点的邻居节点的出链邻居节点执行向量聚合操作，得到出链邻居节点的特征向量表示；
对目标节点的邻居节点的入链邻居节点执行向量聚合操作，得到入链邻居节点的特征向量表示。
可选的，所述对目标节点的邻居节点的出链邻居节点执行向量聚合操作，得到出链邻居节点的特征向量表示；对目标节点的邻居节点的入链邻居节点执行向量聚合操作，得到入链邻居节点的特征向量表示之前，所述获取方法还包括：
根据图神经网络中的出链节点与入链节点的比例确定抽样比例；
按照所述抽样比例对所述目标节点的邻居节点进行抽样，得到出链邻居节点和入链邻居节点。
可选的，所述利用所述词向量图结构模型对所述词语依赖图谱进行图嵌入处理，确定所述词语依赖图谱中的每个词的词向量表示包括：
提取所述词语依赖图谱中的目标词的邻居接词的特征，得到图谱特征；
对所述图谱特征进行聚合，确定所述词语依赖图谱中的每个词的词向量表示。
可选的，所述对所述图谱特征进行聚合，确定所述词语依赖图谱中的每个词的词向量表示包括：
获取目标词和该目标词的邻居接词之间的边权重；
利用所述目标词和该目标词的邻居接词之间的边权重对所述词向量图结构模型的邻居节点的向量表示进行加权。
第二方面，本申请提供了一种词向量表示的获取装置，包括：
构建模块，用于构建语料库对应的词语依赖图谱；
训练模块，用于将所述词语依赖图谱的文本特征输入适用于有向图的图神经网络模型中进行训练，得到词向量图结构模型；其中，所述适用于有向图的图神经网络模型中是对图神经网络模型的目标节点的出入链的嵌入表示、出链邻居节点的特征向量表示和入链邻居节点的特征向量表示进行构建得到的；
词向量确定模块，用于利用所述词向量图结构模型对所述词语依赖图谱进行图嵌入处理，确定所述词语依赖图谱中的每个词的词向量表示。
可选的，所述训练模块用于执行以下操作：
提取所述词语依赖图谱的实体特征和各实体间的边特征；
将所述词语依赖图谱实体特征和各实体间的边特征输入所述适用于有向图的图神经网络模型中进行训练，得到所述词向量图结构模型。
第三方面，本申请提供了一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述述第一方面任一项获取方法的步骤。
第四方面，本申请提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述第一方面任一获取方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本发明利用适用于有向图的词向量图结构模型对词语依赖图谱进行图嵌入处理，确定所述词语依赖图谱中的每个词的词向量表示，相比于现有技术中的图结构模型，本发明不仅可以将词向量图结构模型应用于无向图得到无向图的词向量表示，还可以应用于有向图以得到有向图的词向量表示。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本申请实施例提供的一种词向量表示的获取方法硬件环境示意图；
图2为本申请实施例提供的一种词向量表示的获取方法的流程示意图；
图3为本申请实施例提供的一种词向量表示的获取装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
可选地，在本申请实施例中，上述障碍物探测方法可以应用于如图1所示的由终端101和服务器103所构成的硬件环境中。如图1所示，服务器103通过网络与终端101进行连接，可用于为终端或终端上安装的客户端提供服务，可在服务器上或独立于服务器设置数据库105，用于为服务器103提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，终端101包括但不限于机器人。
本申请实施例中的一种词向量表示的获取方法可以由服务器103来执行，还可以是由服务器103和终端101共同执行，如图2所示，该获取方法可以包括以下步骤：
S202：构建语料库对应的词语依赖图谱；
S204：将所述词语依赖图谱的文本特征输入适用于有向图的图神经网络模型中进行训练，得到词向量图结构模型；其中，所述适用于有向图的图神经网络模型中是对图神经网络模型的目标节点的出入链的嵌入表示、出链邻居节点的特征向量表示和入链邻居节点的特征向量表示进行构建得到的；
S206：利用所述词向量图结构模型对所述词语依赖图谱进行图嵌入处理，确定所述词语依赖图谱中的每个词的词向量表示。
本实施例的词向量表示的获取方法相比较于现有技术，通过对图神经网络模型的目标节点的出入链的嵌入表示、出链邻居节点的特征向量表示和入链邻居节点的特征向量表示进行构建，得到的图神经网络模型不仅适用于无向图的嵌入表示，也适用于有向图的嵌入表示，从而使得训练后得到的词向量图结构模型也适用于有向图，可以确定出有向图的词向量图谱的每个词的词向量表示。
需要说明的是，本实施例中的图神经网络模型可以是graphsage模型，也可以是其他能利用步骤S202-S206能构建出适用于有向图的图神经网络模型的其他图神经网络模型。
可选的，在S202中，以所述语料库的自然语言的分词结果为节点，存在依存关系的词之间为边，构建所述语料库对应的词语依赖图谱；
所述以所述语料库的自然语言的字或词为节点，存在依存关系的词之间为边，构建所述语料库对应的词语依赖图谱包括：
S21：对语料库的自然语言语句进行分词，得到分词后的字或词；
S22：以所述语料库的自然语言的分词结果为节点，存在依存关系的词之间为边，对分词后的字或词句法依存关系进行分析，得到带权有向依存关系图；具体的：计算分词后的各个字或词间的PMI以获得各个字或词间的依赖句法结构，根据所述各个字或词间的依赖句法结构得到所述带权有向依存关系图；
S23：根据所述带权有向依存关系图构建所述词语依赖图谱。
本实施例中，所述对分词后的字或词句法依存关系进行分析主要是句子中的语言单位内成分之间的依存关系揭示其句法结构。例如，依存句法依存关系分析识别句子中的“主谓宾”、“定状补”这些语法成分，并分析各成分之间的关系。一般情况下，依存句法分析标注字或词之间的关系(例如：表1的15种关系类型)及关系类型含义；
表1
关系类型 Tag Description Example
主谓关系 SBV subject-verb 我送她一束花(我<--送)
动宾关系 VOB 直接宾语，verb-object 我送她一束花(送-->花)
间宾关系 IOB 间接宾语，indirect-object 我送她一束花(送-->她)
前置宾语 FOB 前置宾语，fronting-object 他什么书都读(书<--读)
兼语 DBL double 他请我吃饭(请-->我)
定中关系 ATT attribute 红苹果(红<--苹果)
状中结构 ADV adverbial 非常美丽(非常<--美丽)
动补结构 CMP complement 做完了作业(做-->完)
并列关系 COO coordinate 大山和大海(大山-->大海)
介宾关系 POB preposition-object 在贸易区内(在-->内)
左附加关系 LAD left adjunct 大山和大海(和<--大海)
右附加关系 RAD right adjunct 孩子们(孩子-->们)
独立结构 IS ndependent structure 两个单句在结构上彼此独立
标点 WP punctuation 。
核心关系 HED head 指整个句子的核心
从上述描述看，可以将每个词视为图神经网络中的一个节点，依存关系为各节点之间的边，边的权重计算方法采用逐点互信息(PMI，Pointwise Mutual Information，即描述两个实体共同出现的概率)，具体计算公式如下：
Figure BDA0002681111790000071
上述公式中,PMI(wi,wj)表示词i与词j之间的互信息；i,j表示网络中的节点，即一个词，其中，p(wi)表示词i在所有文本中词总数的比例，p(wj)表示词j在所有文本中词总数的比例；p(wi，wj)表示两个词在文本中存在依存关系的比例，根据依存类型可确认图中边的方向。
可选的，在步骤204中，所述将所述词语依赖图谱的文本特征输入适用于有向图的图神经网络模型中进行训练，得到词向量图结构模型包括：
提取所述词语依赖图谱的实体特征和各实体间的边特征；其中，所述实体特征可包括词语依赖图谱的目标词特征和该目标词的邻居接词的特征；
将所述词语依赖图谱节点的实体特征和各实体间的边特征输入所述适用于有向图的图神经网络模型中进行训练，得到所述词向量图结构模型；
通过将提取出的词语依赖图谱的节点特征和边特征输入到适用于有向图的图神经网络模型中，从而使得到的词向量图结构模型也能够适用于有向图。
可选的，所述对图神经网络模型的目标节点的出入链的嵌入表示、出链邻居节点的特征向量表示和入链邻居节点的特征向量表示进行构建之前，所述获取方法还包括：
对图神经网络模型的目标节点的出入链进行初始化，得到目标节点的出入链的嵌入表示；
获取目标节点的邻居节点；
对目标节点的邻居节点的出链邻居节点执行向量聚合操作，得到出链邻居节点的特征向量表示；
对目标节点的邻居节点的入链邻居节点执行向量聚合操作，得到入链邻居节点的特征向量表示；
通过上述方法，利用目标节点的出入链的嵌入表示、出链邻居节点的特征向量表示和入链邻居节点的特征向量表示，可以构建出适用于有向图的图神经网络模型。
可选的，所述对目标节点的邻居节点的出链邻居节点执行向量聚合操作，得到出链邻居节点的特征向量表示；对目标节点的邻居节点的入链邻居节点执行向量聚合操作，得到入链邻居节点的特征向量表示之前，所述获取方法还包括：
根据图神经网络中的出链节点与入链节点的比例确定抽样比例；
按照所述抽样比例对所述目标节点的邻居节点进行抽样，得到出链邻居节点和入链邻居节点；
通过上述方式，根据抽样比例得到的链邻居节点和入链邻居节点，减少了计算速度，使得计算较快。
可选的，所述利用所述词向量图结构模型对所述词语依赖图谱进行图嵌入处理，确定所述词语依赖图谱中的每个词的词向量表示包括：
提取所述词语依赖图谱中的目标词的邻居接词的特征，得到图谱特征；
对所述图谱特征进行聚合，确定所述词语依赖图谱中的每个词的词向量表示；
通过上述方法，并且如果词表中出现新词时，可以根据计算好的已知邻居接词的向量表示直接生成新词的词向量表示，不必要对词语依赖图谱的全量词进行计算，提高了计算词向量表示的速度。
可选的，所述对所述图谱特征进行聚合，确定所述词语依赖图谱中的每个词的词向量表示包括：
获取目标词和该目标词的邻居接词之间的边权重；
利用所述目标词和该目标词的邻居接词之间的边权重对所述词向量图结构模型的邻居节点的向量表示进行加权。
可选的，采用最大池化方法对所述图谱特征进行聚合，确定所述词语依赖图谱中的每个词的词向量表示包括：
设置参数k为词向量图结构模型的图神经网络的聚合次数；
将目标词i、邻居接词j之间的边权重加权到第k此聚合计算到邻居接词j的向量表示，并进行池化操作，得到目标词i的邻居接词j的向量表示；
Figure BDA0002681111790000091
对所述目标词i的邻居接词j的向量表示进行非线性变换；
Figure BDA0002681111790000092
执行最大池化运算，以获得目标词i随机抽取的邻居接词聚合后的向量表示；
Figure BDA0002681111790000093
将所述目标词i随机抽取的邻居接词聚合后的向量表示与第k-1次聚合计算到目标词i的向量表示进行拼接以得到拼接结果；
Figure BDA0002681111790000094
对所述拼接结果进行非线性变换，得到目标词i的第k层的词向量表示；
Figure BDA0002681111790000095
其中，
Figure BDA0002681111790000096
表示第k次聚合计算到邻居接词j的向量表示；lji′表示目标词i与邻居接词j之间的边的权重，如果目标词i不是邻居接词j的直接的邻居，则是目标词i与邻居接词j的邻居的边权重；k+1表示对于邻居接词j的度的惩罚；N(i)表示在目标词i的邻居节点中抽样到的节点集合；
σ()为一个非线性变换函数；
Figure BDA0002681111790000097
表示目标词i随机抽取的邻居节点聚合后的向量表示；
Figure BDA0002681111790000101
为第k-1次聚合计算到目标词i的向量表示；
Wk表示权重矩阵；
Figure BDA0002681111790000102
为第k次聚合计算到目标词i的向量表示。
可选的，采用均值聚合函数对所述谱特征进行聚合，确定所述词语依赖图谱中的每个词的词向量表示包括：
设置参数k为词向量图结构模型的图神经网络的聚合次数；
将目标词i、邻居接词j之间的边的权重加权到第k-1次聚合计算到邻居接词j的embedding以得到加权结果；
Figure BDA0002681111790000103
将所述加权结果与对第k-1次聚合计算的目标词i的向量表示进行并集运算，得到并集结果；
Figure BDA0002681111790000104
对所述并集结果和第k-1次聚合计算的目标词i的向量表示进行均值运算，得到均值结果；
Figure BDA0002681111790000105
对目标词i的权重矩阵和所述均值结果进行非线性变换，得到目标词i的第k层的词向量表示；
Figure BDA0002681111790000106
其中，
Figure BDA0002681111790000109
表示第k次聚合计算到目标词i的向量表示；W表示权重矩阵；σ()为一个非线性变换函数，
Figure BDA0002681111790000107
为第k-1次聚合计算到目标词i的向量表示；
Figure BDA0002681111790000108
表示第k-1次聚合计算到邻居接词j的向量表示；lji′表示目标词i与邻居接词j之间的边的权重，如果目标词i不是邻居接词j的直接的邻居，则是目标词i与邻居接词j的邻居的边权重；k+1表示对于邻居接词j的度的惩罚；N(i)表示在目标词i的邻居接词中抽样到的邻居接词集合。
根据本申请实施例的又一方面，如图3所示，提供了一种词向量表示的获取装置，包括：
构建模块302，用于构建语料库对应的词语依赖图谱；
训练模块304，用于将所述词语依赖图谱的文本特征输入适用于有向图的图神经网络模型中进行训练，得到词向量图结构模型；其中，所述适用于有向图的图神经网络模型中是对图神经网络模型的目标节点的出入链的嵌入表示、出链邻居节点的特征向量表示和入链邻居节点的特征向量表示进行构建得到的；
词向量确定模块306，用于利用所述词向量图结构模型对所述词语依赖图谱进行图嵌入处理，确定所述词语依赖图谱中的每个词的词向量表示。
可选的，所述训练模块304用于执行以下操作：
提取所述词语依赖图谱的实体特征和各实体间的边特征；
将所述词语依赖图谱实体特征和各实体间的边特征输入所述适用于有向图的图神经网络模型中进行训练，得到所述词向量图结构模型。
需要说明的是，该实施例中的构建模块302可以用于执行本申请实施例中的步骤S202，该实施例中的机器人控制模块304可以用于执行本申请实施例中的步骤S204，该实施例中的确定模块306可以用于执行本申请实施例中的步骤S206。
可选的，所述获取装置还包括：
初始化模块，用于对图神经网络模型的目标节点进行初始化，得到目标节点的出入链的嵌入表示；
获取模块，用于获取目标节点的邻居节点；
第一聚合模块，用于对目标节点的邻居节点的出链邻居节点执行向量聚合操作，得到出链邻居节点的特征向量表示；
第二聚合模块，用于对目标节点的邻居节点的入链邻居节点执行向量聚合操作，得到入链邻居节点的特征向量表示。
可选的，所述获取装置还包括：
比例确定模块，用于根据图神经网络中的出链节点与入链节点的比例确定抽样比例；
抽样模块，用于按照所述抽样比例对所述目标节点的邻居节点进行抽样，得到出链邻居节点和入链邻居节点。
可选的，所述词向量确定模块306用于执行以下操作：
提取所述词语依赖图谱中的目标词的邻居接词的特征，得到图谱特征；
对所述图谱特征进行聚合，确定所述词语依赖图谱中的每个词的词向量表示。
可选的，所述词向量确定模块306还用于执行以下操作：
获取目标词和该目标词的邻居接词之间的边权重；
利用所述目标词和该目标词的邻居接词之间的边权重对所述词向量图结构模型的邻居节点的向量表示进行加权。
此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。
根据本申请实施例的又一方面还提供了一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述步骤。
上述计算机设备中的存储器、处理器通过通信总线和通信接口进行通信。所述通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
根据本申请实施例的又一方面还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质。
可选地，在本申请实施例中，计算机可读介质被设置为存储用于所述处理器执行以下步骤的程序代码：
构建语料库对应的词语依赖图谱；
将所述词语依赖图谱的文本特征输入适用于有向图的图神经网络模型中进行训练，得到词向量图结构模型；其中，所述适用于有向图的图神经网络模型中是对图神经网络模型的目标节点的出入链的嵌入表示、出链邻居节点的特征向量表示和入链邻居节点的特征向量表示进行构建得到的；
利用所述词向量图结构模型对所述词语依赖图谱进行图嵌入处理，确定所述词语依赖图谱中的每个词的词向量表示。
可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。
本申请实施例在具体实现时，可以参阅上述各个实施例，具有相应的技术效果。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种词向量表示的获取方法，其特征在于，所述获取方法包括：
构建语料库对应的词语依赖图谱；
将所述词语依赖图谱的文本特征输入适用于有向图的图神经网络模型中进行训练，得到词向量图结构模型；其中，所述适用于有向图的图神经网络模型中是对图神经网络模型的目标节点的出入链的嵌入表示、出链邻居节点的特征向量表示和入链邻居节点的特征向量表示进行构建得到的；
利用所述词向量图结构模型对所述词语依赖图谱进行图嵌入处理，确定所述词语依赖图谱中的每个词的词向量表示。
2.根据权利要求1所述的获取方法，其特征在于，所述将所述词语依赖图谱的文本特征输入适用于有向图的图神经网络模型中进行训练，得到词向量图结构模型包括：
提取所述词语依赖图谱的实体特征和各实体间的边特征；
将所述词语依赖图谱的实体特征和各实体间的边特征输入所述适用于有向图的图神经网络模型中进行训练，得到所述词向量图结构模型。
3.根据权利要求1所述的获取方法，其特征在于，所述对图神经网络模型的目标节点的出入链的嵌入表示、出链邻居节点的特征向量表示和入链邻居节点的特征向量表示进行构建之前，所述获取方法还包括：
对图神经网络模型的目标节点进行初始化，得到目标节点的出入链的嵌入表示；
获取目标节点的邻居节点；
对目标节点的邻居节点的出链邻居节点执行向量聚合操作，得到出链邻居节点的特征向量表示；
对目标节点的邻居节点的入链邻居节点执行向量聚合操作，得到入链邻居节点的特征向量表示。
4.根据权利要求3所述的获取方法，其特征在于，所述对目标节点的邻居节点的出链邻居节点执行向量聚合操作，得到出链邻居节点的特征向量表示；对目标节点的邻居节点的入链邻居节点执行向量聚合操作，得到入链邻居节点的特征向量表示之前，所述获取方法还包括：
根据图神经网络中的出链节点与入链节点的比例确定抽样比例；
按照所述抽样比例对所述目标节点的邻居节点进行抽样，得到出链邻居节点和入链邻居节点。
5.根据权利要求1所述的获取方法，其特征在于，所述利用所述词向量图结构模型对所述词语依赖图谱进行图嵌入处理，确定所述词语依赖图谱中的每个词的词向量表示包括：
提取所述词语依赖图谱中的目标词的邻居接词的特征，得到图谱特征；
对所述图谱特征进行聚合，确定所述词语依赖图谱中的每个词的词向量表示。
6.根据权利要求5所述的获取方法，其特征在于，所述对所述图谱特征进行聚合，确定所述词语依赖图谱中的每个词的词向量表示包括：
获取目标词和该目标词的邻居接词之间的边权重；
利用所述目标词和该目标词的邻居接词之间的边权重对所述词向量图结构模型的邻居节点的向量表示进行加权。
7.一种词向量表示的获取装置，其特征在于，包括：
构建模块，用于构建语料库对应的词语依赖图谱；
训练模块，用于将所述词语依赖图谱的文本特征输入适用于有向图的图神经网络模型中进行训练，得到词向量图结构模型；其中，所述适用于有向图的图神经网络模型中是对图神经网络模型的目标节点的出入链的嵌入表示、出链邻居节点的特征向量表示和入链邻居节点的特征向量表示进行构建得到的；
词向量确定模块，用于利用所述词向量图结构模型对所述词语依赖图谱进行图嵌入处理，确定所述词语依赖图谱中的每个词的词向量表示。
8.根据权利要求7所述的获取装置，其特征在于，所述训练模块用于执行以下操作：
提取所述词语依赖图谱的实体特征和各实体间的边特征；
将所述词语依赖图谱实体特征和各实体间的边特征输入所述适用于有向图的图神经网络模型中进行训练，得到所述词向量图结构模型。
9.一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的获取方法的步骤。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至6任一项所述的获取方法。
CN202010962795.XA 2020-09-14 2020-09-14 一种词向量表示的获取方法、装置、设备及可读介质 Pending CN112069822A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010962795.XA CN112069822A (zh) 2020-09-14 2020-09-14 一种词向量表示的获取方法、装置、设备及可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010962795.XA CN112069822A (zh) 2020-09-14 2020-09-14 一种词向量表示的获取方法、装置、设备及可读介质

Publications (1)

Publication Number Publication Date
CN112069822A true CN112069822A (zh) 2020-12-11

Family

ID=73695650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010962795.XA Pending CN112069822A (zh) 2020-09-14 2020-09-14 一种词向量表示的获取方法、装置、设备及可读介质

Country Status (1)

Country Link
CN (1) CN112069822A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114168799A (zh) * 2021-11-26 2022-03-11 四川云从天府人工智能科技有限公司 图数据结构中节点邻接关系的特征获取方法、装置及介质
CN114816997A (zh) * 2022-03-29 2022-07-29 湖北大学 一种基于图神经网络与双向gru特征抽取的缺陷预测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100121792A1 (en) * 2007-01-05 2010-05-13 Qiong Yang Directed Graph Embedding
CN106372086A (zh) * 2015-07-23 2017-02-01 华中师范大学 一种获取词向量的方法和装置
CN109992787A (zh) * 2019-04-09 2019-07-09 杭州电子科技大学 一种基于cbow模型和依存句法关系的词向量表示方法
WO2019149135A1 (zh) * 2018-02-05 2019-08-08 阿里巴巴集团控股有限公司 词向量生成方法、装置以及设备
CN110188168A (zh) * 2019-05-24 2019-08-30 北京邮电大学 语义关系识别方法和装置
CN110321552A (zh) * 2019-05-30 2019-10-11 泰康保险集团股份有限公司 词向量构建方法、装置、介质及电子设备
CN110826700A (zh) * 2019-11-13 2020-02-21 中国科学技术大学 建模邻居交互的双线性图神经网络模型的实现及分类方法
CN111178039A (zh) * 2019-12-18 2020-05-19 北京明略软件系统有限公司 一种模型训练方法、装置、实现文本处理的方法及装置
CN111241819A (zh) * 2020-01-07 2020-06-05 北京百度网讯科技有限公司 词向量生成方法、装置及电子设备
CN111461004A (zh) * 2020-03-31 2020-07-28 北京邮电大学 基于图注意力神经网络的事件检测方法、装置和电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100121792A1 (en) * 2007-01-05 2010-05-13 Qiong Yang Directed Graph Embedding
CN106372086A (zh) * 2015-07-23 2017-02-01 华中师范大学 一种获取词向量的方法和装置
WO2019149135A1 (zh) * 2018-02-05 2019-08-08 阿里巴巴集团控股有限公司 词向量生成方法、装置以及设备
CN109992787A (zh) * 2019-04-09 2019-07-09 杭州电子科技大学 一种基于cbow模型和依存句法关系的词向量表示方法
CN110188168A (zh) * 2019-05-24 2019-08-30 北京邮电大学 语义关系识别方法和装置
CN110321552A (zh) * 2019-05-30 2019-10-11 泰康保险集团股份有限公司 词向量构建方法、装置、介质及电子设备
CN110826700A (zh) * 2019-11-13 2020-02-21 中国科学技术大学 建模邻居交互的双线性图神经网络模型的实现及分类方法
CN111178039A (zh) * 2019-12-18 2020-05-19 北京明略软件系统有限公司 一种模型训练方法、装置、实现文本处理的方法及装置
CN111241819A (zh) * 2020-01-07 2020-06-05 北京百度网讯科技有限公司 词向量生成方法、装置及电子设备
CN111461004A (zh) * 2020-03-31 2020-07-28 北京邮电大学 基于图注意力神经网络的事件检测方法、装置和电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114168799A (zh) * 2021-11-26 2022-03-11 四川云从天府人工智能科技有限公司 图数据结构中节点邻接关系的特征获取方法、装置及介质
CN114168799B (zh) * 2021-11-26 2024-06-11 四川云从天府人工智能科技有限公司 图数据结构中节点邻接关系的特征获取方法、装置及介质
CN114816997A (zh) * 2022-03-29 2022-07-29 湖北大学 一种基于图神经网络与双向gru特征抽取的缺陷预测方法
CN114816997B (zh) * 2022-03-29 2023-08-18 湖北大学 一种基于图神经网络与双向gru特征抽取的缺陷预测方法

Similar Documents

Publication Publication Date Title
CN112528672B (zh) 一种基于图卷积神经网络的方面级情感分析方法及装置
CN108363790B (zh) 用于对评论进行评估的方法、装置、设备和存储介质
WO2020007138A1 (zh) 一种事件识别的方法、模型训练的方法、设备及存储介质
CN110704622A (zh) 文本情感分类方法、装置及电子设备
CN110298035B (zh) 基于人工智能的字向量定义方法、装置、设备及存储介质
US20200159832A1 (en) Device and text representation method applied to sentence embedding
CN108984555B (zh) 用户状态挖掘和信息推荐方法、装置以及设备
CN104615767A (zh) 搜索排序模型的训练方法、搜索处理方法及装置
CN111967264B (zh) 一种命名实体识别方法
CN108664512B (zh) 文本对象分类方法及装置
US11068524B2 (en) Computer-readable recording medium recording analysis program, information processing apparatus, and analysis method
CN111160041B (zh) 语义理解方法、装置、电子设备和存储介质
WO2018068648A1 (zh) 一种信息匹配方法及相关装置
CN110110213B (zh) 挖掘用户职业的方法、装置、计算机可读存储介质和终端设备
CN112069822A (zh) 一种词向量表示的获取方法、装置、设备及可读介质
CN110717019A (zh) 问答处理方法、问答系统、电子设备及介质
CN114818891A (zh) 小样本多标签文本分类模型训练方法及文本分类方法
CN111488742A (zh) 用于翻译的方法和装置
CN115587597B (zh) 基于子句级关系图的方面词的情感分析方法以及装置
CN107832297A (zh) 一种面向特征词粒度的领域情感词典构建方法
CN113705196A (zh) 基于图神经网络的中文开放信息抽取方法和装置
CN108763221B (zh) 一种属性名表征方法及装置
KR102560521B1 (ko) 지식 그래프 생성 방법 및 장치
CN110427465B (zh) 一种基于词语知识图谱的内容推荐方法及装置
CN109886299B (zh) 一种用户画像方法、装置、可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20231113

Address after: Unit 5B03, 5th Floor, Building 2, No. 277 Longlan Road, Xuhui District, Shanghai, 200000

Applicant after: SHANGHAI SECOND PICKET NETWORK TECHNOLOGY CO.,LTD.

Address before: Unit 5B04, 5th Floor, Building 2, No. 277 Longlan Road, Xuhui District, Shanghai, 200332

Applicant before: Shanghai Fengzhi Technology Co.,Ltd.