CN110704640A - 一种知识图谱的表示学习方法及装置 - Google Patents

一种知识图谱的表示学习方法及装置 Download PDF

Info

Publication number
CN110704640A
CN110704640A CN201910944934.3A CN201910944934A CN110704640A CN 110704640 A CN110704640 A CN 110704640A CN 201910944934 A CN201910944934 A CN 201910944934A CN 110704640 A CN110704640 A CN 110704640A
Authority
CN
China
Prior art keywords
entity
representation
learned
sample
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910944934.3A
Other languages
English (en)
Inventor
石川
胡琳梅
张梦玫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910944934.3A priority Critical patent/CN110704640A/zh
Publication of CN110704640A publication Critical patent/CN110704640A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种知识图谱的表示学习方法及装置，该方法在在对知识图谱进行学习时，从所获取的待学习知识图谱中获取待学习实体；从第一语料库中获得待学习实体所属的描述文本中的待学习单词；根据待学习实体与待学习单词的所属关系，利用待学习单词间的相似性，构建实体‑单词异质图；将所构建的实体‑单词异质图输入至预设的第一实体‑关系表示预测模型中，得到第一实体表示结果。本实施例构建的实体‑单词异质图能够捕捉实体和单词之间的局部和全局的语义关系，以及实体和单词间的短距离语义关系和长距离语义关系。可见，应用本实施例提供的方法能够提高实体表示结果的准确度。

Description

一种知识图谱的表示学习方法及装置
技术领域
本发明涉及自然语言处理技术领域，特别是涉及一种知识图谱的表示学习方法及装置。
背景技术
知识图谱是一种基于图的数据结构，其节点代表实体，边代表实体之间的各种语义关系，在搜索引擎中通过使用知识图谱，能够更好地查询复杂的关联信息，从语义层面理解用户意图，改进搜索质量。比如，在电子商务领域，利用商品知识图谱能够有助于用户搜索到相应的商品，以及利用用户知识图谱能够有助于向用户进行商品推荐。基于此，知识图谱被广泛应用于从语义分析，问答等各种自然语言处理任务中。
然而现有技术的知识图谱存在数据稀疏的问题，基于此，需要继续对知识图谱进行表示学习，以完善知识图谱。
现有的知识图谱表示学习方法为通过从待完善知识图谱中获取实体；从语料库中获得所述实体的描述文本，将所述实体所属的描述文本输入至利用样本知识图谱作为训练集，对深度神经网络模型进行训练后的神经网络模型，输出用于表示实体间关系的实体表示结果。
虽然该方法能够解决数据稀疏的问题，但是该方法可捕捉实体和词间的短距离关系，难以捕捉多个文本间实体和词间的长距离关系，从而导致获得的实体表示结果仅仅表示了所述实体所属描述文本中的局部语义信息，进而使得获得的实体表示结果准确度低。
发明内容
本发明实施例的目的在于提供一种知识图谱的表示学习方法及装置，以提高实体表示结果的准确度。具体技术方案如下：
一种知识图谱的表示学习方法，所述方法包括：
在获取待学习知识图谱后，从所获取的待学习知识图谱中获取待学习实体；
从第一语料库中获得所述待学习实体所属描述文本中的待学习单词；
根据所述待学习实体和所述待学习单词分别与所述描述文本的所属关系，利用所述待学习单词间的相似性，构建实体-单词异质图；
将所构建的实体-单词异质图输入至预设的第一实体-关系表示预测模型中，得到用于包括所述待学习实体表示和待学习实体间的关系表示的第一实体表示结果；其中，所述第一实体-关系表示预测模型为：预先采用样本实体-单词异质图对预设的图卷积神经网络进行训练得到的、用于预测实体表示和实体间的关系表示的模型，所述样本实体-单词异质图为利用从样本知识图谱中获取的样本实体和样本单词分别与样本描述文本的所属关系构建的异质图，所述样本单词为从第二语料库中获得的所述样本实体的样本描述文本中的单词。
进一步地，在所述得到用于包括所述待学习实体表示和待学习实体间的关系表示的第一实体表示结果之后，还包括：
将所述待学习知识图谱输入至预设的第二实体-关系表示预测模型中，得到用于包括所述待学习实体表示和待学习实体间的关系表示的第二实体表示结果；其中，所述第二实体-关系表示预测模型为：预先采用样本知识图谱对预设的知识图谱表示模型进行训练得到的、用于预测实体表示和实体间的关系表示的模型；
对所述第一实体表示结果和所述第二实体表示结果进行融合，得到融合后的第三实体表示结果。
进一步地，所述对所述第一实体表示结果和所述第二实体表示结果进行融合，得到融合后的第三实体表示结果，包括：
按照如下表达式进行融合，得到融合后的第三实体表示结果e；
e＝ge⊙es+(1-ge)⊙ed；
其中，ge为权衡第一实体表示结果ed和第二实体表示结果es的门控向量。
进一步地，所述根据所述待学习实体与所述待学习单词的所属关系，利用所述待学习单词间的相似性，构建实体-单词异质图，包括：
将所述待学习单词输入至预设的单词向量表示模型中，得到所述待学习单词的向量表示；其中，所述单词向量表示模型为预先采用第三语料库中的数据对word2vec进行训练得到的、用于预测单词的向量表示的模型，所述第三语料库为包括所述待学习单词的数据库；
根据所述向量表示，计算所述待学习单词间的相似性；
将所述相似性高于预设阈值的待学习单词表示的单词节点间进行连边；
针对每一待学习实体，利用TF-IDF技术，计算待学习单词对该待学习实体的TF-IDF值，将表示TF-IDF值高的预设数量个待学习单词的单词节点分别和表示该学习实体的实体节点进行连边。
进一步地，所述方法还包括：利用所述第三实体表示结果，完善所述待学习知识图谱。
进一步地，按照以下方式获得第一实体-关系表示预测模型：
获取样本知识图谱；
从所述样本知识图谱中获取样本实体；
从第二语料库中获得所述样本实体的样本描述文本中的样本单词；
根据所述样本实体与所述样本实体所属样本描述文本中样本单词的所属关系，利用所述样本单词间的相似性，构建样本实体-单词异质图；
获得所述样本实体间关系的关系标注；
采用所述样本实体-单词异质图以及所述关系标注，对预设的图卷积神经网络进行训练，获得用于预测实体表示和实体间的关系表示的第一实体-关系表示预测模型。
进一步地，按照以下方式获得第二实体-关系表示预测模型，包括：
获取样本知识图谱；
获得所述样本实体间关系的关系标注；
采用所述样本知识图谱以及所述关系标注，利用合页损失函数对预设的知识图谱表示模型训练，获得用于预测实体表示和实体间的关系表示的第二实体-关系表示预测模型。
一种知识图谱的表示学习装置，所述装置包括：
实体获得模块，用于在获取待学习知识图谱后，从所获取的待学习知识图谱中获取待学习实体；
单词获得模块，用于从第一语料库中获得所述待学习实体的描述文本中的待学习单词；
异质图构建模块，用于根据所述待学习实体和所述待学习单词分别与所述描述文本的所属关系，利用所述待学习单词间的相似性，构建实体-单词异质图；
第一实体结果获得模块，用于将所构建的实体-单词异质图输入至预设的
第一实体-关系表示预测模型中，得到用于包括所述待学习实体表示和待学习实体间的关系表示的第一实体表示结果；其中，所述第一实体-关系表示预测模型为：预先采用样本实体-单词异质图对预设的图卷积神经网络进行训练得到的、用于预测实体表示和实体间的关系表示的模型，所述样本实体-单词异质图为利用从样本知识图谱中获取的样本实体和样本单词分别与样本描述文本的所属关系构建的异质图，所述样本单词为从第二语料库中获得的所述样本实体的样本描述文本中的单词。
进一步地，所述装置还包括：
第二实体结果获得模块，将所述待学习知识图谱输入至预设的第二实体-关系表示预测模型中，得到用于包括所述待学习实体表示和待学习实体间的关系表示的第二实体表示结果；其中，所述第二实体-关系表示预测模型为：预先采用样本知识图谱对预设的知识图谱表示模型进行训练得到的、用于预测实体表示和实体间的关系表示的模型；
第三实体结果获得模块，用于对所述第一实体表示结果和所述第二实体表示结果进行融合，得到融合后的第三实体表示结果。
在本发明实施的又一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上任一所述的知识图谱的表示学习方法。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的知识图谱的表示学习方法。
本发明实施例提供了一种知识图谱的表示学习方法及装置，该方法在对知识图谱进行学习时，从所获取的待学习知识图谱中获取待学习实体；从第一语料库中获得待学习实体所属的描述文本中的待学习单词；根据待学习实体与待学习单词的所属关系，利用待学习单词间的相似性，构建实体-单词异质图；将所构建的实体-单词异质图输入至预设的第一实体-关系表示预测模型中，得到第一实体表示结果。相对于现有技术而言，本实施例构建的实体-单词异质图能够捕捉实体和单词之间的局部和全局的语义关系，以及实体和单词间的短距离语义关系和长距离语义关系。可见，应用本实施例提供的方法能够提高实体表示结果的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的第一种知识图谱的表示学习方法的流程示意图；
图2为本发明实施例提供的第二种知识图谱的表示学习方法的流程示意图；
图3为本发明实施例提供的一种知识图谱的表示学习装置的结构示意图；
图4为一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中的问题，本发明实施例提供了一种知识图谱的表示学习方法及装置。
参见图1，图1位本发明实施例提供的第一种知识图谱的表示学习方法的流程示意图，应用于客户端或服务器，该方法包括：
S101，在获取待学习知识图谱后，从所获取的待学习知识图谱中获取待学习实体。
其中，近年来，研究者提出了大量的知识图谱表示学习方法，其中基于翻译的模型作为一种强大方法，在下游任务中取得了良好的表现。例如TransE，把关系看作是一个从头实体到尾实体的转换。然而，它在建模一对多、多对一和多对多关系时表现很差。为了缓解这一问题，人们提出了许多TransE的变换方法。例如TransH将关系视为超平面，并将头和尾实体投射到关系特定的超平面中。TransR学习嵌入时，将每个关系与特定空间关联起来。TransD通过将投影矩阵分解为两个向量的乘积，进一步简化了TransR。TransG考虑到实体的不确定性，将实体建模为高斯分布的随机变量。除了基于翻译的模型外，还存在一类基于相似度评分函数的语义匹配模型,也有基于卷积的模型，如ConvE提出利用多层卷积网络模型作为评分函数。上述方法的主要局限性之一是它们只利用了知识图谱中的三元组信息，而知识图谱具有稀疏的特性。
其中，待学习实体为客观存在并可相互区别的事物。待学习实体可以是具体的人、事、物，也可以是抽象的概念。
在本步骤中，首先需要获取待学习知识图谱，在获取待学习知识图谱后，需要从待学习知识图谱中获取待学习实体。
这些待学习实体可以为待学习知识图谱中的所有实体，也可以是待学习知识图谱中的部分实体或是根据实际需要指定的实体。
待学习知识图谱可以是被应用于各种领域的知识图谱，如该待学习知识图谱可以是商品知识图谱，也可以是用户知识图谱等。
示例性的，当该待学习知识图谱为商品知识图谱，则获取的待学习实体可以是品牌、颜色、材质、尺寸和基本样式等实体。
S102，从第一语料库中获得所述待学习实体所属描述文本中的待学习单词。
本步骤首先从第一语料库中获取待学习实体的描述文本，再从所获取的描述文本中获得待学习单词。
第一语料库可以为谷歌语料库，还可以是维基百科Wikipedia语料库，本发明实施例对此并不限定。
S103，根据所述待学习实体与所述待学习单词的所属关系，利用所述待学习单词间的相似性，构建实体-单词异质图。
待学习实体和待学习单词均来源于上述描述文本，也就是说，每一待学习实体均具有所属的描述文本。
示例性的，如表1所示，A11、A12、C21和A13均是属于描述文本A的待学习实体，A21、A22和A23均是属于描述文本A的待学习单词；A11、A12、B11、B12和B13均是属于描述文本B的待学习实体，A22、A23、B21、B22和B23均是属于描述文本B的待学习单词；A12、B11、C11、C12和C13均是属于描述文本C的待学习实体，A23、B21、C21、C22和C23均是属于描述文本C的待学习实体。
表1待分类短文本的实体和主题
Figure BDA0002223885790000071
由表1可见，A11、A12、A13、C21、A21、A22和A23均属于描述文本A，A11、A12、A22、A23、B11、B12、B13、B21、B22、B23均属于描述文本B，A12、B11、A23、B21、C11、C12、C13、C21、C22、C23均属于描述文本C。
在本发明的一个实施例中，如图2所示，S103的具体实现方式可以包括步S1031～S1034：
S1031，将所述待学习单词输入至预设的单词向量表示模型中，得到所述待学习单词的向量表示；其中，所述单词向量表示模型为预先采用第三语料库中的数据对word2vec进行训练得到的、用于预测单词的向量表示的模型，所述第三语料库为包括所述待学习单词的数据库。
其中，上述第三语料库可以与第一语料库相同或不同，也可以与第二语料库相同或不同，本发明实施例对此并不限定。第三语料库可以为Wikipedia语料库。
Word2vec，是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。
S1032，根据所述向量表示，计算所述待学习单词间的相似性。
为了进一步丰富待学习知识图谱的语义，本步骤考虑了待学习实体之间的关系，也就是，考虑了待学习实体间的相似性。
待学习实体间的相似性可以通过基于两个待学习实体的嵌入表示计算得到，即余弦相似度。
S1033，将所述相似性高于预设阈值的待学习单词表示的单词节点间进行连边。
其中，上述单词节点为待学习单词表示的节点。
如果两个待学习实体间计算得到的相似性高于上述预设阈值，则在该两个待学习实体表示的实体节点之间建立一条边。
S1034，针对每一待学习实体，利用TF-IDF技术，计算待学习单词对该待学习实体的TF-IDF值，将表示TF-IDF值高的预设数量个待学习单词的单词节点分别和表示该学习实体的实体节点进行连边。
其中，TF-IDF(term frequency–inverse document frequency)技术是一种用于信息检索与数据挖掘的加权技术。
对TF-IDF值进行排序后得到的TF-IDF值确定TF-IDF值高的数量作为预设数量。
具体的，对于每个待学习实体m∈E，首先选择预设数量为K个待学习单词w1,…,wK，将m的描述中TF-IDF值最高的K个单词作为单词节点，并将待学习实体m分别和w1,…,wK之间连边。为了在待学习实体和待学习单词之间合并全局语义，本实施例引入了待学习实体间的相似性，即如果待学习实体间的相似度得分超过预设阈值δ，将进一步在待学习单词对之间构建边。
上述待学习单词对中的两个待学习单词可以不出现在同一待学习实体描述中。
可见，本实施例在构建实体-单词异质图时引入了待学习单词间的关系，丰富了待学习知识图谱的语义信息，能够捕捉待学习实体和待学习单词之间的局部以及全局的语义关系，从而为后续的待学习知识图谱的表示学习可以提供有力的支撑。
S104，将所构建的实体-单词异质图输入至预设的第一实体-关系表示预测模型中，得到用于包括所述待学习实体表示和待学习实体间的关系表示的第一实体表示结果；其中，所述第一实体-关系表示预测模型为：预先采用样本实体-单词异质图对预设的图卷积神经网络进行训练得到的、用于预测实体表示和实体间的关系表示的模型，所述样本实体-单词异质图为利用从样本知识图谱中获取的样本实体和样本单词分别与样本描述文本的所属关系构建的异质图，所述样本单词为从第二语料库中获得的所述样本实体的样本描述文本中的单词。
以构建的实体-单词异质图作为输入参数，输入至第一实体-关系表示预测模型，输出第一实体表示结果。
将所构建的样本实体-单词异质图对应输入图卷积神经网络中，对图卷积神经网络中的模型参数进行迭代调整，得到用于预测实体表示和实体间的关系表示的第一实体-关系表示预测模型。
为了更好地利用样本知识图谱中的远距离语义，从样本知识图谱中建立一个样本异构实体-单词图G＝{V,E}，其中，V和E分别表示节点集中节点和边，节点包括实体节点和单词节点,如图2所示，样本异构实体-单词图能够捕捉实体和词语之间的本地以及全局的语义关系。
应用GCN(图卷积神经网络，Graph Convolutional Networks)学习对样本实体-单词异质图语义编码得到的实体表示。
GCN是一种处理非结构化数据的神经网络。它接受一个图作为输入，并学习节点的表示向量。作为图卷积网络的一种简化，GCN的主要思想类似于传播模型，即将相邻节点的表示融合到当前节点的表示中。
对于初始化，首先在样本知识图谱三元组上使用TransE/ConvE获得实体的结构表示向量e，然后通过对样本实体-单词异质图G中每个单词节点的邻居实体表示进行平均得到单词的表示向量w。由于样本实体和样本单词的输入表示向量在同一个语义空间，可见，可以将GCN直接应用于此异构实体-单词图。
基于样本实体-单词异质图G。本发明实施例引入了G的邻接矩阵A及其度矩阵D，其中，A的对角元素被设置为1并带有自循环。设x∈RM×N为包含所有节点预置的矩阵，即该矩阵的每一行是一个特征向量xv对应一个节点v，所有节点的表示向量H(l+1)更新如下：
Figure BDA0002223885790000101
其中，H(l)是l层中节点的隐藏状态，W(l)是第l层的神经网络参数，σ(.)是一个非线性激活函数。初始化，H(0)设置为X，X是用知识图谱表示模型初始化后的节点表示矩阵，D是度矩阵，
Figure BDA0002223885790000102
是归一化后的邻接矩阵。
另外，上述公式中的H(1)代表了一个简单的跨层连接。
得到的实体表示聚合了来自它们在实体-单词异质图中的邻居的语义。因此实体表示能从样本实体-单词异质图中编码局部语义和全局语义，这将丰富待学习知识图谱并减轻其结构的稀疏性。
在本发明的一个实施例中，如图2所示，在S104之后，该方法还包括如下步骤S105～S106：
S105，将所述待学习知识图谱输入至预设的第二实体-关系表示预测模型中，得到用于包括所述待学习实体表示和待学习实体间的关系表示的第二实体表示结果；其中，所述第二实体-关系表示预测模型为：预先采用样本知识图谱对预设的知识图谱表示模型进行训练得到的、用于预测实体表示和实体间的关系表示的模型。
其中，以构建的实体-单词异质图作为输入参数，输入至第一实体-关系表示预测模型，输出第一实体表示结果。
将所构建的样本实体-单词异质图对应输入图卷积神经网络中，对图卷积神经网络中的模型参数进行迭代调整，得到用于预测实体表示和实体间的关系表示的第一实体-关系表示预测模型。
S106，对所述第一实体表示结果和所述第二实体表示结果进行融合，得到融合后的第三实体表示结果。
可见，本实施例通过对第一实体表示结果和第二实体表示结果融合后的第三实体表示结果既编码来实体-单词异质图的文本信息，也编码来自待学习知识图谱中的三元组的结构信息。与现有的三元组表示方法相比，本实施例利用从实体-单词异质图的中提取的语义关系来扩展待学习知识图谱，以缓解待学习知识图谱的稀疏性问题。
在本发明的一个实施例中，S106的具体实现方式可以包括如下步骤：
按照如下表达式进行融合，得到融合后的第三实体表示结果e；
e＝ge⊙es+(1-ge)⊙ed；
其中，ge为权衡第一实体表示结果ed和第二实体表示结果es的门控向量。
采用一个可学习的门控函数，利用第一实体表示结果ed和第二实体表示结果es，获得第三实体表示结果e。
ge中的所有元素均在[0,1]之间，而⊙是元素对位点乘。
如果将ge设置为一个静态向量，这意味着es和ed的不同维度由固定的权重求和，为每个体e分配一个门控向量ge。为了约束每个元素的值在[0,1]中，使用sigmoid函数计算门控向量：
Figure BDA0002223885790000121
其中，
Figure BDA0002223885790000122
是实值向量，在训练过程中学习。在将es和ed与门控向量相乘得到最终实体表示。
可见，本实施例通过上述表达式得到的第三实体表示结果能够准确、快速第从实体-单词异质图的中提取的语义关系来扩展待学习知识图谱，以缓解待学习知识图谱的稀疏性问题。
在本发明的一个实施例中，该方法还包括：利用所述第三实体表示结果，完善所述待学习知识图谱。
完善的知识图谱是利用第三实体表示结果和待学习知识图谱进行构建的，则意味着完善后的知识图谱既具备待学习知识图谱的优势，又具有第三实体表示结果既具备待学习知识图谱的三元组结构信息，又能够捕捉实体和词语之间的局部以及全局语义关系的优势。
可见，本实施例完善后的知识图谱相对现有知识图谱而言，既具备待学习知识图谱的三元组结构信息，又能够捕捉实体和词语之间的局部以及全局语义关系。
在本发明的一种实施例中，可以按照以下方式获得第一实体-关系表示预测模型，具体包括如下步骤A～步骤F：
步骤A，获取样本知识图谱。
样本知识图谱可以是各种领域的知识图谱。
步骤B，从所述样本知识图谱中获取样本实体。
可以利用实体获取工具，从样本知识图谱中获取样本实体。
步骤C，从第二语料库中获得所述样本实体的描述文本中的样本单词。
本步骤首先从第二语料库中获取样本实体的样本描述文本，再从所获取的样本描述文本中获得样本单词。
第二语料库可以与第一语料库和第三语料库中至少一个语料库为同一个语料库，也可以为不同语料库，本发明实施例对此并不限定。
第二语料库可以为谷歌语料库，还可以是维基百科Wikipedia语料库。
步骤D，根据所述样本实体与所述样本实体所属描述文本中样本单词的所属关系，利用所述样本单词间的相似性，构建样本实体-单词异质图。
样本实体和样本单词均来源于上述样本描述文本，也就是说，每一样本实体均具有所属的样本描述文本。
步骤E，获得所述样本实体间关系的关系标注。
其中，上述样本实体间关系包括样本实体表示的标注，还包括样本实体间关系的标注。
步骤F，采用所述样本实体-单词异质图以及所述关系标注，对预设的图卷积神经网络进行训练，获得用于预测实体表示和实体间的关系表示的第一实体-关系表示预测模型。
将所构建的样本实体-单词异质图对应输入图卷积神经网络中，对图卷积神经网络中的模型参数进行迭代调整，得到用于预测实体表示和实体间的关系表示的第一实体-关系表示预测模型。
可见，本实施例在获得第一实体-关系表示预测模型时，构建的样本实体-单词异质图引入了额外的辅助信息，可以捕获样本知识图谱和辅助信息之间丰富的关系信息，能够解决样本知识图谱稀疏问题，可见，获得的第一实体-关系表示预测模型能够提高对待学习知识图谱表示学习的准确度。
在本发明的一个实施例中，可以按照以下方式获得第二实体-关系表示预测模型，具体包括如下步骤G～步骤I：
步骤G，获取样本知识图谱。
样本知识图谱可以是各种领域的知识图谱。
样本知识图谱可以与样本知识图谱相同，也可以不同，也可以部分相同，本发明实施例对此并不限定。
步骤H，获得所述样本实体间关系的关系标注。
其中，上述样本实体间关系包括样本实体表示的标注，还包括样本实体间关系的标注。
步骤I，采用所述样本知识图谱以及所述关系标注，利用合页损失函数对预设的知识图谱表示模型进行训练，获得用于预测实体表示和实体间的关系表示的第二实体-关系表示预测模型。
通过最小化合页损失函数，以端到端的方式训练模型参数，这些模型参数包括GCN的权重矩阵、门控向量以及单词、实体和关系表示，具体为：
Figure BDA0002223885790000141
其中，S是正确三元组的集合，S'是错误三元组的集合，h是头实体，t是尾实体，γ是边缘距离，f(·)是知识图谱表示模型的正确性函数，记为得分函数。h′和t′分别为错误的头实体和尾实体。
上述公式中的三元组S'是从S负采样得到的三元组，可以通过将头实体h或尾实体t进行错误替换得到错误的三元组，γ用于控制正确三元组和错误三元组之间的最大间隔，f(·)用于衡量给定三元组的正确性分数，也可叫得分函数。
遵循采样策略“bern”。对于三元组(h,r,t)，得分函数f(·)为：
其中，gh和gt分别是样本实体h和样本实体t的门控向量，hd为头实体h基于GCN学到的表示向量，td为尾实体t基于GCN学到的表示向量，hs为头实体h基于知识图谱表示模型学到的表示向量，ts为尾实体基于知识图谱表示模型学到的表示向量，r为实体间的关系，⊙表示哈达玛积，||·||2为L2范数。
使用Adam进行模型优化，以使收敛于非凸目标函数的局部最优。
可见，本实施例利用合页损失函数对预设的知识图谱表示模型进行训练获得的第二实体-关系表示预测模型更加容易收敛，进一步能够提高对待学习知识图谱表示学习的准确度。
由此可见，本发明实施例提供的知识图谱的表示学习方法在对知识图谱进行学习时，从所获取的待学习知识图谱中获取待学习实体；从第一语料库中获得待学习实体所属的描述文本中的待学习单词；根据待学习实体与待学习单词的所属关系，利用待学习单词间的相似性，构建实体-单词异质图；将所构建的实体-单词异质图输入至预设的第一实体-关系表示预测模型中，得到第一实体表示结果。相对于现有技术而言，本实施例构建的实体-单词异质图能够捕捉实体和单词之间的局部和全局的语义关系，以及实体和单词间的短距离语义关系和长距离语义关系。可见，应用本实施例提供的方法能够提高实体表示结果的准确度。
基于上述实施例，进行了相关的实验，对比了几种最先进的基线方法，评估了本发明实施例提出的方法记为Grack在链路预测和三元组分类任务上的性能。
数据集：
在当前流行的两个知识库上评估了本发明实施例的方法Grack:FB15K(Freebase的子集)和WN18(WordNet的子集)。这两个数据集都带有每个实体的文本描述，将其用作辅助文本即样本知识图谱。对于缺少实体描述的kg，可以从各种语料库中提取包含实体的短文本片段作为辅助文本。具体来说，WordNet是一个大型的英语词汇数据库，每个实体都是一个由几个单词组成的，对应于一个词汇不同的词义。Freebase是一个世界事实的大型知识图。使用的数据集FB15K是从对应的维基百科页面提取每个实体的简短描述。在FB15K中，删除停止字后实体描述的平均长度为69。而对于数据集WN18，实体描述的长度较小，平均包含13个单词。表1详细描述了数据集的统计信息。
表2数据集的统计信息
数据集 关系 实体 单词 训练集 验证集 测试集
FB15K 1.341 14.904 28.383 472.860 48.991 57.803
WN18 18 40.493 30.519 141.442 5.000 5.000
基础模型：
将Grack与一些基本模型进行了比较，即那些没有利用文本信息学习知识图谱(KG,Knowledge Graph)表示。其中UnS(Unstructured model)是TransE的一个简单版本，它限制所有r＝0。TransH通过引入关系特定的超平面改进了TransE。TransR引入了关系特定的空间。TransD通过将投影矩阵分解为两个向量的乘积，进一步简化了TransR。ConvE采用卷积网络模型作为评分函数。SME使用了基于相似性的评分函数和神经网络架构。SME有两个版本:线性版本SME(线性)和双线性版本SME(双线性)。
文本增强的模型：文本增强模型在学习知识图谱表示时用到了文本信息。本实施例将模型Grack_TransE与其他基于TransE的文本增强模型进行了比较。例如,DKRL利用卷积神经网络编码实体描述,J(LSTM)使用长短期记忆网络,J(A-LSTM)使用注意力机制增强的长短期记忆力网络编码描述文本,TEKE利用英语维基百科的文本语料库学习实体/关系；ATE_E/AATE_E同时利用了实体描述和英文维基百科。
参数设置
在{0.2,0.4,0.6,0.8}中选择阈值,每个实体筛选的TF-IDF值最高的K单词中K值从{5、10、15、20}中选择,边缘gamma在{1,2,4}中选择,表示向量维度d在{20、40、100}中选择,学习率lamda在{0.0001,0.001,0.01,0.1}之间，批量大小b在{1000、3000、5000、10000}之中,GCN L的层数在{1、2、3}之中。GCN中的σ(·)被设置为双曲正切函数tanh(·)。通过验证集实验得到的最佳配置如表3所示。
表3参数设置
Figure BDA0002223885790000171
链接预测
链接预测是知识图谱补全的一个子任务，其目的是预测三元组(h,r,t)中缺失的h或t。对于每个缺失的实体，这个任务是从知识图谱KG中给出候选实体的排序列表，而不是仅仅猜测最佳答案。对FB15K和WN18进行了实验。
由于KG中只有正确的三元组，所以本发明实施例使用伯努利抽样方法将头部/尾实体随机替换为其他实体，从而为三元组(h,r,t)构建了KG中的损坏三元组(h',r,t')。然后将这些实体按得分函数f(·)计算的分数降序排列。对于实体排名列表，使用了以下两个评估指标:1)正确实体的平均排名即平均秩(MR，Mean Rank)；(2)正确实体在前10名实体中所占比例Hits@10(简写为Hit10)。知识图谱中也可能存在本实施例构建的损坏的三元组，这种预测不应被视为错误。删除训练、验证或测试集中的那些损坏的三元组，得到排序列表。
将本实施例的模型Grack_TransE与其他基于TransE的文本增强方法进行了比较。此外，为了证明本实施例的框架Grack是通用的，并且可迁移到其他KG表示学习模型，还基于ConvE构建了Grack_ConvE，并对它们进行了评估。总体结果见表4。
总体结果：
在表3中，可以观察到本实施例的模型Grack_TransE在所有指标上都显著优于TransE，这表明知识表示可以从文本描述中得到很大的好处。此外，在没有注意机制的情况下，Grack_TransE比其他基于TransE的文本增强方法具有更好的性能。Grack_TransE对使用相同实体描述的DKRL、J(LSTM)和J(A-LSTM)模型的改进表明Grack更好地利用了辅助文本的语义。Grack得益于由辅助文本构建的异构实体-单词图，该图捕获了实体和单词之间的全局关系。Grack_TransE也优于TEKE、ATE_E和AATE_E，这些方法使用对应的较长的Wikipedia文章作为文本辅助(平均包含495个单词)，这进一步证明了Grack在充分利用有限的文本信息方面的有效性。在未来的工作中，我们可以探索如何利用这样长的文本信息。
如表4所示，本实施例的模型Grack\TransE实现了与最先进的模型(包括TransR、TransD和ConvE)相当的性能。值得注意的是，本实施例提出的框架Grack可以转移到这些模型中，进一步提高它们的性能。例如，通过充分利用文本信息，Grack_ConvE(基于最佳基线模型ConvE)在两个数据集上都比ConvE获得了更好的结果。
表4链路预测结果
Figure BDA0002223885790000181
其中，model的中文为模型，SME(linear)为SME(线性)，SME(bilinear)为SME(双线性)。
在WN18数据集上，观察到Grack_TransE的平均秩(MR)比最先进的模型差。原因可能是指标MR容易受到个别极其糟糕的预测结果的影响，而hit@10的度量则不会。而WN18数据集中一些实体的实体描述很短，只包含一个单词，因此节点之间的语义传播可能受到限制。
按关系类别划分得到的详细结果：
为了进一步分析本实施例模型Grack_TransE的效果，将FB15K中的关系分为四种类型:一对一，一对多，多对一和多对多，训练集中四类关系对应比例分别为26.3％，22.7％，28.2％和22.8％。表4给出了Grack_TransE在链接预测任务中四种类型关系的结果。
从表5中可以看出，所有包含辅助文本的模型始终优于只考虑结构信息的TransE。结果表明，文本信息可以有效地丰富KG的语义，减轻其结构稀疏性，产生更好的KG嵌入。
还可以观察到，在所有类别的关系上，Grack\TransE显著优于所有其他文本增强模型。原因是Grack通过捕获实体和单词之间的局部和长期全局语义关系，更好地利用了辅助文本中的语义信息。
与基线方法TransE相比，Grack_TransE在所有类别的关系上都获得了大约28-44个点的性能提升，这表明通过GCN充分利用短文本描述中的语义关系，本实施例能够学习到高质量的KG表示。
表5将FB15K按关系类别划分链接预测结果
Figure BDA0002223885790000191
其中，表5中1-to-1表示1对1，1-to-N表示1对多，N-to-1表示多对1，N-to-N表示多对多，N这里代表多的意思。Relationship Category为实体间关系分类，Predition Head为预测头实体，Prediction Tail为预测尾实体。
三元组分类
对三元组分类任务的不同方法进行了评估，目的是确认给定三元组(h,r,t)是否正确。通过随机替换实体创建了三元组负样本。对于三元组(h,r,t)的分类，当三元组的得分大于等于预定义的阈值Tr时，将其分类为“正确”。针对关系r的参数Tr是通过最大化验证集上的分类精度来确定的。
表6给出了FB15K和WN18上的三元组分类结果。可以看到，Grack_TransE在这两个数据集上都获得了最佳性能。结果表明，Grack_TransE通过对文本描述构造的异构实体-单词图以及应用GCN聚合，获得了更好的KG表示。Grack_TransE在FB15K上比在WN18上获得了更多的改进，这可能是因为FB15K中的实体描述更长，包含更多的语义信息。
表6三元组分类结果
Figure BDA0002223885790000201
其中，表中的Datasets为数据集。
与上述知识图谱的表示学习相对应，本发明实施例还提供了知识图谱的表示学习。
参加图3，图3为本发明实施例提供的一种知识图谱的表示学习装置，所述装置包括：
实体获得模块301，用于在获取待学习知识图谱后，从所获取的待学习知识图谱中获取待学习实体；
单词获得模块302，用于从第一语料库中获得所述待学习实体的描述文本中的待学习单词；
异质图构建模块303，用于根据所述待学习实体和所述待学习单词分别与所述描述文本的所属关系，利用所述待学习单词间的相似性，构建实体-单词异质图；
第一实体结果获得模块304，用于将所构建的实体-单词异质图输入至预设的第一实体-关系表示预测模型中，得到用于包括所述待学习实体表示和待学习实体间的关系表示的第一实体表示结果；其中，所述第一实体-关系表示预测模型为：预先采用样本实体-单词异质图对预设的图卷积神经网络进行训练得到的、用于预测实体表示和实体间的关系表示的模型，所述样本实体-单词异质图为利用从样本知识图谱中获取的样本实体和样本单词分别与样本描述文本的所属关系构建的异质图，所述样本单词为从第二语料库中获得的所述样本实体的样本描述文本中的单词。
可选的，该装置还可以包括：
第二实体结果获得模块，用于将所述待学习知识图谱输入至预设的第二实体-关系表示预测模型中，得到用于包括所述待学习实体表示和待学习实体间的关系表示的第二实体表示结果；其中，所述第二实体-关系表示预测模型为：预先采用样本知识图谱对预设的知识图谱表示模型进行训练得到的、用于预测实体表示和实体间的关系表示的模型；
第三实体结果获得模块，用于对所述第一实体表示结果和所述第二实体表示结果进行融合，得到融合后的第三实体表示结果。
可选的，第三实体结果获得模块具体用于：按照如下表达式进行融合，得到融合后的第三实体表示结果e；
e＝ge⊙es+(1-ge)⊙ed；
其中，ge为权衡第一实体表示结果ed和第二实体表示结果es的门控向量。
可选的，异质图构建模块303可以包括：
向量表示得到子模块，用于将所述待学习单词输入至预设的单词向量表示模型中，得到所述待学习单词的向量表示；其中，所述单词向量表示模型为预先采用第三语料库中的数据对word2vec进行训练得到的、用于预测单词的向量表示的模型，所述第三语料库为包括所述待学习单词的数据库；
相似性计算子模块，用于根据所述向量表示，计算所述待学习单词间的相似性；
第一连边子模块，用于将所述相似性高于预设阈值的待学习单词表示的单词节点间进行连边；
第二连边字模块，用于针对每一待学习实体，利用TF-IDF技术，计算待学习单词对该待学习实体的TF-IDF值，将表示TF-IDF值高的预设数量个待学习单词的单词节点分别和表示该学习实体的实体节点进行连边。
可选的，该装置还可以包括：
构建模块，用于利用所述第三实体表示结果，完善所述待学习知识图谱。
可选的，按照以下方式获得第一实体-关系表示预测模型：
获取样本知识图谱；
从所述样本知识图谱中获取样本实体；
从第二语料库中获得所述样本实体的样本描述文本中的样本单词；
根据所述样本实体与所述样本实体所属样本描述文本中样本单词的所属关系，利用所述样本单词间的相似性，构建样本实体-单词异质图；
获得所述样本实体间关系的关系标注；
采用所述样本实体-单词异质图以及所述关系标注，对预设的图卷积神经网络进行训练，获得用于预测实体表示和实体间的关系表示的第一实体-关系表示预测模型。
可选的，按照以下方式获得第二实体-关系表示预测模型，包括：
获取样本知识图谱；
获得所述样本实体间关系的关系标注；
采用所述样本知识图谱以及所述关系标注，利用合页损失函数对预设的知识图谱表示模型进行训练，获得用于预测实体表示和实体间的关系表示的第二实体-关系表示预测模型。
由此可见，本发明实施例提供的知识图谱的表示学习装置在对知识图谱进行学习时，从所获取的待学习知识图谱中获取待学习实体；从第一语料库中获得待学习实体所属的描述文本中的待学习单词；根据待学习实体与待学习单词的所属关系，利用待学习单词间的相似性，构建实体-单词异质图；将所构建的实体-单词异质图输入至预设的第一实体-关系表示预测模型中，得到第一实体表示结果。相对于现有技术而言，本实施例构建的实体-单词异质图能够捕捉实体和单词之间的局部和全局的语义关系，以及实体和单词间的短距离语义关系和长距离语义关系。可见，应用本实施例提供的方法能够提高实体表示结果的准确度。
本发明实施例还提供了一种电子设备，如图4所示，包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信，
存储器403，用于存放计算机程序；
处理器401，用于执行存储器403上所存放的程序时，实现本发明实施例提供的一种知识图谱的表示学习方法方法。
具体的，上述知识图谱的表示学习方法，包括：
在获取待学习知识图谱后，从所获取的待学习知识图谱中获取待学习实体；
从第一语料库中获得所述待学习实体所属描述文本中的待学习单词；
根据所述待学习实体和所述待学习单词分别与所述描述文本的所属关系，利用所述待学习单词间的相似性，构建实体-单词异质图；
将所构建的实体-单词异质图输入至预设的第一实体-关系表示预测模型中，得到用于包括所述待学习实体表示和待学习实体间的关系表示的第一实体表示结果；其中，所述第一实体-关系表示预测模型为：预先采用样本实体-单词异质图对预设的图卷积神经网络进行训练得到的、用于预测实体表示和实体间的关系表示的模型，所述样本实体-单词异质图为利用从样本知识图谱中获取的样本实体和样本单词分别与样本描述文本的所属关系构建的异质图，所述样本单词为从第二语料库中获得的所述样本实体的样本描述文本中的单词。
由此可见，执行本实施例提供的电子设备，通过在对知识图谱进行学习时，从所获取的待学习知识图谱中获取待学习实体；从第一语料库中获得待学习实体所属的描述文本中的待学习单词；根据待学习实体与待学习单词的所属关系，利用待学习单词间的相似性，构建实体-单词异质图；将所构建的实体-单词异质图输入至预设的第一实体-关系表示预测模型中，得到第一实体表示结果。相对于现有技术而言，本实施例构建的实体-单词异质图能够捕捉实体和单词之间的局部和全局的语义关系，以及实体和单词间的短距离语义关系和长距离语义关系。可见，应用本实施例提供的方法能够提高实体表示结果的准确度。
上述的相关内容知识图谱的表示学习方法的实施方式与前述方法实施例部分提供的知识图谱的表示学习方法方式相同，这里不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的知识图谱的表示学习方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一上述的知识图谱的表示学习方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种知识图谱的表示学习方法，其特征在于，所述方法包括：
在获取待学习知识图谱后，从所获取的待学习知识图谱中获取待学习实体；
从第一语料库中获得所述待学习实体所属描述文本中的待学习单词；
根据所述待学习实体和所述待学习单词分别与所述描述文本的所属关系，利用所述待学习单词间的相似性，构建实体-单词异质图；
将所构建的实体-单词异质图输入至预设的第一实体-关系表示预测模型中，得到用于包括所述待学习实体表示和待学习实体间的关系表示的第一实体表示结果；其中，所述第一实体-关系表示预测模型为：预先采用样本实体-单词异质图对预设的图卷积神经网络进行训练得到的、用于预测实体表示和实体间的关系表示的模型，所述样本实体-单词异质图为利用从样本知识图谱中获取的样本实体和样本单词分别与样本描述文本的所属关系构建的异质图，所述样本单词为从第二语料库中获得的所述样本实体的样本描述文本中的单词。
2.如权利要求1所述的方法，其特征在于，在所述得到用于包括所述待学习实体表示和待学习实体间的关系表示的第一实体表示结果之后，还包括：
将所述待学习知识图谱输入至预设的第二实体-关系表示预测模型中，得到用于包括所述待学习实体表示和待学习实体间的关系表示的第二实体表示结果；其中，所述第二实体-关系表示预测模型为：预先采用样本知识图谱对预设的知识图谱表示模型进行训练得到的、用于预测实体表示和实体间的关系表示的模型；
对所述第一实体表示结果和所述第二实体表示结果进行融合，得到融合后的第三实体表示结果。
3.如权利要求2所述的方法，其特征在于，所述对所述第一实体表示结果和所述第二实体表示结果进行融合，得到融合后的第三实体表示结果，包括：
按照如下表达式进行融合，得到融合后的第三实体表示结果e；
e＝ge⊙es+(1-ge)⊙ed；
其中，ge为权衡第一实体表示结果ed和第二实体表示结果es的门控向量。
4.如权利要求1所述的方法，其特征在于，所述根据所述待学习实体与所述待学习单词的所属关系，利用所述待学习单词间的相似性，构建实体-单词异质图，包括：
将所述待学习单词输入至预设的单词向量表示模型中，得到所述待学习单词的向量表示；其中，所述单词向量表示模型为预先采用第三语料库中的数据对word2vec进行训练得到的、用于预测单词的向量表示的模型，所述第三语料库为包括所述待学习单词的数据库；
根据所述向量表示，计算所述待学习单词间的相似性；
将所述相似性高于预设阈值的待学习单词表示的单词节点间进行连边；
针对每一待学习实体，利用TF-IDF技术，计算待学习单词对该待学习实体的TF-IDF值，将表示TF-IDF值高的预设数量个待学习单词的单词节点分别和表示该学习实体的实体节点进行连边。
5.如权利要求1～4中任一项所述的方法，其特征在于，所述方法还包括：利用所述第三实体表示结果，完善所述待学习知识图谱。
6.如权利要求1所述的方法，其特征在于，按照以下方式获得第一实体-关系表示预测模型：
获取样本知识图谱；
从所述样本知识图谱中获取样本实体；
从第二语料库中获得所述样本实体的样本描述文本中的样本单词；
根据所述样本实体与所述样本实体所属样本描述文本中样本单词的所属关系，利用所述样本单词间的相似性，构建样本实体-单词异质图；
获得所述样本实体间关系的关系标注；
采用所述样本实体-单词异质图以及所述关系标注，对预设的图卷积神经网络进行训练，获得用于预测实体表示和实体间的关系表示的第一实体-关系表示预测模型。
7.如权利要求2所述的方法，其特征在于，按照以下方式获得第二实体-关系表示预测模型，包括：
获取样本知识图谱；
获得所述样本实体间关系的关系标注；
采用所述样本知识图谱以及所述关系标注，利用合页损失函数对预设的知识图谱表示模型进行训练，获得用于预测实体表示和实体间的关系表示的第二实体-关系表示预测模型。
8.一种知识图谱的表示学习装置，其特征在于，所述装置包括：
实体获得模块，用于在获取待学习知识图谱后，从所获取的待学习知识图谱中获取待学习实体；
单词获得模块，用于从第一语料库中获得所述待学习实体的描述文本中的待学习单词；
异质图构建模块，用于根据所述待学习实体和所述待学习单词分别与所述描述文本的所属关系，利用所述待学习单词间的相似性，构建实体-单词异质图；
第一实体结果获得模块，用于将所构建的实体-单词异质图输入至预设的第一实体-关系表示预测模型中，得到用于包括所述待学习实体表示和待学习实体间的关系表示的第一实体表示结果；其中，所述第一实体-关系表示预测模型为：预先采用样本实体-单词异质图对预设的图卷积神经网络进行训练得到的、用于预测实体表示和实体间的关系表示的模型，所述样本实体-单词异质图为利用从样本知识图谱中获取的样本实体和样本单词分别与样本描述文本的所属关系构建的异质图，所述样本单词为从第二语料库中获得的所述样本实体的样本描述文本中的单词。
9.如权利要求8所述的装置，其特征在于，所述装置还包括：
第二实体结果获得模块，将所述待学习知识图谱输入至预设的第二实体-关系表示预测模型中，得到用于包括所述待学习实体表示和待学习实体间的关系表示的第二实体表示结果；其中，所述第二实体-关系表示预测模型为：预先采用样本知识图谱对预设的知识图谱表示模型进行训练得到的、用于预测实体表示和实体间的关系表示的模型；
第三实体结果获得模块，用于对所述第一实体表示结果和所述第二实体表示结果进行融合，得到融合后的第三实体表示结果。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
CN201910944934.3A 2019-09-30 2019-09-30 一种知识图谱的表示学习方法及装置 Pending CN110704640A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910944934.3A CN110704640A (zh) 2019-09-30 2019-09-30 一种知识图谱的表示学习方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910944934.3A CN110704640A (zh) 2019-09-30 2019-09-30 一种知识图谱的表示学习方法及装置

Publications (1)

Publication Number Publication Date
CN110704640A true CN110704640A (zh) 2020-01-17

Family

ID=69196671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910944934.3A Pending CN110704640A (zh) 2019-09-30 2019-09-30 一种知识图谱的表示学习方法及装置

Country Status (1)

Country Link
CN (1) CN110704640A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414491A (zh) * 2020-04-14 2020-07-14 广州劲源科技发展股份有限公司 一种电网行业知识图谱构建方法和装置以及设备
CN111538848A (zh) * 2020-04-29 2020-08-14 华中科技大学 一种融合多源信息的知识表示学习方法
CN111581326A (zh) * 2020-03-30 2020-08-25 中国科学院信息工程研究所 一种基于异构外部知识源图结构抽取答案信息的方法
CN111680170A (zh) * 2020-06-11 2020-09-18 南京星火技术有限公司 周期结构的物理特性预测方法、装置及相关产品
CN112015868A (zh) * 2020-09-07 2020-12-01 重庆邮电大学 基于知识图谱补全的问答方法
CN112131395A (zh) * 2020-08-26 2020-12-25 浙江工业大学 一种基于动态阈值的迭代式知识图谱实体对齐方法
CN112784059A (zh) * 2021-01-20 2021-05-11 和美（深圳）信息技术股份有限公司 知识图谱表示学习方法、装置、电子设备及存储介质
CN112948541A (zh) * 2021-02-01 2021-06-11 华南理工大学 基于图卷积网络的金融新闻文本情感倾向分析方法
CN112989064A (zh) * 2021-03-16 2021-06-18 重庆理工大学 一种聚合知识图神经网络和自适应注意力的推荐方法
CN113539409A (zh) * 2021-07-28 2021-10-22 平安科技（深圳）有限公司 治疗方案推荐方法、装置、设备及存储介质
CN113763084A (zh) * 2020-09-21 2021-12-07 北京沃东天骏信息技术有限公司 产品推荐的处理方法、装置、设备及存储介质
CN114020929A (zh) * 2021-11-03 2022-02-08 北京航空航天大学 一种基于课程知识图谱的智慧教育系统平台设计方法
CN114064926A (zh) * 2021-11-24 2022-02-18 国家电网有限公司大数据中心 多模态电力知识图谱构建方法、装置、设备及存储介质
CN114493516A (zh) * 2022-01-18 2022-05-13 安徽大学 一种基于异质图对比学习的云erp下知识补全方法及系统
CN114579879A (zh) * 2022-05-06 2022-06-03 南方科技大学 好友推荐方法、装置、设备和存储介质
CN115878904A (zh) * 2023-02-22 2023-03-31 深圳昊通技术有限公司 基于深度学习的知识产权个性化推荐方法、系统及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105824802A (zh) * 2016-03-31 2016-08-03 清华大学 一种获取知识图谱向量化表示的方法以及装置
CN107871158A (zh) * 2016-09-26 2018-04-03 清华大学 一种结合序列文本信息的知识图谱表示学习方法及装置
CN108763333A (zh) * 2018-05-11 2018-11-06 北京航空航天大学 一种基于社会媒体的事件图谱构建方法
CN109800437A (zh) * 2019-01-31 2019-05-24 北京工业大学 一种基于特征融合的命名实体识别方法
CN109844708A (zh) * 2017-06-21 2019-06-04 微软技术许可有限责任公司 通过聊天机器人推荐媒体内容
CN109992784A (zh) * 2019-04-08 2019-07-09 北京航空航天大学 一种融合多模态信息的异构网络构建和距离度量方法
CN110084296A (zh) * 2019-04-22 2019-08-02 中山大学 一种基于特定语义的图表示学习框架及其多标签分类方法
CN110188148A (zh) * 2019-05-23 2019-08-30 北京建筑大学 面向多模异构特征的实体识别方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105824802A (zh) * 2016-03-31 2016-08-03 清华大学 一种获取知识图谱向量化表示的方法以及装置
CN107871158A (zh) * 2016-09-26 2018-04-03 清华大学 一种结合序列文本信息的知识图谱表示学习方法及装置
CN109844708A (zh) * 2017-06-21 2019-06-04 微软技术许可有限责任公司 通过聊天机器人推荐媒体内容
CN108763333A (zh) * 2018-05-11 2018-11-06 北京航空航天大学 一种基于社会媒体的事件图谱构建方法
CN109800437A (zh) * 2019-01-31 2019-05-24 北京工业大学 一种基于特征融合的命名实体识别方法
CN109992784A (zh) * 2019-04-08 2019-07-09 北京航空航天大学 一种融合多模态信息的异构网络构建和距离度量方法
CN110084296A (zh) * 2019-04-22 2019-08-02 中山大学 一种基于特定语义的图表示学习框架及其多标签分类方法
CN110188148A (zh) * 2019-05-23 2019-08-30 北京建筑大学 面向多模异构特征的实体识别方法及装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111581326A (zh) * 2020-03-30 2020-08-25 中国科学院信息工程研究所 一种基于异构外部知识源图结构抽取答案信息的方法
CN111581326B (zh) * 2020-03-30 2022-05-31 中国科学院信息工程研究所 一种基于异构外部知识源图结构抽取答案信息的方法
CN111414491A (zh) * 2020-04-14 2020-07-14 广州劲源科技发展股份有限公司 一种电网行业知识图谱构建方法和装置以及设备
CN111538848A (zh) * 2020-04-29 2020-08-14 华中科技大学 一种融合多源信息的知识表示学习方法
CN111538848B (zh) * 2020-04-29 2023-09-01 华中科技大学 一种融合多源信息的知识表示学习方法
CN111680170A (zh) * 2020-06-11 2020-09-18 南京星火技术有限公司 周期结构的物理特性预测方法、装置及相关产品
CN111680170B (zh) * 2020-06-11 2023-05-02 南京星火技术有限公司 周期结构的物理特性预测方法、装置及相关产品
CN112131395A (zh) * 2020-08-26 2020-12-25 浙江工业大学 一种基于动态阈值的迭代式知识图谱实体对齐方法
CN112131395B (zh) * 2020-08-26 2023-09-26 浙江工业大学 一种基于动态阈值的迭代式知识图谱实体对齐方法
CN112015868A (zh) * 2020-09-07 2020-12-01 重庆邮电大学 基于知识图谱补全的问答方法
CN113763084A (zh) * 2020-09-21 2021-12-07 北京沃东天骏信息技术有限公司 产品推荐的处理方法、装置、设备及存储介质
CN112784059A (zh) * 2021-01-20 2021-05-11 和美（深圳）信息技术股份有限公司 知识图谱表示学习方法、装置、电子设备及存储介质
CN112948541B (zh) * 2021-02-01 2022-09-20 华南理工大学 基于图卷积网络的金融新闻文本情感倾向分析方法
CN112948541A (zh) * 2021-02-01 2021-06-11 华南理工大学 基于图卷积网络的金融新闻文本情感倾向分析方法
CN112989064A (zh) * 2021-03-16 2021-06-18 重庆理工大学 一种聚合知识图神经网络和自适应注意力的推荐方法
CN113539409A (zh) * 2021-07-28 2021-10-22 平安科技（深圳）有限公司 治疗方案推荐方法、装置、设备及存储介质
CN113539409B (zh) * 2021-07-28 2024-04-26 平安科技（深圳）有限公司 治疗方案推荐方法、装置、设备及存储介质
CN114020929A (zh) * 2021-11-03 2022-02-08 北京航空航天大学 一种基于课程知识图谱的智慧教育系统平台设计方法
CN114020929B (zh) * 2021-11-03 2024-05-28 北京航空航天大学 一种基于课程知识图谱的智慧教育系统平台设计方法
CN114064926A (zh) * 2021-11-24 2022-02-18 国家电网有限公司大数据中心 多模态电力知识图谱构建方法、装置、设备及存储介质
CN114493516B (zh) * 2022-01-18 2022-12-23 安徽大学 一种基于异质图对比学习的云erp下知识补全方法及系统
CN114493516A (zh) * 2022-01-18 2022-05-13 安徽大学 一种基于异质图对比学习的云erp下知识补全方法及系统
CN114579879A (zh) * 2022-05-06 2022-06-03 南方科技大学 好友推荐方法、装置、设备和存储介质
CN115878904B (zh) * 2023-02-22 2023-06-02 深圳昊通技术有限公司 基于深度学习的知识产权个性化推荐方法、系统及介质
CN115878904A (zh) * 2023-02-22 2023-03-31 深圳昊通技术有限公司 基于深度学习的知识产权个性化推荐方法、系统及介质

Similar Documents

Publication Publication Date Title
CN110704640A (zh) 一种知识图谱的表示学习方法及装置
CN110147551B (zh) 多类别实体识别模型训练、实体识别方法、服务器及终端
CN110717034A (zh) 一种本体构建方法及装置
Corchado et al. Ibr retrieval method based on topology preserving mappings
CN111506714A (zh) 基于知识图嵌入的问题回答
CN112037912A (zh) 基于医疗知识图谱的分诊模型训练方法、装置及设备
Tabouy et al. Variational inference for stochastic block models from sampled data
US11531824B2 (en) Cross-lingual information retrieval and information extraction
CN111061856A (zh) 一种基于知识感知的新闻推荐方法
CN110674317A (zh) 一种基于图神经网络的实体链接方法及装置
CN110704626A (zh) 一种用于短文本的分类方法及装置
WO2020171904A1 (en) Human body part segmentation with real and synthetic images
Lai et al. Transconv: Relationship embedding in social networks
CN110502613B (zh) 一种模型训练方法、智能检索方法、装置和存储介质
CN115374362A (zh) 多路召回模型训练方法、多路召回方法、装置及电子设备
Liang et al. Profiling users for question answering communities via flow-based constrained co-embedding model
Liu et al. Resume parsing based on multi-label classification using neural network models
Santacruz et al. Learning the sub-optimal graph edit distance edit costs based on an embedded model
Cousseau et al. Linking place records using multi-view encoders
WO2021253238A1 (en) Learning interpretable relationships between entities, relations, and concepts via bayesian structure learning on open domain facts
Du et al. Structure tuning method on deep convolutional generative adversarial network with nondominated sorting genetic algorithm II
Feng et al. Relation mention extraction from noisy data with hierarchical reinforcement learning
Ray et al. Prediction and Analysis of Sentiments of Reddit Users towards the Climate Change Crisis
Viehmann et al. Investigating opinions on public policies in digital media: Setting up a supervised machine learning tool for stance classification
US20230168989A1 (en) BUSINESS LANGUAGE PROCESSING USING LoQoS AND rb-LSTM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117