CN110909881B - 一种面向跨媒体知识推理任务的知识表示方法 - Google Patents

Abstract

本发明提供了一种面向跨媒体知识推理任务的知识表示方法，该方法包括：抽取跨媒体知识图谱的RDF三元组信息，将跨媒体知识图谱RDF三元组数据表示为初始的低维向量；利用最大间隔成本函数训练正负例三元组样本之间的向量表示，同时挖掘正负例三元组样本间的相似性(或差异性)，添加到最大间隔成本函数中，提高模型知识推理识别相似实体的能力。本发明能够对基于RDF构建的跨媒体知识图谱三元组进行知识表示和知识推理，利用本发明学习到的知识推理模型进行实体链接和知识分类，能够提高跨媒体知识图谱中的链接预测和三元组分类的准确度。

Description

一种面向跨媒体知识推理任务的知识表示方法

技术领域

本发明涉及一种面向跨媒体知识推理任务的知识表示方法，属于 自然语言处理、人工智能等技术领域，具体涉及一种针对跨媒体知识 图谱中RDF三元组的知识推理方法，包括对知识图谱的链接预测和分 类。

背景技术

伴随着大数据时代的发展，各行各业的数据呈现爆炸式的增长， 知识图谱(Knowledge Graph)为高效利用这些海量的数据资源提供 了一个强大的引擎。现在主流的知识图谱已经发展成为支撑众多人工 智能(Artificial Intelligence，简称AI)应用的核心，常见的AI应用包 括智能搜索、自动问答、推荐系统、决策支持等。虽然在过去的十几 年中，知识图谱取得了巨大的发展，但是还存在着一些局限，其中知 识图谱不能包含所有的知识就是一个重大的局限，知识图谱的不完整 性严重制约了AI领域中应用程序的效能，如何通过现有的知识补充完 全知识图谱中所有的知识逐渐成为了知识图谱领域里亟待解决的问 题之一。目前，知识图谱补全(Knowledge Graph Completion，KGC) 是弥补这一局限的重要技术手段，知识图谱补全旨在补全知识图谱中 不完整的知识，其中最重要的方法就是知识推理。

近几年来，利用深度学习的方法提出了一些列的知识表示方法， 但是这些知识表示方法在知识推理方面存在着推理精确度较低的问 题，另外国内外现在主流的基于知识表示的知识图谱推理工作主要包 括TransE(Bordes A,Usunier N,Garcíadurán A,etal.Translating Embeddings for Modeling Multi-relational Data[C].InternationalConference on Neural Information Processing Systems.2013：2787-2795， 基于翻译的嵌入式模型)，TransH(Wang Z,Zhang J,Feng J,et al. Knowledge Graph Embeddingby Translating on Hyperplanes[C]. Twenty-eighth AAAI Conference on ArtificialIntelligence.AAAI Press, 2014:1112-1119，基于超平面的嵌入式模型)，TransR(Lin Y,Liu Z,Sun M,et al.Learning entity and relation embeddings for knowledge graphcompletion[C].Twenty-ninth AAAI Conference on Artificial Intelligence. 2015，基于实体和关系空间的嵌入式模型)，CTransR(Lin Y,Liu Z,Sun M,et al.Learningentity and relation embeddings for knowledge graph completion[C].Twenty-ninthAAAI Conference on Artificial Intelligence. 2015，基于聚类和实体关系空间的嵌入式模型)和TransD(Ji G,He S, Xu L,et al.Knowledge Graph Embedding via DynamicMapping Matrix [C].Meeting of the Association for Computational Linguistics&the International Joint Conference on Natural Language Processing.2015，基 于动态映射矩阵的嵌入式模型)，即知识图谱中包含着大量的事实三 元组，将实体(包括概念、属性值)表示成知识图谱中的节点，节点 之间的连接表示关系，以(头实体，关系，尾实体)(表示为(h，r， t))的形式存储，用网状的结构展示所获取的知识，对于每一个三元 组(h，r，t)，翻译模型将关系r看成是由头实体h到尾实体t的一个翻 译操作，TransE模型将知识图谱中的实体和关系表示成低维嵌入式向 量，将每一种关系看做是嵌入式空间中的一个转移，对于知识图谱中 成立的三元组(h，r，t)，基于表示的低维嵌入式头实体向量h与关系 向量r的和接近尾实体向量t的值，即h+r≈t，否则远离，模型使用的 得分函数为

使用向量的2阶范数计算距离； TransE模型适用于处理一对一的关系，无法很好处理一对多，多对一 和多对多的关系；TransH模型克服了一对多，多对一和多对多的关系 的弊端，TransH模型将关系当做是在特定的关系超平面上的转移，使 用超平面的法向量w_r和关系转移向量d_r表征，首先将头、尾实体映 射到超平面中，得到映射后的实体

然后构造获得h_┷+d_r≈t_┷。针对TransE和TransH模型都是将实体和 关系映射到同一个空间的现状，与现实中实体和关系具有不同的属性 和类别的情况相矛盾，TransR和CTransR模型提出实体空间与关系空 间不是同一个空间，它们同样都是将知识图谱中三元组实体和关系嵌 入到不同的实体空间和关系空间中，然后通过Mr将实体从实体空间 映射到关系空间中进行h_r+r≈t_r翻译学习。

在实际的应用过程中，上述的TransE、TransH、TransR和CTransR 模型在构造成本代价函数的过程中，只是随机性的替换了正例三元组的 头、尾实体，并未考虑被替换的头尾实体与原来的头尾实体之间的关 系，例如：在一个(美国，总统，某某某)的关系特换过程中，将 “某某某”特换成“王王王”的错误程度远远低于将“某某某”特换成 “张张张张”的错误程度，因为在表示的过程中，“某某某”与“王王 王”学习到的表示向量的距离应该远远低于“某某某”与“张张张 张”的表示向量的距离，因此，需要进一步考虑模型能够识别这样的替 换实体的相似度(或差异度)，能够正确辨别这些不同的三元组实例。

发明内容

为解决上述技术问题，本发明提供了一种面向跨媒体知识推理任 务的知识表示方法，该面向跨媒体知识推理任务的知识表示方法提取 了跨媒体知识图谱三元组的表示特征，并进行知识图谱的图谱补全 (链接预测属于图谱补全中的一种)和三元组分类。

本发明通过以下技术方案得以实现。

本发明提供的一种面向跨媒体知识推理任务的知识表示方法，包 括以下步骤：

①跨媒体知识图谱三元组抽取：抽取跨媒体知识图谱中的数据， 并转化为RDF三元组形式；

②数据预处理：统计RDF三元组的头实体、关系和尾实体数据， 进行数据预处理；

③训练模型：输入训练模型，使用训练模型对三元组数据的特征 进行训练，获取知识推理模型；

④链接预测、三元组分类：输入跨媒体知识图谱链接预测和三元 组分类模型，对知识推理模型进行链接预测以及分类。

所述步骤②中，数据预处理为：分别将实体数据和关系数据保存， 去除重复的实体、关系数据，过滤不符合规范的实体和关系数据，并 去除非法字符。

所述步骤④中，三元组分类模型用于判断三元组是否正确，跨媒 体知识图谱链接预测模型用于补全图谱。

所述步骤③中的训练模型为mTransH模型，mTransH模型的构建 过程包括构建模型和训练模型。

所述构建模型为对实体空间的构建和关系空间的构建，其中实体 空间为：用于将实体映射到关系平面上的低维稠密向量空间，关系空 间为：用于对映射到关系空间中的实体进行运算后的同维度低维特征 向量。

所述构建模型分为以下步骤：

(1)将实体空间映射到超平面关系平面上；

(2)根据关系向量r实现对映射后的头实体向量h到尾实体向量t 的翻译；

(3)通过得分函数对mTransH模型进行构建。

用成本函数对mTransH模型进行训练。

所述成本函数为：

本发明的有益效果在于：

1、构造mTransH模型(改进的基于动态映射矩阵的嵌入式模型)， 在构造成本函数的过程中，加入了正负例三元组之间的相似度(或差 异度)关系；

2、构造由跨媒体知识图谱正负例三元组进一步挖掘亲疏关系训 练而成的特征表示空间，能够让mTransH模型“感知”到由正例三元 组衍生出来的负例三元组实体间的不同差异，提高模型对不同三元组 实体的辨别能力，从而提高模型对于知识推理的精确度。

附图说明

图1是本发明的流程图；

图2是本发明mTransH模型的可基本思想阐释图。

具体实施方式

下面进一步描述本发明的技术方案，但要求保护的范围并不局限 于所述。

如图1所示，一种面向跨媒体知识推理任务的知识表示方法，包 括以下步骤：

①跨媒体知识图谱三元组抽取：抽取跨媒体知识图谱中的数据， 并转化为RDF三元组形式；

②数据预处理：统计RDF三元组的头实体、关系和尾实体数据， 进行数据预处理；

③训练模型：输入训练模型，使用训练模型对三元组数据的特征 进行训练，获取知识推理模型；

④链接预测、三元组分类：输入跨媒体知识图谱链接预测和三元 组分类模型，对知识推理模型进行链接预测以及分类。

所述步骤②中，数据预处理为：分别将实体数据和关系数据保存， 去除重复的实体、关系数据，过滤不符合规范的实体和关系数据，并 去除非法字符。

所述步骤④中，三元组分类模型用于判断三元组是否正确，跨媒 体知识图谱链接预测模型用于补全图谱。

所述步骤③中的训练模型为mTransH模型，mTransH模型的构建 过程包括构建模型和训练模型。

所述构建模型为对实体空间的构建和关系空间的构建，其中实体 空间为：用于将实体映射到关系平面上的低维稠密向量空间，关系空 间为：用于对映射到关系空间中的实体进行运算后的同维度低维特征 向量。

所述构建模型分为以下步骤：

(1)将实体空间映射到超平面关系平面上；

(2)根据关系向量r实现对映射后的头实体向量h到尾实体向量t 的翻译；

(3)通过得分函数对mTransH模型进行构建。

用成本函数对mTransH模型进行训练。

所述成本函数为：

实施例

如上所述，一种面向跨媒体知识推理任务的知识表示方法，包括 以下步骤：

1)跨媒体知识图谱三元组抽取：抽取现有的跨媒体知识图谱中 的数据，并转化成RDF三元组形式；

具体的，由于跨媒体知识图谱中知识存储的载体不一样，主流的 是采用RDF三元组作为知识存储的载体，还有一些是采用关系数据库 作为存储知识的载体，对于关系数据库存储的知识可以使用D2R工具 转换成RDF三元组；

2)数据预处理：统计跨媒体知识图谱中提取得到RDF三元组的 头实体、关系和尾实体信息，分别将实体信息和关系信息保存，去除 重复的实体、关系数据，额外还需要过滤不符合规范的实体和关系， 去除非法字符等操作；

具体的，对于从跨媒体知识图谱中抽取的三元组数据，存在一对 一、一对多、多对一以及多对多的关系，导致抽取出来的三元组信息 在实体、关系上会大量重复，需要对实体和关系进行预处理；

3)训练模型：使用训练模型对三元组的特征进行训练，通过设 置不同的参数和优化策略，从中选择最好的模型作为最终的知识推理 模型；

具体的，所述的训练模块为mTransH模型(改进的基于动态映射 矩阵的嵌入式模型)，mTransH模型的具体构建过程包括构建模型的 过程和训练模型的过程；

具体的，mTransH模型沿用了与TransH模型相同的思想，只要将 一对多、多对一或是多对多的关系实体映射到超平面后的向量一致， 并且可用于关系的翻译即可，算法的具体阐述如下：

在mTransH模型中，实体和关系拥有不同的表示，并且每一个关 系都对应一个超平面；

如图2所示，首先将实体向量h和t沿着超平面的法向量w_r投影到 关系r所对应的超平面上，其中‖w_r‖₂＝1，投影后的向量可以表示为：

经过投影后的向量的得分函数可以表示为：

损失函数表示了一个三元组正确程度的差异，对于正确的三元组， 得分函数打分越低越好，反之亦然。

进一步地，构建模型的过程包括对实体空间的构建和关系空间的 构建，其中实体空间为用于将实体映射到关系平面上的低维稠密向量 空间，关系空间用于对映射到关系空间中的实体进行运算后的同维度 低维特征向量；训练模型的过程包括训练过程和优化方法、以及参数 的限制策略和方法；

进一步地，mTransH模型在构建的构成中，需要将实体空间映射 到超平面关系平面上，再利用关系向量r实现对映射后的头实体向量h 到尾实体向量t的翻译，利用打分函数和成本函数对mTransH模型进行 构建；mTransH模型的训练过程中，需要进行模型训练和优化、参数 限制等策略和方法；

4)链接预测、三元组分类：通过跨媒体知识图谱链接预测和三 元组分类(判断三元组是否正确)模型进行链接预测以及分类，即利 用跨媒体知识图谱链接预测以及三元组分类模型对知识推理模型进 行测试以验证模型的有效性，实现对跨媒体知识图谱中确实的实体或 者关系进行推理，对现有的三元组知识进行正确与否的分类。

优选的，传统的TransH模型在训练的算法过程中，为了构造负例 三元组，TransH模型首先统计了平均每个头实体对应的尾实体的个数， 记为tph，平均每个尾实体对应的头实体个数，记为hpt，然后定义了 一个伯努利分布，以概率

的概率替换正确三元组的头实体，以

的概率替换尾实体，这样保证了在知识图谱三元组中，对于一 对多的关系，有更大的概率替换头实体，对于多对一的关系，有更大 的概率替换尾实体；

由此，在训练的过程中，构造了正负例三元组样本之间的关系， 将差异度权重加入到训练的成本函数中，使得模型能够识别与正确三 元组相似的三元组实体信息，惩罚与正确三元组差异度较大的实体信 息，从而使模型能够辨别相似的替换实体与原实体之间的相似度关系， 提高模型对于知识推理的准确辨别程度，进一步提高知识推理的准确 度，其构造的成本函数为：

l＝∑_(h,r,t)∈Δ∑(h′,r′,t′)∈Δ(h,r,t)[f_r(h,r,t)+γ-d×fr′(h′,r′,t′)]+(3)

其中

△表示知识图谱中的正确三元组，△′表 示有相应的正确三元组(h,r,t)构造得到的负例三元组，γ>0表示分割 正负三元组样本的间隔值；

进一步地，最小化成本函数的时候，同时也考虑了以下的限制：

将这些限制函数加入到成本函数中，于是在训练过程中的实际成 本函数为：

通过分析公式(7)，在成本函数中只考虑到了正例三元组与负例 三元组之间的差异度，没有进一步分析正例三元组与之衍生出来的负 例三元组之间的差异度关系，为了加入正负例样本之间的差异度计算， 对原始的公式(7)进行一下的改进工作；

进一步地，对于由正例三元组(h,r,t)∈△，构造的负例三元组(h′,r,t′) ∈△′，为了计算它们之间被替换后的差异度，可以分以下三种情况 考虑：

i.对于替换头实体的正负例三元组，可以计算正负例头实体之间 的余弦相似度，具体的计算公式为：

公式(8)中的相似度s∈[0,1]，假定相似度和差异度之和恒为 1，可以得到正负例头实体之间的差异度可以表示为：

d＝1-s (9)

ii.对于替换尾实体的正负例三元组与情况ⅰ相同，不再赘述；

iii.对于同时替换头尾实体的正负例三元组，取差异度最大的值；

对于关系不等的特殊情况，差异度d的取值恒为1，综上所述，最 终加入正负例样本的差异度的改进型成本函数为：

具体的，主要的改进在于对正负例三元组中的替换规则间产生的样本 差异度进行了度量，不仅保证了头尾实体的替换，而且也对关系指示 代词进行了替换训练，提高mTransH模型对知识图谱中三元组的推 理能力，提高推理的准确率和Hits@10指标，同时增加模型对关系指 示词的区分性。

Claims (3)

1.一种面向跨媒体知识推理任务的知识表示方法，其特征在于：包括以下步骤：

①跨媒体知识图谱三元组抽取：抽取跨媒体知识图谱中的数据，并转化为RDF三元组形式；

②数据预处理：统计RDF三元组的头实体、关系和尾实体数据，进行数据预处理；

③训练模型：输入训练模型，使用训练模型对三元组数据的特征进行训练，获取知识推理模型；

④链接预测、三元组分类：输入跨媒体知识图谱链接预测和三元组分类模型，对知识推理模型进行链接预测以及分类；

所述步骤③中的训练模型为mTransH模型，mTransH模型的构建过程包括构建模型和训练模型；所述构建模型为对实体空间的构建和关系空间的构建，其中实体空间为：用于将实体映射到关系平面上的低维稠密向量空间，关系空间为：用于对映射到关系空间中的实体进行运算后的同维度低维特征向量；

所述构建模型分为以下步骤：

(1)将头实体向量h和尾实体向量t沿着超平面的法向量w_r投影到关系向量r所对应的超平面上，其中‖w_r‖₂＝1，投影后的向量表示为：

经过投影后的向量的得分函数表示为：

其中，d_r为关系转移向量；

(2)将实体空间映射到超平面关系平面上，根据关系向量r实现对映射后的头实体向量h到尾实体向量t的翻译；

(3)通过得分函数对mTransH模型进行构建，再用成本函数对mTransH模型进行训练；

(4)在训练的过程中，构造正负例三元组样本之间的关系，将差异度权重加入到训练的成本函数中，其构造的成本函数为：

其中

△表示知识图谱中的正确三元组，△′表示由相应的正确三元组(h,r,t)构造得到的负例三元组，γ>0表示分割正负三元组样本的间隔值，d为差异度，f_r′为负例三元组的得分函数；

在最小化成本函数的时候，加入以下的限制：

将这些限制函数加入到成本函数中，获取在训练过程中的实际成本函数：

对于由正例三元组(h,r,t)∈△，构造的负例三元组(h′,r′,t′)∈△′，为了计算它们之间被替换后的差异度，分以下三种情况考虑：

i.对于替换头实体的正负例三元组，计算正负例头实体之间的余弦相似度，具体的计算公式为：

其中，h_i为正例头实体，h′_i为负例头实体；

相似度s∈[0,1]，假定相似度和差异度之和恒为1，得到正负例头实体之间的差异度表示为：

d＝1-s

ii.对于替换尾实体的正负例三元组与情况ⅰ相同；

iii.对于同时替换头尾实体的正负例三元组，取差异度最大的值；

对于关系不等的特殊情况，差异度d的取值恒为1，最终加入正负例样本的差异度的改进型成本函数为：

2.如权利要求1所述的面向跨媒体知识推理任务的知识表示方法，其特征在于：所述步骤②中，数据预处理为：分别将实体数据和关系数据保存，去除重复的实体、关系数据，过滤不符合规范的实体和关系数据，并去除非法字符。

3.如权利要求1所述的面向跨媒体知识推理任务的知识表示方法，其特征在于：所述步骤④中，三元组分类模型用于判断三元组是否正确，跨媒体知识图谱链接预测模型用于补全图谱。

Images