CN110647620A - 一种基于置信超平面和词典信息的知识图谱表示学习方法 - Google Patents

Abstract

本发明提出了一种基于置信超平面和词典信息的知识图谱表示学习方法。本发明的方法为：利用文章词典信息得到实体所属类别以及所属类别的概率；通过实体所属类别及所属类别的概率得到知识表示关系的置信矩阵，并重构三元组；根据置信矩阵，改进超平面模型的能量函数；根据带置信矩阵和词典信息的超平面模型处理一对多的知识表示关系。在该方法中基于改进的超平面模型，实体在对于不同关系具有不同程度的相关性。本发明能够提升知识表示学习在复杂关系下的区分能力，并且避免了增加过多模型复杂度。本发明方法可以对知识图谱中的实体和关系进行表示，用于知识图谱的补全和推理，尤其可以提升概率型知识图谱的准确度，具有较好的实用性。

Description

一种基于置信超平面和词典信息的知识图谱表示学习方法

技术领域

本发明涉及知识图谱表示学习方法，具体涉及一种基于改进超平面模型和词典信息的知识图谱表示学习方法，属于自然语言处理领域。

背景技术

近年来，随着人工智能的发展及其对知识需求的急剧增加，知识图谱在工业界和学术界得到了大量关注。知识图谱将各类信息、数据和链接关系聚合为知识，是大数据环境下知识的有效组织方法。知识图谱的应用广泛，在智能搜索、智能问答、智能推荐、情报分析、反欺诈、用户输入去歧、社交网络、金融、医疗、电商以及教育科研等领域发挥了重要作用。知识图谱的通用表达方式是三元组，其基本形式包括头实体、关系、尾实体，以及概念、属性、属性值。关系用来连接2个实体，刻画它们之间的关联；

低维向量表示形式下的知识图谱推理、补全方法弥补了传统方法训练复杂、不易拓展的缺点，计算效率较高。其中代表模型之一是平移模型(transE)。平移模型受word2vec启发，利用了词向量的平移不变现象，直观上将每个三元组实例(头实体，关系，尾实体)中的关系看作从头实体到尾实体的翻译，通过不断调整h、r、t(头实体、关系和尾实体的向量)，使得(h+r)尽可能与t相等。平移模型简单易扩展，计算效率较高；但是对于知识图谱中的复杂关系，如一对多、多对一、多对多关系，平移模型处理能力较差。为了提高知识表示中对复杂关系的映射能力，超平面模型(transH)将关系模拟成一个超平面并对其进行翻译操作。具体地，超平面模型首先将头实体h和尾实体t投影到该超平面上得到h_⊥和t_⊥，即h_⊥＝h-w_r ^Thw_r和t_⊥＝t-w_r ^Ttw_r，然后使得h_⊥+r尽量和t_⊥相等。超平面模型继承了平移模型高效的特点，同时解决了表示一对多、多对一和多对多关系的复杂关系表示问题。例如，在农药致病事件中，(农药，中毒症状，咳嗽)和(农药，中毒症状，肺水肿)两个不同的三元组，通过平移模型推测二者是比较相似的。而通过超平面模型可区分出这是两个不同的三元组。

虽然超平面模型已经可以较好地区分知识表示中的一对多关系，但是该方法中，同一实体与不同关系的联系是平均的。而在领域知识中同一实体对不同关系侧重不同，使得超平面模型无法很好地处理知识图谱中的复杂关系。这就是本发明的主要研究背景。

发明内容

本发明的目的在于克服上述现有技术的不足，而提出的一种知识图谱表示学习方法，该方法包括：

步骤1通过分词工具对领域文章进行分词；人工对若干文章进行标注，得到这批文章中真实的实体及实体所属类别；从训练集全部文章中提取实体和实体所属类别的共现关系；以一篇文章中共现次数最大的类别作为实体在该文章中所属的类别；根据训练集中全部文章获得实体所有的所属类别和实体属于各个类别中的概率；经过神经网络算法训练后，得到最优的实体、实体所属的所有类别和实体所属类别的概率；

步骤2，输入知识图谱中的三元组(h*,r*,t*)，将步骤1中获得的实体类别标签和属于该类的概率作为添加项加入头实体向量和尾实体向量中，并将属于该类的概率作为置信矩阵p。并将关系向量空缺部分用“1”补齐，形成新的三元组(h,r,t)；

步骤3，根据置信矩阵，定义三元组(h,r,t)中实体向量、关系向量和置信矩阵之间的相互关联；

步骤4，通过损失函数将实体向量、关系向量和置信矩阵关联起来，并最小化损失函数，以学习实体向量、关系向量和置信矩阵，达到优化目标。

在上述的一种基于置信矩阵的知识图谱表示学习方法，每个三元组关系中有一个对应的置信矩阵，其数值的初始化是根据头实体向量所在领域词典中类别的概率确定。

在上述的一种基于置信矩阵超平面的知识图谱表示学习方法，在置信矩阵超平面对应的空间中，关系r和实体对(h,t)之间存在超平面映射关系，其相互关联的能量函数为

其中，h和t为头实体h、尾实体t对应的向量；w_r为关系超平面W_r的法向量；d_r为三元组中关系向量在关系超平面上的映射向量；p为头实体h与关系r相关的置信矩阵，其值为头实体中向量第二维所示的概率值；h_⊥为头实体h映射到具有置信矩阵的超平面后的向量；t_⊥为为尾实体h映射到具有置信矩阵的超平面后的向量。

在上述的一种基于置信超平面的知识图谱表示学习方法，通过损失函数将实体向量、超平面关系法向量和置信矩阵关联起来，并最小化损失函数，以学习实体向量、超平面关系法向量和置信矩阵；损失函数为：

具体地，用全部的实体e代替三元组的尾实体t，即将(h,r,t)替换为(h,r,e)计算其不相似度，按损失函数排序后，得到包括真实三元组的所有三元组得分。得分较真实三元组更高，说明不相似度高，记为错误三元组，反之为正确三元组。同理，用全部的实体e代替三元组的头实体h，可得相应的正确三元组和错误三元组。

其中，[x]+＝max(0,x)表示返回0和x之间的较大的那个值；γ为正确三元组损失函数值与错误三元组损失函数值之间的间隔距离；S为正确三元组的集合，S-为错误三元组的集合；f_r(h,t)为正确三元组的能量函数；f_r'(h',t')错误三元组的能量函数；约束条件中，e为实体向量，在实体向量集合E中；r为关系向量，在关系向量集合R中；w_r为超平面的法向量，d_r为超平面上的关系向量，p为置信矩阵；假设知识图谱中总共包含n_t个三元组，将第i个三元组标记为(h_i,r_i,t_i)(i＝1,2,3,....n_t)，同时每一个三元组还有一个标签y_i，如果这个三元组是正确三元组，则y_i＝1，如果这个三元组是错误三元组，则y_i＝0；S＝{(h_i,r_i,t_i)|y_i＝1}表示正确三元组的集合；相应的，错误三元组的集合表示为S^-＝{(h_i,r_i,t_i)|y_i＝0}；从知识图谱中获取正确三元组的集合S，自己构造相应的错误三元组S^-。

公开数据集FB15K中的数据关系复杂，数据量大。因此利用本发明提出的基于置信超平面的知识图谱表示学习方法对FB15K的数据进行知识图谱关系预测实验。将FB15K的关系分为四种，其与其他方法的对比结果如图4。

本发明方法解决了传统翻译模型在处理知识图谱中一对多、多对一、多对多关系时的存在的问题，同时实体是属于不同的本体，在一对多关系中，不同的关系与实体相关的概率是不同的，改变实体与特定关系相关的概率，使得实体在与多个关系相匹配时可以找到更准确的关系，从而解决超平面模型在处理领域知识图谱中复杂关系建模能力不足的问题，同时算法复杂度低、简单易行，可操作性强，因此，本发明方法可用于对知识图谱中的知识进行表示的工作。

附图说明

图1是本发明的方法流程示意图；

图2是改进后的实体向量示意图；

图3是置信超平面模型示意图；

图4是在FB15K数据集上基于关系类型的预测实体结果。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本发明提供了一种基于置信超平面和词典信息的知识图谱表示学习方法，包括：

S101、利用文章词典信息得到实体所属类别以及所属类别的概率。

本实施例中，通过分词工具对领域文章进行分词；人工对若干文章进行标注，得到这批文章中真实的实体及实体所属类别；从训练集全部文章中提取实体和实体所属类别的共现关系；以一篇文章中共现次数最大的类别作为实体在该文章中所属的类别；根据训练集中全部文章获得实体所有的所属类别和实体属于各个类别中的概率；经过神经网络算法训练后，得到最优的实体、实体所属的所有类别和实体所属类别的概率。

例如在农药致病事件中，由论文统计得出的二氯乙烷，其属于低毒的概率是73％，属于剧毒的概率为27％，因为二氯乙烷本身低毒，其蒸汽有剧毒。

S102、通过实体所属类别及所属类别的概率得到知识表示关系的置信矩阵，并重构三元组。

本实施例中，头实体转换为词向量后，向量的第1维为实体所属的大类别，第2到n-1维为实体所属的具体类别。其余维数为实体的文本信息转换为向量的表示。置信矩阵为对角阵，对于实体所属类别，给予相应的所属概率，反之设为0，其余文本信息置信系数设为1。

例如，以构建农药致病事件三元组为例，头实体转换为词向量后，向量的第1维为实体属于农药类别；向量的第2为农药实体是否属于低毒，向量的第3维为农药实体是否属于中毒，向量的第4维为农药实体是否属于高毒，向量的第5维为农药实体是否属于剧毒。其余维数为实体的文本信息转换为向量的表示。置信矩阵分别赋予农药属于低毒、中毒、高毒、剧毒的概率。如图2所示。

S103、根据置信矩阵，改进超平面模型的能量函数

本实施例中，将在置信矩阵超平面对应的空间中，关系r和实体对(h,t)之间存在超平面映射关系，其相互关联的能量函数为

其中，h和t为头实体h、尾实体t对应的向量；w_r为关系超平面W_r的法向量；p为头实体h与关系r相关的置信矩阵；h_⊥为头实体h映射到具有置信矩阵的超平面后的向量；t_⊥为为尾实体h映射到具有置信矩阵的超平面后的向量。如图3所示。

S104、根据带置信矩阵和词典信息的超平面模型处理一对多的知识表示关系。

本实施例中，通过损失函数将实体向量、超平面关系法向量和置信矩阵关联起来，并最小化损失函数，以学习实体向量、超平面关系法向量和置信矩阵；损失函数为：

具体地，用全部的实体e代替三元组的尾实体t，即将(h,r,t)替换为(h,r,e)计算其不相似度，按损失函数排序后，得到包括真实三元组的所有三元组得分。得分较真实三元组更高，说明不相似度高，记为错误三元组，反之为正确三元组。同理，用全部的实体e代替三元组的头实体h，可得相应的正确三元组和错误三元组。

其中，[x]+＝max(0,x)表示返回0和x之间的较大的那个值；γ为正确三元组损失函数值与错误三元组损失函数值之间的间隔距离；S为正确三元组的集合，S-为错误三元组的集合；f_r(h,t)为正确三元组的能量函数；f_r'(h',t')错误三元组的能量函数；约束条件中，e为实体向量，在实体向量集合E中；r为关系向量，在关系向量集合R中；w_r为超平面的法向量，d_r为超平面上的关系向量，p为置信矩阵；假设知识图谱中总共包含n_t个三元组，将第i个三元组标记为(h_i,r_i,t_i)(i＝1,2,3,....n_t)，同时每一个三元组还有一个标签y_i，如果这个三元组是正确三元组，则y_i＝1，如果这个三元组是错误三元组，则y_i＝0；S＝{(h_i,r_i,t_i)|y_i＝1}表示正确三元组的集合；相应的，错误三元组的集合表示为S^-＝{(h_i,r_i,t_i)|y_i＝0}；从知识图谱中获取正确三元组的集合S，自己构造相应的错误三元组S^-；

以农药致病事件三元组为例，根据矩阵p的值，在一对多的关系中，可推测农药因其高毒的特性，最有可能引起高毒农药会导致的疾病。

本发明提供了一种基于置信超平面和词典信息的知识图谱表示学习方法。首先重新构建三元组。将领域词典中的词汇类别信息加入实体向量中，并依据类别信息构造置信矩阵。然后根据置信矩阵，重新设计超平面模型的能量函数。最后对损失函数增加新的置信约束。通过基于置信超平面的知识表示方法，不仅可以处理知识图谱复杂关系中的一对多关系，并且可以为诸多关系排序，选择与实体最相关的关系。是一种良好的知识图谱复杂关系表示方法。

最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于置信超平面和词典信息的知识图谱表示学习方法,其特征在于，包括：

步骤1 通过分词工具对领域文章进行分词；人工对若干文章进行标注，得到这批文章中真实的实体及实体所属类别；从训练集全部文章中提取实体和实体所属类别的共现关系；以一篇文章中共现次数最大的类别作为实体在该文章中所属的类别；根据训练集中全部文章获得实体所有的所属类别和实体属于各个类别中的概率；经过神经网络算法训练后，得到最优的实体、实体所属的所有类别和实体所属类别的概率；

步骤2，输入知识图谱中的三元组(h*,r*,t*)，将步骤1中获得的实体类别标签加入头实体向量和尾实体向量中，并将实体属于该类的概率作为置信矩阵p；并将关系向量空缺部分用“1”补齐，形成新的三元组(h,r,t)；

步骤3，根据置信矩阵，定义三元组(h,r,t)中实体向量、关系向量和置信矩阵之间的相互关联；

步骤4，通过损失函数将实体向量、关系向量和置信矩阵关联起来，并最小化损失函数，以学习实体向量、关系向量和置信矩阵，达到优化目标。

2.根据权利要求1所述的一种基于置信矩阵的知识图谱表示学习方法，其特征在于：

每个三元组关系中有一个对应的置信矩阵，其数值的初始化是根据头实体向量所在领域词典中类别的概率确定。

3.根据权利要求1所述的一种基于置信矩阵超平面的知识图谱表示学习方法，其特征在于：

在置信矩阵超平面对应的空间中，关系r和实体对(h,t)之间存在超平面映射关系，其相互关联的能量函数为:

其中，h和t为头实体h、尾实体t对应的向量；w_r为关系超平面W_r的法向量；d_r为三元组中关系向量在关系超平面上的映射向量；p为头实体h与关系r相关的置信矩阵，其值为头实体中向量第二维所示的概率值；h_⊥为头实体h映射到具有置信矩阵的超平面后的向量；t_⊥为为尾实体h映射到具有置信矩阵的超平面后的向量。

4.根据权利要求1所述的一种基于置信超平面的知识图谱表示学习方法，其特征在于：

通过损失函数将实体向量、关系向量和置信矩阵关联起来，并最小化损失函数，以学习实体向量、关系向量和置信矩阵；损失函数为：

具体地，用全部的实体e代替三元组的尾实体t，即将(h,r,t)替换为(h,r,e)计算其不相似度，按损失函数排序后，得到包括真实三元组的所有三元组得分；得分较真实三元组更高，说明不相似度高，记为错误三元组，反之为正确三元组；同理，用全部的实体e代替三元组的头实体h，可得相应的正确三元组和错误三元组；

其中，[x]+＝max(0,x)表示返回0和x之间的较大的那个值；γ为正确三元组损失函数值与错误三元组损失函数值之间的间隔距离；S为正确三元组的集合，S-为错误三元组的集合；f_r(h,t)为正确三元组的能量函数；f_r'(h',t')错误三元组的能量函数；约束条件中，e为实体向量，在实体向量集合E中；r为关系向量，在关系向量集合R中；w_r为超平面的法向量，d_r为超平面上的关系向量，p为置信矩阵；假设知识图谱中总共包含n_t个三元组，将第i个三元组标记为(h_i,r_i,t_i)(i＝1,2,3,....n_t)，同时每一个三元组还有一个标签y_i，如果这个三元组是正确三元组，则y_i＝1，如果这个三元组是错误三元组，则y_i＝0；S＝{(h_i,r_i,t_i)|y_i＝1}表示正确三元组的集合；相应的，错误三元组的集合表示为S^-＝{(h_i,r_i,t_i)|y_i＝0}；从知识图谱中获取正确三元组的集合S，自己构造相应的错误三元组S^-。

Images