CN109213872A - 基于知识表示学习的实体关系预测方法及预测系统 - Google Patents

Abstract

本发明公开了一种基于知识表示学习的实体关系预测方法及预测系统，该方法中包括知识准备、知识表示模型构建，知识表示模型训练、实体关系预测等4个模块。其中知识准备模块完成数据准备，并构建成知识图谱；知识表示模型构建模块完成模型的构建，该模型通过投影运算消除了不同类别实体之间的语义差异；知识表示模型训练模块基于知识图谱迭代训练知识表示模型的参数，形成最终的知识表示模型；实体关系预测模块可以对任意给定的两个实体，预测两者之间可能存在的关系。本发明中的方法基于知识图谱进行实体关系预测，并通过空间投影算法将不同类型的实体投影到相同的语义空间后进行计算操作，预测结果可靠性高。

Description

基于知识表示学习的实体关系预测方法及预测系统

技术领域

本发明属于实体间的关系预测领域，是一种基于知识图谱采用机器学习的实体关系预测方法及预测系统。

背景技术

在未来网络化环境下，战场信息和各类情报信息分布广泛，具有碎片化、零散化的分布特征，情报信息往往隐藏在各分散的碎片信息中。在未来快节奏的战争环境下，信息服务系统要能从分散的信息中发掘信息之间隐藏的关联关系，快速提取有价值的信息，迅速为指挥员提供高质量的信息支撑。

目前大部分学者对实体关系的研究方向主要集中在实体关系抽取和实体关系推理上。实体关系抽取研究主要解决如何从开放式的、自然语言形式的文本中抽取实体之间的关系的问题，本质上这些关系是客观存在于文本信息中的，通过采用一定的抽取算法，自动的从文本中抽取关系，提高了关系抽取的速度和自动化程度；实体关系推理的研究主要采用基于规则的推理，通过构建本体并将本体与规则集成的方式，在一定程度上实现了关系推理，但是一方面规则的提取和构建难度比较高，另一方面，规则不具备推广性，必须针对特定问题建立特定的规则库。

李颖、郝晓燕、王勇等学者在“中文开放式多元实体关系抽取”文章中，给出了一种基于依存分析的中文开放式多元实体关系抽取方法，该方法中首先对文本集进行预处理和依存关系分析，然后将动词视为候选关系词，将与此动词有满足条件的有效依存路径的基本名词短语视为实体词，关联两个及两个以上的实体词的关系词可与实体词组成候选多元实体关系组，最后使用经过训练的逻辑回归分类器对多元实体关系组进行过滤(李颖、郝晓燕、王勇，中文开放式多元实体关系抽取，计算机科学，2017，6，第44卷，第6A期，80-83)

薛丽娟，席梦隆，王梦婕等学者在“基于规则推理引擎的实体关系抽取研究”文章总，给出了一种综合多种数据源，并结合规则推理引擎的实体关系抽取方法，准确地说就是综合结构化和非结构化两种数据源，在结构化数据提供少量种子的情况下用规则推理引擎推理出更多的实体关系。然后使用远程监督学习方法从无结构的文本中抽取实体关系，通过多次迭代获得最终的实体关系(薛丽娟，席梦隆，王梦婕，王昊奋，阮彤，基于规则推理引擎的实体关系抽取研究，计算机科学与探索，2016,10(9),1310-1319)。

现有的基于知识图谱的检索技术采用的匹配技术，只能搜索已有的关系，不能挖掘出隐藏在数据内部的关系，有时由于数据采集的局限性，后者数据丢失等，会造成知识图谱不完整，而采用知识表示学习的技术来预测关系，可以很好的解决这个问题，任意给出两个实体，可以预测出两者之间可能存在的关系，并根据知识表示向量计算关系的排序，按照可能性排序，为指挥员或情报分析人员提供参考和建议。

发明内容

针对上述实体关系预测研究中存在的问题和不足，本发明的目的在于提供一种基于知识表示学习的实体关系预测方法及预测系统，在预测过程中对不同的语义空间进行了投影计算，提高语义准确度。

本发明公开了一种基于知识表示学习的实体关系预测方法，包括以下步骤：

S1：将现有的数据和信息转化RDF三元组描述的知识形式，形成一个三元组集合；

S2：构建知识表示模型；

S3：利用三元组集合对知识表示模型进行训练；

S4：基于上述的模型训练结果，计算任意给定的两个实体之间可能存在关系。

所述三元组集合表示为：S＝{(h,r,t)}，其中(h,r,t)表示一个三元组，h表示头实体，r表示关系，t表示尾实体。

所述S2构建知识表示模型具体为：对于三元组集合S中的每个三元组(h,r,t)，将实体和关系分别用一个低维稠密的向量来表示，使得满足l_h+l_r≈l_t，其中l_h，l_r，l_t分别是h，r，t的向量表示；对头实体、尾实体进行空间投影操作，将头实体和尾实体投影到关系对应的空间中，进行运算；

M_rh，M_rt分别为头实体和尾实体设置投影到关系空间的投影矩阵：

其中，为行向量，下标p表示该向量为投影向量，表示向量的转置。

所述S3具体包括：

S3-1：遍历所有三元组的集合S，找出所有不同实体，记为集合E＝{e₁,e₂,…,e_m}，找出所有不同的关系，记为集合R＝{r₁,r₂,…,r_n}，设定实体与关系的向量表示的维度分别为d和k；

S3-2：初始化每个关系的取值，对于任意的r_i∈R,(i＝1,2,…,n)，对r_i对应向量的每个分量从标准正太分布的范围内随机赋初值；

S3-3：对每个r_i作归一化处理，令r_i＝r_i/||r_i||，其中||r_i||表示向量r_i的长度，

S3-4：对于每个r_i(i＝1,2,…,n)，构造一组投影向量，三个投影向量的维度分别为d维、d维和k维，分别从标准正太分布的 范围内随机赋初值，并对向量作归一化处理；

S3-5：初始化每个实体的取值，对于任意的e_i∈E,(i＝1,2,…,m)，对e_i对应向量的每个分量从标准正太分布的取值范围内随机赋初值；

S3-6：对每个e_j作归一化处理，即令e_j＝e_j/||e_j||，其中||e_j||表示向量e_j的长度，

S3-7：取样：从三元组集合S中选取b个三元组，构建训练样本S_batch；

S3-8：构造反例：对于S_batch中的所有三元组，随机构建反例，反例的集合记为S′_batch，具体做法是，依次取出每一个三元组，随机替换三元组的头实体或者尾实体；

S3-9：构建单次迭代的训练样本集合T_batch，其中T_batch＝S_batch∪S′_batch；

S3-10：计算损失值，其中损失函数loss定义如下：

其中，γ是一个边际参数，代表正例与反例之间的间隔；

f_r(h,t)＝||l_hM_rh+l_r-l_tM_rt||_L2 (3)

其中，l_h,l_t∈R^d,l_r∈R^k，分别是头实体h、尾实体t和关系r的向量表示，L2表示距离度量为欧几里得距离；

计算损失函数loss对于每个向量的梯度，计算公式方法如下：

同理，计算损失函数对于的梯度；

S3-11：采用梯度下降法更新向量的值，计算损失函数对于每个向量的梯度，更新实体对应的向量，

更新向量的每个分量。

S3-12：重复S3-6—S3-11，直至满足迭代退出条件：迭代次数达到指定次数或者损失函数的值降低幅度小于设定的阈值；

S3-13：记录所有向量e_j，r_i，的值，将所有向量的值写入文件保存。

所述S4具体步骤如下：

S4-1：从文件中读取的值，计算M_rh，M_rt的值；

S4-2：输入待预测的两个实体，e_a，e_b，首先判别这两个实体是否存在于训练过程中，若e_a,e_b∈E，则找出两个实体的向量表示，进入S4-3，否者结束预测，给出提示，待预测的实体未经训练，无法预测。

S4-3：遍历关系集合R，对于任意的r_i∈R，(i＝1,2,…,n)，计算e_a，e_b与r_i之间的距离计算方法如下：

其中，min{}表示取{}内的最小值；

S4-4：从所有的中，其中i＝1,2,…,n，选出值最小的N个并对这N个进行从小到大排序；

S4-5：对最终产生的N个找出对应的r_i，按照顺序输出，为预测结果，表示e_a，e_b之间可能的关系。

本发明还公开了一种基于知识表示学习的实体关系预测系统，包括：

知识准备模型，用于进行数据准备，将现有的数据和信息转化RDF三元组描述的知识形式，形成一个三元组集合，并构建成知识图谱；

知识表示模型，通过投影运算消除不同类别实体之间的语义差异；

知识表示学习训练模型，基于知识图谱迭代训练知识表示模型的参数，形成最终的知识表示模型；

实体关系测量模型，对任意给定的两个实体，预测两者之间可能存在的关系

有益效果：本发明中的实体关系预测方法采用了知识表示学习技术，有以下几个主要优点：

(1)预测的关系不局限于已经记录存储的关系，还能发掘隐藏的关系；

(2)显著提升了计算效率，以往对于知识图谱采用图算法计算实体间的语义和推理关系，计算复杂度高，可扩展性差，而表示学习得到的分布式表示，可以高效实现语义相似度计算等操作；

(3)有效缓解数据稀疏问题，表示学习将实体投影到统一的低维空间中，使得每个实体对应一个稠密向量，因此可以度量任意两个实体之间的语义相似度；

(4)实现了异质信息融合，通过表示学习模型将不同来源的实体投影到同一个语义空间中，建立统一的表示空间，实现异质实体间的语义相似度关联计算，实现了多知识库的信息融合。

具体实施方式

本发明提供了一种基于知识表示学习的实体关系预测算法，具体步骤如下：

S1：知识准备模块将现有的数据和信息转化RDF三元组描述的知识形式，形成一个三元组集合S，S＝{(h,r,t)}，其中(h,r,t)表示一个三元组，h表示头实体，r表示关系，t表示尾实体，具体为：

S1-1：从非结构化信息中提取三元组：

从一句文本中提取主语、谓语、宾语，形成一条知识，记为RDF三元组形式，抽象成公式表示为(h,r,t)。比如，从“美国的总统是奥巴马”中提取主语、谓语、宾语，记为三元组形式为(美国，总统，奥巴马)，这里头实体h代表美国，关系r代表总统，尾实体t代表奥巴马。

S1-2：将结构化数据转化成三元组：

将现有的数据库数据快速转化成大量的RDF三元组，具体操作为：将一条数据库记录中的主体作为主语，属性名作为谓语，属性值作为宾语，构建三元组(h,r,t)。示例如下：

从上述结构化数据中抽取三元组如下：(某航空兵大队，部署地，兰州)、(某航空兵大队，武器配置，直升机)、(某地面作战分队，部署地，南京)、(某地面作战分队，武器配置，坦克)……

S2：知识表示模型构建模块中完成知识表示模型的构建和知识表示后的距离度量算法，具体如下：

S2-1：构建知识表示模型：

对于集合S中的每个三元组(h,r,t)，将实体和关系分别用一个低维稠密的向量来表示，使得满足l_h+l_r≈l_t，其中l_h，l_r，l_t分别是h，r，t的向量表示。考虑到头实体、尾实体和关系处于不同的语义空间，比如三元组(美国，总统，奥巴马)中，头实体是国家，尾实体是人名，关系是职位，不同语义空间的向量直接进行加减运算会丢失语义信息，降低准确度。为此，需要对头实体、尾实体进行空间投影操作，将头实体和尾实体投影到关系对应的空间中，本方法中分别为头实体和尾实体设置投影到关系空间的投影矩阵，M_rh，M_rt，投影矩阵的构造方法如下：

其中，均为行向量，下标p表示该向量为投影向量，表示向量的转置。M_rh，M_rt两个投影矩阵跟实体和关系均相关，利用投影向量构建投影矩阵的方法相比如直接构造d×k维的投影矩阵，可以使得模型中的参数比较少，训练速度更快。

S2-2：建立知识向量表示后距离度量方法，即建立损失函数，如下：

f_r(h,t)＝||l_hM_rh+l_r-l_tM_rt||_L2 (3)

其中，l_h,l_t∈R^d,l_r∈R^k，分别是头实体h、尾实体t和关系r的向量表示，L2表示距离度量为欧几里得距离。

S3：知识表示模型训练中利用三元组集合S训练步骤知识表示模型，具体步骤如下：

S3-1：遍历所有三元组的集合S，(S＝{(h,r,t)}，知识图谱构建后生成的三元组集合)，找出所有不同实体，记为集合E＝{e₁,e₂,…,e_m}，找出所有不同的关系，记为集合R＝{r₁,r₂,…,r_n},设定实体与关系的向量表示的维度分别为d和k。

S3-2：初始化每个关系的取值，对于任意的r_i∈R,(i＝1,2,…,n)，对r_i对应向量的每个分量(共计有k个分量)从标准正太分布的范围内随机赋初值。

S3-3：对每个r_i作归一化处理，即令r_i＝r_i/||r_i||，其中||r_i||表示向量r_i的长度，也就是r_i的每个分量除以该向量的长度。

S3-4：对于每个r_i(i＝1,2,…,n)，构造一组投影向量，三个投影向量的维度分别为d维、d维和k维，分别从标准正太分布的 范围内随机赋初值，并对向量作归一化处理，归一化过程类似于S3-3。

S3-5：初始化每个实体的取值，对于任意的e_i∈E,(i＝1,2,…,m)，对e_i对应向量的每个分量(共计有d个分量)从标准正太分布的取值范围内随机赋初值。

S3-6：对每个e_j作归一化处理，即令e_j＝e_j/||e_j||，其中||e_j||表示向量e_j的长度，也就是e_j的每个分量除以该向量的长度。

S3-7：取样，从三元组集合S中选取b个三元组，构建训练样本S_batch。

S3-8：构造反例，对于S_batch中的所有三元组，随机构建反例，反例的集合记为S′_batch，具体做法是，依次取出每一个三元组，随机替换三元组的头实体或者尾实体，比如，取出的三元组记为(h₁,r₁,t₁)，随机替换后的三元组记为(h′₁,r₁,t′₁)，满足h₁＝h′₁且t₁≠t′₁，或者满足h₁≠h′₁且t₁＝t′₁。

S3-9：构建单次迭代的训练样本集合T_batch，其中T_batch＝S_batch∪S′_batch。

S3-10：计算损失值，其中损失函数loss定义如下：

其中，γ是一个边际参数，代表正例与反例之间的间隔。

计算损失函数对于每个向量的梯度，计算公式方法如下：

类似的，可以计算损失函数对于的梯度。

S3-11：采用梯度下降法更新向量的值，计算损失函数对于每个向量的梯度，更新实体对应的向量

类似的，可以更新向量的每个分量。

S3-12：重复S3-6—S3-11，直至满足迭代退出条件：迭代次数达到指定次数或者loss函数的值降低幅度小于设定的阈值。

S3-13：记录所有向量e_j，r_i，的值，将所有向量的值写入文件保存。

S4：实体关系预测模块中基于上述的模型训练结果，计算任意给定的两个实体之间可能存在关系，具体步骤如下：

S4-1：加载预测模型的参数，即从文件中读取的值，读取程序内存中，计算M_rh，M_rt的值。计算公式为：

其中，均为行向量，下标p表示该向量为投影向量，表示向量的转置。M_rh，M_rt表示头实体和尾实体的投影矩阵。

S4-2：输入待预测的两个实体，e_a，e_b，首先判别这两个实体是否存在于训练过程中，具体操作是，如果e_a,e_b∈E，则找出两个实体的向量表示，进入步骤3，否者结束预测，给出提示，待预测的实体未经训练，无法预测。

S4-3：遍历关系集合R，预测e_a，e_b之间可能的关系。具体操作是，对于任意的r_i∈R，(i＝1,2,…,n)，计算e_a，e_b与r_i之间的距离计算方法如下：

min{}表示取{}内的最小值。

S4-4：从所有的中，其中i＝1,2,…,n，选出值最小的N个(个数可以根据需要设置，比如N＝10)，并对这N个进行从小到大排序。

S4-5：对步骤4中最终产生的N个找出对应的r_i，按照顺序输出，即为预测结果，表示e_a，e_b之间可能的关系，顺序越靠前，可能性越大。

Claims (6)

1.基于知识表示学习的实体关系预测方法，其特征在于：包括以下步骤：

S1：将现有的数据和信息转化RDF三元组描述的知识形式，形成一个三元组集合；

S2：构建知识表示模型；

S3：利用三元组集合对知识表示模型进行训练；

S4：基于上述的模型训练结果，计算任意给定的两个实体之间可能存在关系。

2.根据权利要求1所述的基于知识表示学习的实体关系预测方法，其特征在于：所述三元组集合表示为：S＝{(h,r,t)}，其中(h,r,t)表示一个三元组，h表示头实体，r表示关系，t表示尾实体。

3.根据权利要求2所述的基于知识表示学习的实体关系预测方法，其特征在于：所述S2构建知识表示模型具体为：对于三元组集合S中的每个三元组(h,r,t)，将实体和关系分别用一个低维稠密的向量来表示，使得满足l_h+l_r≈l_t，其中l_h，l_r，l_t分别是h，r，t的向量表示；对头实体、尾实体进行空间投影操作，将头实体和尾实体投影到关系对应的空间中，进行运算；

M_rh，M_rt分别为头实体和尾实体设置投影到关系空间的投影矩阵：

其中，为行向量，下标p表示该向量为投影向量，表示向量的转置。

4.根据权利要求3所述的基于知识表示学习的实体关系预测方法，其特征在于：所述S3具体包括：

S3-1：遍历所有三元组的集合S，找出所有不同实体，记为集合E＝{e₁,e₂,…,e_m}，找出所有不同的关系，记为集合R＝{r₁,r₂,…,r_n}，设定实体与关系的向量表示的维度分别为d和k；

S3-2：初始化每个关系的取值，对于任意的r_i∈R,(i＝1,2,…,n)，对r_i对应向量的每个分量从标准正太分布的范围内随机赋初值；

S3-3：对每个r_i作归一化处理，令r_i＝r_i/||r_i||，其中||r_i||表示向量r_i的长度，

S3-4：对于每个r_i(i＝1,2,…,n)，构造一组投影向量，三个投影向量的维度分别为d维、d维和k维，分别从标准正太分布的 范围内随机赋初值，并对向量作归一化处理；

S3-5：初始化每个实体的取值，对于任意的e_i∈E,(i＝1,2,…,m)，对e_i对应向量的每个分量从标准正太分布的取值范围内随机赋初值；

S3-6：对每个e_j作归一化处理，即令e_j＝e_j/||e_j||，其中||e_j||表示向量e_j的长度，

S3-7：取样：从三元组集合S中选取b个三元组，构建训练样本S_batch；

S3-8：构造反例：对于S_batch中的所有三元组，随机构建反例，反例的集合记为S'_batch，具体做法是，依次取出每一个三元组，随机替换三元组的头实体或者尾实体；

S3-9：构建单次迭代的训练样本集合T_batch，其中T_batch＝S_batch∪S'_batch；

S3-10：计算损失值，其中损失函数loss定义如下：

其中，γ是一个边际参数，代表正例与反例之间的间隔；

f_r(h,t)＝||l_hM_rh+l_r-l_tM_rt||_L2 (3)

其中，l_h,l_t∈R^d,l_r∈R^k，分别是头实体h、尾实体t和关系r的向量表示，L2表示距离度量为欧几里得距离；

计算损失函数loss对于每个向量的梯度，计算公式方法如下：

同理，计算损失函数对于的梯度；

S3-11：采用梯度下降法更新向量的值，计算损失函数对于每个向量的梯度，更新实体对应的向量，

更新向量的每个分量。

S3-12：重复S3-6—S3-11，直至满足迭代退出条件：迭代次数达到指定次数或者损失函数的值降低幅度小于设定的阈值；

S3-13：记录所有向量e_j，r_i，的值，将所有向量的值写入文件保存。

5.根据权利要求4所述的基于知识表示学习的实体关系预测方法，其特征在于：所述S4具体步骤如下：

S4-1：从文件中读取的值，计算M_rh，M_rt的值；

S4-2：输入待预测的两个实体，e_a，e_b，首先判别这两个实体是否存在于训练过程中，若e_a,e_b∈E，则找出两个实体的向量表示，进入S4-3，否者结束预测，给出提示，待预测的实体未经训练，无法预测。

S4-3：遍历关系集合R，对于任意的r_i∈R，(i＝1,2,…,n)，计算e_a，e_b与r_i之间的距离计算方法如下：

其中，min{}表示取{}内的最小值；

S4-4：从所有的中，其中i＝1,2,…,n，选出值最小的N个并对这N个进行从小到大排序；

S4-5：对最终产生的N个找出对应的r_i，按照顺序输出，为预测结果，表示e_a，e_b之间可能的关系。

6.基于权利要求1-5任意一项所述的基于知识表示学习的实体关系预测方法的预测系统，其特征在于：包括

知识准备模型，用于进行数据准备，将现有的数据和信息转化RDF三元组描述的知识形式，形成一个三元组集合，并构建成知识图谱；

知识表示模型，通过投影运算消除不同类别实体之间的语义差异；

知识表示学习训练模型，基于知识图谱迭代训练知识表示模型的参数，形成最终的知识表示模型；

实体关系测量模型，对任意给定的两个实体，预测两者之间可能存在的关系。