CN111897975A - 一种面向知识图谱表示学习训练的局部训练方法 - Google Patents

Abstract

本发明公开了一种面向知识图谱表示学习训练的局部训练方法，所述方法包括如下步骤：步骤S1、获取知识图谱训练数据；步骤S2、计算训练所应使用的向量空间维度；步骤S3、判断是否可以通过调整原有模型得到新模型；步骤S4、模型训练；步骤S5、模型与数据存储。本发明可根据知识图谱的数据规模计算得出训练所需使用的向量空间维度，避免过小的维度造成模型性能不佳与过大的维度浪费计算资源与训练所需时间的问题。本发明对于变化的知识图谱，可以在原有表示学习模型的基础上进行训练调整，从而快速得到变化后知识图谱的表示学习模型，节省大量训练所需的时间，从而使上层应用可以更及时地感知到知识图谱的变化。

Description

一种面向知识图谱表示学习训练的局部训练方法

技术领域

本发明属于计算机知识图谱技术领域，涉及一种面向知识图谱表示学习训练的局部训练方法，具体涉及一种考虑到知识图谱持续变化的动态表示学习训练方法。

背景技术

知识图谱是一种由实体作为点，实体与实体之间的关系作为边而组成的图。自从2012年Google推出自己第一版知识图谱以来，知识图谱快速发展。知识图谱可以向外提供查询能力和推理能力，在社交网络、金融、医疗、反欺诈、企业关系分系等众多领域都得到了应用。而由于图搜索算法的高复杂性，当图谱中的数据量不断增大到一定程度后，图谱中的计算效率就会降低，同时数据稀疏问题也为图算法带来了困难。

表示学习旨在将研究对象的语义信息表示为稠密低维实值向量，知识表示学习则面向知识库中的实体和关系进行表示学习。知识表示学习的出现很好地避免了图搜索算法的高复杂度问题，可以在低维空间中高效计算实体和关系的语义联系，有效解决数据稀疏问题，使知识获取、融合和推理的性能得到显著提升。

然而，知识图谱并不是一成不变的。随着新的知识不断加入到知识图谱，以及对于原有的不正确的知识的修改，知识图谱才能逐步的丰富、完整。传统的表示学习方法只关注表示学习模型的准确性，而忽略了对于训练时间代价的优化，同时也没有考虑到如何应对知识图谱动态变化的特点。传统的知识表示学习方法面对动态变化的知识图谱时，只能在知识图谱每一次发生变化后都从零开始重新进行训练，这会产生巨大的时间代价。在重新训练完成前，依靠该知识图谱提供知识支持的上层应用都无法感知到新获得的知识以及旧知识的变化。

知识图谱的变化是存在连续性的，在知识图谱的每一次变化中，大部分的原有知识都会得到保留，而知识图谱中发生的变化只占图谱中的一小部分。对于原有的知识，表示学习模型已经在对变化前图谱数据的训练中学习得到了，而传统的方法在对变化后图谱的训练过程中无法利用这些已经学习得到的知识，而是从零开始重新学习。这使得系统每一次都需要重复地学习相同的知识，这造成了计算资源的浪费，并且会产生难以接受的时间代价。

基于上述研究背景可以发现，通过对图谱变化前训练得到的知识表示学习模型充分利用，并在其基础上根据知识图谱的变化做出适当的调整，就可以快速得到变化后知识图谱的表示学习模型。

发明内容

为了解决现有技术中存在的以上问题，本发明对于面向知识图谱表示学习训练的局部训练问题，提出了一种面向知识图谱表示学习训练的局部训练方法。本发明可根据知识图谱的数据规模计算得出训练所需使用的向量空间维度，避免过小的维度造成模型性能不佳与过大的维度浪费计算资源与训练所需时间的问题。本发明对于变化的知识图谱，可以在原有表示学习模型的基础上进行训练调整，从而快速得到变化后知识图谱的表示学习模型，节省大量训练所需的时间，从而使上层应用可以更及时地感知到知识图谱的变化。

本发明的目的是通过以下技术方案实现的：

一种面向知识图谱表示学习训练的局部训练方法，包括如下步骤：

步骤S1、获取知识图谱训练数据：

读取系统中存储的知识图谱数据，并以训练所需的特定数据格式存储，具体步骤如下：

知识图谱以三元组的形式在Neo4j图数据库中存储，首先读取Neo4j数据库中的知识图谱数据，将知识图谱数据以训练所需的特定格式存储为文件，共包含以下几个文件：1)实体与实体id映射文件；2)关系与关系id映射文件；3)以id表示的三元组训练集；4)以id表示的三元组验证集；5)以id表示的三元组测试集；

步骤S2、计算训练所应使用的向量空间维度：

获取知识图谱中实体数量，利用知识图谱规模与所应使用向量空间维度的关系的数学表达式计算出本次训练所应使用的向量空间维度；

步骤S3、判断是否可以通过调整原有模型得到新模型：

判断此次训练是否可以在原有模型的基础上进行训练，还是需要重新训练得到模型，具体步骤如下：

(1)判断此次训练是否是在该数据上进行的第一次训练，若此次训练是在该数据上进行的第一次训练，则需要从零开始训练得到表示学习模型，否则进入步骤S3(2)判断；

(2)判断该数据是否可以在原有模型所使用的向量空间维度中进行训练，即通过步骤S2计算得到的向量空间维度，若计算得到的所应使用的向量空间维度大于原有模型所使用的维度，则需要重新训练模型，否则通过对已有模型的调整得到新的表示学习模型；

步骤S4、模型训练：

通过训练得到变化后知识图谱的表示学习模型，具体步骤如下：

(1)对比变化前后的知识图谱：通过对比得到知识图谱中原有的实体和关系以及新加入到图谱中的实体和关系，调整新知识图谱训练所用文件，将文件中原有的实体和关系的id与变化前图谱实体和关系的id进行对应；

(2)模型初始化：将图谱变化前包含的实体和关系与新加入图谱中的实体和关系分别设置参数表述，利用关于该图谱已有的表示学习模型将知识图谱中原有实体和关系的向量表示进行初始化，原有模型已经通过训练学习得到了这些实体和关系的向量表示，对于在此次变化中新加入到知识图谱中的实体和关系，已有的模型中没有它们的向量表示信息，由TransE模型的损失函数可知其优化目标为使三元组头实体与关系的向量和等于尾实体的向量表示，根据该规则当已知一个三元组中两个元素的向量表示时，即可计算得出另外一个未知元素的向量表示，由此可以初步计算得出得到新加入到图谱中的实体和关系的的向量表示，至此模型初始化完成；

(3)在初始化结果的基础上进行训练：训练所用三元组文件全部读入，按batchsize参数值选取训练数据数目，按目标函数逐步迭代进行优化，直到模型达到收敛条件；

步骤S5、模型与数据存储：

将训练得到的模型和训练数据进行存储，具体步骤如下：

(1)将训练使用的数据更名进行存储，用于下一次训练时与新数据进行对比得到图谱的变化信息；

(2)将训练得到的模型存储下来，用于提供链接预测等功能，也用于下一次模型训练的初始化过程中。

相比于现有技术，本发明具有如下优点：

1、本发明通过大量实验得到了表示学习中所应选用的训练空间维度与知识图谱数据规模关系的数学表达式。根据该表达式可以快速计算得出模型训练所应选用的向量空间维度，避免了选用维度过小导致模型预测准确性差，或选用维度过大导致不必要的计算资源浪费与训练时间过长的问题。

2、本发明对于持续变化的知识图谱数据，通过复用图谱变化前的表示学习模型数据，并在其基础之上进行调整得到新的表示学习模型，使得在后续的训练中只需要学习知识图谱变化的部分，而不需要像传统方法一样每一次训练都需要从零开始重新进行训练。这样大大节省了训练所需要的计算资源，缩短了训练所需要的时间，使得上层应用可以更快地感知到所用知识发生的变化。

附图说明

图1为本发明的面向知识图谱表示学习训练的局部训练方法的流程图；

图2为知识图谱数据存储示意图；

图3为训练所需向量空间维度与知识图谱中实体数目关系图；

图4为模型训练流程图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供一种面向知识图谱表示学习训练的局部训练方法，如图1所示，所述方法包括以下步骤：

步骤S1、获取知识图谱训练数据。

如图2所示，训练所需的知识图谱数据以三元组的形式存储在Neo4j图数据库中。首先我们需要从该数据库中读取得到知识图谱数据。三元组结果为(头实体、关系、尾实体)。在三元组数据中提取得到所有的实体和关系，并建立和连续增长的id的映射。将三元组数据分为训练集、验证集、测试集三个部分，三个部分数据量比例为10：1：1。使用实体和关系的id替换元组中的实体和关系。将文件按格式进行存储，用于训练。文件包括：1)实体与实体id映射文件；2)关系与关系id映射文件；3)以id表示的三元组训练集；4)以id表示的三元组验证集；5)以id表示的三元组测试集。

步骤S2、计算训练所应使用的向量空间维度。

我们进行了大量的实验，将不同规模的知识图谱数据在不同维度的向量空间中进行训练，对得到各个模型进行评价。根据实验结果，我们得到了知识图谱规模与所应使用向量空间维度的关系的数学表达式。根据该数学表达式可计算出本次训练所应使用的向量空间维度。

图3所示是训练所需向量空间维度与知识图谱中实体数目关系图。折线是经过大量实验后得到的向量空间维度与知识图谱中实体数目关系。通过对该曲线的观察可以发现，向量空间维度与知识图谱中实体数目存在对数函数关系。使用对数函数对实验数据进行拟合后得到圆滑曲线的数学表达式，根据表达式我们可以快速计算得出所应使用的向量空间维度。

步骤S3、判断是否可以通过调整原有模型得到新模型。

只有系统中已经存在图谱变化前训练得到的模型，并且根据知识图谱数据规模在步骤S2中计算得出的应使用的训练空间维度不高于原有模型的条件下才可以使用原有模型对新的模型进行初始化，并在该基础上进行训练。否则都需要对模型进行随机初始化，从零开始对模型进行训练。

步骤S4、模型训练。

如图4所示，本步骤通过使用原有模型数据对新的模型进行初始化，并在其基础上进行训练得到表示学习模型。首先要对比变化前后的知识图谱。通过对比得到知识图谱中原有的实体和关系以及新加入到图谱中的实体和关系。将训练所用的知识图数据文件中原有实体和关系的id与变化前图谱数据的id相对应，新加入到图谱中的实体和关系的id在原有实体和关系的id后接续增长。这样方便使用原有模型数据对新模型进行初始化。然后进行模型初始化。利用系统中关于该图谱已有的表示学习模型，将变化后知识图谱中原有实体和关系的向量表示进行初始化。原有模型已经通过训练学习得到了这些实体和关系的向量表示。对于在此次变化中新加入到知识图谱中的实体和关系，已有的模型中没有它们的向量表示信息。通过模型的损失函数初步粗略计算得到它们的向量表示。最后在初始化结果的基础上进行训练。读入训练所用三元组文件，按一定规格选取训练数据数目，按目标函数逐步迭代进行优化，直到模型达到收敛条件。

步骤S5、模型与数据存储。

将步骤S4中得到的训练所需文件进行存储，用于图谱再次变化后的训练中作为原有知识图谱和新知识图谱进行比较。将训练得到的表示学习模型进行存储，用于进行链接预测，也用于图谱再次变化后的训练中步骤S4进行模型初始化。

实施例：

本实施例在Linux4.4系统服务器运行。服务器配置GPU为双TITANV12G，CPU为Intel(R)Xeon(R)Gold5120CPU@2.20GHz，内存为128G。

在Freebase中提取高频率数据得到多个不同规模的子集，作为数据，以得到的数据集为初始状态，不断地向数据集中添加新的元组，其中伴随着新的实体和关系的加入，知识图谱每一次发生变化后，都使用本发明的方法对其进行表示学习训练。

将本发明使用的方法与传统TransE方法训练得到模型的性能指标与平均训练时间分别进行对比，实验结果如表1所示，表中MR指MeanRank，表示在使用模型进行链接预测时正确答案在预测列表中的平均排名，数值越小说明模型性能越好。实验结果表明，相比于传统方法，本发明在不降低模型性能的条件下，大大缩短了表示学习模型训练所需要的时间。对于不同规模的知识图谱，传统方法在越大的知识图谱上训练所需时间越长，而本发明只在第一次训练过程消耗时间较长，本发明的方法在第一次训练过程中也是从零开始进行模型的训练，但在后续知识图谱变化过程中的训练中，耗时均明显低于传统方法，且受知识图谱数据规模影响较小。

表1本发明方法与传统TransE方法结果对比

Claims (5)

1.一种面向知识图谱表示学习训练的局部训练方法，其特征在于所述方法包括如下步骤：

步骤S1、获取知识图谱训练数据：

读取系统中存储的知识图谱数据，并以训练所需的特定数据格式存储；

步骤S2、计算训练所应使用的向量空间维度：

获取知识图谱中实体数量，利用知识图谱规模与所应使用向量空间维度的关系的数学表达式计算出本次训练所应使用的向量空间维度；

步骤S3、判断是否可以通过调整原有模型得到新模型：

判断此次训练是否可以在原有模型的基础上进行训练，还是需要重新训练得到模型；

步骤S4、模型训练：

通过训练得到变化后知识图谱的表示学习模型；

步骤S5、模型与数据存储：

将训练得到的模型和训练数据进行存储。

2.根据权利要求1所述的面向知识图谱表示学习训练的局部训练方法，其特征在于所述步骤S1的具体步骤如下：

知识图谱以三元组的形式在Neo4j图数据库中存储，首先读取Neo4j数据库中的知识图谱数据，将知识图谱数据以训练所需的特定格式存储为文件，共包含以下几个文件：1)实体与实体id映射文件；2)关系与关系id映射文件；3)以id表示的三元组训练集；4)以id表示的三元组验证集；5)以id表示的三元组测试集。

3.根据权利要求1所述的面向知识图谱表示学习训练的局部训练方法，其特征在于所述步骤S3的具体步骤如下：

(1)判断此次训练是否是在该数据上进行的第一次训练，若此次训练是在该数据上进行的第一次训练，则需要从零开始训练得到表示学习模型，否则进入步骤S3(2)判断；

(2)判断该数据是否可以在原有模型所使用的向量空间维度中进行训练，即通过步骤S2计算得到的向量空间维度，若计算得到的所应使用的向量空间维度大于原有模型所使用的维度，则需要重新训练模型，否则通过对已有模型的调整得到新的表示学习模型。

4.根据权利要求1所述的面向知识图谱表示学习训练的局部训练方法，其特征在于所述步骤S4的具体步骤如下：

(1)对比变化前后的知识图谱：通过对比得到知识图谱中原有的实体和关系以及新加入到图谱中的实体和关系，调整新知识图谱训练所用文件，将文件中原有的实体和关系的id与变化前图谱实体和关系的id进行对应；

(2)模型初始化：将图谱变化前包含的实体和关系与新加入图谱中的实体和关系分别设置参数表述，利用关于该图谱已有的表示学习模型将知识图谱中原有实体和关系的向量表示进行初始化，对于在此次变化中新加入到知识图谱中的实体和关系，由TransE模型的损失函数可知其优化目标为使三元组头实体与关系的向量和等于尾实体的向量表示，根据该规则当已知一个三元组中两个元素的向量表示时，即可计算得出另外一个未知元素的向量表示，由此初步计算得出得到新加入到图谱中的实体和关系的的向量表示，至此模型初始化完成；

(3)在初始化结果的基础上进行训练：训练所用三元组文件全部读入，按batchsize参数值选取训练数据数目，按目标函数逐步迭代进行优化，直到模型达到收敛条件。

5.根据权利要求1所述的面向知识图谱表示学习训练的局部训练方法，其特征在于所述步骤S5的具体步骤如下：

(1)将训练使用的数据更名进行存储，用于下一次训练时与新数据进行对比得到图谱的变化信息；

(2)将训练得到的模型存储下来，用于提供链接预测功能和下一次模型训练的初始化过程中。

Images