CN111046193A - 一种基于元学习的领域知识图谱补全方法 - Google Patents

Abstract

本发明的目的是提供了一种基于元学习的领域知识图谱补全方法，提供一种知识图谱补全方式，仅依靠领域知识图谱中的少量样本实现实体补全和新知识的快速部署，从而提高领域知识图谱补全的效率。克服了小样本领域知识图谱难以自动处理、人工处理成本高的问题，通过元学习方法实现了在小样本领域中有效的三元组向量表示的获得方法。训练的元关系向量对于任务的改变具有敏感性，其训练过程相对普通的表示学习过程只增加了一个参数，在面对新领域知识时可以达到快速部署的效果，提高了计算效率。可扩展性强，可以适应表示学习中的多种损失函数，可以随效率和精度要求灵活更改损失函数。

Description

一种基于元学习的领域知识图谱补全方法

技术领域

本发明涉及人工智能中的知识图谱领域，尤其涉及一种基于元学习的领域知识图谱补全方法。

背景技术

知识库是人类知识组成的结构化的知识系统，Google于2012年将其搜索引擎中使用的知识库命名为知识图谱。目前海内外均以“知识图谱”泛指各种知识库。作为人工认知智能的重要基础技术，知识图谱被普遍应用于智能检索、知识问答、数据整合、辅助决策等领域。现有的知识图谱普遍存在数据稀疏，完备性不足的问题，大量实体间的隐含关系还未被发现，需要通过知识图谱补全方法进行完善和补充。在知识图谱补全等任务中主要采用表示学习技术，利用机器学习算法将知识图谱中实体和关系映射到低维的向量空间，得到知识的分布式表示。在低维空间中，实体和关系的稠密向量表示解决了数据稀疏的问题，同时可以进行的高效语义计算，通过算法实现知识图谱中的实体和关系补全。现有的表示学习模型依赖丰富的训练样本以达到良好的效果。

按照内容涵盖的范围，知识图谱可以分为通用知识图谱和领域知识图谱两种。领域知识图谱具有知识内容范围有限，专业性强的特点，这也意味着在领域知识图谱的补全任务中往往需要专家知识和人工标注，导致样本数量有限、自动化程度低、成本高等问题。

发明内容

针对现有技术的不足，本发明的目的是提供了一种基于元学习的领域知识图谱补全方法，由于现有的领域知识图谱样本数量少，样本依赖人工标注，难以自动形成有效的知识三元组分布式表示，利用元学习方法，提供一种知识图谱补全方式，仅依靠领域知识图谱中的少量样本实现实体补全和新知识的快速部署，从而提高领域知识图谱补全的效率。

本发明提供一种基于元学习的领域知识图谱补全方法，所述方法步骤如下：

步骤1：在通用知识图谱中提取领域相关范围内的实体关系三元组，定义为补全任务的元训练集D_Train；

步骤2：将待补全的小样本领域知识图谱中的三元组定义为补全任务的元测试集D_Test；

步骤3：对D_Train和D_Test中所有三元组进行初始化处理，得到向量表示的三元组(h,r,t)，其中h为头实体向量，r为关系向量，t为尾实体向量，(h,r,t)∈G，G为三元组样本集，h,t∈E,E为实体集，r∈R，R为关系集；

步骤4：对步骤1得到的元训练集D_Train，将所有具有同一关系的三元组加入同一集合，定义为该关系对应的关系任务T_r，T_r∈T，T为所有关系任务构成的任务池；

步骤5：在任务池T中随机抽取一项任务T_r，取出N_S个三元组样本作为该任务的支持集S_r，剩下的N_Q个样本作为该任务的询问集Q_r，其中N_S<N_Q；

步骤6：对步骤5得到的支持集S_r中的每个样本(h,r,t)，使用bern方法构造该样本的负样本，对原样本和负样本按公式(1)构造相应的打分函数：

按公式(2)计算损失函数：

其中γ为边界超参数，[x]₊表示x的正数部分，d(h+r,t^*)是该支持集样本对应的负样本(h,r,t^*)的得分；步骤7：计算步骤6中损失函数对于该任务关系向量r的梯度

进行梯度下降，按公式(3)更新任务关系参数：

其中α为关系学习率，r′为r对样本(h,r,t)更新后的任务关系向量；重复步骤6、步骤7，不断更新向量r′，直到遍历了该任务T_r的支持集S_r；

步骤8：对步骤5得到的询问集Q_r中的每个样本(h,r,t)，将样本中的关系替换为任务T_r中r对应的r′以构造Q_r′，使用bern方法对Q_r和Q_r′构造负样本，对原样本和负样本按公式(1)构造相应的打分函数，按公式(2)计算损失函数，依据该任务整个询问集的样本，按公式(4)进行小批量随机梯度下降，更新元关系向量：

其中n为每次下降操作中的任务数，β为元学习率，r为针对任务T_r做更新后的元关系向量；步骤8结束后，从任务池T中删除T_r，返回步骤5，直到任务池为空；

步骤9：对步骤2得到的元测试集D_Test，将其中的完整三元组作为支持集，以步骤5到步骤8最终得到的元关系向量r对三元组中的关系做初始化，训练三元组的向量表示；

步骤10：将元测试集D_Test中待补全的三元组作为询问集，根据步骤9中得到的现有三元组的向量，将现有实体集E中的实体向量代入三元组实体的缺失部分，按照公式(1)计算询问集三元组的得分，使得分最低的实体向量对应的实体即为推荐补全的实体。

进一步改进在于：所述步骤4中所述的元训练集D_Train中的任务构建方式基于三元组中的关系，将具有同一关系的三元组加入同一任务T_r中。

进一步改进在于：所述步骤5中在任务池T中抽取随机任务T_r，将其划分为支持集S_r和询问集Q_r，其中支持集的样本数小于询问集。

进一步改进在于：所述步骤7中所述的梯度下降方法是在支持集S_r中，损失函数对任务关系向量的梯度

进行梯度下降

计算得到，其中α为关系学习率，是梯度下降的步长，r′是对该样本所在的任务进行拟合后得到的任务关系向量。

进一步改进在于：所述步骤8中所述的梯度下降方法是在支持集S_r对应的询问集Q_r中，通过：

进行元关系向量的更新，其中n为每次下降操作中的任务数，β为元学习率，r为针对任务T_r做更新后的元关系向量。

本发明的有益效果是：克服了小样本领域知识图谱难以自动处理、人工处理成本高的问题，通过元学习方法实现了在小样本领域中有效的三元组向量表示的获得方法。训练的元关系向量对于任务的改变具有敏感性，其训练过程相对普通的表示学习过程只增加了一个参数，在面对新领域知识时可以达到快速部署的效果，提高了计算效率。可扩展性强，可以适应表示学习中的多种损失函数，可以随效率和精度要求灵活更改损失函数。

附图说明

图1是本发明的方法流程示意图。

图2是本发明的梯度下降方向在训练过程中的改变情况示意图。

具体实施方式

为了加深对本发明的理解，下面将结合实施例对本发明作进一步的详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。

如图1所示，本实施例提供了一种基于元学习的领域知识图谱补全方法，关键点在于通过学习任务训练一个初始化参数，该参数对学习任务的变化具有敏感性，从而使模型在新的小样本训练任务上只需要少量样本进行梯度下降后就可以取得良好表现。主要包括元训练过程中针对支持集的任务关系向量的训练和针对询问集的元关系向量的训练，以得到的元关系向量作为初始向量参与小样本的三元组进行训练，得到符合领域特征的三元组向量，进行知识图谱补全。

以图1所示流程为例对本发明的具体实施方式进行说明：

步骤1：以某小样本领域知识图谱补全任务为例，在通用知识图谱中提取该领域相关的实体关系三元组，作为元训练集D_Train。

步骤2：将待补全的领域知识图谱中的三元组作为元测试集D_Tset。

步骤3：初始化D_Train和D_Test中的三元组向量维数，并进行归一化处理，获得向量表示的三元组(h,r,t)。其中h为头实体向量，r为关系向量，t为尾实体向量。(h,r,t)∈G，G为三元组样本集，h,t∈E,E为实体集，r∈R，R为关系集。

bern方法构造负三元组的准备：在此步骤统计R中所有关系r对应的tph和hpt。其中tph为该关系对应的每个头实体对应的尾实体数量的平均值，hpt为该关系对应的每个尾实体对应的头实体数量的平均值。对G中每个样本三元组(h,r,t)构造相应的负样本(h′,r,t)或(h,r,t′)，负样本的构造方法为：按照公式(1)和公式(2)计算p₁，p₂，当p₁>p₂时将h替换为实体集E中的任意其他实体h^*，当p₁<p₂时将t替换为实体集中的任意其他实体t^*，当p₁＝p₂时按照上述两种方式随机替换。

步骤4：由于知识图谱中的实体数量远远大于关系数量，同时领域知识图谱中的实体分布属于长尾分布，根据实体构造任务难以实现；而根据关系构造的任务具有同一关系下的泛用性，同时同一领域中的关系往往具有一定的相似性，所以在实施过程中依据领域关系来构造任务。将每个具有相同关系r的三元组加入对应的任务T_r,所有任务构成任务池T。

步骤5：在任务池T中随机抽取一项任务T_r，从该任务中取出N_S个三元组样本作为该任务的支持集S_r，剩下的N_Q个样本作为该任务的询问集Q_r。N_S和N_Q均为用户定义的参数，在具体实施时，为了体现小样本支持集训练出的参数的泛化性能，N_S取值应当小于N_Q。

步骤6：对步骤5得到的支持集中样本(h,r,t)按照bern方法构造负样本(h^*,r,t)或(h,r,t^*)，分别按公式(3)，(4)计算对应得分：

该得分是基于转移距离的表示学习方法的打分方式，得分越接近0说明实体三元组的正确性越高。

得到损失函数(5)：

其中γ为边界超参数，代表可容忍的误差边界，[x]₊表示x的正数部分，说明模型只接受梯度下降。当负样本为(h^*,r,t)时，相应地，公式中d(h+r,t^*)替换为d(h^*+r,t)。通过优化该损失函数，可以获得满足正确性要求的三元组的向量表示。

步骤7：计算损失函数对于该任务关系向量r的梯度

进行步梯度下降，按公式(6)更新任务关系参数：

其中α为关系学习率，是梯度下降的步长，r′是对该样本所在的任务进行拟合后得到的任务关系向量。重复步骤6和步骤7，遍历该任务中所有样本，最终得到的r′即为该任务对应的任务关系向量。如图2，该向量会对元向量的训练产生影响。

步骤8：对步骤5得到的询问集Q_r中的每个样本(h,r,t)，将样本中的关系替换为任务T_r中r对应的r′以构造Q_r′，使用bern方法对Q_r和Q_r′构造负样本，用询问集中的样本优化支持集训练出的关系向量，使其获得在多数样本上的泛化能力，同时避免对支持集样本的过拟合。此时的关系向量需要具有对于任务的敏感性，按公式(7)通过小批量随机梯度下降更新成为适用于多种任务的元关系向量：

其中n为每次下降操作中的任务数，β为元学习率，是梯度下降的步长，也是本发明中相对传统表示学习多出的唯一超参数，体现了本发明的高效性。r为针对任务T_r做更新后的元关系向量。步骤8结束后，从任务池T中删除T_r，返回步骤5，直到任务池为空。如图2，元关系向量的训练受到多个任务向量的影响。

步骤9：元关系向量可以在领域知识图谱中进行高效训练，只需要通过少量完整三元组样本的训练，就能在新任务中取得良好的泛化性能。对步骤2得到的元测试集D_Test，将现有的完整三元组作为支持集，以元关系向量r对三元组中的关系做初始化，训练得到三元组的向量表示。

步骤10：将领域知识图谱中的待补全三元组(h,r,？)或(？,r,t)作为询问集，遍历现有实体集E，将实体向量代入询问集的打分函数：

可以得到实体集E中实体对于该三元组的打分表，分数越低说明越接近正确三元组。将得分最低的三元组用于补全。在对精确性要求极高的场景下，可通过仅对打分表中排名靠前的实体进行人工标注，补全三元组。

Claims (5)

1.一种基于元学习的领域知识图谱补全方法，其特征在于：所述方法步骤如下：

步骤1：在通用知识图谱中提取领域相关范围内的实体关系三元组，定义为补全任务的元训练集D_Train；

步骤2：将待补全的小样本领域知识图谱中的三元组定义为补全任务的元测试集D_Test；

步骤3：对D_Train和D_Test中所有三元组进行初始化处理，得到向量表示的三元组(h,r,t)，其中h为头实体向量，r为关系向量，t为尾实体向量，(h,r,t)∈G，G为三元组样本集，h,t∈E,E为实体集，r∈R，R为关系集；

步骤4：对步骤1得到的元训练集D_Train，将所有具有同一关系的三元组加入同一集合，定义为该关系对应的关系任务T_r，T_r∈T，T为所有关系任务构成的任务池；

步骤5：在任务池T中随机抽取一项任务T_r，取出N_S个三元组样本作为该任务的支持集S_r，剩下的N_Q个样本作为该任务的询问集Q_r，其中N_S<N_Q；

步骤6：对步骤5得到的支持集S_r中的每个样本(h,r,t)，使用bern方法构造该样本的负样本，对原样本和负样本按公式(1)构造相应的打分函数：

按公式(2)计算损失函数：

其中γ为边界超参数，[x]₊表示x的正数部分，d(h+r,t^*)是该支持集样本对应的负样本(h,r,t^*)的得分；

步骤7：计算步骤6中损失函数对于该任务关系向量r的梯度

进行梯度下降，按公式(3)更新任务关系参数：

其中α为关系学习率，r′为r对样本(h,r,t)更新后的任务关系向量；重复步骤6、步骤7，不断更新向量r′，直到遍历了该任务T_r的支持集S_r；

步骤8：对步骤5得到的询问集Q_r中的每个样本(h,r,t)，将样本中的关系替换为任务T_r中r对应的r′以构造Q_r′，使用bern方法对Q_r和Q_r′构造负样本，对原样本和负样本按公式(1)构造相应的打分函数，按公式(2)计算损失函数，依据该任务整个询问集的样本，按公式(4)进行小批量随机梯度下降，更新元关系向量：

其中n为每次下降操作中的任务数，β为元学习率，r为针对任务T_r做更新后的元关系向量；步骤8结束后，从任务池T中删除T_r，返回步骤5，直到任务池为空；

步骤9：对步骤2得到的元测试集D_Test，将其中的完整三元组作为支持集，以步骤5到步骤8最终得到的元关系向量r对三元组中的关系做初始化，训练三元组的向量表示；

步骤10：将元测试集D_Test中待补全的三元组作为询问集，根据步骤9中得到的现有三元组的向量，将现有实体集E中的实体向量代入三元组实体的缺失部分，按照公式(1)计算询问集三元组的得分，使得分最低的实体向量对应的实体即为推荐补全的实体。

2.如权利要求1所述的一种基于元学习的领域知识图谱补全方法，其特征在于：所述步骤4中所述的元训练集D_Train中的任务构建方式基于三元组中的关系，将具有同一关系的三元组加入同一任务T_r中。

3.如权利要求1所述的一种基于元学习的领域知识图谱补全方法，其特征在于：所述步骤5中在任务池T中抽取随机任务T_r，将其划分为支持集S_r和询问集Q_r，其中支持集的样本数小于询问集。

4.如权利要求1所述的一种基于元学习的领域知识图谱补全方法，其特征在于：所述步骤7中所述的梯度下降方法是在支持集S_r中，损失函数对任务关系向量的梯度

进行梯度下降

计算得到，其中α为关系学习率，是梯度下降的步长，r′是对该样本所在的任务进行拟合后得到的任务关系向量。

5.如权利要求1所述的一种基于元学习的领域知识图谱补全方法，其特征在于：所述步骤8中所述的梯度下降方法是在支持集S_r对应的询问集Q_r中，通过：

进行元关系向量的更新，其中n为每次下降操作中的任务数，β为元学习率，r为针对任务T_r做更新后的元关系向量。

Images