CN110837567A - 实现知识图谱嵌入的方法和系统 - Google Patents

Abstract

提供了一种实现知识图谱嵌入的方法和系统。所述方法包括：建立知识图谱嵌入模型的统一表示；构建针对所述统一表示的结构搜索空间；针对特定知识图谱，在所述结构搜索空间中搜索相应结构；基于所述特定知识图谱，对基于该相应结构的知识图谱嵌入模型进行训练；以及利用经过训练的知识图谱嵌入模型获得所述特定知识图谱的嵌入表示。

Description

实现知识图谱嵌入的方法和系统

技术领域

本申请涉及人工智能领域中的知识图谱嵌入技术，更具体地讲，涉及一种实现知识图谱嵌入的方法和系统。

背景技术

随着信息网络技术的快速发展，各种信息网络数据内容呈现爆炸式增长的态势。这样的内容通常具有大规模、异质多元、组织结构松散的特点，给人们有效获取信息和知识提出了挑战。知识图谱(KG，Knowledge Graph)是语义网络的知识库，能够用可视化技术描述知识资源及其载体，并挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。

知识图谱作为一种特殊的图形结构，实体(entities)作为结点，关系(relations)作为有向边，最近引起了很多人的兴趣。在知识图谱中，每个边缘被表示为具有(头部实体，关系，尾部实体)这一形式的三元组(s，r，o)，以指示两个实体s(即，头部实体)和o(即，尾部实体)通过关系r连接，例如(NewYork，isLocatedIn，USA)可表示NewYork位于USA。在过去的几十年中建立了许多大型知识图谱，例如WordNet，Freebase，DBpedia，YAGO。它们改进了各种下游应用，例如结构化搜索、问答和实体推荐等。

知识图谱嵌入(KGE,Knowledge Graph Embedding)旨在为知识图谱中的结点(entities)和边(relations)寻找低维度的向量表示(即，嵌入)。语义信息(即，结点和关系的交互信息)在对知识图谱的建模中需要重点考虑，而结构信息(即，结点局部的拓扑结构)同样重要，特别是在匹配多个知识图谱的结点时，需要利用局部拓扑信息。

然而，在现有的知识图谱嵌入模型中，诸如TransE、ComplEx和PTransE的模型主要利用语义信息，研究单个三元组中结点和关系之间的联系，而诸如ChainR和RSN的模型则更多地去利用结构信息。

因此，当进行针对特定知识图谱的任务时，需要能够针对该任务快速找出一种综合考虑语义信息和结构信息的知识图谱嵌入模型，减少任务过程中人的参与，且实现更好的训练和预测效果。

发明内容

根据本发明的实施例，提供了一种实现知识图谱嵌入的方法，所述方法包括：建立知识图谱嵌入模型的统一表示；构建针对所述统一表示的结构搜索空间；针对特定知识图谱，在所述结构搜索空间中搜索相应结构；基于所述特定知识图谱，对基于该相应结构的知识图谱嵌入模型进行训练；以及利用经过训练的知识图谱嵌入模型获得所述特定知识图谱的嵌入表示。

可选地，所述统一表示可以为：[v_t,h_t]＝f(s_t,r_t,h_t-1)，其中，s_t表示知识图谱的三元组(s_t,r_t,o_t)中的头部实体s_t的嵌入向量，r_t表示该三元组(s_t,r_t,o_t)中的尾部实体o_t和头部实体s_t之间的关系r_t的嵌入向量，其中，三元组(s_t,r_t,o_t)是知识图谱中由三元组的序列{(s₁,r₁,o₁)，(s₂,r₂,o₃)，,......,(s_L,r_L,o_L)}所组成的长度为L的路径上的第t个三元组，o_i＝s_i+1，1≤t≤L且，1≤i≤L-1，其中，h_t表示在三元组(s_t,r_t,o_t)处累积的信息，并且h₀＝s₁，v_t是与三元组(s_t,r_t,o_t)中的尾部实体o_t的嵌入向量接近的临时信息。

可选地，搜索相应结构的步骤可包括：基于以下表达式，在结构搜索空间A中搜索最佳结构α^*并确定对应的嵌入向量s_t*和r_t*：

α^*＝arg_α∈AmaxM(F(α),G_vai)，

其中，α是所述统一表示的结构，指明v_t及h_t与s_t、r_t、和h_t-1之间的组合关系，F(α)是使用训练集G_tra对具有结构α的知识图谱嵌入模型进行训练所获得的知识图谱嵌入模型，并且返回与结构α对应的嵌入向量s_t和r_t，M(F(α)，G_val)测量经过训练的F(α)在验证集G_val上的性能指标得分，并且G_val和G_tra分别是所述特定知识图谱的三元组集合的子集合，α^*是结构搜索空间A中与在验证集G_val上具有最高性能指标得分的F(α)对应的结构。

可选地，搜索相应结构的步骤可包括：使用基于自然梯度的搜索算法来在结构搜索空间A中搜索最佳结构α^*，其中，在所述搜索算法中，对结构搜索空间A中的各结构进行概率化以获得针对结构α∈A的概率分布p_θ(α)，θ为控制结构α的概率分布的参数，其中，α是所述统一表示的结构，指明v_t及h_t与s_t、r_t和h_t-1之间的组合关系，最佳结构α^*为与参数θ满足max_θJ(θ)的p_θ(α对应的各结构之中根据预设规则的获得的结构，其中，

其中，F(α)是使用训练集G_tra对具有结构α的知识图谱嵌入模型进行训练所获得的知识图谱嵌入模型，并且返回与结构α对应的嵌入向量s_t和r_t，M(F(α)，G_val)测量经过训练的F(α)在验证集G_val上的性能指标得分，并且G_val和G_tra分别是所述特定知识图谱的三元组集合的子集合，

其中，θ的更新过程为

ρ为预设更新步长，并且

其中，α_j是从p_θ(α)进行抽样所获得的第j个结构，λ表示用于近似期望的采样的数量。

可选地，所述结构搜索空间A可包括基于s_t,r_t,h_t-1组成v_t和h_t的所有可能结构。

可选地，所述结构搜索空间A可由满足以下组合关系的结构α构成：

其中，X_t和Y_t是从集合选择的一项，和分别是使用从预设的多种向量运算算子选择的向量运算算子对输入的嵌入向量执行向量运算的向量运算函数。

可选地，所述预设规则可以为选择与参数θ满足max_θJ(θ)的p_θ(α)对应的各结构之中的满足maxM(F(α)，G_val)的结构作为最佳结构α^*。

可选地，当所述特定知识图谱是针对智能检索建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型提供检索的结果；当所述特定知识图谱是针对智能推荐建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型针对特定对象提供相应推荐结果；当所述特定知识图谱是针对智能问答建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型提供问题的答案；当所述特定知识图谱是针对反欺诈而建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型确定是否存在欺诈风险；当所述特定知识图谱是针对内容分发而建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型确定针对特定对象应分发的内容；当所述特定知识图谱是针对医药数据建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型提供药物和疾病关系查询的答案。

根据本发明的另一实施例，提供了一种实现知识图谱嵌入的系统，所述系统包括：构建装置，被配置为建立知识图谱嵌入模型的统一表示，并构建针对所述统一表示的结构搜索空间；搜索装置，被配置为针对特定知识图谱，在所述结构搜索空间中搜索相应结构；嵌入模型训练装置，被配置为基于所述特定知识图谱，对基于该结构的知识图谱嵌入模型进行训练；以及表示装置，被配置为利用经过训练的知识图谱嵌入模型获得所述特定知识图谱的嵌入表示。

可选地，所述统一表示可以为：[v_t,h_t]＝f(s_t,r_t,h_t-1)，其中，s_t表示知识图谱的三元组(s_t,r_t,o_t)中的头部实体s_t的嵌入向量，r_t表示该三元组(s_t,r_t,o_t)中的尾部实体o_t和头部实体s_t之间的关系r_t的嵌入向量，其中，三元组(s_t,r_t,o_t)是知识图谱中由三元组的序列{(s₁,r₁,o₁)，(s₂,r₂,o₃)，,......,(s_L,r_L,o_L)}所组成的长度为L的路径上的第t个三元组，o_i＝s_i+1，1≤t≤L且，1≤i≤L-1，其中，h_t表示在三元组(s_t,r_t,o_t)处累积的信息，并且h₀＝s₁，v_t是与三元组(s_t,r_t,o_t)中的尾部实体o_t的嵌入向量接近的临时信息。

可选地，搜索装置可被配置为基于以下表达式在结构搜索空间A中搜索最佳结构α^*并确定对应的嵌入向量s_t*和r_t*：

α^*＝arg_α∈AmaxM(F(α),G_vai)，

其中，α是所述统一表示的结构，指明v_t及h_t与s_t、r_t、和h_t-1之间的组合关系，F(α)是使用训练集G_tra对具有结构α的知识图谱嵌入模型进行训练所获得的知识图谱嵌入模型，并且返回与结构α对应的嵌入向量s_t和r_t，M(F(α)，G_val)测量经过训练的F(α)在验证集G_val上的性能指标得分，并且G_val和G_tra分别是所述特定知识图谱的三元组集合的子集合，α*是结构搜索空间A中与在验证集G_val上具有最高性能指标得分的F(α)对应的结构。

可选地，搜索装置可被配置为使用基于自然梯度的搜索算法来在结构搜索空间A中搜索最佳结构α^*，其中，在所述搜索算法中，对结构搜索空间A中的各结构进行概率化以获得针对结构α∈A的概率分布p_θ(α)，θ为控制结构α的概率分布的参数，其中，α是所述统一表示的结构，指明v_t及h_t与s_t、r_t和h_t-1之间的组合关系，最佳结构α^*为与参数θ满足max_θJ(θ)的p_θ(α)对应的各结构之中根据预设规则的获得的结构，其中，

其中，F(α)是使用训练集G_tra对具有结构α的知识图谱嵌入模型进行训练所获得的知识图谱嵌入模型，并且返回与结构α对应的嵌入向量s_t和r_t，M(F(α)，G_val)测量经过训练的F(α)在验证集G_val上的性能指标得分，并且G_val和G_tra分别是所述特定知识图谱的三元组集合的子集合，

其中，θ的更新过程为

ρ为预设更新步长，并且

其中，α_j是从p_θ(α)进行抽样所获得的第j个结构，λ表示用于近似期望的采样的数量。

可选地，所述结构搜索空间A可包括基于s_t,r_t,h_t-1组成v_t和h_t的所有可能结构。

可选地，所述结构搜索空间A可由满足以下组合关系的结构α构成：

其中，X_t和Y_t是从集合

选择的一项，

和

分别是使用从预设的多种向量运算算子选择的向量运算算子对输入的嵌入向量执行向量运算的向量运算函数。

可选地，所述预设规则可以为选择与参数θ满足max_θJ(θ)的p_θ(α)对应的各结构之中的满足maxM(F(α),G_val)的结构作为最佳结构α^*。

可选地，当所述特定知识图谱是针对智能检索建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型提供检索的结果；当所述特定知识图谱是针对智能推荐建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型针对特定对象提供相应推荐结果；当所述特定知识图谱是针对智能问答建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型提供问题的答案；当所述特定知识图谱是针对反欺诈而建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型确定是否存在欺诈风险；当所述特定知识图谱是针对内容分发而建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型确定针对特定对象应分发的内容；当所述特定知识图谱是针对医药数据建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型提供药物和疾病关系查询的答案。

根据本发明的另一实施例，提供了一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行前述实现知识图谱嵌入的方法。

根据本发明的另一实施例，提供了一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行前述实现知识图谱嵌入的方法。

有益效果

通过应用根据本发明的示例性实施例的实现知识图谱嵌入的方法和系统，能够针对具体知识图谱自动搜索合适的知识图谱嵌入模型，选择性地利用结构信息，减少人的参与，并取得更好的训练和预测效果。

附图说明

从下面结合附图进行的描述，本公开的特定实施例的以上和其他方面、特征和优点将更加清楚，其中：

图1是示出根据本公开的示例性实施例的实现知识图谱嵌入的系统的框图；

图2是示出现有知识图谱嵌入模型在根据本公开的示例性实施例的知识图谱嵌入模型的统一表示下的图形表示；

图3是示出根据本公开的示例性实施例的结构搜索空间的示例图形表示；

图4是示出根据本公开的示例性实施例的实现知识图谱嵌入的方法的流程图。

在整个附图中，应注意，相同的参考标号用于表示相同或相似的元件、特征和结构。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明的示例性实施例作进一步详细说明。

图1是示出根据本公开的示例性实施例的实现知识图谱嵌入的系统100的框图。

参照图1，根据本公开的示例性实施例的实现知识图谱嵌入的系统100可包括构建装置110、搜索装置120、嵌入模型训练装置130以及表示装置140。

在本发明的示例性实施例中，构建装置110可用于建立知识图谱嵌入模型的统一表示，并构建针对所述统一表示的结构搜索空间。

具体地讲，在本发明的示例性实施例中，可通过构建装置110如下建立知识图谱嵌入模型的统一表示：

[v_t,h_t]＝f(s_t,r_t,h_t-1)，......(1)

在上述式(1)中，s_t表示知识图谱的三元组(s_t,r_t,o_t)中的头部实体s_t的嵌入向量，r_t表示该三元组(s_t,r_t,o_t)中的尾部实体o_t和头部实体s_t之间的关系r_t的嵌入向量，其中，三元组(s_t,r_t,o_t)是知识图谱中由三元组的序列{(s₁,r₁,o₁)，(s₂,r₂,o₃)，,......,(s_L,r_L,o_L)}所组成的长度为L的路径上的第t个三元组，o_i＝s_i+1，1≤t≤L且，1≤i≤L-1。此外，h_t表示在三元组(s_t,r_t,o_t)处累积的信息，并且h₀＝s₁，v_t是与三元组(s_t,r_t,o_t)中的尾部实体o_t的嵌入向量尽量接近的临时信息。

在如上建立了知识图谱嵌入模型的统一表示之后，构建装置110可进一步构建针对所述统一表示的结构搜索空间。在本发明的示例性实施例中，知识图谱嵌入模型的统一表示的结构可指明v_t及h_t与s_t、r_t、和h_t-1之间的组合关系，稍后将参照图2和图3对此进行更详细地解释。

此外，构建单元110可使用基于s_t,r_t,h_t-1组成v_t和h_t的所有可能结构来构建所述结构搜索空间。然而，这样的搜索空间可能包含众多无效或低效的结构且使得计算复杂度增加，搜索速度下降。因此，优选地，在本发明的示例性实施例中，构建单元110可结合现有的多种知识图谱嵌入模型的结构来构建结构搜索空间。以下结合图2和图3来详细描述这样的结构搜索空间。

图2是示出现有知识图谱嵌入模型在根据本公开的示例性实施例的知识图谱嵌入模型的统一表示下的图形表示。图3是示出根据本公开的示例性实施例的结构搜索空间的示例图形表示。

常见的现有知识图谱嵌入模型包括TransE、ComplEx、PTransE、ChainR和RSN等。这些知识图谱嵌入模型在由式(1)所示的统一表示下的具体表达在下面的表1中被示出：

[表1]

仅作为示例，与上表中的模型TransE、PTransE和RSN对应的结构的图形表达在图2中被示出。

考虑现有的这些结构，在本公开的示例性实施例中，可如图3所示来设计结构搜索空间，从而该结构搜索空间能够涵盖现有技术的知识图谱嵌入模型的各个结构。

从图3所示的结构搜索空间可知，其左侧部分更加关注于结构信息，而右侧部分更加关注于语义信息。图3左侧部分的虚线表示四选一选择器，也就是说，左侧部分的输出是0、h_t-1、s_t以及对h_t-1和s_t进行向量运算的结果这四者之中选择的一个。

换言之，参照图3，构建装置110可使用满足以下组合关系的结构来构建结构搜索空间。

在上述式(2)和式(3)中，X_t和Y_t是从集合

选择的一项，其中，

和

分别表示使用从预设的多种向量运算算子选择的向量运算算子OP1、OP2和OP3对输入的嵌入向量执行向量运算的向量运算函数。例如，当针对

选择的向量运算算子是向量加法时，

表示对输入的嵌入向量X_t和h_t执行向量加法运算。边缘上的W₁至W₆表示上述向量运算中所涉及的针对对应嵌入向量的权重参数，并且可以是可训练的正方矩阵或者是单位矩阵I。

此外，在本发明的示例性实施例中，所述预设的多种向量运算算子可包括向量加法、向量乘法、Hermitian乘积以及选通算子GRU。仅作为示例，向量运算算子OP1和OP2可以是向量加法、向量乘法、Hermitian乘积以及选通算子GRU中选择的一个，而向量运算算子OP3可以是向量加法、向量乘法、Hermitian乘积中选择的一个。然而，应该理解，本申请不限于此，所述预设的多种向量运算算子还可包括其他类型的运算算子，例如，向量内积、向量外积、向量串联、求最大值、求最小值、向量卷积等各种向量运算算子之中的一种或更多种。

此外，在图3的结构搜索空间中，针对OP1和OP2，还可为其从诸如identity、tanh、sigmoid和relu的激活函数之中选择对应激活函数以进行非线性变换。而对于OP3则可应用identity激活函数以进行非线性变换。

然而，应该理解，图3所示的结构搜索空间仅是示例，本发明不限于此，还可考虑本领域技术人员的意图、本文未列出的或将来可能出现的其它知识图谱嵌入模型在上述统一表示下的结构、效率等各种因素来设计其他样式的结构搜索空间。

搜索装置120可针对特定知识图谱，在所述结构搜索空间中搜索出相应结构。

在本发明的示例性实施例中，针对所述特定知识图谱，搜索单元120可依据如下的表达式(4)在结构搜索空间A中搜索最佳结构α^*并确定对应的嵌入向量s_t*和r_t*：

α^*＝arg_α∈AmaxM(F(α),G_vai)，......(4)

其中，α是所述统一表示的结构，指明v_t及h_t与s_t、r_t、和h_t-1之间的组合关系，F(α)是使用训练集G_tra对具有结构α的知识图谱嵌入模型进行训练所获得的知识图谱嵌入模型，并且返回与结构α对应的嵌入向量s_t和r_t，M(F(α)，G_val)测量经过训练的F(α)在验证集G_val上的性能指标得分，并且G_val和G_tra分别是所述特定知识图谱的三元组集合的子集合，α^*是结构搜索空间A中与在验证集G_val上具有最高性能指标得分的F(α)对应的结构。

然而，应该理解，例如，对于图3中所示的结构，当向量运算算子OP1和OP2是向量加法、向量乘法、Hermitian乘积以及选通算子GRU中选择的一个，向量运算算子OP3是向量加法、向量乘法、Hermitian乘积中选择的一个，针对OP1和OP2选择的激活函数是从4种激活函数identity、tanh、sigmoid和relu之中选择的一个，并且针对OP2和OP3存在4种不同的可能连接(即，0、h_t-1、s_t、

)时，结构搜索空间中具有3×4²×4²×4²种可能的模型结构，在这样的搜索空间中使用随机搜索来搜索最佳结构会是低效的。

因此，根据本发明的实施例，为了优化结构的搜索过程，搜索装置120可使用基于自然梯度的搜索算法来在结构搜索空间A中搜索最佳结构α^*。该搜索算法可通过产生伪梯度而使得搜索更加高效。

具体来说，由于结构搜索空间中的结构是离散的，因此可将对模型参数的梯度转换为概率分布的梯度，使得离散问题连续化，最终得到所需要的伪梯度，提高搜索效率。

因此，在所述搜索算法中，可首先对结构搜索空间A中的各结构进行概率化以获得针对结构α∈A的连续的概率分布p_θ(α)，其中，θ为控制结构α的概率分布的参数。在这种情况下，寻找最佳结构α^*的操作可首先转换为寻找满足下面所示的式(5)的θ的操作，并且随后可将最佳结构α^*确定为与参数θ满足max_θJ(θ)的p_θ(α)对应的各结构(例如，对p_θ(α)进行抽样所获得的各结构)之中根据预设规则的确定的结构，

在本发明的示例性实施例中，所述预设规则可以是选择与参数θ满足max_θJ(θ)的p_θ(α)对应的各结构(例如，对p_θ(α)进行抽样所获得的各结构)之中的满足maxM(F(α)，G_val)的结构作为最佳结构α^*，也可以是选择与参数θ满足max_θJ(θ)的p_θ(α)对应的各结构(例如，对p_θ(α)进行抽样所获得的各结构)之中的具有最大概率的结构。然而，应该理解，本申请不限于此。

此外，在所述搜索算法中，θ的更新过程可以为

ρ为预设更新步长，H(θ^t)是参数为θ^t时的费希尔矩阵，并且

α_j是从p_θ(α)进行抽样(例如，独立同分布抽样、蒙特卡洛抽样等)所获得的第j个结构，λ表示用于近似期望

的采样的数量。

在针对特定知识图谱搜索出对应知识图谱嵌入模型的结构之后，嵌入模型训练装置130可基于所述特定知识图谱，对基于该结构的知识图谱嵌入模型进行训练，并且表示装置140可利用经过训练的知识图谱嵌入模型获得所述特定知识图谱的嵌入表示。

此外，尽管在图1中没有示出，但根据本公开的示例性实施例的实现知识图谱嵌入的系统100还可包括：机器学习模型训练装置(未示出)，用于基于获得的所述特定知识图谱的嵌入表示训练机器学习模型，得到用于执行关系检索、语义检索、智能检索、智能推荐、智能问答、个性化推荐、内容分发中的至少一项的目标机器学习模型；以及预测装置(未示出)，用于利用所述目标机器学习模型，执行预测任务，其中，所述预测任务包括关系检索、语义检索、智能检索、智能推荐、智能问答、个性化推荐、内容分发中的至少一项。

更具体地讲，当所述特定知识图谱是针对智能检索建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型提供检索的结果。当所述特定知识图谱是针对智能推荐建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型针对特定对象提供相应推荐结果。当所述特定知识图谱是针对智能问答建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型提供问题的答案。当所述特定知识图谱是针对反欺诈而建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型确定是否存在欺诈风险。当所述特定知识图谱是针对内容分发而建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型确定针对特定对象应分发的内容；并且当所述特定知识图谱是针对医药数据建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示可被用于训练机器学习模型，以利用经过训练的机器学习模型提供药物和疾病关系查询的答案。

图4是示出根据本公开的示例性实施例的实现知识图谱嵌入的方法的流程图。

如图4所示，在步骤S410，可通过上述构建装置110建立知识图谱嵌入模型的统一表示。

在步骤S420，构建装置110可进一步构建针对所述统一表示的结构搜索空间。

之后，在步骤S430，搜索装置120可针对特定知识图谱，在所述结构搜索空间中搜索相应结构。

在步骤S440，可由嵌入模型训练装置130基于所述特定知识图谱，对基于该相应结构的知识图谱嵌入模型进行训练，并且在步骤S450，可由表示装置140利用经过训练的知识图谱嵌入模型获得所述特定知识图谱的嵌入表示。

以上已结合图1详细描述了根据本公开的示例性实施例的实现知识图谱嵌入的系统100的上述组成元件所执行的详细操作的具体过程，因此为了简明，在此将不再赘述。

此外，根据本公开的示例性实施例的实现知识图谱嵌入的方法还可基于在步骤S450获得的所述特定知识图谱的嵌入表示训练机器学习模型，得到用于执行关系检索、语义检索、智能检索、智能推荐、智能问答、个性化推荐、内容分发中的至少一项的目标机器学习模型，并且可利用所述目标机器学习模型，执行预测任务，其中，所述预测任务包括关系检索、语义检索、智能检索、智能推荐、智能问答、个性化推荐、内容分发中的至少一项。

也就是说，本公开的示例性实施例的实现知识图谱嵌入的方法和系统可被应用于各种领域，例如关系检索、语义检索、智能检索、智能推荐、智能问答、个性化推荐、反欺诈、内容分发等。

仅作为示例，在根据本公开的示例性实施例的实现知识图谱嵌入的方法和系统的各种应用场景之中，例如，对于检索(诸如关系检索、语义检索、智能等)，可通过输入两个关键词来检索它们之间的关系或检索相应的另一实体，例如，输入(北京中国)可检索出它们之间的关系为“首都”(即，北京是中国的首都)，或者，输入(母亲张三)可检索出另一实体“李四”(李四是张三的母亲)。

例如，对于智能问答，输入“中国的首都是哪里？”则能准确返回“北京”，由此可通过知识图谱真正理解了用户的意图。

例如，对于反欺诈，当将借款人(实体)的信息加入到知识图谱中时，通过读取借款人与知识图谱中的其他人之间的关系，或者是他们共享的信息是否一致，可判断是否存在欺诈风险。

例如，对于智能推荐(例如，个性化推荐)，可向具有相似的关系的三元组的实体推荐相似的内容。例如，对于(张三学生A高中)(即，张三是A高中的学生)，可基于知识图谱中的其他A高中的学生的信息，向张三进行推荐。

通过应用根据本发明的示例性实施例的实现知识图谱嵌入的方法和系统，能够针对给定知识图谱的自动且快速地搜索对应知识图谱嵌入模型的结构，减少的人的参与。此外，由于具有这样搜索出的结构的知识图谱嵌入模型中考虑了知识图谱的语义信息以及结构信息，因此能够基于这样的嵌入模型来实现更准确的预测、推荐等效果。

以上已参照图1至图4描述了根据本公开的示例性实施例的实现知识图谱嵌入的方法和系统。然而，应理解的是：附图中示出的装置和系统可被分别配置为执行特定功能的软件、硬件、固件或上述项的任意组合。例如，这些系统、装置可对应于专用的集成电路，也可对应于纯粹的软件代码，还可对应于软件与硬件相结合的模块。此外，这些系统或装置所实现的一个或多个功能也可由物理实体设备(例如，处理器、客户端或服务器等)中的组件来统一执行。

此外，上述方法可通过记录在计算机可读存储介质上的指令来实现，例如，根据本申请的示例性实施例，可提供一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行以下步骤：建立知识图谱嵌入模型的统一表示；构建针对所述统一表示的结构搜索空间；针对特定知识图谱，在所述结构搜索空间中搜索相应结构；基于所述特定知识图谱，对基于该相应结构的知识图谱嵌入模型进行训练；以及利用经过训练的知识图谱嵌入模型获得所述特定知识图谱的嵌入表示。

上述计算机可读存储介质中存储的指令可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述指令还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经在参照图1至图4进行相关方法的描述过程中提及，因此这里为了避免重复将不再进行赘述。

应注意，根据本公开示例性实施例的实现知识图谱嵌入的系统可完全依赖计算机程序或指令的运行来实现相应的功能，即，各个装置在计算机程序的功能架构中与各步骤相应，使得整个系统通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。

另一方面，当图1所示的系统和装置以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读介质中，使得至少一个处理器或至少一个计算装置可通过读取并运行相应的程序代码或者代码段来执行相应的操作。

例如，根据本申请示例性实施例，可提供一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行下述步骤：建立知识图谱嵌入模型的统一表示；构建针对所述统一表示的结构搜索空间；针对特定知识图谱，在所述结构搜索空间中搜索相应结构；基于所述特定知识图谱，对基于该相应结构的知识图谱嵌入模型进行训练；以及利用经过训练的知识图谱嵌入模型获得所述特定知识图谱的嵌入表示。

具体说来，上述系统可以部署在服务器或客户端中，也可以部署在分布式网络环境中的节点上。此外，所述系统可以是PC计算机、平板装置、个人数字助理、智能手机、web应用或其他能够执行上述指令集合的装置。此外，所述系统还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。另外，所述系统的所有组件可经由总线和/或网络而彼此连接。

这里，所述系统并非必须是单个系统，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。所述系统还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。

在所述系统中，所述至少一个计算装置可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，所述至少一个计算装置还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。计算装置可运行存储在存储装置之一中的指令或代码，其中，所述存储装置还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。

存储装置可与计算装置集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储装置可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储装置和计算装置可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得计算装置能够读取存储在存储装置中的指令。

以上描述了本申请的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本申请不限于所披露的各示例性实施例。在不偏离本申请的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本申请的保护范围应该以权利要求的范围为准。

Claims (10)

1.一种实现知识图谱嵌入的方法，所述方法包括：

建立知识图谱嵌入模型的统一表示；

构建针对所述统一表示的结构搜索空间；

针对特定知识图谱，在所述结构搜索空间中搜索相应结构；

基于所述特定知识图谱，对基于该相应结构的知识图谱嵌入模型进行训练；以及

利用经过训练的知识图谱嵌入模型获得所述特定知识图谱的嵌入表示。

2.如权利要求1所述的方法，其中，所述统一表示为：

[v_t，h_t]＝f(s_t，r_t，h_t-1)，

其中，s_t表示知识图谱的三元组(s_t，r_t，o_t)中的头部实体s_t的嵌入向量，r_t表示该三元组(s_t，r_t，o_t)中的尾部实体o_t和头部实体s_t之间的关系r_t的嵌入向量，

其中，三元组(s_t，r_t，o_t)是知识图谱中由三元组的序列{(s₁，r₁，o₁)，(s₂，r₂，o₃)，，......，(s_L，r_L，o_L)}所组成的长度为L的路径上的第t个三元组，o_i＝s_i+1，1≤t≤L且，1≤i≤L-1，

其中，h_t表示在三元组(s_t，r_t，o_t)处累积的信息，并且h₀＝s₁，v_t是与三元组(s_t，r_t，o_t)中的尾部实体ot的嵌入向量接近的临时信息。

3.如权利要求2所述的方法，其中，搜索相应结构的步骤包括：

基于以下表达式，在结构搜索空间A中搜索最佳结构α^*并确定对应的嵌入向量s_t*和r_t*：

α^*＝arg_α∈AmaxM(F(α)，G_val)，

其中，α是所述统一表示的结构，指明v_t及h_t与s_t、r_t、和h_t-1之间的组合关系，F(α)是使用训练集G_tra对具有结构α的知识图谱嵌入模型进行训练所获得的知识图谱嵌入模型，并且返回与结构α对应的嵌入向量s_t和r_t，M(F(α)，C_val)测量经过训练的F(α)在验证集G_val上的性能指标得分，并且G_val和G_tra分别是所述特定知识图谱的三元组集合的子集合，α^*是结构搜索空间A中与在验证集G_val上具有最高性能指标得分的F(α)对应的结构。

4.如权利要求2所述的方法，其中，搜索相应结构的步骤包括：使用基于自然梯度的搜索算法来在结构搜索空间A中搜索最佳结构α^*，

其中，在所述搜索算法中，对结构搜索空间A中的各结构进行概率化以获得针对结构α∈A的概率分布p_θ(α)，θ为控制结构α的概率分布的参数，

其中，α是所述统一表示的结构，指明v_t及h_t与s_t、r_t和h_t-1之间的组合关系，最佳结构α^*为与参数θ满足max_θJ(θ)的p_θ(α)对应的各结构之中根据预设规则的获得的结构，

其中，

其中，F(α)是使用训练集G_tra对具有结构α的知识图谱嵌入模型进行训练所获得的知识图谱嵌入模型，并且返回与结构α对应的嵌入向量s_t和r_t，M(F(α)，G_val)测量经过训练的F(α)在验证集G_val上的性能指标得分，并且G_val和G_tra分别是所述特定知识图谱的三元组集合的子集合，

其中，θ的更新过程为

ρ为预设更新步长，并且

其中，α_j是从p_θ(α)进行抽样所获得的第j个结构，λ表示用于近似期望

的采样的数量。

5.如权利要求3或4所述的方法，其中，所述结构搜索空间A包括基于s_t，r_t，h_t-1组成v_t和h_t的所有可能结构。

6.如权利要求3或4所述的方法，其中，所述结构搜索空间A由满足以下组合关系的结构α构成：

其中，X_t和Y_t是从集合

选择的一项，

和

分别是使用从预设的多种向量运算算子选择的向量运算算子对输入的嵌入向量执行向量运算的向量运算函数。

7.如权利要求1所述的方法，其中，

当所述特定知识图谱是针对智能检索建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示被用于训练机器学习模型，以利用经过训练的机器学习模型提供检索的结果；

当所述特定知识图谱是针对智能推荐建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示被用于训练机器学习模型，以利用经过训练的机器学习模型针对特定对象提供相应推荐结果；

当所述特定知识图谱是针对智能问答建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示被用于训练机器学习模型，以利用经过训练的机器学习模型提供问题的答案；

当所述特定知识图谱是针对反欺诈而建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示被用于训练机器学习模型，以利用经过训练的机器学习模型确定是否存在欺诈风险；

当所述特定知识图谱是针对内容分发而建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示被用于训练机器学习模型，以利用经过训练的机器学习模型确定针对特定对象应分发的内容；

当所述特定知识图谱是针对医药数据建立的知识图谱时，所获得的所述特定知识图谱的嵌入表示被用于训练机器学习模型，以利用经过训练的机器学习模型提供药物和疾病关系查询的答案。

8.一种实现知识图谱嵌入的系统，所述系统包括：

构建装置，被配置为建立知识图谱嵌入模型的统一表示，并构建针对所述统一表示的结构搜索空间；

搜索装置，被配置为针对特定知识图谱，在所述结构搜索空间中搜索相应结构；

嵌入模型训练装置，被配置为基于所述特定知识图谱，对基于该结构的知识图谱嵌入模型进行训练；以及

表示装置，被配置为利用经过训练的知识图谱嵌入模型获得所述特定知识图谱的嵌入表示。

9.一种存储指令的计算机可读存储介质，其中，当所述指令被至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至7中的任一权利要求所述的方法。

10.一种包括至少一个计算装置和至少一个存储指令的存储装置的系统，其中，所述指令在被所述至少一个计算装置运行时，促使所述至少一个计算装置执行如权利要求1至7中的任一权利要求所述的方法。

Images