CN106779150A - 一种大规模知识图谱复杂路径查询的视图物化方法 - Google Patents

Abstract

本发明涉及一种大规模知识图谱复杂路径查询的视图物化方法，包括以下3个模块：1)复杂路径查询的视图选择；2)复杂路径查询的视图存储；3)复杂路径查询的视图维护。复杂路径查询的视图选择模块实现预物化的复杂路径查询集识别、基于视图的复杂路径查询代价评估以及基于代价的复杂路径查询视图选取。复杂路径查询的视图存储模块实现基于内存列式的复杂路径查询视图存储组织以及复杂路径查询视图计算。复杂路径查询的视图维护模块实现基于删除数据集的视图更新、视图自动扩展以及基于插入数据集的视图更新。与现有技术相比，本发明具有良好的异构平台间移植能力以及显著提高大规模知识图谱复杂路径查询效率等优点。

Description

一种大规模知识图谱复杂路径查询的视图物化方法

技术领域

本发明涉及一种大规模知识图谱复杂路径查询的视图物化方法，属于计算机应用技术领域。

背景技术

在大数据时代，知识图谱是用来组织和可视化大数据的一种重要工具，旨在描述和刻画真实世界中存在的各种实体以及实体间的关系，通常用有向图来组织和表示。图中的节点表示实体，而图中的边则由关系构成，关系用来连接两个实体，刻画它们之间的关联。

通常，我们用G(E,R)来表示知识图谱，其中E＝{e_i}为所有实体组成的集合，R＝{r<e_i,e_j>}为实体间关系的集合，r<e_i,e_j>表示实体e_i到e_j的关系。不难看出，在多数情况下，r<e_i,e_j>≠r<e_j,e_i>。与现有的研究工作类似，我们将知识图谱G用资源描述框架RDF(Resource Description Framework)三元组的集合来表示，即G(E,R)＝{(e_i,r,e_j)}。目前比较主流的知识图谱包括Freebase、YAGO、Dbpedia、Internet Movie Database等。

复杂路径查询是深度分析和挖掘知识图谱，进而发现知识图谱隐含线索与规律的重要手段，目前成为知识图谱理论及技术领域的一个研究热点和重点。目前，学术界和工业界通常用Datalog语言来表达知识图谱上的复杂路径查询。一条复杂路径查询CQ可以用一个Datalog语言规则集合表示，例如CQ用如下4条规则组成的集合来表达：

规则1：P(x,r,y):-a(x,r₁,y)；

规则2：P(x,r,z):-P(x,r,z)∧P(y,r,z)；

规则3：Q(x,v,y):-a(x,r,y)∧P(x,r,z)；

规则4：P(x,v,y):-b(x,w,y)∧Q(x,v,z)。

在上面所给的4条规则中，“:-”的左边部分称作规则的头部，右边部分称作规则的规则体。x,y,z表示实体，r,v,w表示关系。在规则体中，a和b为知识图谱中存在的已知的RDF三元组事实，称作静态谓词；而在规则头部中，P和Q为复杂路径查询CQ所要得到的RDF三元组事实，称作查询谓词。

目前，国内外有一些知名的实验室团队在做这类的研究工作并取得了较好的应用成果，例如加州大学洛杉矶分校(University of California,Los Angeles)的AlexanderShkapsky团队、阿姆斯特丹自由大学(VU University Amsterdam)的Jacopo Urbani团队、牛津大学(University of Oxford)的Bernardo Cuenca Grau团队、卡拉布里亚大学(University of Calabria)的Valeria Fionda团队、中国人民大学的X.Zhang团队以及同济大学的Y.Xiang团队等。

然而我们发现，在大数据时代，知识图谱的规模非常巨大，里面包含着海量的实体和关系。因此，如果每次复杂路径查询均从零开始处理，其必导致查询的时间代价极大。而且当多个用户同时提交复杂路径查询时，系统的处理效率将非常低，其响应速度将非常慢。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷，而提出一种大规模知识图谱复杂路径查询的视图物化方法。该方法首先识别用户频繁提交的复杂路径查询集合，并基于代价的方式选取与复杂路径查询集合相关的视图进行物化；其次，基于内存列式的组织策略将待物化的复杂路径查询视图进行计算和存储；最后，当知识图谱动态变化时，对复杂路径查询视图自动进行增量更新和高效维护。在实际应用中，本发明能够显著提高大规模知识图谱上复杂路径查询的效率以及降低多用户并发查询的系统响应时间。

本发明的目的可以通过以下技术方案来实现：

1.一种大规模知识图谱复杂路径查询的视图物化方法，其特征在于，包括以下3个模块：

1)复杂路径查询的视图选择；

2)复杂路径查询的视图存储；

3)复杂路径查询的视图维护。

2.根据权利要求1所述的一种大规模知识图谱复杂路径查询的视图物化技术，其特征在于，所述的复杂路径查询的视图选择过程如下：

1)预物化的复杂路径查询集识别；

2)基于视图的复杂路径查询代价评估；

3)基于代价的复杂路径查询视图选取。

3.根据权利要求1所述的一种大规模知识图谱复杂路径查询的视图物化技术，其特征在于，所述的复杂路径查询的视图存储过程如下：

1)基于内存列式的复杂路径查询视图存储组织；

2)复杂路径查询视图计算。

4.根据权利要求1所述的一种大规模知识图谱复杂路径查询的视图物化技术，其特征在于，所述的复杂路径查询的视图维护过程如下：

1)基于删除数据集的视图更新；

2)视图自动扩展；

3)基于插入数据集的视图更新。

与现有技术相比，本发明具有以下优点：

1、能够显著提高大规模知识图谱上单个复杂路径查询的效率；

2、能够显著降低多个复杂路径查询并发执行的系统响应时间；

3、具有良好的异构平台间的移植能力。

附图说明

图1为本发明的技术架构图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

1、复杂路径查询的视图选择实施方法

(1)预物化的复杂路径查询集识别

由于知识图谱上的可以提交的不同复杂路径查询的数量巨大，因此在现实应用中，不可能物化所有的复杂路径查询视图，而且有些复杂路径查询不是经常需要提交，因此也没必要对它们进行物化处理。为此，本发明首先需要识别预物化的复杂路径查询集，主要通过以下3个步骤来具体实施：

步骤1：获取最近一个时间周期(例如一个星期)用户在系统中提交的所有复杂路径查询集合CQS＝{CQ₁,…,CQ_n}，其中每个查询CQ_i(1≤i≤n)对应一个Datalog语言规则集DL_i；

步骤2：对于复杂路径查询集合CQS，计算CQS的最小超查询msQ，即它所对应的Datalog语言规则集

步骤3：基于步骤1和步骤2分别得到的CQS和msQ，构造查询空间格Θ(msQ,CQS,π)，其中π表示子集关系，即如果CQ₁πCQ₂，那么有查询空间格Θ(msQ,CQS,π)构造过程如下：

步骤3.1：初始化队列L为空，并将msQ放入L中；

步骤3.2：将msQ作为Θ(msQ,CQS,π)的根节点；

步骤3.3：循环如下操作，直到L为空为止：

1)从L中取出第一个元素FQ；

2)记FQ所对应的Datalog语言规则集为DL_f，获取只比DL_f少一条规则的k＝|DL_f|个子集

3)对于2)中获取的做如下两个判断：i)如果已在Θ(msQ,CQS,π)中，那么在Θ(msQ,CQS,π)中直接增加条有向边，从DL_f指向否则将加入Θ(msQ,CQS,π)中，并增加条有向边，从DL_f指向ii)如果那么将放入L中；

步骤3.4：删除Θ(msQ,CQS,π)中所有不在CQS里面的叶子节点。

(2)基于视图的复杂路径查询代价评估

对于查询空间格Θ(msQ,CQS,π)中存在路径的两个复杂路径查询CQ₁和CQ₂，并且有CQ₁πCQ₂。如果CQ₂已完成视图物化，那么CQ₁的查询结果可以从CQ₂视图来计算，而没必要以大规模知识图谱为输入参数从零开始计算。基于该策略，本发明通过如下5个步骤来具体实施代价评估：

步骤1：获取CQ₂视图所包含的RDF事实表F₁,…,F_m，其中m为CQ₂视图中事实表的个数，并记X＝(F₁,…,F_m)；

步骤2：通过从X＝(F₁,…,F_m)中进行有放回采样10000次，得到10000个采样样本数据

步骤3：利用样本数据计算X的近似均值和标准差进而获取CQ₂的数据分布即其概率密度函数为：

步骤4：在CQ₂视图上，重复如下操作3000次：以满足数据分布的方式，从CQ₂视图中抽取1/300比例的数据样本sCQ，计算从sCQ获取CQ₁的时间代价timeC；记3000次操作全部完成后所得出的时间代价分别为：timeC₁,…,timeC₃₀₀₀；

步骤5：基于步骤4，获取从CQ₂视图计算CQ₁的时间代价为：

(3)基于代价的复杂路径查询视图选取

在(1)和(2)的基础上，本发明基于代价的方式从查询空间格Θ(msQ,CQS,π)中选取若干个复杂路径查询视图进行物化，使得这些视图能够快速处理Θ(msQ,CQS,π)的叶子节点，即CQS＝{CQ₁,…,CQ_n}。本发明通过如下4个步骤来具体实施：

步骤1：初始化中间变量temp，令temp＝CQS＝{CQ₁,…,CQ_n}；

步骤2：检测给定的空闲磁盘空间容量Ψ是否超过temp中复杂路径查询的视图大小总和，如果超过，那么直接将temp中复杂路径查询的视图进行物化，然后退出程序，否则执行步骤3；

步骤3：在temp中计算视图大小最小的两个复杂路径查询CQ_x和CQ_x，并在查询空间格Θ(msQ,CQS,π)中获取CQ_x和CQ_y的最小共同父节点CQ’，即CQ’满足如下3个条件：1)CQ_xπCQ’，2)CQ_yπCQ’，3)Θ(msQ,CQS,π)中不存在一个复杂路径查询CQ”，使得CQ_xπCQ”及CQ_yπCQ”成立，并且CQ’πCQ”；

步骤4：调整temp＝temp∪{CQ’}-{CQ_x,CQ_y}，并返回到步骤2。

2、复杂路径查询的视图存储实施方法

(1)基于内存列式的复杂路径查询视图存储组织

一旦对复杂路径查询视图完成选择之后，本发明对每个被选中的复杂路径查询视图进行物化存储。首先，本发明对这些复杂路径查询视图的存储格式进行有效的安排和组织，以便提高后面的视图计算效率。

不失一般性，对于每个复杂路径查询CQ，其所对应的Datalog语言规则集合为记为DL＝{rule₁,…,rule_h}。本发明首先获取这h条规则所包含规则头部的l个查询谓词P₁,…,P_l，然后针对每个查询谓词P_i(1≤i≤l)，在内存中将其组织为一个RDF三元组的事实簇队列List(P_i)，而每个事实簇FC包含三部分内容：执行序号s、规则编号rn以及核心事实表FT。执行序号s表示当前视图计算已进行到第s步，每一步执行一条规则；规则编号rn表示目前正在执行第rn条规则，其中1≤rn≤l；核心事实表用来存储当前视图计算所产生的RDF三元组事实。

对于每一步所产生的核心事实表FT，本发明采用基于内存的列式存储策略进行存储组织。由于FT存储RDF三元组事实，因此，FT包含三个列c₁,c₂,c₃，每个列为RDF三元组的一个分量。首先对第一个列c₁的取值从小到大进行排序并存储，然后，针对第一列中的相同值，对第二个列c₂的取值从小到大进行排序并存储，最后，针对第二列中的相同值，对第三个列c₃的取值从小到大进行排序并存储。

另外，为了提高内存空间的利用率，在列式存储过程中，本发明基于行程长度编码(RLE：run-lengh encoding)策略对核心事实表FT中的每一列进行压缩处理，即针对每一列c_i(1≤i≤3)，如果它上面的相同值出现了n次，那么本发明用来代替n次的重复存储。

(2)复杂路径查询视图计算

对于每个待物化的复杂路径查询CQ：DL＝{rule₁,…,rule_h}，在(1)中所给的视图存储组织的基础上，视图计算的任务是将第s步的执行规则编号rn所对应的核心事实表FT的结果进行物化存储，其核心工作是求得FT所包含的所有RDF三元组事实。本发明通过如下6个步骤来具体实施：

步骤1：在DL中获得与规则编号rn头部查询谓词P相关的规则集合 进而针对DL(P)中的每个规则rule’_i(1≤i≤k)获取它的头部查询谓词P_i，即rn表示为：P:-P₁,P₂,…,P_k；

步骤2：对于每个查询谓词P_i(1≤i≤k)，获取它的事实簇队列List(P_i)，进而获取List(P_i)所包含的所有核心事实表FT(P_i)；

步骤3：获取查询谓词P目前事实簇队列List(P)中所包含的所有核心事实表FT(P)；

步骤4：计算sumFT＝FT(P₁)∞FT(P₂)∞…∞FT(P_i)，其中∞表示自然连接操作；

步骤5：计算FT＝sumFT-FT(P)；

步骤6：在List(P)中增加一个新的事实簇nFC包含三部分内容：执行序号s、规则编号rn以及核心事实表FT。

3、复杂路径查询的视图维护实施方法

当底层知识图谱的数据发生变化时，本发明物化的复杂路径查询视图也需要随之动态更新，其增量维护过程如下：

(1)基于删除数据集的视图更新

假定本次知识图谱所删除的RDF三元组事实集合为D_rdf＝{(x,r,y)}，即对于D_rdf中的每一个事实(x,r,y)，x和y之间现在不存在关系r。

基于集合D_rdf中的每一个事实(x,r,y)，本发明更新每个已物化的复杂路径查询CQ。假定CQ相应的Datalog语言规则集DL中有k个规则rule₁,…,rule_k涉及(x,r,y)，那么我们首先获取这k个规则的头部查询谓词所对应的事实簇队列List(P₁),…,List(P_k)，然后按List(P₁),…,List(P_k)中的执行序号从小到大顺序遍历其核心事实表FT，并将FT中与(x,r,y)相关的三元组事实删除。

(2)视图自动扩展

在(1)中，基于删除数据集D_rdf中的每一个事实(x,r,y)，本发明针对每个物化的复杂路径查询CQ，从k个事实簇队列List(P₁),…,List(P_k)删除与(x,r,y)相关的三元组事实。然而，我们发现有些被删除的事实能够通过其它已物化的三元组事实来补全，并进行自动扩展，具体实施如下：

本发明首先将在(1)中被删除的m个三元组事实按照删除的先后顺序进行排序，得到deF＝<(x₁,r₁,y₁),…,(x_m,r_m,y_m)>；然后针对每一个被删除三元组事实(x_t,r_t,y_t)∈deF，本发明按List(P₁),…,List(P_k)中的执行序号从小到大顺序遍历其核心事实表FT，如果(x_t,r_t,y_t)能够通过FT中的其它三元组事实来推理出来，那么将(x_t,r_t,y_t)添加进FT中。

(3)基于插入数据集的视图更新

假定本次知识图谱所插入的RDF三元组事实集合为I_rdf＝{(x,r,y)}，即对于I_rdf中的每一个事实(x,r,y)，x和y之间现在存在关系r，而原来不存在该关系。基于集合I_rdf中的每一个事实(x,r,y)，本发明更新每个已物化的复杂路径查询CQ：DL＝{rule₁,…,rule_h}，具体实施如下：

步骤1：在DL中获取规则体与(x,r,y)匹配的第一个规则编号rn_a；

步骤2：将(x,r,y)在rn_a规则体中的计算结果写入头部查询谓词P_a的第一个事实簇所对应的核心事实表FT(P_a)中；

步骤3：从规则编号rn_a开始，循环访问DL中每个规则所对应的规则编号rn’：P’:-P₁,…,P_k，并执行如下操作，记当前执行序号为s：

步骤3.1：对于每个查询谓词P_i(1≤i≤k)，获取它的事实簇队列List(P_i)，进而获取List(P_i)的核心事实表FT(P_i)中由于(x,r,y)而新增的三元组事实nFT(P_i)；

步骤3.2：获取查询谓词P’目前事实簇队列List(P’)的核心事实表FT(P’)中由于(x,r,y)而新增的三元组事实nFT(P’)；

步骤3.3：计算snFT＝nFT(P₁)∞nFT(P₂)∞…∞nFT(P_i)；

步骤3.4：计算nFT＝snFT-nFT(P’)；

步骤3.5：将nFT插入到执行序号为s所对应的List(P’)核心事实表中。

Claims (4)

1.一种大规模知识图谱复杂路径查询的视图物化方法，其特征在于，包括以下3个模块：

1)复杂路径查询的视图选择；

2)复杂路径查询的视图存储；

3)复杂路径查询的视图维护。

2.根据权利要求1所述的一种大规模知识图谱复杂路径查询的视图物化方法，其特征在于，所述的复杂路径查询的视图选择过程如下：

1)预物化的复杂路径查询集识别；

2)基于视图的复杂路径查询代价评估；

3)基于代价的复杂路径查询视图选取。

3.根据权利要求1所述的一种大规模知识图谱复杂路径查询的视图物化方法，其特征在于，所述的复杂路径查询的视图存储过程如下：

1)基于内存列式的复杂路径查询视图存储组织；

2)复杂路径查询视图计算。

4.根据权利要求1所述的一种大规模知识图谱复杂路径查询的视图物化方法，其特征在于，所述的复杂路径查询的视图维护过程如下：

1)基于删除数据集的视图更新；

2)视图自动扩展；

3)基于插入数据集的视图更新。