CN107016110B

CN107016110B - 结合Spark平台的OWLHorst规则分布式并行推理算法

Info

Publication number: CN107016110B
Application number: CN201710246308.8A
Authority: CN
Inventors: 汪璟玢; 叶怡新
Original assignee: Fuzhou University
Current assignee: Fuzhou University
Priority date: 2017-04-15
Filing date: 2017-04-15
Publication date: 2019-12-17
Anticipated expiration: 2037-04-15
Also published as: CN107016110A

Abstract

本发明提供一种结合Spark平台的OWLHorst规则分布式并行推理算法：根据Spark RDD的特点，结合TREAT算法的原理，首先对RDF本体数据进行构建模式三元组对应的alpha寄存器O_m_RDD或P_t_RDD并广播以及规则标记模型；对每条规则的模式前件进行连接并生成对应的连接模式三元组集合Rule_m_linkvar_RDD，从而加快推理过程中的匹配速度；在OWL Horst推理阶段，结合MapReduce实现TREAT算法中的alpha阶段，实现多条规则的分布式并行推理，然后对推理结果进行去重处理；通过alpha寄存器和规则标记模型能够过滤大量实例三元组，减少Map阶段键值对的输出，从而减少了无效的网络传输。

Description

结合Spark平台的OWLHorst规则分布式并行推理算法

技术领域

本发明属于语义网技术领域，具体涉及一种结合Spark平台的OWLHorst规则分布式并行推理算法。

背景技术

语义万维网中的RDF和OWL标准已在各个领域有着广泛的应用，如一般知识(DBpedia)、医疗生命科学(LODD)、生物信息学(UniProt)、地理信息系统(Linkedgeodata)和语义搜索引擎(Watson)等。随着语义万维网的应用，产生了海量的语义信息。由于数据的复杂性和大规模性，如何通过语义信息并行推理高效地发现其中隐藏的信息是一个亟待解决的问题。由于语义网数据的急速增长，集中式环境的内存限制，已不适用于大规模数据的推理。

研究RDFS/OWL分布式并行推理是目前较新的一个领域。J.Urbani等人在RDFS/OWL规则集上采用WebPIE进行推理，能够满足大数据的并行推理；但该算法针对每一条规则启用一个或者多个MapReduce任务进行推理，由于Job的启动相对耗时，因此随着RDFS/OWL推理规则的增加，整体推理的效率受到了限制。顾荣等人提出了基于MapReduce的高效可扩展的语义推理引擎(YARM)，使推理在一次MapReduce任务内即可完成RDFS规则的推理；但该算法并不适用于复杂的OWL规则的推理。此外，当某一规则产生的新三元组重复时，YARM会存在过多的冗余计算且产生无用数据。汪璟玢等人提出结合Rete的RDF数据分布式并行推理算法，该算法结合RDF数据本体，构建模式三元组列表和规则标记模型；在RDFS/OWL推理阶段，结合MapReduce实现Rete算法中的alpha阶段和beta阶段，从而实现Rete算法的分布式推理；但该算法在连接beta网络推理时需要消耗较多的内存且进行多次迭代时效率低下，因而此算法受到集群内存和平台的限制。顾荣等人提出了一种基于Spark的高效并行推理引擎(Cichlid)，结合RDD的编程模型，优化了并行推理算法；但该算法未考虑规则能否被激活，均需要进行推理，因而造成了推理性能的浪费和传输的冗余。

由于语义网数据的急速增长，集中式环境的内存限制，已不适用于大规模数据的推理。目前存在分布式推理引擎虽然能够实现数据的并行推理，但是MapReduce任务启动个数多且耗时，对于复杂的OWL Horst规则无法执行推理，且存在过多的冗余计算且产生无用数据，以及消耗大量的内存多次迭代效率低下，导致无法在数据量增大的情况下能够高效且正确的实现RDFS/OWL规则的推理。

需要解决的技术问题：

1.解决如何结合RDF数据本体构建模式三元组RDD和规则标记模型，以及TREAT算法中alpha阶段的构建，从而能够高效并行的完成OWL Horst全部规则的推理。

2.结合提出的分布式方案提出了对应的并行推理方案，从而满足大规模数据的分布式并行推理的需求。

发明内容

为了解决上述问题，本发明提供一种结合Spark平台的OWLHorst规则分布式并行推理算法。本发明针对OWL Horst规则，提出了DPRS算法(Distributed parallelreasoning algorithm based on Spark)。该算法在数据量动态增加的情况下能够高效地构建alpha网络，并执行正确的推理。

为实现上述目的，本发明采用以下技术方案实现：一种结合Spark平台的OWLHorst规则分布式并行推理算法，其特征在于，包括以下步骤：S1：加载模式三元组集合P_j_RDD、O_K_RDD和Rule_m_linkvar_RDD并广播；模式三元组(S_i，P_j，O_k)指的是三元组中主语、谓语和宾语的定义都在本体文件中其中，i，j，k表示具体的某个元素；模式三元组集合包含P_j_RDD与O_k_RDD设模式三元组(S_i，P_j，O_k)，则P_j_RDD＝{<P_j,{(S_i,O_k)}>}，表示具有相同P_j且的所有模式三元组中(S_i，O_k)组成的集合，O_k_RDD＝{<O_k,{S_i}>},表示具有相同O_k且P_j∈{rdf:type}的所有模式三元组中S_i组成的集合；Rule_m_link_RDD在RDFS/OWL规则中用于连接两个前件的模式三元组项，将每一条规则的连接变量信息以<key,value>的形式存储在Rule_m_link_RDD，其中key存储该规则所有用于前件连接的模式三元组项，value存储该规则结论部分的模式三元组项；S2：构建规则标记模型Flag_Rule_m并广播；Flag_Rule_m标识规则m的状态是否为激活；规则不能激活时，Flag_Rule_m＝0；规则激活且为类型1时，Flag_Rulem＝1；规则激活且为类型2时，Flag_Rule_m＝2；其中类型1表示：只包含一个前件的规则或模式三元组与实例三元组组合的规则，且只有一个实例三元组；类型2：模式三元组与实例三元组组合的规则，且有多个实例三元组；S3：对Flag_Rule_m＝1或Flag_Rule_m＝2的规则并行执行OWL Horst规则的并行推理，并输出中间结果；S4：删除重复三元组；S5：如果产生新的模式三元组数据，则跳至S2，如果产生新的实例三元组数据，则跳至S3，否则算法结束；实例三元组(s_i，p_j，o_k)指的是三元组中主语、谓语和宾语至少有一个的定义不是在本体文件中，且是具体的实例，其中，i，j，k表示具体的某个元素。

与现有技术相比，本发明具有以下优点：

1.结合Spark平台构建模式三元组集合并广播，减少了网络传输的开销。

2.设计的冲突集更新策略，加快了数据更新速度从而提升了推理的效率。

附图说明

图1为本发明的总体框架示意图。

图2为OWL Horst规则结构图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步解释说明。

本发明提供一种结合Spark平台的OWL Horst规则分布式并行推理算法，其包括以下步骤：DPRS算法主要包括以下几个步骤：

1.加载模式三元组集合P_j_RDD、O_k_RDD和Rule_m_linkvar_RDD并广播。

2.构建规则标记模型Flag_Rule_m并广播。

3.对Flag_Rule_m的规则并行执行OWL Horst规则的并行推理，并输出中间结果。

4.删除重复三元组。

5.如果产生新的模式三元组数据，则跳至2，如果产生新的实例三元组数据，则跳至3，否则算法结束。

本发明的整体框架图参见图1。

定义1.(模式三元组，SchemaTriple)指的是三元组中主语(subject)、谓语(predicate)和宾语(object)的定义都在本体文件中。SchemaTriple表示为大写的S，P，O组成的(S_i，P_j，O_k)，其中，i，j，k表示具体的某个元素。

定义2.(实例三元组，InstanceTriple)指的是三元组中主语(subject)、谓语(predicate)和宾语(object)至少有一个的定义不是在本体文件中，且是具体的实例。InstanceTriple表示为小写的s，p，o组成的(s_i，p_j，o_k)，其中，i，j，k表示具体的某个元素。

定义3.(模式三元组集合，SchemaRDD(包含P_j_RDD与O_k_RDD))设模式三元组(S_i，P_j，O_k)，结合定义1，则P_j_RDD＝{<P_j,{(S_i,O_k)}>}，表示具有相同P_j且的所有模式三元组中(S_i，O_k)组成的集合，O_k_RDD＝{<O_k,{S_i}>},表示具有相同O_k且P_j∈{rdf:type}的所有模式三元组中S_i组成的集合。SchemaRDD表示P_j_RDD与O_k_RDD合并后的集合。

定义4.(连接变量，Rule_m_link_RDD)。连接变量为在RDFS/OWL规则中用于连接两个前件的模式三元组项，根据规则描述，连接变量可以不止一个。本文将每一条规则的连接变量信息以<key,value>的形式存储在Rule_m_link_RDD，其中key存储该规则所有用于前件连接的模式三元组项，value存储该规则结论部分的模式三元组项。

DPRS算法根据连接变量的类型，对OWL Horst规则进行分类。本文引用OWL Horst规则时采用OWL-规则编号的形式，例如OWL-4表示图2中的第4条规则。同时，给每条规则分配一个规则名称标记，规则名称标记即为该规则所对应的名称(例如，规则OWL-4的规则名称标记为OWL-4)。具体的规则分类如下：

1)类型1：只包含一个前件的规则或SchemaTriple与InstanceTriple组合的规则，且只有一个InstanceTriple，可以在Map推理过程中直接输出推理结果(图2中规则OWL-3、OWL-5a、OWL-5b、OWL-6、OWL-8a、OWL-8b、OWL-9、OWL-12a、OWL-12b、OWL-12c、OWL-13a、OWL-13b、OWL-13c、OWL-14a、OWL-14b)。

2)类型2：SchemaTriple与InstanceTriple组合的规则，且有多个InstanceTriple的，需要结合Map和ReduceByKey两个阶段推理(图2中规则OWL-1、OWL-2、OWL-4、OWL-7、OWL-15、OWL-16)。

定义5.(规则前件模式标记Index_mn)设C_mn为规则m的第n个规则前件，Index_mn表示是否存在满足该规则前件的模式三元组，即标识规则前件C_mn的SchemaRDD是否为空。结合定义4，规则前件模式标记Index_mn定义如下：

定义6.(规则标记Flag_Rule_m)标识规则m的状态是否为激活。结合定义6进行定义规则标记Flag_Rule_m如下：

Flag_Rule_m＝{0,1,2} 公式(3-3)

其中，规则不能激活时，Flag_Rule_m＝0；规则激活且为类型1时，Flag_Rule_m＝1；规则激活且为类型2时，Flag_Rule_m＝2。

在本发明具体实施例中DPRS算法过程包括以下步骤：

加载模式三元组与构建规则标记模型

由于模式三元组的数量远远少于实例三元组，DPRS算法将SchemaTriple加载到SchemaRDD中并广播。并构建每条规则中的模式三元组或模式三元组连接后的数据(Rule_m_linkvar_RDD或O_j_RDD或P_k_RDD)为alpha寄存器并广播，保存对应的SchemaTriple。

为了尽早判断出不可能被激活的规则，DPRS算法根据OWL规则构建每一条规则内SchemaTriple间的关系O_j_RDD或P_k_RDD，并判断SchemaRDD中是否存在规则前件中的SchemaTriple，生成对应规则的标记Flag_Rule_m，构建所有规则的标记模型，将规则标记模型加载到Flag_Rule_m并广播。

通过SchemaRDD和构建规则标记模型能够过滤大量InstanceTriple，减少Map阶段键值对的输出，从而减少了无效的网络传输，提高整体推理效率。

Map阶段

Map阶段主要完成对输入的数据进行选择过滤以及执行类型1的推理，结果的输出形式为键值对，本文提出的数据分配与过滤算法具体步骤如下.

算法 Map算法

输入 RDF三元组格式数据

输出以键值对的形式输出InstanceTriple

Step1获取广播变量中的O_j_RDD、P_k_RDD和Rule_m_linkvar_RDD以及规则标记Flag_Rule_m。

Step2对于输入的判断所有Flag_Rule_m的值。如果值为0，则跳至Step3，如果值为1，则跳至Step4，否则跳至Step5.

Step3对(S_i,P_j,O_k)不做任何处理。

Step4结合O_j_RDD或P_k_RDD执行类型1的规则推理，根据规则的结论直接输出对应的三元组<Rule_m,(S′_i,P′_i,O′_k)>。

Step5获取对应规则中的模式三元组alpha寄存器O_j_RDD、P_k_RDD或Rule_m_linkvar_RDD，判断当前的实例三元组是否满足前件连接变量的条件；满足，则构建对应的键值对<Rule_m_linkvar,(S_i,P_j,O_k)>输出；不满足，则不做处理。

以图2中规则8a(inverseOf)为例，伪码描述如下：

类似于规则8，推理可以在Map阶段就得到规则产生的三元组结果，那么reduce阶段就可以对规则8产生的三元组去重并输出。

以图2中规则9(type+sameAs)为例，伪码描述如下：

以图2中规则15(someValuesFrom)为例，伪码描述如下：

如上所描述的规则9和15，以规则9为例，在Map阶段需要对输入的三元组进行处理，以“Rule9+连接变量”为key，如果谓语为type，那么value中标记为type且资源为连接变量；如果谓语为sameAs，那么value中标记为sameAs且资源为宾语。

Reduce阶段：连接推理

Reduce阶段主要完成连接推理。利用RDD的reduceByKey，结合OWL Horst规则，根据SchemaRDD和alpha寄存器以及Map阶段的InstanceTriple输出结果完成连接推理，得到推理结果.本文提出的连接推理算法具体步骤如下：

算法 Reduce算法

输入键值对形式的InstanceTriple

输出连接推理生成的三元组

Step1.获取广播变量中的O_k_RDD、P_j_RDD和Rule_m_linkvar_RDD以及规则标记Flag_Rule_m。

Step2.获取相同键对应的迭代器；如果key为Rule_m，则表示为类型1，直接将value的三元组(S′_i,P′_i,O′_k)输出；如果key为Rule_m_linkvar，则表示为类型2，则根据该key对应的OWL Horst规则和连接变量，结合alpha寄存器Rule_m_linkvar_RDD与value迭代器完成连接推理，得到推理结果并输出连接后的三元组(S′_i,P′_i,O′_k)。在执行连接推理过程中，因为符合条件的SchemaTriple已经在构建alpha寄存器时已连接完毕，所以只需要执行SchemaTriple与InstanceTriple或InstanceTriple与InstanceTriple间的连接即可。

为了更加明确Reduce阶段的连接推理，以图2中规则9(type+sameAs规则)为例，伪码描述如下：

为了更加明确Reduce阶段的连接推理，以图2中规则15(someValuesFrom规则)为例，伪码描述如下：

由上述的规则9和规则15的伪码，以规则9为例，在Reduce阶段，根据输入的key和values，我们通过values中的flag值来进行区分并构建输出的三元组。

删除重复三元组

在执行算法推理的过程中会产生大量重复的三元组数据到冲突集中，如不删除冲突集中的重复三元组，则更新alpha寄存器时将会产生重复三元组数据，浪费系统资源，降低推理效率。如果每次推理后都能够及时删除冲突集中的重复三元组，那将会减少很大的网络传输开销。本文借助RDD的distinct和subtract完成删除重复三元组算法。

通过上述的删除重复三元组后，冲突集中的模式三元组分别更新到对应的alpha寄存器中，实例三元组则合并到实例文件中。

算法复杂性分析是衡量一个算法效率的重要指标，DPRS算法的复杂性分析与集中式算法有着不同的方式。在分析DPRS算法的复杂性时，可以将其分解为Map和Reduce两个阶段进行算法复杂性分析。设实验数据集中包含N个三元组，其中含有n个模式三元组，且MapReduce过程中Map任务的并行数设为k，Reduce阶段接收Shuffle传输的实例三元组数设为m，Reduce任务的并行数设为t。DPRS算法在Map阶段对于输入的每个三元组，都对Pj_RDD、Ok_RDD和Flag_Rulem扫描一次，进而判断该三元组能否参与某些规则推理。如果能，结合其他数据进行规则推理，则以规则名称拼接连接变量为key，中间结果为value作为Map的输出。因此，Map阶段的时间复杂性为：O(n*N/k)。由于图2OWL Horst规则中，规则1、2、3、4、15、16都含有两个实例三元组前件，将上述规则称作多实例变量规则，多实例变量规则的Reduce阶段则需要遍历两次输入的实例三元组与模式三元组连接，才能得到推理结果。因此在Reduce阶段的时间复杂性分为单变量和多变量进行分析：Reduce阶段多变量的时间复杂性为：O(n*m/t)。由于n的数目非常少，可以认为其量级为常数。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims

1.一种结合Spark平台的OWLHorst规则分布式并行推理方法，其特征在于，包括以下步骤：

S1：加载模式三元组集合P_j_RDD、O_K_RDD和Rule_m_linkvar_RDD并广播；模式三元组(S_i，P_j，O_k)指的是三元组中主语、谓语和宾语的定义都在本体文件中，其中，i，j，k表示具体的某个元素；模式三元组集合包含P_j_RDD与O_k_RDD；设模式三元组(S_i，P_j，O_k)，则P_j_RDD＝{<P_j,{(S_i,O_k)}>}，表示具有相同P_j且的所有模式三元组中(S_i，O_k)组成的集合，O_k_RDD＝{<O_k,{S_i}>},表示具有相同O_k且P_j∈{rdf:type}的所有模式三元组中S_i组成的集合；Rule_m_link_RDD在RDFS/OWL规则中用于连接两个前件的模式三元组项，将每一条规则的连接变量信息以<key,value>的形式存储在Rule_m_link_RDD，其中key存储该规则所有用于前件连接的模式三元组项，value存储该规则结论部分的模式三元组项；

S2：构建规则标记模型Flag_Rule_m并广播；Flag_Rule_m标识规则m的状态是否为激活；规则不能激活时，Flag_Rule_m＝0；规则激活且为类型1时，Flag_Rule_m＝1；规则激活且为类型2时，Flag_Rule_m＝2；其中类型1表示：只包含一个前件的规则或模式三元组与实例三元组组合的规则，且只有一个实例三元组；类型2：模式三元组与实例三元组组合的规则，且有多个实例三元组；

S3：对Flag_Rule_m＝1或Flag_Rule_m＝2的规则并行执行OWLHorst规则的并行推理，并输出中间结果；

S4：删除重复三元组；

S5：如果产生新的模式三元组数据，则跳至S2，如果产生新的实例三元组数据，则跳至S3，否则算法结束；实例三元组(s_i，p_j，o_k)指的是三元组中主语、谓语和宾语至少有一个的定义不是在本体文件中，且是具体的实例，其中，i，j，k表示具体的某个元素。

2.根据权利要求1所述的结合Spark平台的OWLHorst规则分布式并行推理方法，其特征在于：当Flag_Rule_m＝1，S3包括以下步骤：

S031：获取广播变量中的P_j_RDD、O_K_RDD和Rule_m_linkvar_RDD以及规则标记Flag_Rule_m；S032：对于输入的属于实例三元组判断所有Flag_Rule_m的值，如果值为0，则跳至S033，如果值为1，则跳至S034，否则跳至S035；

S033：对(S_i,P_j,O_k)不做任何处理；

S034：结合O_j_RDD或P_k_RDD执行类型1的规则推理，根据规则的结论直接输出对应的三元组<Rule_m,(S’_i，P’_i，O’_k)>；

S035：获取对应规则中的模式三元组alpha寄存器O_j_RDD、P_k_RDD或Rule_m_linkvar_RDD，判断当前的实例三元组是否满足前件连接变量的条件；满足，则构建对应的键值对<Rule_m_linkvar,(S_i,P_j,O_k)>输出；不满足，则不做处理。

3.根据权利要求1所述的结合Spark平台的OWLHorst规则分布式并行推理方法，其特征在于：当Flag_Rule_m＝2，S3包括以下步骤：

S131.获取广播变量中的P_t_RDD、O_m_RDD和Rule_m_linkvar_RDD以及规则标记Flag_Rule_m；

S132.获取相同键对应的迭代器；如果key为Rule_m，则表示为类型1，直接将value的三元组(S’_i，P’_i，O’_k)输出；如果key为Rule_m_linkvar，则表示为类型2，则根据该key对应的OWLHorst规则和连接变量，结合alpha寄存器Rule_m_linkvar_RDD与value迭代器完成连接推理，得到推理结果并输出连接后的三元组(S’_i，P’_i，O’_k)；在执行连接推理过程中只需要执行模式三元组与实例三元组或实例三元组与实例三元组间的连接。

4.根据权利要求1所述的结合Spark平台的OWLHorst规则分布式并行推理方法，其特征在于：S4包括以下具体步骤：借助RDD的distinct和subtract完成删除重复三元组算法；冲突集中的模式三元组分别更新到对应的alpha寄存器中，实例三元组则合并到实例文件中。