CN108108406A - 一种基于xml混合模式查询处理算法 - Google Patents

Abstract

本发明提供了一种基于XML混合模式查询处理算法，给定一个路径表达式查询，结合至少两种XML查询算法产生供替换的查询计划；基于每个可选的查询计划查询的代价，提选出最佳的评估计划；每个评估计划有一个相应的代价，表示使用该评估计划估计查询的必要时间；计算每个评估计划的代价，最小代价的评估计划即为最佳的查询计划。本发明提供的基于XML混合模式查询处理算法结合了两种及以上XML查询算法的优势，执行时间远远小于单算法的执行时间，提高了查询的处理速度，同时节约了搜索空间。试验结果表明，其在单文档上和多文档上查询均具有有效性，适于大范围推广应用。

Description

一种基于XML混合模式查询处理算法

技术领域

本发明涉及一种基于XML混合模式查询处理算法，属于计算机科学技术领域。

背景技术

早在XML推出以前，数据库研究人员就注意到现实生活中存在着大量的不规则数据，即这些数据没有固定的模式、结构易变，而传统的数据库只能表达结构化的数据，因此研究人员提出了半结构化数据模型(参见：T.Bray，J.Paoli，C.M.Sperberg.ExtensibleMarkup Language(XML)1.0.http://www.-w3.org/TR/1998/REC-XML-19980210，1998)，以其相应的查询语言，Lorel是Lore系统的查询语言，它是以OQL为基础发展起来的，它的语法也是Select-From-Where结构。自1998年初XML1.0规范问世以来，Lore提供了对它的支持，因此Lorel也可以用来查询XML数据，又相继出现了多种XML查询语言(参见：A.Silberschatz，F.Korth，S.Sudarshan.Database System Concepts.Third Edition.TheMcGraw-Hill Companies，1999：192-194)。

XML算法按研究领域可分为两类：(1)数据库领域，如Lorel、XML-QL、YATL、Quilt、XML-GL等(参见：D.Florescu，D.Kossmann.Storing and Querying XML Data Using anRBDMS.IEEE Data Engineering Bulletin，1999，22(3)：102-108)；(2)文档领域，如XSL、XQL等。其中，以Lorel、XML-QL、YATL、XQL影响较大。不同的研究领域，研究人员所关心的主要问题各有不同：数据库领域关心大型数据仓储、异构数据源集成、现有数据新的输出视图、私有数据到公共数据交换格式的转换等；而文档领域则侧重于全文检索、结构化文档的查询、内容检索与结构检索的集成、单个基础文档的多种输出形式等。而上述语言都只是侧重其中的一个方面，不能同时满足数据库和文档两方面的需求，为此，SoftWareAG、IBM和1NRIA综合了XML-QL、XQL、SQL以及OQL的优点，提出了Quilt(参见：T.Shimura，M.Yoshikawa，S.Uemura.Storageand Retrieval of XML Documents UsingObject-Relational Databases.In Int'1 Conf.onDatabase and Expert SystemsApplications，Florence，Italy，1999：206-217；C.Baru，A.Gupta，B.Ludaescher，etc.XML-Based Information Mediation with MIX.In in Demo Session，ACM-SIGMOD′99，Philadelphia，PA，1999：597-599；M.Rys.State-of-the-Art XML Support in RDBMS：Microsoft SQL Server's XML Features.Bulletin of the IEEE computer SocietyTechnical Committee on Data Engineering，2001，24(2)：3-11)。

现有的常用的XML算法有以下几种：

(1)基本内联法：首先为DTD(文档类型定义)中的每个元素生成一个“元素图”，它是DTD图中从该元素对应节点开始所能到达的节点构成的一个子图。基本内联法首先为每个元素图生成一个对应的表定义，并为所有可以直接达到的元素生成相应的属性，对于那些通过*节点达到的元素则另外生成一个表定义。基本内联法的最大缺点是生成了太多的表定义(对每个元素至少生成一个表)，由此导致在做某些查询的时候需要进行大量的集合操作。

(2)共享内联法：共享内联法解决了基本内联法的上述问题，它只考虑处理那些在DTD图中入度大于1和入度为0的元素对应的“元素图”，它与基本内联法相同，对那些通过*节点达到的元素也另外生成一个表。共享内联法比基本内联法生成了较少的表定义，但在进行查询的时候却比基本内联法需要进行更多的连接操作。

(3)混和内联法：混和内联法是共享内联法的改进，它与共享内联法唯一的不同在于：它同时还内联了那些入度大于1和通过*到达的节点。

综上，在实现上，基本内联法由于生成了太多的表，通常是不可取的，但对共享内联法和混和内联法的性能测试表明，这两种方法各有所长。这是因为混和内联法内联了更多的元素，虽然有时候可以降低连接操作的次数，但同时也使表的结构更加庞大，从而降低了处理的速度。

发明内容

本发明要解决的技术问题是如何提高XML查询处理算法的处理速度，同时节约搜索空间。

为了解决上述技术问题，本发明的技术方案是提供一种基于XML混合模式查询处理算法，其特征在于：给定一个路径表达式查询，结合至少两种XML查询算法产生供替换的查询计划；基于每个可选的查询计划查询的代价，提选出最佳的评估计划；每个评估计划有一个相应的代价，表示使用该评估计划估计查询的必要时间；计算每个评估计划的代价，最小代价的评估计划即为最佳的查询计划。

优选地，计算每个评估计划查询的代价的具体规则如下：

对每个评估计划可能的移动序列做详尽的搜索，沿着最优路径把搜索限定在一条窄带上：

1)为状态设定一个优先权列表；

2)裁剪产生次优解决方法的中间计划；

3)为每个状态推出代价值ubCost，ubCost表示从某一状态转换到最终状态所需的上部绑定的代价的估计；

给出如下几个概念：

定义1 给定一个查询模式Q＝(V_Q，E_Q)，V_Q为节点数量，E_Q为边的权重，一个状态节点N_s是在V_Q中的一簇节点，满足下面的关系：

(1)

(2)on path from u to v in Q(w为u到v的查询路径)

定义2 给定一个查询模式Q＝(V_Q，E_Q)，一个状态节点是一棵树S＝(V_s，E_s)，V_s为树的节点数量，E_s为边的权重，满足下面的关系：

(1)V_Q＝{v|v}∈N_s

(2)

(3)∪N_s＝VQ(N_s∈V_s)

(4)

(5)

查询模式Q是一个状态自身，称作开始状态，表示为S₀；当V_s＝{{V_Q}}，状态为最终状态，表示为S_f；所有其它的状态被称为中间状态；

定义3 与每个状态S关联的是一个代价值Cost value，Cost是计算S中由状态节点表示的所有子模式所需的操作的累积代价；或者说，Cost是开始状态S₀转换到状态S所需的累积代价；

定义4 从状态S开始的一次move M是向量(aN，dN，Algo，St，Cost)，其中，aN和dN是模式树节点且(aN，dN)∈E_s是将被计算的边；Algo表示物理操作符；St是将被排序的节点；Cost是连接的估计代价；

定义5一个状态S是无效的，当且仅当

起始于某一状态S，有一组可能的移动将状态转换为另一种状态集，从而逐步接近最终状态，称该组移动为possible moves，并表示为pM(s)；

查询处理过程中，通过扩展一个状态时向前看一步来避免无效状态的产生，具体如下：

1)扩展：总是扩展有最低Cost+ubCost值的状态；

2)裁剪：如果从S₀到S的路径的代价超过了从S₀到S_f的最低路径代价，则该状态S是“死”的，在这样的路径被发现之前没有状态是“死”的；当发现“死”状态时，该状态被消除；

3)向前看：扩展一个状态时，如该状态是无效的，则不能产生一个新状态。

优选地，一个路径表达式查询的代价表示为查询的最后操作的代价总数与其余操作的最小代价之和。

优选地，一个评估计划是一棵有根节点，即带标记的树；树中的每个节点是使用某种具体访问方法的物理操作符。

本发明提供的基于XML混合模式查询处理算法结合了两种及以上XML查询算法的优势，执行时间远远小于单算法的执行时间，提高了查询的处理速度，同时节约了搜索空间。试验结果表明，其在单文档上和多文档上查询均具有有效性，适于大范围推广应用。

具体实施方式

下面结合具体实施例，进一步阐述本发明。

对于任一给定的查询模式，有很多不同的估计查询的方法。查询优化器的任务就是基于每个可选的查询计划预算代价提选出最佳的评估计划。一般地，一个评估计划是一棵有根节点，带标记的树P＝(V_P，E_P)，树中的每个节点V_P、E_P是使用某种具体访问方法的物理操作符，每个评估计划有一个相应的代价，表示使用该计划估计查询的必要时间。

基于XML混合模式查询处理算法是对传统的-动态规划Dynamic Programming算法(简称DP算法)在XML中的应用进行的改进并优化。

传统的动态规划算法通过在查询中计算参与的每个组合的关系以及所产生的估计计划的最小代价来查找整个问题空间。使用较小的组合代价来决定较大的组合的代价。

这里，基于XML混合模式查询处理算法简称为DPWP算法。DP算法的复杂度是以模式树中节点的数量呈指数级的，DPWP算法的目标就是以更有效的方式找到最佳解决方法。我们仍对可能的移动序列做详尽的搜索，沿着最优路径把搜索限定在一条窄带上：

(1)为状态设定一个优先权列表；

(2)裁剪那些产生次优解决方法的中间计划；

(3)为每个状态推出另一个代价值ubCost，即从某一状态转换到最终状态所需的上部绑定的代价的估计。

为了追踪每个部分的结构化连接方案，提出如下几个概念。

定义1 给定一个查询模式Q＝(V_Q，E_Q)，V_Q为节点数量，E_Q为边的权重，一个状态节点N_s是在V_Q中的一簇节点，满足下面的关系：

(1)

(2)on path from u tov in Q(w为u到v的查询路径)

定义2 给定一个查询模式Q＝(V_Q，E_Q)，一个状态节点是一棵树S＝(V_s，E_s)，V_s为树的节点数量，E_s为边的权重，满足下面的关系：

(1)V_Q＝{v|v}∈N_s

(2)

(3)∪N_s＝V_Q(Ns∈Vs)

(4)

(5)

查询模式Q是一个状态自身，称作开始状态，表示为S₀，当Vs＝{{V_Q}}，状态为最终状态，表示为S_f，所有其它的状态被称为中间状态。

定义3 与每个状态S关联的是一个代价值(Cost value)，Cost是计算S中由状态节点表示的所有子模式所需的操作的累积代价。或者说，Cost是开始状态S0转换到状态S所需的累积代价。

定义4 从状态S开始的一次move M是向量(aN，dN，Algo，St，Cost)，其中，aN和dN是模式树节点且(aN，dN)∈E_s是将被计算的边；Algo表示物理操作符；St是将被排序的节点；Cost是连接的估计代价。

定义5 一个状态S是无效的，当且仅当

起始于某一状态S，有一组可能的移动将状态转换为另一种状态集，从而逐步接近最终状态，称该组移动为possible moves，并表示为pM(s)。

在DP算法中，无效节点的产生，对于优化是无用的。能够通过扩展一个状态时向前看一步来避免无效状态的产生。扩展和裁剪算法可归纳如下：

(1)扩展：总是扩展有最低Cost+ubCost值的状态。

(2)裁剪：如果从S₀到S的路径的代价超过了从S₀到S_f的最低路径代价，则该状态S是“死”的，在这样的路径被发现之前没有状态是“死”的。当发现“死”状态时，从深远考虑，该状态被消除。

(3)向前看：扩展一个状态时，如它是无效的，则不能产生一个新状态。

混和模式查询的执行必然产生可选的查询计划，为选择一个最佳的查询计划，使用上面介绍的DPWP算法来估计执行后路径表达式查询的代价，最小的代价即最佳的查询计划。

给定一个路径表达式查询，结合ZigZagjoin算法和Unnest算法产生供替换的查询计划。一个路径表达式查询的代价可表示为查询的最后操作的代价总数与其余操作的最小代价之和。

举例来说，考虑路径表达式查询/A/B/D//F：

(1)如果最后操作是ZigZagjoins，则相应于操作D//F，因此，该查询的代价是ZigZag cost(D//F)+minimum cost(/A/B/D)。

(2)如果最后操作是Unnest，则相应于该路径表达式的适当前缀之一，必定要考虑.//F，.D//F，/B/D//F和/A/B/D//F的Unnest操作代价并加上计算相应前缀的最小代价。

给定一个有N(N为正整数)个元素的路径表达式，构造两个(N+1)*(N+¹)矩阵：Unnest(I_U)和ZigZagjoin(I_Z)。下面将举例阐述查询/A/B/D//F的过程，相应的矩阵如表1和表2。根据情况创建了5*5矩阵。对于矩阵中的每个格，计算沿着X轴的路径表达式前缀的最小代价。Y轴，以给定的一个前缀作为输入。

例如：在I_Z矩阵中，灰色块I_Z(4，3)是最小的代价，使用ZigZag join算法计算.//F，以/A/B/D作为输入。相似的，IU(3，0)是计算/A/B/D最小的代价，以文档的根元素作为输入元素。

表1代价计算矩阵：Unnest

表2代价计算矩阵：ZigZag join

这里使用“×”来表示每个矩阵内不需要被计算的方格。如每个矩阵的对角线和对角线以下的值都是没有意义的。为了计算表2意义的方格的值，我们给出了下面的等式。

subpath(P，m，n)//给定路径P，抽取出始于第m个元素的一部分路径，扩展到n个元素并包括路径轴首部，m、n为正整数。

U(x，y)＝|subpath(P，1，y)|*Cost_Unnest(subpath(P，y+1，x-y+1))+min(min_0＜＝j＜y(I_U(y，j))，I_Z(y，y-1)+|subpath(P，1，y)|^*(comp+OC))

I_Z(x，y)＝Cost_ZigZag(subpath(P，y，1)，subpath(P，x，1))+min(min_0＜＝z＜y(I_U(y，z))+|subpath(P，1，y)|^*(F+OC)，I_Z(y，y-1))

subpath(P，1，0)|＝1

I_Z(0，0)＝I_U(0，0)＝0

其中，U(x，y)表示移动坐标，I_U(y，j)表示y轴上移动j，comp表示比较次数，OC表示输出单一Xkey的代价，F表示跳跃次数。

这里定义一个Unnest操作符为UN，一个ZigZagjoin操作符为ZZ。对于查询1的四个可选计划的执行时间见表3。

表3 /A/B/D查询执行时间(毫秒)

UN(/AB/D)计划是四个可考虑计划中最佳的查询计划。随着文档大小的增加，这四个计划的执行时间差距越见明显。这是因为Unnest操作仅考虑了A元素、B元素和B元素的所有孩子。即使对于含有100K的D元素的文档，需要Unnest算法考虑的元素的总数也在500以下。而ZigZag join计算B/D时必定要考虑B元素的所有D后代元素，因为这些D后代的元素之一可能是B元素的一个孩子元素。结果ZigZagjoin算法不得不作重复的计算，增加了对postings的访问次数。对其他的三个查询，我们只列出两端计划和最优计划。

表4是查询//B/D的执行时间，不管文档的大小如何，最优计划ZZ-＞UN总是响应最快的。

表4 //B/D查询执行时间(毫秒)

该查询证明一个混合模式查询方法的益处。//B操作如果用Unnest操作符来完成的话将是及其昂贵的，但如用posting scaln(提交扫描)。PostingScan指的是对某元素的整个posting list(提交列表)的一次查找。

来执行的话将相对廉价些。正如我们上面看到的，/B/D操作执行Unnest算法比执行ZigZagjoin算法所花费的时间少的多。因此//B/D的最优查询计划则是ZigZag join与Unnest两个操作符相结合的混和查询计划。

查询3与查询1相似，但增加了对每一个匹配/A/B/D元素的后代F的查找。相应的执行时间见表5。与查询2相比较，该查询在B/D之后有一个后代轴，因此，一个Unnest操作之后跟着一个ZigZagjoin操作具有最佳性能。

表5 /A/B/D//F查询执行时间(毫秒)

查询4是一个非常简单的查询，仅有两种选择来估计它：或者使用Unnest(//D)，或者posting scan(D)。Unnest操作符必须要检查整个文档来估计该查询，很浪费时间。正如表6中所阐明的结果，posting scan操作提供了最佳结果。

表6 //D查询执行时间(毫秒)

进行每个查询的预期代价模型与实测代价的比较。使用表7中的值做代价估算。值PBP与EBP是我们在Shore中为实验设定的实际参数。

表7不同的代价模型参数值

PBP：数据管理器中B+树的每个叶子页元素项的数目。

EBP：索引管理器中backing存储页的postings数目。

我们利用在不同文档大小上的查询1和在100K文档上的所有的查询来显示结果。针对查询1(/A/B/D)，代价比较如表8，相应的列中，最小数的项为标准化的项。

尽管代价模型比例与实际比例有一点不同，但对于最佳计划的估计计划却与实际的相同。对于每个文档大小，我们的代价模型正确的排序四个计划。

表8查询1的代价模型估计与实际比较

表9中我们示出了在100K文档上四个查询估计与实际代价模型的比较。

表9 100K文档上四个查询的代价模型估计与实际比较

本实施例研究了存储和查询静态XML数据的混合查询方法，详细介绍了两个关键部分，即数据管理器和索引管理器的存储XML文档的结构特点。为了协助混合模式查询处理，两个管理器共享一个XML文档元素编码模式，借此，讨论多种编码模式，为扩展混合模式系统打下了基础。

本实施例验证了在单一文档上查询的混合模式的有效性，并进行了扩展，把混合模式查询处理方法应用到多文档上的查询，对代价模型进行了验证。结果表明混和模式处理缩短了查询时间，节约了搜索空间。

以上所述，仅为本发明的较佳实施例，并非对本发明任何形式上和实质上的限制，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还将可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。凡熟悉本专业的技术人员，在不脱离本发明的精神和范围的情况下，当可利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时，凡依据本发明的实质技术对上述实施例所作的任何等同变化的更动、修饰与演变，均仍属于本发明的技术方案的范围内。

Claims (4)

1.一种基于XML混合模式查询处理算法，其特征在于：给定一个路径表达式查询，结合至少两种XML查询算法产生供替换的查询计划；基于每个可选的查询计划查询的代价，提选出最佳的评估计划；每个评估计划有一个相应的代价，表示使用该评估计划估计查询的必要时间；计算每个评估计划的代价，最小代价的评估计划即为最佳的查询计划。

2.如权利要求1所述的一种基于XML混合模式查询处理算法，其特征在于：计算每个评估计划查询的代价的具体规则如下：

对每个评估计划可能的移动序列做详尽的搜索，沿着最优路径把搜索限定在一条窄带上：

1)为状态设定一个优先权列表；

2)裁剪产生次优解决方法的中间计划；

3)为每个状态推出代价值ubCost，ubCost表示从某一状态转换到最终状态所需的上部绑定的代价的估计；

给出如下几个概念：

定义1给定一个查询模式Q＝(V_Q，E_Q)，V_Q为节点数量，E_Q为边的权重，，一个状态节点N_s是在V_Q中的一簇节点，满足下面的关系：

(1)

(2)

定义2给定一个查询模式Q＝(V_Q，E_Q)，一个状态节点是一棵树S＝(V_s，E_s)，V_s为树的节点数量，E_s为边的权重，满足下面的关系：

(1)V_Q＝{v|v}∈N_s

(2)

(3)∪N_s＝V_Q(N_s∈V_s)

(4)

(5)

查询模式Q是一个状态自身，称作开始状态，表示为S₀；当V_s＝{{V_Q}}，状态为最终状态，表示为S_f；所有其它的状态被称为中间状态；

定义3与每个状态S关联的是一个代价值Cost value，Cost是计算S中由状态节点表示的所有子模式所需的操作的累积代价；或者说，Cost是开始状态S₀转换到状态S所需的累积代价；

定义4从状态S开始的一次move M是向量(aN，dN，Algo，St，Cost)，其中，aN和dN是模式树节点且(aN，dN)∈E_s是将被计算的边；Algo表示物理操作符；St是将被排序的节点；Cost是连接的估计代价；

定义5一个状态S是无效的，当且仅当

起始于某一状态S，有一组可能的移动将状态转换为另一种状态集，从而逐步接近最终状态，称该组移动为possible moves，并表示为pM(s)；

查询处理过程中，通过扩展一个状态时向前看一步来避免无效状态的产生，具体如下：

1)扩展：总是扩展有最低Cost+ubCost值的状态；

2)裁剪：如果从S₀到S的路径的代价超过了从S₀到S_f的最低路径代价，则该状态S是“死”的，在这样的路径被发现之前没有状态是“死”的；当发现“死”状态时，该状态被消除；

3)向前看：扩展一个状态时，如该状态是无效的，则不能产生一个新状态。

3.如权利要求1所述的一种基于XML混合模式查询处理算法，其特征在于：一个路径表达式查询的代价表示为查询的最后操作的代价总数与其余操作的最小代价之和。

4.如权利要求1所述的一种基于XML混合模式查询处理算法，其特征在于：一个评估计划是一棵有根节点，即带标记的树；树中的每个节点是使用某种具体访问方法的物理操作符。