CN102760167B

CN102760167B - 基于粒子群优化算法的XQuery查询路径优化方法

Info

Publication number: CN102760167B
Application number: CN201210193940.8A
Authority: CN
Inventors: 李�浩; 赵伟; 郑程光; 孙伟丰; 罗正海; 李泉; 李书淦; 程仁波
Original assignee: FOUNDER DIGITAL PUBLISHING TECHNOLOGY (SHANGHAI) CO LTD; Founder Information Industry Holdings Co Ltd; Peking University Founder Group Co Ltd
Current assignee: Founder Digital Publishing Technology (Shanghai) Co.,Ltd.; Founder Information Industry Holdings Co Ltd; Peking University Founder Group Co Ltd
Priority date: 2012-06-13
Filing date: 2012-06-13
Publication date: 2014-07-23
Anticipated expiration: 2032-06-13
Also published as: CN102760167A

Abstract

本发明公开了一种基于粒子群优化算法的XQuery查询路径优化方法，包括：S1：读取欲查询的XML文档，并对所述XML文档进行预处理；S2：根据预处理后得到的所述XML文档转换XQuery查询语句；S3：根据所述转换后得到的XQuery查询语句构造查询代价矩阵；S4：用粒子群优化算法对所述查询代价矩阵进行计算，以得出最短的查询代价路径。与现有技术相比，本发明的基于粒子群优化算法的XQuery查询路径优化方法，具有提供相应查询相应时间，减少查询系统所需要的资源，较好的利用查询中间结果并对中间结果进行有效的优化处理从而减少中间结果所消耗的系统资源等优点，从而以较低的资源需求来完成相应的查询。

Description

基于粒子群优化算法的XQuery查询路径优化方法

技术领域

本发明涉及通信技术领域，特别涉及一种基于粒子群优化算法的XQuery查询路径优化方法。

背景技术

XQuery是用来从XML文档查找和提取元素及属性的一种语言，其业已被接纳为W3的标准。XQuery被设计用来查询XML文档，但其不仅仅局限于对XML文档的查询，而且其还可以对任何以XML形式所呈现的数据，当然也包括数据库。XQuery之于XML，相当于SQL之于关系型数据集。故而，XQuery被广泛应用于网络服务中的信息提取；信息摘要的生成；将XML转化为HTML；XML文档的搜索等应用场景下。

因此，当需要对一XML文档进行查询时，对于所给出的XQuery语句的选择执行什么样的查询路径，直接影响查询语句的响应时间。现有技术中，对于查询路径的优化一般或多或少都是基于查询代价来完成查询路径的优化。在用户给出一条XQuery查询语句时，系统会根据所给出的XQuery查询语句，将该语句分解为数个不同的查询子任务，并根据关系代数或布尔代数做一些基本的等价变化，例如利用De Morgan定律对查询条件进行等价处理等。但当执行复杂查询时，或者包含嵌套查询时，现有技术对于此种类型的优化则办法不多。导致上述情形发生的因素包括：(1)对于XML节点扫描消耗过多的资源，导致对于查询大文档时，资源消耗过大，查询时间相应增加；(2)对于中间结果的处理不够理想。例如在查询语句中需要多次使用查询的中间结果，而系统对于查询结果要么没有进行缓存处理，要么进行缓存处理时没有对中间结果的内容进行处理，从而导致系统所消耗的资源在做查询时增长过快；(3)对于查询路径没有进行有效编码和优化。

发明内容

本发明提供一种基于粒子群优化算法的XQuery查询路径优化方法，以解决是现有技术中查询路径消耗资源过大的问题。

为解决上述问题，本发明技术方案提供一种基于粒子群优化算法的XQuery查询路径优化方法，包括：

S1：读取预查询的XML文档，并对所述XML文档进行预处理，以简化所述XML文档；

S2：根据预处理后得到的所述XML文档转换XQuery查询语句；

S3：根据所述转换后得到的XQuery查询语句构造查询代价矩阵；

S4：用粒子群优化算法对所述查询代价矩阵进行计算，以得出最短的查询代价路径；

所述步骤S3具体为：

S31：获取转换后得到的所述XQuery查询语句中的节点编号：MAX_ID和MIN_ID，其中，所述MAX_ID、所述MIN_ID分别表示所述XQuery查询语句中的节点编号的最大值和最小值；

S32：根据MAX_ID，MIN_ID的取值范围建立一个(MAX_ID–MIN_ID)*(MAX_ID–MIN_ID)的查询代价矩阵，并将所述查询代价矩阵中的各个元素值设置为一个节点到另一个节点所包含的节点数量，以表示所述两个节点之间的查询路径的权值；

所述步骤S4具体为：

步骤S41:定义粒子群优化算法的目标函数为：min:f(x1,x2,…,xn);

步骤S42:随机生成N个个体，以生成初始种群；

步骤S43:初始化N个个体的初始值，也即使用随机数生成器对所述N个个体的初始速度及位置生成初始速度和初始位置；

步骤S44:计算所述各个个体的适应度值；

步骤S45:若适应度值小于给定的阈值d，则终止计算;

步骤S46:输出最优值，即该算法所寻找到的最优路线，否则进行步骤S47；

步骤S47:对粒子个体进行更新；

其中，f(x1,x2,…,xn)为x1,x2,…,xn路径上的查询代价，min为去所述目标函数的最小值；

d为用户给点的阈值，由用户进行指定；

适应度值，用以表明个体的优秀度，其越小则表明所述个体越优秀；

在所述步骤S47中，具体按照下述的公式更新所述粒子个体：

v_i ^k+1=w v_i ^k+c₁rand()(l_i ^k-x_i ^k)+c₂Rand()(g^k-x_i ^k) (1)

x_i ^k+1=x_i ^k+v_i ^k+1 (2)；

其中，g^k为在搜索空间中的优值，l_i ^k为第i个粒子在第k次迭代过程中所经历的最优位置；w为算法惯性权值，此数值为经验值在[1,1.3]；c₁、c₂为加速常数取值为2；rand()、Rand()为两个在[0,1]范围内变化的均匀分布函数。

可选地，所述步骤S1具体包括：

S11：对XML文档的所有节点标签进行预处理；

S12：对XML文档中的冗余标签进行处理。

可选地，所述步骤S11具体包括：

S111：寻找出所述XML文档中所有节点标签信息，并将所述节点标签信息保存至一张节点数据表中，并对所述节点数据表中的每一项赋予唯一编号作为该项在表中的索引值；

S112：在所述节点数据表的建立完成后，使用各个节点所对应的索引号对所述XML文档进行相应的处理，将所述节点在文档中的出现的位置使用其对应的节点索引号进行代替。

可选地，所述步骤S12具体包括删除所述XML文档的所有节点的右标签。

可选地，所述步骤S2具体为：根据所述的预处理后得到的XML文档转换原有的XQuery查询语句，也即使用所述XML文档中的各个节点的节点ID表示所述节点，从而将原XQuery语句进行转换。

与现有技术相比，上述技术方案具有下优点：

本发明的一种基于粒子群优化算法的XQuery查询路径优化方法，具有提供相应查询相应时间，减少查询是系统所需要的资源，较好的利用查询中间结果并对中间结果进行有效的优化处理从而减少中间结果所消耗的系统资源等优点从而已较低的资源需求来完成相应的查询工作。

附图说明

图1本发明的实施方式的基于粒子群优化算法的XQuery查询路径优化方法的流程图；

图2是本发明的实施方式的基于粒子群优化算法的XQuery查询路径优化方法中的步骤S1的流程图；

图2a是本发明的实施方式的基于粒子群优化算法的XQuery查询路径优化方法中的步骤S1中的步骤S11的流程图；

图3是是本发明的实施方式的基于粒子群优化算法的XQuery查询路径优化方法中的步骤S3的流程图；

图4是是本发明的实施方式的基于粒子群优化算法的XQuery查询路径优化方法中的步骤S4的流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。

在对大XML文件进行复杂查询时，由于XML文件较大，且其执行的XQuery查询语句较为复杂，因此会导致了查询过程中所出现的中间结果较为庞大，从而影响到查询速度，且系统在进行复杂查询时的系统资源消耗过大，从而产生用户体验不佳的问题。

故而，在对大型XML文件进行复杂的XQuery查询时候，首要考虑的因素是如何减少查询所产生的中间结果，而减少查询中间结果又涉及查询路径的编码以及所采用的优化算法。在此，我们主要关注两点，即如何对XQuery查询语句进行有效的编码，并产生出相对应的查询计划，其次是在对XQuery查询语句进行编码后，采取何种有效的算法来评估各个查询计划的代价，为执行器选择最优的查询计划提供支持。

现有对于大型的XML文档进行复杂的查询时候，采用的朴素的优化方式进行，其中只涉及一些简单的等价处理，如：Not，And，Or等的等价变换。而且，现有技术对于查询计划没有进行相应的优化，只是简单的按照XQuery语句来生成相应的查询计划。

例如，对于如下的XML文档：

我们使用如下的XQuery语句来查询出books下所有价格大于12美元的书：

for$x in doc(“books.xml”)/books/book where$x/price>12return$x;

则其执行的结果为：

现行的查询编译器对于上述查询语句的处理，按如下的步骤进行：

1、首先，会生产生产整个文档扫描的查询计划（Query Plan）。

2、进行查询条件的简单等价变换操作。

3、生产where条件的查询计划。

4、返回查询结果。

一个典型的查询计划如下：

由此可以看出，XQuery查询类似于结构化的查询方法，以关系代数为基础对查询语句进行等价的变换。例如，通过交换投影和选择的执行顺序对查询树进行变换，从而减少查询的中间代价。另外，由于XML文档的非结构化特性，使得适用于结构化查询的某些代数变换无法应用到XML文档上。

为解决现有技术中存在上述的技术问题，发明人经过研究，提出了一种基于粒子群优化算法的XQuery查询路径优化方法。参阅图1，图1是本发明实施方式的基于粒子群优化算法的XQuery查询路径优化方法的流程图。所述基于粒子群优化算法的XQuery查询路径优化方法包括：

参见图2、图2a、图3，它们示出了本发明的基于粒子群优化算法的XQuery查询路径优化方法的一种优选的实施方式。

为了使系统能够减少在执行文档查询时所产生的中间冗余信息，同时也为了能够方便的对于查询语句的查询路径进行相应的编码，以便构造出一个适用于基于粒子群优化算法的查询路径编码。首先，要对整个要查询的XML文档进行预处理，使得在查询系统中对XML文档中的所有节点均给出一个数值ID来描述该节点并对该节点的属性及内容做同样的处理。

以上面给出的XML文档为例，首先根据文档中的所有元素节点构造相应的元素容器，下表表示上述的XML文档的元素容器及属性容器和数据容器的情况。

元素表

属性表

/books/book/title

Discovery in deep ocean.
	Anonymous

在上述的元素容器构造完成的基础上，对于上述的XML文档作进一步的处理。

S2：根据预处理后得到的所述XML文档转换XQuery查询语句；

参见图2所示，图2示出了本发明的实施方式的基于粒子群优化算法的XQuery查询路径优化方法中的步骤S1的流程图。所述步骤S1具体包括：

S11：对XML文档的所有节点标签进行预处理；

S12：对XML文档中的冗余标签进行处理。

参见图2a所示，图2a示出了本发明的实施方式的基于粒子群优化算法的XQuery查询路径优化方法中的步骤S11的流程图。步骤S11的具体实现方式为：

S111：寻找出所述XML文档中所有节点标签信息，并将所述节点标签信息（例如：节点名称、节点属性值等信息）保存至一张节点数据表中，并对所述节点数据表中的每一项赋予唯一编号作为该项在表中的索引值；

例如，通过上述步骤处理后，对于前述的XML文档中出现的一对标签<Name>Brad.Pitt</Name>，可将其简化成<1>Brad.Pitt</1>例如：对于出现的一对标签<Name>Brad.Pitt</Name>，可将其简化成<1>Brad.Pitt</1>，并可进一步简化为<1>1001</1>，其中1为节点名称的变化，1001为节点内容的编号。因而，可以得知，通过上述步骤的预处理后，可以在很大程度上减少XML文档中的冗余信息。

优选地，步骤S12的具体实现方式为：删除所述XML文档的所有节点的右标签。因为，发明人经过研究发现：节点的右标签属于冗余信息，其标识了某节点的结束位置，而该位置我们可以从下一节点的开始标签获得其上一节点的右标签。删除节点的右标签后，相应的XML文档并没用减少相关结构的信息，而XML文档却进一步得到了简化。

优选地，步骤S2具体为：根据所述的预处理后得到的XML文档转换原有的XQuery查询语句，也即使用所述XML文档中的各个节点的节点ID表示所述节点，从而将原XQuery语句进行转换；

例如：

上述的查询语句：

for$x in doc(“books.xml”)/books/book where$x/price>12return$x;

通过上述的处理，可简化为：

for$9in doc(“1023”)/1/2where$x/4>12return$9;

其中，9为字符x在系统中的编号，1023则是系统为book.xml所分配的系统编号，1,2,4分别为books，book，price在系统中的编号。同时，将XQuery查询语句的关键字使用特殊编码后（例如用F代表for操作，D代码doc操作，等等），则简化后的查询语句进一步转换为：

F|9|I|1023/1/2|W|9/4|R|9|。

参见图3，图3示出了本发明的实施方式的基于粒子群优化算法的XQuery查询路径优化方法中的步骤S3的流程图。步骤S3具体包括：

S31：获取转换后得到的所述XQuery查询语句中的节点编号：MAX_ID和MIN_ID；其中，所述MAX_ID、所述MIN_ID分别表示所述XQuery查询语句中的节点编号的最大值和最小值；

例如：

上述的查询语句：

doc(“books.xml”)/books/book where$x/price>12return$x;

则可以得到：MAX_ID的值为9，MIN_ID的值为1。

S32：根据MAX_ID，MIN_ID的取值范围建立一个(MAX_ID–MIN_ID)*(MAX_ID–MIN_ID)的查询代价矩阵（查询的路径必然在该范围内），并将所述查询代价矩阵中的各个元素值设置为一个节点到另一个节点所包含的节点数量，以表示所述两个节点之间的查询路径的权值；其中，查询路径的权值越大，则说明在查询过程中所需要处理的节点元素个数越多，在进行选择最优查询路径的过程中，对该矩阵元素值进行相应的更新，新的元素值为该条路径上的节点数量。如果两个节点之间不存在有效的线路，则这两个节点之间的权值赋予+∞。

S4：运用粒子群优化算法对所述查询矩阵进行编码，并计算出各个节点到其它节点的路径，并选择一条最短路径，从而使得执行所产生的中间结果最少。

参阅图4，图4示出了本发明的实施方式的基于粒子群优化算法的XQuery查询路径优化方法中的步骤S4的流程图。步骤S4具体包括：

步骤S41：定义粒子群优化算法的目标函数为：min:f(x1,x2,…,xn);

步骤S42：随机生成N个个体，以生成初始种群；

步骤S43：初始化N个个体的初始值，也即使用随机数生成器对所述N个个体的初始速度及位置生成初始速度和初始位置；

步骤S44：计算所述各个个体的适应度值；

步骤S45：将适应度值与给定的阈值d进行比较，若小于所述的阈值d，则终止计算；

步骤S46：输出最优值，即计算得出的最短查询路径，否则，则

步骤S47：更新粒子个体。

d为用户给点的阈值，由用户进行指定；

适应度值，用以表明个体的优秀度，其越小则表明所述个体越优秀。

优选地，按照下述的公式对粒子个体进行更新：

v_i ^k+1=w v_i ^k+c₁rand()(l_i ^k-x_i ^k)+c₂Rand()(g^k-x_i ^k) (1)

x_i ^k+1=x_i ^k+v_i ^k+1 (2)

其中，v_i ^k+1中的x_i ^k+1等参数为所述的各个种群的所在搜索空间中第k+1次迭代后的位置和速度；g^k为在搜索空间中的优值，l_i ^k为第i个粒子在第k次迭代过程中所经历的最优位置；w为算法惯性权值，此数值为经验值，通常在[1,1.3]；c₁、c₂为加速常数，通常取值为2；rand()、Rand()为两个在[0,1]范围内变化的均匀分布函数。

综上所述，本发明技术方案具有下优点：

本发明的基于粒子群优化算法的XQuery查询路径优化方法，具有提供相应查询相应时间，减少查询是系统所需要的资源，较好的利用查询中间结果并对中间结果进行有效的优化处理，从而减少中间结果所消耗的系统资源，从而以较低的资源需求来完成相应的查询工作。

应当理解的是，这里所描述的方法可以以各种形式的硬件、软件、固件、专用处理机或者它们的组合实现。尤其是，至少本发明的一部分包括程序指令的应用程序优选实现。这些程序指令被确实地包括在一个或者多个程序存储设备（包括但不限于硬盘，磁性软盘，RAM，ROM，CD，ROM等）里，并且可由任何包括适当结构的设备或者机器，例如一种具有处理器、内存和输入/输出接口的通用数字计算机执行。还应当理解由于附图中描述的一些系统的组成部件和处理步骤优选地以软件实现，所以，系统模块（或者方法步骤的逻辑流程）之间的连接可能不同，这取决于本发明的编程方式。根据这里给出的指导，相关领域的普通技术人员将能够设计出本发明的这些以及类似的实施方式。

以上公开了本发明的多个方面和实施方式，本领域的技术人员会明白本发明的其它方面和实施方式。本发明中公开的多个方面和实施方式只是用于举例说明，并非是对本发明的限定，本发明的真正保护范围和精神应当以权利要求书为准。

Claims

1.一种基于粒子群优化算法的XQuery查询路径优化方法，其特征在于，包括：

S2：根据预处理后得到的所述XML文档转换XQuery查询语句；

S4：用粒子群优化算法对所述查询代价矩阵进行计算，以得出最短的查询代价路径;

所述步骤S3具体为：

所述步骤S4具体为：

步骤S41:定义粒子群优化算法的目标函数为：min:f(x1,x2,…,xn);

步骤S42:随机生成N个个体，以生成初始种群；

步骤S44:计算所述各个个体的适应度值；

步骤S45:若适应度值小于给定的阈值d，则终止计算;

步骤S47:对粒子个体进行更新；

d为用户给点的阈值，由用户进行指定；

在所述步骤S47中，具体按照下述的公式更新所述粒子个体：

v_i ^k+1=w v_i ^k+c₁rand()(l_i ^k-x_i ^k)+c₂Rand()(g^k-x_i ^k) (1)

x_i ^k+1=x_i ^k+v_i ^k+1 (2)；

2.如权利要求1所述的基于粒子群优化算法的XQuery查询路径优化方法，其特征在于，所述步骤S1具体包括步骤S11：对XML文档的所有节点标签进行预处理。

3.如权利要求1所述的基于粒子群优化算法的XQuery查询路径优化方法，其特征在于，所述步骤S1具体包括步骤S12：对XML文档中的冗余标签进行处理。

4.如权利要求2所述的基于粒子群优化算法的XQuery查询路径优化方法，其特征在于，所述步骤S11具体包括：

S112：在所述节点数据表的建立完成后，将所述节点在文档中的出现的位置使用其对应的节点索引号进行代替。

5.如权利要求3所述的基于粒子群优化算法的XQuery查询路径优化方法，其特征在于，所述步骤S12具体包括删除所述XML文档的所有节点的右标签。

6.如权利要求1所述的基于粒子群优化算法的XQuery查询路径优化方法，其特征在于，所述步骤S2具体为：根据所述的预处理后得到的XML文档转换原有的XQuery查询语句，也即使用所述XML文档中的各个节点的节点ID表示所述节点，从而将原XQuery语句进行转换。