CN103164495B - 一种基于周边搜索的半连接查询优化方法及其系统 - Google Patents

Abstract

本发明公开了一种基于周边搜索的半连接查询优化方法及其系统，查询优化引擎模块将用户的查询信息转成带有遍历回溯的树形半连接搜索状态图，将所述半连接搜索状态图通过逆向搜索生成周边节点集合，并构造启发式评估函数f(x)＝Min_x∈P(h(x)+h^*(x))，通过基于IDA^*的前向搜索得到最优半连接操作顺序解；将结果发给用户。当前向搜索与周边节点集合P重合时，得到最优的半连接操作顺序解。本申请提出的基于周边搜索的半连接查询优化方法减少了半连接查询优化搜索范围，降低了搜索问题复杂度，能够很好的满足数据共享环境中数据查询优化的要求。

Description

一种基于周边搜索的半连接查询优化方法及其系统

技术领域：

本发明涉及一种数据库查询方法，具体涉及一种基于周边搜索的半连接查询优化方法及其系统。

背景技术：

在数据共享环境中，连接操作是实现分布异构数据源全局数据查询最为常用的操作，也是代价较高的一种数据查询操作，其效率直接影响到数据共享环境全局数据查询的整体性能，因此连接操作的性能优化至关重要。针对连接操作，一种基本的优化方法是通过半连接来缩减查询的操作数，降低通信代价，提高查询性能，这一方法十分有效。但是，随着数据共享环境中全局数据查询所涉及连接操作对象(即各数据源局部数据查询结果)的不断增多，数据关系的日益复杂，数据量的不断加大，仅仅依靠半连接已无法满足优化的需要，还必须充分考虑并获取最优的半连接操作顺序，从而避免因不当半连接操作顺序而导致中间操作数据的爆炸性增长和优化性能的急剧下降，进一步提高半连接的整体执行效率，实现数据共享环境全局数据查询的优化。

半连接操作是由投影和连接操作导出的一种关系代数操作，就是关系R和S的自然连接在关系R的属性集上的投影，或者说关系S和R的自然连接在S关系的属性集上的投影，可表示为：用半连接进行查询优化的基本思想是把关系传输到另一个节点之前，尽量减少关系中的元组数，其操作核心是只将连接操作有关的操作分量在网上进行传输，从而减少通信的数据传输量，来提高查询的响应时间和减少系统开销。对于传输代价的费用计算，本文主要针对网络数据传输量进行考虑，即代价函数将只计算属性传输移动时所产生的数据传输代价。可以看出，半连接查询优化问题的本质即半连接操作的数据传输代价最小化问题。半连接查询优化问题可以描述为：

定义：半连接查询优化问题

设节点V_i的起始状态为V_i0，全缩减状态为V_i ^*。数据传输开销函数w:V_is→V_it为节点V_i从状态V_is到状态V_it的代价。路径p_i＝＜V_i0,V_i1,...,V_ik＞的代价是指其所有状态代价之和：

$w\left(p_i\right)=\underset{i=1}{\overset{k}{\Σ}}w(V_{i-1},V_i)$

定义节点V_i从起始状态V_i0到全缩减状态V_i ^*的最小代价为：

$\mathrm{\δ}\left(V_i\right)=\min \{w\left(p_i\right):V_{i0}\stackrel{p_i}{\→}{V_i}^{*}\}$

则半连接查询优化问题即找到所有节点V_i全缩减后的最小代价总和的问题。

为实现半连接查询优化问题搜索空间形式化描述的目的，状态图描述所需的符号定义如下表所示：

半连接查询优化问题是NP完全问题，尚有许多问题值得研究和探讨。目前，针对半连接查询优化问题大多方法采用启发式搜索、随机搜索等搜索方法对半连接操作顺序进行优化处理，解决数据传输代价最小化问题，例如P.ABemsteni提出的基于爬山(HillClimbing)方法的SDD-1方法、H.Yoo等提出了基于A*方法的半连接操作优化方法、C.Evendilek等提出的针对线形查询的启发式搜索方法等。这些方法主要以图结构的查询执行计划模型为基础进行优化，利用启发信息来引导搜索，达到减少搜索范围、降低问题复杂度的目的，并最终找到最优解。但这些方法在执行过程中会产生大量的中间结果，增加大量的系统开销，存在指数存储空间大、时间复杂度高等问题，从而降低了效率。

针对上述不足，Y.Ioannidis、MuratAliBay、AmitGoyal、AAllahverdi等提出了模拟退火(SimulatedAnnealing)、遗传方法(GeneticAlgorithm)、ImprovedA*、禁忌搜索等智能优化方法。这些方法基于一般随机搜索的方式对查询规划进行静态优化，是模拟自然界生物系统发展起来的优化方法，具有潜在的并行性，且个体之间可以共享或交换信息。其中，模拟退火方法是用一个随机接受准则(Metorpofsi准则)有限度地接受恶化解，并且接受恶化解的概率慢慢趋向于0，尽可能从局部极值区域中跳出，从而找到全局最优解，以保证这个方法的收敛性。遗传方法采取并行性来解决解空间庞大且复杂的搜索问题，其依赖全局信息减少局限于局部最优区域的风险，使得方法在一定程度上避免陷入局部最优，此外，这个方法利用参变量进行编码，然后利用适应度信息进行运算，使优化方法有效、实用。禁忌搜索方法作为一种不完全迭代搜索方法，采取动态邻域搜索方法从一个初始可行解出发，选择一系列的特定搜索方向作为试探，选择实现使目标函数值减少最多的移动，该方法的最大优点在于具有记忆功能，由于“禁忌表”的作用，使得搜索可以确定性地跳出局部最优，与模拟退火、遗传方法相比较而言，禁忌搜索方法往往能得到更好的求解质量。虽然智能优化方法在一定程度上解决了传统启发式搜索指数存储空间大、时间复杂度高等问题，但是，智能优化方法存在编码方法过于复杂、计算量大或虽能得到近似最优解，但优化时间过长等问题。

发明内容：

针对现有技术的不足，本发明提供一种基于周边搜索的半连接查询优化方法，有效减少了半连接查询优化搜索范围，降低搜索问题复杂度。

本发明提供的一种基于周边搜索的多数据库系统半连接查询优化方法，其改进之处在于，所述方法包括如下步骤：

(1)查询优化引擎模块将用户的联合数据查询信息转成带可遍历和回溯的树形半连接搜索状态图，通过逆向和前向搜索分别生成周边节点集合和得到半连接操作顺序解，将所述半连接操作顺序解传给查询结果处理器；

(2)所述查询结果处理器将所述半连接操作顺序解处理后传给用户。

优选的，生成周边节点的逆向搜索和以周边节点为目标的前向搜索的双向搜索为周边搜索；

所述周边节点集合是树形半连接搜索状态空间中距离全缩减状态特定层数的搜索状态节点集合。

优选的，按照半连接操作顺序连接不同节点，得到步骤(1)所述的可遍历和回溯的树型半连接搜索状态图。

优选的，从最终节点开始，根据逆向搜索算子进行逆向搜索，通过限制深度的宽度优先搜索，将深度等于周边深度的节点加入周边节点集合得到步骤(1)所述通过逆向搜索生成周边节点集合。

优选的，利用IDA*方法，通过启发式评估函数，从初始节点开始进行前向搜索，当前向搜索与周边节点集合重合，得到步骤(1)所述通过前向搜索得到半连接操作顺序解。

优选的，所述启发式评估函数为：

f(x)＝Min_x∈P(h(x)+h^*(x))

式中，h(x)为起始节点到周边节点x的启发式评估的最小搜索代价，h^*(x)是指从周边结点x到目标结点的最小搜索代价。

本发明基于另一目的提供的一种基于周边搜索的半连接查询优化的系统，其改进之处在于，包括网络传输接口模块、查询预处理器模块、查询优化引擎模块、查询语句生成器模块、查询执行引擎模块、执行代理模块和查询结果处理器模块；

接收用户信息的网络传输接口模块接收的信息依次传给查询预处理器模块、查询优化引擎模块、查询语句生成器模块、查询执行引擎模块、执行代理模块和查询结果处理器模块，所述查询结果处理器模块将信息处理后通过所述网络传输接口模块传给用户。

优选的，

查询预处理器模块用于接收连接子查询，获得需要进行连接查询优化的关系和相应数据源；

查询优化引擎模块用于以子查询语句以及相关数据源中关系的信息为输入，依据基于逆向搜索的半连接周边生成方法进行半连接数据传输代价最小化计算，并获得半连接查询操作最优顺序；

查询语句生成器模块用于将半连接查询操作最优顺序生成连接查询语句；

查询执行引擎模块用于将连接查询语句发送给执行代理模块，并负责执行代理模块的生命周期控制；

执行代理模块用于在局部数据源中执行连接查询语句，并获得连接查询结果；

查询结果处理器模块用于将连接查询的结果封装成统一数据格式并发送给用户。

优选的，所述系统包括查询同步控制器模块，所述查询同步控制器模块分别与执行代理模块、查询结果处理器模块和查询执行引擎模块连接；所述查询同步控制器模块用于处理查询过程中连接操作执行的同步请求。

优选的，所述系统包括指标管理器，用于对连接代价评估指标的配置和管理，所述配置包括属性宽度、属性选择度及关系连接度。

优选的，所述系统包括配置管理器，用于对半连接查询优化服务中的各模块提供统一管理界面，确保各模块配置的一致性与正确性。

与现有技术比，本发明的有益效果为：

现有的技术存在指数存储空间庞大、求解质量低、求解效率低等问题。本申请提出的基于周边搜索的半连接查询优化方法减少了半连接查询优化搜索范围，降低了搜索问题复杂度，能够很好的满足数据共享环境中数据查询优化的要求。

仿真表明，本发明在节省存储空间、提高求解效率等方面具有明显优势。

附图说明

图1为本发明提供的周边搜索示意图。

图2为本发明提供的系统示意图。

图3为本发明提供的搜索状态示意图。

图4为本发明提供的树形半连接搜索状态图。

图5为本发明提供的生成的周边示意图。

图6为本发明提供的平均扩展节点评估图。

图7为本发明提供的平均执行时间评估图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

针对半连接查询优化问题，本实施例提出了基于周边搜索的半连接查询优化方法。周边搜索是一种双向搜索方法，该方法基于周边节点(即树形半连接搜索状态空间中距离全缩减状态特定层数的搜索状态节点集合)，通过生成周边节点的逆向搜索以及以周边节点为目标的前向搜索实现双向搜索。如图1所示，周边搜索通过将搜索空间分割成两个相对独立的搜索过程来降低启发式搜索的复杂度。与其他双向搜索方法不同的是，周边搜索通过相继执行的前后两个方向的搜索，避免了由于前后两个方向搜索操作并行执行所造成的问题。

本实施例的基本思路是：首先，方法生成可遍历回溯的树形半连接搜索状态空间。然后，通过基于逆向搜索的半连接周边生成方法逆向生成周边节点集合，它从最终状态节点(即所有关系均是全缩减状态V_i ^*)开始执行限制深度的宽度优先逆向搜索，按周边深度dp产生周边节点集合P，在集合P里，每个周边节点描述的都是距离最终状态节点相差dp层数的搜索状态节点集合。最后，方法构造启发式评估函数f(x)＝Min_x∈P(h(x)+h^*(x))，通过基于IDA*的前向搜索方法从初始状态结点开始实施前向启发式搜索，并以周边P取代最终状态节点成为前向搜索的目标。在f(x)中，h(x)是指从初始状态节点到周边节点x的启发式评估的最小代价路径费用，h^*(x)是指从周边节点x到最终状态结点的最小代价路径，其中h(x)又称为启发式评估算子。方法从初始状态节点(即所有关系均是初始状态V_i0)开始向前搜索状态空间，当前向搜索与周边节点集合P重合时，即完成整个搜索过程，得到最优的半连接操作顺序解，从而最终完成基于周边搜索的半连接查询优化。

本实施例的一种基于周边搜索的多数据库系统半连接查询优化方法包括如下步骤：

(1)查询优化引擎模块接收用户的联合数据查询信息；

用户将联合数据查询信息先通过网络传输接口传给查询预处理器，查询预处理器将信息传给查询优化引擎模块；

(2)所述查询优化引擎模块将所述信息转成带有遍历回溯的树形半连接搜索状态图，通过逆向搜索生成周边节点集合，并通过前向搜索得到半连接操作顺序解，将所述半连接操作顺序解传给查询结果处理器；

处理过程中，指标管理器先将信息进行属性宽度、属性选择度及关系连接度等指标进行配置，然后：

①生成可遍历回溯的树型半连接搜索状态图

图3描述了一个搜索状态(又称节点)，在这个搜索状态中，各个关系r_i都处于不同的半连接状态v_i(又称顶点)，通过将不同搜索状态按照半连接的操作顺序进行连接，就可以获得如图4所示的可遍历回溯的树形半连接搜索状态图，该状态图的深度以及宽度均与关系个数相关，例如包含N个关系的半连接搜索状态空间的深度为N*(N-1)。

②通过逆向搜索生成周边节点集合

在周边搜索中，逆向搜索的目的是通过逆向搜索方法从最终状态结点开始限制深度的宽度优先反向搜索，从而产生周边节点集合。方法从最终状态节点开始的逆向搜索，周边搜索将基于逆向搜索算子，通过限制深度的宽度优先搜索将深度等于周边深度dp的节点加入周边节点集合，从而产生周边，如图5所示。

③通过前向搜索获得最优半连接操作顺序解

基于IDA*方法，通过构造启发式评估函数f(x)＝Min_x∈P(h(x)+h^*(x))进行前向搜索，h(x)为起始节点到周边节点x的启发式评估的最小搜索代价，h*(x)是指从周边结点x到目标结点的最小搜索代价。方法从初始节点(即所有节点均是初始状态)开始向前搜索节点状态空间，当前向搜索与周边节点集合P重合时，即方法完成整个搜索过程，得到最优的半连接操作顺序解。

(3)所述查询结果处理器将所述半连接操作顺序解处理后传给用户。

所述周边节点集合是树形半连接搜索状态空间中距离全缩减状态特定层数的搜索状态节点集合。

本实施基于上述半连接查询优化方法的系统，包括网络传输接口模块、查询预处理器模块、查询优化引擎模块、查询语句生成器模块、查询执行引擎模块、执行代理模块和查询结果处理器模块；

用户将信息通过网络传输接口依次传给查询预处理器模块、查询优化引擎模块、查询语句生成器模块、查询执行引擎模块、执行代理模块和查询结果处理器模块，所述查询结果处理器模块将信息处理后通过所述网络传输接口传给用户。

查询预处理器模块用于接收连接子查询，获得需要进行连接查询优化的关系和相应数据源。

查询优化引擎模块用于以子查询语句以及相关数据源中关系的信息为输入，依据基于逆向搜索的半连接周边生成方法进行半连接数据传输代价最小化计算，并获得半连接查询操作最优顺序。

查询语句生成器模块用于将优化后的半连接操作顺序生成连接查询语句。

查询执行引擎模块用于将优化后的连接查询语句发送给执行代理，并负责执行代理的生命周期控制。

执行代理模块用于在局部数据源中执行连接查询语句，并获得连接查询结果。

查询结果处理器模块用于将连接查询的结果封装成统一数据格式并发送给用户。

本实施例还包括查询同步控制器模块，所述查询同步控制器模块分别与执行代理模块、查询结果处理器模块和查询执行引擎模块连接；所述查询同步控制器模块用于处理查询过程中连接操作执行的同步请求。

本实施例还包括配置管理器，用于对联合查询优化服务中的各子模块提供统一管理界面，确保子模块配置的一致性与正确性。

通常，周边搜索产生的节点数比单向搜索的要少，但却需要更多的启发式评价，所以只有当计算启发式的代价比生成新节点的代价少的时候、周边搜索才是有意义的，即生成新节点的代价与周边深度d是直接相关的，因此需要针对不同周边深度值的周边方法进行方法分析。

为了充分地说明本实施例方法的有效性，本实施例选取两个性能较好的经典启发式方法A*和IDA*与本实施例进行比较。本实施例需要产生大量的半连接查询来进行代价分析，根据不同的共享数据库实例来评价方法性能，因此本实施例主要考虑数据共享环境中半连接查询操作的以下几个典型特征：(1)查询中的关系数量；(2)不同属性的选择度；(3)每个关系与其它关系的连接度；(4)关系中的元组数。因此本文构建了10组随机查询实例用于测试，其关系数量为5-8个，属性选择度在0.6-0.9，连接度为0.5-0.7，而元组数则在1500-6000之间。

在实验过程中，本实施例主要对各种搜索方法的被扩展节点数(Expanded)、CPU时间(CPU-Time)、每分钟生成的节点数(Gm)、每分钟扩展的节点数(Em)进行度量。其中实验过程中，上述性能指标都通过1000次仿真实验获得，每次实验的数据均随机产生。

首先，针对各方法搜索过程中被扩展的节点数进行评估。根据实验结果，由于A*方法所产生的被扩展节点数大大高于其他方法，因此，在进行评估时，本实施例以A*方法为基准，对各个方法的平均扩展节点数进行评估，X轴(横轴)表示进行半连接操作的关系数，Y轴表示A*方法相对于各个方法的平均扩展节点的比率(Ratio)，即其结果如图6所示。实验结果表明，随着关系数的增加，周边搜索方法较之A*和IDA*方法内存空间占有率优势越来越明显，而在周边搜索方法中，伴随着周边深度d的不断增加，其方法内存空间占有率也在不断减少。

图7显示了各方法在针对不同关系数半连接操作进行查询优化时的平均执行时间(单位秒)。可以看出，当周边深度等于2时，周边搜索方法的平均响应时间是最快的，尤其在10个关系数条件下，其平均执行时间比引文中提出的A*方法提高了近60秒，时间缩短22％左右，而相对于IDA*方法则提高了近30秒，时间缩短12％左右，效率提升十分明显。

最后应该说明的是：结合上述实施例仅说明本发明的技术方案而非对其限制。所属领域的普通技术人员应当理解到：本领域技术人员可以对本发明的具体实施方式进行修改或者等同替换，但这些修改或变更均在申请待批的权利要求保护范围之中。

Claims (6)

1.一种基于周边搜索的多数据库系统半连接查询优化方法，其特征在于，所述方法包括如下步骤：

(1)查询优化引擎模块将用户的联合数据查询信息转成可遍历和回溯的树形半连接搜索状态图，通过逆向和前向搜索分别生成周边节点集合和得到半连接操作顺序解，将所述半连接操作顺序解传给查询结果处理器；

(2)所述查询结果处理器将所述半连接操作顺序解处理后传给用户；

生成周边节点的逆向搜索和以周边节点为目标的前向搜索的双向搜索为周边搜索；

所述周边节点集合是树形半连接搜索状态空间中距离全缩减状态特定层数的搜索状态节点集合；

按照半连接操作顺序连接不同节点，得到步骤(1)所述的可遍历和回溯的树型半连接搜索状态图；

从最终节点开始，根据逆向搜索算子进行逆向搜索，通过限制深度的宽度优先搜索，将深度等于周边深度的节点加入周边节点集合得到步骤(1)所述通过逆向搜索生成周边节点集合；

利用IDA*方法，通过启发式评估函数，从初始节点开始进行前向搜索，当前向搜索与周边节点集合重合，得到步骤(1)所述通过前向搜索得到半连接操作顺序解。

2.如权利要求1所述的半连接查询优化方法，其特征在于，所述启发式评估函数为：

f(x)＝Min_x∈P(h(x)+h^*(x))

式中，h(x)为起始节点到周边节点x的启发式评估的最小搜索代价，h^*(x)是指从周边结点x到目标结点的最小搜索代价。

3.一种基于周边搜索的半连接查询优化的系统，其特征在于，包括网络传输接口模块、查询预处理器模块、查询优化引擎模块、查询语句生成器模块、查询执行引擎模块、执行代理模块和查询结果处理器模块；

接收用户信息的网络传输接口模块接收的信息依次传给查询预处理器模块、查询优化引擎模块、查询语句生成器模块、查询执行引擎模块、执行代理模块和查询结果处理器模块，所述查询结果处理器模块将信息处理后通过所述网络传输接口模块传给用户；

生成周边节点的逆向搜索和以周边节点为目标的前向搜索的双向搜索为周边搜索；

查询预处理器模块用于接收连接子查询，获得需要进行连接查询优化的关系和相应数据源；

查询优化引擎模块用于以子查询语句以及相关数据源中关系的信息为输入，依据基于逆向搜索的半连接周边生成算法进行半连接数据传输代价最小化计算，并获得半连接查询操作最优顺序；

查询语句生成器模块用于将半连接查询操作最优顺序生成连接查询语句；

查询执行引擎模块用于将连接查询语句发送给执行代理模块，并负责执行代理模块的生命周期控制；

执行代理模块用于在局部数据源中执行连接查询语句，并获得连接查询结果；

查询结果处理器模块用于将连接查询的结果封装成统一数据格式并发送给用户。

4.如权利要求3所述的系统，其特征在于，所述系统包括查询同步控制器模块，所述查询同步控制器模块分别与执行代理模块、查询结果处理器模块和查询执行引擎模块连接；所述查询同步控制器模块用于处理查询过程中连接操作执行的同步请求。

5.如权利要求3所述的系统，其特征在于，所述系统包括指标管理器，用于对连接代价评估指标的配置和管理，所述配置包括属性宽度、属性选择度及关系连接度。

6.如权利要求3所述的系统，其特征在于，所述系统包括配置管理器，用于对查询优化引擎模块、查询执行引擎模块和查询结果处理器模块提供统一管理界面，确保查询优化引擎模块、查询执行引擎模块和查询结果处理器模块配置的一致性与正确性。