CN107463702A - 一种基于进化算法的数据库多连接查询优化方法 - Google Patents

Abstract

本发明公开了一种基于进化算法的数据库多连接查询优化方法，首先将数据预处理和双向半连接两种技术引入到SDD‑1算法中，采用投影等一元操作精简数据，同时还对各节点的数据进行了归并排序，而双向半连接技术可以对行和列的数据同时进行缩减。然后计算出全部有益双向半连接加入到集合BS中，采用并行遗传算法求解SDD‑1算法的连接查询策略，构造了适用于该问题的群体初始化方法、适应度函数和相关遗传算子，得到了求解该问题的规约最优查询路径。最后用该查询路径对蚁群算法的信息素矩阵进行初始化，利用多蚁群优化方法再次求出最优查询路径，解决了并行遗传算法局部搜索能力弱的问题。

Description

一种基于进化算法的数据库多连接查询优化方法

技术领域

本发明属于计算机信息技术应用领域，具体涉及分布式数据库的连接执行策略的优化，可用于优化分布式数据库的连接执行策略，减少大规模多连接查询的执行时间。

背景技术

随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩大，以分布式为主要特征的数据库系统的研究与开发受到人们的高度关注。而多关系连接查询作为分布式数据库中的重要操作，是查询优化中需要突破的一个难点。分布式查询处理具有能够通过通信网络存取远程站点的数据,以及在不同站点间传输请求和数据的能力。分布式查询优化的准则是使通信费用最低和响应时间最短,即以最小的总代价,在最短的响应时间内获得需要的数据。为了执行全局查询和确定一个好的查询策略，首先需进行查询分解，然后再确定操作执行的次序，最后确定操作的执行方法，其中关键是确定操作执行的次序，即主要是确定连接操作的顺序。

SDD-1算法是一种在传统分布式关系型数据库中广泛应用的查询方法。在查询涉及到的关系数较少时,该算法在查询计划的生成时间和查询的通信费用方面都有着其它算法无法比拟的优越性。但是由于SDD-1算法本身的局限性,在求解最优查询计划时,它容易陷入局部最优解。而涉及到的关系数目增多时,其生成查询计划的时间会迅速上升,甚至有可能超出系统的承受能力。遗传算法和蚁群算法都是启发式寻优方法，常被应用到解决各种优化问题。在搜索最优解的过程中，遗传算法的前期搜索速度快且可潜在并行，具有较强的全局搜索能力。而蚁群算法后期搜索速度快且充分使用了信息的正反馈，具有较强的局部搜索能力。

因此，针对以上问题，有必要提出一种新的基于进化计算的优化方法，解决SDD-1算法在生成查询计划时容易陷入局部最优解的缺陷,显著降低查询计划的生成时间，提高连接查询的查询效率。该方法将并行遗传算法和多蚁群算法进行了融合。在普通蚁群基础上引入多蚁群概念，降低算法陷入局部最优的概率，提高算法寻优的能力利用并行遗传算法来突破多蚁群算法前期搜索的盲目，并结合多蚁群算法的优秀寻优能力，最终达到提高查询效率的目的。

发明内容

为了克服现有技术的上述缺点，本发明提供了一种基于进化算法的数据库多连接查询优化方法，通过并行遗传算法的全局搜索能力和多蚁群算法的局部搜索能力，对SDD-1算法容易陷入局部最优解的问题进行了优化，输出了规约最优的查询执行策略，最终达到提高查询效率的目的。

本发明解决其技术问题所采用的技术方案是：一种基于进化算法的数据库多连接查询优化方法，包括如下步骤：

步骤一、对原始数据进行预处理，构建出查询图G；

步骤二、获取有益双向半连接集合BS；

步骤三、构建并行遗传算法的初始种群；

步骤四、执行并行遗传算法，得到规约最优查询路径；

步骤五、构建多个蚁群的初始种群；

步骤六、执行多蚁群算法；

步骤七、输出最终的查询执行策略。

与现有技术相比，本发明的积极效果是：

本发明首先将数据预处理和双向半连接两种技术引入到SDD-1算法中，采用投影等一元操作精简数据，同时还对各节点的数据进行了归并排序，而双向半连接技术可以对行和列的数据同时进行缩减。然后计算出全部有益双向半连接加入到集合BS中，采用并行遗传算法求解SDD-1算法的连接查询策略，构造了适用于该问题的群体初始化方法、适应度函数和相关遗传算子，得到了求解该问题的规约最优查询路径。最后用该查询路径对蚁群算法的信息素矩阵进行初始化，利用多蚁群优化方法再次求出最优查询路径，解决了并行遗传算法局部搜索能力弱的问题。

本发明充分考虑了数据连接查询时需进行的数据传输和归并排序操作的特性，采用双半连接技术和数据归并排序预处理技术，进而加快查询处理速度。传统的SDD-1算法采用爬山法寻找最优查询执行策略，存在两点不足：容易陷入局部最优和查询计划生成时间随着关系数目成指数增长。针对上述不足，本发明将并行遗传算法和多蚁群算法进行了融合。并行遗传算法具有较好的全局搜索能力，并行执行可以大大缩短搜索时间。多蚁群算法可以降低算法陷入局部最优的概率，提高算法寻优的能力利用并行遗传算法来突破多蚁群算法前期搜索的盲目，并结合多蚁群算法的优秀寻优能力，最终达到提高查询效率的目的。该多连接查询优化方法在实际应用中可以制定出更优的查询执行策略，从而减少多表连接时的查询响应时间。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1为本发明方法的流程图。

具体实施方式

一种基于进化算法的数据库多连接查询优化方法，如图1所示，包括以下步骤：

步骤一、将原始数据进行预处理，在各个分布数据库节点上执行投影等一元操作,对原始数据进行精简。对上述精简后的数据按照每个属性进行归并排序,使其各个属性形成一个有序的中间数据序列，进一步构建出查询图G。

1.1假设R和S是两个关系，它们有属性A和B，A和B的连接操作则有：

其中∞表示连接操作，π_B(S)代表关系S在属性B的投影。

1.2对数据库关系表执行归并操作，即按照顺序从每个排序的子表中读取一个块的内容放入内存中，在内存中统一对这些块中的记录执行归并操作，每次选择最大的记录放入数据库中，同时删除子表中相应的记录。当子表在内存中的块被取空时，从子表中顺序读取一个新的块放入内存中继续执行归并操作。当归并操作完成时，将关系表示为查询图G。

步骤二、从查询图G中任意选取两个关系，分别计算出双向半连接的收益和代价。若双向半连接的收益大于代价，则将其加入到有益双向半连接集合BS中。重复以上步骤,直到图中不存在有益双向半连接。

假设R和S是两个关系，它们有属性A和B，而R和S分别存储在站点1和站点2。以下简要描述双向半连接算法连接过程以及传输代价的计算。

2.1一次传输的通信代价可以用下面的公式粗略计算：

T(X)＝C₀+X×C₁

其中X表示数据传输量，这里以bit(位)为单位计算，C₀为两节点之间初始化一次传输所花费的开销，它由通信系统决定，近似为一个常数，而C₁为单位数据传输的代价也是一个常数。

2.2在站点2中计算关系S在属性B上的投影得到了π_B(S)，将π_B(S)从站点2传输到站点1，其传输代价为：

T₁＝C₀+C₁×size(B)×val[B(S)]

其中size(B)为属性B的长度，val[B(S)]表示关系S中属性B不同值的个数。

2.3在站点1利用π_B(S)将关系R缩减为R'，计算关系R'在属性A上的投影得到了π_A(R')，将π_A(R')从站点1传输到站点2，其传输代价为：

T₂＝C₀+C₁×size(R)×card(R')

其中card表示无重复的元组个数。

2.4在站点2中利用π_A(R')将关系S缩减为S'，此时需要将查询结果返回到查询站点，其传输代价为：

T₃＝C₀+C₁×size(S)×card(S')+C₁×size(A)×val[A(R)]

考虑到本专利应用的主要场合是较大规模的分布式查询,两节点之间初始化一次传输所花费的开销C₀可以忽略不计,经过约减后双向半连接的总代价可以表示为：

cost＝T₁+T₂+T₃

相应的收益可以表示为：

benefit＝(1-SF₁)×size(R)+(1-SF₂)×size(S)

其中SF₁＝card(R')/card(R)和SF₂＝card(S')/card(S)。

2.5若benefit>cost时，就认为该双向半连接是有益双向半连接集合，选择该有益双向半连接到集合BS中，重复以上步骤直到遍历完查询图G。

步骤三、采用整数序列{1，2，3…n}将有益双向半连接集合BS中的元素依次执行编码操作，不同的整数排序代表不同的执行策略，并将所得结果作为并行遗传算法的初始种群，确定初始种群大小N。

针对分布式多表连接查询问题的特点，采用串结构式编码染色体分为两部分:关系连接顺序编码段和对应站点编码段。

3.1将有益双向半连接集合BS里的元素构造成连接树。

3.2对该连接树进行后根遍历。

3.3将树形结构转化成串结构式编码，采用整数序列{1，2，3…n}对叶子节点进行编码。

3.4n个关系的连接顺序编码段中，编码长度即为关系数。

3.5将关系大小及对应站点编码段编码为一个n×2的二维矩阵。

由于关系大小及对应站点的顺序与关系连接顺序是对应的，所以在作选择交叉变异操作时只需对关系顺序编码部分进行操作，然后将操作映射到关系大小及对应站点编码部分。

3.6将编码结果作为并行遗传算法的初始种群。

步骤四、设计出恰当的遗传算子，确定适应度函数和遗传算法运行参数。对初始种群并行执行选择、交叉、变异迭代操作，直到算法达到收敛条件或最大进化步数，输出种群中最好的个体作为规约最优查询路径。

4.1确定并行遗传算法的参数

遗传算法用适应度函数值来衡量个体的优劣,计算适应度函数值是进行遗传操作的前提。本专利的适应度函数为：

fitness(x)＝1000/cost(x)

其中cost(x)代表的是执行该连接查询策略的通信代价。通信代价越低,该查询策略越优。因为在大多数情况下,通信代价的数量级都比较大。所以乘上了1000，避免因所求得的适应度函数值过小而影响算法的效果。

初始群体的构成是否合理将直接影响算法执行的结果。初始群体应尽量保持群体的多样性。在本专利中初始种群的规模用下面的分段函数来确定：

其中n为连接查询涉及到的双向半连接的数目。

并行遗传算法的迭代次数设置为查询关系数目的4倍,交叉概率设置为0.9,变异概率设置为0.05。

4.2.建立选择遗传算子

将个体按照适应度大小排序，适应度最大的排在第一位，适应度最小的排在最后一位,分别称为当前群体中的最佳个体和最差个体。若当前群体中最佳个体的适应度比历代最优个体的适应度高时,则复制当前群体中的最佳个体,并取代原先的最优个体而成为新的历代最优个体。最优个体替换当前群体中的最差个体而进入下一轮循环。

选择遗传算子采用的是适应度比例方法，它是目前遗传算法中最为基本也是最常用的选择方法,也称为轮盘赌注或蒙特卡罗选择。在该方法中各个个体的选择概率和其适应度值成比例。设群体大小为N,其中第i个体的适应度值为f_i，则被选择的概率的计算公式为：

4.3建立交叉遗传算子

交叉又称重组或配对,交叉操作是遗传算法中最主要的遗传操作,是指按一定的交叉概率随机选择两个染色体,并按某种方式相互交换其部分基因,从而形成两个新的个体的过程。在本专利中采用简单的单点交叉方法,选择中间位置为交叉点。例如：

(1)假设有两个染色体X₁和X₂，从父代编码序列中选择交叉区域，其中竖线代表交叉点：

X₁＝4 6 8 1 5|2 7 3 9

X₂＝5 7 4 3 9|1 2 8 6

(2)将交叉区域加入对方编码序列：

X₁|X₂＝5 7 4 3 9|4 6 8 1 5|2 7 3 9

X₂|X₁＝4 6 8 1 5|5 7 4 3 9|1 2 8 6

(3)移除子代中的相同区域，根据此规则进行的交叉避免了重复基因的出现。由此得到新的个体：

X'₁＝5 7 4 3 9|6 8 1 2

X'₂＝4 6 8 1 5|7 3 9 2

4.4建立变异遗传算子

遗传算法中的变异运算,是指以很小的概率随机地改变染色体串上的某些位，从而形成一个新的个体。如果变异后子代的适应度值更高，则保留子代染色体，否则，仍旧保留父代染色体。本专利中采用选取逆转变异算子，即颠倒个体编码串中随机指定的两个基因座之间的基因排列顺序，产生新的连接顺序。变异操作的具体步骤如下：

(1)产生一组随机数,随机数的数量为种群规模的十分之一,随机数的范围为[1,N]，随机数的值即为产生变异的个体编号。

(2)对于每一个被选中的个体，随机选取两个基因座的位置，然后将它们之间的基因进行逆转。例如，假设有染色体X₁执行变异操作，其中竖线代表两个基因座的位置，那么：

X₁＝3 6|4 7 9 5 2|1 8→X'₁＝3 6|2 5 9 7 4|1 8

4.5并行执行步骤4.2到步骤4.4，直到算法达到收敛条件或最大进化步数。

统计并行遗传算法每次迭代过程中子代种群的进化率。在设置的迭代次数范围内，假设连续10代种群的进化率都小于最小进化率，则可判定此时并行遗传算法的接近收敛。

4.6输出种群中最好的个体作为规约最优查询路径。

将遗传算法输出种群中最好的个体作为最终结果,即净收益值最大的执行策略，作为规约最优查询路径。

步骤五、利用上一步得到的最优查询路径，初始化蚁群算法的信息素矩阵，生成初期的信息素分布。将蚂蚁放到发起查询请求的网络节点，构建多个蚁群的初始种群。

本专利中引入多蚁群概念，采用不同的参数控制着各个子蚁群，子蚁群间相互独立的寻优，各个子蚁群间利用学习算子进行信息素的交流，推动蚁群再次进化，防止算法陷入局部最优解。接下来以构建2个蚁群的初始种群为例：

5.1初始化蚁群算法的参数。

每一个子蚁群的种群大小设定为并行遗传初始种群大小的一半即为N/2，信息素的重要程度因子为α＝2，启发函数重要程度因子为β＝3，蚁群的最大迭代次数为50代。遗传算法优化信息素的更新因子为0.2，蚁群1的信息素挥发因子为0.1，学习因子为0.1，蚁群2的信息素挥发因子0.05，学习因子为0.05，蚁群间从第10代开始互相学习信息素。

5.2初始化蚁群算法的信息素矩阵。

为了解决多蚁群算法前期缺乏信息素指引的问题，本专利采用并行遗传算法先快速地找寻到一条最优查询路径，使用该最优路径来更新蚁群算法的初始信息素分布矩阵，因此其初始值表示为：

τ_i,j(x)＝τ′_i,j(x)+ρΔτ_i,j(x)

其中τ′_i,j(x)是有益双向半连接上的初始信息素值，ρ为并行遗传算法优化信息素的更新因子，Δτ_i,j(x)为遗传算法找到的最优路径在有益双向半连接上释放的信息素。

5.3由5.2中初始化的信息素矩阵，初始化各蚁群的位置。

步骤六、按照多蚁群算法的转移概率公式来进行路径搜索，当子蚁群中的每个蚂蚁都已经搜索到了一条路径，就更新局部的信息素。当蚂蚁已完成所有目的节点的搜索，则更新最优查询计划和全局的信息素，并进行子蚁群间的信息素互相学习。重复以上步骤，直到当前迭代次数满足算法的终止条件。

6.1多蚁群算法中蚂蚁对于下一个要搜索的节点选择是随机的。蚂蚁在两个节点之间转移概率可以下式计算出：

其中τ_i,j(x)是有益双向半连接(i,j)的信息素值，η_i,j(x)＝1/C_i,j表示关系i移到关系j的期望值，而C_i,j为两个关系的链接代价。allowed集合是蚂蚁还未选择的关系集合。此外，采用禁忌表存储蚂蚁已经走过的关系，保证所有解的逻辑可行。

6.2局部信息素的更新。每一只蚂蚁每连接一个关系，局部信息素更新一次，局部信息素的更新公式为：

τ_i,j(x+1)＝γτ_i,j(x)+(1-γ)τ′_i,j(x)

其中γ是一个0到1之间的常数，表示局部信息素的学习因子，防止蚁群算法过早收敛陷入局部最优解。

6.3重复步骤6.1到6.2，直到子蚁群中的蚂蚁已完成所有目的节点的搜索，更新查询计划和全局的信息素。在所有蚂蚁完成连接后，选出最佳蚂蚁，只有最佳蚂蚁经过路径可以保留其信息素，即只对最优解进行信息素增强。这样可以加快算法进化，使蚂蚁更集中在最优路径周围。全局信息素更新公式为：

其中τ_i,j(x+n)表示本次迭代完成，得到的最优连接顺序中关系(i,j)的信息素。而L_best表示本次迭代过程中的最优连接顺序的代价。

6.4子蚁群间的信息素互相学习。

不同种群间会相互影响，同一个种群内更会相互交流融合，学习对方的长处补自己的短处，朝着更优的方向进化。本专利中采用学习算子作为交流信息素的方法。多个蚁群在独自进化了一定代数后，能够开始向其它蚁群学习，通过交流信息素的方法，增加了算法的全局搜索能力。

当多蚁群算法进化代数大于10代，就要根据学习算子，更新各个子蚁群的全局信息素。学习算子的公式如下：

其中表示当前子蚁群m在关系(i,j)上的信息素，是子蚁群n在关系(i,j)上的信息素。λ代表子蚁群间的信息素的学习因子，主要作用是控制蚁群之间信息素交流作用的大小。

6.5重复步骤6.1到6.4，直到当前迭代次数达到了最大进化代数。

步骤七、输出多蚁群算法中的最优个体作为最优解，并将其解码为对应的查询执行策略。

7.1输出多蚁群算法中的最优个体作为最优解，并将其解码为对应的查询执行策略。

7.2将该最优解解码为对应的查询执行策略。

利用步骤3.5中的编码二维矩阵，将该最优解解码为对应的查询执行策略。

Claims (8)

1.一种基于进化算法的数据库多连接查询优化方法，其特征在于：包括如下步骤:

步骤一、对原始数据进行预处理，构建出查询图G；

步骤二、获取有益双向半连接集合BS；

步骤三、构建并行遗传算法的初始种群；

步骤四、执行并行遗传算法，得到规约最优查询路径；

步骤五、构建多个蚁群的初始种群；

步骤六、执行多蚁群算法；

步骤七、输出最终的查询执行策略。

2.根据权利要求1所述的一种基于进化算法的数据库多连接查询优化方法，其特征在于：步骤一所述对原始数据进行预处理，构建出查询图G的方法如下：

(1)在各个分布数据库节点上执行投影操作，精简原始数据；

(2)按照每一个属性对精简数据进行归并排序：按照顺序从每个排序的子表中读取一个块的内容放入内存中，在内存中统一对这些块中的记录执行归并操作，每次选择最大的记录放入数据库中，同时删除子表中相应的记录；

(3)当子表在内存中的块被取空时，从子表中顺序读取一个新的块放入内存中继续执行归并操作，当归并操作完成时，将关系表示为查询图G。

3.根据权利要求1所述的一种基于进化算法的数据库多连接查询优化方法，其特征在于：步骤二所述获取有益双向半连接集合BS的方法如下：

(1)确定多连接查询涉及到的属性行和列；

(2)计算查询图G中所有双向半连接的收益和通讯代价；

(3)确定有益双向半连接，并将其加入到有益双向半连接集合BS。

4.根据权利要求1所述的一种基于进化算法的数据库多连接查询优化方法，其特征在于：步骤三所述构建并行遗传算法的初始种群的方法如下：

(1)将有益双向半连接集合BS里的元素构造成连接树；

(2)对该连接树进行后根遍历；

(3)采用整数序列对叶子节点进行编码；

(4)利用编码结果作为并行遗传算法的初始种群。

5.根据权利要求1所述的一种基于进化算法的数据库多连接查询优化方法，其特征在于：步骤四所述执行并行遗传算法，得到规约最优查询路径的方法如下：

(1)确定并行遗传算法的参数：适应度函数、种群大小、交叉变异概率、迭代次数；

(2)建立遗传算子：选择遗传算子、交叉遗传算子、变异遗传算子；

(3)对染色体并行执行选择、交叉、变异操作，直到算法达到收敛条件或最大进化步数；

(4)输出种群中最好的个体作为规约最优查询路径。

6.根据权利要求1所述的一种基于进化算法的数据库多连接查询优化方法，其特征在于：步骤五所述构建多个蚁群的初始种群的方法如下：

(1)初始化蚁群算法的参数：蚁群的种群大小、多蚁群的数目；

(2)利用规约最优查询路径初始化蚁群算法的信息素矩阵；

(3)将蚂蚁放到发起查询请求的网络节点，建立多个蚁群的初始种群。

7.根据权利要求1所述的一种基于进化算法的数据库多连接查询优化方法，其特征在于：步骤六所述执行多蚁群算法的方法如下：

(1)按照多蚁群算法的转移概率公式来进行路径搜索，子蚁群中的蚂蚁开始路径搜索，并更新局部的信息素；

(2)重复步骤(1)，直到子蚁群中的蚂蚁已完成所有目的节点的搜索，则更新最优查询计划和全局的信息素；

(3)进行子蚁群间的信息素互相学习；

(4)重复步骤(1)到(3)，直到当前迭代次数满足算法的终止条件。

8.根据权利要求1所述的一种基于进化算法的数据库多连接查询优化方法，其特征在于：步骤七所述输出最终的查询执行策略的方法如下：

(1)输出多蚁群算法中的最优个体作为最优解；

(2)将该最优解解码为对应的查询执行策略。