CN108170861A - 一种基于动态规划的分布式数据库系统协同优化方法 - Google Patents

Abstract

本发明公开了一种基于动态规划的分布式数据库系统协同优化方法。该方法包括以下步骤：采用数据流分块方法将分布式数据全集划分为若干不可再分的数据基元；并发处理任务的优化；分布式资源的负载平衡优化；计划任务的动态调度方法。本发明具有降维式搜索策略，在分布式大数据的多任务随发性处理过程中，保证了任务执行计划的全程最优化，具有效率高、负载均衡性好、资源利用率高和实时处理能力强的优点。

Description

一种基于动态规划的分布式数据库系统协同优化方法

技术领域

本发明涉及一种基于动态规划的分布式数据库系统协同优化方法，属于互联网云计算和大数据领域。

背景技术

目前，在分布式数据库的并发任务优化领域，通行做法是先用一个通用的并发任务计划表述模型来描述任务计划，然后给出一个执行计划需要消耗的资源代价模型，最终制定执行策略，使得计划任务的代价最小。但以上思想在考虑到并发任务的同步性、优化过程自身的额外开销、多种同类资源的竞争以及数据倾斜和延迟性，使得高并发任务计划的建模很难精准，这在高并发分布式任务计划中，将对优化效果造成颠覆性的影响。

发明内容

为解决上述问题，本发明的目的在于提供一种基于动态规划的分布式任务协同优化方法，可将上述非确定性因素的影响降到最低。

本发明的技术方案为：

一种基于动态规划的分布式数据库系统协同优化方法，其特征在于，该方法包括以下步骤：

A.采用基于数据流分块方法，将分布式数据全集按照计划任务序列对数据单元的并更操作这一不可区分关系分块为一系列不可再分的数据基元；

B.并发处理任务的优化；

C.分布式资源的负载平衡优化，并计算出计划任务代价；

D.计划任务的动态调度方法。

进一步的，所述步骤A的具体实现方式为：

采用四元信息系统描述法，将分布式数据系统表示为INS＝(U,Fh,Vra,f)，其中INS表示目标分布式数据系统；U表示数据系统中所有个体的全集，是非空有限集；Fh表示个体的特征，是非空有限集；Vra表示特征Fh的值域；f为系统映射函数满足{f:U×Fh→V_ra}；因此，对任一特征Fh_i∈Fh，数据集U_i∈U，有如下算式：

其中，表示特征Fh_i的值集；

记分布式数据系统的数据集合InD＝{d₁,d₂…d_n}，d_i表示数据集中的一个数据单元，其中i∈[1,n]；计划任务序列MS＝{MS₁,MS₂…MS_q}，MS_j表示分布式数据系统中的一个并发操作任务，其中j∈[1,q]；则可得数据操作矩阵OPr：

将数据操作矩阵OPr映射到分布式数据系统INS＝(U,Fh,Vra,f)上，令U＝InD＝{d₁,d₂…d_n}，Fh＝MS＝{MS₁,MS₂…MS_q}，Vra＝OPr为特征Fh的值域，即Vra＝∪_1≤i≤n，_{1≤j≤ q}OPr_ij；系统映射函数f:定义为计划任务序列中的任务对分布式数据集合InD中的d_i有变更操作的函数输出为A,无变更操作的输出为N；

对于INS数据系统中任意一个个体的特征子集则可以在U×U空间上定义一个不可区分的关系R(fh)＝{(u,u′)∈U×U：有f(u,fh)＝f(u′,fh)}，在U上按不可区分关系R(fh)可得数据分块U/R(fh)记为[u]_fh,定义为本方法的数据基元,即不可再分块的数据最小单元。

进一步的，所述步骤B的具体实现方式为：

记β和γ表示分布式数据系统中任意两个逻辑表达式，则C(β∧γ)和C(β∨γ)可表示数据系统中的两个数据基元，其维度分别为|C(β∧γ)|和|C(β∨γ)|；记两并发任务的相似度为S：

设定两个并发任务可看做相似任务的充要条件是：S＞0.5，若两任务为相似任务，可以降维合并，记为MS_ij＝MS_i∨MS_j，即

进一步的，所述步骤C的具体实现方式为：

分布式资源的负载平衡方法为：记任务TS在一个分布式系统下的资源向量为MS_ResVector(TS)，cpu向量MS_CpuVector(TS)，任务存储向量MS_DisVector(TS)，带宽资源向量MS_NetVector(TS)，内存资源向量MS_MemVector(TS)，则有：

其中，CPU_i(TS)表示任务TS对各点CPU资源的占用；Disk_i(TS)表示对各点存储资源的占用；Net_i(TS)表示对各站点带宽资源的占用；Mem_i(TS)表示对各点内存资源的占用；

利用均方根计算各种资源的优化因子，其中分布式CPU资源的优化因子为：

同理可得其他分布式资源的优化因子：则任务TS的代价为：

进一步的，所述步骤D的具体实现方式为：

所述动态调度方法，即从计划任务序列中选择一个或若干适当的任务，根据系统当前资源占用情况为并发任务动态地分配所需资源，实现总体上更有效地利用分布式资源：

(1)计算当前系统资源占用向量Sys_ResVector：

假设系统的计划任务序列中共有n个任务，则每个任务的资源占用向量为:MS_ResVector(TS_i)，那么当前系统总体资源占用向量为：

(2)根据任务序列的执行代价和当前系统资源，选择可执行任务序列：

Compare(Sys_ResVector，Cost(TS))；

(3)无需动态调度，直接进入执行序列的任务：

设定平衡阈值若某任务的执行代价则该任务无需进入等待序列，直接插入执行序列；

(4)某任务响应完毕，释放资源到系统：

Sys_ResVector＝Sys_ResVector-MS_ResVector(TS_i)。

本发明的有益效果为：

本发明完成了基于动态规划的分布式数据库系统的协同优化方法，在分布式大数据的多任务随发性处理过程中，保证了任务执行计划的全程最优化，具有效率高、负载均衡性好、资源利用率高和实时处理能力强的优点。

附图说明

图1为基于动态规划的分布式数据库系统协同优化方法整体流程图。

图2为协同优化方法实际性能对比图。

具体实施方式

参照图1，本发明基于动态规划的分布式数据库系统协同优化方法包括以下步骤：

A.采用基于数据流分块方法，将分布式数据全集按照计划任务序列对数据单元的并更操作这一不可区分关系分块为一系列不可再分的数据基元：

在大数据处理领域，计算资源、数据以及处理请求点的最大特征就是分布性，并且数据呈现出非结构化趋势，因此预期数据流分块方法能够在这类分布式数据库系统中发挥良好的效果，必须设计一套充分考虑以上问题，通信代价低、结果可靠的数据分块方法。

该方法中，采用四元信息系统描述法，将分布式数据系统表示为INS＝(U,Fh,Vra,f)，其中INS表示目标分布式数据系统；U表示数据系统中所有个体的全集，是非空有限集；Fh表示个体的特征，是非空有限集；Vra表示特征Fh的值域；f为系统映射函数满足{f:U×Fh→V_ra}；因此，对任一特征Fh_i∈Fh，数据集U_i∈U，有如下算式：

其中，表示特征Fh_i的值集；

记分布式数据系统的数据集合InD＝{d₁,d₂…d_n}，其中d_i(i∈[1,n])表示数据集中的一个数据单元；计划任务序列MS＝{MS₁,MS₂…MS_q}，其中MS_j(j∈[1,q])表示分布式数据系统中的一个并发操作任务，则可得到数据操作矩阵OPr，表示如下：

将数据操作矩阵OPr映射到分布式数据系统INS＝(U,Fh,Vra,f)上，令U＝InD＝{d₁,d₂…d_n}，Fh＝MS＝{MS₁,MS₂…MS_q}，Vra＝OPr为特征Fh的值域，即，Vra＝∪_{1≤i≤n，1≤j≤ q}OPr_ij；系统映射函数f:定义为计划任务序列中的任务对分布式数据集合InD中的d_i有变更操作的函数输出为A,无变更操作的输出为N。

对于INS数据系统中任意一个个体的特征子集则可以在U×U空间上定义一个不可区分的关系R(fh)＝{(u,u′)∈U×U：有f(u,fh)＝f(u′,fh)}。本方法在U上按不可区分关系R(fh)可得数据分块U/R(fh)记为[u]_fh,定义为本方法的数据基元,即本方法中不可再分块的数据最小单元。

实例，假设一个分布式数据系统的数据全集为InD＝{d₁,d₂…d₁₀}，计划任务序列为MS＝{MS₁,MS₂…MS₄}，各任务对各数据单元的变更情况如表1所示：

表1计划任务序列对数据单元的变更情况表

依据上述定义，基于任务对数据单元的变更影响这一关系而得到的数据分块计算方法为：U/R(fh)＝[u]_fh＝{{d₁,d₆,d₉},{d₂},{d₃},{d₄},{d₅,d₈},{d₇},{d₁₀}}，即完成了对分布式数据全集的分块，可见将全集分成了7个数据基元。

B.并发处理任务的优化方法：

以上基于数据基元的分块处理，可以使大部分并发任务的目标数据位于该任务的当地站点，减少了网络传输代价，但是随着计划任务序列维数的升高，对全集U的分块将越来越细化，数据基元数量越来越大，将导致数据连接大量增加，整个系统处理的复杂度呈几何级上涨。因此，需要对并发处理任务进行降维和优化。

记β和γ表示分布式数据系统中任意两个逻辑表达式，则，C(β∧γ)和C(β∨γ)可表示数据系统中的两个数据基元，其维度分别为|C(β∧γ)|和|C(β∨γ)|；记两并发任务的相似度为S，则有：

本方法认为两个并发任务可看做相似任务的充要条件是：S＞0.5.仍然以表1所列实例说明：假设两个逻辑表达式如下：

则有如下算式：

进而算得MS₃和MS₄两任务相似度S:

因此MS₃和MS₄两任务为相似任务，可以降维合并，记为MS₃₄＝MS₃∨MS₄，即

降维后的结果如表2所示：

表2：对任务计划序列降维后的数据操作效果

经过以上计算后，即可实现对并发任务计划序列的降维，降低数据基元数目，达到并发任务的优化效果。

C.分布式资源的负载平衡优化方法，并计算出计划任务代价：

方法在优化并发计划任务的最优效果是：整个并发计划任务的响应时间最短。而资源消耗和并行化程度决定了响应时间。对于一个并发计划任务序列，其并行化程度采用方法优化后的效果是定值，因此控制资源消耗的水平直接决定着并发计划任务序列的响应时间。

如果某并发任务序列既能保证消耗最少的资源，又能使得这些占用资源分摊到整个分布式系统的资源点上，那么该并发任务序列的响应时间必定是最短的，即，分布式资源的负载平衡，算法如下：

记任务TS在一个分布式系统下的资源向量为MS_ResVector(TS)，cpu向量MS_CpuVector(TS)，任务存储向量MS_DisVector(TS)，带宽资源向量MS_NetVector(TS)，内存资源向量MS_MemVector(TS)，则有：

其中，CPU_i(TS)表示任务TS对各点CPU资源的占用；Disk_i(TS)表示对各点存储资源的占用；Net_i(TS)表示对各站点带宽资源的占用；Mem_i(TS)表示对各点内存资源的占用。

通过以上表述，利用均方根计算各种资源的优化因子，以分布式CPU资源的优化因子为例，算法如下：

同理可得其他分布式资源的优化因子：

因此，任务TS的代价为：

D.计划任务的动态调度方法。

计划任务序列中的单个任务因其自身特性，往往无法最优化利用各点的分布式资源，因而影响整个系统的运行效率和吞吐。因此需要一套动态调度方法，从计划任务序列中选择一个或若干适当的任务，根据系统当前资源占用情况为并发任务动态地分配所需资源，实现总体上更有效地利用分布式资源。

(1)计算当前系统资源占用向量SyS_ResVector：

假设系统的计划任务序列中共有n个任务，则每个任务的资源占用向量为：MS_ResVector(TS_i)，那么当前系统总体资源占用向量为：

(2)根据任务序列的执行代价和当前系统资源，选择可执行任务序列：

Compare(Sys_ResVector，Cost(TS))；

(3)无需动态调度，直接进入执行序列的任务：

设定平衡阈值若某任务的执行代价则该任务无需进入等待序列，直接插入执行序列。

(4)某任务响应完毕，释放资源到系统：

Sys_ResVector＝Sys_ResVector-MS_ResVector(TS_i)；

综上所述，便完成了基于动态规划的分布式数据库系统的协同优化方法，在分布式大数据的多任务随发性处理过程中，保证了任务执行计划的全程最优化，具有算法效率高、负载均衡性好、资源利用率高和实时处理能力强的优点。

Claims (5)

1.一种基于动态规划的分布式数据库系统协同优化方法，其特征在于，该方法包括以下步骤：

A.采用基于数据流分块方法，将分布式数据全集按照计划任务序列对数据单元的并更操作这一不可区分关系分块为一系列不可再分的数据基元；

B.并发处理任务的优化；

C.分布式资源的负载平衡优化，并计算出计划任务代价；

D.计划任务的动态调度方法。

2.如权利要求1所述的基于动态规划的分布式数据库系统协同优化方法，其特征在于，所述步骤A的具体实现方式为：

采用四元信息系统描述法，将分布式数据系统表示为INS＝(U,Fh,Vra,f)，其中INS表示目标分布式数据系统；U表示数据系统中所有个体的全集，是非空有限集；Fh表示个体的特征，是非空有限集；Vra表示特征Fh的值域；f为系统映射函数满足{f:U×Fh→V_ra}；因此，对任一特征Fh_i∈Fh，数据集U_i∈U，有如下算式：

其中，表示特征Fh_i的值集；

记分布式数据系统的数据集合InD＝{d₁,d₂…d_n}，d_i表示数据集中的一个数据单元，其中i∈[1,n]；计划任务序列MS＝{MS₁,MS₂…MS_q}，MS_j表示分布式数据系统中的一个并发操作任务，其中j∈[1,q]；则可得数据操作矩阵OPr：

将数据操作矩阵OPr映射到分布式数据系统INS＝(U,Fh,Vra,f)上，令U＝InD＝{d₁,d₂…d_n}，Fh＝MS＝{MS₁,MS₂…MS_q}，Vra＝OPr为特征Fh的值域，即Vra＝∪_{1≤i≤n，1≤j≤q}OPr_ij；系统映射函数f:定义为计划任务序列中的任务对分布式数据集合InD中的d_i有变更操作的函数输出为A,无变更操作的输出为N；

对于INS数据系统中任意一个个体的特征子集则可以在U×U空间上定义一个不可区分的关系R(fh)＝{(u,u′)∈U×U：有f(u,fh)＝f(u′,fh)}，在U上按不可区分关系R(fh)可得数据分块U/R(fh)记为[u]_fh,定义为本方法的数据基元,即不可再分块的数据最小单元。

3.如权利要求2所述的基于动态规划的分布式数据库系统协同优化方法，其特征在于，所述步骤B的具体实现方式为：

记β和γ表示分布式数据系统中任意两个逻辑表达式，则C(β∧γ)和C(β∨γ)可表示数据系统中的两个数据基元，其维度分别为|C(β∧γ)|和|C(βVγ)|；记两并发任务的相似度为S：

设定两个并发任务可看做相似任务的充要条件是：S＞0.5，若两任务为相似任务，可以降维合并，记为MS_ij＝MS_i∨MS_j，即

4.如权利要求3所述的基于动态规划的分布式数据库系统协同优化方法，其特征在于，所述步骤C的具体实现方式为：

分布式资源的负载平衡算法为：记任务TS在一个分布式系统下的资源向量为MS_Resvector(TS)，cpu向量MS_CpuVector(TS)，任务存储向量MS_DisVector(TS)，带宽资源向量MS_NetVector(TS)，内存资源向量MS_MemVector(TS)，则有：

其中，CPU_i(TS)表示任务TS对各点CPU资源的占用；Disk_i(TS)表示对各点存储资源的占用；Net_i(TS)表示对各站点带宽资源的占用；Mem_i(TS)表示对各点内存资源的占用；

利用均方根计算各种资源的优化因子，其中分布式CPU资源的优化因子为：

同理可得其他分布式资源的优化因子：则任务TS的代价为：

5.如权利要求4所述的基于动态规划的分布式数据库系统协同优化方法，其特征在于，所述步骤D的具体实现方式为：

所述动态调度方法，即从计划任务序列中选择一个或若干适当的任务，根据系统当前资源占用情况为并发任务动态地分配所需资源，实现总体上更有效地利用分布式资源：

(1)计算当前系统资源占用向量Sys_ResVector：

假设系统的计划任务序列中共有n个任务，则每个任务的资源占用向量为:MS_ResVector(TS_i)，那么当前系统总体资源占用向量为：

(2)根据任务序列的执行代价和当前系统资源，选择可执行任务序列：

Compare(Sys_ResVector，Cost(TS))；

(3)无需动态调度，直接进入执行序列的任务：

设定平衡阈值若某任务的执行代价则该任务无需进入等待序列，直接插入执行序列；

(4)某任务响应完毕，释放资源到系统：

Sys_ResVector＝Sys_ResVector-MS_ResVector(TS_i)。