CN110750560A - 一种优化网络多连接的系统和方法 - Google Patents

Abstract

本发明公开一种优化网络多连接的系统和方法，属于大数据处理技术领域。该系统包括基于数据字典的连接预算模块和逻辑图重构模块，其中基于数据字典的连接预算模块包括等深直方图生成单元和统计信息管理单元，并基于数据字典设计连接预算模型来描述数据分布质量s，用于连接逻辑图重构模块；逻辑图重构模块又分为连接顺序重排单元和DAG重构单元，运用该系统进行网络多连接优化的方法采用了启发式MMAS算法，保证在相对低的时间复杂度内得到近似最优解，大幅降低了多数据集连接计算的时间，解决现有技术中无法自动优化多连接顺序的问题，能够有效地减少程序的执行时间和网络传输、IO吞吐。

Description

一种优化网络多连接的系统和方法

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种优化网络多连接的系统和方法。

背景技术

连接操作是批处理中最常见也最昂贵的操作之一，对于多个数据源的连接操作，执行一组连接操作的顺序会对所需的计算、I/O吞吐和网络传输量产生重大影响，这将直接影响着系统的执行性能。

但是实际情况中，用户由于对数据集没有确切的概念而主观确定连接的执行顺序，因而用户手动完成的批处理程序的连接顺序往往都不是最优的。目前在大部分大数据处理系统中仅能根据用户逻辑处理固定运算符顺序的计划，为确定的逻辑计划生成不同的物理执行策略并通过成本估算以选择代价最小的物理执行计划，但是其并没有涉及到对多个数据源连接顺序的重排策略。而现有的多连接优化算法中，传统的动态规划算法有着较高的时间复杂度，随着连接节点的增加会导致优化方案计算时间大幅增加，进而致使程序总执行时间得不到有效减少。因而迫切的需要新的方法和技术来为多连接优化提供一种高效的方案。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种优化网络多连接的系统和方法。

为解决上述技术问题，本发明所采取的技术方案是：一种优化网络多连接的系统，该系统的结构如图1所示，包括基于数据字典的连接预算模块和逻辑图重构模块；

所述基于数据字典的连接预算模块包括：等深直方图生成单元和统计信息管理单元，并基于数据字典设计连接预算模型来描述数据分布质量s，用于连接逻辑图重构模块；

所述等深直方图生成单元描述数据源各列的数据分布信息，为后续连接预算模型的计算提供数据来源；

所述统计信息管理单元管理数据源各列生成的等深直方图和连接中间结果各列生成的等深直方图；

所述逻辑图重构模块包括：连接顺序重排单元和DAG重构单元；

所述连接顺序重排单元包括：动态代价估计算法和MMAS算法缩减逻辑计划空间；

所述动态代价估计算法结合连接预算模型实时计算某时刻所有存在连接关系的数据源两两连接生成的可选代价集合；

所述MMAS算法利用动态代价估计算法在线得到的可选代价集合缩减逻辑计划空间以得到接近最优的多连接逻辑执行序列；

所述DAG重构单元包括：连接查询二叉树生成和DAG整合；

所述连接查询二叉树将得到的多连接逻辑执行序列转换成系统可识别的由结点和信道构成的连接图；

所述DAG整合将用户逻辑图原有非多连接部分与调整后的连接图进行重构以生成新的逻辑图供后续任务继续进行。

为解决上述技术问题，本发明采用上述技术方法所述的优化网络多连接的系统进行多连接优化的方法，其流程如图2所示，包括如下步骤：

步骤1：基于数据字典设计连接预算模型来描述数据分布质量；

步骤1.1：采用等深直方图H来描述某一属性列数据分布的方式，等深直方图的处理过程示意图如图3所示；

步骤1.2：将数据源各列的等深直方图和连接中间结果的各列的等深直方图通过统计信息管理单元进行信息统计；

步骤1.3：设计基于等深直方图H的连接预算模型Estimator，对两个数据源R、S进行连接预算估计；

步骤1.3.1：获取数据源R和数据源S在同一连接属性上的直方图信息并对应两直方图连接属性的分段区间以相同的连接属性值范围进行分割对齐；

步骤1.3.2：假定区间内数据分布均匀并且满足连接属性域重叠的包含原则，即较小域中的连接属性在较大域中具有匹配，在每个分割后的区间内使用如下公式来估计单个连接条件下的预算；

其中，

为数据源R的第i个区间的元组总数，

为数据源S的第i个区间的元组总数，dom(a)为数据源R第i个区间中第a列不同域值的数量，dom(b)为数据源S第i个区间中第b列不同域值的数量；

步骤1.3.3：获取分割后区间值分别计算连接预算并进行累加，则可得到单个连接条件下R和S的连接预算估计值，如下所示：

当两个数据源进行连接时存在m个连接条件时，连接预算为：

步骤2：对用户提交多连接任务到系统后生成的逻辑图进行预处理，确定相应的搜索空间并对搜索空间进行符合多连接查询优化特征的编码和关系映射，结合连接预算模型Estimator，生成初始连接代价集IC₁；

步骤2.1：遍历用户提交的多连接任务生成的逻辑图，为连接节点及其前驱数据源节点分别建立编码并分别生成HashMap映射，使用二维数组A以维护所有连接节点与其两个数据源节点的基于编码的映射关系；

步骤2.2：遍历由输入端连接节点生成的HashMap映射并获取用户逻辑图中所有输入端连接节点的统计信息，结合二维数组A将有相同连接属性的数据源节点两两分为一组，按分组调用步骤1.3所述的连接预算模型Estimator，生成初始连接代价集IC₁作为后续算法的输入。

步骤3：基于连接节点结合连接预算模型Estimator，实现动态代价估计算法，实时计算某i时刻的所有未访达连接节点的连接代价集CL_i，其流程如图4所示；

步骤3.1：遍历已访达节点关系集TL(初始为空，由步骤4中的MMAS算法中动态更新)，判断当前连接节点与TL中的连接节点是否有连接关系；

步骤3.2：若已访达节点关系集TL中不存在与当前节点有连接关系的节点，则获取初始连接代价集IC中当前节点的代价，压入连接代价集CL_i；

步骤3.3：若临时节点集TL中存在与当前节点有连接关系的节点，判断TL中与当前节点有连接关系节点个数m；

若m＝1，调用连接预算模型计算当前节点和当前节点非关联前驱节点的连接结果并存入连接代价集CL_i；

若m＝2，调用连接预算模型计算TL中与当前节点有关联的两个节点的连接代价存入连接代价集CL_i；

步骤3.4：重复步骤3.1到步骤3.3，直到得到该时刻i所有未访达节点对应的代价集CL_i。

步骤4：采用最大最小蚁群系统MMAS算法结合动态代价估计算法缩减多连接逻辑计划空间，得到连接关系的编码序列Sequence，其流程如图5所示；

步骤4.1：使用贪婪算法先选出一条代价最小的局部最优路径，更新信息素矩阵，只有当前最优路径上的信息素会被增加，其他路径上的信息素只挥发；

步骤4.2：模拟每只蚂蚁行为，随机选择出发节点，结合动态代价估计算法在线实时计算转移概率矩阵P，蚂蚁依据轮盘赌的方式随机选择下一步节点V_i；

步骤4.3：蚂蚁选定下一步节点V_i后，需要更新已访达节点关系集TL，若V_i与TL中的节点不存在连接关系，则直接将V_i压入TL；若V_i与TL中存在有连接关系的节点V_t，则将该节点从TL从删除，合并V_i和V_t后再重新压入TL；

步骤4.4：重复步骤4.2和步骤4.3，直到所有蚂蚁都走完全程，则得到当前最优路径L；

步骤4.5：一次循环后，找到最优路径的蚂蚁释放信息素，其他路径上的信息素只挥发，同时保证每条路径上的信息素τ_ij的取值限定在用户自定义信息素范围内；

步骤4.6：如果在完成有限数量的优化循环并且没有找到更好的结果之后，则认为系统出现了停滞；故所有路径上的信息素水平恢复到其初始值，以避免停滞或陷入局部最优解。

步骤4.7：重复步骤4.2到步骤4.6，完成有限次数的迭代之后，则产生了全局最优路径，算法执行完毕后可直接输出相应连接关系的编码序列Sequence。

步骤5：将得到的连接关系编码序列Sequence转换为多连接的最优逻辑执行计划，遍历多连接编码序列Sequence，重写其对应连接节点的相关属性信息并建立新的连接节点以供后续生成连接查询二叉树，设计一种适用于此场景的连接查询二叉树生成算法；

步骤5.1：遍历连接关系序列Sequence，直接构造第一个连接节点的相关属性信息，包括连接属性偏移量、语义属性、两输入端数据类型信息和连接输出数据类型信息等以建立新的连接节点J₁，并将其压入已建立节点集ES；

步骤5.2：判断当前连接节点J_i(i＞1)与已建立节点集ES中的连接节点是否有连接关系；若没有，表明其节点J_i的两个数据源节点均为非连接节点，重写当前节点J_i对应的相关属性信息并生成新的连接节点J_i，比较两个数据源节点对应编码大小，小编码节点建立当前节点J_i的左叶子节点，大编码节点建立当前节点J_i的右叶子节点；

步骤5.3：若当前节点J_i与已建立节点集ES中的节点有连接关系，判断ES中连接节点个数n；若n＝1，则比较当前节点J_i与已建立节点集ES中有关联节点J的编码，若J编码较大，则用节点J建立节点J_i的右子树，并用当前节点J_i的非关联数据源节点建立节点J_i的左叶子节点，相反则用J建立节点J_i的左子树，用当前节点J_i的非关联数据源节点建立节点J_i的右叶子节点；

步骤5.4：若已建立节点集ES中包含两个与当前节点J_i关联的连接节点J_p、J_q，则比较两个连接节点J_p、J_q对应编码大小，小编码节点建立节点J_i的左子树，大编码节点建立节点J_i的右子树；

步骤5.5：将当前生成的新J_i压入已建立节点集ES；

步骤5.6：重复步骤5.1和步骤5.5，直到生成新的连接查询二叉树。

步骤6：将用户逻辑图的多连接相关子图拆解出来，获取步骤5新生成的连接查询二叉树，然后将其与用户逻辑图非连接子图部分进行整合以生成新的DAG，供优化器后续流程的正常执行。

采用上述技术方案所产生的有益效果在于：

1、本发明是一种优化网络多连接的系统及方法，主要实现对多数据集的连接操作在实际执行中的顺序进行优化，并且同时保留可后续扩展的兼容性；

2、本发明解决现有技术中无法自动优化多连接顺序的问题，能够有效地减少程序的执行时间和网络传输、IO吞吐等。因为用户在执行程序时，往往对数据集的大小没有确切的概念，所以期望用户手动使用良好的连接顺序进行连接操作显然并不现实，能够高效、自动地执行连接优化是对大数据处理系统的一个强有力的功能补充；

3、现有的多连接优化算法中，传统的动态规划算法有着较高的时间复杂度，随着连接节点的增加会导致优化方案计算时间大幅增加，进而致使程序总执行时间得不到有效减少；因此，本发明采用了启发式算法，启发式算法能够保证在相对低得多的时间复杂度内得到近似最优解，而经过实验测试，基于MMAS算法的本发明确实在极低的时间内通过计算得到了优化方案，并且大幅降低了多数据集连接计算的时间；并且随着数据集规模的增大，数据集的大小更加的不均匀以及数据集的节点数量的增加等更贴近实际使用的情况，本发明的优化效果也会更加明显。

附图说明

图1为本发明一种优化网络多连接的系统结构图；

图2为本发明采用优化网络多连接的系统进行多连接优化的方法流程图；

图3为本发明等深直方图的处理过程示意图；

(a)原始直方图信息；

(b)对齐边界；

(c)按区间估计连接预算；

图4为本发明动态代价估计算法的流程图；

图5为本发明MMAS算法结合动态代价算法的流程示意图；

图6为本发明实施例中Gaia批处理主要过程的流程图；

图7为本发明实施例中连接编码树生成的示意图；

图8为本发明实施例中建立连接查询二叉树的过程示意图；

图9为本发明实施例中DAG重构过程示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例将一种优化网络多连接的系统和方法运用到大数据分析系统Gaia中，Gaia是一个面向多计算模型混合并存的高时效、可扩展的新一代大数据分析系统，连接操作为大数据引擎中最常见的操作之一，也是Gaia中使用频率很高但是代价也很高的操作，因而如何提高Gaia连接操作的效率是大数据处理领域所必须要解决的挑战。本实施例将结合Gaia平台自身的特点，将一种优化网络多连接的系统和方法运用进去，实现系统自动根据连接代价进行优化，有利于将较大的连接中间结果推后执行，并能有效地减少程序的执行时间和网络传输、IO吞吐等。

本实施例在Gaia中提出一种新的多连接算子joinTree以扩展现有操作符的功能，基于该算子设计基于数据字典的优化网络多连接的系统和方法，并且保证和Gaia本身的兼容性。在Gaia中，用户可以通过指定hint来指定连接操作中的具体物理执行策略，而在连接重排后用户指定的原本连接算子的物理执行策略显然没有意义，因此加入新的joinHint变量JOIN_REORDER，当用户选择使用joinTree操作时，默认将hint指定为JOIN_REORDER。并基于joinTree算子建立新的连接计划InnerJoinTreeOperatorBase。

图6为Gaia批处理的主要执行流程：用户程序提交给Gaia集群后会被翻译成逻辑执行计划plan，在优化器模块，计划会被优化生成更高效的物理执行方案以生成OptimizedPlan供后续任务的正常执行。本实施例基于Gaia优化器增加新的优化多连接的系统，如图1所示，该系统包括基于数据字典的连接预算模型以及逻辑图重写模块；

所述基于数据字典的连接预算模块包括：等深直方图生成单元和统计信息管理单元，并基于数据字典设计连接预算模型来描述数据分布质量s，用于连接逻辑图重构模块；

所述等深直方图生成单元描述数据源各列的数据分布信息，为后续连接预算模型的计算提供数据来源；

所述统计信息管理单元管理数据源各列生成的等深直方图和连接中间结果各列生成的等深直方图；

所述逻辑图重构模块包括：连接顺序重排单元和DAG重构单元；

所述连接顺序重排单元包括：动态代价估计算法和MMAS算法缩减逻辑计划空间；

所述动态代价估计算法结合连接预算模型实时计算某时刻所有存在连接关系的数据源两两连接生成的可选代价集合；

所述MMAS算法利用动态代价估计算法在线得到的可选代价集合缩减逻辑计划空间以得到接近最优的多连接逻辑执行序列；

所述DAG重构单元包括：连接查询二叉树生成和DAG整合；

所述连接查询二叉树将得到的多连接逻辑执行序列转换成系统可识别的由结点和信道构成的连接图；

所述DAG整合将用户逻辑图原有非多连接部分与调整后的连接图进行重构以生成新的逻辑图供后续任务继续进行。

采用上述优化网络多连接的系统进行多连接优化的方法，其流程如图2所示，包括如下步骤：

步骤1：基于数据字典设计连接预算模型来描述数据分布质量；在对连接操作进行预算估算时，参与连接的数据源的列数值范围、数值分布等数据特征信息直接影响着连接中间结果的准确性。

步骤1.1：采用等深直方图H来描述某一属性列数据分布的方式，等深直方图的处理过程示意图如图3所示；

表示数据分布D的等深直方图H是由四元组(lower_i，upper_i，dom_i，count_i)构成的集合。其中，[lower_i，upper_i)表示D中的一个数据区间且满足不等式value_min≤lower_i＜upper_i≤value_max，dom为该区间内不同域值的个数，count_i为该区间内元组的总数。等深直方图H贯穿了统计数据字典的整个过程，其考虑了数据的实际分布，能够在数据倾斜时做出更好的规划，提高非均匀数据分布的选择率。完成等深直方图的生成后，将其持久化到外部存储HDFS中。

步骤1.2：将数据源各列的等深直方图和连接中间结果的各列的等深直方图通过统计信息管理单元进行信息统计；在完成连接预算估计后，相关直方图的统计信息将会从内存中清除。连接预算模型和决策最终物理执行计划所需的成本模型调用该模块来获得所需要的直方图信息以进行相关计算。

步骤1.3：设计基于等深直方图H的连接预算模型Estimator，对两个数据源R、S进行连接预算估计；

步骤1.3.1：获取数据源R和数据源S在同一连接属性上的直方图信息并对应两直方图连接属性的分段区间以相同的连接属性值范围进行分割对齐；

步骤1.3.2：假定区间内数据分布均匀并且满足连接属性域重叠的包含原则，即较小域中的连接属性在较大域中具有匹配，在每个分割后的区间内使用如下公式来估计单个连接条件下的预算；

其中，

为数据源R的第i个区间的元组总数，

为数据源S的第i个区间的元组总数，dom(a)为数据源R第i个区间中第a列不同域值的数量，dom(b)为数据源S第i个区间中第b列不同域值的数量；

步骤1.3.3：获取分割后区间值分别计算连接预算并进行累加，则可得到单个连接条件下R和S的连接预算估计值，如下所示：

当两个数据源进行连接时存在m个连接条件时，连接预算为：

步骤2：对用户提交多连接任务到系统后生成的逻辑图进行预处理，确定相应的搜索空间并对搜索空间进行符合多连接查询优化特征的编码和关系映射，结合连接预算模型Estimator，生成初始连接代价集IC₁；

步骤2.1：遍历用户提交的多连接任务生成的逻辑图，为连接节点及其前驱数据源节点分别建立编码并分别生成HashMap映射，使用二维数组A以维护所有连接节点与其两个数据源节点的基于编码的映射关系；

本实施例中以大规模基准数据集TPC-H的一个具体的多连接实例来说明搜索空间编码和建立映射关系的具体过程。如图7所示，获取用户逻辑图，以sink为根节点进行深度优先遍历，解析用户逻辑图中连接图的相关部分(即图7中虚线区域)，搜索连接节点joinTreeNode节点，依次为该节点和其前驱节点OP建立编号，转换成逻辑上的连接编码树，并分别生成两个包含所有连接节点的HashMap映射JNH和包含所有OP节点的HashMap映射OPH，其结构为<编号，节点>。

在具体的优化过程中，待优化问题的被编码的搜索空间作为后续多连接优化算法整个寻优过程的搜索范围，使之可以方便地描述算法求解过程中搜索空间所有状态的相关信息。通过直接对相关编码进行操作，后续算法可以基于JNH和OPH映射通过编号找到对应节点以获取相关统计信息来进行相应计算，执行完毕后可直接输出相应连接关系的编码序列，有利于描述后续算法的生成结果。

步骤2.2：遍历由输入端连接节点生成的HashMap映射并获取用户逻辑图中所有输入端连接节点的统计信息，结合二维数组A将有相同连接属性的数据源节点两两分为一组，按分组调用步骤1.3所述的连接预算模型Estimator，生成初始连接代价集IC₁作为后续算法的输入。

步骤3：基于连接节点结合连接预算模型Estimator，实现动态代价估计算法，实时计算某i时刻的所有未访达连接节点的连接代价集CL_i，其流程如图4所示；

步骤3.1：遍历已访达节点关系集TL(初始为空，由步骤4中的MMAS算法中动态更新)，判断当前连接节点与TL中的连接节点是否有连接关系；

步骤3.2：若已访达节点关系集TL中不存在与当前节点有连接关系的节点，则获取初始连接代价集IC中当前节点的代价，压入连接代价集CL_i；

步骤3.3：若临时节点集TL中存在与当前节点有连接关系的节点，判断TL中与当前节点有连接关系节点个数m；

若m＝1，调用连接预算模型计算当前节点和当前节点非关联前驱节点的连接结果并存入连接代价集CL_i；

若m＝2，调用连接预算模型计算TL中与当前节点有关联的两个节点的连接代价存入连接代价集CL_i；

步骤3.4：重复步骤3.1到步骤3.3，直到得到该时刻i所有未访达节点对应的代价集CL_i。

本实施例就某一时刻的动态代价估计算法的具体过程进行说明：某时刻临时节点集TL中存在编码为4和编码为2的两个连接节点，需计算下一步到所有未选连接节点的代价。遍历所有未被选择的连接节点，当前连接节点为0编码节点时，该节点与TL中所有节点都不存在连接关系，故将初始连接代价集IC中0编码节点对应的代价压入代价列表CL，同时将编码0压入备选节点列表SL；当前节点为1编码节点时，该节点只与TL中2编码节点存在连接关系，故调用连接预算模型计算2编码节点和1编码节点未关联前驱节点的连接代价压入代价列表CL；当前节点为3编码节点时，该节点与TL中4编码和2编码的连接节点均存在连接关系，故调用连接预算模型计算4编码节点和2编码节点的连接代价压入CL。此时返回的备选节点列表SL为{0,1,3}，对应的连接代价列表CL为

步骤4：采用最大最小蚁群系统MMAS算法结合动态代价估计算法缩减多连接逻辑计划空间，得到连接关系的编码序列Sequence，其流程如图5所示；选择连接节点JN而非JN的前驱数据源节点OP作为算法顶点，结合动态代价估计算法在线实时为每只蚂蚁生成下一步顶点的代价矩阵，蚂蚁在不断迭代过程中向最小代价的路径聚积构建最优解，从而得到近似最优的连接关系列表。

如果选择连接节点JN的前驱数据源节点OP作为MMAS算法顶点，那么必须满足如果两个OP之间没有关联，则选择它们的概率为零，并且选择数据源节点OP为算法顶点时得到的多连接最优执行计划为左深度树，但是这种执行计划树在分布式计算框架下并不合适。本发明选择连接节点JN而非数据源节点OP作为算法顶点可以很好的回避上述问题。首先选用JN的连接预算值可以保证其作为算法顶点代价不为空，其次使用连接节点JN调用算法更有利于生成适合Gaia这类分布式并行计算框架的稠密树。MMAS算法需要在初始状态下确定各顶点之间的代价矩阵，而Gaia多连接顺序重排的特点使之无法在算法执行之初确定代价矩阵，需要实时在线计算下一步备选顶点的代价列表。

步骤4.1：使用贪婪算法先选出一条代价最小的局部最优路径，更新信息素矩阵，只有当前最优路径上的信息素会被增加，其他路径上的信息素只挥发；

步骤4.2：模拟每只蚂蚁行为，随机选择出发节点，结合动态代价估计算法在线实时计算转移概率矩阵P，蚂蚁依据轮盘赌的方式随机选择下一步节点V_i；

蚂蚁每一步的转移概率都是在线实时生成的，而转移概率的计算依赖于蚂蚁下一步可选顶点的代价矩阵。在选择下一步的过程中，调用动态代价估计算法得到所有可选节点对应的连接代价列表CL，计算转移概率矩阵P并选定下一步节点V_i。

步骤4.3：蚂蚁选定下一步节点V_i后，需要更新已访达节点关系集TL，若V_i与TL中的节点不存在连接关系，则直接将V_i压入TL；若V_i与TL中存在有连接关系的节点V_t，则将该节点从TL从删除，合并V_i和V_t后再重新压入TL；

基于上述实例对某一时刻MMAS算法在线更新临时节点集TL的具体过程进行说明：假定此时蚂蚁已经走过编码为4的顶点和编码为2的顶点，故此时临时节点集TL中存在4编码连接节点和2编码连接节点。计算转移概率矩阵，若下一步选定的节点为0编码节点，该节点与TL中节点都不存在连接关系，则不更新临时节点集TL；若选定的节点为1编码节点，该节点只与TL中2编码节点存在连接关系，则将2编码节点从TL中删除，同时将2编码节点和1编码节点合并后加入TL；若选定节点为3编码节点，该节点与TL中4编码节点和2编码节点都存在连接关系，则将4编码节点、2编码节点和3编码节点合并后加入临时节点集TL。

步骤4.4：重复步骤4.2和步骤4.3，直到所有蚂蚁都走完全程，则得到当前最优路径L；

步骤4.5：一次循环后，找到最优路径的蚂蚁释放信息素，其他路径上的信息素只挥发，同时保证每条路径上的信息素τ_ij的取值限定在用户自定义信息素范围内；

步骤4.6：如果在完成有限数量的优化循环并且没有找到更好的结果之后，则认为系统出现了停滞；故所有路径上的信息素水平恢复到其初始值，以避免停滞或陷入局部最优解。

步骤4.7：重复步骤4.2到步骤4.6，完成有限次数的迭代之后，则产生了全局最优路径，算法执行完毕后可直接输出相应连接关系的编码序列Sequence。

步骤5：将得到的连接关系编码序列Sequence转换为多连接的最优逻辑执行计划，遍历多连接编码序列Sequence，重写其对应连接节点的相关属性信息并建立新的连接节点以供后续生成连接查询二叉树，设计一种适用于此场景的连接查询二叉树生成算法；

步骤5.1：遍历连接关系序列Sequence，直接构造第一个连接节点的相关属性信息，包括连接属性偏移量、语义属性、两输入端数据类型信息和连接输出数据类型信息等以建立新的连接节点J₁，并将其压入已建立节点集ES；

步骤5.2：判断当前连接节点J_i(i＞1)与已建立节点集ES中的连接节点是否有连接关系；若没有，表明其节点J_i的两个数据源节点均为非连接节点，重写当前节点J_i对应的相关属性信息并生成新的连接节点J_i，比较两个数据源节点对应编码大小，小编码节点建立当前节点J_i的左叶子节点，大编码节点建立当前节点J_i的右叶子节点；

步骤5.3：若当前节点J_i与已建立节点集ES中的节点有连接关系，判断ES中连接节点个数n；若n＝1，则比较当前节点J_i与已建立节点集ES中有关联节点J的编码，若J编码较大，则用节点J建立节点J_i的右子树，并用当前节点J_i的非关联数据源节点建立节点J_i的左叶子节点，相反则用J建立节点J_i的左子树，用当前节点J_i的非关联数据源节点建立节点J_i的右叶子节点；

步骤5.4：若已建立节点集ES中包含两个与当前节点J_i关联的连接节点J_p、J_q，则比较两个连接节点J_p、J_q对应编码大小，小编码节点建立节点J_i的左子树，大编码节点建立节点J_i的右子树；

步骤5.5：将当前生成的新J_i压入已建立节点集ES；

步骤5.6：重复步骤5.1和步骤5.5，直到生成新的连接查询二叉树。

假设步骤4得到的多连接序列为{4,2,3,0,1}，具体描述建立多连接查询二叉树的具体过程。如图8所示，依次建立4编号连接节点子树T4和2编号连接子树T2，3编号节点和T1、T2有连接关系，则比较T4、T2编码大小，T4编码大于T2编码，故T2建立T3左子树，T4建立T3右子树，0编号节点与已建立子树没有关联，则单独成子树T0，1编号节点与T0和T3子树有关联，T0编号小于T3编号，T0建立T1左子树，T3建立T1右子树，最终生成以T1为根的连接查询二叉树。

步骤6：将用户逻辑图的多连接相关子图拆解出来，获取步骤5新生成的连接查询二叉树，然后将其与用户逻辑图非连接子图部分进行整合以生成新的DAG，供优化器后续流程的正常执行。图9描述了上述实例经过逻辑图重写后生成的DAG结构，以供优化器后续模块的继续进行。

Claims (7)

1.一种优化网络多连接的系统，其特征在于包括：基于数据字典的连接预算模块和逻辑图重构模块；

所述基于数据字典的连接预算模块包括：等深直方图生成单元和统计信息管理单元，并基于数据字典设计连接预算模型来描述数据分布质量s，用于连接逻辑图重构模块；

所述等深直方图生成单元描述数据源各列的数据分布信息，为后续连接预算模型的计算提供数据来源；

所述统计信息管理单元管理数据源各列生成的等深直方图和连接中间结果各列生成的等深直方图；

所述逻辑图重构模块包括：连接顺序重排单元和DAG重构单元；

所述连接顺序重排单元包括：动态代价估计算法和MMAS算法缩减逻辑计划空间；

所述动态代价估计算法结合连接预算模型实时计算某时刻所有存在连接关系的数据源两两连接生成的可选代价集合；

所述MMAS算法利用动态代价估计算法在线得到的可选代价集合缩减逻辑计划空间以得到接近最优的多连接逻辑执行序列；

所述DAG重构单元包括：连接查询二叉树生成和DAG整合；

所述连接查询二叉树将得到的多连接逻辑执行序列转换成系统可识别的由结点和信道构成的连接图；

所述DAG整合将用户逻辑图原有非多连接部分与调整后的连接图进行重构以生成新的逻辑图供后续任务继续进行。

2.采用权利要求1所述优化网络多连接的系统进行多连接优化的方法，其特征在于包括如下步骤：

步骤1：基于数据字典设计连接预算模型来描述数据分布质量；

步骤1.1：采用等深直方图H来描述某一属性列数据分布的方式；

步骤1.2：将数据源各列的等深直方图和连接中间结果的各列的等深直方图通过统计信息管理单元进行信息统计；

步骤1.3：设计基于等深直方图H的连接预算模型Estimator，对两个数据源R、S进行连接预算估计；

步骤2：对用户提交多连接任务到系统后生成的逻辑图进行预处理，确定相应的搜索空间并对搜索空间进行符合多连接查询优化特征的编码和关系映射，结合连接预算模型Estimator，生成初始连接代价集IC₁；

步骤3：基于连接节点结合连接预算模型Estimator，实现动态代价估计算法，实时计算某i时刻的所有未访达连接节点的连接代价集CL_i；

步骤4：采用最大最小蚁群系统MMAS算法结合动态代价估计算法缩减多连接逻辑计划空间，得到连接关系的编码序列Sequence；

步骤5：将得到的连接关系编码序列Sequence转换为多连接的最优逻辑执行计划，遍历多连接编码序列Sequence，重写其对应连接节点的相关属性信息并建立新的连接节点以供后续生成连接查询二叉树，设计一种适用于此场景的连接查询二叉树生成算法；

步骤6：将用户逻辑图的多连接相关子图拆解出来，获取步骤5新生成的连接查询二叉树，然后将其与用户逻辑图多连接子图部分进行整合以生成新的DAG，供优化器后续流程的正常执行。

3.根据权利要求2所述的采用优化网络多连接的系统进行多连接优化的方法，其特征在于所述步骤1.3的过程如下：

步骤1.3.1：获取数据源R和数据源S在同一连接属性上的直方图信息并对应两直方图连接属性的分段区间以相同的连接属性值范围进行分割对齐；

步骤1.3.2：假定区间内数据分布均匀并且满足连接属性域重叠的包含原则，即较小域中的连接属性在较大域中具有匹配，在每个分割后的区间内使用如下公式来估计单个连接条件下的预算；

其中，

为数据源R的第i个区间的元组总数，

为数据源S的第i个区间的元组总数，dom(a)为数据源R第i个区间中第a列不同域值的数量，dom(b)为数据源S第i个区间中第b列不同域值的数量；

步骤1.3.3：获取分割后区间值分别计算连接预算并进行累加，则可得到单个连接条件下R和S的连接预算估计值，如下所示：

当两个数据源进行连接时存在m个连接条件时，连接预算为：

4.根据权利要求2所述的采用优化网络多连接的系统进行多连接优化的方法，其特征在于所述步骤2的过程如下：

步骤2.1：遍历用户提交的多连接任务生成的逻辑图，为连接节点及其前驱数据源节点分别建立编码并分别生成HashMap映射，使用二维数组A以维护所有连接节点与其两个数据源节点的基于编码的映射关系；

步骤2.2：遍历由输入端连接节点生成的HashMap映射并获取用户逻辑图中所有输入端连接节点的统计信息，结合二维数组A将有相同连接属性的数据源节点两两分为一组，按分组调用权利要求2步骤1.3所述的连接预算模型Estimator，生成初始连接代价集IC₁作为后续算法的输入。

5.根据权利要求2所述的采用优化网络多连接的系统进行多连接优化的方法，其特征在于所述步骤3的过程如下：

步骤3.1：遍历已访达节点关系集TL(初始为空，由步骤4中的MMAS算法中动态更新)，判断当前连接节点与TL中的连接节点是否有连接关系；

步骤3.2：若已访达节点关系集TL中不存在与当前节点有连接关系的节点，则获取初始连接代价集IC中当前节点的代价，压入连接代价集CL_i；

步骤3.3：若临时节点集TL中存在与当前节点有连接关系的节点，判断TL中与当前节点有连接关系节点个数m；

若m＝1，调用连接预算模型计算当前节点和当前节点非关联前驱节点的连接结果并存入连接代价集CL_i；

若m＝2，调用连接预算模型计算TL中与当前节点有关联的两个节点的连接代价存入连接代价集CL_i；

步骤3.4：重复步骤3.1到步骤3.3，直到得到该时刻i所有未访达节点对应的代价集CL_i。

6.根据权利要求2所述的采用优化网络多连接的系统进行多连接优化的方法，其特征在于所述步骤4的过程如下：

步骤4.1：使用贪婪算法先选出一条代价最小的局部最优路径，更新信息素矩阵，只有当前最优路径上的信息素会被增加，其他路径上的信息素只挥发；

步骤4.2：模拟每只蚂蚁行为，随机选择出发节点，结合动态代价估计算法在线实时计算转移概率矩阵P，蚂蚁依据轮盘赌的方式随机选择下一步节点V_i；

步骤4.3：蚂蚁选定下一步节点V_i后，需要更新已访达节点关系集TL，若V_i与TL中的节点不存在连接关系，则直接将V_i压入TL；若V_i与TL中存在有连接关系的节点V_t，则将该节点从TL从删除，合并V_i和V_t后再重新压入TL；

步骤4.4：重复步骤4.2和步骤4.3，直到所有蚂蚁都走完全程，则得到当前最优路径L；

步骤4.5：一次循环后，找到最优路径的蚂蚁释放信息素，其他路径上的信息素只挥发，同时保证每条路径上的信息素τ_ij的取值限定在用户自定义信息素范围内；

步骤4.6：如果在完成有限数量的优化循环并且没有找到更好的结果之后，则认为系统出现了停滞；故所有路径上的信息素水平恢复到其初始值，以避免停滞或陷入局部最优解；

步骤4.7：重复步骤4.2到步骤4.6，完成有限次数的迭代之后，则产生了全局最优路径，算法执行完毕后可直接输出相应连接关系的编码序列Sequence。

7.根据权利要求2所述的采用优化网络多连接的系统进行多连接优化的方法，其特征在于所述步骤5的过程如下：

步骤5.1：遍历连接关系序列Sequence，直接构造第一个连接节点的相关属性信息，包括连接属性偏移量、语义属性、两输入端数据类型信息和连接输出数据类型信息等以建立新的连接节点J₁，并将其压入已建立节点集ES；

步骤5.2：判断当前连接节点J_i(i＞1)与已建立节点集ES中的连接节点是否有连接关系；若没有，表明其节点J_i的两个数据源节点均为非连接节点，重写当前节点J_i对应的相关属性信息并生成新的连接节点J_i，比较两个数据源节点对应编码大小，小编码节点建立当前节点J_i的左叶子节点，大编码节点建立当前节点J_i的右叶子节点；

步骤5.3：若当前节点J_i与已建立节点集ES中的节点有连接关系，判断ES中连接节点个数n；若n＝1，则比较当前节点J_i与已建立节点集ES中有关联节点J的编码，若J编码较大，则用节点J建立节点J_i的右子树，并用当前节点J_i的非关联数据源节点建立节点J_i的左叶子节点，相反则用J建立节点J_i的左子树，用当前节点J_i的非关联数据源节点建立节点J_i的右叶子节点；

步骤5.4：若已建立节点集ES中包含两个与当前节点J_i关联的连接节点J_p、J_q，则比较两个连接节点J_p、J_q对应编码大小，小编码节点建立节点J_i的左子树，大编码节点建立节点J_i的右子树；

步骤5.5：将当前生成的新J_i压入已建立节点集ES；

步骤5.6：重复步骤5.1和步骤5.5，直到生成新的连接查询二叉树。

Images