CN108399233A

CN108399233A - 一种基于算法的分布式数据库的查询优化方法

Info

Publication number: CN108399233A
Application number: CN201810157070.6A
Authority: CN
Inventors: 王正沛
Original assignee: Shandong Hui Trade Electronic Port Co Ltd
Current assignee: Shandong Hui Trade Electronic Port Co Ltd; Shandong Huimao Electronic Port Co Ltd
Priority date: 2018-02-24
Filing date: 2018-02-24
Publication date: 2018-08-14

Abstract

本发明提供一种基于算法的分布式数据库的查询优化方法，属于分布式数据库系统领域。该方法在分布式数据库查询优化过程中，添加了分治算法和贪心算法的步骤，其实现过程如下：1）在查询的总体上，采用分治算法设计；2）在查询的具体实现过程中，采用基于查询图的贪心算法。本发明分布式数据库的查询优化主要是利用贪心算法和分治算法的优势，以操作的执行顺序，关系的存取方法，操作执行的连接操作，不同站点之间的数据流动顺序作为切入点，进行优化。通过算法的优化，减少了一些不必要的系统开销，节省了大量的硬件和网络资源，提高了响应速度，在一定程度上增加了系统的兼容性和稳定性，提高了多次查询的解析和执行效率。

Description

一种基于算法的分布式数据库的查询优化方法

技术领域

本发明涉及分布式数据库系统领域，具体地说是一种基于算法的分布式数据库的查询优化方法。

背景技术

随着大数据技术的发展和普及，对于数据的存储方式和查询技术有了越来越高的要求，数据库的体量越来越大，结构也越来越复杂，在查询效率和存储的灵活性上，传统的物理中心的数据库组织已经逐渐不能满足当前的需要，分布式数据库应运而生。

分布式数据库是物理上分散而逻辑上集中的数据库系统，具有数据的物理分布性，数据的逻辑性，站点自治性。分布式查询技术主要是把用户提交的查询请求翻译为几个相关节点都可以识别的本地查询请求，并将几个节点的查询结果汇总并返回的问题。

分布式查询优化的总则是使通信费用最低和响应时间最短，即以最小的总代价，在最短的响应时间内获得需要的数据。总代价=CPU代价+I/O代价+通信代价。响应时间是指从接收查询到完成查询的时间间隔，在分布式数据库系统中，响应时间既与通讯时间有关，又与局部的处理时间有关。

但是分布式数据库在解决传统物理中心数据库问题的同时，也存在数据库的查询响应时间不一致，数据库的结构不同（异构）的问题。针对分布式数据库的查询优化，可以提高数据库的利用效率，对于大批量的数据查询和频繁的数据库存取操作具有重要的意义。

发明内容

本发明的技术任务是针对现有技术的不足，提供一种基于算法的分布式数据库的查询优化方法，该方法利用算法的优势，尽量使查询的总代价最小和使查询的响应时间最短，并提高异构分布式数据库的容错率。

本发明解决其技术问题所采用的技术方案是：

一种基于算法的分布式数据库的查询优化方法，在分布式数据库查询优化过程中，添加了分治算法和贪心算法的步骤，其实现过程如下：

1）在查询的总体上，采用分治算法设计；

2）在查询的具体实现过程中，采用基于查询图的贪心算法。

作为本发明进一步改进的，分治算法和贪心算法在Java层面实现，其实现过程如下：

Java层面对输入的SQL查询语句针对不同类型的数据库做进一步的拼接完善；

Java层面针对不同类型数据库查询的响应时间的统计，划分相应的查询优先级，优先执行响应时间短的查询语句；

将具体的查询过程封装成为数据接口，并在Java层面采用数据接口的异步调用。

作为本发明进一步改进的，分治算法设计时，步骤如下：

1.1）将一个查询语句拆分为几个针对不同类型的数据库的查询语句；

1.2）在分布式数据库的不同的数据库中查询出符合条件的部分数据；

1.3）将查询出的部分数据整理成为为一个统一的结果集；

1.4）在分布式数据库查询出的结果集中，查询出符合条件的查询结果集。

作为本发明进一步改进的，贪心算法设计时，步骤如下：

2.1）对相邻的节点进行连接查询时，首先找出中间结果最小的连接运算，然后把两个节点合并成为一个节点；

2.2）采用1）中同样的方法继续在查询图中寻找最小代价的连接运算，并将两个节点合并，将合并过程中查询图上的线段合并，线段上的值为原先两条线段值的乘积之和；

2.3）循环1）和2）两个步骤；

2.4）最后执行剩余的两个节点的连接。

作为本发明进一步改进的，Java层面针对不同类型的数据库的拼接完善，包括分页、排序、取前几条数据。

作为本发明进一步改进的，所述数据库类型包括：MYSQL数据库、Oracle数据库。

本发明的一种基于算法的分布式数据库的查询优化方法，与现有技术相比所产生的有益效果是：

分布式数据库的查询优化主要是利用贪心算法和分治算法的优势，以操作的执行顺序，关系的存取方法，操作执行的连接操作，不同站点之间的数据流动顺序作为切入点，进行优化，以缩短响应时间，减少资源消耗，提高查询效率。

1、实现了分布式数据库中的查询效率不高的缺点，根据数据库的响应速度划分优先级，提高了响应速度；

2、采用了异步执行的方法，在一定程度上增加了系统的兼容性和稳定性；

3、利用了分治算法和贪心算法，对查询过程进行了结构上的优化，通过算法的优化，减少了一些不必要的系统开销，节省了大量的硬件和网络资源。

4、采用数据接口的形式，提高了多次查询的解析和执行效率。

附图说明

附图1是本发明分治算法的结构设计图；

附图2是本发明贪心算法的结构设计图。

具体实施方式

下面结合附图1、2，对本发明的一种基于算法的分布式数据库的查询优化方法作以下详细说明。

如附图1所示，本发明的一种基于算法的分布式数据库的查询优化方法，在分布式数据库查询优化过程中，添加了分治算法和贪心算法的步骤，其实现过程如下；

1、在查询的总体上，采用分治算法设计

如附图1所示，分治算法设计时，步骤如下：

1.1）将一个查询语句拆分为几个针对不同的数据库（MYSQL、Oracle）的查询语句；

1.2）在分布式数据库的不同的数据库中查询出符合条件的部分数据；（根据总的数据总量确定各个数据库的查询总量）

1.3）将查询出的部分数据整理成为为一个统一的结果集；

2、在查询的具体实现过程中，采用基于查询图的贪心算法。

贪心算法实际上是一种自底向上的启发式的，动态的查询优化算法。其主要思想是在选择连接顺序时，总是使用一种简单的选择方法，即每次都是选择当前的代价最小的一个连接，以求达到在整个系统中的最终的查询总代价最小。

如附图2所示，贪心算法设计时，步骤如下：

2.3）循环1）和2）两个步骤；

2.4）最后执行剩余的两个节点的连接。

上述分治算法和贪心算法在Java层面实现，其实现过程如下：

Java层面对输入的SQL查询语句针对不同类型的数据库做进一步的拼接完善（如分页、排序、取前几条数据），简化了针对异构数据库的查询问题。

Java层面针对不同类型数据库查询的响应时间的统计，划分相应的查询优先级，优先执行响应时间短的查询语句，解决了响应时间划分优先级的问题。

将具体的查询过程封装成为数据接口，并在Java层面采用数据接口的异步调用，实现了对于最先查询出的部分数据的优先显示，缩短了系统整体的响应时间。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims

1.一种基于算法的分布式数据库的查询优化方法，其特征在于，在分布式数据库查询优化过程中，添加了分治算法和贪心算法的步骤，其实现过程如下：

1）在查询的总体上，采用分治算法设计；

2）在查询的具体实现过程中，采用基于查询图的贪心算法。

2.根据权利要求1所述的一种基于算法的分布式数据库的查询优化方法，其特征在于，分治算法和贪心算法在Java层面实现，其实现过程如下：

3.根据权利要求1、2或3所述的一种基于算法的分布式数据库的查询优化方法，其特征在于，分治算法设计时，步骤如下：

1.3）将查询出的部分数据整理成为为一个统一的结果集；

4.根据权利要求1、2或3所述的一种基于算法的分布式数据库的查询优化方法，其特征在于，贪心算法设计时，步骤如下：

2.3）循环1）和2）两个步骤；

2.4）最后执行剩余的两个节点的连接。

5.根据权利要求2所述的一种基于算法的分布式数据库的查询优化方法，其特征在于，Java层面针对不同类型的数据库的拼接完善，包括分页、排序、取前几条数据。

6.根据权利要求2所述的一种基于算法的分布式数据库的查询优化方法，其特征在于，所述数据库类型包括：MYSQL数据库、Oracle数据库。