CN110413642B - 一种应用无感知的分片数据库解析及优化方法 - Google Patents

Abstract

本发明提供一种应用无感知的分片数据库解析及优化方法，包括下列步骤：S1：应用程序在执行分片数据库的查询操作时，通过客户端分片驱动器将语句发给查询分析器及优化器；S2：查询分析器和优化器对查询语句进行语法检查和分析，根据查询内容或者查询条件中是否包含集中处理关键字，进而判断本次查询是一个分布式查询还是集中式查询；S3：查询分析器和优化器会根据查询条件并结合分片管理器中保存的数据分片信息解析出本次查询需要在分片数据库的哪些数据分片上执行；S4：查询分析器及优化器通知分片驱动器本次查询的查询方式；S5：分片驱动器通过分布式查询执行器或者集中式查询执行器对分片数据库进行操作，然后将查询结果返回给客户端。

Description

一种应用无感知的分片数据库解析及优化方法

技术领域

本发明涉及一种分片数据库的处理方法，尤其是涉及一种应用无感知的分片数据库解析及优化方法。

背景技术

随着数据量的增大，关系型数据库的单个库表数据会变得十分庞大，随着数据量的增加，一方面会导致对数据的访问性能降低，另一方面数据集中在一个库表里也会带来并发支持的问题。分片数据库通过对库表里的数据按照主键的散列值或者范围值进行分片，可以将一个库表的数据分片到多个数据库的多张分片表里存储来解决以上问题。但分片数据库带来另外一个问题,就是原来对一张表的访问操作现在变成了对多个数据库多张表的访问操作，数据库的ACID特性需要新的机制来进行保证。传统的做法有两种：一种是由客户端应用程序自己保证；另一种是引入中间件，由中间件来保证。但这两种技术的弊端也很明显：

客户端保证技术：这种技术的优点是应用程序直接和分片数据库进行交互，效率高，但应用程序和分片数据库耦合的十分紧，分片规则的每一次变化都要客户端应用程序作相应的开发，而对一些复杂的操作查询比如聚合类(SUM,AVG)以及order by子句等还需要客户端将每个分片数据库的数据库取回后自己做二次运算。此种方法只适合环境固化，对数据库操作简单单调的场景，已经较少使用；

中间件技术：这种技术客户端需要做的改动较少，通用性比较好，但也有两个缺点：首先，对数据库的访问功能受制于中间件自身的功能，各种中间件技术本身实现的功能差别较大，特别的中间件自身的数据库功能很弱，对一些需要二次处理的操作如对各种跨表的组合查询，子查询，聚合函数(如SUM,AVG)等支持不够优化，有些甚至不支持；其次，对分片数据库的操作每次都需要经过中间件进行，一方面影响了效率，另一方面中间件本身容易称为瓶颈。

发明内容

本发明提供了一种应用无感知的分片数据库解析及优化方法，用于解决分片数据库访问存在的上述问题，本发明从分片数据库自身机制入手，重新设计分片数据库的语句解析及优化机制，即不需要应用程序做改动，又不需要中间件参与，使分片数据库不再是多个传统数据库的组合，而是一套具有自我管理，协调优化，提供完整查询功能的整套独立数据库。它简化了用户开发，又不依赖于第三方系统，同时还提高了数据库的访问效率。

其技术方案如下所述：

一种应用无感知的分片数据库解析及优化方法，包括下列步骤：

S1：应用程序在执行分片数据库的查询操作时，通过客户端分片驱动器将语句发给查询分析器及优化器；

S2：查询分析器和优化器对查询语句进行语法检查和分析，根据查询内容或者查询条件中是否包含集中处理关键字，进而判断本次查询是一个分布式查询还是集中式查询；

S3：查询分析器和优化器会根据查询条件并结合分片管理器中保存的数据分片信息解析出本次查询需要在分片数据库的哪些数据分片上执行；

S4：查询分析器及优化器通知分片驱动器本次查询的查询方式；

S5：分片驱动器通过分布式查询执行器或者集中式查询执行器对分片数据库进行操作，然后将查询结果返回给客户端。

进一步的，步骤S5中，集中式查询执行器在每个相关分片数据库上获取初次执行结果并集中存放在临时数据库进行二次加工处理，将二次加工后处理的结果作为最终结果。

所述客户端分片驱动器向应用程序提供数据库访问接口。

所述分片管理器用来存储分片数据库的分片信息，包括分片数据库有哪些分片，每个分片上的数据分片规则和分布范围，分片数据库的ip地址和端口信息。

所述分片管理器能够同时对不同分片进行并行管理操作，包括增删改查，事务协调。

进一步的，步骤S5中，由分片数据库执行后直接得出最终结果的语句叫做分布式查询语句，通过分布式查询执行器执行，分布式查询执行器生成分布式查询的执行计划提交给分片数据库执行。

步骤S5中，由分片数据库执行后不能得出最终结果而需要将其执行结果汇聚在一起进行二次运算才能得出最终结果的语句叫集中式查询语句，通过集中式查询执行器执行，集中式查询执行器生成集中式查询计划，计划的第一步是在分片数据库上执行获得中间结果，第二步对中间结果进行二次运算得到最终结果。

步骤S5中，查询结果通过查询分析器和优化器返回给客户端。

所述应用无感知的分片数据库解析及优化方法具有如下优点和积极效果：

1)客户端应用程序对分片数据库的访问操作主要通过分片驱动器来实现，分片驱动器支持标准的ODBC及JDBC访问接口，客户端应用程序无需修改，重新编译即可使用；

2)不需要中间件等第三方产品，本发明让分片数据库自身提供完整管理功能，用户不需要关心数据分片细节，就像访问一套数据库一样访问整个分片数据库；

3)本发明根据不同的语句类型提供不同的解析和执行方式，最大程度地缩短了数据库访问路径，提高访问效率。

附图说明

图1是分布式查询交互示意图；

图2是集中式查询交互示意图；

图3是完整查询交互示意图。

具体实施方式

本发明提供的应用无感知的分片数据库解析及优化方法，是建立分片数据库的管理机制，并将分片数据库的管理机制解析为以下几部分：

(1)客户端分片驱动器：向应用程序提供数据库访问接口，使应用程序不用关心SQL语句是分布查询还是集中查询，也不用关心数据库的分片细则；

(2)分片数据库：由多个分片组成的数据存储和管理系统。每一个分片都是一个独立的数据库节点，存储一部分数据信息，负责管理本地的数据，多个分片共同构成一套完整的数据存储；

(3)分片管理器：用来存储分片数据库的分片信息，包括分片数据库有哪些分片，每个分片上的数据分片规则和分布范围，分片数据库的ip地址，端口等信息；同时可对不同分片进行并行管理操作，包括增删改查，事务协调等；

(4)查询分析器及优化器：对SQL语句进行解析，判断语句是否符合SQL语法规范，同时根据语句执行条件并结合数据库分片信息，确定该语句是属于分布式查询还是集中式查询，同时根据查询条件判断出需要在哪些分片上执行，判断的依据可以是查询条件字段的HASH值或范围值；如果没有条件，则认为是全量查询，需要在所有分片上执行；

把可以由分片数据库执行后直接得出最终结果的语句叫做分布式查询语句，比如select*from tablex；

把一些由分片数据库执行后不能得出最终结果而需要将其执行结果汇聚在一起进行二次运算才能得出最终结果的语句叫集中式查询语句，这部分主要针对聚合运算如汇总计算：count(*),求和计算：sum,平均计算：avg，这些函数通常会和排序子句order by以及分组子句group by等一起使用，比如select count(*)from tablex；

(5)分布式查询执行器：生成分布式查询的执行计划提交给分片数据库执行；

(6)集中式查询执行器：生成集中式查询计划，该计划分为两步，第一步在分片数据库上执行获得中间结果，该中间结果为临时结果，存放在临时数据库中，第二步对中间结果进行二次运算得到最终结果；如对一个汇总计算count(*)来说，第一步求出的是每个分片上的汇总数量，有多少个分片就有多少个临时结果，将这些结果保存在临时数据库中，第二步继续这些临时结进行进一步汇总得到最终唯一的汇总结果。

(7)临时数据库：用来临时保存集中式查询第一步生成的中间结果，方便后续处理，语句执行完毕后释放。

本发明解决问题的主要过程是客户端执行分片数据库查询操作时，分片驱动器首先将查询语句发往查询分析器及优化器，判断本次查询是属于分布式查询还是集中式查询语句。

对分布式查询，客户端将根据分片规则直接访问分片数据库执行查询动作并获取查询结果；对集中式查询，需要先在每个相关分片数据库上获取初次执行结果并集中存放在临时数据库进行二次加工处理，将二次加工后处理的结果作为最终结果返回给客户端。

这样做的目的是一方面让客户端应用程序不用关心数据库的分片细节，便于分片数据库的扩展或收缩且无需依赖于第三方中间件；另一方面将分布式查询和集中式查询的执行计划分离，使客户端尽量能从分片数据库直接获取查询结果，提高了整个查询的效率。

本发明应用时的操作方法如下所述：

1)首先，应用程序在执行分片数据库的查询操作时会通过客户端驱动器(也就是分片驱动器)将语句发给查询分析器及优化器。

2)查询分析器和优化器会先对查询语句进行语法检查，比如是否符合SQL规范；通过语法检查后会对语句进一步分析，根据查询内容或者查询条件中是否包含特定的需要集中处理关键字如SUM,AVG，group by,order by等来判断本次查询是一个分布式查询还是集中式查询。

3)在此基础上，进一步地，查询分析器和优化器会根据查询条件并结合分片管理器中保存的数据分片信息解析出本次查询需要在哪些数据分片上执行。

之后，对一个分布式查询，查询分析器和优化器会将返回本次查询所需要用到数据分片信息，告诉客户端直接去这些分片数据库上执行查询操作。更进一步的，客户端会并行访问本次查询所需要访问的数据库分片，通过分布式查询执行器执行查询动作，等待分片数据库的返回结果。客户端收到每个涉及到的分片数据库上全部查询结果后结束本次查询。

对一个集中式查询，查询分析器和优化器会根据本次查询所需要用到数据分片信息通过集中式执行查询器在这些分片上首先执行查询操作。进一步的，这些分片数据库上的查询结果信息会被集中式查询执行器先保存在临时数据库中。更进一步的，待所有分片数据库查询结果返回完毕，集中式查询执行器会对临时数据库中的数据进行二次查询处理，并将二次查询处理结果通过查询分析器和优化器返回给客户端，至此，集中式查询处理完毕。

下面通过实施例对本发明的详细实施做进一步描述，包括分开来描述分布式查询和集中式查询的解析执行过程，以及将两者叠加在一起构成的一个完整的分片数据库查询过程。

在一套分片数据库存储有1，2，3，4四个数值，它由两个独立分片组成，分片1上存储数据1和2，分片2上存储数据3和4；分片管理器上存储有该分片信息。

分布式查询语句执行过程：

如图1所示的实施例1中，本例中，以一个select*from Table查询操作为例，这个查询是为了获取分片数据库中的所有数值。其执行过程如下：

1)客户端通过客户端分片驱动器将查询语句发往查询分析器及优化器；

2)查询分析器及优化器对语句进行语句检查，确认是一个合法的查询语句；

3)查询分析器及优化器没有找到和集中式查询相关的关键字，判断该语句为一分布式查询；

4)查询分析器及优化器会根据where查询条件字段按照Hash方法或者范围方法计算出的数值并结合分片管理器存储的数据库分片信息判断出语句需要在哪些分片上执行，在本例中没有找到where查询条件，判断需要在所有分片(及分片1和分片2)上都进行查询；

5)查询分析器及优化器通知分片驱动器本次查询为分布式查询并需要在所有分片上执行；

6)客户端分片驱动器通过分布式查询执行器向分片1和分片2并行提交执行selelct*操作；

7)分片1执行操作获取数据1和2，通过分布式查询执行器返回给客户端分片驱动器；分片2执行操作获取数据3，4，通过分布式查询执行器返回给客户端分片驱动器；

8)客户端获取所需要的全部数据(1，2，3，4)，查询结束。

在以上的查询步骤中，可以看到第6步和第7步是直接和分片数据库进行交互的，没有通过中间层比如查询优化器，一方面缩短了访问路径，另一方面也降低了中间层的压力，特别是当返回数据量比较大的时候更是如此。在传统解决方案中，执行请求和返回结果都需要经过中间层，中间层往往会成为整个分片系统的瓶颈所在，会带来延时甚至系统的不可用。

集中式查询语句执行过程：

如图2所示的实施例2中，本例中，以一个select sum(*)查询操作为例，这个查询是为了获取分片数据库中的所有数值之和。其执行过程如下：

1)客户端通过客户端分片驱动器将查询语句发往查询分析器及优化器；

2)查询分析器及优化器对语句进行语句检查，确认是一个合法的查询语句；

3)查询分析器及优化器发现有sum关键字，判断为一个集中式查询；

4)查询分析器及优化器会根据查询条件并结合分片管理器存储的数据库分片信息判断出sum语句需要在哪些分片上执行，在本例中没有找到查询条件，判断需要在所有分片(及分片1和分片2)上都进行查询；

5)查询分析器及优化器通过集中式查询执行器向所有分片发出执行sum操作；

6)分片一将执行的sum结果1+2＝3返回给集中式查询执行器，分片二将执行的sum结果3+4＝7也返回给集中式查询执行器；

7)集中式查询执行器将分片返回的结果3和7存放在临时数据库中；

8)集中式查询执行器在临时数据库中执行二次sum操作，得到最终的sum结果3+7＝10；

9)集中式查询执行器将最终结果10通过查询分析器及优化器返回给客户端；

客户端得到最终结果10，本次查询结束。

在一些通过中间件解决分片查询的方案长，对聚合查询的第二步一般是在内存中自己进行运算实现，对操作符，函数支持都有限，本专利中采用的是一个中间数据库解决方案，只要SQL语法支持的操作符，函数都能良好支持，对聚合运算的复杂度支持更好。

进一步的，在实施例3中，将分布式查询和集中式查询组合在一起，如图3所示就是一个最终的完整解决方案，这样对一个分片数据库而言，无论什么样的查询都可以通过本发明专利描述的方法进行解决。

这样的一个完整分片数据库即提供了对聚合运算的集中式查询解决方案，也让分布式查询直接和数据库交互，降低了中间层的压力；将两者结合起来成为一个完整的分片数据库优化解决方案。

可见，本发明提供的应用无感知的分片数据库解析及优化方法具有如下优点和积极效果：

1)客户端应用程序对分片数据库的访问操作主要通过分片驱动器来实现，分片驱动器支持标准的ODBC及JDBC访问接口，客户端应用程序无需修改，重新编译即可使用；

2)不需要中间件等第三方产品，本发明让分片数据库自身提供完整管理功能，用户不需要关心数据分片细节，就像访问一套数据库一样访问整个分片数据库；

3)本发明根据不同的语句类型提供不同的解析和执行方式，最大程度地缩短了数据库访问路径，提高访问效率。

Claims (6)

1.一种应用无感知的分片数据库解析及优化方法，包括下列步骤：

S1：应用程序在执行分片数据库的查询操作时，通过客户端分片驱动器将语句发给查询分析器及优化器；

S2：查询分析器和优化器对查询语句进行语法检查和分析，根据查询内容或者查询条件中是否包含集中处理关键字，进而判断本次查询是一个分布式查询还是集中式查询；

S3：查询分析器和优化器会根据查询条件并结合分片管理器中保存的数据分片信息解析出本次查询需要在分片数据库的哪些数据分片上执行；所述分片管理器用来存储分片数据库的分片信息，包括分片数据库有哪些分片，每个分片上的数据分片规则和分布范围，分片数据库的ip地址和端口信息；

S4：查询分析器及优化器通知分片驱动器本次查询的查询方式；

S5：分片驱动器通过分布式查询执行器或者集中式查询执行器对分片数据库进行操作，然后将查询结果通过查询分析器和优化器返回给客户端。

2.根据权利要求1所述的应用无感知的分片数据库解析及优化方法，其特征在于：步骤S5中，集中式查询执行器在每个相关分片数据库上获取初次执行结果并集中存放在临时数据库进行二次加工处理，将二次加工后处理的结果作为最终结果。

3.根据权利要求1所述的应用无感知的分片数据库解析及优化方法，其特征在于：所述客户端分片驱动器向应用程序提供数据库访问接口。

4.根据权利要求1所述的应用无感知的分片数据库解析及优化方法，其特征在于：所述分片管理器能够同时对不同分片进行并行管理操作，包括增删改查，事务协调。

5.根据权利要求1所述的应用无感知的分片数据库解析及优化方法，其特征在于：步骤S5中，由分片数据库执行后直接得出最终结果的语句叫做分布式查询语句，通过分布式查询执行器执行，分布式查询执行器生成分布式查询的执行计划提交给分片数据库执行。

6.根据权利要求1所述的应用无感知的分片数据库解析及优化方法，其特征在于：步骤S5中，由分片数据库执行后不能得出最终结果而需要将其执行结果汇聚在一起进行二次运算才能得出最终结果的语句叫集中式查询语句，通过集中式查询执行器执行，集中式查询执行器生成集中式查询计划，计划的第一步是在分片数据库上执行获得中间结果，第二步对中间结果进行二次运算得到最终结果。

Images