CN102033912A

CN102033912A - 一种分布式数据库访问方法及系统

Info

Publication number: CN102033912A
Application number: CN 201010567045
Authority: CN
Inventors: 陈弘; 张晓荣
Original assignee: BEIJING BEWINNER COMMUNICATIONS TECHNOLOGY Co Ltd
Current assignee: BEIJING BEWINNER COMMUNICATIONS TECHNOLOGY Co Ltd
Priority date: 2010-11-25
Filing date: 2010-11-25
Publication date: 2011-04-27

Abstract

本发明涉及一种分布式数据库访问方法及系统。该分布式数据库访问方法，包括：步骤1，Web服务器向代理服务器发送数据库访问请求；步骤2，代理服务器根据预置的解析规则解析该数据库访问请求，并将解析后的数据库访问请求发送到相应的目标数据库；步骤3，代理服务器将目标数据库返回的结果发送到Web服务器。本发明规避了数据库集中管理所带来的费用高、单台数据库故障造成全部瘫痪、不易于扩展和限制系统规模等风险，有效的实现物理资源合理分配，降低通信代价，扩展性强，可动态分配数据流量，读写分离，在有限的资源情况下，实现性能最大化。

Description

一种分布式数据库访问方法及系统

技术领域

本发明涉及数据库领域，尤其是一种分布式数据库访问方法及系统。

背景技术

随着传统的数据库技术日趋成熟，互联网应用的高速发展，数据库应用已经普遍出现在计算机网络之上。而传统的集中式数据库系统也同时表现出它的不足之处：集中式管理，势必造成性能瓶颈，单一的提高硬件性能已经不足以满足目前互联网的大数据量，高并发查询写入的需求，同时产生大量的硬件维护及升级费用。而且数据库集中管理往往造成多数据库关联，一旦一台数据库崩溃，将导致整个系统崩溃。所以分布式数据库系统将逐渐取代传统集中数据库库系统。虽然很多应用已经考虑到并采用了分布式数据库管理，但没有成型的分布式代理，分布式管理经常需要嵌入到项目中，造成可复用性不高，维护成本高等问题。

发明内容

本发明为了克服现有集中管理数据库带来的缺陷，提供一种分布式数据库访问方法及系统。

本发明提供了一种分布式数据库访问方法，包括：

步骤1，Web服务器向代理服务器发送数据库访问请求；

步骤2，代理服务器根据预置的解析规则解析该数据库访问请求，并将解析后的数据库访问请求发送到相应的目标数据库；

步骤3，代理服务器将目标数据库返回的结果发送到Web服务器。

步骤1之前还包括：

步骤11，Web服务器与代理服务器建立链接；

步骤12，代理服务器向Web服务器返回响应信息；

步骤13，Web服务器向代理服务器发送帐号密码；

步骤14，代理服务器将接收到的帐号密码与代理服务器本身存储的帐号密码进行匹配；

步骤15，代理服务器验证该用户合法。

分布式数据库的分布方式为读写分离、水平切分或垂直切分。

如果分布式数据库的分布方式为读写分离，则步骤2包括：

步骤21，代理服务器根据预置的解析规则解析Web服务器发送数据库的访问请求；

步骤22，如果所述访问请求是为了从分布式数据库读取数据，则将解析后的访问请求发送到仅用于供用户读取数据的数据库；如果所述访问请求是为了更改分布式数据库中的数据，则将解析后的访问请求发送到仅用于写入数据的数据库；

如果分布式数据库的分布方式为垂直切分，则步骤2包括：

步骤31，代理服务器根据预置的解析规则解析Web服务器发送数据库的访问请求；

步骤32，如果所述访问请求是为了处理用户信息，则将解析后的访问请求发送到用于存储用户信息的数据库；如果所述访问请求是为了处理数据信息，则将所述访问请求发送到用于存储数据信息的数据库；

如果分布式数据库的配置规则为水平切分，则步骤2包括：

步骤41，代理服务器根据预置的解析规则解析Web服务器发送数据库的访问请求；

步骤42，如果所述访问请求所要访问的数据位于同一个数据库上，则将解析后的访问请求发送到该数据库；如果所述访问请求所要访问的数据位于不同数据库上，则将所述访问请求所要访问的数据按照该数据所处的数据库进行重构，分割为不同的访问请求并发送到相应的数据库。

如果分布式数据库的配置规则为水平切分且Web服务器的访问请求所要访问的数据位于不同数据库上，则步骤3中代理服务器将不同数据库返回的结果进行合并后发送到Web服务器。

本发明提供了一种分布式数据库访问系统，包括：Web服务器、代理服务器和分布式数据库；

Web服务器，用于向代理服务器发送数据库访问请求；

代理服务器，用于根据预置的解析规则解析该数据库访问请求，并将解析后的数据库访问请求发送到相应的目标数据库；还用于将目标数据库返回的结果发送到Web服务器。

Web服务器，还用于与代理服务器建立链接并向代理服务器发送帐号密码；

代理服务器，还用于向Web服务器返回响应信息，将接收到的帐号密码与代理服务器本身存储的帐号密码进行匹配并验证该用户合法。

分布式数据库的配置规则为读写分离、水平切分或垂直切分。

代理服务器，还用于在分布式数据库的分布方式为读写分离时根据预置的解析规则解析Web服务器发送数据库的访问请求；在所述访问请求是为了从分布式数据库读取数据时，将解析后的访问请求发送到仅用于供用户读取数据的数据库；在所述访问请求是为了更改分布式数据库中的数据时，将解析后的访问请求发送到仅用于写入数据的数据库；

代理服务器，还用于在分布式数据库的分布方式为垂直切分时根据预置的解析规则解析Web服务器发送数据库的访问请求；在所述访问请求是为了处理用户信息时，将解析后的访问请求发送到用于存储用户信息的数据库；在所述访问请求是为了处理数据信息时，将所述访问请求发送到用于存储数据信息的数据库；

或者代理服务器，还用于在分布式数据库的配置规则为水平切分时根据预置的解析规则解析Web服务器发送数据库的访问请求；在所述访问请求所要访问的数据位于同一个数据库上时，将解析后的访问请求发送到该数据库；在所述访问请求所要访问的数据位于不同数据库上时，将所述访问请求所要访问的数据按照该数据所处的数据库进行重构，分割为不同的访问请求并发送到相应的数据库。

代理服务器，还用于在分布式数据库的配置规则为水平切分且Web服务器的访问请求所要访问的数据位于不同数据库上时，将不同数据库返回的结果进行合并后发送到Web服务器。

本发明规避了数据库集中管理所带来的费用高、单台数据库故障造成全部瘫痪、不易于扩展和限制系统规模等风险，有效的实现物理资源合理分配，降低通信代价，扩展性强，可动态分配数据流量，读写分离，在有限的资源情况下，实现性能最大化。

本发明配置简便，复用性强，相对集中的管理多应用与数据库物理层的通讯，前端开发人员不需要关心任何底层数据库层的结构，代理服务器是数据库集群面向应用服务器集群的唯一接口，前端开发人员只需要简单的配置代理服务器的连接方式，然后按照轻量级架构点对点连接数据库的编写方式进行SQL编写即可。同时保证应用层与数据层通讯的快捷，在基本不影响性能的前提下，快速返回结果，同时减少网络通讯的负担。

附图说明

图1是本发明提供的分布式数据库访问系统结构图；

图2是本发明提供的分布式数据库访问流程图；

图3是本发明提供的访问请求发送流程图。

具体实施方式

为实现上述目的，本发明提供了如图1所示的分布式数据库访问系统，该系统中的数据读写分离，包括Web服务器组(Web server group)，数据库调度器(Db Dispatcher)，主数据库组(Master Db group)和从数据库组(SlaveDb group)；Web服务器组还通过数据库调度器发送SQL查询请求和接收返回的结果，数据库调度器将数据写入主数据库组，主数据库组将数据复制到从数据库组；数据库调度器根据SQL请求从从数据库组读取相应的数据；主数据库组和从数据库组中均保存用户及其相关信息。数据库调度器即为代理服务器，由图1可以看出，WEB服务器组中的每台WEB服务器只与数据分发代理服务器(以下简称为代理服务器)进行通讯，而数据的写入与读取都由代理服务器进行管理，所以对于WEB服务器来说，数据访问仍然是点对点的通讯，所有的数据连接池全部由代理服务器集中管理，WEB服务器不用单独建立与物理存储介质的数据链接，减少网络通讯的额外负担，同时，根据需求及流量负担可配置多台代理服务器，集中管理或者分开管理不同的应用数据库，并可以配置备用代理服务器，一旦代理服务器连接发生异常，即主动转换至备用代理服务器进行操作。

访问图1所示的系统的流程如图2所示，包括以下步骤：

步骤201，代理服务器接受Web服务器发送的访问请求；该访问请求使用的Socket通讯协议(负责WEB服务器与代理服务器建立连接并传输内容)采用JAVA NIO((non-blocking)Input/Output-JAVA官方发布的新的IO操作API)非堵塞应用框架，规避系统输入输出性能瓶颈，解决传统Socket编程在大量并发的情况下非常浪费系统资源的问题；

步骤202，连接建立后，代理服务器返回欢迎信息，WEB服务器发送登陆的帐号密码，代理服务器根据代理服务器管理人员配置的登陆账号名和密码验证是否为合法用户，验证通过后，接收Web服务器发送的普通SQL语句；

步骤203，代理服务器管理人员在代理服务器启动前需要根据开发人员提供的“数据库的表名”及“库名”配置SQL解析规则配置文件(配置表名，库名以及物理数据库对应关系规则，和数据水平切分，垂直切分及读写分离规则)和数据库链接配置文件(物理数据库的登陆IP，登陆用户名和密码，以及该数据库支持的最大连接数，最小连接数以及查询等待时间等相关属性)，代理服务器根据解析规则配置文件和数据库链接配置文件解析SQL语句，提取SQL请求中的特征值(特征值为查询方式、表名和主键名，具体的特征值需要根据数据库的分布方式进行选择)。；

解析规则配置文件：代理服务器根据此配置文件，可以定位查找到对应的物理数据库，以及对应数据表。

下面对几种不同的分布式数据库的结构，代理服务器根据解析规则配置文件进行定位的具体技术方案进行举例说明。

假设一个数据库组由以下几个数据库构成：

数据库A，数据库B，数据库C，数据库D；

a.数据库A作为用户信息主存储数据库，其中包含用户信息存储表USER_DATA，USER_DATA包含字段USER_ID(主键，唯一标识)，USER_NAME，负责保存USER_ID小于10000的用户信息；

b.数据库B作为用户间交互信息存储数据库，其中包含用户间交互信息存储表MESSAGE_DATA，MESSAGE_DATA包含字段MESSAGE_ID(主键，唯一标识)，MESSAGE_CONTENT；

c.数据库C作为A的从数据库，具有同样的数据表USER_DATA且保证数据表内数据完全相同(通过主从复制机制实现(现有技术))；

d.数据库D作为用户信息存储数据库，同样包含用户信息存储表USER_DATA，并跟A保证同样的数据表结构(相同的表名，相同的字段名称)，负责保存USER_ID大于10000并且小于20000的用户信息；

四台数据库在代理服务器中分别对应ID：A-DB_USER_MASTER1，B-DB_MESSAGE，C-DB_USER_SLAVE1，D-DB_USER_MASTER2；

对应这个数据库组，存在以下3种数据库分布操作方式(已满足所有可能查询方式)

1、读写分离：由上述条件可知，A和C作为主从数据库关系，其中A具有写入数据的职责，C具有读取数据的职责，A写入的数据同时拷贝到C，保证A，C的数据同步。数据库A对应所有写操作的请求(即SQL请求开头为update，delete，insert特征值)；数据库C对应所有读操作的请求(即SQL请求开头为select特征值)；两个数据库中数据表名及数据表结构均相同，当WEB服务器发送SQL请求为select*from USER_DATA时(为方便起见，暂时不考虑数据切分状况，只对应读写分离条件)，其中select、USER_DATA是代理服务器需要提取的SQL特征值，根据select特征值定位为读操作即目标数据库为数据库C，根据USER_DATA特征值定位为对数据表USER_DATA进行操作。即这条SQL请求是对数据库C中的USER_DATA数据表进行读操作。

下表列出了该SQL请求中出现的特征值及与物理数据库的对应关系

Update；delete；insert	User_data	A
			Select	User_data	C

2、垂直切分：由上述条件可知，数据库C负责处理所有需要查询用户信息的读操作，数据库B负责处理所有需要查询用户间交互信息的读操作，当用户发送SQL语句select*from USER_DATA时(在读写分离的基础上加入对垂直切分的判断)，select、USER_DATA是代理服务器需要提取的SQL特征值，根据select特征值定位为读操作，根据USER_DATA特征值定位为对用户信息数据表USER_DATA进行操作，即这条SQL请求是对用户信息存储数据库C中的USER_DATA数据表进行读操作。

3、水平切分：由上述条件可知，USER_ID为0-10000的用户信息和USER_ID为10001-20000的用户信息分别存储在数据库A、C(数据库A、C数据相同，只是分为写操作和读操作)和D中，当用户发送SQL语句为select*from USER_DATA where USER_ID＝1000时，select、USER_DATA、USER_ID＝1000是代理服务器需要提取的SQL特征值，根据select特征值定位为读操作，根据USER_DATA特征值定位为对用户信息数据表USER_DATA进行操作，根据USER_ID(即主键)定位为存储0-10000用户信息的数据库操作，即这条SQL请求是对存储0-10000用户信息存储数据库C中的USER_DATA数据表进行读操作。

数据库链接配置文件：配置数据库集群中所有物理数据库的IP地址，登陆用户名密码等数据库连接信息。

代理服务器根据解析规则配置文件定位物理数据库后，首先在数据库连接池(连接池是创建和管理一个数据库连接的缓冲池的技术，当一个SQL请求数据库连接时，首先从缓冲池中查找一个已经闲置的连接，当这个请求使用完这个连接，将他返回连接池中，等待其他SQL请求的使用)中查找是否存在此数据库的连接池，如没有，则通过数据库链接配置文件查找对应数据库的连接登陆方式建立链接并将连接池放入连接池队列。连接池队列由代理服务器统一管理，同一数据库连接池由代理服务器所有Web服务器共享，代理服务器定时监测连接池连接状态，如出现连接中断或目标数据库无响应则重新建立连接或者尝试连接备用数据库服务器。

步骤204，发送对应SQL到目标数据库，并接收返回结果。

步骤205，将查询结果返回给WEB服务器，其中当数据需要水平切分的时候，通常要进行SQL的分离，并将查询结果进行合并，并返回给Web服务器。在水平切分中，用户经常需要查找的主键范围包含在两台不同数据库中，代理服务器会根据ID主键重构成两个或者多个除ID范围外其他部分相似的查询SQL，并定位不同的数据库进行查询，然后合并所有查询结果，累加在一起，返回给Web服务器。举例说明如下：

用户发送SQL语句为select*from USER where ID＞1000 and ID＜20000

代理服务器根据特征值ID，将此查询分成两个子查询。

Select*from USER where ID＞1000 and ID＜＝10000

Select*from USER where ID＞＝10001 and ID＜20000

然后分别发送到数据库A和数据库B。返回查询结果分别为RESULT_A和RESULT_B。代理服务器将两个查询结果合并为RESULT_C并返回给Web服务器。

步骤201中，Web服务器发送的访问请求的具体步骤包括：

步骤301，Web服务器建立链接；

步骤302，代理服务器返回响应信息；

步骤303，Web服务器发送帐号密码；

步骤304，代理服务器匹配帐号密码；

步骤305，代理服务器验证该用户合法；

步骤306，Web服务器发送SQL访问请求。

上述实施例中所使用的数据库语言为SQL语言，本领域技术人员很容易了解使用其他的数据库语言来实现本发明。

本发明所提供的技术方案应用于集中管理大数据量，大查询量的读写分离、水平切分和垂直切分的分布式数据库。WEB服务器面向用户部分功能开发与数据库物理存储分隔，前端开发人员不需要关心底层数据库的分布方式，只要按照规则书写SQL语句，传送至代理服务器，代理服务器会按照预先设定好的规则将SQL语句重构并分发到对应的物理存储介质，并将结果返回给应用。

WEB服务器只需要配置代理服务器的登陆IP，登陆密码帐号等信息即可，代理服务端需要配置对应Web服务器所需要的处理模式：即读写分离，水平切分，垂直切分规则，并配置对应数据库的登陆方式即可。Web服务器只需要导入不到2M的jar包，项目启动后，jar包会负责与服务器进行通讯，不做任何其它处理，对项目运行的性能不产生任何影响。目前支持流行的ORM框架ibatis等，采用这些框架的项目，只需要修改下配置文件即可导入该代理方案实现底层数据库的分布式管理。代理服务器采用定时检测连接方式，校验对应物理数据库的连接是否正常，并可设置备用数据库，一旦代理服务器检测主数据库连接异常会主动切换到备用数据库上；只需修改配置文件，不需要重启，即可实现在线添加数据库节点，不影响系统的运行。

本发明所提供的技术方案，配置文件简单明了，初学者应该能够很快的入手；嵌入项目的部分不要太大，对项目的性能不产生影响；支持多种ORM(Object/Relation Mapping-对象关系映射，面向对象的程序设计语言到关系数据库的映射)框架，对于流行的ORM框架要做到基本支持，不带来额外的编码负担；将传统的ORM框架负责数据查询结果与程序对象的映射以及管理数据库连接池分隔开来，ORM框架只将SQL请求发送给代理服务器，代理服务器负责与数据库的连接以及管理数据库连接池，并将数据查询结果返回给应用程序(即WEB服务器中运行的程序)，应用程序通过ORM框架实现数据查询结果与程序需要的对象的映射关系；考虑多种数据库出现紧急问题的处理方式：数据库面临崩溃，需要重启，在线扩展等各种问题，代理服务器要做到有限范围内的应急处理，代理服务器启用定时任务检测数据库的连接状况，发现连接中断，则重新连接目标数据库，重新连接失败，则尝试连接备用数据库并发送告警邮件，如需要处理WEB服务器当前发送的SQL请求的目标数据库发生异常，连接无法建立，代理服务器则先将发送到目标数据库的SQL请求暂时放入缓存队列并写入SQL日志中，然后尝试连接备用数据库并发送告警邮件(主数据库需要设置拷贝机制(数据库自带功能)，将写入的数据定期备份到备份数据库中，保证两台数据库内数据的一致)，如备用服务器连接成功，则将SQL日志中未处理的SQL请求提取并发送到备用服务器进行处理，代理服务器定期检测配置文件的更新时间，如更新时间发生变动，则重新加载配置文件，保证不需要重启代理服务器，不影响WEB服务器运行的前提下进行动态扩展数据库。

Claims

1.一种分布式数据库访问方法，其特征在于，包括：

步骤1，Web服务器向代理服务器发送数据库访问请求；

2.如权利要求1所述的分布式数据库访问方法，其特征在于，步骤1之前还包括：

步骤11，Web服务器与代理服务器建立链接；

步骤12，代理服务器向Web服务器返回响应信息；

步骤13，Web服务器向代理服务器发送帐号密码；

步骤15，代理服务器验证该用户合法。

3.如权利要求1所述的分布式数据库访问方法，其特征在于，分布式数据库的分布方式为读写分离、水平切分或垂直切分。

4.如权利要求3所述的分布式数据库访问方法，其特征在于，

如果分布式数据库的分布方式为读写分离，则步骤2包括：

如果分布式数据库的分布方式为垂直切分，则步骤2包括：

如果分布式数据库的配置规则为水平切分，则步骤2包括：

5.如权利要求4所述的分布式数据库访问方法，其特征在于，如果分布式数据库的配置规则为水平切分且Web服务器的访问请求所要访问的数据位于不同数据库上，则步骤3中代理服务器将不同数据库返回的结果进行合并后发送到Web服务器。

6.一种分布式数据库访问系统，其特征在于，包括：Web服务器、代理服务器和分布式数据库；

Web服务器，用于向代理服务器发送数据库访问请求；

7.如权利要求6所述的分布式数据库访问系统，其特征在于，

8.如权利要求6所述的分布式数据库访问系统，其特征在于，分布式数据库的配置规则为读写分离、水平切分或垂直切分。

9.如权利要求8所述的分布式数据库访问系统，其特征在于，

10.如权利要求9所述的分布式数据库访问系统，其特征在于，代理服务器，还用于在分布式数据库的配置规则为水平切分且Web服务器的访问请求所要访问的数据位于不同数据库上时，将不同数据库返回的结果进行合并后发送到Web服务器。