CN102262680B

CN102262680B - 一种基于海量数据存取需求的分布式数据库代理系统

Info

Publication number: CN102262680B
Application number: CN 201110236868
Authority: CN
Inventors: 孟艳青
Original assignee: Beijing Feinno Communication Technology Co Ltd
Current assignee: Beijing Feinno Communication Technology Co Ltd
Priority date: 2011-08-18
Filing date: 2011-08-18
Publication date: 2013-08-21
Anticipated expiration: 2031-08-18
Also published as: CN102262680A

Abstract

本发明公开了一种基于海量数据存取需求的分布式数据库代理系统，该系统包括：前端应用、后端数据库和一个或多个数据库代理DBP装置；其中：前端应用，用于向DBP装置发送访问后端数据库的请求消息；DBP装置，用于接收前端应用发送的请求消息，根据所述请求消息对后端数据库进行相应的操作，并将后端数据库返回的操作结果发送给前端应用；后端数据库，用于存储前端应用所需的数据，响应DBP装置的操作，将操作结果返回给DBP装置。本发明提供的系统能够解决海量数据存取、高并发访问所存在的瓶颈问题。

Description

一种基于海量数据存取需求的分布式数据库代理系统

技术领域

本发明涉及海量数据存取处理技术领域，特别是涉及一种基于海量数据存取需求的分布式数据库代理系统。

背景技术

随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展以及应用范围的不断扩充，数据库应用已经普遍建立于计算机网络之上。特别是伴随着云计算对数据存取需求应用的迅速发展，这种集中式数据库系统应用就表现出了它的不足，主要体现在：

1、数据集中处理带来性能瓶颈：应用系统集中在一台服务器上运行，一旦发生机器故障，则整个系统受到影响，可靠性不高，集中式数据处理系统的规模和配置都不够灵活，系统的可扩展性差。

2、无法有效支撑海量数据处理：越来越多互联网企业的业务平台在使用着一些关系型数据库和非关系型数据库，但都没有一个很好的数据库系统架构来解决海量数据存储以及高访问量的问题。通常受限于软件、硬件、网络设备I/O访问瓶颈等，导致无法支撑更高的访问量以及更大的数据存储容量。

3、基于前端应用的改造方案带来运维成本的增高：通常，企业研发人员会在前端应用做相应的技术改造，而这些改造方案是在特定的语言环境和软件框架下形成的，很难有一个通用型、跨语言的开发框架进行复用的问题，同时也给运维人员（比如DBA）带来维护上的困难。

综上所述，传统的基于以数据库为中心的应用设计思路不能很好的解决和处理海量数据存取和高并发访问所带来的瓶颈问题。

发明内容

本发明提供了一种基于海量数据存取需求的分布式数据库代理系统，该系统能够解决海量数据存取、高并发访问所带来的瓶颈问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明公开了一种基于海量数据存取需求的分布式数据库代理系统，该系统包括：前端应用、后端数据库和一个或多个数据库代理DBP装置；其中：

前端应用，用于向DBP装置发送访问后端数据库的请求消息；

DBP装置，用于接收前端应用发送的请求消息，根据所述请求消息对后端数据库进行相应的操作，并将后端数据库返回的操作结果发送给前端应用；

后端数据库，用于存储前端应用所需的数据，响应DBP装置的操作，将操作结果返回给DBP装置;所述DBP装置包括：DBP会话管理模块，DBP通信管理模块，DBP线程管理模块，DBP数据库访问模块，DBP SQL解析模块，所述DBP装置中设置有DBP模板描述表，其中所述DBP模板描述表中每个模块有一个模板号，每个模板号对应一段SQL语句；

所述DBP通信管理模块，用于接收前端应用发送的访问后端数据库的请求消息，根据所述请求消息调用DBP会话管理模块创建访问后端数据库的会话；用于调用DBP线程管理模块为所述访问后端数据库的会话建立相对应的线程；用于接收DBP线程管理模块发送的返回消息包，将所述返回消息包发送给前端应用；

所述DBP会话管理模块，用于响应DBP通信管理模块调用，为所述请求消息建立访问后端数据库的会话；

所述DBP线程管理模块，用于响应DBP通信管理模块的调用，为DBP会话管理模块建立的访问后端数据库的会话建立对应的线程；用于调用DBP数据库访问模块对相应的后端数据库进行操作；用于将对后端数据库进行操作后得到的相应数据放入返回消息包中，将所述返回消息包发送给DBP通信管理模块；用于从所述前端应用发送的请求消息中读取到模板号，调用所述DBP SQL解析模块使用模板解析的方式进行解析；

所述DBP数据库访问模块，用于响应DBP线程管理模块的调用，建立与后端数据库之间的连接，对后端数据库进行操作后，将操作后得到的相应数据返回给DBP线程管理模块；

所述DBP SQL解析模块，用于从所述DBP模板描述表中读取与所述DBP线程管理模块读取到的模板号对应的SQL语句，使用模板解析的方式进行解析。

在上述系统中，所述多个DBP装置包括：只用于执行读取数据库操作的DBP装置、只用于执行写入数据库操作的DBP装置以及同时支持读写数据库操作的DBP装置。

在上述系统中，所述DBP通信管理模块中设置有处理消息组件，所述处理消息组件用于根据前端应用发送的请求消息的消息ID，调用相应的消息处理函数对所述请求消息进行处理。

在上述系统中，所述DBP装置进一步包括：DBP SQL解析模块；

所述DBP线程管理模块根据不同的请求消息，调用所述DBPSQL解析模块对请求消息中的SQL语句进行解析，再调用DBP数据库访问模块，对后端数据库进行相应的操作；

所述DBP SQL解析模块，用于响应DBP线程管理模块调用，对请求消息中的SQL语句进行解析处理。

在上述系统中，所述DBP数据库访问模块使用后端数据库提供的接口对后端数据库进行操作。

在上述系统中，所述DBP通信管理模块中设置有多个定时器，当调用DBP会话管理模块建立会话时启动一个与所述会话对应的定时器；当该定时器超时，则关闭与之对应的会话。

在上述系统中，所述DBP通信管理模块在处理请求消息过程中出现错误，则向前端应用发送失败消息包。

在上述系统中，所述DBP装置进一步包括：DBP日志模块；所述DBP日志模块，用于响应DBP装置的其他模块的调用，生成相应的日志。

由上述可知，在本发明提供的一种基于海量数据存取需求的分布式数据库代理系统中，前端应用使用一个或者多个DBP装置对后端数据库进行访问操作能够解决集中处理海量数据和高并发访问时存在的瓶颈；实现数据的读写分离；通过简单配置可实现后端数据库服务的负载均衡，保证数据源高可用；并且对前端应用透明，支持分布式部署、并行计算、负载均衡策略管理以及对不同数据库的访问，而无须关注如何访问。

附图说明

图1是本发明实施例中的基于海量数据存取需求的分布式数据库代理系统的结构示意图；

图2是本发明又一实施例中的基于海量数据存取需求的分布式数据库代理系统的结构示意图；

图3是本发明中一种DBP装置的结构示意图；

图4是本发明中一种基于海量数据存取需求的分布式数据库代理系统的工作示意图。

具体实施方式

本发明公开了一种基于海量数据存取需求的分布式数据库代理系统，该系统能够解决海量数据存取、高并发访问所带来的技术瓶颈，实现读写分离，实现后端数据库的负载均衡。

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

图1是本发明实施例中的基于海量数据存取需求的分布式数据库代理系统的结构示意图，所述分布式数据库代理系统包括：前端应用、后端数据库以及一个或多个DBP装置；在图1所示的实施例中，所述分布式数据库代理系统包括多个前端应用，多个DBP装置，多个后端数据库；其中前端应用与DBP装置之间是多对多的对应关系，DBP装置与后端数据库之间是多对多的对应关系。

如图1所示，所述前端应用包括：JAVA应用101，C/C++应用102，GUI应用103，其他语言应用104；所述前端应用向DBP装置发送访问后端数据库的请求消息，其中，一个前端应用能使用多个DBP装置同时对不同的后端数据库进行访问操作，提高前端应用对海量数据进行数据存取的速度，解决海量数据高并发访问的技术瓶颈。

所述DBP装置接收前端应用发送的请求消息，根据所述请求消息对后端数据库进行相应的操作；并将后端数据库返回的操作结果发送给前端应用；如图1所示，本发明中的基于海量数据存取需求的分布式数据库代理系统中的DBP装置包括：第1DBP装置105，第2DBP装置106，第N DBP装置107，其中N为大于1的自然数，在具体实施过程中，可以根据具体的情况设置DBP装置的数目。

其中，各个DBP装置之间独立工作，互不影响；一个DBP装置可以分别对多个后端数据库同时进行操作，也可以是多个DBP装置同时对单个数据库进行操作。

在图1所示的实施例中，设置了N个DBP装置，单个前端应用可以对一个或者多个后端数据库同时进行访问操作。该实施例中设置了M个后端数据库，M为大于1的自然数；如图1中所示的第1数据库108,第2数据库109,第M数据库110,所述后端数据库用于存储前端应用所需的数据；响应DBP装置的操作，将操作结果返回给DBP装置；所述DBP装置接收到后端数据库返回的操作结果后，将所述操作结果发送给之前发送请求消息的前端应用。以图1为例，如图1中所述的JAVA应用101，可以使用第1DBP装置105，第2DBP装置106，第N DBP装置107，分别对第1数据库108,第2数据库109,第M数据库110进行访问操作。

图2是本发明又一实施例中的基于海量数据存取需求的分布式数据库代理系统的结构示意图；在如图2所述的实施例中，前端应用包括：JAVA应用201，C/C++应用202，GUI应用203，其他语言应用204；所述前端应用通过第1DBP装置205对主数据库A211进行写数据库操作，对主数据库B209进行写数据库操作；所述前端应用通过第2DBP装置206对第一备份数据库207、第二备份数据库208进行读数据库操作，对备份数据库B210进行读数据库操作。其中，第一备份数据库207、第二备份数据库208通过复制主数据库A211中的数据得到，这三个数据库中内容相同；主数据库B209、备份数据库B210相互复制，在图2所示的实施例中，所述多个DBP装置包括：只用于执行读取数据库操作的DBP装置和只用于执行写入数据库操作的DBP装置。即通过第1DBP装置205以及第2DBP装置206实现对后端数据库的写数据库操作和读数据库操作的分离，同时不会对前端应用、对后端数据库的操作结果造成影响。

图3是本发明中一种DBP装置的结构示意图；如图3所示，所述DBP装置包括：DBP通信管理模块301，DBP会话管理模块302，DBP线程管理模块303，DBP数据库访问模块304，DBP SQL解析模块305，DBP日志模块306；其中，

所述DBP通信管理模块301，在接收前端应用发送的访问后端数据库的请求消息后，所述请求消息为前端应用对后端数据库进行访问操作的相关信息。DBP通信管理模块301根据所述请求消息调用DBP会话管理模块302创建访问后端数据库的会话；其中，在所属DBP管理模块301中设置有处理消息组件，该处理消息组件根据前端应用发送的请求消息的消息ID，调用相应的消息处理函数对所述请求消息进行处理；或者根据接收到的其他模块发送请求消息的消息ID，调用相应的消息处理函数对所述消息进行处理。

所述DBP通信管理模块301，在调用DBP会话管理模块302建立一个用于访问后端数据库的会话后，再调用DBP线程管理模块303为所述会话建立一个相对应的线程，或者调用DBP线程管理模块303在线程池中选取一个空闲的线程为所建立的会话服务；并为该会话启动一个对应的定时器，其中，如果当前的会话未结束，但所对应的定时器超时，则所述DBP通信管理模块301，调用DBP会话管理模块302关闭当前会话，释放资源。

所述DBP通信管理模块301，接收DBP线程管理模块303发送的返回消息包，将所述返回消息包发送给前端应用。其中，DBP线程管理模块303中的线程将访问后端数据库得到的访问结果写入返回消息包中，将所述返回消息包发送给DBP通信管理模块301；DBP通信管理模块接收到所述返回消息包后，将该返回消息包发送给前端应用。

所述DBP通信管理模块301在处理请求消息的过程中出现错误，则向前端应用发送失败消息包，其中，在所述失败消息包中指示当前的访问后端数据库的请求消息出错。

所述DBP会话管理模块302，受DBP通信管理模块301的调用，为前端应用模块发送的请求消息建立访问后端数据库会话；受DBP通信管理模块301的调用，在会话对应的定时器超时时，关闭当前的会话。

所述DBP线程管理模块303，受DBP通信管理模块301的调用，为DBP会话管理模块302建立的访问后端数据库的会话建立相对应的线程；或者在线程池中选取一个空闲的线程，所述线程用于执行对后端数据库的操作，其中，所述具体的线程访问后端数据库的操作通过直接调用DBP数据库访问接口模块304完成的。其中，所述DBP线程管理模块303，从前端应用发送的请求消息中获取SQL语句，调用DBP SQL解析模块305对请求消息中的SQL语句进行解析操作；解析完成后，后端数据库根据解析得到的SQL命令进行读数据库操作或者是写数据库操作。如果是读数据库操作，将读取到的结果写入返回消息包，如果是写数据库操作，将写入完成的指示放入返回消息包；当访问后端数据库的操作完成后，所述DBP数据库访问模块304将访问得到的操作结果返回给DBP线程管理模块303，所述线程管理模块303将所述操作结果放入返回消息包，将该返回消息包发送给DBP通信管理模块301。

所述DBP数据库访问模块304，受DBP线程管理模块303的调用，建立DBP装置与后端数据库之间的连接，对后端数据库进行读数据库操作或者是写数据库操作；对后端数据库进行操作后，将操作后得到的相应数据返回给DBP线程管理模块。其中，所述DBP数据库访问模块304使用后端数据库提供的接口对后端数据库进行操作；其中，所述DBP数据库访问模块304中包含Oracle提供的OCI接口、以及通用的ODBC接口，因此，前端应用可以通过所述DBP装置对不同类型的后端数据库进行操作，而不用考虑具体的后端数据库类型。

所述DBP SQL解析模块305，受DBP线程管理模块303调用，对前端应用发送的请求消息中的SQL语句进行解析处理。

在本发明的一种实施例中，所述DBP SQL解析模块305包含2种解析方式，其中，如果DBP线程处理模块303中的处理线程从前端应用发送的请求消息中读取到SQL语句，则调用DBP解析模块使用直接解析的方式进行解析；如果DBP线程处理模块303中的处理线程从前端应用发送的请求消息中读取到模板号，则调用DBP SQL解析模块使用模块解析的方式进行解析。其中，在DBP装置中设置有DBP模板描述表，DBP模板描述表中每个模块有一个模板号，每个模板对应一段SQL语句。所述DBP SQL解析模块305从所述DBP模板描述表中读取与所述模板号对应的SQL语句。

所述DBP日志模块306，用于响应DBP装置的其他模块调用，生成相应的日志；如图3所示，除了DBP日志模块306之外的其他DBP模块在进行操作的过程中，会调用DBP日志模块306记录相应的操作过程，以便碰到问题进行日志跟踪。

图4是本发明中一种基于海量数据存取需求的分布式数据库代理系统的工作示意图，如图4所示，

首先，需要访问后端数据库的前端应用向DBP装置发送访问数据库请求消息；

其次，DBP装置为前端应用创建访问后端数据库用的会话；即DBP通信管理模块根据接收到的请求消息，调用DBP会话管理模块创建会话；并调用DBP线程管理模块在线程池中查找可用的线程来处理当前的请求消息；用于处理当前会话的线程将请求消息放入自己的消息队列中，等待处理。其中，当前的DBP装置在工作的过程中可能会接收到多个前端应用所发送的多个请求消息，故DBP会话管理模块将会创建多个会话，将创建完成后的会话分配给某一空闲的线程进行处理；如果没有空闲的线程，则可以通过配置参数增加线程的数量或者增加DBP装置的运行数量来解决。

再次，当线程工作时，就从当前线程的消息队列中取出请求消息；DBP通信管理管理模块根据不同的消息ID调用不同的消息处理函数进行处理操作；并由DBP线程管理模块调用DBP数据库访问模块完成对后端数据库的操作；

最后，由后端数据库执行SQL语句，将得到的后端数据库的执行结果写入返回消息包中，将所述返回消息包发送给前端应用。

在本发明的一种实施例中，本发明的技术方案对前端应用不做任何限制，可以是Java应用、c/c++应用、GUI应用、web应用等等。

由上述可知，本发明的技术方案通过在分布式部署的数据库代理系统中，根据实际情况安装多个DBP装置，所述DBP装置可以是只用于读数据操作或者只用于写数据操作或者同时支持读写数据操作，以此实现对数据库的读写分离操作，而且不会增加前端应用对后端数据库访问的压力。并且在使用本发明的过程中，根据安装多个DBP装置，缓解前端应用直接访问后端数据库的瓶颈，而且通过安装的多个DBP装置，实现一个前端应用对多个分布式部署的数据库系统的同时访问操作，提高了访问数据的速度，通过对DBP装置的简单设置可实现后端数据库服务的负载均衡，保证数据源高可用。

综上所述，本发明提供的一种分布式数据库代理系统能够解决应用集中处理海量数据和高并发访问存在的瓶颈问题；解决数据的读写分离；通过简单配置可实现后端数据库服务的负载均衡，保证数据源高可用；对前端应用透明，支持分布式部署、并行计算、负载均衡策略管理以及对不同类型数据库的访问，而无须关注如何访问。

在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种基于海量数据存取需求的分布式数据库代理系统，其特征在于，该系统包括：前端应用、后端数据库和一个或多个数据库代理DBP装置；其中：

前端应用，用于向DBP装置发送访问后端数据库的请求消息；

后端数据库，用于存储前端应用所需的数据，响应DBP装置的操作，将操作结果返回给DBP装置；

所述DBP装置包括：DBP会话管理模块，DBP通信管理模块，DBP线程管理模块，DBP数据库访问模块，DBP SQL解析模块，所述DBP装置中设置有DBP模板描述表，其中所述DBP模板描述表中每个模块有一个模板号，每个模板号对应一段SQL语句；

2.根据权利要求1所述的系统，其特征在于，所述多个DBP装置包括：只用于执行读取数据库操作的DBP装置、只用于执行写入数据库操作的DBP装置以及同时支持读写数据库操作的DBP装置。

3.根据权利要求1所述的系统，其特征在于，所述DBP通信管理模块中设置有处理消息组件，所述处理消息组件用于根据前端应用发送的请求消息的消息ID，调用相应的消息处理函数对所述请求消息进行处理。

4.根据权利要求1所述的系统，其特征在于，

5.根据权利要求4所述的系统，其特征在于，所述DBP数据库访问模块使用后端数据库提供的接口对后端数据库进行操作。

6.根据权利要求1所述的系统，其特征在于，所述DBP通信管理模块中设置有多个定时器，当调用DBP会话管理模块建立会话时启动一个与所述会话对应的定时器；当该定时器超时，则关闭与之对应的会话。

7.根据权利要求1所述的系统，其特征在于，所述DBP通信管理模块在处理请求消息过程中出现错误，则向前端应用发送失败消息包。

8.根据权利要求1所述的系统，其特征在于，所述DBP装置进一步包括：DBP日志模块；

所述DBP日志模块，用于响应DBP装置的其他模块的调用，生成相应的日志。