CN103338252B - 一种分布式数据库并发存储虚拟请求机制的实现方法 - Google Patents

Abstract

分布式数据库并发存储虚拟请求机制的系统组成有：发送存储请求客户机、web应用服务器、访问控制服务器、以及分布式数据库集群组成,在该系统的基础上提出了分布式数据库存储管理机制方案，该机制特别考虑并发用户数所要求的流量请求来合理进行用户数据流的分布式存储，即在云数据库的架构下，使得用户数据流根据当下网络负载、当下数据库并发连接负载被分发到最为合理的数据库集群存储，该机制实现利用访问控制服务器对分布式数据库集群的管理，以及数据库集群反馈的ACK信息包通过相应灵活算法计算出存储的最优策略，完成数据的最终存储。

Description

一种分布式数据库并发存储虚拟请求机制的实现方法

技术领域

本发明涉及网络技术领域，具体涉及面向大数据分发的分布式数据库存储管理和安全机制，合理分配网络资源，提高网络吞吐量，降低网络拥塞领域。

背景技术

在当今海量信息化的互联网时代，数据库从简单的存储各种数据表单到海量数据存储在各行各业得到了广泛的应用。数据库存储往往也是网站访问的瓶颈，尤其传统数据库存储方式过于简单化，过于集中管理而造成大量数据堆积，并且由于集中造成访问压力很大，不仅体现在数据库连接池支持的连接上，还体现在突发的大流量上,巨大的I/O业务请求访问量上，一旦出现这种现象，可能会导致数据库服务器回应下降乃至崩溃，随即大量数据会随着服务器崩溃而丢失，有些时候这种损失将是不可估量，并且将直接导致应用服务水平的下降，甚至应用出错，影响业务运作。传统面向大流量并发访问时候，数据库根本无法适应其规模，并且数据库将面临CPU和I/O的急剧开销，甚至停止响应，更甚至崩溃。这些案例虽可以通过负载均衡系统、缓存系统、分布式存储系统等得以改进。但是，负载均衡系统仅针对庞大的数据库群，而且硬件负载均衡系统十分的昂贵。缓存系统主要针对的是一些用户频繁访问数据资源读操作而提出的方案。

在分布式数据库技术被推向了现代存储技术的舞台后，它的灵活性和透明性体现出了这种分布式存储的强项,从而现在分布式数据库存储技术是现代企业使用的比较广泛存储技术。分布式数据库存储方式物理上是分布的，逻辑上是集中的。物理上分布主要是指数据存储在不同的数据库上，逻辑上集中主要是指数据库管理、维护方便快捷，并且让操作终端感觉不到数据库的分散。

分布式数据库技术随着在当今大流量，大访问量时代运因而生。但是分布式数据库一直没有一套完善的管理系统。如果没有良好的管理机制，就不能合理分配流量，也将导致在大流量请求、存储时出现数据库服务器回应降乃至崩溃现象出现，因此分布式数据库需要一套成熟的管理系统，基于原来服务器管理已经不能满足目前的需求，新的需求必须集中式的、分组的、自动化对数据库服务器经行管理。

发明内容

发明目的：解决在大流量请求、存储的时候，出现数据库服务器回应下降乃至崩溃现象出现等问题，提高网络吞吐量，降低网络以及数据库拥塞几率。

发明技术方案：本机制所建立在分布式数据库并发存储虚拟请求机制系统结构组成:该系统由发送存储请求客户机、web应用服务器、访问控制服务器、以及分布式数据库集群组成。

本机制实用特征如下：web服务器接收多台客户机并发存储请求；web服务器将请求递交给专门提供访问控制的服务器；访问控制服务器向与之相连的分布式数据库集群广播虚拟存储信息包；访问控制服务器在指定时间内接收到各数据库反馈ACK响应信息包，根据ACK信息包做算法解析，计算当下各链路网络负载以及对应数据库并发访问负载（包括访问用户数、I/O负载），给出数据库访问的最优策略，并将策略反馈给web服务器；web服务器获得该策略，行进数据存储到指定最优数据库，完成存储。于此同时，访问控制服务器将记录当前相应的存储索引，方便日后数据提取。

web服务器只做web应用相关处理，不做存储处理，其储存工作将会被过滤给访问控制服务器以及分布式数据库集群来完成；

访问控制服务器处理web服务器存储请求，并计算针对不同用户群的存储请求的优先级。

访问控制服务器发送虚拟存储包，该虚拟包将在各分布式数据库服务器处得到解析，并反馈ACK，其ACK响应信息包包含当前该数据库并发连接数/并发连接数上限、该数据库I/O整体负荷，以及网络通信质量。

访问控制服务器解析ACK响应信息包，遵循数据库存储负载优先（包括用户访问负载以及数据库整体I/O负载）>通信质量优先>传输时延优先的先后顺序来完成算法策略。

数据库存储优先前提在于数据库连接池并没有达到饱和，并且当前该数据库I/O负荷适中，寻找数据库访问负载相对小的数据库经行访问，如果已达到饱和或者I/O负荷较大，该机制算法将该数据库从本次存储候选表中忽略。

通信质量优先其目的保证通信链路负载均衡，防止网络拥挤。该机制算法将从数据库候选表中优先选择通信链路质量好的链路通信。

机制算法列出可访问数据库按照当前负载加权，以及列出分别通信链路质量加权。分别给两者加权求和排序得出最优的选择。

web服务器根据访问控制服务器得出的最优存储策略消息作出存储调整，存储到指定的数据库处，存储完毕反馈STORE_ACK信息包给访问控制服务器，访问控制服务器将会记录此次存储的索引，目的数据库编号，方便日后提取用户数据之用。

有益效果：

1、考虑数据库并发访问负载，以及该数据库当前最大I/O吞吐量，防止数据库处拥塞，造成客户端的等待；

2、考虑网络当前通信质量，有算法的支持，可以给出最优的存储路径以及最优的存储数据库，提高网络Qos，以及网络吞吐量和可靠性，减少对单一链路上的流量拥堵几率；

3、web服务器和访问控制服务器，对于分工细化提高网络访问性能大大提升，并且采用分布式数据库集群能够大大降低传统集中式数据库集群造成的性能上的瓶颈。

4、本机制的提出能够灵活地调度网络资源。因为每个时刻各数据库访问情况都在变化，只需要找到该时刻最优存储策略即可，最大程度上合理利用网络资源，并通知web服务器将数据存储到指定数据库上。

5、本机制的系统建立在分布式存储系统基础之上。该机制可以认为是虚拟存储体系方案的分支，并且该机制在存储的时候以最少的开销获得最大的网络性能提升，对大并发下合理分流起到了关键的作用。

附图说明

图1为分布式数据库并发存储虚拟请求机制系统图。

图2为分布式数据库并发存储虚拟请求机制流程图。

具体实施方式

下面将结合附图对本分布式数据库并发存储虚拟请求存储机制作进一步的详细说明。

如图1所示，多用户并发访问该系统的时候，web服务器只响应相应的web应用。将数据存储业务分离出来，起到降低服务器的负载，实际上也是一种负载均衡。当涉及到数据存储，访问控制服务器将参与协同工作。

如图2所示，当多用户并发访问该系统并请求存储数据的时候，按图上标号，该机制实现具体步骤如下：

1、多台客户机并发发送http请求，其中有包含数据存储的请求。

2、web应用服务器接收多客户端http请求，过滤出需要数据存储的用户单元。并将需要请求的存储量信息提交给访问控制服务器；

3、访问控制服务器发送虚拟存储请求包给与之相连的分布式数据库集群。

4、分布式数据库集群需要在指定时间内做出响应，即反馈ACK信息包给访问控制服务器。如果某数据库服务器超时响应，则认为该数据库集群并发连接数已达上限或者与之相连的通信链路拥堵。因此，该数据库将不纳入当前存储目标之中。

5、访问控制服务器解析ACK响应信息包。通过ACK信息包计算分布的各节点数据库当前连接池已达到的并发访问数/并发访问数上限，数据库当前访问I/O负荷；通过ACK信息包计算到各个节点数据库之间的网络负载，包括通信链路状况。

6、访问控制服务器内建一套算法，将遵循数据库存储负载优先（包括用户访问负载以及数据库整体I/O负载）>通信质量优先>传输时延优先的先后顺序来完成算法策略。并且给数据库存储负载加权、通信链路质量加权，前者加权比重稍大。算法将生成数据库存储负载加权与通信链路质量加权之和的排序。排序结果将是分布式数据库存储负载载荷低以及通信链路质量优为优先结果。从该排序中选择靠前部分数据库生成最终存储策略。存储策略信息将提交给web服务器，web服务器将按照策略信息分配不同并发用户存储到指定的数据库上，大大降低网络拥堵几率以及提高网络吞吐量。该算法的优点在于：灵活，因为每个时刻各数据库访问情况都在变化，只需要找到该时刻最优存储策略即可，最大程度上利用网络资源。

7、web服务器完成指定路径数据库信息的存储。

8、存储完毕将反馈信息STORE_ACK信息包数据最终反馈给访问控制服务器，访问控制服务器记录不同用户不同存储索引，该信息主要方便日后提取数据之用。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书其等效物界定。

Claims (2)

1.分布式数据库并发存储虚拟请求机制的实现方法，其特征在于，机制包括客户机、web应用服务器、访问控制服务器、分布式数据库集群：

所述机制的实现方法包括如下步骤：

步骤1：多台客户机并发发送http请求，其中有包含数据存储的请求；

步骤2：web应用服务器接收多台客户机http请求，过滤出需要数据存储的用户单元，并将需要请求的存储量信息提交给访问控制服务器；

步骤3：访问控制服务器发送虚拟存储请求包给与之相连的分布式数据库集群；

步骤4：分布式数据库集群需要在指定时间内做出响应，即反馈ACK信息包给访问控制服务器，如果某数据库超时响应，则认为该数据库并发连接数已达上限或者与之相连的通信链路拥堵，该数据库将不纳入当前存储目标之中；

步骤5：访问控制服务器解析ACK信息包，通过ACK信息包计算分布的各数据库当前连接池已达到的并发访问数和数据库当前访问I/O负载；通过ACK信息包计算到各个数据库之间的网络负载，包括通信链路质量；

步骤6：访问控制服务器内建一套算法，将遵循数据库存储负载优先>通信链路质量优先的先后顺序来完成算法策略，其中，数据库存储负载包括用户访问负载以及数据库整体I/O负载，并且给数据库存储负载加权、通信链路质量加权，算法将生成数据库存储负载加权与通信链路质量加权之和的排序，排序结果是分布式数据库存储负载载荷低以及通信链路质量优为优先结果，从该排序中选择靠前数据库生成最终存储策略，存储策略信息将提交给web应用服务器，web应用服务器将按照策略信息分配不同并发用户存储到指定的数据库上；

步骤7：web应用服务器完成指定路径数据库信息的存储；

步骤8：存储完毕将反馈信息STORE_ACK信息包最终反馈给访问控制服务器，访问控制服务器记录不同用户不同存储索引，方便日后提取数据之用。

2.根据权利要求1所述的分布式数据库并发存储虚拟请求机制的实现方法，其特征在于，web服务器只做web应用相关处理，不做存储处理，其储存工作将会被过滤给访问控制服务器以及分布式数据库集群来完成。