CN103338252B - 一种分布式数据库并发存储虚拟请求机制的实现方法 - Google Patents
一种分布式数据库并发存储虚拟请求机制的实现方法 Download PDFInfo
- Publication number
- CN103338252B CN103338252B CN201310265116.3A CN201310265116A CN103338252B CN 103338252 B CN103338252 B CN 103338252B CN 201310265116 A CN201310265116 A CN 201310265116A CN 103338252 B CN103338252 B CN 103338252B
- Authority
- CN
- China
- Prior art keywords
- database
- storage
- distributed
- access control
- control server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003860 storage Methods 0.000 title claims abstract description 48
- 230000007246 mechanism Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims description 9
- 238000013500 data storage Methods 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims description 19
- 238000002474 experimental method Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 9
- 238000011282 treatment Methods 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 claims 1
- 238000007726 management method Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
分布式数据库并发存储虚拟请求机制的系统组成有：发送存储请求客户机、web应用服务器、访问控制服务器、以及分布式数据库集群组成,在该系统的基础上提出了分布式数据库存储管理机制方案，该机制特别考虑并发用户数所要求的流量请求来合理进行用户数据流的分布式存储，即在云数据库的架构下，使得用户数据流根据当下网络负载、当下数据库并发连接负载被分发到最为合理的数据库集群存储，该机制实现利用访问控制服务器对分布式数据库集群的管理，以及数据库集群反馈的ACK信息包通过相应灵活算法计算出存储的最优策略，完成数据的最终存储。
Description
技术领域
本发明涉及网络技术领域，具体涉及面向大数据分发的分布式数据库存储管理和安全机制，合理分配网络资源，提高网络吞吐量，降低网络拥塞领域。
背景技术
在当今海量信息化的互联网时代，数据库从简单的存储各种数据表单到海量数据存储在各行各业得到了广泛的应用。数据库存储往往也是网站访问的瓶颈，尤其传统数据库存储方式过于简单化，过于集中管理而造成大量数据堆积，并且由于集中造成访问压力很大，不仅体现在数据库连接池支持的连接上，还体现在突发的大流量上,巨大的I/O业务请求访问量上，一旦出现这种现象，可能会导致数据库服务器回应下降乃至崩溃，随即大量数据会随着服务器崩溃而丢失，有些时候这种损失将是不可估量，并且将直接导致应用服务水平的下降，甚至应用出错，影响业务运作。传统面向大流量并发访问时候，数据库根本无法适应其规模，并且数据库将面临CPU和I/O的急剧开销，甚至停止响应，更甚至崩溃。这些案例虽可以通过负载均衡系统、缓存系统、分布式存储系统等得以改进。但是，负载均衡系统仅针对庞大的数据库群，而且硬件负载均衡系统十分的昂贵。缓存系统主要针对的是一些用户频繁访问数据资源读操作而提出的方案。
在分布式数据库技术被推向了现代存储技术的舞台后，它的灵活性和透明性体现出了这种分布式存储的强项,从而现在分布式数据库存储技术是现代企业使用的比较广泛存储技术。分布式数据库存储方式物理上是分布的，逻辑上是集中的。物理上分布主要是指数据存储在不同的数据库上，逻辑上集中主要是指数据库管理、维护方便快捷，并且让操作终端感觉不到数据库的分散。
分布式数据库技术随着在当今大流量，大访问量时代运因而生。但是分布式数据库一直没有一套完善的管理系统。如果没有良好的管理机制，就不能合理分配流量，也将导致在大流量请求、存储时出现数据库服务器回应降乃至崩溃现象出现，因此分布式数据库需要一套成熟的管理系统，基于原来服务器管理已经不能满足目前的需求，新的需求必须集中式的、分组的、自动化对数据库服务器经行管理。
发明内容
发明目的：解决在大流量请求、存储的时候，出现数据库服务器回应下降乃至崩溃现象出现等问题，提高网络吞吐量，降低网络以及数据库拥塞几率。
发明技术方案：本机制所建立在分布式数据库并发存储虚拟请求机制系统结构组成:该系统由发送存储请求客户机、web应用服务器、访问控制服务器、以及分布式数据库集群组成。
本机制实用特征如下：web服务器接收多台客户机并发存储请求；web服务器将请求递交给专门提供访问控制的服务器；访问控制服务器向与之相连的分布式数据库集群广播虚拟存储信息包；访问控制服务器在指定时间内接收到各数据库反馈ACK响应信息包，根据ACK信息包做算法解析，计算当下各链路网络负载以及对应数据库并发访问负载（包括访问用户数、I/O负载），给出数据库访问的最优策略，并将策略反馈给web服务器；web服务器获得该策略，行进数据存储到指定最优数据库，完成存储。于此同时，访问控制服务器将记录当前相应的存储索引，方便日后数据提取。
web服务器只做web应用相关处理，不做存储处理，其储存工作将会被过滤给访问控制服务器以及分布式数据库集群来完成；
访问控制服务器处理web服务器存储请求，并计算针对不同用户群的存储请求的优先级。
访问控制服务器发送虚拟存储包，该虚拟包将在各分布式数据库服务器处得到解析，并反馈ACK，其ACK响应信息包包含当前该数据库并发连接数/并发连接数上限、该数据库I/O整体负荷，以及网络通信质量。
访问控制服务器解析ACK响应信息包，遵循数据库存储负载优先（包括用户访问负载以及数据库整体I/O负载）>通信质量优先>传输时延优先的先后顺序来完成算法策略。
数据库存储优先前提在于数据库连接池并没有达到饱和，并且当前该数据库I/O负荷适中，寻找数据库访问负载相对小的数据库经行访问，如果已达到饱和或者I/O负荷较大，该机制算法将该数据库从本次存储候选表中忽略。
通信质量优先其目的保证通信链路负载均衡，防止网络拥挤。该机制算法将从数据库候选表中优先选择通信链路质量好的链路通信。
机制算法列出可访问数据库按照当前负载加权，以及列出分别通信链路质量加权。分别给两者加权求和排序得出最优的选择。
web服务器根据访问控制服务器得出的最优存储策略消息作出存储调整，存储到指定的数据库处，存储完毕反馈STORE_ACK信息包给访问控制服务器，访问控制服务器将会记录此次存储的索引，目的数据库编号，方便日后提取用户数据之用。
有益效果：
1、考虑数据库并发访问负载，以及该数据库当前最大I/O吞吐量，防止数据库处拥塞，造成客户端的等待；
2、考虑网络当前通信质量，有算法的支持，可以给出最优的存储路径以及最优的存储数据库，提高网络Qos，以及网络吞吐量和可靠性，减少对单一链路上的流量拥堵几率；
3、web服务器和访问控制服务器，对于分工细化提高网络访问性能大大提升，并且采用分布式数据库集群能够大大降低传统集中式数据库集群造成的性能上的瓶颈。
4、本机制的提出能够灵活地调度网络资源。因为每个时刻各数据库访问情况都在变化，只需要找到该时刻最优存储策略即可，最大程度上合理利用网络资源，并通知web服务器将数据存储到指定数据库上。
5、本机制的系统建立在分布式存储系统基础之上。该机制可以认为是虚拟存储体系方案的分支，并且该机制在存储的时候以最少的开销获得最大的网络性能提升，对大并发下合理分流起到了关键的作用。
附图说明
图1为分布式数据库并发存储虚拟请求机制系统图。
图2为分布式数据库并发存储虚拟请求机制流程图。
具体实施方式
下面将结合附图对本分布式数据库并发存储虚拟请求存储机制作进一步的详细说明。
如图1所示，多用户并发访问该系统的时候，web服务器只响应相应的web应用。将数据存储业务分离出来，起到降低服务器的负载，实际上也是一种负载均衡。当涉及到数据存储，访问控制服务器将参与协同工作。
如图2所示，当多用户并发访问该系统并请求存储数据的时候，按图上标号，该机制实现具体步骤如下：
1、多台客户机并发发送http请求，其中有包含数据存储的请求。
2、web应用服务器接收多客户端http请求，过滤出需要数据存储的用户单元。并将需要请求的存储量信息提交给访问控制服务器；
3、访问控制服务器发送虚拟存储请求包给与之相连的分布式数据库集群。
4、分布式数据库集群需要在指定时间内做出响应，即反馈ACK信息包给访问控制服务器。如果某数据库服务器超时响应，则认为该数据库集群并发连接数已达上限或者与之相连的通信链路拥堵。因此，该数据库将不纳入当前存储目标之中。
5、访问控制服务器解析ACK响应信息包。通过ACK信息包计算分布的各节点数据库当前连接池已达到的并发访问数/并发访问数上限，数据库当前访问I/O负荷；通过ACK信息包计算到各个节点数据库之间的网络负载，包括通信链路状况。
6、访问控制服务器内建一套算法，将遵循数据库存储负载优先（包括用户访问负载以及数据库整体I/O负载）>通信质量优先>传输时延优先的先后顺序来完成算法策略。并且给数据库存储负载加权、通信链路质量加权，前者加权比重稍大。算法将生成数据库存储负载加权与通信链路质量加权之和的排序。排序结果将是分布式数据库存储负载载荷低以及通信链路质量优为优先结果。从该排序中选择靠前部分数据库生成最终存储策略。存储策略信息将提交给web服务器，web服务器将按照策略信息分配不同并发用户存储到指定的数据库上，大大降低网络拥堵几率以及提高网络吞吐量。该算法的优点在于：灵活，因为每个时刻各数据库访问情况都在变化，只需要找到该时刻最优存储策略即可，最大程度上利用网络资源。
7、web服务器完成指定路径数据库信息的存储。
8、存储完毕将反馈信息STORE_ACK信息包数据最终反馈给访问控制服务器，访问控制服务器记录不同用户不同存储索引，该信息主要方便日后提取数据之用。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书其等效物界定。
Claims (2)
1.分布式数据库并发存储虚拟请求机制的实现方法，其特征在于，机制包括客户机、web应用服务器、访问控制服务器、分布式数据库集群：
所述机制的实现方法包括如下步骤：
步骤1：多台客户机并发发送http请求，其中有包含数据存储的请求；
步骤2：web应用服务器接收多台客户机http请求，过滤出需要数据存储的用户单元，并将需要请求的存储量信息提交给访问控制服务器；
步骤3：访问控制服务器发送虚拟存储请求包给与之相连的分布式数据库集群；
步骤4：分布式数据库集群需要在指定时间内做出响应，即反馈ACK信息包给访问控制服务器，如果某数据库超时响应，则认为该数据库并发连接数已达上限或者与之相连的通信链路拥堵，该数据库将不纳入当前存储目标之中；
步骤5：访问控制服务器解析ACK信息包，通过ACK信息包计算分布的各数据库当前连接池已达到的并发访问数和数据库当前访问I/O负载；通过ACK信息包计算到各个数据库之间的网络负载，包括通信链路质量；
步骤6：访问控制服务器内建一套算法，将遵循数据库存储负载优先>通信链路质量优先的先后顺序来完成算法策略，其中，数据库存储负载包括用户访问负载以及数据库整体I/O负载，并且给数据库存储负载加权、通信链路质量加权，算法将生成数据库存储负载加权与通信链路质量加权之和的排序，排序结果是分布式数据库存储负载载荷低以及通信链路质量优为优先结果，从该排序中选择靠前数据库生成最终存储策略，存储策略信息将提交给web应用服务器，web应用服务器将按照策略信息分配不同并发用户存储到指定的数据库上；
步骤7：web应用服务器完成指定路径数据库信息的存储；
步骤8：存储完毕将反馈信息STORE_ACK信息包最终反馈给访问控制服务器，访问控制服务器记录不同用户不同存储索引，方便日后提取数据之用。
2.根据权利要求1所述的分布式数据库并发存储虚拟请求机制的实现方法，其特征在于，web服务器只做web应用相关处理，不做存储处理，其储存工作将会被过滤给访问控制服务器以及分布式数据库集群来完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310265116.3A CN103338252B (zh) | 2013-06-27 | 2013-06-27 | 一种分布式数据库并发存储虚拟请求机制的实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310265116.3A CN103338252B (zh) | 2013-06-27 | 2013-06-27 | 一种分布式数据库并发存储虚拟请求机制的实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103338252A CN103338252A (zh) | 2013-10-02 |
| CN103338252B true CN103338252B (zh) | 2017-05-24 |
Family
ID=49246346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310265116.3A Expired - Fee Related CN103338252B (zh) | 2013-06-27 | 2013-06-27 | 一种分布式数据库并发存储虚拟请求机制的实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103338252B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103995674B (zh) * | 2014-04-17 | 2017-08-25 | 华为技术有限公司 | 访问请求处理方法、装置和设备 |
| CN104539660B (zh) * | 2014-12-09 | 2018-09-11 | 珠海金山网络游戏科技有限公司 | 一种系统扩容时零数据迁移的数据分布存储方法及系统 |
| CN105553872A (zh) * | 2015-12-25 | 2016-05-04 | 浪潮(北京)电子信息产业有限公司 | 一种多路径数据流量负载均衡方法 |
| CN106550492B (zh) * | 2016-10-27 | 2019-07-30 | 广东欧珀移动通信有限公司 | 一种移动终端之间数据转移的方法及移动终端 |
| EP3550421B1 (en) | 2016-12-29 | 2021-06-30 | Huawei Technologies Co., Ltd. | Storage controller and io request processing method |
| CN109799956B (zh) * | 2017-01-05 | 2023-11-17 | 华为技术有限公司 | 一种存储控制器及io请求处理方法 |
| CN108647094A (zh) * | 2018-05-04 | 2018-10-12 | 上饶市普适科技有限公司 | 利用神经网络算法解决智能高并行、并发海量运算的方法 |
| CN109241154A (zh) * | 2018-07-05 | 2019-01-18 | 武汉迎风聚智科技有限公司 | 一种分布式数据库监控分析方法及系统 |
| US10637768B1 (en) * | 2018-11-02 | 2020-04-28 | Juniper Networks, Inc. | Enabling non-flexible-algorithm routers to participate in flexible-algorithm routing protocols |
| CN110740293A (zh) * | 2019-09-06 | 2020-01-31 | 武汉烽火众智数字技术有限责任公司 | 一种数据传输方法、系统、装置及计算机存储介质 |
| CN112187641B (zh) * | 2020-06-24 | 2022-03-11 | 华为技术有限公司 | 一种路由信息发送方法、报文发送方法及相关装置 |
| CN114217734B (zh) * | 2021-04-30 | 2023-10-27 | 无锡江南计算技术研究所 | 一种分布式存储系统数据管理方法 |
| CN114363357B (zh) * | 2021-12-28 | 2024-01-19 | 上海沄熹科技有限公司 | 一种基于Gossip的分布式数据库网络连接管理方法 |
| CN114640516B (zh) * | 2022-03-09 | 2023-10-20 | 平安科技（深圳）有限公司 | 存储集群的访问控制方法和装置、电子设备、存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102143215A (zh) * | 2011-01-20 | 2011-08-03 | 中国人民解放军理工大学 | 一种基于网络的pb级云存储系统及其处理方法 |
| CN102932440A (zh) * | 2012-10-26 | 2013-02-13 | 北京奇虎科技有限公司 | 用于分布式数据存储系统的数据管理方法、设备和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070288466A1 (en) * | 2006-05-02 | 2007-12-13 | Mypoints.Com Inc. | System and method for evenly distributing data across a distributed member architecture utilizing a home silo |
-
2013
- 2013-06-27 CN CN201310265116.3A patent/CN103338252B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102143215A (zh) * | 2011-01-20 | 2011-08-03 | 中国人民解放军理工大学 | 一种基于网络的pb级云存储系统及其处理方法 |
| CN102932440A (zh) * | 2012-10-26 | 2013-02-13 | 北京奇虎科技有限公司 | 用于分布式数据存储系统的数据管理方法、设备和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103338252A (zh) | 2013-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103338252B (zh) | 一种分布式数据库并发存储虚拟请求机制的实现方法 | |
| US10491523B2 (en) | Load distribution in data networks | |
| CN107590001B (zh) | 负载均衡方法及装置、存储介质、电子设备 | |
| CN103827828B (zh) | 用于在流量指挥站环境中提供负载平衡与数据压缩的灵活性的系统及方法 | |
| WO2019179250A1 (zh) | 调度方法、调度器、存储介质及系统 | |
| CN106657379A (zh) | 一种nginx服务器负载均衡的实现方法及系统 | |
| US8938495B2 (en) | Remote management system with adaptive session management mechanism | |
| CN104092756B (zh) | 一种基于dht机制的云存储系统的资源动态分配方法 | |
| CN108494868A (zh) | 一种基于云业务系统下的负载均衡方法及系统 | |
| CN108170530B (zh) | 一种基于混合元启发式算法的Hadoop负载均衡任务调度方法 | |
| CN105933408B (zh) | 一种Redis通用中间件的实现方法及装置 | |
| CN102394929A (zh) | 一种面向会话的云计算负载均衡系统及其方法 | |
| CN103607424B (zh) | 一种服务器连接方法及服务器系统 | |
| CN103747274B (zh) | 一种增设缓存集群的视频数据中心及其缓存资源调度方法 | |
| CN110430274A (zh) | 一种基于云存储的文件下载方法及系统 | |
| US20100037225A1 (en) | Workload routing based on greenness conditions | |
| JP2016514311A (ja) | 単一テナント及び複数テナント環境を提供するデータベースシステム | |
| JP2013525931A (ja) | コンテンツ配信に利用される動的バインド | |
| CN102170396A (zh) | 一种基于区分服务的云存储系统QoS控制方法 | |
| CN105979273A (zh) | 基于大数据及云计算的智能商用电视的云监控与云运维 | |
| CN102045396A (zh) | 服务器文件的负载均衡方法 | |
| CN104052677B (zh) | 单一数据源的软负载均衡方法和装置 | |
| CN109726004A (zh) | 一种数据处理方法及装置 | |
| CN102331948A (zh) | 一种基于资源状态的虚拟机结构调整方法和调整系统 | |
| CN102932271A (zh) | 负载均衡的实现方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170524 |