CN106096038A - 一种云计算架构下的分布式数据库架构 - Google Patents

一种云计算架构下的分布式数据库架构 Download PDF

Info

Publication number
CN106096038A
CN106096038A CN201610483454.8A CN201610483454A CN106096038A CN 106096038 A CN106096038 A CN 106096038A CN 201610483454 A CN201610483454 A CN 201610483454A CN 106096038 A CN106096038 A CN 106096038A
Authority
CN
China
Prior art keywords
node
cloud computing
group
distributed database
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610483454.8A
Other languages
English (en)
Inventor
王德强
张连超
吴瑞海
张强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Co Ltd
Original Assignee
Inspur Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Co Ltd filed Critical Inspur Software Co Ltd
Priority to CN201610483454.8A priority Critical patent/CN106096038A/zh
Publication of CN106096038A publication Critical patent/CN106096038A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种云计算架构下的分布式数据库架构,涉及云计算技术，将分布式数据库架构分为代理层和数据存储层；其中，代理层和数据存储层的均采用HA架构；将数据的分片路由交给代理层，代理层采用集群化部署，负责应用级的数据拆分，代理层由zookeeper进行维；数据存储层引入Group，采用主/从的架构；每个Group由zookeeper进行维护，代理节点与Group节点能够根据实际业务访问量情况平滑实现节点的扩容或缩容。本发明可有效满足云计算环境下高并发、大吞吐量应用场景，具有高可靠、高性能等特点，有效提高了应用开发效率，有效降低了研发和运维成本。

Description

一种云计算架构下的分布式数据库架构
技术领域
本发明涉及云计算技术，具体的说是一种云计算架构下的分布式数据库架构。
背景技术
随着云计算和大数据相关技术的发展，应用系统集约化建设已经成为一种趋势，将大大有利于企业业务系统业务能力集成、数据信息的集中和共享，并降低企业内部的信息化建设成本。在原有孤立的分区域建设的业务系统进行集中化建设后，原有的业务系统所承担的业务用户访问量和数据存储量会出现大幅度的增长，而传统的数据库架构已经无法满足数据库的横向扩展能力，以及对海量数据的高性能、高稳定性的需求。
为了解决业务系统集中化建设中在数据库层访问瓶颈，需要研究一种支持海量数据存储的分布式数据库架构体系。针对关系型数据库在海量数据量下高性能的存取，业界已经有一些较成熟的解决方案，常见的方案有：垂直切分、水平切分、读写分离等。垂直切分主要是将多个表切分到不同的物理库中，降低单数据库节点的负载压力。水平切分主要是将大表按行切分到多个物理库中。读写分离主要是建设读库和写库，读写请求分别发送至不同的物理库中，同时要保证读库和写库的数据一致性。
以上常用方案是将分片工作放在业务程序端，程序代码根据预先设置的路由规则，直接对多个数据库实例进行分布式访问。这样的好处是，不依赖于第三方分布式中间件，实现方法和代码都自己掌控，可随时调整，但缺点是升级麻烦，对研发人员的个人依赖性强，可运维性较差。出现故障，定位和解决都得研发和运维配合着解决，故障时间变长。
发明内容
本发明针对目前技术发展的需求和不足之处，提供一种云计算架构下的分布式数据库架构。
本发明所述一种云计算架构下的分布式数据库架构，解决上述技术问题采用的技术方案如下：所述一种云计算架构下的分布式数据库架构，将分布式数据库架构分为代理层和数据存储层；其中，所述代理层和数据存储层的均采用HA架构；将数据的分片路由交给所述代理层，代理层采用集群化部署，负责应用级的数据拆分，代理层由zookeeper进行维；代理节点能够根据实际业务访问量情况平滑实现扩容或缩容；所述数据存储层引入Group，每个Group是一个集群，采用主/从的架构；每个Group由zookeeper进行维护，Group节点能够根据实际业务访问量情况平滑实现节点的扩容或缩容。
优选的，通过zookeeper集群监控到各个代理节点的运行状态，当一个代理节点宕机以后，zookeeper通过检测代理节点的运行状态，及时选举出合理的代理节点给后台调用程序。
优选的，一个代理节点能够关联一个底层Group节点，或者多个代理节点关联同一个Group节点。
优选的，每个代理节点均提供水平拆分、垂直拆分、混合拆分数据拆分功能，能够根据不同的业务数据特点灵活配置数据拆分策略。
优选的，代理节点能够将一个分组内存数据库的数据迁移到另一个内存数据库里面。
优选的，代理节点自带监控功能，能够监控底层各Group节点的运行情况，及存储情况；通过管理页面，进行添加删除内存数据库分组。
优选的，每个Group只有1个Master节点和至少1个Slave节点，所述Master节点与Slave节点采用主从备份机制。
优选的，每个Group由zookeeper进行维护，可有效保证数据存储节点的高可用，当Master节点挂掉时，会自动切换Slave节点为Master节点。
本发明所述一种云计算架构下的分布式数据库架构与现有技术相比具有的有益效果是：本发明可有效满足云计算环境下高并发、大吞吐量应用场景，并具有高可靠、高性能等特点，有效提高了应用开发效率；有效解决了传统分布式数据库架构下无法应对高并发、大吞吐量的应用场景，以及开发耦合性高，可靠性差，不易维护，无法随业务实际访问量平滑实现扩容/缩容等问题，有效降低了研发和运维成本；
该发明即可用于云计算架构下关系型数据库的设计，也可用于内存数据库的设计，将对后续企业在面对海量数据存储时数据库架构层设计和选型有较强的指导意义。
说明书附图
附图1为所述云计算架构下的分布式数据库架构的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明所述一种云计算架构下的分布式数据库架构进一步详细说明。
鉴于云计算架构下传统分布式数据库架构无法应对高并发、大吞吐量的应用场景，本发明公开了一种云计算架构下的分布式数据库架构，改进了传统分布式数据库架构，引入了代理层，将数据的分片路由交给代理层，业务程序不用关心后端数据库实例，应用开发效率高，运维起来也方便；数据存储节点引入Group概念，每个Group由zookeeper进行维护，确保节点的高可用；Group节点可根据实际业务数据访问量平滑实现节点的扩容/缩容。本发明可有效满足云计算环境下高并发、大吞吐量应用场景，并具有高可靠、高性能等特点，有效提高了应用开发效率，降低了研发和后期维护成本，这将对后续企业在面对海量数据存储时数据库架构层设计和选型有较强的指导意义。
实施例：
本实施例所述一种云计算架构下的分布式数据库架构，针对传统分布式数据库架构的缺点，将分布式数据库架构分为代理层和数据存储层；如附图1所示，其中，所述代理层和数据存储层的均采用HA架构，双层HA架构进一步保证了数据库服务的高可用；将数据的分片路由交给代理层，所述代理层采用集群化部署，负责应用级的数据拆分，支持水平、垂直、混合等拆分，代理层由zookeeper进行维护，确保高可用和负载均衡；代理节点可根据实际业务访问量情况平滑实现扩容/缩容；所述数据存储层引入Group，每个Group是一个集群，采用主/从的架构；并且，每个Group由zookeeper进行维护，Group节点可根据实际业务访问量情况平滑实现节点的扩容/缩容。
本实施例所述分布式数据库架构中，所述代理层采用集群化部署，通过zookeeper进行维护，确保高可用和负载均衡，对外暴露zookeeper地址供应用开发调用；通过zookeeper集群监控到各个代理节点的运行状态，当一个代理节点宕机以后，zookeeper通过检测代理节点的运行状态，及时选举出合理的代理节点给后台调用程序，使得后台调用程序，在不停止运行的情况下继续操控分布式内存数据库集群。
一个代理节点能够关联一个底层Group节点，或者多个代理节点关联同一个Group节点。并且，每个代理节点均提供水平拆分、垂直拆分、混合拆分等数据拆分功能，能够根据不同的业务数据特点灵活配置数据拆分策略。代理节点能够将一个分组内存数据库的数据迁移到另一个内存数据库里面，实现了数据的迁移功能，可以保证数据的完整，减轻数据库自身因数据量增大带来的存储压力。此外，代理节点自带了一个监控功能，可以监控底层各Group节点的运行情况，及存储情况，可以通过管理页面，实现添加删除内存数据库分组。
本实施例所述分布式数据库架构中，所述数据存储层引入Group，每个Group是一个集群，采用主/从的架构，每个Group只有1个Master节点和至少1个Slave节点。所述Master节点与Slave节点采用主从备份机制保证数据的可靠性。并且，每个Group由zookeeper进行维护，可有效保证数据存储节点的高可用，当Master节点挂掉时，会自动切换Slave节点为Master节点。Group节点可根据实际业务访问量情况平滑实现Group节点增加或删除，即Group节点能够平滑实现节点的扩容/缩容。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (8)

1.一种云计算架构下的分布式数据库架构，其特征在于, 将分布式数据库架构分为代理层和数据存储层；其中，所述代理层和数据存储层的均采用HA架构；将数据的分片路由交给所述代理层，代理层采用集群化部署，负责应用级的数据拆分，代理层由zookeeper进行维；代理节点能够根据实际业务访问量情况平滑实现扩容或缩容；所述数据存储层引入Group，每个Group是一个集群，采用主/从的架构；每个Group由zookeeper进行维护，Group节点能够根据实际业务访问量情况平滑实现节点的扩容或缩容。
2.根据权利要求1所述一种云计算架构下的分布式数据库架构，其特征在于, 通过zookeeper集群监控到各个代理节点的运行状态，当一个代理节点宕机以后，zookeeper通过检测代理节点的运行状态，及时选举出合理的代理节点给后台调用程序。
3.根据权利要求2所述一种云计算架构下的分布式数据库架构，其特征在于, 一个代理节点能够关联一个底层Group节点，或者多个代理节点关联同一个Group节点。
4.根据权利要求3所述一种云计算架构下的分布式数据库架构，其特征在于, 每个代理节点均提供水平拆分、垂直拆分、混合拆分数据拆分功能，能够根据不同的业务数据特点灵活配置数据拆分策略。
5.根据权利要求4所述一种云计算架构下的分布式数据库架构，其特征在于, 代理节点能够将一个分组内存数据库的数据迁移到另一个内存数据库里面。
6.根据权利要求5所述一种云计算架构下的分布式数据库架构，其特征在于, 代理节点自带监控功能，能够监控底层各Group节点的运行情况，及存储情况；通过管理页面，进行添加删除内存数据库分组。
7.根据权利要求6所述一种云计算架构下的分布式数据库架构，其特征在于, 每个Group只有1个Master节点和至少1个Slave节点，所述Master节点与Slave节点采用主从备份机制。
8.根据权利要求7所述一种云计算架构下的分布式数据库架构，其特征在于, 每个Group由zookeeper进行维护，可有效保证数据存储节点的高可用，当Master节点挂掉时，会自动切换Slave节点为Master节点。
CN201610483454.8A 2016-06-28 2016-06-28 一种云计算架构下的分布式数据库架构 Pending CN106096038A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610483454.8A CN106096038A (zh) 2016-06-28 2016-06-28 一种云计算架构下的分布式数据库架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610483454.8A CN106096038A (zh) 2016-06-28 2016-06-28 一种云计算架构下的分布式数据库架构

Publications (1)

Publication Number Publication Date
CN106096038A true CN106096038A (zh) 2016-11-09

Family

ID=57213699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610483454.8A Pending CN106096038A (zh) 2016-06-28 2016-06-28 一种云计算架构下的分布式数据库架构

Country Status (1)

Country Link
CN (1) CN106096038A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106850260A (zh) * 2016-12-23 2017-06-13 曙光云计算技术有限公司 一种虚拟化资源管理平台的部署方法和装置
CN107426320A (zh) * 2017-07-31 2017-12-01 郑州云海信息技术有限公司 用于Openstack的信息处理方法和信息处理系统
WO2018201832A1 (zh) * 2017-05-04 2018-11-08 中兴通讯股份有限公司 一种分布式缓存数据库数据迁移的方法及系统
CN108829545A (zh) * 2018-07-02 2018-11-16 山东汇贸电子口岸有限公司 一种实现分布式数据库备份的方法
CN109284276A (zh) * 2018-07-13 2019-01-29 西安图迹信息科技有限公司 一种基于大数据架构的数据库加速方法
CN109857516A (zh) * 2018-12-29 2019-06-07 航天信息股份有限公司 基于容器的集群迁移方法及装置
CN110389832A (zh) * 2019-06-21 2019-10-29 深圳市汇川技术股份有限公司 ZooKeeper容器集群部署方法、系统、设备及存储介质
CN110515923A (zh) * 2019-08-15 2019-11-29 福建中信网安信息科技有限公司 一种分布式数据库之间的数据迁移方法和系统
CN111324670A (zh) * 2020-02-27 2020-06-23 中国邮政储蓄银行股份有限公司 基于HDFS与Vertica的计算存储分离部署的方法及系统
CN112272228A (zh) * 2020-10-22 2021-01-26 北京神州数字科技有限公司 分布式注册中心架构
CN112307113A (zh) * 2019-07-29 2021-02-02 中兴通讯股份有限公司 一种业务请求消息发送方法及分布式数据库架构
US11063988B2 (en) 2018-02-04 2021-07-13 Portly, Inc. Scalable layered two-dimensional (2D) telecommunications network architecture
CN114666201A (zh) * 2022-03-02 2022-06-24 国动物联网有限公司 一种高可用的分布式微服务架构
WO2022193108A1 (zh) * 2021-03-16 2022-09-22 华为技术有限公司 一种集成芯片及数据搬运方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624911A (zh) * 2012-03-14 2012-08-01 中山大学 一种基于集群的可视媒体存储系统
CN103078927A (zh) * 2012-12-28 2013-05-01 合一网络技术(北京)有限公司 一种key-value数据分布式缓存系统及其方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102624911A (zh) * 2012-03-14 2012-08-01 中山大学 一种基于集群的可视媒体存储系统
CN103078927A (zh) * 2012-12-28 2013-05-01 合一网络技术(北京)有限公司 一种key-value数据分布式缓存系统及其方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106850260A (zh) * 2016-12-23 2017-06-13 曙光云计算技术有限公司 一种虚拟化资源管理平台的部署方法和装置
WO2018201832A1 (zh) * 2017-05-04 2018-11-08 中兴通讯股份有限公司 一种分布式缓存数据库数据迁移的方法及系统
CN107426320A (zh) * 2017-07-31 2017-12-01 郑州云海信息技术有限公司 用于Openstack的信息处理方法和信息处理系统
US11063988B2 (en) 2018-02-04 2021-07-13 Portly, Inc. Scalable layered two-dimensional (2D) telecommunications network architecture
US11665209B2 (en) 2018-02-04 2023-05-30 Portly, Inc. Scalable layered two-dimensional (2D) telecommunications network architecture
CN108829545A (zh) * 2018-07-02 2018-11-16 山东汇贸电子口岸有限公司 一种实现分布式数据库备份的方法
CN108829545B (zh) * 2018-07-02 2021-08-10 上海浪潮云计算服务有限公司 一种实现分布式数据库备份的方法
CN109284276A (zh) * 2018-07-13 2019-01-29 西安图迹信息科技有限公司 一种基于大数据架构的数据库加速方法
CN109857516A (zh) * 2018-12-29 2019-06-07 航天信息股份有限公司 基于容器的集群迁移方法及装置
CN109857516B (zh) * 2018-12-29 2023-12-12 航天信息股份有限公司 基于容器的集群迁移方法及装置
CN110389832A (zh) * 2019-06-21 2019-10-29 深圳市汇川技术股份有限公司 ZooKeeper容器集群部署方法、系统、设备及存储介质
CN110389832B (zh) * 2019-06-21 2022-12-27 深圳市汇川技术股份有限公司 ZooKeeper容器集群部署方法、系统、设备及存储介质
CN112307113A (zh) * 2019-07-29 2021-02-02 中兴通讯股份有限公司 一种业务请求消息发送方法及分布式数据库架构
CN110515923A (zh) * 2019-08-15 2019-11-29 福建中信网安信息科技有限公司 一种分布式数据库之间的数据迁移方法和系统
CN111324670A (zh) * 2020-02-27 2020-06-23 中国邮政储蓄银行股份有限公司 基于HDFS与Vertica的计算存储分离部署的方法及系统
CN112272228A (zh) * 2020-10-22 2021-01-26 北京神州数字科技有限公司 分布式注册中心架构
WO2022193108A1 (zh) * 2021-03-16 2022-09-22 华为技术有限公司 一种集成芯片及数据搬运方法
CN114666201A (zh) * 2022-03-02 2022-06-24 国动物联网有限公司 一种高可用的分布式微服务架构
CN114666201B (zh) * 2022-03-02 2024-01-30 国动物联网有限公司 一种高可用的分布式微服务架构

Similar Documents

Publication Publication Date Title
CN106096038A (zh) 一种云计算架构下的分布式数据库架构
CN103139302B (zh) 考虑负载均衡的实时副本调度方法
CN104113597B (zh) 一种多数据中心的hdfs数据读写方法
CN104166597B (zh) 一种分配远程内存的方法及装置
CN105242872B (zh) 一种面向虚拟集群的共享存储系统
KR20120092930A (ko) 맵 리듀스를 이용한 분산 메모리 클러스터 제어 장치 및 방법
CN104639361A (zh) 网络服务模板的管理方法和装置
CN102916992B (zh) 一种统一调度云计算远端资源的方法及系统
CN102340533A (zh) 多租户系统及多租户系统存取数据的方法
CN103366022B (zh) 信息处理系统及其处理方法
CN105159841B (zh) 一种内存迁移方法及装置
CN101937435A (zh) 面向电力系统的分布式实时数据库在线同步方法
CN102761528A (zh) 数据管理系统及方法
CN102088484A (zh) 一种分布式文件系统的写锁定方法及系统
Yuan et al. Efficient resource management for cloud computing
CN108628660A (zh) 一种虚拟机扩缩容方法及虚拟管理设备
CN108536539A (zh) 一种工业分布式数据采集系统中的任务调度方法
CN106570093A (zh) 一种基于独立元数据组织结构的海量数据迁移方法和装置
CN205901808U (zh) 一种完成元数据节点自动切换的分布式存储系统
CN106961440B (zh) 基于企业级资源运行监控管理的云平台
CN108140035A (zh) 分布式系统的数据库复制方法及装置
CN106156049A (zh) 一种数据读取的方法和系统
CN105930202B (zh) 一种三阈值的虚拟机迁移方法
CN109213566B (zh) 一种虚拟机迁移的方法、装置和设备
EP4206915A1 (en) Container creation method and apparatus, electronic device, and storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161109