CN110955733A - 分布式系统的数据均衡方法及系统 - Google Patents
分布式系统的数据均衡方法及系统 Download PDFInfo
- Publication number
- CN110955733A CN110955733A CN202010002315.5A CN202010002315A CN110955733A CN 110955733 A CN110955733 A CN 110955733A CN 202010002315 A CN202010002315 A CN 202010002315A CN 110955733 A CN110955733 A CN 110955733A
- Authority
- CN
- China
- Prior art keywords
- storage device
- distributed system
- data equalization
- osd
- based storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 abstract description 4
- 241001522296 Erithacus rubecula Species 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种分布式系统的数据均衡方法及系统。所述方法包括：采用轮询round‑robin算法将归置组PG映射至基于对象的存储设备OSD。本发明提供的分布式系统的数据均衡方法及系统利用轮算算法替代原有的CRUSH算法，能够使得计算资源明显减少，系统性能显著提升。
Description
技术领域
本发明涉及分布式存储系统技术领域，特别是涉及一种分布式系统的数据均衡方法及系统。
背景技术
数据分布算法：存储系统的数据分布算法解决数据如何分布到集群中各个节点和磁盘上，在我们的分布式存储系统中，对应的就是将PG上的对象映射到若干个osd的过程。
PG：一个放置策略组，对象就是放在PG上，一个对象只能对应一个PG，一个PG包含多个对象。
OSD：可以简单理解为操作磁盘的节点，一个osd对应一个物理磁盘。
现有技术有两种实现方法，一种是基于集中式的元数据查询的方式，查询专门的元数据服务器得到映射关系；另一种是基于分布式算法以计算获得的，如一致性哈希算法(DHT)、CRUSH算法等。
如今广泛采用的是CRUSH算法，CRUSH是受控复制的分布式hash算法，是分布式存储里面用于控制数据分布的一种方法，能够高效稳定的将数据分布在普通的结构化的集群中。它是一种伪随机的算法，在相同的环境下，相似的输入得到的结果之间没有相关性，相同的输入得到的结果是确定的。它只需要一个集群的描述地图和一些规则就可以根据一个整型的输入得到存放数据的一个设备列表。Client在有IO操作的时候，可能会执行CRUSH算法。
CRUSH算法过于灵活，系统可以方便地增加或者删除存储设备(包括节点和设备失效的处理)，当增加或者删除后自动实现数据的均衡，但是频繁的计算、均衡导致数据迁来迁去，耗掉系统资源。
发明内容
本发明要解决的技术问题是提供一种分布式系统的数据均衡方法及系统，能够实现计算资源的减少，系统性能的提升。
为解决上述技术问题，本发明提供了一种分布式系统的数据均衡方法，所述方法包括：采用轮询round-robin算法将归置组PG映射至基于对象的存储设备OSD。
在一些实施方式中，基于对象的存储设备OSD以基于对象的存储设备列表OSDlist的形式存储。
在一些实施方式中，基于对象的存储设备OSD集群包括：N副本的基于对象的存储设备OSD集群。
在一些实施方式中，采用轮询round-robin算法将归置组PG映射至基于对象的存储设备，包括：采用轮询round-robin算法将归置组PG映射至N副本的基于对象的存储设备列表OSD list。
在一些实施方式中，还包括：当基于对象的存储设备OSD集群出现设备替换或者节点替换的情况时，根据轮询round-robin算法仅将损坏的归置组PG重新映射至对于对象的存储设备OSD。
此外，本发明还提供了一种分布式系统的数据均衡系统，所述系统包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据前文所述的分布式系统的数据均衡方法。
采用这样的设计后，本发明至少具有以下优点：
利用轮算算法替代原有的CRUSH算法，能够使得计算资源明显减少，系统性能显著提升。
附图说明
上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。
图1是本发明实施例提供的分布式系统的数据均衡方法的流程图；
图2是本发明实施例提供的分布式系统的数据均衡系统的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1是本发明分布式系统的数据均衡方法的流程。参见图1，分布式系统的数据均衡方法包括：
S11，采用轮询round-robin算法将归置组PG映射至基于对象的存储设备OSD。
S12，当基于对象的存储设备OSD集群出现设备替换或者节点替换的情况时，根据轮询round-robin算法将归置组PG重新映射至对于对象的存储设备OSD。
在本发明提供的分布式系统的数据均衡方法的执行过程中，S12的操作是可选操作。
本发明提供的分布式系统的数据均衡方法的改进点在于，在将PG映射至OSD的过程中，采用round-robin的算法替代了CRUSH算法。原有的CRUSH算法的映射过程，尤其是在节点数量频繁变化的系统中的映射过程较为复杂，导致用来执行映射过程的计算资源的大面积浪费。
改为轮询算法，也就是round-robin算法之后，上述的映射过程大为简化，因而能够节约计算资源，提高运行效率。
在一种改进的实施方式中，OSD以OSD list的方式进行存储。因而，将PG映射至对应OSD的过程也就是将PG映射至OSD list的对应单元的过程。
而且，本发明提供的分布式系统的数据均衡方法的执行过程中,OSD集群可以是多副本的OSD集群。
轮询调度算法的原理是每一次把对象按照副本数轮流分配给OSD，从1开始，直到N(OSD个数)，然后重新开始循环。比如，是双副本的集群，1对应1、2，2对应2、3，N对应N、1。算法的优点是其简洁性，它无需记录当前所有OSD的状态，所以它是一种无状态调度。
进一步的，集群中出现设备替换或者节点替换的情况下，需要重新调用轮询算法，对PG进行重新映射。在这种情况下，重新映射不需要对PG内所有的节点进行重新映射，而是仅对替换节点，也就是损坏节点进行重新映射就可以完成轮询调度的过程。
图2是本发明分布式系统的数据均衡系统的结构图。参见图2，分布式系统的数据均衡系统包括：中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU 201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线204。
以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，本领域技术人员利用上述揭示的技术内容做出些许简单修改、等同变化或修饰，均落在本发明的保护范围内。
Claims (6)
1.一种分布式系统的数据均衡方法，其特征在于，包括：
采用轮询round-robin算法将归置组PG映射至基于对象的存储设备OSD。
2.根据权利要求1所述的分布式系统的数据均衡方法，其特征在于，基于对象的存储设备OSD以基于对象的存储设备列表OSD list的形式存储。
3.根据权利要求1所述的分布式系统的数据均衡方法，其特征在于，基于对象的存储设备OSD集群包括：N副本的基于对象的存储设备OSD集群。
4.根据权利要求2或3所述的分布式系统的数据均衡方法，其特征在于，采用轮询round-robin算法将归置组PG映射至基于对象的存储设备，包括：
采用轮询round-robin算法将归置组PG映射至N副本的基于对象的存储设备列表OSDlist。
5.根据权利要求4所述的分布式系统的数据均衡方法，其特征在于，还包括：
当基于对象的存储设备OSD集群出现设备替换或者节点替换的情况时，根据轮询round-robin算法仅将损坏的归置组PG重新映射至对于对象的存储设备OSD。
6.一种分布式系统的数据均衡系统，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至5任意一项所述的分布式系统的数据均衡方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010002315.5A CN110955733A (zh) | 2020-01-02 | 2020-01-02 | 分布式系统的数据均衡方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010002315.5A CN110955733A (zh) | 2020-01-02 | 2020-01-02 | 分布式系统的数据均衡方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110955733A true CN110955733A (zh) | 2020-04-03 |
Family
ID=69985381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010002315.5A Pending CN110955733A (zh) | 2020-01-02 | 2020-01-02 | 分布式系统的数据均衡方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110955733A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2403259A1 (en) * | 2009-02-27 | 2012-01-04 | Panasonic Corporation | Recording medium, reproduction device, and integrated circuit |
| CN105450734A (zh) * | 2015-11-09 | 2016-03-30 | 上海爱数信息技术股份有限公司 | 分布式存储ceph的数据分布优化方法 |
| CN105718221A (zh) * | 2016-01-22 | 2016-06-29 | 华为技术有限公司 | 一种数据存储的方法、装置和系统 |
| US9507843B1 (en) * | 2013-09-20 | 2016-11-29 | Amazon Technologies, Inc. | Efficient replication of distributed storage changes for read-only nodes of a distributed database |
| CN108052655A (zh) * | 2017-12-28 | 2018-05-18 | 新华三技术有限公司 | 数据写入及读取方法 |
| CN108287660A (zh) * | 2017-01-09 | 2018-07-17 | 中国移动通信集团河北有限公司 | 数据存储方法和设备 |
-
2020
- 2020-01-02 CN CN202010002315.5A patent/CN110955733A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2403259A1 (en) * | 2009-02-27 | 2012-01-04 | Panasonic Corporation | Recording medium, reproduction device, and integrated circuit |
| US9507843B1 (en) * | 2013-09-20 | 2016-11-29 | Amazon Technologies, Inc. | Efficient replication of distributed storage changes for read-only nodes of a distributed database |
| CN105450734A (zh) * | 2015-11-09 | 2016-03-30 | 上海爱数信息技术股份有限公司 | 分布式存储ceph的数据分布优化方法 |
| CN105718221A (zh) * | 2016-01-22 | 2016-06-29 | 华为技术有限公司 | 一种数据存储的方法、装置和系统 |
| CN108287660A (zh) * | 2017-01-09 | 2018-07-17 | 中国移动通信集团河北有限公司 | 数据存储方法和设备 |
| CN108052655A (zh) * | 2017-12-28 | 2018-05-18 | 新华三技术有限公司 | 数据写入及读取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 梁坤荣: "分布式存储系统CEPH研究与试用", 《数码世界》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6542909B2 (ja) | ファイル操作方法及び装置 | |
| AU2015336357B2 (en) | Composite partition functions | |
| US10356150B1 (en) | Automated repartitioning of streaming data | |
| CN109657174B (zh) | 用于更新数据的方法和装置 | |
| WO2020125396A1 (zh) | 一种共享数据的处理方法、装置及服务器 | |
| CN104881466A (zh) | 数据分片的处理以及垃圾文件的删除方法和装置 | |
| CN111857539B (zh) | 用于管理存储系统的方法、设备和计算机可读介质 | |
| US20160259812A1 (en) | Method and system for accessing a distributed file system | |
| CN107229747A (zh) | 一种基于流式处理框架的大规模数据处理装置及方法 | |
| US11221890B2 (en) | Systems and methods for dynamic partitioning in distributed environments | |
| CN111209120A (zh) | 微服务的数据同步方法、装置及计算机可读存储介质 | |
| US20170371892A1 (en) | Systems and methods for dynamic partitioning in distributed environments | |
| CN110781159B (zh) | Ceph目录文件信息读取方法、装置、服务器及存储介质 | |
| CN117762898A (zh) | 数据迁移方法、装置、设备及存储介质 | |
| CN110109751B (zh) | 分布式切图任务的分配方法、装置及分布式切图系统 | |
| CN113127430B (zh) | 镜像信息处理方法、装置、计算机可读介质及电子设备 | |
| CN111930720A (zh) | 数据倾斜的处理方法、系统、电子设备和介质 | |
| CN111949648B (zh) | 内存缓存数据系统和数据索引方法 | |
| CN110347654B (zh) | 一种上线集群特性的方法和装置 | |
| CN111767287A (zh) | 数据导入方法、装置、设备及计算机存储介质 | |
| CN116431615A (zh) | 一种面向复杂业务场景的灵活数据分区路由方法 | |
| CN111475279A (zh) | 用于备份的智能数据负载平衡的系统和方法 | |
| JP6189266B2 (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
| US12056187B2 (en) | Existence checks on rows within a database | |
| CN110955733A (zh) | 分布式系统的数据均衡方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200403 |