CN116112512A - 一种基于故障域的分布式存储系统 - Google Patents
一种基于故障域的分布式存储系统 Download PDFInfo
- Publication number
- CN116112512A CN116112512A CN202211697849.XA CN202211697849A CN116112512A CN 116112512 A CN116112512 A CN 116112512A CN 202211697849 A CN202211697849 A CN 202211697849A CN 116112512 A CN116112512 A CN 116112512A
- Authority
- CN
- China
- Prior art keywords
- rack
- storage resource
- storage
- storage system
- cloud platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002955 isolation Methods 0.000 claims abstract description 20
- 210000001503 joint Anatomy 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 abstract description 8
- 238000007726 management method Methods 0.000 description 11
- 238000013508 migration Methods 0.000 description 6
- 230000005012 migration Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明涉及一种基于故障域的分布式存储系统，包括部署在多个机架上的多个机架式服务器，根据预设的划分策略将所述多个机架式服务器划分为多个机架级别的故障域，基于所述故障域划分多个存储资源池，每个存储资源池包括多个机架式服务器，并将所述多个存储资源池与云平台对接，所述云平台包括多个可用域，每个所述的存储资源池与云平台的一个可用域对接，实现可用域间在物理上及逻辑上的隔离。与现有技术相比，本发明有效提高了云平台各可用域间存储资源的独立性和数据的安全性。
Description
技术领域
本发明涉及云平台存储建设领域，尤其是涉及一种基于故障域的分布式存储系统。
背景技术
随着云计算技术的发展和非结构化数据的快速增长，传统存储架构已很难满足企业的数据存储需求，在云数据中心存储建设过程中，一种可灵活部署、统一管理，同时又能根据云平台业务需求实现资源隔离的分布式存储方案不可或缺。在云平台建设过程中，云平台通常会建设多个可用域，因每个可用域通常承载不同类型的业务，所以可用域之间常要求资源隔离，而传统架构部署的存储，在对接多可用域的云平台时，通常是存储资源只对接一个可用域，多个可用域需要多存储部署，难以实现统一管理或多个可用域间存储资源难以实现隔离的问题。
中国专利申请号CN 202210118987.1提供了一种跨云平台的应用迁移系统、方法和容灾方法，包括源端云平台、源端分布式存储集群、跨云迁移装置、目标分布式存储集群、目标云平台；抓取源端云主机集群的基本配置信息同步至目标云平台；在目标云平台的目标分布式存储集群中创建具有与目标云主机，并建立源端云主机与目标云主机的数据文件映射关系；从源端分布式存储集群中抓取虚拟机数据文件；将虚拟机数据文件按照数据文件映射关系迁移到目标分布式存储集群中以建立目标云主机集群。该申请利用二个分布式存储集群的同步和复制虚拟机数据文件的能力实现跨虚拟化平台的云主机集群迁移；保证迁移前后的网络环境完全一致；保证迁移前后二边数据的一致性，从而保证了迁移的高成功率。但是，该申请并没有解决传统架构中多个可用域间存储资源难以实现隔离的问题。
综上，当前缺少一种分布式存储系统，以解决传统架构难以实现统一管理或多个可用域间存储资源难以实现隔离的问题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于故障域的分布式存储系统，以解决或部分解决当前各可用域间存储资源缺乏独立性，数据安全性较低的问题。
本发明的目的可以通过以下技术方案来实现：
本发明提供了一种基于故障域的分布式存储系统，包括部署在多个机架上的多个机架式服务器，根据预设的划分策略将所述多个机架式服务器划分为多个机架级别的故障域，基于所述故障域划分多个存储资源池，每个存储资源池包括多个机架式服务器，并将所述多个存储资源池与云平台对接，所述云平台包括多个可用域，每个所述的存储资源池与云平台的一个可用域对接，实现可用域间在物理上及逻辑上的隔离。
作为优选的技术方案，每个所述的存储资源池中的服务器属于不同的机架。
作为优选的技术方案，所述的存储资源池采用预设的数据校验码进行配置。
作为优选的技术方案，所述的预设的数据校验码为纠删码。
作为优选的技术方案，所述的纠删码为4+2纠删码。
作为优选的技术方案，所述的纠删码的校验块不小于2。
作为优选的技术方案，当所述存储资源池剩余空间小于预设值时，通过增加新的机架，增加新的机架式服务器，实现存储资源池的扩充。
作为优选的技术方案，每个所述的存储资源池包含的机架式服务器的数量相同。
作为优选的技术方案，每个所述的机架包括的机架式服务器的数量相同。
作为优选的技术方案，每个所述的机架包括的机架式服务器的数量与储存资源池的数量相同。
与现有技术相比，本发明具有以下优点：
(1)在云平台多可用域应用场景下，存储以集群形式部署，基于机架级别故障域划分存储池，通过使存储池与云平台可用域采用一对一的方式对接，实现了多存储池统一管理和云平台多个可用域间数据流量、存储资源的隔离的要求，解决或部分解决当前各可用域间存储资源缺乏独立性，数据安全性较低的问题。
(2)相较于传统存储部署架构在对接云平台多可用域时难以兼容资源隔离和统一管理，本发明采用分布式存储架构，以集群形式部署，满足集群内多存储资源池的统一管理。
(3)通过故障域的规划实现资源的物理隔离，通过存储资源池的规划，实现资源的逻辑隔离，确保了每个资源池均可满足机架级别的故障域要求。
附图说明
图1为实施例1中基于机架级故障域的存储资源池划分的示意图；
图2为实施例1中存储资源池与云平台可用域对接示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例1
如图1-2所述，本实施例提供了一种基于故障域的分布式存储系统，基于故障域划分存储资源池，每个存储资源池对接一个云平台可用域，既能满足业务数据流量、存储资源隔离的需求，又能实现各个存储资源池的统一管理，同时也能根据不同可用域对性能的个性化要求，针对不同存储资源池进行扩容。
本系统涉及的概念解释如下：
①分布式存储集群：由机架式服务器组成的对外提供数据存储服务的整体。
②故障域：在不影响存储集群数据安全和对外服务的情况下，允许故障的最高级别域，可根据部署条件和需求，从低到高可依次部署基于节点、机架、机房、数据中心级别故障域。
③存储资源池：存储逻辑上划分的对接云平台可用域的基础单元。
④云平台可用域：云平台中承载前端业务的一个逻辑区域。
本实施例使用多台机架式服务器部署分布式存储集群，服务器部署于多个机架上，实现基于机架级别的故障域。以规划好的机架级别故障域为基础，根据云平台需求，划分多个存储资源池，每个存储资源池中的服务器归属不同机架，如图1所示，此时，任意2个机架服务器故障或存储池内任意2台服务器故障，均不会影响存储资源池的数据和对外服务。
在存储集群与要求可用域间资源隔离的云平台对接时，每个存储资源池对接一个云平台可用域，如图2所示，此时，每个云平台可用域间的数据流量和存储资源从物理和逻辑上实现了隔离，在存储集群中又能实现统一管理。同时，各存储资源池可根据前端可用域对容量、性能的需求灵活管理和扩容。
在实际应用中，可根据部署条件和需求，从低到高可依次部署基于节点、机架、机房、数据中心级别故障域。
本实施例的存储系统相较于传统存储部署架构在对接云平台多可用域的方法，解决或部分解决了难以兼容资源隔离和统一管理的问题。本实施例采用分布式存储架构，以集群形式部署，满足集群内多存储资源池的统一管理；通过故障域的规划实现资源的物理隔离，通过存储资源池的规划，实现资源的逻辑隔离，确保了每个资源池均可满足机架级别的故障域要求；采用存储资源池与云平台可用域一对一的对接方式，满足了云平台多个可用域间数据流量、存储资源互相隔离的要求。
综上，本实施例实现了存储资源的集中管理和云平台多可用域间数据流量、存储资源隔离的需求，也通过故障域同时保障了云平台各个可用域存储数据的安全。
实施例2
与实施例1相比，本实施例的存储池配置4+2纠删码策略，纠删码是一种存储内部数据校验方法，本发明中采用4+2纠删码配置。存储资源池的纠删码策略可根据实际需求调整，通常校验值不小于2。
本发实施例在云平台多可用域应用场景下，存储以集群形式部署，基于机架级别故障域划分存储池，存储池与云平台可用域采用一对一的方式对接，成功实现了多存储池统一管理和云平台多个可用域间数据流量、存储资源的隔离同时，又确保每个存储池均满足机架级别故障域配置。有效提高了云平台各可用域间存储资源的独立性和数据的安全性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于故障域的分布式存储系统，其特征在于，包括部署在多个机架上的多个机架式服务器，根据预设的划分策略将所述多个机架式服务器划分为多个机架级别的故障域，基于所述故障域划分多个存储资源池，每个存储资源池包括多个机架式服务器，并将所述多个存储资源池与云平台对接，所述云平台包括多个可用域，每个所述的存储资源池与云平台的一个可用域对接，实现可用域间在物理上及逻辑上的隔离。
2.根据权利要求1所述的一种基于故障域的分布式存储系统，其特征在于，每个所述的存储资源池中的服务器属于不同的机架。
3.根据权利要求1所述的一种基于故障域的分布式存储系统，其特征在于，所述的存储资源池采用预设的数据校验码进行配置。
4.根据权利要求3所述的一种基于故障域的分布式存储系统，其特征在于，所述的预设的数据校验码为纠删码。
5.根据权利要求4所述的一种基于故障域的分布式存储系统，其特征在于，所述的纠删码为4+2纠删码。
6.根据权利要求4所述的一种基于故障域的分布式存储系统，其特征在于，所述的纠删码的校验块不小于2。
7.根据权利要求1所述的一种基于故障域的分布式存储系统，其特征在于，当所述存储资源池剩余空间小于预设值时，通过增加新的机架，增加新的机架式服务器，实现存储资源池的扩充。
8.根据权利要求1所述的一种基于故障域的分布式存储系统，其特征在于，每个所述的存储资源池包含的机架式服务器的数量相同。
9.根据权利要求1所述的一种基于故障域的分布式存储系统，其特征在于，每个所述的机架包括的机架式服务器的数量相同。
10.根据权利要求1所述的一种基于故障域的分布式存储系统，其特征在于，每个所述的机架包括的机架式服务器的数量与储存资源池的数量相同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211697849.XA CN116112512A (zh) | 2022-12-28 | 2022-12-28 | 一种基于故障域的分布式存储系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211697849.XA CN116112512A (zh) | 2022-12-28 | 2022-12-28 | 一种基于故障域的分布式存储系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116112512A true CN116112512A (zh) | 2023-05-12 |
Family
ID=86264905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211697849.XA Pending CN116112512A (zh) | 2022-12-28 | 2022-12-28 | 一种基于故障域的分布式存储系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116112512A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108829738A (zh) * | 2018-05-23 | 2018-11-16 | 北京奇艺世纪科技有限公司 | 一种ceph中数据存储方法及装置 |
| US10503611B1 (en) * | 2016-12-23 | 2019-12-10 | EMC IP Holding Company LLC | Data protection management for distributed storage |
| US10917471B1 (en) * | 2018-03-15 | 2021-02-09 | Pure Storage, Inc. | Active membership in a cloud-based storage system |
| CN112948063A (zh) * | 2021-05-17 | 2021-06-11 | 北京汇钧科技有限公司 | 云平台的创建方法、装置、云平台以及云平台实现系统 |
| CN113901024A (zh) * | 2021-09-26 | 2022-01-07 | Oppo广东移动通信有限公司 | 数据存储系统、数据存储方法、可读介质和电子设备 |
| CN115134367A (zh) * | 2022-06-28 | 2022-09-30 | 浙江吉利控股集团有限公司 | 云平台和业务处理方法 |
-
2022
- 2022-12-28 CN CN202211697849.XA patent/CN116112512A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10503611B1 (en) * | 2016-12-23 | 2019-12-10 | EMC IP Holding Company LLC | Data protection management for distributed storage |
| US10917471B1 (en) * | 2018-03-15 | 2021-02-09 | Pure Storage, Inc. | Active membership in a cloud-based storage system |
| CN108829738A (zh) * | 2018-05-23 | 2018-11-16 | 北京奇艺世纪科技有限公司 | 一种ceph中数据存储方法及装置 |
| CN112948063A (zh) * | 2021-05-17 | 2021-06-11 | 北京汇钧科技有限公司 | 云平台的创建方法、装置、云平台以及云平台实现系统 |
| CN113901024A (zh) * | 2021-09-26 | 2022-01-07 | Oppo广东移动通信有限公司 | 数据存储系统、数据存储方法、可读介质和电子设备 |
| CN115134367A (zh) * | 2022-06-28 | 2022-09-30 | 浙江吉利控股集团有限公司 | 云平台和业务处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 铁兵;: "亚马逊AWS云计算服务浅析", 广东通信技术, no. 10, 15 October 2016 (2016-10-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102355369B (zh) | 虚拟化集群系统及其处理方法和设备 | |
| US10158579B2 (en) | Resource silos at network-accessible services | |
| CN108023967B (zh) | 一种数据平衡方法、装置及分布式存储系统中的管理设备 | |
| CN111162941B (zh) | 一种Kubernetes环境自动化管理虚拟IP的方法 | |
| CN109327332B (zh) | 一种Ceph云存储下基于LIO的iSCSI GateWay高可用实现方法 | |
| US9917740B2 (en) | Reducing internodal communications in a clustered system | |
| WO2017097006A1 (zh) | 一种实时数据容错处理方法及系统 | |
| CN105635311A (zh) | 一种云管理平台中资源池信息同步的方法 | |
| KR20160002656A (ko) | 피어투피어 데이터 복제를 위한 방법, 장치, 및 시스템 및 마스터 노드 전환을 위한 방법, 장치, 및 시스템 | |
| US11079968B1 (en) | Queue management in multi-site storage systems | |
| US20150331759A1 (en) | Apparatus, system and method for temporary copy policy | |
| CN105357042A (zh) | 一种高可用集群系统及其主节点和从节点 | |
| CN110633046A (zh) | 一种分布式系统的存储方法、装置、存储设备及存储介质 | |
| CN113946276B (zh) | 集群中的磁盘管理方法、装置及服务器 | |
| CN111147274A (zh) | 为集群解决方案创建高度可用的仲裁集的系统和方法 | |
| CN112148219A (zh) | 一种ceph类型的分布式存储集群设计方法及装置 | |
| CN107357800A (zh) | 一种数据库高可用零丢失解决方法 | |
| US11461123B1 (en) | Dynamic pre-copy and post-copy determination for live migration between cloud regions and edge locations | |
| CN104793981A (zh) | 一种虚拟机集群的在线快照管理方法及装置 | |
| CN108710621A (zh) | 一种基于ceph实现MySQL数据库水平扩展的方法 | |
| US20210149745A1 (en) | Method for balanced scale out of resources in distributed and collaborative container platform environment | |
| CN112104729A (zh) | 一种存储系统及其缓存方法 | |
| US11573839B1 (en) | Dynamic scheduling for live migration between cloud regions and edge locations | |
| US11734038B1 (en) | Multiple simultaneous volume attachments for live migration between cloud regions and edge locations | |
| JP2011209811A (ja) | 仮想マシンシステムおよび仮想マシン配置方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |