CN109901951A - 一种ceph集群数据的存储系统及方法 - Google Patents
一种ceph集群数据的存储系统及方法 Download PDFInfo
- Publication number
- CN109901951A CN109901951A CN201910164044.0A CN201910164044A CN109901951A CN 109901951 A CN109901951 A CN 109901951A CN 201910164044 A CN201910164044 A CN 201910164044A CN 109901951 A CN109901951 A CN 109901951A
- Authority
- CN
- China
- Prior art keywords
- backup
- availability cluster
- node high
- ceph
- control node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种ceph集群数据的存储系统及方法，属于数据存储技术领域。本发明的ceph集群数据的存储系统包括控制节点高可用集群、Monitor节点高可用集群、若干备份服务器和若干磁盘阵列，所述控制节点高可用集群与Monitor节点高可用集群相通信，Monitor节点高可用集群与若干备份服务器分别通信，每个备份服务器分别与一个磁盘阵列相通信。该发明的ceph集群数据的存储系统容量大，可靠性高，并且能够合理的利用存储资源，实现备份数据分布均衡，具有很好的推广应用价值。
Description
技术领域
本发明涉及数据存储技术领域，具体提供一种ceph集群数据的存储系统及方法。
背景技术
ceph分布式存储集群虽然本身提供多副本的存储能力，但出现意外故障时，仍存在集群损坏，导致无法提供存储服务并丢失用户对应的数据。对于数据存储可靠性要求比较高的用户，需要一种备份系统，可以将集群中分布的数据备份至集中存储进行保存。由于ceph分布式集群规模一般比较大，可以提供P级的存储服务，因此为了满足集群全量数据备份的需求，需要提供一种新的方法，以克服现有技术的不足。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种容量大，可靠性高，并且能够合理的利用存储资源，实现备份数据分布均衡的ceph集群数据的存储系统。
本发明进一步的技术任务是提供一种ceph集群数据的存储方法
为实现上述目的，本发明提供了如下技术方案：
一种ceph集群数据的存储系统，包括控制节点高可用集群、Monitor节点高可用集群、若干备份服务器和若干磁盘阵列，所述控制节点高可用集群与Monitor节点高可用集群相通信，Monitor节点高可用集群与若干备份服务器分别通信，每个备份服务器分别与一个磁盘阵列相通信。
Monitor节点高可用集群即监控节点高可用集群。
该ceph集群数据的存储系统采用分布式的方式备份ceph块设备中的分布数据至磁盘阵列，解决对于数据可靠性和安全性要求较高的需求。控制节点高可用集群、Monitor节点高可用集群和备份服务器并发通信，同步信息，将相互分散且独立的磁盘阵列统一管理，提供容大量而且高可靠的数据存储服务。发明中备份服务器根据用户不同的需求实现全量备份、增量备份和差量备份。控制节点高可用集群通过判断磁盘阵列的剩余容量分布情况，智能转发备份请求，合理利用了存储资源，实现了备份数据分布均衡。
作为优选，所述控制节点高可用集群配置有数据库和程序监听指定端口，Monitor节点高可用集群配置有数据库和程序监听指定端口，备份服务器中配置有数据库和程序监听指定端口。
作为优选，所述磁盘阵列采用Raid5磁盘。
Raid5磁盘相对于raid0安全性更高，相对于raid1，磁盘利用率更高。
一种ceph集群数据的存储方法，用户创建备份任务，将备份请求转发到控制节点高可用集群，控制节点高可用集群收到用户的备份请求后，将备份任务信息保存在控制节点高可用集群的数据库中，控制节点高可用集群接收到开始备份请求时，询问Monitor节点高可用集群各备份服务器的空间剩余情况，并根据Monitor节点高可用集群提供的信息将备份请求转发至备份服务器中。
控制节点高可用集群接收到用户备份请求时，先询问询问Monitor节点高可用集群，查看所有备份服务器中各磁盘阵列的空间剩余情况，将数据备份至数据容量充裕且延迟较少的备份服务器上。备份完毕后将备份相关的元数据入库，供恢复时定位数据位置使用。
作为优选，用户创建备份任务，将备份请求转发到控制节点高可用集群时，启动控制节点高可用集群，控制节点高可用集群中的程序监听指定端口接收用户的请求，启动定时备份任务处理线程，用以定时出发用户的定时备份任务。
作为优选，启动Monitor节点高可用集群时，Monitor节点高可用集群的程序监听指定端口分别处理控制节点高可用集群的查询请求和备份服务器的数据上报请求。
作为优选，启动备份服务器时，备份服务器的程序监听指定端口处理控制节点高可用集群转发的备份请求，启动收集磁盘阵列的空间剩余情况上报给Monitor节点高可用集群的线程，用来向Monitor节点高可用集群上报磁盘阵列的空间剩余情况。
作为优选，用户创建备份任务时，指定了用户的备份计划、备份策略，其中备份计划包括立即备份、定时备份，备份策略包括全量备份、增量备份和差量备份。
备份服务器接收备份的请求后根据请求中的备份策略做相应的备份操作。备份完成后，如果任务处于停止中状态，用户可以发送删除备份任务的请求给控制节点高可用集群，控制节点高可用集群处理删除备份任务的请求。
备份服务器接收到控制节点高可用集群转发的备份请求，根据备份请求中的备份策略的不同，调用ceph librbd的对应接口，将数据从ceph cluster中导出至磁盘阵列存储。如果是全量备份，那么将用户指定的块设备中的全量数据备份至磁盘阵列；如果是增量备份，打一个此时(备份时刻)的快照，判断是否是首次备份，如果是首次备份，，将块设备从创建时到此刻的数据备份至磁盘阵列。如果是非首次备份，将块设备最近的一次快照与本次快照之间的数据备份至磁盘阵列；如果是差量备份，打一个此时(备份时刻)的快照，判断是否是首次备份，如果是首次备份，，将块设备从创建时到此刻的数据备份至磁盘阵列，如果是非首次备份，将块设备指定的基点(参考)快照与本次快照之间的数据备份至磁盘阵列，如果没有指定参考快照，则默认取块设备创建时的快照，如果创建时没有创建快照，则操作和全量备份相同。
作为优选，备份服务器在备份过程中输出日志至备份服务器中的数据库，记录异常日志。
备份服务器在备份过程中会输出日志至数据库，用户可查看备份过程中详细操作日志，如果备份过程中出现异常，系统会记录异常日志，如果因为异常导致系统推出，那么备份服务器下次重启时会自动检测备份的信息，并将相应的未执行完毕的备份任务置于备份异常的状态。
与现有技术相比，本发明的ceph集群数据的存储方法具有以下突出的有益效果：所述ceph集群数据的存储方法采用分布式的方式备份ceph块设备中的分布数据至磁盘阵列，解决对于数据可靠性和安全性要求较高的需求，并能够提供容量大而且高可靠的数据存储服务，此外，控制节点高可用集群通过判断系统的剩余容量分布情况，智能转发备份请求，合理利用了存储资源，实现了备份数据分布均衡，具有良好的推广应用价值。
附图说明
图1是本发明所述ceph集群数据的存储系统的拓扑图。
具体实施方式
下面将结合附图和实施例，对本发明的ceph集群数据的存储系统及方法作进一步详细说明。
实施例
如图1所示，本发明的ceph集群数据的存储系统，包括控制节点高可用集群、Monitor节点高可用集群、若干备份服务器和若干磁盘阵列。
控制节点高可用集群配置有数据库和程序监听指定端口，Monitor节点高可用集群配置有数据库和程序监听指定端口，备份服务器中配置有数据库和程序监听指定端口。控制节点高可用集群与Monitor节点高可用集群相通信，Monitor节点高可用集群与若干备份服务器分别通信，每个备份服务器分别与一个磁盘阵列相通信。其中磁盘阵列采用Raid5磁盘。
该ceph集群数据的存储系统采用分布式的方式备份ceph块设备中的分布数据至磁盘阵列，解决对于数据可靠性和安全性要求较高的需求。控制节点高可用集群、Monitor节点高可用集群和备份服务器并发通信，同步信息，将相互分散且独立的磁盘阵列统一管理，提供容大量而且高可靠的数据存储服务。发明中备份服务器根据用户不同的需求实现全量备份、增量备份和差量备份。控制节点高可用集群通过判断磁盘阵列的剩余容量分布情况，智能转发备份请求，合理利用了存储资源，实现了备份数据分布均衡。
本发明的ceph集群数据的存储方法，用户创建备份任务，将备份请求转发到控制节点高可用集群，控制节点高可用集群收到用户的备份请求后，将备份任务信息保存在控制节点高可用集群的数据库中。控制节点高可用集群接收到开始备份请求时，询问Monitor节点高可用集群各备份服务器的空间剩余情况，并根据Monitor节点高可用集群提供的信息将备份请求转发至备份服务器中。备份服务器在备份过程中输出日志至备份服务器中的数据库，记录异常日志。备份服务器在备份过程中会输出日志至数据库，用户可查看备份过程中详细操作日志，如果备份过程中出现异常，系统会记录异常日志，如果因为异常导致系统推出，那么备份服务器下次重启时会自动检测备份的信息，并将相应的未执行完毕的备份任务置于备份异常的状态。
用户创建备份任务时，指定了用户的备份计划、备份策略，其中备份计划包括立即备份、定时备份，备份策略包括全量备份、增量备份和差量备份。备份服务器接收备份的请求后根据请求中的备份策略做相应的备份操作。备份完成后，如果任务处于停止中状态，用户可以发送删除备份任务的请求给控制节点高可用集群，控制节点高可用集群处理删除备份任务的请求。
用户创建备份任务，将备份请求转发到控制节点高可用集群时，启动控制节点高可用集群，控制节点高可用集群中的程序监听指定端口接收用户的请求，启动定时备份任务处理线程，用以定时出发用户的定时备份任务。
启动Monitor节点高可用集群时，Monitor节点高可用集群的程序监听指定端口分别处理控制节点高可用集群的查询请求和备份服务器的数据上报请求。
启动备份服务器时，备份服务器的程序监听指定端口处理控制节点高可用集群转发的备份请求，启动收集磁盘阵列的空间剩余情况上报给Monitor节点高可用集群的线程，用来向Monitor节点高可用集群上报磁盘阵列的空间剩余情况。
控制节点高可用集群接收到用户备份请求时，先询问询问Monitor节点高可用集群，查看所有备份服务器中各磁盘阵列的空间剩余情况，将数据备份至数据容量充裕且延迟较少的备份服务器上。备份完毕后将备份相关的元数据入库，供恢复时定位数据位置使用。
备份服务器接收到控制节点高可用集群转发的备份请求，根据备份请求中的备份策略的不同，调用ceph librbd的对应接口，将数据从ceph cluster中导出至磁盘阵列存储。如果是全量备份，那么将用户指定的块设备中的全量数据备份至磁盘阵列；如果是增量备份，打一个此时(备份时刻)的快照，判断是否是首次备份，如果是首次备份，，将块设备从创建时到此刻的数据备份至磁盘阵列。如果是非首次备份，将块设备最近的一次快照与本次快照之间的数据备份至磁盘阵列；如果是差量备份，打一个此时(备份时刻)的快照，判断是否是首次备份，如果是首次备份，，将块设备从创建时到此刻的数据备份至磁盘阵列，如果是非首次备份，将块设备指定的基点(参考)快照与本次快照之间的数据备份至磁盘阵列，如果没有指定参考快照，则默认取块设备创建时的快照，如果创建时没有创建快照，则操作和全量备份相同。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (9)
1.一种ceph集群数据的存储系统，其特征在于：包括控制节点高可用集群、Monitor节点高可用集群、若干备份服务器和若干磁盘阵列，所述控制节点高可用集群与Monitor节点高可用集群相通信，Monitor节点高可用集群与若干备份服务器分别通信，每个备份服务器分别与一个磁盘阵列相通信。
2.根据权利要求1所述的ceph集群数据的存储系统，其特征在于：所述控制节点高可用集群配置有数据库和程序监听指定端口，Monitor节点高可用集群配置有数据库和程序监听指定端口，备份服务器中配置有数据库和程序监听指定端口。
3.根据权利要求1或2所述的ceph集群数据的存储系统，其特征在于：所述磁盘阵列采用Raid5磁盘。
4.一种ceph集群数据的存储方法，其特征在于：用户创建备份任务，将备份请求转发到控制节点高可用集群，控制节点高可用集群收到用户的备份请求后，将备份任务信息保存在控制节点高可用集群的数据库中，控制节点高可用集群接收到开始备份请求时，询问Monitor节点高可用集群各备份服务器的空间剩余情况，并根据Monitor节点高可用集群提供的信息将备份请求转发至备份服务器中。
5.根据权利要求4所述的ceph集群数据的存储方法，其特征在于：用户创建备份任务，将备份请求转发到控制节点高可用集群时，启动控制节点高可用集群，控制节点高可用集群中的程序监听指定端口接收用户的请求，启动定时备份任务处理线程，用以定时出发用户的定时备份任务。
6.根据权利要求5所述的ceph集群数据的存储方法，其特征在于：启动Monitor节点高可用集群时，Monitor节点高可用集群的程序监听指定端口分别处理控制节点高可用集群的查询请求和备份服务器的数据上报请求。
7.根据权利要求5或6所述的ceph集群数据的存储方法，其特征在于：启动备份服务器时，备份服务器的程序监听指定端口处理控制节点高可用集群转发的备份请求，启动收集磁盘阵列的空间剩余情况上报给Monitor节点高可用集群的线程，用来向Monitor节点高可用集群上报磁盘阵列的空间剩余情况。
8.根据权利要求7所述的ceph集群数据的存储方法，其特征在于：用户创建备份任务时，指定了用户的备份计划、备份策略，其中备份计划包括立即备份、定时备份，备份策略包括全量备份、增量备份和差量备份。
9.根据权利要求8所述的ceph集群数据的存储方法，其特征在于：备份服务器在备份过程中输出日志至备份服务器中的数据库，记录异常日志。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910164044.0A CN109901951A (zh) | 2019-03-05 | 2019-03-05 | 一种ceph集群数据的存储系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910164044.0A CN109901951A (zh) | 2019-03-05 | 2019-03-05 | 一种ceph集群数据的存储系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109901951A true CN109901951A (zh) | 2019-06-18 |
Family
ID=66946282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910164044.0A Pending CN109901951A (zh) | 2019-03-05 | 2019-03-05 | 一种ceph集群数据的存储系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109901951A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112019601A (zh) * | 2020-08-07 | 2020-12-01 | 烽火通信科技股份有限公司 | 一种基于分布式存储Ceph的两节点实现方法及系统 |
| CN112383628A (zh) * | 2020-11-16 | 2021-02-19 | 北京中电兴发科技有限公司 | 一种基于流式存储的存储网关资源分配方法 |
| CN113391954A (zh) * | 2021-06-15 | 2021-09-14 | 上海英方软件股份有限公司 | 一种基于分布式架构的高可用数据备份方法及系统 |
| CN113722155A (zh) * | 2021-11-01 | 2021-11-30 | 苏州浪潮智能科技有限公司 | 一种分布式文件系统内数据备份及修复方法及相关组件 |
| CN113970998A (zh) * | 2020-07-24 | 2022-01-25 | 中移(苏州)软件技术有限公司 | 一种信息处理方法、装置、终端及存储介质 |
| CN114697353A (zh) * | 2022-05-27 | 2022-07-01 | 邹平市供电有限公司 | 一种分布式存储集群电网数据存储控制方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103036946A (zh) * | 2012-11-21 | 2013-04-10 | 中国电信股份有限公司云计算分公司 | 一种用于云平台处理文件备份任务的方法和系统 |
| CN106060173A (zh) * | 2016-07-22 | 2016-10-26 | 恒业智能信息技术（深圳）有限公司 | 基于云存储的集群式摄像数据存储系统 |
| CN106603329A (zh) * | 2016-12-02 | 2017-04-26 | 曙光信息产业(北京)有限公司 | 一种服务器集群的监控方法和系统 |
| US20170123700A1 (en) * | 2015-11-03 | 2017-05-04 | Samsung Electronics Co., Ltd. | Io redirection methods with cost estimation |
| CN107666519A (zh) * | 2017-10-10 | 2018-02-06 | 东莞华南设计创新院 | 一种云数据信息处理系统 |
| CN108804253A (zh) * | 2017-05-02 | 2018-11-13 | 中国科学院高能物理研究所 | 一种用于海量数据备份的并行作业备份方法 |
-
2019
- 2019-03-05 CN CN201910164044.0A patent/CN109901951A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103036946A (zh) * | 2012-11-21 | 2013-04-10 | 中国电信股份有限公司云计算分公司 | 一种用于云平台处理文件备份任务的方法和系统 |
| US20170123700A1 (en) * | 2015-11-03 | 2017-05-04 | Samsung Electronics Co., Ltd. | Io redirection methods with cost estimation |
| CN106060173A (zh) * | 2016-07-22 | 2016-10-26 | 恒业智能信息技术（深圳）有限公司 | 基于云存储的集群式摄像数据存储系统 |
| CN106603329A (zh) * | 2016-12-02 | 2017-04-26 | 曙光信息产业(北京)有限公司 | 一种服务器集群的监控方法和系统 |
| CN108804253A (zh) * | 2017-05-02 | 2018-11-13 | 中国科学院高能物理研究所 | 一种用于海量数据备份的并行作业备份方法 |
| CN107666519A (zh) * | 2017-10-10 | 2018-02-06 | 东莞华南设计创新院 | 一种云数据信息处理系统 |
Non-Patent Citations (1)
| Title |
|---|
| JACKEN_YANG: "Ceph结构和工作原理", 《HTTPS://BLOG.51CTO.COM/LINUXNOTE/1788294》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113970998A (zh) * | 2020-07-24 | 2022-01-25 | 中移(苏州)软件技术有限公司 | 一种信息处理方法、装置、终端及存储介质 |
| CN112019601A (zh) * | 2020-08-07 | 2020-12-01 | 烽火通信科技股份有限公司 | 一种基于分布式存储Ceph的两节点实现方法及系统 |
| CN112383628A (zh) * | 2020-11-16 | 2021-02-19 | 北京中电兴发科技有限公司 | 一种基于流式存储的存储网关资源分配方法 |
| CN112383628B (zh) * | 2020-11-16 | 2021-06-18 | 北京中电兴发科技有限公司 | 一种基于流式存储的存储网关资源分配方法 |
| CN113391954A (zh) * | 2021-06-15 | 2021-09-14 | 上海英方软件股份有限公司 | 一种基于分布式架构的高可用数据备份方法及系统 |
| CN113722155A (zh) * | 2021-11-01 | 2021-11-30 | 苏州浪潮智能科技有限公司 | 一种分布式文件系统内数据备份及修复方法及相关组件 |
| CN114697353A (zh) * | 2022-05-27 | 2022-07-01 | 邹平市供电有限公司 | 一种分布式存储集群电网数据存储控制方法 |
| CN114697353B (zh) * | 2022-05-27 | 2022-09-06 | 邹平市供电有限公司 | 一种分布式存储集群电网数据存储控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109901951A (zh) | 一种ceph集群数据的存储系统及方法 | |
| CN109656911B (zh) | 分布式并行处理数据库系统及其数据处理方法 | |
| CN106341454B (zh) | 跨机房多活分布式数据库管理系统和方法 | |
| US8688773B2 (en) | System and method for dynamically enabling an application for business continuity | |
| CN104866395B (zh) | 数据备份方法及系统、主备切换方法及系统 | |
| US8504741B2 (en) | Systems and methods for performing multi-path storage operations | |
| US7447933B2 (en) | Fail-over storage system | |
| US9182918B2 (en) | Network storage systems having clustered raids for improved redundancy and load balancing | |
| CN101079896B (zh) | 一种构建并行存储系统多可用性机制并存架构的方法 | |
| CN104965850B (zh) | 一种基于开源技术的数据库高可用实现方法 | |
| US20160085468A1 (en) | Hierarchical systems and methods for performing data storage operations | |
| CN103246592B (zh) | 一种监控采集系统及方法 | |
| US20040073676A1 (en) | Computer system using a storage area network and method of handling data in the computer system | |
| CN103580906B (zh) | 一种数据备份的方法、系统及服务器 | |
| CN102088490B (zh) | 数据存储方法、设备和系统 | |
| CN101706805A (zh) | 对象存储方法及其系统 | |
| US20090106323A1 (en) | Method and apparatus for sequencing transactions globally in a distributed database cluster | |
| US20050120259A1 (en) | Information processing system and method | |
| CN103488546A (zh) | 一种支持多级别数据和数据库在线并发备份与恢复方法 | |
| US8527454B2 (en) | Data replication using a shared resource | |
| CN101277217B (zh) | 存储维护·管理装置的冗余化方法及使用该方法的装置 | |
| CN107623703A (zh) | 全局事务标识gtid的同步方法、装置及系统 | |
| CN116414661B (zh) | 分布式存储的固态硬盘处理方法和装置 | |
| CN113965459A (zh) | 基于consul进行主机网络监控实现计算节点高可用的方法 | |
| CN114363350A (zh) | 一种服务治理系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190618 |