CN110456984A - 一种对Ceph存储的块设备进行连续数据保护的方法 - Google Patents

一种对Ceph存储的块设备进行连续数据保护的方法 Download PDF

Info

Publication number
CN110456984A
CN110456984A CN201910544035.4A CN201910544035A CN110456984A CN 110456984 A CN110456984 A CN 110456984A CN 201910544035 A CN201910544035 A CN 201910544035A CN 110456984 A CN110456984 A CN 110456984A
Authority
CN
China
Prior art keywords
block device
ceph
data
log
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910544035.4A
Other languages
English (en)
Inventor
刘保
张有成
丁红
姚崎
许萍萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yicheng Information Technology Co Ltd
Original Assignee
Nanjing Yicheng Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yicheng Information Technology Co Ltd filed Critical Nanjing Yicheng Information Technology Co Ltd
Priority to CN201910544035.4A priority Critical patent/CN110456984A/zh
Publication of CN110456984A publication Critical patent/CN110456984A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明公开了一种对Ceph存储的块设备进行连续数据保护的方法，包括：1.Ceph向应用系统提供块设备；2.应用系统向块设备写入数据；3.Ceph集群将块设备的每一次更新操作做为日志记录到块设备日志区中；4.Ceph集群后台线程将数据从块设备的日志区刷新到对应的数据区；5.位于备份服务器上的日志抓取程序通过Ceph集群提供的接口，发现Ceph集群的块设备日志有变化后，从Ceph集群的块设备日志区中读取日志数据写入备份存储中；6.写入成功后，通知Ceph更新集群的块设备日志中的元数据，表示该块设备日志已经同步完成；7.继续5。本发明解决因数据逻辑错误而导致的关键业务数据的丢失或损坏。

Description

一种对Ceph存储的块设备进行连续数据保护的方法
技术领域
本发明涉及分布式存储技术领域，尤其涉及一种对Ceph存储的块设备进行连续数据保护的方法。
背景技术
Ceph是一个统一的分布式存储系统（可以看作是IT中的术语），具有高扩展性、高性能、高可靠性等优点。同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(Cephfs)，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。目前Ceph也是OpenStack的主流后端存储，广泛应用于各种私有云及公有云平台中。
Ceph对外提供三种服务，块存储、对象存储以及文件系统，在openstack中一般使用Ceph提供的块存储做为虚拟机的虚拟盘。
Ceph存储具有多副本技术，将数据分散存储到集群中的多个节点中，当其中一个或者多个节点损坏时，保证数据依然是完整的。
Ceph块存储提供快照功能，当数据发生逻辑错误、中病毒或者误删除等情况下，可以通过数据损坏前的快照，将数据恢复到损坏前的状态。
连续数据保护就是连续的捕捉数据的变化，然后将这些变化后的数据独立的进行保存。而且该方法可以实现过去任意一个时间点的数据恢复。连续数据保护系统可能基于块、文件或应用，并且为数量无限的可变恢复点提供精细的可恢复对象。
所有的连续数据保护解决方案都应当具备以下几个基本的特性：数据的改变受到连续的捕获和跟踪;所有的数据改变都存储在一个与主存储地点不同的独立地点中;恢复点目标是任意的，而且不需要在实际恢复之前事先定义。
Ceph的块设备快照，类似于定时备份，当数据发生逻辑错误后，快照之后新增加和修改的数据将会丢失。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种对Ceph存储的块设备进行连续数据保护的方法，可以在不影响Ceph存储性能的情况下，实现Ceph存储块设备的连续数据保护，解决因数据逻辑错误而导致的关键业务数据的丢失或损坏。
为实现上述目的，本发明提供了一种对Ceph存储的块设备进行连续数据保护的方法，包括以下步骤：
步骤1. Ceph向应用系统提供块设备；
步骤2. 应用系统向所述块设备写入数据；
步骤3.Ceph集群将对块设备的每一次更新操作做为日志记录到块设备日志区中；
步骤4.Ceph集群后台线程将数据从所述块设备日志区刷新到对应的数据区；
步骤5.位于备份服务器上的日志抓取程序通过Ceph集群提供的接口，发现Ceph集群的块设备日志有变化后，从Ceph集群的块设备日志区读取日志数据写入备份存储中；
步骤6.写入成功后，通知Ceph更新集群的块设备日志区中的元数据，表示所述块设备日志已经同步完成；
步骤7.继续步骤5。
上述备份服务器将所有的块设备日志按照日志写入的时间顺序存储起来，实现对块设备日志的统一管理。
通过遍历块设备日志，快速的重组任意一个时间的块设备数据。
上述Ceph集群发生数据错误或异常时，通过所述备份服务器中保存的块设备日志数据，生成任一指定时间点的块设备数据。
上述备份服务器中保存的历史日志数据，用于当生产数据发生逻辑错误时，通过保存的历史日志数据，将生产数据恢复到发生逻辑错误前的任一时间点。
上述备份服务器生成指定时间点的数据，在用户业务系统发生故障时接管用户的业务系统。
本发明的有益效果是：
1.实现灾难备份
当Ceph集群整个发生灾难时，可以通过备份服务器中保存的数据恢复数据。
2.解决数据逻辑错误
当生产数据发生逻辑错误，可以通过服务服务器中保存的历史数据，将生产数据恢复到发生逻辑错误前的任一时间点。
3.实现仿真演练
利用备份服务器中保存的日志数据,生成任一时间点的数据，用户可利用该数据进行仿真演练。
4.实现应急接管
当用户业务系统发生故障时，可快速的利用备份服务器中保存的日志数据，生成指定时间点的数据，接管用户的业务系统，减少因业务停机而带来的损失。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的结构示意图。
具体实施方式
如图1所示，本发明提供了一种对Ceph存储的块设备进行连续数据保护的方法，包括以下步骤：
步骤1. Ceph向应用系统提供块设备；
步骤2. 应用系统向块设备写入数据；
步骤3.Ceph集群将对块设备的每一次更新操作做为日志记录到块设备日志区中；
步骤4.Ceph集群后台线程将数据从块设备日志区刷新到对应的数据区；
步骤5.位于备份服务器上的日志抓取程序通过Ceph集群提供的接口，发现Ceph集群的块设备日志有变化后，从Ceph集群的块设备日志区读取日志数据写入备份存储中；
步骤6.写入成功后，通知Ceph更新集群的块设备日志区中的元数据，表示该块设备日志已经同步完成；
步骤7.继续步骤5。
本发明是通过利用Ceph自身的rbd journal功能，在本地或者异地备份服务器，通过模拟rbd mirror进程，抓取Ceph集群的块设备日志,将日志保存到备份存储中，备份服务器将所有的块设备日志按照日志写入的时间顺序存储起来，实现对块设备日志的统一管理，通过遍历块设备日志，可以快速的重组任意一个时间的块设备数据，当Ceph集群发生数据错误或异常时，可以通过备份服务器中的保存日志数据，生成任一指定时间点的数据，实现应急接管和灾难恢复。
本发明可以实现如下功能：
1.实现灾难备份
当Ceph集群整个发生灾难时，可以通过备份服务器中保存的数据恢复数据。
2.解决数据逻辑错误
当生产数据发生逻辑错误，可以通过备份服务器中保存的历史数据，将生产数据恢复到发生逻辑错误前的任一时间点。
3.实现仿真演练
利用备份服务器中保存的日志数据,生成任一时间点的数据，用户可利用该数据进行仿真演练。
4.实现应急接管
当用户业务系统发生故障时，可快速的利用备份服务器保存的日志数据生成指定时间点的数据，接管用户的业务系统，减少因业务停机而带来的损失。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (6)

1.一种对Ceph存储的块设备进行连续数据保护的方法，其特征在于，包括以下步骤：
步骤1. Ceph向应用系统提供块设备；
步骤2. 应用系统向所述块设备写入数据；
步骤3.Ceph集群将对块设备的每一次更新操作做为日志记录到块设备日志区中；
步骤4.Ceph集群后台线程将数据从所述块设备日志区刷新到对应的数据区；
步骤5.位于备份服务器上的日志抓取程序通过Ceph集群提供的接口，发现Ceph集群的块设备日志有变化后，从Ceph集群的块设备日志区读取日志数据写入备份存储中；
步骤6.写入成功后，通知Ceph更新集群的块设备日志区中的元数据，表示所述块设备日志已经同步完成；
步骤7.继续步骤5。
2.如权利要求1所述的对Ceph存储的块设备进行连续数据保护的方法，其特征在于：所述备份服务器将所有的块设备日志按照日志写入的时间顺序存储起来，实现对块设备日志的统一管理。
3.如权利要求2所述的对Ceph存储的块设备进行连续数据保护的方法，其特征在于：通过遍历块设备日志，快速的重组任意一个时间的块设备数据。
4.如权利要求1所述的对Ceph存储的块设备进行连续数据保护的方法，其特征在于：所述Ceph集群发生数据错误或异常时，通过所述备份服务器 中的保存块设备日志数据，生成任一指定时间点的块设备数据。
5.如权利要求1所述的对Ceph存储的块设备进行连续数据保护的方法，其特征在于：当生产数据发生逻辑错误时，通过备份服务器中保存的历史日志数据，将生产数据恢复到发生逻辑错误前的任一时间点。
6.如权利要求1所述的对Ceph存储的块设备进行连续数据保护的方法，其特征在于：所述备份服务器生成指定时间点的数据，在用户业务系统发生故障时接管用户的业务系统。
CN201910544035.4A 2019-06-21 2019-06-21 一种对Ceph存储的块设备进行连续数据保护的方法 Pending CN110456984A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910544035.4A CN110456984A (zh) 2019-06-21 2019-06-21 一种对Ceph存储的块设备进行连续数据保护的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910544035.4A CN110456984A (zh) 2019-06-21 2019-06-21 一种对Ceph存储的块设备进行连续数据保护的方法

Publications (1)

Publication Number Publication Date
CN110456984A true CN110456984A (zh) 2019-11-15

Family

ID=68480720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910544035.4A Pending CN110456984A (zh) 2019-06-21 2019-06-21 一种对Ceph存储的块设备进行连续数据保护的方法

Country Status (1)

Country Link
CN (1) CN110456984A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143128A (zh) * 2019-12-24 2020-05-12 南京壹进制信息科技有限公司 一种openstack云主机数据保护方法及系统
CN111245933A (zh) * 2020-01-10 2020-06-05 上海德拓信息技术股份有限公司 一种基于日志的对象存储追加写实现方法
CN111913916A (zh) * 2020-07-07 2020-11-10 泰康保险集团股份有限公司 一种文件重组的方法及设备
WO2023019953A1 (zh) * 2021-08-16 2023-02-23 中兴通讯股份有限公司 数据同步方法、系统、服务器及存储介质
CN117591345A (zh) * 2024-01-18 2024-02-23 柏科数据技术（深圳）股份有限公司 针对Ceph的数据同步方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997902A (zh) * 2009-08-28 2011-03-30 云端容灾有限公司 基于驿站分段传输的远程在线备份系统和方法
CN106776121A (zh) * 2016-11-23 2017-05-31 中国工商银行股份有限公司 一种数据灾备装置、系统及方法
CN108259569A (zh) * 2017-12-25 2018-07-06 南京壹进制信息技术股份有限公司 一种基于ipsan共享存储的无代理连续数据保护方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997902A (zh) * 2009-08-28 2011-03-30 云端容灾有限公司 基于驿站分段传输的远程在线备份系统和方法
CN106776121A (zh) * 2016-11-23 2017-05-31 中国工商银行股份有限公司 一种数据灾备装置、系统及方法
CN108259569A (zh) * 2017-12-25 2018-07-06 南京壹进制信息技术股份有限公司 一种基于ipsan共享存储的无代理连续数据保护方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杉岩数据: "《Ceph RBD mirror数据异步备份的具体实践》", 《HTTPS://WEIBO.COM/TTARTICLE/P/SHOW?ID=2309404095727902056657》 *
李航: "《分布式存储 Ceph RBD-Mirror 灾备实践》", 《HTTPS://WWW.INFOQ.CN/ARTICLE/9RDDKKPMU10*ZS9AHRWH》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143128A (zh) * 2019-12-24 2020-05-12 南京壹进制信息科技有限公司 一种openstack云主机数据保护方法及系统
CN111143128B (zh) * 2019-12-24 2023-08-18 南京壹进制信息科技有限公司 一种openstack云主机数据保护方法及系统
CN111245933A (zh) * 2020-01-10 2020-06-05 上海德拓信息技术股份有限公司 一种基于日志的对象存储追加写实现方法
CN111913916A (zh) * 2020-07-07 2020-11-10 泰康保险集团股份有限公司 一种文件重组的方法及设备
WO2023019953A1 (zh) * 2021-08-16 2023-02-23 中兴通讯股份有限公司 数据同步方法、系统、服务器及存储介质
CN117591345A (zh) * 2024-01-18 2024-02-23 柏科数据技术（深圳）股份有限公司 针对Ceph的数据同步方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110456984A (zh) 一种对Ceph存储的块设备进行连续数据保护的方法
US11314607B2 (en) Modifying aspects of a storage system associated with data mirroring
CN105389230B (zh) 一种结合快照技术的持续数据保护系统及方法
CN106662983B (zh) 分布式存储系统中的数据重建的方法、装置和系统
US11360689B1 (en) Cloning a tracking copy of replica data
US11099953B2 (en) Automatic data healing using a storage controller
US10565071B2 (en) Smart data replication recoverer
DE102021113808A1 (de) Handhabung von Replikationen zwischen verschiedenen Netzwerken
US20160004611A1 (en) Storage system with virtual disks
DE112020003423T5 (de) Architektur von virtuellem speichersystem
US20160004449A1 (en) Storage system with virtual disks
US20160004450A1 (en) Storage system with virtual disks
CN106502823A (zh) 数据云备份方法和系统
CN103763383A (zh) 一体化云存储系统及其存储方法
US11487463B2 (en) Adaptive replication modes in a storage system
CN106909475A (zh) 基于对象存储进行数据备份、恢复的方法和装置
CN109657007A (zh) 基于异步提交的数据库数据同步并行执行方法及设备
US11223678B2 (en) Establishing paths between servers in a copy environment for different copy relationships between the servers
CN106603279A (zh) 一种容灾方法和容灾系统
CN108319618A (zh) 一种分布式存储系统的数据分布控制方法、系统及装置
US11226746B2 (en) Automatic data healing by I/O
US10592362B2 (en) Modifying journaling associated with data mirroring within a storage system
CN109542684A (zh) 一种存储远程复制方法、装置、设备及存储介质
US10776224B2 (en) Recovery after service disruption during an active/active replication session
CN110046065A (zh) 一种存储阵列重建方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191115