CN110769062A - 一种分布式存储的异地灾备方法 - Google Patents

一种分布式存储的异地灾备方法 Download PDF

Info

Publication number
CN110769062A
CN110769062A CN201911037643.2A CN201911037643A CN110769062A CN 110769062 A CN110769062 A CN 110769062A CN 201911037643 A CN201911037643 A CN 201911037643A CN 110769062 A CN110769062 A CN 110769062A
Authority
CN
China
Prior art keywords
snapshot
rbd
cluster database
differential file
name
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911037643.2A
Other languages
English (en)
Inventor
李坤祥
史伟
闵宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Zhijiang Network Co Ltd
Guangdong Ruijiang Cloud Computing Co Ltd
Guangdong Eflycloud Computing Co Ltd
Original Assignee
Guangdong Zhijiang Network Co Ltd
Guangdong Ruijiang Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Zhijiang Network Co Ltd, Guangdong Ruijiang Cloud Computing Co Ltd filed Critical Guangdong Zhijiang Network Co Ltd
Priority to CN201911037643.2A priority Critical patent/CN110769062A/zh
Publication of CN110769062A publication Critical patent/CN110769062A/zh
Priority to JP2020042810A priority patent/JP2021072087A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Retry When Errors Occur (AREA)

Abstract

本发明公开了一种分布式存储的异地灾备方法及其系统，异地灾备方法步骤包括：在备集群数据库上创建一个rbd作为基础rbd；在主集群数据库上创建rbd的快照，并对快照进行命名；在主集群数据库上生成差量文件并命名，此差量文件的名称与前面的快照名一致；将差量文件导入备集群数据库的基础rbd中；在主集群数据库上查找rbd最近一次的快照，并确认备集群数据库上是否存在同名快照；若存在，在主集群数据库上继续创建rbd的新快照并命名；主集群数据库生成差量文件，并对其命名，差量文件的名称与步骤S4中同名快照的名称一致；将差量文件导入至备集群数据库的基础rbd中。本发明使得RBD‑mirror异地灾备能够快速读取数据且不重复，大大降低对ceph的性能影响。

Description

一种分布式存储的异地灾备方法
技术领域
本发明涉及存储数据灾备的技术领域，特别涉及一种基于差量文件的分布式存储的异地灾备方法。
背景技术
Ceph是一个软件定义的开源分布式对象存储解决方案，面向PB级的海量数据存储平台。随着近几年大数据的发展，因为在性能、可靠性和可扩展性方面具有优秀表现，Ceph在分布式存储领域获得到大量应用。作为一个企业级开源平台，Ceph可在标准经济型服务器和磁盘上提供统一的软件定义存储，将数据块、对象、文件的存储组合到一个平台，是一个可靠地、自动重均衡、自动恢复的分布式存储系统。Ceph能够实现简化的可扩展性，从而轻松满足用户的需求，且具有容错能力，并进一步减少单点故障。
RBD是Ceph的一个稀疏分配的块设备接口，其目标是允许Ceph直接进入现有的计算环境，访问文件/块卷的应用程序和虚拟环境时不需要重新架构，但仍然能够利用Ceph提供的大多数特性、功能和弹性。Ceph基于对象的模型的优点是：块设备和文件系统接口能够很好地用于快照、克隆和更好的负载均衡支持。
RBD-mirror是ceph集群间数据块设备之间的备份，这个功能可以实现集群级别的备份，跨地理位置的数据备份。目前，云提供商对异地灾备的技术手段一般都采用Rbd-mirror异地灾备方法，而RBD-mirror异地灾备方法具有下面一系列的缺点：1、同一份数据需要客户端要写两次；2、RBD-mirror对ceph的性能影响太大；3、备份过程不可控；4、增加运维的难度。
发明内容
本发明要解决的技术问题在于，提供一种分布式存储的异地灾备方法，利用RBD的差量导出导入的特殊，定时为主集群的RBD做快照，把两个相邻快照间的差量导出为临时文件，然后在备用集群中导入该差量文件；由于差量文件只是两个快照之间的差量数据，其数据量比较小，所以传输过程占用网络带宽较小；同时在主集群的RBD读写过程中并不会增加额外的流程，从而保证了读写性能。
为解决上述技术问题，本发明提供如下技术方案：一种分布式存储的异地灾备方法，包括以下步骤：
S1、在备集群数据库上创建一个rbd作为基础rbd；
S2、在主集群数据库上创建rbd的快照，并对快照进行命名；在主集群数据库上生成差量文件并命名，此差量文件的名称与前面的快照名一致；
S3、将差量文件导入备集群数据库的基础rbd中；
S4、在主集群数据库上查找rbd最近一次的快照，并确认备集群数据库上是否存在同名快照；若不存在，则将此快照备份到备集群数据库上；若存在，在主集群数据库上继续创建rbd的新快照并命名；
S5、主集群数据库生成差量文件，并对其命名，差量文件的名称与步骤S4中同名快照的名称一致；
S6、将差量文件导入至备集群数据库的基础rbd中，结合旧的rbd快照形成新的rbd快照后，删除主集群数据库以及备集群数据库上旧的rbd快照。
进一步地，所述步骤S1前还包括步骤S0、创建主集群数据库以及备集群数据库。
进一步地，所述步骤S2中的对快照进行命名，其命名方式具体为：快照对应设置唯一的id，id按照数字进行递增排列。
进一步地，所述步骤S6后还包括步骤S7、重复步骤S1-S6。
采用上述技术方案后，本发明至少具有如下有益效果：本发明基于RBD的差量文件进行数据调整，使得RBD-mirror异地灾备能够快速读取数据且不重复，大大降低对ceph的性能影响，并且避免了备份过程不可控情况发生，后期降低运维的难度。
附图说明
图1为本发明一种分布式存储的异地灾备方法步骤流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本申请作进一步详细说明。
实施例1
本发明提供一种基于差量文件的分布式存储的异地灾备方法，主要经过两次的备份过程，如图1所示，本发明方法步骤为：
第一次备份过程：
S10、创建主集群数据库以及备集群数据库；
S11、在备集群数据库上创建一个rbd作为基础rbd；
S12、在主集群数据库上创建rbd的快照，并对快照进行命名；在主集群数据库上生成差量文件并命名，此差量文件的名称与前面的快照名一致；其中，快照的命名方式可采用方式为：快照对应设置唯一的id，id按照数字进行递增方式顺序排列，例如从1、2、3、4、5、6、7、8、9、10…，又或者全是单数或双数；本发明的快照命名方式不止是仅采用数字命名方式，可以从多个具有规律性的格式进行命名；另外，下面步骤中差量文件的命名与此处快照的命名方式是一致的；
S13、将差量文件导入备集群数据库的基础rbd中；第一次备份完成；
第二次备份过程：
S14、在主集群数据库上查找rbd最近一次的快照，并确认备集群数据库上是否存在同名快照；若不存在，则将此快照备份到备集群数据库上；若存在，在主集群数据库上继续创建rbd的新快照并命名，进去下一步；
S15、主集群数据库生成差量文件，并对其命名，差量文件的名称与步骤S14中同名快照的名称一致；
S16、将差量文件导入至备集群数据库的基础rbd中，结合旧的rbd快照形成新的rbd快照后，删除主集群数据库以及备集群数据库上此rbd新快照的rbd旧快照；第二次备份完成；
S17、重复步骤S11-S16。
上述中，集群数据库在本技术领域中的技术用语为Ceph。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解的是，在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (4)

1.一种分布式存储的异地灾备方法，其特征在于，包括以下步骤：
S1、在备集群数据库上创建一个rbd作为基础rbd；
S2、在主集群数据库上创建rbd的快照，并对快照进行命名；在主集群数据库上生成差量文件并命名，此差量文件的名称与前面的快照名一致；
S3、将差量文件导入备集群数据库的基础rbd中；
S4、在主集群数据库上查找rbd最近一次的快照，并确认备集群数据库上是否存在同名快照；若不存在，则将此快照备份到备集群数据库上；若存在，在主集群数据库上继续创建rbd的新快照并命名；
S5、主集群数据库生成差量文件，并对其命名，差量文件的名称与步骤S4中同名快照的名称一致；
S6、将差量文件导入至备集群数据库的基础rbd中，结合旧的rbd快照形成新的rbd快照后，删除主集群数据库以及备集群数据库上旧的rbd快照。
2.根据权利要求1所述的一种分布式存储的异地灾备方法，其特征在于，所述步骤S1前还包括步骤S0、创建主集群数据库以及备集群数据库。
3.根据权利要求1所述的一种分布式存储的异地灾备方法，其特征在于，所述步骤S2中的对快照进行命名，其命名方式具体为：快照对应设置唯一的id，id按照数字进行递增排列。
4.根据权利要求1所述的一种分布式存储的异地灾备方法，其特征在于，所述步骤S6后还包括步骤S7、重复步骤S1-S6。
CN201911037643.2A 2019-10-29 2019-10-29 一种分布式存储的异地灾备方法 Pending CN110769062A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911037643.2A CN110769062A (zh) 2019-10-29 2019-10-29 一种分布式存储的异地灾备方法
JP2020042810A JP2021072087A (ja) 2019-10-29 2020-03-12 分散ストレージリモート自己修復プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911037643.2A CN110769062A (zh) 2019-10-29 2019-10-29 一种分布式存储的异地灾备方法

Publications (1)

Publication Number Publication Date
CN110769062A true CN110769062A (zh) 2020-02-07

Family

ID=69334289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911037643.2A Pending CN110769062A (zh) 2019-10-29 2019-10-29 一种分布式存储的异地灾备方法

Country Status (2)

Country Link
JP (1) JP2021072087A (zh)
CN (1) CN110769062A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672436A (zh) * 2021-07-30 2021-11-19 济南浪潮数据技术有限公司 一种容灾备份方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628378B2 (en) * 2013-09-03 2020-04-21 Tintri By Ddn, Inc. Replication of snapshots and clones
US11663025B2 (en) * 2013-09-23 2023-05-30 Bankvault Pty Ltd Maintenance of and caching of suspended virtual computers in a pool of suspended virtual computers
CN105993013B (zh) * 2014-12-27 2018-05-04 华为技术有限公司 一种数据处理方法装置及系统
US11003477B2 (en) * 2019-02-08 2021-05-11 Intel Corporation Provision of input/output classification in a storage system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672436A (zh) * 2021-07-30 2021-11-19 济南浪潮数据技术有限公司 一种容灾备份方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2021072087A (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
US20230087447A1 (en) Data migration method and device
CN106934048A (zh) 数据在线迁移方法、代理节点
CN107180113B (zh) 一种大数据检索平台
CN101763347A (zh) Gis接口平台、网络gis管理系统及管理方法
CN107528872A (zh) 一种数据恢复方法、装置及云存储系统
CN102955845A (zh) 数据访问方法、装置与分布式数据库系统
CN102981933A (zh) 物联网感知层的数据增量备份方法及系统
CN104065685A (zh) 面向云计算环境的分层存储系统中的数据迁移方法
CN103440290A (zh) 大数据加载系统和方法
CN105630919A (zh) 存储方法及系统
CN111078667A (zh) 一种数据迁移的方法以及相关装置
CN104933173A (zh) 一种用于异构多数据源的数据处理方法、装置和服务器
CN106339387B (zh) 一种数据库集群中新增服务器的数据同步方法及装置
US20240037119A1 (en) A method and device for storing data in a distributed database
CN112181967B (zh) 源数据质量的监测方法、装置、计算机设备及介质
CN111651519A (zh) 数据同步方法、数据同步装置、电子设备及存储介质
CN101419600A (zh) 基于面向对象文件系统的数据副本映射方法及装置
CN103365740B (zh) 一种数据冷备方法及装置
CN104408084A (zh) 一种大数据筛选方法及装置
CN110769062A (zh) 一种分布式存储的异地灾备方法
US8527478B1 (en) Handling bulk and incremental updates while maintaining consistency
CN111737226B (zh) 一种基于Redis集群优化HBase集群性能的方法
CN112699118A (zh) 数据同步方法及相应的装置、系统、存储介质
CN106326333A (zh) 一种网络审计系统数据库动态分表方法及装置
CN112115206A (zh) 一种处理对象存储元数据的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200207