CN112799881A - 一种云文件存储系统的备份与恢复装置及方法 - Google Patents

一种云文件存储系统的备份与恢复装置及方法 Download PDF

Info

Publication number
CN112799881A
CN112799881A CN202110101683.XA CN202110101683A CN112799881A CN 112799881 A CN112799881 A CN 112799881A CN 202110101683 A CN202110101683 A CN 202110101683A CN 112799881 A CN112799881 A CN 112799881A
Authority
CN
China
Prior art keywords
backup
file
metadata
storage system
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110101683.XA
Other languages
English (en)
Inventor
王大帅
王方
闵瑞
李超
高传集
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202110101683.XA priority Critical patent/CN112799881A/zh
Publication of CN112799881A publication Critical patent/CN112799881A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种云文件存储系统的备份与恢复装置及方法，属于云计算技术领域。本发明的云文件存储系统的备份与恢复装置包括备份程序模块和备份存储模块，备份程序模块执行于服务器上，服务器通过文件存储接口和文件存储系统进行对接，所述备份存储模块来保存做好的备份的系统。该发明的云文件存储系统的备份与恢复装置能够降低云文件存储系统备份占用的临时资源，减少备份系统成本，具有很好的推广应用价值。

Description

一种云文件存储系统的备份与恢复装置及方法
技术领域
本发明涉及云计算技术领域，具体提供一种云文件存储系统的备份与恢复装置及方法。
背景技术
文件存储系统是应用非常广泛的存储系统，文件存储系统的使用对象是用户，几乎所有的公司都会有一个共享文件存储系统，用来办公文件的共享。
对文件存储系统的备份非常重要，传统的文件存储系统有很多备份方案，如Dump、Tar等，但是这些备份方案往往不适用于对现有的云文件存储系统。云文件存储系统备份的备份存储终点一般都是另外的云存储，如对象存储，而传统文件存储的备份终点一般是另一个文件存储系统。
在云文件存储系统备份时，需要将文件系统先备份到一个临时区域中，在这个临时区域里进行转换与整理后传入备份的云存储中。如果采用整体备份的方案，会导致临时区域空间占用过大，导致成本升高。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种能够降低云文件存储系统备份占用的临时资源，减少备份系统成本的云文件存储系统的备份与恢复装置。
本发明进一步的技术任务是提供一种云文件存储系统的备份与恢复方法。
为实现上述目的，本发明提供了如下技术方案：
一种云文件存储系统的备份与恢复装置，包括备份程序模块和备份存储模块，备份程序模块执行于服务器上，服务器通过文件存储接口和文件存储系统进行对接，所述备份存储模块来保存做好的备份的系统。
该云文件存储系统的备份与恢复装置支持云文件存储系统的备份与恢复方法，支持增量备份和分块备份，在分块备份时，将文件存储系统中的文件的元数据扫描存储到单个文件中，将整个文件系统中的文件数据进行分块打包，打包的同时将打包好的文件数据提交到备份存储后端，并将提交完的备份包删除；增量备份时，下载基础备份的元数据文件，将有变化的文件的数据进行备份，并将元数据存储在文件中；恢复时，创建命名管道，将备份存储后端的备份块作为流输入到命名管道中，并在命名管道的输出端进行文件系统的恢复。
作为优选，所述备份程序模块运行的服务器为虚拟机或物理机，可对接到备份存储系统上。
作为优选，所述备份存储模块为对象存储系统或另一文件系统。
一种云文件存储系统的备份与恢复方法，该方法支持增量备份和分块备份，在分块备份时，将文件存储系统中的文件的元数据扫描存储到单个文件中，将整个文件系统中的文件数据进行分块打包，打包的同时将打包好的文件数据提交到备份存储后端，并将提交完的备份包删除；增量备份时，下载基础备份的元数据文件，将有变化的文件的数据进行备份，并将元数据存储在文件中；恢复时，创建命名管道，将备份存储后端的备份块作为流输入到命名管道中，并在命名管道的输出端进行文件系统的恢复。
作为优选，通过备份程序模块的运行，来实现增量备份、分块备份和恢复过程。
作为优选，增量备份生成系统元数据和文件元数据，系统元数据保存云文件存储系统当前的文件目录结构和所有的文件的元数据，文件数据保存着每一个文件的具体内容。
其中所有的文件的元数据包括更改时间、权限、创建时间和md5值。
作为优选，增量备份过程中，进行全量备份时，生成系统元数据与文件数据，并上传至备份存储后端，进行增量备份时，取到系统元数据，并生成云文件存储系统的元数据，并对比两元数据的不同，对新增的与更改的文件数据进行备份；在恢复过程中，进行全量恢复时，取得备份的系统元数据与文件数据，按照系统元数据生成文件目录，并将文件数据填入，在进行增量恢复时，将基准文件系统恢复，下载增量的系统元数据与文件数据，依据系统元数据系统，将文件数据恢复，并根据系统元数据信息，将基准文件系统中存在而元数据中不存在的文件删除。
作为优选，分块备份过程针对文件数据，备份文件数据时，将文件数据放至备份程序所在的服务器上进行打包，将文件数据顺序排列在包中，当包的大小达到设定值时截断并传输到备份存储后端，开始打包下一个，且每个包传输完毕则删除。
作为优选，所述恢复过程采用流式恢复，针对文件数据，创建新的命名管道后，启动两个线程，一个线程从存储备份后端拉下来备份文件，依次向命名管道内输入，另一个线程则负责从命名管道中取出来数据，恢复成云文件存储系统中的文件。
与现有技术相比，本发明的云文件存储系统的备份与恢复方法具有以下突出的有益效果：所述云文件存储系统的备份与恢复方法可以支持云文件存储系统的增量备份功能，且做到了分块备份与流式恢复，降低了对备份机空间的需求，并且可以减少备份的时间。该方法可以适用于所有的支持文件存储接口标准的云文件存储系统，并且对备份存储目的设备的限制小。因此本方法是一种适用面很广的云文件存储备份方法，可以使用在大部分的云文件存储系统上，具有良好的推广应用价值。
具体实施方式
下面将结合实施例，对本发明的云文件存储系统的备份与恢复装置及方法作进一步详细说明。
实施例
本发明的云文件存储系统的备份与恢复装置，包括备份程序模块和备份存储模块，备份程序模块执行于服务器上，服务器通过文件存储接口和文件存储系统进行对接，所述备份存储模块来保存做好的备份的系统。备份程序模块运行的服务器为虚拟机或物理机，可对接到备份存储系统上。备份存储模块为对象存储系统或另一文件系统。
本发明的云文件存储系统的备份与恢复方法，支持增量备份和分块备份，在分块备份时，将文件存储系统中的文件的元数据扫描存储到单个文件中，将整个文件系统中的文件数据进行分块打包，打包的同时将打包好的文件数据提交到备份存储后端，并将提交完的备份包删除；增量备份时，下载基础备份的元数据文件，将有变化的文件的数据进行备份，并将元数据存储在文件中；恢复时，创建命名管道，将备份存储后端的备份块作为流输入到命名管道中，并在命名管道的输出端进行文件系统的恢复。
云文件存储系统指任何可以提供通用云文件存储接口的系统，如NFS服务器、Amazon EFS等。备份程序是实现专利方法的程序，该程序执行于一台服务器上，可以是虚拟机也可以是物理机，该服务器可以通过文件存储接口和文件存储系统进行对接，并且可以对接到备份存储系统上。备份存储系统是指任何可以保存做好后的备份的系统，可以是对象存储系统、也可以是另一个文件系统。
该云文件存储系统的备份与恢复方法通过备份程序模块的运行，来实现增量备份、分块备份和恢复过程。
备份程序模块运行步骤如下：
1、增量备份的实现
该备份方法生成的备份分为两个部分：系统元数据与文件数据。
系统元数据保存着云文件存储系统当前的文件目录结构、所有的文件的元数据(更改时间、权限、创建时间、md5值等)。文件数据则保存着每一个文件的具体内容。
进行全量备份时，会直接生成系统元数据与文件数据，并上传至备份存储后端。当进行增量备份时，需要将保存在远端的基准备份的系统元数据取到，然后生成云文件存储系统的元数据，通过对比两份元数据的不同，可以找到哪些文件是新增的以及哪些文件被更改了，增量备份只需要将新增的与更改的文件数据进行备份即可。
在恢复时，如果是全量恢复的话，直接将备份的系统元数据与文件数据取得，然后按照系统元数据，一级一级的生成文件目录，并将文件数据填入。如果是增量恢复的话，会首先将基准文件系统进行恢复，随后下载增量的系统元数据与文件数据，依据系统元数据信息，将文件数据恢复到原本的位置，最后根据系统元数据信息，将基准文件系统中存在而元数据中不存在的文件删除掉。
2、分块备份的实现
分块备份针对的是上述两个备份部分中的文件数据，系统元数据是很小的，不需要进行分块，而文件数据非常大，基本上与云文件存储系统的大小相仿。
在备份文件数据时，首先需要将文件数据拉到备份程序所在的服务器上进行打包。如果打包功能做到云文件存储系统中的话，一是会增加文件存储的压力，影响正常的业务，二是降低了方法的普适性，无法适用于所有情况，如使用的是无法更改的第三方的文件存储系统。
分块备份采取的是边打包边上传，即打包和上传是同时进行的。打包时将一个个的文件数据顺序排列在包中，当包的大小达到设定值的时候进行截断，开始打下一个包，同时上一个包开始往备份的存储后端传输。每个包传输完毕后，马上被删除掉。这样就减少了对本地存储的空间要求，增加了空间利用率。
采用分块备份，可以充分利用空间，且由于备份打包同时进行，还可以减少备份的总时间。
备份时采用分块备份而非流式备份，主要是因为备份存储后端可能对单个文件有限制，可能无法接受一个几百GB甚至几TB的文件，因此采用分块备份，可以避开存储后端对单个文件的大小限制。
3、流式恢复
流式恢复使用到了命名管道。命名管道是简单的进程间通讯的方式，可以被不同进程以不同方式调用，是一种FIFO对象。
与分块备份一样，流式恢复也是针对的文件数据。在流式恢复时，会首先创建一个新的命名管道，随后会启动两个线程，一个线程负责从存储备份后端拉下来备份文件，将其依次向命名管道内输入，另一个线程则负责从命名管道中取出来数据，将其恢复成云文件存储系统中的文件。流式恢复大部分的操作都是在内存中进行的，因此占用的本地存储空间非常少。
两个线程的速度完全匹配，当一个线程阻塞时，另一个线程也随之暂停。因此流式恢复的性能取决于下载备份文件与恢复文件这两步中较慢的那一步。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (9)

1.一种云文件存储系统的备份与恢复装置，其特征在于：包括备份程序模块和备份存储模块，备份程序模块执行于服务器上，服务器通过文件存储接口和文件存储系统进行对接，所述备份存储模块来保存做好的备份的系统。
2.根据权利要求1所述的云文件存储系统的备份与恢复装置，其特征在于：所述备份程序模块运行的服务器为虚拟机或物理机，可对接到备份存储系统上。
3.根据权利要求2所述的云文件存储系统的备份与恢复装置，其特征在于：所述备份存储模块为对象存储系统或另一文件系统。
4.一种云文件存储系统的备份与恢复方法，其特征在于：该方法支持增量备份和分块备份，在分块备份时，将文件存储系统中的文件的元数据扫描存储到单个文件中，将整个文件系统中的文件数据进行分块打包，打包的同时将打包好的文件数据提交到备份存储后端，并将提交完的备份包删除；增量备份时，下载基础备份的元数据文件，将有变化的文件的数据进行备份，并将元数据存储在文件中；恢复时，创建命名管道，将备份存储后端的备份块作为流输入到命名管道中，并在命名管道的输出端进行文件系统的恢复。
5.根据权利要求4所述的云文件存储系统的备份与恢复方法，其特征在于：通过备份程序模块的运行，来实现增量备份、分块备份和恢复过程。
6.根据权利要求5所述的云文件存储系统的备份与恢复方法，其特征在于：增量备份生成系统元数据和文件元数据，系统元数据保存云文件存储系统当前的文件目录结构和所有的文件的元数据，文件数据保存着每一个文件的具体内容。
7.根据权利要求6所述的云文件存储系统的备份与恢复方法，其特征在于：增量备份过程中，进行全量备份时，生成系统元数据与文件数据，并上传至备份存储后端，进行增量备份时，取到系统元数据，并生成云文件存储系统的元数据，并对比两元数据的不同，对新增的与更改的文件数据进行备份；在恢复过程中，进行全量恢复时，取得备份的系统元数据与文件数据，按照系统元数据生成文件目录，并将文件数据填入，在进行增量恢复时，将基准文件系统恢复，下载增量的系统元数据与文件数据，依据系统元数据系统，将文件数据恢复，并根据系统元数据信息，将基准文件系统中存在而元数据中不存在的文件删除。
8.根据权利要求7所述的云文件存储系统的备份与恢复方法，其特征在于：分块备份过程针对文件数据，备份文件数据时，将文件数据放至备份程序所在的服务器上进行打包，将文件数据顺序排列在包中，当包的大小达到设定值时截断并传输到备份存储后端，开始打包下一个，且每个包传输完毕则删除。
9.根据权利要求8所述的云文件存储系统的备份与恢复方法，其特征在于：所述恢复过程采用流式恢复，针对文件数据，创建新的命名管道后，启动两个线程，一个线程从存储备份后端拉下来备份文件，依次向命名管道内输入，另一个线程则负责从命名管道中取出来数据，恢复成云文件存储系统中的文件。
CN202110101683.XA 2021-01-26 2021-01-26 一种云文件存储系统的备份与恢复装置及方法 Pending CN112799881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110101683.XA CN112799881A (zh) 2021-01-26 2021-01-26 一种云文件存储系统的备份与恢复装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110101683.XA CN112799881A (zh) 2021-01-26 2021-01-26 一种云文件存储系统的备份与恢复装置及方法

Publications (1)

Publication Number Publication Date
CN112799881A true CN112799881A (zh) 2021-05-14

Family

ID=75811748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110101683.XA Pending CN112799881A (zh) 2021-01-26 2021-01-26 一种云文件存储系统的备份与恢复装置及方法

Country Status (1)

Country Link
CN (1) CN112799881A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113268379A (zh) * 2021-05-19 2021-08-17 刘东朝 一种高速公路机电工程系统
CN115496021A (zh) * 2022-11-15 2022-12-20 南京芯驰半导体科技有限公司 系统芯片的自动化测试方法、装置、芯片、设备及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030182301A1 (en) * 2002-03-19 2003-09-25 Hugo Patterson System and method for managing a plurality of snapshots
US20070185934A1 (en) * 2006-02-03 2007-08-09 Cannon David M Restoring a file to its proper storage tier in an information lifecycle management environment
US20130111262A1 (en) * 2010-05-03 2013-05-02 Panzura, Inc. Providing disaster recovery for a distributed filesystem
US9244927B1 (en) * 2008-09-30 2016-01-26 Emc Corporation System and method for record level multiplexing of backup data to storage media
US20170075771A1 (en) * 2015-09-10 2017-03-16 International Business Machines Corporation Backup and restoration of file system
US20170091296A1 (en) * 2015-09-25 2017-03-30 Netapp, Inc. Object storage backed file system
CN109582443A (zh) * 2018-12-06 2019-04-05 国网江西省电力有限公司信息通信分公司 基于分布式存储技术的虚拟机备份系统
US10387381B1 (en) * 2016-10-03 2019-08-20 EMC IP Holding Company LLC Data management using an open standard file system interface to a storage gateway
US20200272544A1 (en) * 2019-02-25 2020-08-27 Datto, Inc. Object-Level Metadata-Preserving Cross Heterogeneous Operating Systems Backup And Restore Apparatuses, Methods And Systems
US20200341855A1 (en) * 2019-04-28 2020-10-29 Synamedia Object store specialized backup and point-in-time recovery architecture
CN112069127A (zh) * 2020-09-01 2020-12-11 南京卓盛云信息科技有限公司 一种CephFS文件系统的备份方法及系统
CN112214358A (zh) * 2020-10-30 2021-01-12 上海爱数信息技术股份有限公司 一种GaussDB分布式数据库的备份恢复系统及其方法
CN113946471A (zh) * 2021-10-11 2022-01-18 浪潮云信息技术股份公司 基于对象存储的分布式文件级备份方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030182301A1 (en) * 2002-03-19 2003-09-25 Hugo Patterson System and method for managing a plurality of snapshots
US20070185934A1 (en) * 2006-02-03 2007-08-09 Cannon David M Restoring a file to its proper storage tier in an information lifecycle management environment
US9244927B1 (en) * 2008-09-30 2016-01-26 Emc Corporation System and method for record level multiplexing of backup data to storage media
US20130111262A1 (en) * 2010-05-03 2013-05-02 Panzura, Inc. Providing disaster recovery for a distributed filesystem
US20170075771A1 (en) * 2015-09-10 2017-03-16 International Business Machines Corporation Backup and restoration of file system
US20170091296A1 (en) * 2015-09-25 2017-03-30 Netapp, Inc. Object storage backed file system
US10387381B1 (en) * 2016-10-03 2019-08-20 EMC IP Holding Company LLC Data management using an open standard file system interface to a storage gateway
CN109582443A (zh) * 2018-12-06 2019-04-05 国网江西省电力有限公司信息通信分公司 基于分布式存储技术的虚拟机备份系统
US20200272544A1 (en) * 2019-02-25 2020-08-27 Datto, Inc. Object-Level Metadata-Preserving Cross Heterogeneous Operating Systems Backup And Restore Apparatuses, Methods And Systems
US20200341855A1 (en) * 2019-04-28 2020-10-29 Synamedia Object store specialized backup and point-in-time recovery architecture
CN112069127A (zh) * 2020-09-01 2020-12-11 南京卓盛云信息科技有限公司 一种CephFS文件系统的备份方法及系统
CN112214358A (zh) * 2020-10-30 2021-01-12 上海爱数信息技术股份有限公司 一种GaussDB分布式数据库的备份恢复系统及其方法
CN113946471A (zh) * 2021-10-11 2022-01-18 浪潮云信息技术股份公司 基于对象存储的分布式文件级备份方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113268379A (zh) * 2021-05-19 2021-08-17 刘东朝 一种高速公路机电工程系统
CN115496021A (zh) * 2022-11-15 2022-12-20 南京芯驰半导体科技有限公司 系统芯片的自动化测试方法、装置、芯片、设备及系统

Similar Documents

Publication Publication Date Title
US7797279B1 (en) Merging of incremental data streams with prior backed-up data
CN100547555C (zh) 一种基于指纹的数据备份系统
CN106250270B (zh) 一种云计算平台下的数据备份方法
US9348830B2 (en) Back up using locally distributed change detection
US9152686B2 (en) Asynchronous replication correctness validation
JP5260536B2 (ja) プライマリー・クラスタの高速リカバリ
US9483359B2 (en) Systems and methods for on-line backup and disaster recovery with local copy
US9152643B2 (en) Distributed data store
US9448893B1 (en) Asynchronous replication correctness validation
US20150309882A1 (en) Systems and methods for minimizing network bandwidth for replication/back up
US20150301900A1 (en) Systems and methods for state consistent replication
CN110109778B (zh) 一种大量小数据文件备份方法及恢复方法
CN112799881A (zh) 一种云文件存储系统的备份与恢复装置及方法
US9146813B2 (en) Presenting a file system for a file containing items
CN103455631A (zh) 一种数据处理方法、装置及系统
CN102957717A (zh) 一种云备份服务的本地缓存设备
US7506116B2 (en) Maintaining and using information on updates to a data group after a logical copy is made of the data group
CN102339321A (zh) 具有版本控制的网络文件系统及方法
CN107957920A (zh) 数据库备份系统
US9002906B1 (en) System and method for handling large transactions in a storage virtualization system
US20210357140A1 (en) Restoring a storage system using file relocation metadata
US7512756B2 (en) Performance improvement for block span replication
CN109451004A (zh) 基于云网桥的云存储系统及方法
CN112214358A (zh) 一种GaussDB分布式数据库的备份恢复系统及其方法
CN107506265A (zh) 一种基于互联网的差异性远程文件备份与恢复系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210514

RJ01 Rejection of invention patent application after publication