CN104572340A - 增量备份系统及方法 - Google Patents

增量备份系统及方法 Download PDF

Info

Publication number
CN104572340A
CN104572340A CN201310493949.5A CN201310493949A CN104572340A CN 104572340 A CN104572340 A CN 104572340A CN 201310493949 A CN201310493949 A CN 201310493949A CN 104572340 A CN104572340 A CN 104572340A
Authority
CN
China
Prior art keywords
backup
data
cloud
temporary file
snapshot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310493949.5A
Other languages
English (en)
Inventor
才志辉
吕俊
黄梦明
张建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interconnected Co Ltd In Universe
Original Assignee
Interconnected Co Ltd In Universe
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interconnected Co Ltd In Universe filed Critical Interconnected Co Ltd In Universe
Priority to CN201310493949.5A priority Critical patent/CN104572340A/zh
Priority to TW102138382A priority patent/TW201516873A/zh
Priority to US14/514,875 priority patent/US20150112941A1/en
Publication of CN104572340A publication Critical patent/CN104572340A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/815—Virtual

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种增量备份系统及方法。该方法包括步骤创建需要备份VM数据的快照，将快照按预设值分成若干小块，生成若干临时文件；计算每个临时文件的MD5值；判断是否是初次备份，并在初次备份时，依次判断每个临时文件的MD5值是否与之前备份的VM数据的每个临时文件的MD5值相同，确定MD5值不同的临时文件；在是初次备份时，依次压缩所有临时文件，及在不是初次备份时，压缩与之前MD5值不同的临时文件；将压缩后的临时文件备份；及删除已拷贝的临时文件。该增量备份系统及方法，按预设值将快照分成若干小块从而生成若干临时文件，再次备份时只需要备份进行了修改的一份或几份临时文件，从而节省了时间和资源。

Description

增量备份系统及方法
技术领域
本发明涉及互联网技术领域，特别涉及一种用于云存储系统的增量备份系统及方法。
背景技术
现有的云存储系统将云存储节点的虚拟机VM数据进行备份时，通常将VM数据整体备份，再次备份时，仍然将VM数据整体备份。例如，在VM数据有1G的情况下，再次备份时，需要再次将1G文件全部备份。如果仅对VM数据中的一小部分进行了修改，却仍然需要大浪的时间将全部VM数据进行备份，浪费了时间和资源。
发明内容
本发明提供一种增量备份系统及方法。
一种云存储系统内的增量备份系统，运行在云存储系统的云存储层上，该云存储层由至少一个通过网络互联的云存储节点组成。该增量备份系统包括：一分块模块，用于创建需要备份VM数据的快照，即创建需要备份VM数据的副本，将快照按预设值分成若干小块，从而生成若干临时文件；一计算模块，用于计算每个临时文件的MD5值；一判断模块，用于判断该需要备份VM数据是否是初次备份，并在需要备份VM数据不是初次备份时，依次判断每个临时文件的MD5值是否与之前备份的VM数据的每个临时文件的MD5值相同，从而确定MD5值不同的临时文件；一压缩模块，用于在需要备份VM数据是初次备份时，依次压缩所有临时文件，及在需要备份VM数据不是初次备份时，压缩与之前MD5值不同的临时文件；一拷贝模块，用于将压缩后的临时文件备份；及一删除模块，用于删除已拷贝的临时文件。
一种云存储系统内的增量备份方法，运行在云存储系统的云存储层上，该云存储层由至少一个通过网络互联的云存储节点组成，该方法包括步骤：创建需要备份VM数据的快照，即创建需要备份VM数据的副本，将快照按预设值分成若干小块，从而生成若干临时文件；计算每个临时文件的MD5值；判断该需要备份VM数据是否是初次备份，并在需要备份VM数据不是初次备份时，依次判断每个临时文件的MD5值是否与之前备份的VM数据的每个临时文件的MD5值相同，从而确定MD5值不同的临时文件；在需要备份VM数据是初次备份时，依次压缩所有临时文件，及在需要备份VM数据不是初次备份时，压缩与之前MD5值不同的临时文件；将压缩后的临时文件备份；及删除已拷贝的临时文件。
本发明的增量备份系统及方法，对需要备份的VM数据进行快照，按预设值将快照分成若干小块，从而生成若干临时文件，再次备份时只需要备份进行了修改的一份或几份临时文件，不需要备份全部VM数据，从而节省了时间和资源。
附图说明
图1是本发明优选实施方式下云存储系统的系统结构图。
图2图1中的云存储层中运行的增量备份系统的系统结构图。
图3是图2中的增量备份系统备份VM数据的方法流程图。
主要元件符号说明
云存储系统 1
全局调度层 10
云存储层 20
云存储节点 A，B，…，N
增量备份系统 200
请求模块 201
获取模块 202
分块模块 203
计算模块 204
判断模块 205
压缩模块 206
拷贝模块 207
删除模块 208
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
请参阅图1，是本发明优选实施方式下云存储系统的系统结构图。该云存储系统1包括全局调度层10和云存储层20。所述全局调度层10由至少一个备份服务器组成。所述云存储层20由至少一个云存储节点A，B，…，N组成，所述云存储节点A，B，…，N之间通过网络互联。所述云存储层20的每个云存储节点A，B，…，N通过云连云管理系统(Inter Cloud Management System)与全局调度层10连接。
每一云存储节点为一物理主机，具有若干逻辑卷。每一云存储节点内可运行多个虚拟机(Virtual machine)，如云存储节点A运行有VM1，VM2；云存储节点B运行有VM3，VM4。每一虚拟机可运行在多个逻辑卷上。
全局调度层10接收一个或多个云存储节点A，B，…，N的请求备份VM数据的请求，确定可备份位置以备份VM数据。具体的，全局调度层10根据所有云存储节点A，B，…，N的物理磁盘的使用情况，从云存储节点A，B，…，N中确定可备份位置以备份VM数据，该部分具体内容可参考申请人同时申请名为“全局调度系统及方法”的专利申请文件。
每一云存储节点A，B，…，N内运行一增量备份系统200。在云存储节点A，B，…，N中的一个或多个需要备份VM数据时，该节点内的增量备份系统200发出备份VM数据请求至全局调度层10，并根据全局调度层10确定的可备份位置，将需要备份的VM数据备份至全局调度层提供的可备份位置。
图2图1中的云存储层20中运行的增量备份系统200的系统结构图。具体的，增量备份系统200包括一请求模块201、一获取模块202、一分块模块203、一计算模块204、一判断模块205、一压缩模块206、一拷贝模块207及一删除模块208。各模块的具体功能将结合图3进行说明。
图3是图2中的增量备份系统200备份VM数据的方法流程图。
步骤S301中，请求模块201发送备份VM数据的请求至全局调度层10。
步骤S302中，获取模块202获取全局调度层10确定的可备份位置。
步骤S303中，分块模块203创建需要备份VM数据的快照，即创建需要备份VM数据的副本。
步骤S304中，分块模块203将快照按预设值分成若干小块，从而生成若干临时文件。
步骤S305中，计算模块204计算每个临时文件的MD5值。
步骤S306中，判断模块205判断该需要备份VM数据是否是初次备份，若是，流程至步骤S307，若否，流程至步骤S310。
步骤S307中，压缩模块206依次压缩所有临时文件。
步骤S308中，拷贝模块207将压缩后的临时文件拷贝至全局调度层10确定的可备份位置。
步骤S309中，删除模块208删除已拷贝的临时文件。
步骤S310中，判断模块205依次判断每个临时文件的MD5值是否与之前备份的VM数据的每个临时文件的MD5值相同，从而确定MD5值不同的临时文件。MD5值不同意味着该块临时文件进行了修改。
步骤S311中，压缩模块206压缩与之前MD5值不同的临时文件，后流程至步骤S308。
由于需要备份的VM数据可保存在云存储节点的多个逻辑卷上，因此，增量备份系统200的分块模块203可对每个逻辑卷分别创建快照，并将每个逻辑卷对应的快照按预设值分成若干小块，从而生成若干临时文件。
以上增量备份系统200及方法，对需要备份的VM数据进行快照，按预设值将快照分成若干小块，从而生成若干临时文件，再次备份时只需要备份进行了修改的一份或几份临时文件，不需要备份全部VM数据，从而节省了时间和资源。

Claims (9)

1.一种云存储系统内的增量备份系统，运行在云存储系统的云存储层上，该云存储层由至少一个通过网络互联的云存储节点组成，其特征在于，该增量备份系统包括：
一分块模块，用于创建需要备份VM数据的快照，即创建需要备份VM数据的副本，将快照按预设值分成若干小块，从而生成若干临时文件；
一计算模块，用于计算每个临时文件的MD5值；
一判断模块，用于判断该需要备份VM数据是否是初次备份，并在需要备份VM数据不是初次备份时，依次判断每个临时文件的MD5值是否与之前备份的VM数据的每个临时文件的MD5值相同，从而确定MD5值不同的临时文件；
一压缩模块，用于在需要备份VM数据是初次备份时，依次压缩所有临时文件，及在需要备份VM数据不是初次备份时，压缩与之前MD5值不同的临时文件；
一拷贝模块，用于将压缩后的临时文件备份；及
一删除模块，用于删除已拷贝的临时文件。
2.如权利要求1所述的增量备份系统，其特征在于，该云存储系统还包括一全局调度层，用于确定可备份位置以备份虚拟机VM数据，该增量备份系统还包括一请求模块，用于发送备份VM数据的请求至全局调度层；一获取模块，用于获取全局调度层确定的可备份位置；及所述拷贝模块，用于将压缩后的临时文件拷贝至全局调度层确定的可备份位置。
3.如权利要求1所述的增量备份系统，其特征在于，该分块模块对每个逻辑卷分别创建快照，并将每个逻辑卷对应的快照按预设值分成若干小块，从而生成若干临时文件。
4.如权利要求1所述的增量备份系统，其特征在于，所述云存储层的每个云存储节点通过云连云管理系统（Inter Cloud Management System）与全局调度层连接。
5.如权利要求1所述的增量备份系统，其特征在于，所述每一云存储节点内运行一增量备份系统。
6.一种云存储系统内的增量备份方法，运行在云存储系统的云存储层上，该云存储层由至少一个通过网络互联的云存储节点组成，该方法包括步骤：
创建需要备份VM数据的快照，即创建需要备份VM数据的副本，将快照按预设值分成若干小块，从而生成若干临时文件；
计算每个临时文件的MD5值；
判断该需要备份VM数据是否是初次备份，并在需要备份VM数据不是初次备份时，依次判断每个临时文件的MD5值是否与之前备份的VM数据的每个临时文件的MD5值相同，从而确定MD5值不同的临时文件；
在需要备份VM数据是初次备份时，依次压缩所有临时文件，及在需要备份VM数据不是初次备份时，压缩与之前MD5值不同的临时文件；
将压缩后的临时文件备份；及
删除已拷贝的临时文件。
7.如权利要求6所述的增量备份方法，其特征在于，该云存储系统还包括一全局调度层，用于确定可备份位置以备份虚拟机VM数据，该方法还包括步骤：发送备份VM数据的请求至全局调度层；获取全局调度层确定的可备份位置；及所述将压缩后的临时文件备份具体为：将压缩后的临时文件拷贝至全局调度层确定的可备份位置。
8.如权利要求6所述的增量备份方法，其特征在于，所述创建需要备份VM数据的快照，即创建需要备份VM数据的副本，将快照按预设值分成若干小块，从而生成若干临时文件的步骤具体为：对每个逻辑卷分别创建快照，并将每个逻辑卷对应的快照按预设值分成若干小块，从而生成若干临时文件。
9.如权利要求6所述的增量备份方法，其特征在于，所述云存储层的每个云存储节点通过云连云管理系统（Inter Cloud Management System）与全局调度层连接。
CN201310493949.5A 2013-10-18 2013-10-18 增量备份系统及方法 Pending CN104572340A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310493949.5A CN104572340A (zh) 2013-10-18 2013-10-18 增量备份系统及方法
TW102138382A TW201516873A (zh) 2013-10-18 2013-10-24 增量備份系統及方法
US14/514,875 US20150112941A1 (en) 2013-10-18 2014-10-15 Backup management system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310493949.5A CN104572340A (zh) 2013-10-18 2013-10-18 增量备份系统及方法

Publications (1)

Publication Number Publication Date
CN104572340A true CN104572340A (zh) 2015-04-29

Family

ID=52827105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310493949.5A Pending CN104572340A (zh) 2013-10-18 2013-10-18 增量备份系统及方法

Country Status (3)

Country Link
US (1) US20150112941A1 (zh)
CN (1) CN104572340A (zh)
TW (1) TW201516873A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446061A (zh) * 2016-09-06 2017-02-22 上海云轴信息科技有限公司 用于存储虚拟机镜像的方法及设备
WO2018001375A1 (zh) * 2016-06-30 2018-01-04 中兴通讯股份有限公司 物理到虚拟的迁移方法、物理服务器、虚拟服务器及系统
CN112015459A (zh) * 2020-10-14 2020-12-01 湖南新云网科技有限公司 一种镜像文件的升级方法、装置、终端及可读存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996429B1 (en) * 2015-04-14 2018-06-12 EMC IP Holding Company LLC Mountable container backups for files
US10078555B1 (en) 2015-04-14 2018-09-18 EMC IP Holding Company LLC Synthetic full backups for incremental file backups
US9946603B1 (en) 2015-04-14 2018-04-17 EMC IP Holding Company LLC Mountable container for incremental file backups
US10061660B1 (en) 2015-10-27 2018-08-28 EMC IP Holding Company LLC Cross-platform instant granular recovery for virtual machine backups
CN105930101A (zh) * 2016-05-04 2016-09-07 中国人民解放军国防科学技术大学 一种基于闪存固态盘的弱指纹重复数据删除机制
CN106776147B (zh) * 2016-12-29 2020-10-09 华为技术有限公司 一种差异数据备份方法和差异数据备份装置
CN108959614A (zh) * 2018-07-17 2018-12-07 郑州云海信息技术有限公司 一种快照管理方法、系统、装置、设备及可读存储介质
WO2021114025A1 (zh) * 2019-12-09 2021-06-17 深圳市欢太科技有限公司 增量数据确定方法、确定装置、服务器及终端设备
CN111930556A (zh) * 2020-10-14 2020-11-13 广东睿江云计算股份有限公司 一种分布式存储数据的备份方法及其装置
US11663086B2 (en) * 2020-10-15 2023-05-30 EMC IP Holding Company LLC File system slicing in network attached storage for data protection
US11836350B1 (en) 2022-07-25 2023-12-05 Dell Products L.P. Method and system for grouping data slices based on data file quantities for data slice backup generation
US12007845B2 (en) 2022-07-25 2024-06-11 Dell Products L.P. Method and system for managing data slice backups based on grouping prioritization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1567262A (zh) * 2003-06-10 2005-01-19 联想(北京)有限公司 基于数据卷快照的在线数据备份方法
CN101753617A (zh) * 2009-12-11 2010-06-23 中兴通讯股份有限公司 一种云存储系统和方法
US8335902B1 (en) * 2008-07-14 2012-12-18 Vizioncore, Inc. Systems and methods for performing backup operations of virtual machine files
CN102981931A (zh) * 2012-12-03 2013-03-20 中国联合网络通信集团有限公司 虚拟机备份方法及装置
CN103019888A (zh) * 2012-12-21 2013-04-03 华为技术有限公司 备份方法与装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7328366B2 (en) * 2003-06-06 2008-02-05 Cascade Basic Research Corp. Method and system for reciprocal data backup
US8121966B2 (en) * 2008-06-05 2012-02-21 International Business Machines Corporation Method and system for automated integrated server-network-storage disaster recovery planning
CN101499098B (zh) * 2009-03-04 2012-07-11 阿里巴巴集团控股有限公司 一种网页评估值的确定及运用的方法、系统
EP2425341B1 (en) * 2009-05-01 2018-07-11 Citrix Systems, Inc. Systems and methods for establishing a cloud bridge between virtual storage resources
US8538919B1 (en) * 2009-05-16 2013-09-17 Eric H. Nielsen System, method, and computer program for real time remote recovery of virtual computing machines
US8285681B2 (en) * 2009-06-30 2012-10-09 Commvault Systems, Inc. Data object store and server for a cloud storage environment, including data deduplication and data management across multiple cloud storage sites
US20120084445A1 (en) * 2010-10-05 2012-04-05 Brock Scott L Automatic replication and migration of live virtual machines
US20140006482A1 (en) * 2012-07-02 2014-01-02 Vmware, Inc. Method and system for providing inter-cloud services
US9391801B2 (en) * 2013-08-13 2016-07-12 Vmware, Inc. Virtual private networks distributed across multiple cloud-computing facilities

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1567262A (zh) * 2003-06-10 2005-01-19 联想(北京)有限公司 基于数据卷快照的在线数据备份方法
US8335902B1 (en) * 2008-07-14 2012-12-18 Vizioncore, Inc. Systems and methods for performing backup operations of virtual machine files
CN101753617A (zh) * 2009-12-11 2010-06-23 中兴通讯股份有限公司 一种云存储系统和方法
CN102981931A (zh) * 2012-12-03 2013-03-20 中国联合网络通信集团有限公司 虚拟机备份方法及装置
CN103019888A (zh) * 2012-12-21 2013-04-03 华为技术有限公司 备份方法与装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘小威: "基于重复数据检测的网络差异备份系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018001375A1 (zh) * 2016-06-30 2018-01-04 中兴通讯股份有限公司 物理到虚拟的迁移方法、物理服务器、虚拟服务器及系统
CN106446061A (zh) * 2016-09-06 2017-02-22 上海云轴信息科技有限公司 用于存储虚拟机镜像的方法及设备
CN112015459A (zh) * 2020-10-14 2020-12-01 湖南新云网科技有限公司 一种镜像文件的升级方法、装置、终端及可读存储介质

Also Published As

Publication number Publication date
US20150112941A1 (en) 2015-04-23
TW201516873A (zh) 2015-05-01

Similar Documents

Publication Publication Date Title
CN104572340A (zh) 增量备份系统及方法
US10528430B2 (en) Optimized backup of clusters with multiple proxy servers
CN102902600B (zh) 有效的应用感知的灾难恢复
CN102594849B (zh) 数据备份、恢复方法、虚拟机快照删除、回滚方法及装置
US20210011817A1 (en) Virtual Machine Recovery Method and Virtual Machine Management Device
US9377964B2 (en) Systems and methods for improving snapshot performance
CN110427284B (zh) 数据处理方法、分布式系统、计算机系统和介质
WO2018098972A1 (zh) 一种日志恢复方法、存储装置和存储节点
JP5243851B2 (ja) データをバックアップする方法
CN102262591B (zh) 用于内存复制系统进行垃圾回收的方法和系统
KR101374533B1 (ko) 대용량 데이터에 대한 고성능 복제 및 백업 시스템과, 고성능 복제 방법
CN110825562B (zh) 数据备份方法、装置、系统和存储介质
CN108351821A (zh) 数据恢复方法及存储设备
CN104750573A (zh) 分布式数据系统数据节点的全局一致性备份和还原方法
CN105376329A (zh) 一种远程在线备份虚拟机的方法
CN111666266A (zh) 一种数据迁移方法及相关设备
CN112003895B (zh) OpenStack云平台中云主机疏散方法、装置、设备及存储介质
CN107391303B (zh) 数据处理方法、装置、系统、服务器及计算机存储介质
CN104461404A (zh) 元数据存储方法、装置以及系统
CN114090179A (zh) 有状态服务的迁移方法、装置及服务器
CN111143323B (zh) Mpp数据库管理方法、装置及系统
CN106991020B (zh) 对图像级备份的文件系统对象的有效处理
US8312237B2 (en) Automated relocation of in-use multi-site protected data storage
JP6943008B2 (ja) 制御プログラム、制御方法、及び情報処理装置
US9921918B1 (en) Cloud-based data backup and management

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150429

WD01 Invention patent application deemed withdrawn after publication