CN102479118A - 数据块的增量备份方法 - Google Patents

数据块的增量备份方法 Download PDF

Info

Publication number
CN102479118A
CN102479118A CN2010105825036A CN201010582503A CN102479118A CN 102479118 A CN102479118 A CN 102479118A CN 2010105825036 A CN2010105825036 A CN 2010105825036A CN 201010582503 A CN201010582503 A CN 201010582503A CN 102479118 A CN102479118 A CN 102479118A
Authority
CN
China
Prior art keywords
incremental backup
data block
write
instruction
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010105825036A
Other languages
English (en)
Other versions
CN102479118B (zh
Inventor
陈鹏
陈志丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Zhongke Electric Co., Ltd.
Original Assignee
Inventec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inventec Corp filed Critical Inventec Corp
Priority to CN 201010582503 priority Critical patent/CN102479118B/zh
Publication of CN102479118A publication Critical patent/CN102479118A/zh
Application granted granted Critical
Publication of CN102479118B publication Critical patent/CN102479118B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据块的增量备份方法,包括:持续检测与储存装置连接的输入输出总线(input/output bus,IO总线),其中储存装置具有多个数据块;当由输入输出总线检测到对储存装置的写入指令时,将与写入指令对应的至少一数据块作为写入数据块,并将写入指令中的写入数据写入写入数据块,再依据写入指令更新增量备份文件;以及当接收备份指令时,将增量备份文件复制到备份指定目录成为当次增量备份,并初使化增量备份文件。

Description

数据块的增量备份方法
技术领域
本发明涉及一种数据块的增量备份(incremental backup)方法,特别是一种可大幅减少备份时所需时间的数据块的增量备份方法。
背景技术
诸如储存局域网络(Storage Area Network,SAN)等储存系统的技术被开发用来服务多个客户端(client),特别是大量被应用于保存企业数据。企业数据的量不但庞大,且内容极具价值,因此对于数据备份是非常重要的一个功能。
最传统的备份方式便是产生与原始文件一模一样的备份文件,并将备份文件保存在特别的目录底下。当原始文件因为硬盘坏轨或是储存系统当机等意外因素或是被使用者误删时,使用者或储存系统还能够找出备份文件作为补救。但是为了保存原始文件再各个时间点下不同版本的完整备份,这种备份方法需要极大的储存空间,对于储存系统来说负担极大。
为了改善个缺点,因而发展出了差异备份(differential backup)的技术。差异备份是再需要备份的时候每一次都比较目前版本的文件以及原始文件之间的差异,并保留差异的部分。但是由于差异备份每一次都是与原始文件相比,因此随着文件版本的增加,需要的储存空间还是相当大。且一但原始文件的数据量庞大时,差异备份需要花费非常大量的比对运算时间,并会几乎占据处理器的所有资源。
对此又发展出了增量备份(incremental backup)的技术。与差异备份不同的是,增量备份比对目前版本的文件与前一次版本之间的差异作为“增量”,并指保存此增量。然而为了避免在备份中目前版本的文件有所变更,在进行比较之前仍需将目前版本的文件先进行暂时性的备份,而占用储存空间。且执行现有技术的增量备份方法时,仍然需要花费庞大的比对运算时间以及处理器资源,而造成在进行增量备份时储存系统可能数时间都无法正常运作的状况。
发明内容
本发明所要解决的技术问题是提供一种此能够避免需要大量处理时间或是需要占用处理器的资源且更节省储存空间的数据块的增量备份方法。
为了实现上述目的,本发明提供了一种数据块的增量备份(incrementalbackup)方法,其适用于一储存装置。数据块的增量备份方法包括:持续检测与储存装置连接的一输入输出总线(input/output bus),其中储存装置具有多个数据块;当由输入输出总线检测到对储存装置的一写入指令时,执行以下步骤:将与写入指令对应的至少一个数据块作为一写入数据块,并将写入指令中的一写入数据写入写入数据块;以及依据写入指令,更新一增量备份文件;以及当接收一备份指令时,将增量备份文件复制到一备份指定目录成为一当次增量备份,并初使化增量备份文件。
其中增量备份文件可包括一文件头(file header)以及已写入写入数据的写入数据块。增量备份文件令包括一位图(bitmap),以标记被作为写入数据块的数据块。增量备份文件包括一数据块存取表(block allocation table,BAT),以记录写入数据块的一地址偏移量(offset)。而文件头包括一时间戳(timestamp)、一创建程序版本(creator vertion)、一磁盘逻辑(diskgeometry)、一磁盘类型(disk type)、一校验和(checksum)或是一唯一识别码(unique ID)。
此外,数据块的增量备份方法可以作为输入输出总线以及储存装置之间的一写入数据纪录驱动程序。而数据块的增量备份方法可以定期接收该备份指令。
本发明的技术效果在于:数据块的增量备份方法对应每一个写入指令实时更新增量备份文件;因此能够避免需要大量处理时间或是需要占用处理器的资源的问题,也较现有技术的方法更节省储存空间。且透过实时更新的方式,能够非常快速地完成增量备份的工作,并能提供更好的容灾效能。
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
附图说明
图1为本发明一实施例的增量备份文件的示意图;
图2为本发明一实施例的数据块的增量备份方法的流程图。
其中,附图标记
20输入输出总线
22写入数据纪录驱动程序
24储存装置
242磁盘设备
244卷设备
246数据块
26增量备份文件
具体实施方式
下面结合附图对本发明的结构原理和工作原理作具体的描述:
以下在实施方式中详细叙述本发明的详细特征以及优点,其内容足以使任何本领域的技术人员了解本发明的技术内容并据以实施,且根据本说明书所公开的内容、权利要求及附图,任何本领域的技术人员可轻易地理解本发明相关的目的及优点。
为了解决传统上进行增量备份(incremental backup)时耗费大量计算以及时间的问题,在此提出一种数据块的增量备份方法,其适用于一储存装置。请先参照图1,为一实施范例的增量备份文件的示意图。
一储存系统的处理器或是控制器(图未示)透过一输入输出总线(Input/Output bus,I/O bus)20对储存装置24进行存取的作业。其中储存系统作为一储存局域网络(Storage Area Network,SAN),但不以此为限。储存装置24可以包括磁盘阵列(redundant array of inexpensive drives,RAID)、逻辑卷管(logical volume management,LVM)或是硬盘(disk)等不同类型的硬设备,且每个硬设备的储存空间可个别被配置为多个数据块(data block)246。
在图1的实施范例之中,储存装置24包括一磁盘设备242以及一卷设备244,其中磁盘设备242与卷设备244包括其各自的数据块246。根据一实施例,数据块246的大小是4千字节(K byte,KB)。
而数据块的增量备份方法作为一写入数据纪录驱动程序22,写入数据纪录驱动程序22位于输入输出总线20以及储存装置24之间。由于所有对于储存装置24的存取作业都会经过输入输出总线20,因此所有对储存装置24的读取或写入动作都能够被写入数据纪录驱动程序22完全监控。
请配合图1并参考图2,图2为一实施例的数据块的增量备份方法的流程图。然而须注意的是,以下描述的数据块的增量备份方法乃是针对增量的部分进行处理。任何的增量备份再第一次执行时都需进行完整的备份,并在此完整备份上比对得到增量。
写入数据纪录驱动程序22持续检测与储存装置24连接的输入输出总线20(步骤S110),并判断是否由输入输出总线20检测到对储存装置24的一写入指令(步骤S120)。
若写入数据纪录驱动程序22没有检测到写入指令时,不需执行增量备分相关的动作。例如当检测到一读取指令时,写入数据纪录驱动程序22可以直接将读取指令传递(pass)给储存装置24;并将储存装置24对应读取指令而输出的一读取数据传递给输入输出总线20。
而当检测到对储存装置24的写入指令时,写入数据纪录驱动程序22将与写入指令对应的至少一个数据块246作为一写入数据块,并将写入指令中的一写入数据写入写入数据块(步骤S130)。也就是说,写入数据纪录驱动程序22先依据写入指令执行正常的写入作业。接着写入数据纪录驱动程序22依据写入指令,更新一增量备份文件(incremental backup file)26(步骤S140)。
增量备份文件26包括一文件头(file header)、一位图(bitmap)、一数据块存取表(block allocation table,BAT)以及写入数据。增量备份文件26可以对应整个储存装置24,亦可以只对应于磁盘设备242或卷设备244。然而增量备份文件26的对应范围是可以依实际需求由使用者自行定义的,因此在此并不对其进行限制。
举例而言,增量备份文件26的格式如下表所示。
  File header(512byte)
  Bitmap
  BAT
  Data block 1
  Data block 2
  ……
  Data block n
表1
其中file header包括一时间戳(timestamp)、一创建程序版本(creatorversion)、一磁盘逻辑(disk geometry)、一磁盘类型(disk type)、一校验和(checksum)、一唯一识别码(unique ID)或是一保留区(reserved)。
举例而言,file header的格式可以如下表所示。
  file header字段   所占大小(bytes)
  Timestamp   4
  Creator Version   4
  Disk Geometry   4
  Disk Type   4
  Checksum   4
  Unique ID   16
  Reserved   476
表2
其中timestamp纪录进行备份的时间;创建程序版本可表示储存系统采用的软件的版本;磁盘逻辑则可表示一镜像大小,也就是增量备份文件26所对应的储存空间的大小。
增量备份文件26的bitmap的每一个位代表增量备份文件26所对应的储存空间的每一个数据块246;且例如以“1”代表此数据块246已被写入或更改过。
BAT则表示有被写入或被更改过的数据块246的偏移量(offset),亦可视为对于此数据块246的指针(pointer)。对于未被写入数据而保持干净的数据块246,则可用一特定值(例如全为“0”的字符串)代替此数据块246的指针。
增量备份文件26中的数据块246则保留每一次写入时所造成的增量。更详细地说,写入数据纪录驱动程序22可以在每一次检测到写入指令时,都比对写入指令的写入数据以及目前增量备份文件26中的数据块246,并保留最新比对得到的增量。也就是说,写入数据纪录驱动程序22依据每一次写入指令对储存装置24造成的增量更新增量备份文件26中的数据块246。
写入数据纪录驱动程序22每次检测到写入指令后,都依据写入指令将写入数据正常地写入储存装置24,并依照上述的方式更新增量备份文件26。
写入数据纪录驱动程序22并可持续地判断是否接收一备份指令(步骤S150)。根据一实施例,储存系统会定期自动进行增量备份,而定期地对储存装置24发出备份指令。则写入数据纪录驱动程序22会定期地接收此备份指令。根据另一实施例,储存系统的使用者可手动下达备份指令,以在使用者指定的时间进行增量备份。
当接收备份指令时,写入数据纪录驱动程序22将增量备份文件26复制到一备份指定目录(backup assigned directory)成为一当次增量备份,并初使化增量备份文件26(步骤S160)。增量备份文件26可以视为一个暂存的文件,并可被存放于储存装置24会是其它的储存空间。当次增量备份则为可以被使用者或储存系统以一般方式存取的备份文件。真正进行增量备份时,写入数据纪录驱动程序22才将增量备份文件26复制到储存系统指定的备份指定目录,成为使用者能够正常存取的当次增量备份。
举例来说,储存系统可以固定在每天临晨三点要求进行增量备份。写入数据纪录驱动程序22会在24小时中不断监测写入指令并据以更新增量备份文件26,然后在临晨三点检测到备份指令时执行步骤S160。
综上所述,数据块的增量备份方法持续监控对于储存装置的写入指令,并对应每一个写入指令实时更新增量备份文件。因此每次更新增量备份文件时不需比对储存装置的所有数据块,而仅需比对与写入数据相关的数据块,而避免需要大量处理时间或是需要占用处理器的资源的问题。且在执行备份指令时并不需备份目前的数据块才进行比对,亦较现有技术的方法更节省储存空间。
再者,透过实时更新的方式,在执行备份指令时仅需轻松地将增量备份文件复制成当次增量备份,再将增量备份文件初始化。因此与现有技术的方式相较之下能够非常快速地完成增量备份的工作,更能够解决现有技术在进行增量备份时储存系统可能数时间都无法正常运作的问题。又由于写入数据纪录驱动程序一直维护(maintain)有增量备份文件,因此随时都保有最新最实时的备份以供储存系统进行修复,而较现有技术的增量备份方式具有更好的容灾效能。
当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种数据块的增量备份方法,适用于一储存装置,其特征在于,该数据块的增量备份方法包括:
持续检测与该储存装置连接的一输入输出总线,其中该储存装置具有多个数据块;
当由该输入输出总线检测到对该储存装置的一写入指令时,执行以下步骤:
将与该写入指令对应的至少一该数据块作为一写入数据块,并将该写入指令中的一写入数据写入该写入数据块;以及
依据该写入指令,更新一增量备份文件;以及
当接收一备份指令时,将该增量备份文件复制到一备份指定目录成为一当次增量备份,并初使化该增量备份文件。
2.如权利要求1所述的数据块的增量备份方法,其特征在于,定期接收该备份指令。
3.如权利要求1所述的数据块的增量备份方法,其特征在于,作为该输入输出总线以及该储存装置之间的一写入数据纪录驱动程序。
4.如权利要求1所述的数据块的增量备份方法,其特征在于,该增量备份文件包括一文件头以及已写入该写入数据的该写入数据块。
5.如权利要求4所述的数据块的增量备份方法,其特征在于,该增量备份文件包括一位图,以标记被作为该写入数据块的该数据块。
6.如权利要求4所述的数据块的增量备份方法,其特征在于,该增量备份文件包括一数据块存取表,以记录该写入数据块的一地址偏移量。
7.如权利要求4所述的数据块的增量备份方法,其特征在于,该文件头包括一时间戳、一创建程序版本、一磁盘逻辑、一磁盘类型、一校验和、一唯一识别码或是一保留区。
CN 201010582503 2010-11-30 2010-11-30 数据块的增量备份方法 Expired - Fee Related CN102479118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010582503 CN102479118B (zh) 2010-11-30 2010-11-30 数据块的增量备份方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010582503 CN102479118B (zh) 2010-11-30 2010-11-30 数据块的增量备份方法

Publications (2)

Publication Number Publication Date
CN102479118A true CN102479118A (zh) 2012-05-30
CN102479118B CN102479118B (zh) 2013-08-21

Family

ID=46091770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010582503 Expired - Fee Related CN102479118B (zh) 2010-11-30 2010-11-30 数据块的增量备份方法

Country Status (1)

Country Link
CN (1) CN102479118B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929998A (zh) * 2012-10-25 2013-02-13 浪潮(北京)电子信息产业有限公司 一种文件增量截获方法和装置
CN103064763A (zh) * 2012-12-27 2013-04-24 华为技术有限公司 一种数据备份方法及相关设备、系统
CN103530204A (zh) * 2013-10-15 2014-01-22 上海爱数软件有限公司 一种实时数据备份方法及系统
CN103761053A (zh) * 2013-12-30 2014-04-30 华为技术有限公司 一种数据处理方法和装置
CN105868053A (zh) * 2016-03-28 2016-08-17 上海上讯信息技术股份有限公司 一种基于数据块备份数据的方法与设备
CN107332904A (zh) * 2017-06-29 2017-11-07 郑州云海信息技术有限公司 一种跨存储系统的数据迁移方法、装置及系统
CN109725895A (zh) * 2018-12-29 2019-05-07 北京奇艺世纪科技有限公司 一种数据备份方法及装置
CN112988473A (zh) * 2021-05-10 2021-06-18 南京云信达科技有限公司 一种备份数据实时恢复方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1877539A (zh) * 2005-06-07 2006-12-13 英业达股份有限公司 冷启动模式下的数据备份/恢复系统及其实现方法
CN101149694A (zh) * 2007-11-02 2008-03-26 西安三茗科技有限责任公司 基于块级的增量备份和整卷恢复的方法
CN101256528A (zh) * 2008-03-20 2008-09-03 中国科学院计算技术研究所 支持零备份窗口的磁盘级数据备份系统和方法
JP2009259052A (ja) * 2008-04-17 2009-11-05 Murata Mach Ltd 画像処理装置及び画像処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1877539A (zh) * 2005-06-07 2006-12-13 英业达股份有限公司 冷启动模式下的数据备份/恢复系统及其实现方法
CN101149694A (zh) * 2007-11-02 2008-03-26 西安三茗科技有限责任公司 基于块级的增量备份和整卷恢复的方法
CN101256528A (zh) * 2008-03-20 2008-09-03 中国科学院计算技术研究所 支持零备份窗口的磁盘级数据备份系统和方法
JP2009259052A (ja) * 2008-04-17 2009-11-05 Murata Mach Ltd 画像処理装置及び画像処理システム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929998A (zh) * 2012-10-25 2013-02-13 浪潮(北京)电子信息产业有限公司 一种文件增量截获方法和装置
CN103064763A (zh) * 2012-12-27 2013-04-24 华为技术有限公司 一种数据备份方法及相关设备、系统
CN103530204A (zh) * 2013-10-15 2014-01-22 上海爱数软件有限公司 一种实时数据备份方法及系统
CN103530204B (zh) * 2013-10-15 2016-05-25 上海爱数信息技术股份有限公司 一种实时数据备份方法及系统
CN103761053A (zh) * 2013-12-30 2014-04-30 华为技术有限公司 一种数据处理方法和装置
CN103761053B (zh) * 2013-12-30 2017-08-25 华为技术有限公司 一种数据处理方法和装置
CN105868053A (zh) * 2016-03-28 2016-08-17 上海上讯信息技术股份有限公司 一种基于数据块备份数据的方法与设备
CN107332904A (zh) * 2017-06-29 2017-11-07 郑州云海信息技术有限公司 一种跨存储系统的数据迁移方法、装置及系统
CN109725895A (zh) * 2018-12-29 2019-05-07 北京奇艺世纪科技有限公司 一种数据备份方法及装置
CN112988473A (zh) * 2021-05-10 2021-06-18 南京云信达科技有限公司 一种备份数据实时恢复方法及系统
CN112988473B (zh) * 2021-05-10 2021-11-23 南京云信达科技有限公司 一种备份数据实时恢复方法及系统

Also Published As

Publication number Publication date
CN102479118B (zh) 2013-08-21

Similar Documents

Publication Publication Date Title
CN102479118B (zh) 数据块的增量备份方法
US7293145B1 (en) System and method for data transfer using a recoverable data pipe
US8819362B1 (en) Managing replication and reservations
US6959368B1 (en) Method and apparatus for duplicating computer backup data
US20070112895A1 (en) Block-based incremental backup
US8639898B2 (en) Storage apparatus and data copy method
US8818954B1 (en) Change tracking
US11093387B1 (en) Garbage collection based on transmission object models
US8301602B1 (en) Detection of inconsistencies in a file system
US8762337B2 (en) Storage replication systems and methods
US9165012B2 (en) Periodic file system checkpoint manager
US20130073819A1 (en) Efficient file system metadata scanning using scoped snapshots
US9218138B1 (en) Restoring snapshots to consistency groups of mount points
US10628298B1 (en) Resumable garbage collection
US8316196B1 (en) Systems, methods and computer readable media for improving synchronization performance after partially completed writes
US11429498B2 (en) System and methods of efficiently resyncing failed components without bitmap in an erasure-coded distributed object with log-structured disk layout
US10409691B1 (en) Linking backup files based on data partitions
CN111984465A (zh) 数据库远程备份方法、装置、介质和电子设备
CN106528338B (zh) 一种远程数据复制方法、存储设备及存储系统
JP2017062636A (ja) ストレージ装置およびストレージ制御プログラム
US7689877B2 (en) Method and system using checksums to repair data
US10503426B2 (en) Efficient space allocation in gathered-write backend change volumes
US20050154786A1 (en) Ordering updates in remote copying of data
US11281532B1 (en) Synchronously storing data in a dispersed storage network
US8429125B2 (en) Conversion of physical computers to virtualized environments method and system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhang Bin

Inventor after: Li Aiwu

Inventor after: Yang Lijun

Inventor after: Zhu Jingliang

Inventor after: Yao Haiying

Inventor after: Ma Zhimin

Inventor before: Chen Peng

Inventor before: Chen Zhifeng

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20170405

Address after: Yueyang economic and Technological Development Zone, Yueyang Road, Hunan branch of Industrial Park

Patentee after: Hunan Zhongke Electric Co., Ltd.

Address before: 300193 West Lake Road, Tianjin, No. 38, No.

Patentee before: Inventec Co., Ltd.

Patentee before: Inventec Corporation

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130821

Termination date: 20171130