CN104040481B - 用于融合、存储和检索增量式备份数据的方法和系统 - Google Patents

用于融合、存储和检索增量式备份数据的方法和系统 Download PDF

Info

Publication number
CN104040481B
CN104040481B CN201280056692.0A CN201280056692A CN104040481B CN 104040481 B CN104040481 B CN 104040481B CN 201280056692 A CN201280056692 A CN 201280056692A CN 104040481 B CN104040481 B CN 104040481B
Authority
CN
China
Prior art keywords
snapshot
data
index data
index
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280056692.0A
Other languages
English (en)
Other versions
CN104040481A (zh
Inventor
S·瓦阿达阿简
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Software Inc Co Of Dell
Original Assignee
Software Inc Co Of Dell
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Software Inc Co Of Dell filed Critical Software Inc Co Of Dell
Publication of CN104040481A publication Critical patent/CN104040481A/zh
Application granted granted Critical
Publication of CN104040481B publication Critical patent/CN104040481B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • G06F11/1451Management of the data involved in backup or backup restore by selection of backup contents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/84Using snapshots, i.e. a logical point-in-time copy of the data

Abstract

一种管理备份数据的方法。该方法包括经由备份管理器存取初始快照的索引数据并经由所述备份管理器存取随后快照的索引数据。该方法还包括经由所述备份管理器判断所述随后快照的索引数据是否与所述初始快照的索引数据不同。响应于判断所述随后快照的索引数据与所述初始快照的索引数据不同,创建更新的索引数据并采用所述更新的索引数据来创建更新的快照。

Description

用于融合、存储和检索增量式备份数据的方法和系统
相关申请的交叉引用
本专利申请要求于2011年11月18日提交的U.S.专利申请No.61/561,621的优先权,该申请以应用的方式结合于此。
技术领域
本发明一般设计计算机系统并且更特别地,设计用于有效融合、存储和检索增量式备份数据的方法和系统,但并不限于该限定的方式。
现有技术
现在,可靠的数据备份是计算机系统的重要需求。传统的备份系统通常通过将文件系统复制到数据存储媒介(诸如磁带或光盘)上来执行备份。对于包含大量数据的文件系统,复制处理常常花费很长的时间。因此,传统的备份执行得相对少,诸如每日或每周。最近,已经提供了“快照”型备份系统和/或程序,该系统和/或程序能够在每次用户请求的情况下更加频繁地存储备份数据。然而,使用备份数据来恢复特定文件或其他存储的对象,诸如特定的之前版本的文件,用户需要经历漫长的恢复操作。可能包括文件的每个备份数据设置被用于将源数据设置“恢复”为与备份数据相关联的状态,并接着所恢复的数据设置的文件系统被遍历以搜索需要的文件。这种恢复和浏览方式消耗过多的时间和资源,特别地利用越来越频繁地产生的备份数据,允许如“快照”及相关的技术。因此,具有一种使用户更快并更容易访问备份数据中的特定文件和其他对象的方式是有益的。
此外,随着信息的价值和使用的持续增长,个人和商业寻求处理和存储信息的其他方式。一种可用于用户的选择是信息处理系统。信息处理系统一 般对信息或数据进行处理、编译、存储和/或传达,以用于商业、个人或其他目的,因而允许用户利用信息的价值。因为技术和信息处理需要并要求在不同用户或应用之间进行变化,信息处理系统还可以改变关于处理什么信息、怎样处理、存储或传达信息,以及怎样快速并有效地处理、存储或传达信息。信息处理系统中的改变允许信息处理系统被整体或配置用于特定用户或特定的使用,诸如金融事务处理、飞机票预订、企业数据存储或全球通信。此外,信息处理系统可以包括可以被配置为处理、存储和传达信息的各种硬件和软件组件,还可以包括一个或多个计算机系统、数据存储系统和网络连接系统。
发明内容
一种管理备份数据的方法。该方法包括经由备份管理器存取初始快照的索引数据以及经由所述备份管理器存取随后快照的索引数据。该方法还包括经由所述备份管理器判断所述随后快照的索引数据是否与所述初始快照的索引数据不同。响应于判断所述随后快照的索引数据与所述初始快照的索引数据不同,创建更新的索引数据以及采用所述更新的索引数据来创建更新的快照。
一种信息处理系统。该系统包括备份管理器,可互操作地耦合至客户端,并适于提供以预定间隔进行初始快照和随后快照并创建初始索引数据和随后索引数据的指示。所述备份管理器存取所述初始索引数据和所述随后索引数据,并响应于判断所述随后索引数据与所述初始索引数据不同来存取更新的快照和更新的索引数据。
一种用于管理备份数据的产品,包括至少一个计算机可读介质和处理器指令,该处理器指令包含在所述至少一个计算机可读介质上,所述处理器指令被配置为通过至少一个处理器可读所述至少一个计算机可读介质并因而 使所述至少一个处理器操作以执行:经由备份管理器存取初始快照的索引数据、经由所述备份管理器存取随后快照的索引数据、经由所述备份管理器判断所述随后快照的索引数据是否与所述初始快照的索引数据不同。响应于判断所述随后快照的索引数据与所述初始快照的索引数据不同,创建更新的索引数据并采用所述更新的索引数据来创建更新的快照。
附图说明
可以通过参照以下结合附图的具体说明获得对本发明的方法和系统的更加完整的理解,其中:
图1是根据示例性实施方式的用于执行备份操作的备份系统的框图;
图2示出了根据示例性实施方式的快照的索引结构;
图3示出了根据示例性实施方式的汇总操作;以及
图4是根据示例性实施方式示出数据汇总的流程图。
具体实施方式
将参照附图对本发明的实施方式进行更加充分的描述。然而,本发明可以以多种不同的形式实施,并且不应当被限制于这里所述的实施方式。本发明应当被考虑仅由现在及与其等同的权利要求所限定。
随着备份数据的量继续呈指数增长,更需要有效的存档和检索数据的机制。现代的备份处理包括,例如,基于影像的备份和增量式备份。基于影像的备份处理为用于计算机或虚拟机(VM)的备份处理,该备份处理创造了操作系统(OS)及所有与其相关联的数据(包括系统状态和应用配置)的复制品。备份被保存为单个文件,该单个文件被称为影像。相反,增量式备份是仅幅值自上次备份以后改变的文件的备份处理。例如,如果全部备份在星期一执行,星期二的增量式备份将仅备份自星期一的备份以后改变的文件。 星期三的增量式备份将仅备份自星期二的增量式备份以后改变的文件。增量式备份的至少一个好处在于每天备份较少的文件,允許较短的备份窗口。
图1是根据示例性实施方式的用于执行备份操作的备份系统的框图。备份系统100包括客户端102、信息存储104、备份管理器105和存储设备112。客户端102包括至少一个数据代理107。在一般的实施方式中,数据代理107可以被实施为例如计算机代码、硬件设备、软件/硬件组合或任何其他适当的系统。通常,数据代理107负责从信息存储104中检索数据。存储在信息存储104中的数据从属于备份操作并系统性地包括所组织的数据组,诸如文件、目录、数据库或其他适当的数据对象。数据代理107提供至信息存储104的接口以执行数据备份,该数据备份包括例如复制数据、获取数据并携带数据组的大量快照106。
在典型的实施方式中,数据管理器105可以为例如软件模块或协调并控制备份系统100的其他组件(例如,客户端105和存储设备1112)的应用程序。备份管理器105包括例如索引服务模块108和索引数据库110。在典型的实施方式中,索引服务模块108管理索引数据库110。备份管理器105与数据代理107进行通信以控制和管理备份操作,诸如,快照创建、数据转移、数据恢复及其他备份操作。根据示例性实施方式,备份数据文件可以被存储在信息存储104、索引数据库110和存储设备112中的至少一者中。在典型的实施方式中,存储设备112可以为面向对象的数据库,诸如对象存储(Objectstore)数据库。对象存储数据库是商业对象数据库,该数据库被设计为处理通过使用面向对象编程技术的应用程序来创建的数据。
如图1所示的示例,备份系统100包括从属于备份操作的数据。例如,用于备份的数据包括各种类型的系统上组织的数据组,该数据组包括文件、目录、数据库或其他适当的数据对象。在典型的实施方式中,用于备份的数据文件可以位于例如数据存储104中。根据示例性实施方式,数据组的多个 快照106在不同的时间进行。这里所使用的術語”快照”是指文件或设备的虚拟复制品以及模仿文件或设备在进行快照的精确时间的状况。快照不是数据组的复制品,而仅是在数据组怎样被组织的时间的图片。在典型的实施方式中,快照可以固定的间隔进行并提供用于备份操作的数据组的一致看法。
各种用于进行快照的技术在不同的系统实施中被采用。例如,在一些系统中,特定目的的设备驱动器在数据组被创建或修改时复制在多个盘上的数据组。在系统发出进行快照的命令时,指定的盘上的数据组被保存并用作用于备份目的的数据组的快照。最大数量的快照依赖于备份系统的实施。不同的快照可以使用例如各种数字、时间戳或其他适当的识别技术而被识别。在一些实施方式中,为了给新的快照腾出空间,较旧的快照可以被删除或重写。
根据示例性实施方式,备份管理器105发出以预定间隔(诸如每三十分钟)对信息存储104内的数据组进行快照106的命令。备份管理器105可以进一步实施需要对自初始快照106以后发生改变的数据组进行快照106的规则、策略或指令集合。同样地,随后快照106仅复制改变的数据组。在典型的实施方式中,数据代理107监控信息存储104中的数据组以为了得到任何的改变。当在数据组中的改变被识别时,数据组被公开并且他们的内容通过索引服务模块108进行索引。
在典型的实施方式中,索引服务模块108管理索引数据库110。所以数据库110包括对应于有关在多个快照106中的数据对象的信息的索引数据。索引数据为备份系统100提供用于定位、浏览、搜索或另外索引存储在多个快照106中的数据.对象的有效的机制。在典型的实施方式中,索引服务模块108被配置为基于对在多个快照106中的数据对象的修改来更新索引数据库110内的索引数据。
为了避免存储大小的增长,诸如备份系统100的备份系统采取保留策略。例如,考虑以每15分钟或一天96个增量式备份而进行增量式快照的备份系 统。在这种设置中,组织保留策略可以规定两周之前的备份应当减少至30分钟的分辨率(resolution)或将一个月之前的备份应当减少至一个小时的分辨率。此外,保留策略可以进一步规定三个月之前的备份应当减少至一天的分辨率。这种减少快照分辨率的保留策略大大减少了磁盘存储块中大量的重复复制品。这通过将更高分辨率的快照与单个较低分辨率快照融合来实现。将更高分辨率的快照与单个较低分辨率快照融合简称是汇总操作。
为了实施汇总操作,备份系统阅读连续快照集合中的所有索引数据,其中索引数据标识了在该快照中改变的特定磁盘页以及对应的快照数据文件中磁盘页的内容的位置。接下来,汇总操作将磁盘页的最近复制品写出至新的快照数据文件并将其对应的索引数据写入新的快照索引文件。该操作继续进行直至连续快照集合中所有快照索引数据入口均用完。以上公开的实施保留策略的方法在需要的存储读取和写入操作的数量上是昂贵的。而索引数据入口很小(如,很少比特),磁盘页通常非常大(如,几百个比特至即使/几百个千比特)。读取磁盘页并将其写入新的快照文件代表在汇总处理中是非常昂贵的操作,并且,这种为了适度大小的备份操作的保留策略诱发的融合操作通常要花费超过八个小时。
文件系统中存储的基本单位是被配置为存储任意大量的数据的文件。文件系统保持非常大量的元数据以追踪每个文件的内容。因此,文件系统不适于存储小片段的数据。与文件系统相反,在对象存储中,提取的基本单位是表示固定量数据的对象。对象存储提供了创建、读取或写入全部对象的方法。通过更多的限制该文件系统,对象存储需要非常少的元数据来表示对象并且高效地用于存储小数据。
为了融合文件系统中两个文件的内容,每个文件的内容被读取并被写入第三个文件,即使两个文件的内容未发生改变。这导致了极高的IO负载,这种极高的IO负载使汇总操作出现高度的效率低下。为了给汇总操作创建 有效机制,示例性实施方式利用存储小单元数据中的对象存储的效率。根据示例性实施方式,每个磁盘页被存储为通过对象存储中的对象标识符标识的唯一对象。相应地,快照索引文件将改变的页关联至对象存储中的对象。利用用于汇总操作的对象存储的示例性实施方式现在包括在磁盘页与包含其数据的对象的对象标识符之间创建新的映射。同样地,示例性汇总操作不需要读取或写入对象自身,而仅仅是他们的标识符。因为标识符比所引用的对象的内容小几千倍,所以示例性汇总操作相应地比当前备份系统快几千倍。
在一个替代的解决方案中,每个磁盘页可以被存储在文件系统中的不同文件中,而不是对象存储中的对象。该过程因为对应于包含磁盘页的文件的文件系统元数据几乎与导致存储的无效使用的磁盘页一样大而不是有效的。此外,包含对应于磁盘页的文件的文件系统目录包含使文件访问极其慢的极其大量的文件(如,几百万至几十亿的文件)。同样地,不是很喜欢使用文件系统。
图2示出了快照的示例性索引结构。在典型的实施方式中,索引结构200属于至少一个快照106(如图1所示)。在示例性实施方式中,索引结构200以表格形式实施,该表格形式包括例如第一列204和第二列202。第一列204代表第一索引项而第二列202代表第二索引项。在典型的实施方式中,第二索引项将快照106内的数据对象与对象标识符(OI1-OIn)相关联。第一索引项标识快照106(P1-Pn)内的数据对象的位置或页码。对象标识符(OI1-OIn)和页码(P1-Pn)包括用于访问快照106中的数据对象的信息。
在典型的实施方式中,由对象标识符OI1-OIn表示的对象数据被存储为唯一对象并且被进一步分派了唯一对象存储标识符Ob1-Obn。唯一对象存储标识符Ob1-Obn被存储在例如存储设备112(如图1所示)中。在典型的实施方式中,可以为面向对象的数据库的存储设备112诸如对象存储数据库。唯一对象存储标识符Ob1-Obn由参考数字206示出。在图2的示例中,对象标 识符OI1对应于快照106内的特定数据组,而页码P1指向快照106内的数据组OI1的位置。对象标识符OI1进一步由唯一对象存储标识符Ob1标识。
图3示出了根据示例性实施方式的汇总操作。在典型的实施方式中,示例性汇总操作利用示例性备份系统100来操作。现在参照图1-3,快照A-B示出了连续快照集合中的索引结构302、306。根据示例性实施方式,快照A是在由备份管理器105定义的间隔而执行的数据组的快照。备份管理器105可以进一步实施需要对自初始快照A以后发生改变的数据组进行快照的规则、策略或指令集合。同样地,随后快照B显示了仅复制自初始快照A以后改变的数据组。
在示例性实施方式中,索引结构302以表格形式实施,该表格形式包括例如第一列304和第二列305。第一列304包括第一索引项而第二列305包括第二索引项。如以上关于图2所公开的,在典型的实施方式中,第一索引项304将快照A内的数据对象与对象标识符(OI1,OI2,OI3,OI18)相关联。第二索引项305标识快照A(P1,P2,P3,P18)内的数据对象的位置或页码。对象标识符(OI1,OI2,OI3,OI18)和页码(P1,P2,P3,P18)包括用于访问快照A中的数据对象的信息。例如,在快照A中,对象标识符OI1对应于快照A内的数据组,而页码P1指向快照A内的数据组OI1的位置。以类似的方式,对象标识符OI2对应于快照A内的数据组,而页码P2指向快照A内的数据组OI2的位置。此外,对象标识符OI3对应于快照A内的数据组,而页码P3指向快照A内的数据组OI3的位置。并且,对象标识符OI18对应于快照A内的数据组,而页码P18指向快照A内的数据组OI18的位置。在典型的实施方式中,快照A表示数据组的原始复制品。
在典型的实施方式中,索引结构306属于快照B。如以上所讨论的,快照B仅显示了自初始快照A以后改变的数据组或新的数据组。在示例性实施方式中,索引结构306以表格形式实施,该表格形式包括例如第一列308 和第二列310。如以上所讨论的,快照B的索引结构306类似于快照A的索引结构302。如快照B所示的索引结构306标识了自初始快照A以后数据组的修改。例如,在快照A中,对象标识符OI1标识了位置P1处的数据组。快照B包含快照A的数据组OI1的更新的复制品。更新的数据组现在如对象标识符OI19所示。此外,在快照A中,对象标识符OI18标识了位置P18处的数据组。快照B包含快照A的数据组OI18的更新的复制品。更新的数据组现在如对象标识符OI25所示。此外,快照B包含最初未在快照A中表示的新的数据组。新的数据组如位于快照B内的位置P6处的对象标识符OI12所示。
为了实施汇总操作,备份系统100读取快照A-B中的索引数据,其中索引数据标识在快照A-B中改变的数据组。对于每个索引项,汇总操作标识了包含修改的数据组的最近复制品的快照。在图3所示的示例中,快照B示出了自初始快照A以后改变的数据组。备份系统100相应地更新索引数据并创建新的索引数据,该新的索引数据构成了较低分辨率融合的快照并将数据组的最近复制品写入新的快照。新的快照在图3中示为快照C。如以上所讨论的,快照C的索引结构312类似于快照A-B的索引结构302、306。如快照C所示的索引结构312,标识了合成快照,在该合成快照中,索引项对应于更新的对象标识符及其对应的位置。
在图3的快照C中,对象标识符OI19对应于快照C内的数据组,而页码P1指向快照C内的数据组OI19的位置。以类似的方式,对象标识符OI2对应于快照C内的数据组,而页码P2指向快照C内的数据组OI2的位置。此外,对象标识符OI3对应于快照C内的数据组,而页码P3指向快照C内的数据组OI3的位置。对象标识符OI12对应于快照C内的数据组,而页码P6指向快照C内的数据组OI12的位置。对象标识符OI25对应于快照C内的数据组,而页码P18指向快照C内的数据组OI25的位置。在典型的实施方式中,汇总操作继续进行直至连续快照A-B的集合中所有快照索引项入口均用完。索引结构312表示 较低分辨率融合的快照。在典型的实施方式中,已经由较新版本取代的页的对象标识符被删除。例如,从以上关于快照A-C定义的汇总操作中,来自指向位置P1和P18的快照A的对象标识符OI1和OI18被删除。
在典型的实施方式中,由快照C的对象标识符标识的数据对象被进一步分派唯一的对象存储标识符Ob19,Ob2,Ob3,Ob12,Ob25。唯一的对象存储标识符被存储在例如存储设备112(如图1所示)中。在典型的实施方式中,可以为面向对象的数据库的存储设备112诸如对象存储数据库。唯一对象存储标识符Ob19,Ob2,Ob3,Ob12,Ob25由参考数字320示出。
利用示例性备份系统100的示例性汇总操作不需要对数据进行读取或写入来实现汇总操作。示例性汇总操作通过从随后快照对索引数据进行比较来实现。这种示例性技术大大减少了IO操作的数量而导致少的数据检索时间。文件系统保持非常大量的元数据以追踪每个文件的内容。因此,文件系统不适于存储小片段的数据。与文件系统相反,在对象存储中,提取的基本单位是表示固定量数据的对象。根据示例性实施方式,对象存储提供了创建、读取或写入全部对象的方法。通过比文件系统更多的限制,对象存储需要非常少的元数据来表示对象并且因而高效地用于存储小数据。通过消除对读取磁盘页和将其写入新的快照文件的需要,示例性实施方式利用对象存储来创建用于汇总操作的有效机制。
图4是根据示例性实施方式示出数据汇总的流程图。为了说明的目的,过程400将结合图1-3进行说明。过程400开始于步骤402。在步骤404,对应于初始快照的索引数据被访问。例如,如图3所示的与快照A相关联的索引数据可以例如是初始快照的索引数据。在步骤406,备份管理器105判断是否存在随后快照。如果在步骤406判断存在随后快照,则过程400继续进行至步骤408。在步骤408,对应于随后快照的索引数据被访问。例如,如图3所示的与快照B相关联的索引数据可以例如是随后快照的索引数据。
在步骤410,备份处理器105判断随后快照(快照B)中的索引数据是否自初始快照(快照A)以后发生改变。如果在步骤410判断索引数据发生改变,则过程400继续进行至步骤412。在步骤412,备份系统100相应地更新索引数据并创建新的索引数据,该新的索引数据构成较低分辨率融合快照。备份系统100在步骤412将数据组的最近复制品写入新的快照(快照C)。新的快照如图3所示为快照C。快照C标识合成快照,在合成快照中,索引项对应于更新的对象标识符及其对应的位置。在典型的实施方式中,已经由较新版本取代的页的对象标识符被删除。例如,从关于快照A-C的图3的汇总操作中,来自指向位置P1和P18的快照A的对象标识符OI1和OI18被删除。从步骤412,过程400继续进行至步骤406。在步骤406,备份管理器105判断是否存在随后快照。
然而,如果在步骤406判断不存在随后快照,则过程400继续进行至步骤414。在步骤414,由快照C的对象标识符标识的数据对象被进一步由备份系统100分派唯一对象存储标识符。但是,如果在步骤410判断在随后快照中的索引数据自初始快照以后未发生改变,则过程400继续进行至步骤414。在快照C的对象标识符被进一步分派唯一对象存储标识符之后,过程400在步骤416结束。
处于公开的目的,信息处理系统可以包括任何机构或可进行以下操作的机构的集合:计算、判断、分类、处理、传送、接收、检索、发起、转换、存储、显示、通信、表明、检测、记录、再生、办理,或利用任何形式的信息、智能或用于商业、科学、控制或其他目的的数据。例如,信息处理系统可以为个人计算机(如,台式机或笔记本电脑)、平板电脑、移动设备(如,个人数字助理(PDA)或智能电话)、服务器(如,刀片式服务器或机架式服务器)、网络存储设备,或任何其他适当的设备,并且可以在大小、形状、性能、功能和价格上进行变化。信息处理系统可以包括随机存取存储器 (RAM)、诸如中央处理单元(CPU)或硬件或软件控制逻辑的一个或多个处理资源、ROM、和/或其他类型的非易失性存储器。信息处理系统的附加组件可以包括一个或多个磁盘驱动、用于与外部设备通信的一个或多个网络端口以及各种输入输出(I/O)设备,诸如键盘、鼠标、触摸屏和/或视频显示。信息处理系统还可以包括可在各种硬件组件质检传送通信的一个或多个总线。
因而应当相信本发明实施方式的操作和构成将从前面的说明而显而易见。而所显示或描述的方法和系统已经表征为在不背离本发明的思想和范围的情况下可以进行各种改变和修改是显然的。

Claims (19)

1.一种管理备份数据的方法,该方法包括:
经由备份管理器存取初始快照的索引数据;
经由所述备份管理器存取随后快照的索引数据;
经由所述备份管理器判断所述随后快照的索引数据是否与所述初始快照的索引数据不同;
响应于判断所述随后快照的索引数据与所述初始快照的索引数据不同,创建更新的索引数据;以及
采用所述更新的索引数据来创建更新的快照;
其中所述索引数据参照位于对象存储中的对象的磁盘页。
2.根据权利要求1所述的方法,其中所述初始快照包括在第一预定时间得到的数据组的第一复制品。
3.根据权利要求2所述的方法,其中所述随后快照包括在第二预定时间得到的所述数据组的第二复制品。
4.根据权利要求3所述的方法,其中所述第二预定时间在所述第一预定时间之后出现。
5.根据权利要求3所述的方法,其中所述第二复制品示出了自第一复制品以后发生改变的数据组。
6.根据权利要求1所述的方法,其中所述更新的快照是所述初始快照和所述随后快照的合成。
7.根据权利要求1所述的方法,其中所述更新的索引数据对应于所述更新的快照内更新的数据组。
8.根据权利要求1所述的方法,其中所述索引数据包括对象标识符和位置标识符。
9.根据权利要求8所述的方法,其中所述对象标识符对应于所述初始快照、所述随后快照和所述更新的快照中的至少一者内的数据组。
10.根据权利要求8所述的方法,其中所述位置标识符指向所述初始快照、所述随后快照和所述更新的快照中的至少一者内的数据组。
11.根据权利要求1所述的方法,其中对象标识符被进一步分派唯一对象存储标识符。
12.根据权利要求1所述的方法,其中所述索引数据包括用于存取所述初始快照、所述随后快照和所述更新的快照中的至少一者内的数据组的信息。
13.一种信息处理系统,包括:
备份管理器,可互操作地耦合至客户端,并适于提供以预定间隔进行初始快照和随后快照并创建初始索引数据和随后索引数据的指示;以及
其中所述备份管理器存取所述初始索引数据和所述随后索引数据,并响应于判断所述随后索引数据与所述初始索引数据不同来存取更新的快照和更新的索引数据;以及
其中所述索引数据参照位于对象存储中的对象的磁盘页。
14.根据权利要求13所述的系统,其中所述备份管理器包括索引服务模块和索引数据库。
15.根据权利要求13所述的系统,其中所述备份管理器被实施为计算机代码、硬件设备和软件/硬件组合中的至少一者。
16.根据权利要求13所述的系统,其中:
所述客户端包括数据代理;以及
所述数据代理从信息存储中检索数据。
17.根据权利要求16所述的系统,其中所述数据代理被实施为计算机代码、硬件设备和软件/硬件组合中的至少一者。
18.根据权利要求13所述的系统,进一步包括面向对象数据库。
19.根据权利要求13所述的系统,其中所述更新的快照为所述初始快照和所述随后快照的合成。
CN201280056692.0A 2011-11-18 2012-11-16 用于融合、存储和检索增量式备份数据的方法和系统 Expired - Fee Related CN104040481B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161561621P 2011-11-18 2011-11-18
US61/561,621 2011-11-18
PCT/US2012/065500 WO2013074914A1 (en) 2011-11-18 2012-11-16 Method of and system for merging, storing and retrieving incremental backup data

Publications (2)

Publication Number Publication Date
CN104040481A CN104040481A (zh) 2014-09-10
CN104040481B true CN104040481B (zh) 2017-10-10

Family

ID=48427914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280056692.0A Expired - Fee Related CN104040481B (zh) 2011-11-18 2012-11-16 用于融合、存储和检索增量式备份数据的方法和系统

Country Status (4)

Country Link
US (1) US8965850B2 (zh)
EP (1) EP2780796B1 (zh)
CN (1) CN104040481B (zh)
WO (1) WO2013074914A1 (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110093493A1 (en) 2008-10-28 2011-04-21 Honeywell International Inc. Building management system site categories
US9390147B2 (en) * 2011-09-23 2016-07-12 Red Lambda, Inc. System and method for storing stream data in distributed relational tables with data provenance
US9075810B2 (en) * 2012-01-24 2015-07-07 Symantec Corporation Volume and partial volume merge to synchronize to non-homogeneous drive layouts
US11392557B1 (en) * 2012-10-15 2022-07-19 Google Llc Efficient data backup in a distributed storage system
US9529349B2 (en) 2012-10-22 2016-12-27 Honeywell International Inc. Supervisor user management system
US10635128B1 (en) * 2012-10-29 2020-04-28 Veritas Technologies Llc Storing backup data using snapshots
US9971977B2 (en) * 2013-10-21 2018-05-15 Honeywell International Inc. Opus enterprise report system
US11194667B2 (en) 2014-02-07 2021-12-07 International Business Machines Corporation Creating a restore copy from a copy of a full copy of source data in a repository that is at a different point-in-time than a restore point-in-time of a restore request
US10176048B2 (en) 2014-02-07 2019-01-08 International Business Machines Corporation Creating a restore copy from a copy of source data in a repository having source data at different point-in-times and reading data from the repository for the restore copy
US10372546B2 (en) 2014-02-07 2019-08-06 International Business Machines Corporation Creating a restore copy from a copy of source data in a repository having source data at different point-in-times
US11169958B2 (en) 2014-02-07 2021-11-09 International Business Machines Corporation Using a repository having a full copy of source data and point-in-time information from point-in-time copies of the source data to restore the source data at different points-in-time
US11294771B1 (en) * 2014-03-24 2022-04-05 EMC IP Holding Company LLC Storage of discovered data object to storage layouts
US10387446B2 (en) 2014-04-28 2019-08-20 International Business Machines Corporation Merging multiple point-in-time copies into a merged point-in-time copy
US9933762B2 (en) 2014-07-09 2018-04-03 Honeywell International Inc. Multisite version and upgrade management system
CN104317833B (zh) * 2014-10-10 2019-03-26 深圳市锐明技术股份有限公司 一种恢复系统文件索引的方法及装置
US10254912B2 (en) * 2015-09-10 2019-04-09 Honeywell International Inc. Methods and systems for non-intrusive system data pipe
US10209689B2 (en) 2015-09-23 2019-02-19 Honeywell International Inc. Supervisor history service import manager
US10362104B2 (en) 2015-09-23 2019-07-23 Honeywell International Inc. Data manager
US11106645B1 (en) * 2015-09-29 2021-08-31 EMC IP Holding Company LLC Multi point in time object store
US10496672B2 (en) 2015-12-30 2019-12-03 EMC IP Holding Company LLC Creating replicas at user-defined points in time
US10459883B1 (en) * 2015-12-30 2019-10-29 EMC IP Holding Company LLC Retention policies for unscheduled replicas in backup, snapshots, and remote replication
US11249968B2 (en) * 2016-05-09 2022-02-15 Sap Se Large object containers with size criteria for storing mid-sized large objects
US10509701B2 (en) 2016-09-23 2019-12-17 Apple Inc. Performing data backups using snapshots
US10346354B2 (en) * 2016-10-28 2019-07-09 Netapp, Inc. Reducing stable data eviction with synthetic baseline snapshot and eviction state refresh
CN106776147B (zh) * 2016-12-29 2020-10-09 华为技术有限公司 一种差异数据备份方法和差异数据备份装置
US10445193B2 (en) 2017-03-06 2019-10-15 Dell Products, Lp Database failure recovery in an information handling system
CN108572888B (zh) * 2017-03-14 2022-08-19 阿里巴巴集团控股有限公司 磁盘快照创建方法和磁盘快照创建装置
CN107729052A (zh) * 2017-10-16 2018-02-23 郑州云海信息技术有限公司 一种数据操作方法、装置、设备及计算机可读存储介质
CN107957920A (zh) * 2017-10-31 2018-04-24 清远恒成智道信息科技有限公司 数据库备份系统
EP3729215A1 (en) * 2017-12-22 2020-10-28 ABB Schweiz AG System and method for managing a system configuration of a robot controller
CN109117308A (zh) * 2018-07-27 2019-01-01 华为技术有限公司 快照处理的方法和装置
CN109542681B (zh) * 2018-11-15 2021-11-26 郑州云海信息技术有限公司 一种基于文件备份的时间导航系统、可视化数据恢复方法及装置
US11403185B2 (en) 2019-09-27 2022-08-02 Amazon Technologies, Inc. Network-accessible block-level snapshots
US11360856B2 (en) 2019-09-27 2022-06-14 Amazon Technologies, Inc. Manifest index for block-level snapshots
WO2021062248A1 (en) * 2019-09-27 2021-04-01 Amazon Technologies, Inc. Network-accessible block-level snapshots
US11550816B1 (en) 2020-03-02 2023-01-10 Amazon Technologies, Inc. Variable replication levels for an object of a snapshot of a block storage volume
US11886298B2 (en) * 2021-03-31 2024-01-30 Cohesity, Inc. Using a storage log to generate an incremental backup
US11954066B2 (en) * 2021-07-21 2024-04-09 Cohesity, Inc. Coalescing storage log entries
US11656955B1 (en) 2022-03-23 2023-05-23 Bank Of America Corporation Database table valuation
US11797393B2 (en) 2022-03-23 2023-10-24 Bank Of America Corporation Table prioritization for data copy in a multi-environment setup

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4631673A (en) 1985-01-22 1986-12-23 International Business Machines Corporation Method for refreshing multicolumn tables in a relational data base using minimal information
US5287496A (en) 1991-02-25 1994-02-15 International Business Machines Corporation Dynamic, finite versioning for concurrent transaction and query processing
US6604118B2 (en) 1998-07-31 2003-08-05 Network Appliance, Inc. File system image transfer
US6192377B1 (en) 1998-05-13 2001-02-20 Oracle Corporation Method and apparatus for determing whether a transaction can use a version of a data item
US6434681B1 (en) 1999-12-02 2002-08-13 Emc Corporation Snapshot copy facility for a data storage system permitting continued host read/write access
US6813690B1 (en) * 2001-06-12 2004-11-02 Network Appliance, Inc. Caching media data using content-sensitive identifiers
US6912645B2 (en) 2001-07-19 2005-06-28 Lucent Technologies Inc. Method and apparatus for archival data storage
WO2003028183A1 (en) * 2001-09-28 2003-04-03 Commvault Systems, Inc. System and method for generating and managing quick recovery volumes
JP4420325B2 (ja) 2001-11-01 2010-02-24 ベリサイン・インコーポレイテッド トランザクションメモリ管理装置
US20030131253A1 (en) 2001-12-28 2003-07-10 Martin Marcia Reid Data management appliance
US20030220949A1 (en) 2002-01-22 2003-11-27 Columbia Data Products, Inc. Automatic deletion in data storage management
US7039663B1 (en) 2002-04-19 2006-05-02 Network Appliance, Inc. System and method for checkpointing and restarting an asynchronous transfer of data between a source and destination snapshot
US6934822B2 (en) 2002-08-06 2005-08-23 Emc Corporation Organization of multiple snapshot copies in a data storage system
US7069402B2 (en) * 2003-06-02 2006-06-27 International Business Machines Corporation Host-independent incremental backup method, apparatus, and system
CN1331063C (zh) 2003-06-10 2007-08-08 联想(北京)有限公司 基于数据卷快照的在线数据备份方法
US7111136B2 (en) 2003-06-26 2006-09-19 Hitachi, Ltd. Method and apparatus for backup and recovery system using storage based journaling
US7047380B2 (en) 2003-07-22 2006-05-16 Acronis Inc. System and method for using file system snapshots for online data backup
US7246211B1 (en) 2003-07-22 2007-07-17 Swsoft Holdings, Ltd. System and method for using file system snapshots for online data backup
US20050055354A1 (en) 2003-08-21 2005-03-10 Microsoft Corporation Systems and methods for representing units of information manageable by a hardware/software interface system but independent of physical representation
US7171538B2 (en) 2003-10-22 2007-01-30 International Business Machines Corporation Incremental data storage method, apparatus, interface, and system
US7620630B2 (en) 2003-11-12 2009-11-17 Oliver Lloyd Pty Ltd Directory system
US7529782B2 (en) * 2003-11-13 2009-05-05 Commvault Systems, Inc. System and method for performing a snapshot and for restoring data
GB2423850B (en) * 2003-11-13 2009-05-20 Commvault Systems Inc System and method for performing integrated storage operations
US7464100B2 (en) * 2003-12-24 2008-12-09 Sap Ag Reorganization-free mapping of objects in databases using a mapping chain
US7266655B1 (en) * 2004-04-29 2007-09-04 Veritas Operating Corporation Synthesized backup set catalog
US7284019B2 (en) 2004-08-18 2007-10-16 International Business Machines Corporation Apparatus, system, and method for differential backup using snapshot on-write data
US20060047926A1 (en) 2004-08-25 2006-03-02 Zheng Calvin G Managing multiple snapshot copies of data
US7421617B2 (en) 2004-08-30 2008-09-02 Symantec Corporation Systems and methods for optimizing restoration of stored data
US7934064B1 (en) * 2004-12-21 2011-04-26 Acronis Inc. System and method for consolidation of backups
US20060265489A1 (en) 2005-02-01 2006-11-23 Moore James F Disaster management using an enhanced syndication platform
US7694088B1 (en) * 2005-03-31 2010-04-06 Symantec Operating Corporation System and method for efficient creation of aggregate backup images
US7716171B2 (en) * 2005-08-18 2010-05-11 Emc Corporation Snapshot indexing
US7426618B2 (en) 2005-09-06 2008-09-16 Dot Hill Systems Corp. Snapshot restore method and apparatus
US7882077B2 (en) * 2006-10-17 2011-02-01 Commvault Systems, Inc. Method and system for offline indexing of content and classifying stored data
US9690790B2 (en) 2007-03-05 2017-06-27 Dell Software Inc. Method and apparatus for efficiently merging, storing and retrieving incremental data
US8352431B1 (en) * 2007-10-31 2013-01-08 Emc Corporation Fine-grain policy-based snapshots
US8200638B1 (en) * 2008-04-30 2012-06-12 Netapp, Inc. Individual file restore from block-level incremental backups by using client-server backup protocol
US9558075B2 (en) * 2009-11-24 2017-01-31 Veritas Technologies Llc Synthetic full backup generation
US8694469B2 (en) * 2009-12-28 2014-04-08 Riverbed Technology, Inc. Cloud synthetic backups
WO2011082387A2 (en) * 2009-12-31 2011-07-07 Intellisysgroup, Inc. Methods and apparatus for sharing, transferring and removing previously owned digital media
US8433867B2 (en) 2010-01-09 2013-04-30 International Business Machines Corporation Using the change-recording feature for point-in-time-copy technology to perform more effective backups
US8370300B2 (en) * 2011-05-05 2013-02-05 Hitachi, Ltd. Method and apparatus of data protection

Also Published As

Publication number Publication date
WO2013074914A1 (en) 2013-05-23
EP2780796B1 (en) 2019-01-02
CN104040481A (zh) 2014-09-10
US20130132346A1 (en) 2013-05-23
EP2780796A1 (en) 2014-09-24
EP2780796A4 (en) 2015-07-08
US8965850B2 (en) 2015-02-24

Similar Documents

Publication Publication Date Title
CN104040481B (zh) 用于融合、存储和检索增量式备份数据的方法和系统
US11573859B2 (en) Content-independent and database management system-independent synthetic full backup of a database based on snapshot technology
US11693740B2 (en) Dynamic triggering of block-level backups based on block change thresholds and corresponding file identities
US11194775B2 (en) Efficient database search and reporting, such as for enterprise customers having large and/or numerous files
CN104813276B (zh) 从备份系统流式恢复数据库
EP3350728B1 (en) Data storage management operations in a secondary storage subsystem using image recognition and image-based criteria
CN1331063C (zh) 基于数据卷快照的在线数据备份方法
CN103927238B (zh) 一种在数据存储器中用于时间线压缩的技术
US8548948B2 (en) Methods and apparatus for a fine grained file data storage system
US8433863B1 (en) Hybrid method for incremental backup of structured and unstructured files
US7681001B2 (en) Storage system
US9672113B1 (en) Data recovery from multiple data backup technologies
CN105659214B (zh) 数据单元集合的检查点设置
US20220391097A1 (en) Method to Provide Recommendations for Cloud Storage Providers and Storage Classes Based on Backup Server's Usage Patterns for Lowering Overall Cloud Costs
Holzhauer et al. Saving Cost with the Right Software Design for Long Term Operations

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171010

Termination date: 20201116