CN104662521A - 利用delta卷复制数据的系统和方法 - Google Patents

利用delta卷复制数据的系统和方法 Download PDF

Info

Publication number
CN104662521A
CN104662521A CN201380048163.0A CN201380048163A CN104662521A CN 104662521 A CN104662521 A CN 104662521A CN 201380048163 A CN201380048163 A CN 201380048163A CN 104662521 A CN104662521 A CN 104662521A
Authority
CN
China
Prior art keywords
data
volume
storage device
increment
data storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380048163.0A
Other languages
English (en)
Other versions
CN104662521B (zh
Inventor
M·H·皮特尔科
M·D·奥尔森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Compellent Technologies Inc
Original Assignee
Compellent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Compellent Technologies Inc filed Critical Compellent Technologies Inc
Publication of CN104662521A publication Critical patent/CN104662521A/zh
Application granted granted Critical
Publication of CN104662521B publication Critical patent/CN104662521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1456—Hardware arrangements for backup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
    • G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
    • G06F11/2074—Asynchronous techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/84—Using snapshots, i.e. a logical point-in-time copy of the data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种将数据从第一数据存储设备复制至第二数据存储设备的方法。该方法可以包括在第一数据存储设备处以隔开的时间间隔生成第一数据存储设备的逻辑数据卷的多个快照，该逻辑数据卷是来自一个或多个物理存储设备的数据块的摘要，每个快照用于识别自最近快照开始至少一部分逻辑数据卷的数据变化。而且在第一数据存储设备处，该方法包括生成增量卷，该增量卷指示两个不连续快照之间至少一部分逻辑数据卷的数据变化。该方法还包括将增量卷复制至第二数据存储设备，以及在第二数据存储设备处复制其中指示的数据的变化。

Description

利用delta卷复制数据的系统和方法
技术领域
本公开一般性地涉及用于复制诸如备份或历史数据的系统和方法。特别地，本公开涉及利用增量卷(delta volume)来复制数据的过程。
背景技术
磁盘上的数据存储已经快速地超额增长典型地意味着需要将那些磁盘上的数据备份到诸如磁带的可移动存储器上。同时，提供节省成本的备份副本的需求已经超出了诸如实际需求和贸易与联邦规则/立法。
单个且简单的远程复制目标站点可以满足存储历史数据的需求。然而，在远程站点处维护在源站点处摄取的每个快照的成本可能是过高的。导致这些成本的项目包括但不局限于：所使用的带宽的机会成本；带宽的实际货币成本；远程站点的实际货币成本(包括例如站点的大小、操作该站点所需要的功率、该站点的雇员成本等)；复制的管理成本；以及存储成本(包括磁盘或其他块存储设备的成本)。
将数据复制到备份存储器上的常规方法能够导致额外的、不需要的数据在源站点与备份站点之间传递。例如，在对数据进行复制的一个示例性方法中，考虑具有本地存储器102和备份或远程存储器104的数据存储系统100，如图1所示。在维护活动数据(active data)输入/输出(I/O)的本地存储器102处，该系统被配置成以8小时的间隔进行本地恢复快照，即快照106、108、110和112。每个快照识别其与之前快照之间的变化或增量(delta)。例如，快照108仅识别变化，因为快照108摄取于或者摄取自上午12点至上午8点。相反地，备份存储器104可以例如被配置成用于仅夜间备份，即每隔24小时备份一次，因为由于在备份站点处数据是不太活动或不活动的，所以针对备份数据的更长备份间隔周期在整个存储器使用中是足够且更高效的。然而，尽管在备份存储器104处采用24小时备份周期，但是由于本地存储器处的快照仅识别每个快照之间的增量，所以尽管如此，在一天当中，每个快照将仍然被至少临时复制到备份存储器中(如图1所示)，以使得备份存储系统识别整天的变化并且恰当地创建24小时日备份。为了节省空间，一旦24小时备份118被提交(commit)就删除任何中间备份114、116。尽管如此，假设示例性的10兆兆字节(TB)数据组以及本地存储器处每8个小时该数据组就100％变化的最坏情况场景，这种常规方法将需要每8个小时就将整个10TB传递给备份存储器104，从而导致30TB的总日传递。
在上面的示例中，仅24小时快照118和120是感兴趣的，并且如果中间快照114、116能够被消除，那么即使在最坏情况场景中，从本地存储器102至备份存储器104的数据的日传递都将从30TB减小至10TB。在例如仅数据组远大于30TB的情况中、本地存储器以短于8小时的间隔摄取快照的情况中和/或备份存储器以大于1天的更大间隔进行备份的情况中，该问题或许更大。然而，已经意识到，在数据组远大于30TB、本地存储器以长于8小时的间隔摄取快照和/或备份存储器以小于1天的间隔进行备份的情况下的系统将有可能具有相同的问题。
因此，在本领域中，需要提供针对例如备份或历史数据的更节省成本和/或更高效的复制过程。
发明内容
在一个实施方式中，本公开涉及将数据从第一数据存储设备复制至第二数据存储设备的方法。该方法可以包括在第一数据存储设备处以隔开的时间间隔生成第一数据存储设备的逻辑数据卷的多个快照，该逻辑数据卷是一个或多个物理存储设备的数据块的摘要，以及每个快照用于识别自最近的之前快照开始的至少一部分逻辑数据卷的数据变化。在一些实施方式中，隔开的时间间隔是预定的时间间隔。而且，在第一数据存储设备处，该方法包括生成增量卷，该增量卷用于指示两个非连续快照之间至少一部分逻辑数据卷的数据的变化。该方法还包括将增量卷复制到第二数据存储设备，以及在第二数据存储设备处复制其中指示的对数据的改变。在增量卷被复制到第二数据存储设备之后可以在第一存储设备处丢弃该增量卷。该方法还可以包括以隔开的时间间隔生成多个增量卷。
在另一实施方式中，该方法可以包括生成组合增量卷，该组合增量卷指示两个不连续增量卷之间至少一部分逻辑数据卷的数据的变化。还可以以隔开的时间间隔生成多个这种组合增量卷。类似地，组合增量卷可以被复制到第三数据存储设备，并且其中指示的对数据的改变可以因此在第三数据存储设备处被复制。
在另一实施方式中，本公开还涉及从第一数据存储设备至第二数据存储设备的数据复制的方法。该方法可以包括在第二数据存储设备处接收增量卷并且在第二数据存储设备处复制其中指示的对数据的改变，该增量卷指示第一数据存储设备的至少一部分逻辑数据卷的数据的变化。就这一点而言，第一数据存储设备可以生成针对逻辑数据卷的多个快照，该逻辑数据卷是一个或多个物理存储设备的数据块的摘要，其中每个快照用于识别自最近的之前快照开始至少一部分逻辑数据卷的数据变化。该增量卷可以因此指示两个不连续快照之间至少一部分逻辑数据卷的数据变化。
在又一实施方式中，本公开涉及用于数据存储系统的增量卷，该增量卷包括数据存储系统的两个不连续快照之间数据变化的指示，其中每个快照用于指示自最近的之前快照开始至少一部分数据存储系统的数据变化。每个快照可以识别自最近的之前快照开始数据存储系统的逻辑卷的数据变化。
虽然公开了多个实施方式，但是通过下面的示出并描述了本发明示例性实施方式的具体实施方式部分，本公开的其他实施方式对于本领域技术人员而言将是显而易见的。如将意识到，本公开的各种实施方式能够在各种显著的方面进行修改，所有修改都不背离本公开的精神和范围。因此，附图和具体描述将被认为本质上是示例性的而非限制性的。
附图说明
虽然本说明书以特别指出并清楚地要求保护被认为形成本公开的各种实施方式的主题的权利要求书结束，但是应该相信，本发明将通过以下结合附图的描述中得到更好的理解，其中：
图1是本地至备份存储器的常规复制过程的示意图。
图2是适用于本公开各种实施方式的磁盘系统的示意图。
图3是根据本公开一个实施方式的快照方案的示意图。
图4是根据本公开一个实施方式的增量卷的示意图。
图5是根据本公开一个实施方式的利用增量卷进行复制的示例性使用的示意图。
具体实施方式
本公开涉及用于复制诸如备份或历史数据的新颖且有益的系统和方法。特别地，本公开涉及用于利用增量卷复制数据的新颖且有益的系统和方法。
本公开的系统和方法在磁盘系统或虚拟磁盘系统(诸如2009年11月3日发布的、发明名称为“Virtual Disk Drive System and Method”的美国专利No.7613945中所描述的系统，该专利的全部内容通过引用被合并到本文)是特别有用的。这种磁盘系统允许通过基于RAID向磁盘的映射而在存储器的页面池上或磁盘存储块矩阵上以及多个磁盘上动态地分配数据来进行高效的数据存储。它们可以通过以例如预定时间间隔、用户配置的动态时间戳(诸如每隔几分钟或几小时等)或者以服务器所指定的时间来动态地生成并存储系统的快照或时间点副本或者磁盘存储块的矩阵来避免数据遭受例如系统故障或病毒攻击。这些有时间戳的快照允许在系统故障之前从之前的时间点恢复数据，从而将系统恢复为那个时间处所呈现的样子。在主存储器能够保持可操作性的同时，这些快照或时间点数据还可以被系统或系统用户用于其它用途，诸如但不局限于测试。通常，通过使用快照性能，用户可以查看之前时间点中存储系统所呈现的状态。
图2示出了计算机环境202中磁盘或数据存储系统200的一个实施方式，诸如在美国专利No.7613945中所公开并且适用于本公开的各种实施方式的磁盘或数据存储系统。如图2所示，磁盘系统200可以包括数据存储子系统204(如本领域技术人员将意识到的，其可以包括RAID子系统)和磁盘管理器206(其具有至少一个磁盘存储系统控制器)。数据存储子系统204和磁盘管理器206能够基于例如RAID向磁盘的映射或其他存储映射技术来在多个磁盘的磁盘空间208之间动态地分配数据。
如上面一般性地描述的那样，数据存储系统204可以自动地生成系统的快照(snapshot)或时间点副本(Point-in-Time Copy,PITC)或者其磁盘存储块或磁盘卷的矩阵。快照可以包括向例如磁盘卷的写入操作的记录，以便可以随后创建“视图(view)”来查看磁盘卷在过去所呈现的内容以诸如用于数据恢复。可以将逻辑块地址(Logical Block Address,LBA)再映射层添加到虚拟层中的数据路径中，并因此可以在I/O路径中提供虚拟LBA映射的其他层。快照或PITC不需要复制所有磁盘卷信息，相反地，在一些实施方式中，可以仅修改再映射层使用的表格。数据存储系统204的快照能力可以包括但不局限于创建快照、管理快照、合并快照以及控制快照的I/O操作。
图3示出了如美国专利No.7613945中描述的快照方案的一个实施方式。如图3所示，磁盘卷或将在下面描述的视图卷的顶级(top-level)快照或PITC可以是活动快照或PITC(AP)202。AP 302可以满足对磁盘卷的所有读写请求。在许多实施方式中，AP是可以接受写请求的磁盘卷的唯一快照或PITC。AP 302可以包含针对整个磁盘卷的数据页指针的总结。
AP 302下面的接下来快照级可以是最近的活动快照或不再活动的PITC。在所示的实施方式中，快照304在时间T4处摄取或提交。接下来的最近快照或PITC 306在时间T3处摄取或提交。图案可以针对时间T2、T1和T0处摄取的快照或PITC而继续。图3所示的快照或PITC的数量仅是示例性的。当然，可以有比所示数量更少或更多的快照。
图3还示出了视图卷308可以随后被创建以查看或观察过去一些时间点处磁盘卷的内容。通常，视图卷提供对之前时间点的访问并且能够支持常规卷(normal volume)I/O操作。视图卷PITC可以跟踪从其产生视图卷的原始PITC之间的差异，并且视图卷允许用户访问原始PITC中所包含的信息但不修改原始PITC的基础数据(underlying data)。就这个意义而言，视图卷衍生自从其产生该视图卷的PITC，并且可以支持诸如但不局限于恢复、测试、备份操作等的动作。在所示的示例中，视图卷308可以创建自在T2处摄取的快照或PITC 210。因此，视图卷308提供了如磁盘卷在时间T2处所呈现的视图。视图卷可以初始为活动快照或者PITC并且可以满足对该视图卷的所有读写请求。然而，视图卷308还可以利用快照能力并且可以具有其自己的以预定时间间隔、用户配置的动态时间戳(诸如每隔几分钟或几小时等)或者在服务器所指定的时间处类似生成的快照或PITC。就这一点而言，视图卷可以包括活动PITC 310和在之前时间点处生成的一个或多个快照或PITC(例如312)。在一些实施方式中，视图卷的活动PITC是可以接受写请求的视图卷的唯一快照或PITC。
在快照或PITC的基本周期期间，该快照或PITC在其被提交为只读之前可以经历多个以下状态：
1、创建页表格——一旦创建了PITC，就可以创建页表格。
2、向磁盘提交针对PITC的空间——这在磁盘上生成了针对PITC的存储。通过在此刻对表格进行写入，可以确保用于存储表格信息的所请求空间在摄取PITC之前就被分配。同时，PITC对象还可以被提交给磁盘。
3、接受I/O——作为AP，其现在可以处理针对磁盘卷的读写请求。在许多实施方式中，这是接受针对表格的写入请求的唯一状态。
4、将PITC表格作为只读提交给磁盘——PITC不再是AP，并且不再接受附加页。新的AP已经接管了。在一些实施方式中，该表格将不再改变，除非在与一个或多个其他快照或PITC的合并操作期间其被移除。在这一点上，其是只读的。
5、释放表格存储器——释放该表格需要的任何额外存储器，以释放可用资源。
如上所述，向备份存储器复制数据的常规方法能够导致在源站点与备份站点之间传递额外的、不需要的数据。例如，在图1所示的示例性方法中，不管怎样，每个快照将被至少临时地复制到备份站点。
本公开改善了数据存储系统(诸如但不局限于美国专利No.7613945中描述的数据存储系统类型)中历史数据的快照和复制过程。所公开的改进能够提供针对例如备份或历史数据的更节省成本和/或更高效的复制过程。
在本公开的实施方式中，每个快照或PITC可以被表示或理解为用于识别其与之前快照或PITC或一些之前连续时间点之间的变化或增量。通常，如下面更详细描述的那样，除了利用连续快照，如参照图1所讨论的，图4中所示的增量卷402可以在本地存储器102处被创建，该增量卷识别两个不连续快照或PITC之间(诸如快照106与112之间)的变化或增量。在一个实施方式中，可以通过将期望时间端点处的快照(例如，快照112)和初始时间点(例如快照106)与端点快照之间的任何中间快照(例如快照108、110)进行合并来创建增量卷，以形成或创建用于识别初始时间点处的数据与期望时间端点处的数据之间的变化的单个卷。就这一点而言，在一个实施方式中，增量卷可以包含涉及仅仅两个任意或不连续快照或PITC之间的磁盘卷数据的变化的数据。增量卷可以是用于识别数据随时间的变化的数据摘要，但是不可以存储实际数据。因此，在快照/PITC与增量卷之间，需要提供一种用于相对容易地提供任意两个期望时间点之间变化视图或数据增量的方式。增量卷还提供一种用于本地向备份的复制但没有在该过程中不必要地复制未改变的或不相关数据增量的方式。就这一点而言，增量卷402可以被相对简单地复制或发送给备份存储器104，以便在不需要复制中间快照(例如112、114)的情况下以期望的备份间隔建立备份。如果期望，增量卷可以之后被源或发起站点所丢弃，以释放增量卷临时使用的存储空间。
在一些实施方式中，增量卷可以返回诸如针对未改变的数据块的相对高度可压缩数据(诸如全零数组)，从而允许通过利用传统备份软件工具来非常高效地备份增量卷。能够使用恢复软件工具来通过将原始卷与增量卷重新组合来从这种传统备份的增量卷中恢复原始卷，并且能够在维持快照层级的同时进行。
作为示例，本公开的各种实施方式允许在例如活动时间期间当频繁的本地备份被期望时使用相对频繁的非复制快照或PITC，以及允许以相对稀疏的间隔使用针对历史数据的更大或远程备份的增量卷。以及，广义而言，增量卷可以被认为是用于识别任意两个不连续时间点之间或者更特别地任意两个不连续快照或PITC之间的变化或增量的卷，在另一实施方式中，增量卷还可以被用作和创建为用于识别任意两个不连续增量卷或其他逻辑数据结构之间的变化或增量的卷。
作为利用增量卷和上述特征进行复制的示例(其不意味着限制并且主要被提供用于说明用途)，在图5所示的一个实例中，可以在本地站点502处在一天当中以每小时、每两个小时等时间间隔来摄取或提交快照或PITC。在这一点上，本地站点可以保存数据存储系统中例如每小时变化的记录或其被选定部分的记录。如果例如灾难侵袭或者数据需要被访问以进行测试或其他恢复，则或许希望将这种频繁备份作为最近的活动数据进行保存。随着时间逝去，将许多历史数据和活动数据一起存储或许变得低效。因此，本地站点502可被配置成将每小时快照或PITC保存仅一些相对短的时间段(诸如但不局限于1天、2天、3天、4天)或者更依赖于例如期望的设置、使用和工业规则与条例。
因此，增量卷可以在本地站点502处创建并且可以被配置成用于识别例如每天而非每小时的数据变化。更特别地，本地站点处一天的快照可以被复制或合并到增量卷中，增量卷将之后识别在该增量卷创建之前自24小时中的某个时间点开始增量的随之而来的变化。每日增量卷可以被高效地复制到其他本地或远程站点504，该本地或远程站点504可以保存本地站点502处的数据的复制副本，而且可以基于接收自本地站点的每日增量卷来仅以天为基础更新复制的数据。一旦每日增量卷被复制到远程站点504，本地站点502就可以丢弃每日增量卷。就这一点而言，远程站点504可以保存数据存储系统中或其选定部分中例如每日变化的记录。对于可能不太重要的历史数据，在远程站点504处保存不太频繁的备份就足够了。尽管如此，随着时间的逝去，存储大量的长期历史数据或许仍然是低效的。因此，远程站点504可被配置成将每日增量卷保存仅某个时间段，诸如但不局限于1周、2周、3周或更多地依赖于例如期望的设置、使用和工业规则与条例。
在另一实施方式中，还如图5所示，增量卷可以进一步在远程站点504处被创建并且可被配置成识别例如一周而非每小时或媒体中的数据变化。更特别地，远程站点504处一周中的每日增量卷可以被复制或合并到长期增量卷中，该长期增量卷将之后用于识别增量卷创建之前自1周中的某个时间点开始数据的随之而来的变化。每周增量卷可以被高效地复制到其他站点506中，其他站点506可以保存本地站点502和远程站点504处数据的复制副本，而且可以基于接收自远程站点504的每周增量卷来仅以周为基础更新复制的数据。一旦每周增量卷被复制到站点506，远程站点504就可以丢弃该每周增量卷。就这一点而言，站点506可以在数据存储系统或其选定的部分中保存诸如每周变化的记录。对于具有更低重要性的历史数据而言，在站点506处保存更低频率的备份就足够了。尽管如此，随着时间的逝去，存储大量的此种历史数据仍然变得低效。因此，站点506可被配置成将每周增量卷保存仅一段时间，诸如但不局限于1个月、2个月、3个月或更依赖于诸如期望的设置、使用和工业规则与条例。
因此，增量卷还可以在站点506处创建并且可被配置成识别例如每月而非每小时、每天或每周的数据变化。更特别地，站点506处每个月的每周增量卷可以被复制或合并到长期增量卷中，该长期增量卷之后识别该增量卷创建之前自一个月中的某个时间点开始数据的随之而来的变化。每月增量卷可以被复制到其他站点508中，其他站点508可以保存本地站点502、远程站点504、506处的数据的复制副本，而且可以基于接收自站点506的每月增量卷来仅以月为基础更新复制的数据。一旦每月增量卷被复制到站点508，站点506就可以丢弃每月增量卷。就这一点而言，站点508可以保存数据存储系统或其选定部分中例如每月变化的记录。由于这种更旧的历史数据可能具有低的重要性，所以在站点508处保存低频率的备份就足够了。尽管如此，随着时间逝去，存储大量的此种历史数据仍然变得低效。因此，站点508可被配置成将每月增量卷保存仅一段时间，诸如但不局限于1年、2年、3年或更依赖于诸如期望的设置、使用和工业规则与条例。
该模式可以用越来越大的增量卷和更多的本地或远程存储站点来重复。类似地，在所描述的方式中，以下情况是不必要的，即增量卷复制必须逐站点的从最小增量卷间隔增加至最大增量卷间隔。例如，仅站点508不需要从仅站点506接收每月增量卷，但是能够附加地或可替换地从站点502和504中的任意一者中接收每月增量卷。可替换地，应该意识到，上面的示例是增量卷可以被利用的若干方式，而且本公开的各种实施方式并不局限于上面提供的示例。应该意识到，这里描述的增量卷以及利用增量卷的复制能够在数据存储系统中具有广泛且有利的应用，而且增量卷不需要仅被用于复制用途。
本公开的涉及利用增量卷的数据复制的各种实施方式提供了比用于数据复制的常规系统和方法更显著的优势。例如，本公开的各种实施方式可以以各种方式来降低成本，包括但不局限于：减小本地存储器与备份或远程存储器之间的I/O活动性；减小总带宽使用；减小备份时间；以及通过例如消除存储临时中间快照或PITC的需求来减小备份站点处所需求的总存储量。
在前面的描述中，已经出于说明和描述的目的呈现了本公开的各种实施方式。它们不意欲是穷举性的或者局限于所公开的精确格式。在上述教导的启示下，各种修改后变化都是可能的。选择和描述了各种实施方式，以提供对该公开及其实际应用的原理的最佳说明，以及以使得本领域普通技术人员能够将具有各种修改的各种实施方式用于所设想的特定用途。当根据它们被合理、合法且等价地给予的宽度进行解释时，所有这些修改和改变都位于所附权利要求书所确定的本公开的范围内。

Claims (20)

1.一种将数据从第一数据存储设备复制至第二数据存储设备的方法，该方法包括：
在所述第一数据存储设备处，以隔开的时间间隔生成所述第一数据存储设备的逻辑数据卷的多个快照，所述逻辑数据卷是来自一个或多个物理存储设备的数据块的摘要，每个快照用于识别自最近快照开始至少一部分所述逻辑数据卷的数据变化；
在所述第一数据存储设备处生成增量卷，所述增量卷指示两个不连续快照之间至少一部分所述逻辑数据卷的数据变化；以及
向所述第二数据存储设备复制所述增量卷，以及在所述第二数据存储设备处复制其中指示的对所述数据的改变。
2.根据权利要求1所述的方法，其中，所述第一数据存储设备处的所述增量卷在被复制到所述第二数据存储设备之后被丢弃。
3.根据权利要求1所述的方法，其中，所述隔开的时间间隔是预定的时间间隔。
4.根据权利要求1所述的方法，该方法还包括以隔开的时间间隔生成多个增量卷。
5.根据权利要求4所述的方法，该方法还包括生成组合增量卷，所述组合增量卷指示两个不连续增量卷之间至少一部分所述逻辑数据卷的数据变化。
6.根据权利要求5所述的方法，该方法还包括以隔开的时间间隔生成多个组合增量卷。
7.根据权利要求5所述的方法，该方法还包括向第三数据存储设备复制所述组合增量卷，以及在所述第三数据存储设备处复制其中指示的数据的变化。
8.根据权利要求1所述的方法，其中，所述第二数据存储设备位于所述第一数据存储设备的远程距离处。
9.根据权利要求1所述的方法，其中，所述第一数据存储设备和所述第二数据存储设备是同一数据存储子系统的一部分。
10.一种将数据从第一数据存储设备复制至第二数据存储设备的方法,该方法包括:
在所述第二数据存储设备处接收增量卷,所述增量卷指示所述第一数据存储设备的至少一部分逻辑数据卷的数据的变化；以及
在所述第二数据存储设备处复制其中指示的数据的变化；
其中，所述第一数据存储设备生成针对所述逻辑数据卷的多个快照，所述逻辑数据卷是来自一个或多个物理存储设备的数据块的摘要，每个快照用于识别自最近快照开始至少一部分所述逻辑数据卷的数据变化；以及
其中，所述增量卷指示两个不连续快照之间至少一部分所述逻辑数据卷的数据变化。
11.根据权利要求10所述的方法，其中，所述快照以预定时间间隔生成。
12.根据权利要求10所述的方法，其中，所述增量卷在所述第一数据存储设备处生成并且在该增量卷被发送给所述第二数据存储设备之后在所述第一数据存储设备处丢弃该增量卷。
13.根据权利要求10所述的方法，该方法包括：以隔开的时间间隔接收多个增量卷。
14.根据权利要求13所述的方法，该方法还包括：生成组合增量卷，所述组合增量卷指示两个不连续增量卷之间至少一部分所述逻辑数据卷的数据变化。
15.根据权利要求14所述的方法，该方法还包括：以隔开的时间间隔生成多个组合增量卷。
16.根据权利要求14所述的方法，该方法还包括：向第三数据存储设备复制所述组合增量卷，并且在所述第三数据存储设备处复制其中指示的数据变化。
17.根据权利要求10所述的方法，其中，所述第二数据存储设备位于所述第一数据存储设备的远程距离处。
18.根据权利要求10所述的方法，其中，所述第一数据存储设备和所述第二数据存储设备是同一数据存储子系统的一部分。
19.一种用于数据存储系统的增量卷，该增量卷包括在所述数据存储系统的两个不连续快照之间数据变化的指示，每个快照用于识别自最近快照开始至少一部分所述数据存储系统的数据变化。
20.根据权利要求19所述的增量卷，其中，每个快照识别自最近快照开始所述数据存储系统的逻辑卷的数据变化。
CN201380048163.0A 2012-07-16 2013-06-11 利用delta卷复制数据的系统和方法 Active CN104662521B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/550,152 US9087009B2 (en) 2012-07-16 2012-07-16 Systems and methods for replication of data utilizing delta volumes
US13/550,152 2012-07-16
PCT/US2013/045067 WO2014014580A1 (en) 2012-07-16 2013-06-11 Replication of data utilizing delta volumes

Publications (2)

Publication Number Publication Date
CN104662521A true CN104662521A (zh) 2015-05-27
CN104662521B CN104662521B (zh) 2018-11-20

Family

ID=49915008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380048163.0A Active CN104662521B (zh) 2012-07-16 2013-06-11 利用delta卷复制数据的系统和方法

Country Status (4)

Country Link
US (2) US9087009B2 (zh)
EP (1) EP2872998B1 (zh)
CN (1) CN104662521B (zh)
WO (1) WO2014014580A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404564A (zh) * 2015-12-16 2016-03-16 浪潮(北京)电子信息产业有限公司 一种数据远程容灾方法及装置
CN112000279A (zh) * 2020-07-29 2020-11-27 北京浪潮数据技术有限公司 一种数据卷的同步方法、装置和介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417815B1 (en) * 2013-06-21 2016-08-16 Amazon Technologies, Inc. Capturing snapshots of storage volumes
US9747046B2 (en) 2014-04-02 2017-08-29 International Business Machines Corporation Collision avoidance using dynamic target volume allocation in a single repository
US9632710B2 (en) 2014-04-02 2017-04-25 International Business Machines Corporation Efficient use of Flashcopy resources and target volumes for dynamic target volume allocation
CN105447033B (zh) 2014-08-28 2019-06-11 国际商业机器公司 在复制初始化中生成初始副本的方法和装置
US9547560B1 (en) 2015-06-26 2017-01-17 Amazon Technologies, Inc. Amortized snapshots
CN109710498B (zh) * 2017-10-26 2020-09-29 华为技术有限公司 一种管理日志的方法和装置
GB201807877D0 (en) * 2018-05-15 2018-06-27 Palantir Technologies Inc Data storage system and method
US11507597B2 (en) 2021-03-31 2022-11-22 Pure Storage, Inc. Data replication to meet a recovery point objective

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040098424A1 (en) * 2001-10-29 2004-05-20 Emc Corporation Method and apparatus for efficiently copying distributed data files
US20090055608A1 (en) * 2006-01-30 2009-02-26 Yasuo Yamasaki Preventive measure against data overflow from differential volume in differential remote copy
CN102096615A (zh) * 2011-01-25 2011-06-15 上海爱数软件有限公司 远程增量备份方法及系统
US20110191560A1 (en) * 2006-04-11 2011-08-04 Emc Corporation Efficient data storage using two level delta resemblance
CN102508740A (zh) * 2011-10-26 2012-06-20 上海文广互动电视有限公司 文件系统远程复制方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7567991B2 (en) * 2003-06-25 2009-07-28 Emc Corporation Replication of snapshot using a file system copy differential
US7613945B2 (en) 2003-08-14 2009-11-03 Compellent Technologies Virtual disk drive system and method
US7765187B2 (en) * 2005-11-29 2010-07-27 Emc Corporation Replication of a consistency group of data storage objects from servers in a data network
US7991973B2 (en) * 2008-05-05 2011-08-02 Panasas, Inc. Data storage systems, methods and networks having a snapshot efficient block map
US8429360B1 (en) * 2009-09-28 2013-04-23 Network Appliance, Inc. Method and system for efficient migration of a storage object between storage servers based on an ancestry of the storage object in a network storage system
US8909876B2 (en) * 2010-10-28 2014-12-09 International Business Machines Corporation Snapshots in a hybrid storage device comprising a magnetic disk and a solid state disk
US8904126B2 (en) * 2010-11-16 2014-12-02 Actifio, Inc. System and method for performing a plurality of prescribed data management functions in a manner that reduces redundant access operations to primary storage
JP2013073403A (ja) * 2011-09-27 2013-04-22 Fujitsu Ltd 情報処理装置、情報処理方法、および情報処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040098424A1 (en) * 2001-10-29 2004-05-20 Emc Corporation Method and apparatus for efficiently copying distributed data files
US20090055608A1 (en) * 2006-01-30 2009-02-26 Yasuo Yamasaki Preventive measure against data overflow from differential volume in differential remote copy
US20110191560A1 (en) * 2006-04-11 2011-08-04 Emc Corporation Efficient data storage using two level delta resemblance
CN102096615A (zh) * 2011-01-25 2011-06-15 上海爱数软件有限公司 远程增量备份方法及系统
CN102508740A (zh) * 2011-10-26 2012-06-20 上海文广互动电视有限公司 文件系统远程复制方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404564A (zh) * 2015-12-16 2016-03-16 浪潮(北京)电子信息产业有限公司 一种数据远程容灾方法及装置
CN112000279A (zh) * 2020-07-29 2020-11-27 北京浪潮数据技术有限公司 一种数据卷的同步方法、装置和介质

Also Published As

Publication number Publication date
EP2872998B1 (en) 2017-10-11
EP2872998A1 (en) 2015-05-20
WO2014014580A1 (en) 2014-01-23
EP2872998A4 (en) 2016-05-25
US9916101B2 (en) 2018-03-13
CN104662521B (zh) 2018-11-20
US20140019698A1 (en) 2014-01-16
US9087009B2 (en) 2015-07-21
US20150277800A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
CN104662521A (zh) 利用delta卷复制数据的系统和方法
EP1814033B1 (en) Storage system and data restoration method thereof
DE102017124079B4 (de) Speichervorrichtung zum Verarbeiten von beschädigten Metadaten und Verfahren zum Betreiben derselben
CN101878471B (zh) 数据存储空间恢复系统和方法
US7350043B2 (en) Continuous data protection of block-level volumes
US7284104B1 (en) Volume-based incremental backup and recovery of files
US9087008B1 (en) Replicating a volume using snapshots
US8255647B2 (en) Journal volume backup to a storage device
JP4292882B2 (ja) 複数のスナップショット維持方法及びサーバ装置及びストレージ装置
CN102929748B (zh) 数据备份方法及装置
CN101777017B (zh) 一种连续数据保护系统的快速恢复方法
CN101061467B (zh) 远程存储数据副本
CN101583930B (zh) 用于数据安全性的非易失性盘高速缓存
US9424137B1 (en) Block-level backup of selected files
CN101515276B (zh) 一种文件数据写操作的方法、文件数据恢复方法及系统
US20120095968A1 (en) Storage tiers for different backup types
US8572045B1 (en) System and method for efficiently restoring a plurality of deleted files to a file system volume
CN101326496A (zh) 持续保护数据的装置、系统和方法
US9495253B2 (en) Virtual snapshot system and method
CN101566929B (zh) 虚拟磁盘驱动系统和方法
CN106528338A (zh) 一种远程数据复制方法、存储设备及存储系统
CN111338846B (zh) 一种基于多核恢复l2p表的方法和装置
CN107562576A (zh) 一种数据保护的方法
CN113568583B (zh) 重删数据保护方法及装置
CN113568584B (zh) 重删数据保护方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant