CN113986115A - 用于复制数据的方法、电子设备和计算机程序产品 - Google Patents

用于复制数据的方法、电子设备和计算机程序产品 Download PDF

Info

Publication number
CN113986115A
CN113986115A CN202010730268.6A CN202010730268A CN113986115A CN 113986115 A CN113986115 A CN 113986115A CN 202010730268 A CN202010730268 A CN 202010730268A CN 113986115 A CN113986115 A CN 113986115A
Authority
CN
China
Prior art keywords
subset
data blocks
snapshot
data
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010730268.6A
Other languages
English (en)
Inventor
胡博
吴迁
叶静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN202010730268.6A priority Critical patent/CN113986115A/zh
Priority to US17/029,709 priority patent/US11442895B2/en
Publication of CN113986115A publication Critical patent/CN113986115A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/11File system administration, e.g. details of archiving or snapshots
    • G06F16/128Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • G06F11/1451Management of the data involved in backup or backup restore by selection of backup contents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • G06F11/1453Management of the data involved in backup or backup restore using de-duplication of the data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1748De-duplication implemented within the file system, e.g. based on file segments
    • G06F16/1756De-duplication implemented within the file system, e.g. based on file segments based on delta files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81Threshold
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/84Using snapshots, i.e. a logical point-in-time copy of the data

Abstract

本公开的实施例涉及一种用于复制数据的方法、电子设备和计算机程序产品。在此公开的方法包括:获取数据块集合的第一快照,第一快照是数据块集合的第一子集开始复制之前的快照;获取数据块集合的第二快照,第二快照是数据块集合在第一子集复制完成时的快照;以及基于第二快照与第一快照之间的差异,确定数据块集合的第二子集,第二子集不同于第一子集。以此方式,本公开的实施例能够改善异步复制中的数据保护效率。

Description

用于复制数据的方法、电子设备和计算机程序产品
技术领域
本公开的实施例涉及数据处理领域,更具体地,涉及用于复制数据的方法、电子设备和计算机程序产品。
背景技术
随着数据存储技术的发展,数据存储设备已经能够向用户提供非常庞大的数据存储能力。为了加强对存储的数据的保护,防止数据由于各种原因而丢失,用户往往需要将源设备上存储的数据进行备份,特别是将数据备份在位于异地的目标设备上,以实现对各种突发情况的应对。
异步复制是一种常用的数据复制方法。在进行异步复制时,需要先执行初始复制,即将源设备上的初始数据完整地复制到目标设备。在初始复制完成后,只需要定期对源设备上的数据执行增量复制(仅复制被更新的数据)就能实现数据的有效备份。然而,在初始数据很大的情况下(例如,10TB或者20TB),受到网络传输带宽或成本的限制,初始复制可能需要很长的时间,并且还可能对后续的增量备份造成影响。这种情况大大降低了数据保护的效率,增加了数据丢失的可能性。
发明内容
本公开的实施例提供了一种用于复制数据的方法、电子设备和计算机程序产品。
在本公开的第一方面,提供了一种用于复制数据的方法。该方法包括:获取数据块集合的第一快照,第一快照是数据块集合的第一子集开始复制之前的快照;获取数据块集合的第二快照,第二快照是数据块集合在第一子集复制完成时的快照;以及基于第二快照与第一快照之间的差异,确定数据块集合的第二子集,第二子集不同于第一子集。
在本公开的第二方面,提供了一种电子设备。该电子设备包括:处理器;以及存储器,存储有计算机程序指令,处理器运行存储器中的计算机程序指令控制电子设备执行动作,动作包括:获取数据块集合的第一快照,第一快照是数据块集合的第一子集开始复制之前的快照;获取数据块集合的第二快照,第二快照是数据块集合在第一子集复制完成时的快照;以及基于第二快照与第一快照之间的差异,确定数据块集合的第二子集,第二子集不同于第一子集。
在本公开的第三方面,提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令,机器可执行指令在由设备执行时使设备执行动作,动作包括:获取数据块集合的第一快照,第一快照是数据块集合的第一子集开始复制之前的快照;获取数据块集合的第二快照,第二快照是数据块集合在第一子集复制完成时的快照;以及基于第二快照与第一快照之间的差异,确定数据块集合的第二子集,第二子集不同于第一子集。
应当理解,发明内容部分并非旨在标识本公开的实施例的关键或重要特征,亦非旨在用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
通过参照附图的以下详细描述,本公开实施例的上述和其他目的、特征和优点将变得更容易理解。在附图中,将以示例以及非限制性的方式对本公开的多个实施例进行说明,其中:
图1示出了根据本公开的一些实施例的用于复制数据的示例环境100的示意图;
图2示出了根据本公开的一些实施例的用于复制数据的方法200的流程图;
图3示出了根据本公开的一些实施例的确定第二子集的示意图;
图4示出了现有技术中异步复制的时序图;
图5示出了采用根据本公开的一些实施例的复制数据方法的异步复制的时序图与现有技术中异步复制时序图的对比;以及
图6示出了可以用来实施本公开的实施例的设备600的示意性框图。
具体实施方式
现在将参照附图中所示的各种示例性实施例对本公开的构思进行说明。应当理解,这些实施例的描述仅仅为了使得本领域的技术人员能够更好地理解并进一步实现本公开,而并不旨在以任何方式限制本公开的范围。应当注意的是,在可行情况下可以在图中使用类似或相同的附图标记,并且类似或相同的附图标记可以表示类似或相同的元素。本领域的技术人员将理解,从下面的描述中,本文中所说明的结构和/或方法的替代实施例可以被采用而不脱离所描述的本公开的原理和构思。
在本公开的语境中,术语“包括”及其各种变体可以被理解为开放式术语,其意味着“包括但不限于”;术语“基于”可以被理解为“至少部分地基于”;术语“一个实施例”可以被理解为“至少一个实施例”;术语“另一实施例”可以被理解为“至少一个其它实施例”。其他可能出现但在此处未提及的术语,除非明确说明,否则不应以与本公开的实施例所基于的构思相悖的方式做出解释或限定。
如上所述,在进行异步复制时,需要先执行初始复制,即,将源设备上的初始数据完整地复制到目标设备。在初始复制完成后,只需要定期对源设备上的数据执行增量复制(仅复制被更新的数据)就能实现数据的有效备份。然而,在初始数据很大的情况下(例如,10TB或者20TB),受到网络传输带宽或成本的限制,初始复制可能需要很长的时间,并且还可能对后续的增量备份造成影响。这种情况大大降低了数据保护的效率,增加了数据丢失的可能性。
为了解决上述问题和/或其他潜在的问题,本公开的实施例提出了一种用于复制数据的方案。该方案能够获取数据块集合的第一快照,第一快照是数据块集合的第一子集开始复制之前的快照。该方案能够获取数据块集合的第二快照,第二快照是数据块集合在第一子集复制完成时的快照。该方案能够基于第二快照与第一快照之间的差异,确定数据块集合的第二子集,第二子集不同于第一子集。以此方式,该方案能够改善采用异步复制的存储系统的数据保护效率。
以下参考附图来说明本公开的基本原理和实现方式。应当理解,给出的示例性实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开的实施例,而并非以任何方式限制本公开的范围。
图1示出了根据本公开的实施例的用于复制数据的示例环境100的示意图。如图1所示,环境100包括数据块集合110。数据块集合110是存储在电子设备中的待复制的数据块集合。电子设备可以是计算机、服务器或者可用于数据存储的任意其他设备。
数据块集合110包括第一子集112。电子设备可以获取数据块集合110的第一快照120。第一快照120可以是创建第一快照120时的数据块集合110的副本,也可以是创建第一快照120时的数据块集合110的经转换的形式。在一些实施例中,可以基于数据块集合110中的数据块的操作频率来确定第一子集112中的数据块。例如,可以将操作频率小于阈值频率的数据块确定为第一子集112中的数据块。在第一复制阶段,电子设备可以将创建第一快照120时的第一子集112中的数据块中的数据复制到目标设备中。
在将第一子集112复制到目标设备期间,数据块集合110中的数据块仍然可以被用户更新(例如,进行修改、删除或添加)。因此,在将创建第一快照120时的第一子集112复制到目标设备之后,电子设备可以获取数据块集合110的第二快照130。
在一些实施例中,数据块集合110中的某些数据块可能在第一子集112的复制期间被用户更新,因此电子设备可以获取第二快照130与第一快照120之间的差异140,以确定哪些数据块发生了改变。由于电子设备仅将第一子集112中包括的操作频率较小的数据块复制到了目标设备,因此电子设备可以将数据块集合110中上尚未被复制的数据块和所确定的发生改变的数据块共同确定为第二子集114的数据块。
在第二复制阶段,电子设备可以将在第二快照130创建时的第二子集114中的数据块复制到目标设备,以完成数据块集合的初始复制。尽管在以上描述中,电子设备仅进行了两个复制阶段,然而应当理解,电子设备还可以采用更多的类似的复制阶段来完成数据块集合110的初始复制。以此方式,通过将初始复制分成多个复制阶段,可以获取数据块集合110的多个快照,并且减少了快照之间的时间间隔,增加了存储系统的数据保护效率。
应当理解,电子设备可以包括处理器以及存储器。在某些实施例中,存储器中可以存储有计算机程序,这些程序的指令可由处理器来执行从而控制电子设备的操作。应当理解,电子设备还可以包括一些其他模块和/或设备,诸如通信模块、输入输出设备,等等。
图2示出了根据本公开的实施例的用于复制数据的方法200的流程图。应当理解,方法200中的至少一部分可以由以上所描述的电子设备来执行。方法200还可以包括未示出的框和/或可以省略所示出的框。本公开的范围在此方面不受限制。
在框210处,电子设备可以获取数据块集合110的第一快照120,第一快照120是第一子集112开始复制之前的快照。在一些实施例中,电子设备可以获取数据块集合110中的数据块的操作频率。电子设备可以将操作频率小于阈值频率的数据块确定为所述第一子集中的数据块。例如,电子设备可以获取数据块集合110中的数据块的数据写入频率,将每小时写入次数低于30次的数据块确定为第一子集112中的数据块。以此方式,电子设备可以使用较短的时间将数据块集合110中不常用的数据块先复制到目标设备,以完成第一阶段的复制,从而可以更早地获得下一快照,降低了可能会丢失大量数据的风险。
在框220处,电子设备可以获取数据块110的第二快照130,第二快照130是第一子集112复制完成时的快照。在一些实施例中,在将第一子集112复制到目标设备期间,用户可能会对数据块集合112中的数据进行更新。因此,第二快照130可以反映更新后的数据块集合110的状态。以此方式,电子设备通过获取数据块集合110的最新快照,可以在存储系统出现问题时最大限度地降低数据丢失量。
在框230处,电子设备可以基于第二快照130与第一快照120之间的差异140来确定数据块集合110的第二子集114。在一些实施例中,电子设备可以通过比较第二快照130与第一快照120,来确定在第一子集112的复制期间发生改变的数据块。例如,电子设备可以将与差异140相关联的数据块确定为第三子集中的数据块。以此方式,电子设备可以快速、准确地确定哪些数据块被更新。应当理解,在第一子集112的复制期间,数据块集合112中也可能没有任何数据被更新,在这样的情况下,第三子集可以不包括任何数据块。
在一些实施例中,由于在第一阶段的复制过程中,电子设备仅将第一子集112复制到目标设备,因此电子设备还可以确定数据块集合110的第四子集,第四子集包括数据块集合110中尚未被复制的数据块。例如,电子设备可以将数据块集合110中除第一子集112之外的数据块确定为第四子集中的数据块。以此方式,电子设备可以确定数据块结合110中尚未被复制的数据块。
在一些实施例中,电子设备可以合并第三子集与第四子集来获得第二子集114。例如,如果在第一子集112的复制期间,数据块集合112中没有任何数据被更新(即,第三子集不包括任何数据块),则将第四子集作为第二子集;如果在第一子集112的复制期间,数据块集合112中存在数据被更新的情况,则将第三子集与第四子集中的数据块合并为第二子集114中的数据块。以此方式,可以将第二子集114复制到目标设备,使得电子设备能够以较短的时间完成初始复制的第二阶段,从而降低了后续增量复制的时间并且提高了数据保护的效率。
下面结合图3详细描述根据第一快照120和第二快照130之间的差异140来确定第二子集114的示意图。在开始复制之前,电子设备获取数据块集合110的第一快照120。电子设备可以基于第一快照来创建位图150。位图150中的每个位可以与数据块集合110中的每个数据块相关联。以图3为例,位图150可以包括16个位,数据块集合可以包括16个数据块,每个数据块与位图150中的一位相关联。电子设备可以获取这16个数据块的操作频率,并将与操作频率低于阈值操作频率的数据块相关联的位设置为1,将其他位设置位0。第一子集112可以包括被位图标识为1的数据块。以此方式,电子设备可以准确地标识第一子集中的数据块。
在一些实施例中,电子设备将第一子集112中的数据块复制到目标设备。例如,电子设备将与位图150中标识为1的位相关联的数据块复制到目标设备,一旦该数据块复制完成,则将相关联的位设置为0,以表示该数据块已完成复制。然后,电子设备继续将其他被标识为1的数据块复制到目标设备,并且将与其相关联的位图的位设置为0。以此类推,直到位图150中的所有位均为0。以此方式,电子设备可以将操作频率较低的数据块先复制到目标设备,以完成第一阶段的复制,从而缩短获得下一快照的时间间隔。
在一些实施例中,电子设备可以创建位图160,位图160中的每个位均与位图150中相对应的位取相反的值。例如,如果位图150中的第一位为1,则将位图160中的第一位设置为0,而如果位图150中的第二位为0,则将位图160中的第二位设置为1,以此类推。以这样的方式,电子设备可以标识出在第一阶段期间尚未被复制的数据块,以便于完成后续操作。
在一些实施例中,电子设备可以在第一子集112复制完成之后获取数据块集合110的第二快照130。电子设备可以基于第二快照130与第一快照120之间的差异140来确定在第一子集112复制期间发生改变的数据块。例如,电子设备可以创建位图170,并将与发生改变的数据块相关联的位设置为1,而将与未发生改变的数据块相关联的位设置为0。仍以图3为例,通过比较第一快照130与第二快照120,电子设备基于两者之间的差异140可以确定在第一子集112的复制期间用户更新了5个数据块中的数据,因此电子设备将位图170中与这5个数据块相关联的位设置为1,而将其他位设置为0。以此方式,电子设备可以标识出被更新的数据块,以便于在后续复制阶段将这些被更新的数据块复制到目标设备。
在一些实施例中,电子设备可以创建位图180。位图180中的每一位均是位图160与位图170进行“或”运算的结果。如图3所示,位图160与位图170中的第一位均为0,则位图180的第一位被设置为0;位图160与位图170中的第二位均为1,则位图180的第二位被设置为1;以此类推。由于位图180将与更新的数据块和尚未被复制的数据块相关联的位均标识为1,因此与这些标识为1的位相关联的数据块均被包括在第二子集114中。
与第一阶段的复制类似,电子设备可以在第二阶段将与位图180中标识为1的位相关联的数据块复制到目标设备,一旦该数据块复制完成,则将相关联的位设置为0,以表示该数据块已完成复制;以此类推。一旦位图180中的所有位均为0,则表示第二子集114已全部复制目标设备中,也就是说数据块集合110的完整的初始复制已经完成。以此方式,通过将初始复制分成多个复制阶段,可以获取数据块集合110的最新快照,从而可以最大限度地降低数据回滚导致的数据丢失,并且降低了后续增量复制所需要的时间,改善了数据保护的效率。
备选地,为了简化操作流程,电子设备可以不创建位图180,而是在第一子集112复制完成之后直接对位图150进行修改,即,将位图150中的每一位替换为位图160和位图170进行“或”运算后的每一位。以此方式,电子设备只需始终确保将位图150中被标识为1的数据块复制到目标设备即可,而无需关注其他位图的状态,从而简化了操作流程。
尽管在图3所示的示例中,数据块集合110包括16个数据块,同时位图包括16个位,然而应当理解,数据块集合110可以包括其他合适数目的数据块,位图也可以包括其他合适数目的位,本公开对此不进行限制。还应当理解图1和图3中所示的第一集合112和第二集合114的方框大小仅是示意性的,无意于对第一集合112和第二集合114所包括的数据块数目的比例进行任何限制。然而,在存储系统中,操作频率低的数据通常比操作频率高的数据更多,因此第一子集112可以比第二子集114包含的数据块更多,例如,第一子集112可以包括数据块集合110中80%的数据块或70%的数据块等。
下面结合图4和图5来描述采用根据本公开的一些实施例的复制数据方法的异步复制相对于现有异步复制的优势。如图4所示,现有异步复制需要首先在时间点TA0获取源数据的快照,并在TA0到TA1期间进行一个完整的初始复制。在源数据很大或者传输带宽较小的情况下,该初始复制所花费的时间通常会很长,有时甚至会长达数十天。一旦源数据在时间点TA1被完整到目标设备后,目标设备此时才拥有源数据在时间点TA0创建快照时的备份。此后,电子设备在时间点TA1获取源数据的当前快照,并且在TA1到TA2期间执行增量备份,以将TA0到TA1之间被更新的数据备份到目标设备,一旦这些被更新的数据在时刻TA2复制到目标设备后,目标设备此时才拥有源数据在TA1时刻的备份。与此类似,在TA2至TA3之间以及后续的增量备份过程将不再赘述。
可以看出,由于现有的异步复制需要一个时间很长的初始复制时间,如果源数据在TA1到TA2之间的某个时间点发生损坏需要进行恢复,而目标设备此时仅保存有时间点TA0的数据备份,则源数据只能回滚到TA0时刻的数据状态。这将导致从该时间点到TA0之间所有已经更新过的数据丢失,而初始复制的时间越长,这样的数据丢失量就越大。
另外,用户通常希望存储系统能够定期完成增量备份,例如每隔1小时进行一次增量备份,从而获得稳定的数据保护能力。然而,由于TA1到TA0之间的时间很长,在此期间将会有大量的数据被更新,从而将导致TA2到TA1之间的增量备份花费很长的时间,例如长达到5个小时。类似地,这将进一步延长后续的增量备份所需要的时间。这显然难以满足用户的需求。
图5示出了采用根据本公开的一些实施例的复制数据方法的异步复制与现有技术的异步复制的对比。为了便于比对,图5的上部仍然示出了现有技术中异步复制的时序图,而图5的下部示出了采用根据本公开的一些实施例的复制数据方法的异步复制的时序图。
在一些实施例中,电子设备可以在时间点TB0获取源数据的当前快照,并在TB0到TBX的第一阶段期间,将源数据中的操作频率较低的数据先复制到目标设备,操作频率较低的数据例如可以占源数据的80%。电子设备然后在时间点TBX获取源数据的当前快照,并在TBX到TB1的第二阶段期间,将源数据中已更新的数据和剩余20%操作频率较高的数据复制到目标设备中。也就是说,电子设备在时间点TB1完成了源数据的初始复制,而在TB1到TB2之间执行的增量备份只需要将TBX到TB1之间更新的数据进行备份即可。与此类似,在TB2至TB3之间以及后续的增量备份过程将不再赘述。
与现有技术相比,尽管根据本公开的实施例的电子设备进行初始复制所需要的总时间略长一些,但是可以提供更有效的数据保护。例如,如果源数据在TB1到TB2之间的某个时间点发生损坏需要进行恢复,由于目标设备此时已经备份了TBX时刻的源数据,则只需要将源数据回滚到TBX时刻的状态,而无需像现有技术中那样回滚到最初始的TA0时刻,因此可以显著减少数据丢失量。
另一方面,由于电子设备在TB1到TB2的增量备份期间只需要备份TBX到TB1之间更新的数据,因此,大大减少了首次增量备份所需要的时间,进而可以减少后续增量备份所需要的时间,从而能够提供稳定的数据保护能力,提升了用户体验。
尽管在以上所述的示例中,初始复制被描述为包括两个阶段,然而应当理解,初始复制也可以包括更多的类似的复制阶段。更多阶段的操作原理与两个阶段类似,本公开对此不进行赘述。
图6示出了可以用来实施本公开的实施例的设备600的示意性框图,设备600可以为以上参考图1至图4所提及的电子设备。如图所示,设备600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个方法或过程可由处理单元601执行。例如,在一些实施例中,方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序被加载到RAM 603并由CPU 601执行时,可以执行上文描述的方法或过程中的一个或多个步骤或动作。
在一些实施例中,以上所描述的方法和过程可以被实现为计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言,以及常规的过程式编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本公开的各个方面。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (18)

1.一种用于复制数据的方法,包括:
获取数据块集合的第一快照,所述第一快照是所述数据块集合的第一子集开始复制之前的快照;
获取所述数据块集合的第二快照,所述第二快照是所述数据块集合在所述第一子集复制完成时的快照;以及
基于所述第二快照与所述第一快照之间的差异,确定所述数据块集合的第二子集,所述第二子集不同于所述第一子集。
2.根据权利要求1所述的方法,还包括:
获取所述数据块集合中的数据块的操作频率;以及
将操作频率小于阈值频率的数据块确定为所述第一子集中的数据块。
3.根据权利要求2所述的方法,所述操作频率包括数据写入频率。
4.根据权利要求1所述的方法,其中确定所述第二子集包括:
确定所述数据块集合的第三子集,所述第三子集包括所述数据块集合在所述第一子集的复制期间发生改变的数据块;
确定所述数据块集合的第四子集,所述第四子集包括所述数据块集合中尚未被复制的数据块;以及
通过合并所述第三子集与所述第四子集来获得所述第二子集。
5.根据权利要求4所述的方法,其中确定所述第三子集包括:
将与所述第二快照与所述第一快照之间的差异相关联的数据块确定为所述第三子集中的数据块。
6.根据权利要求4所述的方法,其中确定所述第四子集包括:
将所述数据块集合中除第一子集之外的数据块确定为所述第四子集中的数据块。
7.一种电子设备,包括:
处理器;以及
存储器,存储有计算机程序指令,所述处理器运行所述存储器中的所述计算机程序指令控制所述电子设备执行动作,所述动作包括:
获取数据块集合的第一快照,所述第一快照是所述数据块集合的第一子集开始复制之前的快照;
获取所述数据块集合的第二快照,所述第二快照是所述数据块集合在所述第一子集复制完成时的快照;以及
基于所述第二快照与所述第一快照之间的差异,确定所述数据块集合的第二子集,所述第二子集不同于所述第一子集。
8.根据权利要求7所述的电子设备,所述动作还包括:
获取所述数据块集合中的数据块的操作频率;以及
将操作频率小于阈值频率的数据块确定为所述第一子集中的数据块。
9.根据权利要求8所述的电子设备,所述操作频率包括数据写入频率。
10.根据权利要求7所述的电子设备,其中确定所述第二子集包括:
确定所述数据块集合的第三子集,所述第三子集包括所述数据块集合在所述第一子集的复制期间发生改变的数据块;
确定所述数据块集合的第四子集,所述第四子集包括所述数据块集合中尚未被复制的数据块;以及
通过合并所述第三子集与所述第四子集来获得所述第二子集。
11.根据权利要求10所述的电子设备,其中确定所述第三子集包括:
将与所述第二快照与所述第一快照之间的差异相关联的数据块确定为所述第三子集中的数据块。
12.根据权利要求10所述的电子设备,其中确定所述第四子集包括:
将所述数据块集合中除第一子集之外的数据块确定为所述第四子集中的数据块。
13.一种计算机程序产品,所述计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令,所述机器可执行指令在由设备执行时使所述设备执行动作,所述动作包括:
获取数据块集合的第一快照,所述第一快照是所述数据块集合的第一子集开始复制之前的快照;
获取所述数据块集合的第二快照,所述第二快照是所述数据块集合在所述第一子集复制完成时的快照;以及
基于所述第二快照与所述第一快照之间的差异,确定所述数据块集合的第二子集,所述第二子集不同于所述第一子集。
14.根据权利要求13所述的计算机程序产品,所述动作还包括:
获取所述数据块集合中的数据块的操作频率;以及
将操作频率小于阈值频率的数据块确定为所述第一子集中的数据块。
15.根据权利要求14所述的计算机程序产品,所述操作频率包括数据写入频率。
16.根据权利要求13所述的计算机程序产品,其中确定所述第二子集包括:
确定所述数据块集合的第三子集,所述第三子集包括所述数据块集合在所述第一子集的复制期间发生改变的数据块;
确定所述数据块集合的第四子集,所述第四子集包括所述数据块集合中尚未被复制的数据块;以及
通过合并所述第三子集与所述第四子集来获得所述第二子集。
17.根据权利要求16所述的计算机程序产品,其中确定所述第三子集包括:
将与所述第二快照与所述第一快照之间的差异相关联的数据块确定为所述第三子集中的数据块。
18.根据权利要求16所述的计算机程序产品,其中确定所述第四子集包括:
将所述数据块集合中除第一子集之外的数据块确定为所述第四子集中的数据块。
CN202010730268.6A 2020-07-27 2020-07-27 用于复制数据的方法、电子设备和计算机程序产品 Pending CN113986115A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010730268.6A CN113986115A (zh) 2020-07-27 2020-07-27 用于复制数据的方法、电子设备和计算机程序产品
US17/029,709 US11442895B2 (en) 2020-07-27 2020-09-23 Method for copying data, electronic device and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010730268.6A CN113986115A (zh) 2020-07-27 2020-07-27 用于复制数据的方法、电子设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN113986115A true CN113986115A (zh) 2022-01-28

Family

ID=79688230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010730268.6A Pending CN113986115A (zh) 2020-07-27 2020-07-27 用于复制数据的方法、电子设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11442895B2 (zh)
CN (1) CN113986115A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060020762A1 (en) * 2004-07-23 2006-01-26 Emc Corporation Storing data replicas remotely
US20140337288A1 (en) * 2012-07-31 2014-11-13 Empire Technology Development Llc Parting data to improve system performance
CN105045541A (zh) * 2015-09-11 2015-11-11 浪潮(北京)电子信息产业有限公司 一种增量快照方法及装置
CN106155833A (zh) * 2015-03-31 2016-11-23 华为技术有限公司 一种异步远程复制的方法和装置
CN110389859A (zh) * 2018-04-20 2019-10-29 伊姆西Ip控股有限责任公司 用于复制数据块的方法、设备和计算机程序产品

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7296125B2 (en) * 2001-11-29 2007-11-13 Emc Corporation Preserving a snapshot of selected data of a mass storage system
US7743031B1 (en) * 2002-09-06 2010-06-22 3Par, Inc. Time and space efficient technique for creating virtual volume copies
JP4292882B2 (ja) * 2003-03-18 2009-07-08 株式会社日立製作所 複数のスナップショット維持方法及びサーバ装置及びストレージ装置
JP4809040B2 (ja) * 2005-11-08 2011-11-02 株式会社日立製作所 ストレージ装置及びスナップショットのリストア方法
WO2010042109A1 (en) * 2008-10-07 2010-04-15 Hewlett-Packard Development Company, L.P. Creating snapshots of data using a selected one of different snapshot algorithms
CN102378969B (zh) * 2009-03-30 2015-08-05 惠普开发有限公司 拷贝卷中存储的数据的去重复
US8412688B1 (en) * 2009-06-29 2013-04-02 Emc Corporation Delegated reference count base file versioning
US9280555B1 (en) 2013-03-29 2016-03-08 Emc Corporation Unified data protection for block and file objects
US9330155B1 (en) 2013-09-30 2016-05-03 Emc Corporation Unified management of sync and async replication for block and file objects
US20150186488A1 (en) * 2013-12-27 2015-07-02 International Business Machines Corporation Asynchronous replication with secure data erasure

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060020762A1 (en) * 2004-07-23 2006-01-26 Emc Corporation Storing data replicas remotely
US20140337288A1 (en) * 2012-07-31 2014-11-13 Empire Technology Development Llc Parting data to improve system performance
CN106155833A (zh) * 2015-03-31 2016-11-23 华为技术有限公司 一种异步远程复制的方法和装置
CN105045541A (zh) * 2015-09-11 2015-11-11 浪潮(北京)电子信息产业有限公司 一种增量快照方法及装置
CN110389859A (zh) * 2018-04-20 2019-10-29 伊姆西Ip控股有限责任公司 用于复制数据块的方法、设备和计算机程序产品

Also Published As

Publication number Publication date
US20220027311A1 (en) 2022-01-27
US11442895B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
US20150046667A1 (en) Synchronization for initialization of a remote mirror storage facility
US10860445B2 (en) Methods and devices for multi-level data protection in a storage system
CN110389858B (zh) 存储设备的故障恢复方法和设备
US10795579B2 (en) Methods, apparatuses, system and computer program products for reclaiming storage units
WO2019215532A1 (en) Host aware update write
CN111143113B (zh) 复制元数据的方法、电子设备和计算机程序产品
CN112231288A (zh) 日志存储方法和装置、介质
CN111143112B (zh) 用于恢复元数据的方法、设备和计算机可读存储介质
CN111506450B (zh) 用于数据处理的方法、设备和计算机程序产品
CN113448770A (zh) 用于恢复数据的方法、电子设备和计算机程序产品
CN110389857B (zh) 数据备份的方法、设备和非瞬态计算机存储介质
CN113986115A (zh) 用于复制数据的方法、电子设备和计算机程序产品
US20210240350A1 (en) Method, device, and computer program product for recovering based on reverse differential recovery
US11281391B2 (en) Method, device, and computer program for migrating backup system
CN115202924A (zh) 用于存储管理的方法、电子设备和计算机程序产品
CN113297003A (zh) 管理备份数据的方法、电子设备和计算机程序产品
CN112685219A (zh) 用于备份数据的方法、设备和计算机程序产品
CN111858144A (zh) 存储管理的方法、设备和计算机程序产品
US11714631B2 (en) Method, electronic device, and computer program product for managing operating system
US11435933B2 (en) Using any-pit backups for retroactive backup compliance and hardening
US11662937B2 (en) Copying data based on overwritten probabilities
US11340825B1 (en) Method, device, and computer program product for managing storage system
US20210286680A1 (en) Method, electronic device and computer program product for storage management
CN112256487A (zh) 一种数据备份的方法、装置、设备及存储介质
CN111858145A (zh) 数据备份与恢复的方法、设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination