CN111367856A - 数据复制方法、装置、电子设备及机器可读存储介质 - Google Patents
数据复制方法、装置、电子设备及机器可读存储介质 Download PDFInfo
- Publication number
- CN111367856A CN111367856A CN202010129237.5A CN202010129237A CN111367856A CN 111367856 A CN111367856 A CN 111367856A CN 202010129237 A CN202010129237 A CN 202010129237A CN 111367856 A CN111367856 A CN 111367856A
- Authority
- CN
- China
- Prior art keywords
- lun
- copy
- data
- metadata
- snapshot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 206
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000010076 replication Effects 0.000 claims abstract description 84
- 238000011084 recovery Methods 0.000 claims description 73
- 238000004891 communication Methods 0.000 claims description 5
- 230000002829 reductive effect Effects 0.000 abstract description 39
- 238000005516 engineering process Methods 0.000 abstract description 16
- 238000013507 mapping Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/164—File meta data generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1737—Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种数据复制方法、装置、电子设备及机器可读存储介质。在本申请中,确定与第一复制时刻对应的、所述主LUN的待复制到所述副本LUN的初始复制数据;其中,所述初始复制数据至少包括第一元数据;将所述初始复制数据从所述主LUN首次复制到所述副本LUN中,实现了基于将主LUN的元数据区中的快照的元数据及其管理的主LUN的物理空间中的物理数据,通过存储复制技术复制到副本LUN中,并在副本LUN中进行快照重构,减少了冗余数据复制及网络消耗,提高了数据复制效率,同时节约了存储空间。
Description
技术领域
本申请涉及存储技术领域,尤其涉及数据复制方法、装置、电子设备及机器可读存储介质。
背景技术
信息系统越来越成为社会生产能力的枢纽和重要支柱。企业的业务运转越来越高度依赖数据,这使得数据成为了支撑企业运作的重要基石。大部分企业用户已经充分认识到数据的重要性,纷纷采取必要的保护措施,提高数据的安全性和可用性,由此容灾技术应运而生。
目前常见的容灾技术,总体上可以包括离线式容灾和在线容灾;其中,离线式容灾主要依靠备份技术来实现;而在线式容灾主要依靠存储复制技术来实现,在实现时,生产中心和灾备中心同时工作,生产中心和灾备中心之间通过广域网传输链路连接通信。数据从生产中心实时复制到灾备中心。当生产中心遭受灾难、出现故障时,可由灾备中心自动接管并继续提供数据服务。
发明内容
本申请提供一种数据复制方法,所述方法应用于存储容灾系统,所述存储容灾系统包括主存储系统、备存储系统;其中,主存储系统与所述备存储系统通过网络相连通信,主存储系统包括作为数据复制来源的主LUN,备存储系统包括与所述主LUN对应的、作为数据复制目的的副本LUN;所述方法包括:
确定与第一复制时刻对应的、所述主LUN的待复制到所述副本LUN的初始复制数据;其中,所述初始复制数据至少包括第一元数据,所述第一元数据为与所述第一复制时刻对应时刻相同的快照时间点之前的、位于所述主LUN的元数据区中的所有快照的元数据;
将所述初始复制数据从所述主LUN首次复制到所述副本LUN中。
可选的,所述主LUN预设有快照策略;
在确定所述初始复制数据之前,还包括:
依据所述快照策略,生成与若干快照时间点对应的主LUN的若干快照;
在所述若干快照时间点中,检查是否存在与所述第一复制时刻的时刻相同的快照时间点;
如果不存在,则创建与所述第一复制时刻对应时刻相同的快照时间点的主LUN的快照。
可选的,所述将所述初始复制数据从所述主LUN首次复制到所述副本LUN中,包括:
将所述第一元数据从所述主LUN的元数据区中,首次复制到对应的所述副本LUN的元数据区中。
可选的,所述初始复制数据还包括与所述第一元数据对应的第一物理数据;其中,第一物理数据为位于所述主LUN的物理空间中的所述第一元数据管理的物理空间中保存的用户写入数据;
所述将所述初始复制数据从所述主LUN首次复制到所述副本LUN中,还包括:
将所述第一物理数据从所述主LUN的物理空间中,首次复制到对应的所述副本LUN的物理空间中。
可选的,所述副本LUN元数据区中包括所述第一元数据的元数据副本,所述副本LUN元数据区物理空间中包括所述第一物理数据的物理数据副本,还包括:
基于所述元数据副本和所述物理数据副本,在所述副本LUN中重构与所述主LUN对应的相同快照时间点的相同快照。
可选的,还包括:
确定与第二复制时刻对应的、所述主LUN的待复制到所述副本LUN的差异复制数据;其中,所述差异复制数据至少包括第二元数据,所述第二元数据为快照时间点在所述第一复制时刻与所述第二复制时刻之间的、位于所述主LUN的元数据区中的所有新增快照的元数据;所述第二复制时刻晚于所述第一复制时刻;
基于所述第二元数据,将所述差异复制数据从所述主LUN增量复制到所述副本LUN中。
可选的,所述主LUN和所述副本LUN都为精简LUN。
可选的,所述快照策略为ROW快照策略。
可选的,所述网络为广域网。
本申请还提供一种数据复制装置,所述装置应用于存储容灾系统,所述存储容灾系统包括主存储系统、备存储系统;其中,主存储系统与所述备存储系统通过网络相连通信,主存储系统包括作为数据复制来源的主LUN,备存储系统包括与所述主LUN对应的、作为数据复制目的的副本LUN;所述装置包括:
初始复制模块,确定与第一复制时刻对应的、所述主LUN的待复制到所述副本LUN的初始复制数据;其中,所述初始复制数据至少包括第一元数据,所述第一元数据为与所述第一复制时刻对应时刻相同的快照时间点之前的、位于所述主LUN的元数据区中的所有快照的元数据;
所述初始复制模块进一步,将所述初始复制数据从所述主LUN首次复制到所述副本LUN中。
可选的,所述主LUN预设有快照策略;
在确定所述初始复制数据之前,所述初始复制模块进一步:
依据所述快照策略,生成与若干快照时间点对应的主LUN的若干快照;
在所述若干快照时间点中,检查是否存在与所述第一复制时刻的时刻相同的快照时间点;
如果不存在,则创建与所述第一复制时刻对应时刻相同的快照时间点的主LUN的快照。
可选的,所述初始复制模块进一步:
将所述第一元数据从所述主LUN的元数据区中,首次复制到对应的所述副本LUN的元数据区中。
可选的,所述初始复制数据还包括与所述第一元数据对应的第一物理数据;其中,第一物理数据为位于所述主LUN的物理空间中的所述第一元数据管理的物理空间中保存的用户写入数据;
所述初始复制模块进一步:
将所述第一物理数据从所述主LUN的物理空间中,首次复制到对应的所述副本LUN的物理空间中。
可选的,所述副本LUN元数据区中包括所述第一元数据的元数据副本,所述副本LUN元数据区物理空间中包括所述第一物理数据的物理数据副本,还包括:
快照重构模块,基于所述元数据副本和所述物理数据副本,在所述副本LUN中重构与所述主LUN对应的相同快照时间点的相同快照。
可选的,还包括:
增量复制模块,确定与第二复制时刻对应的、所述主LUN的待复制到所述副本LUN的差异复制数据;其中,所述差异复制数据至少包括第二元数据,所述第二元数据为快照时间点在所述第一复制时刻与所述第二复制时刻之间的、位于所述主LUN的元数据区中的所有新增快照的元数据;所述第二复制时刻晚于所述第一复制时刻;
所述增量复制模块进一步,基于所述第二元数据,将所述差异复制数据从所述主LUN增量复制到所述副本LUN中。
可选的,所述主LUN和所述副本LUN都为精简LUN。
可选的,所述快照策略为ROW快照策略。
可选的,所述网络为广域网。
本申请还提供一种电子设备,包括通信接口、处理器、存储器和总线,所述通信接口、所述处理器和所述存储器之间通过总线相互连接;
所述存储器中存储机器可读指令,所述处理器通过调用所述机器可读指令,执行上述的方法。
本申请还提供一种机器可读存储介质,所述机器可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,实现上述方法。
通过以上实施例,基于将主LUN的元数据区中的快照的元数据及其管理的主LUN的物理空间中的物理数据,通过存储复制技术复制到副本LUN中,并在副本LUN中进行快照重构,减少了冗余数据复制及网络消耗,提高了数据复制效率,同时节约了存储空间。
附图说明
图1是一示例性实施例提供的一种现有的存储容灾系统的数据复制的原理示意图;
图2是一示例性实施例提供的一种数据复制方法的流程图;
图3是一示例性实施例提供的一种精简LUN的示意图;
图4是一示例性实施例提供的一种启用ROW快照的精简LUN的示意图;
图5是一示例性实施例提供的一种改进的存储容灾系统的数据复制的原理示意图;
图6是一示例性实施例提供的一种改进的存储容灾系统的数据复制过程的流程示意图;
图7是一示例性实施例提供的一种电子设备的硬件结构图;
图8是一示例性实施例提供的一种数据复制装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好地理解本申请实施例中的技术方案,下面先对本申请实施例涉及的数据复制的相关技术,进行简要说明。
请参见图1,图1是本申请一实施例提供的一种现有的存储容灾系统的数据复制的原理示意图。
如图1所示,存储容灾系统包括主存储系统、备存储系统;其中,主存储系统包括作为数据复制来源的主LUN,备存储系统包括与所述主LUN对应的、作为数据复制目的的副本LUN,主存储系统与备存储系统通过网络相连通信。
如图1所示,存储容灾系统执行“初始数据拷贝”,对“T1时刻主LUN数据”执行“初始数据拷贝”,将其完整复制到副本LUN;副本LUN在T1时刻对应的数据状态为“T1时刻主LUN数据的副本”,也即,“T1时刻主LUN数据的副本”与“T1时刻主LUN数据”的数据状态一致;
如图1所示,在T2时刻,当存储容灾系统检测到副本LUN中的“T1时刻主LUN数据的副本”与“T2时刻主LUN数据”的数据存在差异时,基于“差异位图”(基于BITMAP存储位图机制)执行“差异数据拷贝”,将“T2时刻主LUN数据”与“T1时刻主LUN数据的副本”的差异数据,通过网络从主LUN拷贝到副本LUN中;副本LUN在T2时刻对应的数据状态为“T2时刻主LUN数据的副本”,也即,“T2时刻主LUN数据的副本”与“T2时刻主LUN数据”的数据状态一致;
类似地,如图1所示,在T3时刻,当存储容灾系统检测到副本LUN中的“T2时刻主LUN数据的副本”与“T3时刻主LUN数据”的数据存在差异时,基于“差异位图”(基于BITMAP存储位图机制)执行“差异数据拷贝”,将“T3时刻主LUN数据”与“T2时刻主LUN数据的副本”的差异数据,通过网络从主LUN拷贝到副本LUN中;副本LUN在T3时刻对应的数据状态为“T3时刻主LUN数据的副本”,也即,“T3时刻主LUN数据的副本”与“T3时刻主LUN数据”的数据状态一致。
在一些场景下,主LUN通常被作为虚拟化平台(比如:OpenStack、VMware等)的配套存储进行使用,而当用户在虚拟化平台中使用虚拟机快速克隆,虚拟桌面等虚拟化功能时,可以通过触发对主LUN进行快照来实现。为了满足上述场景下的主LUN的远程容灾的需求,存储容灾系统需要复制需要将主LUN上所有时间点对应的快照的数据完整复制到副本LUN上,来自保证业务的连续性。
而基于如图1所示的存储容灾系统,存储容灾系统进行存储复制时,是以LUN为单位进行操作的,该技术方案会存在以下问题:
1、为了保证复制将主LUN上所有时间点数据完整的复制到副本LUN上,需要依次复制各个时间点上的差异数据,副本LUN需要依次更新与主LUN的差异数据,副本LUN需要重建物理区和元数据区之间的关联,这对复制速率存在一定的影响,并对副本LUN的存储设备存在一定的资源消耗。
2、需要基于时间点提供时间点快照LUN的功能,用以满足虚拟机克隆和虚拟桌面等上层应用的需求,对于此类时间点快照LUN的复制,如果按照现有的存储容灾系统的复制原理,除了创建如图1所示的副本LUN外,还需要额外再创建一个副本LUN进行数据保护,这样对于备存储系统的存储空间会存在比较大的浪费。
由此,本申请为解决上述问题,旨在提出一种,基于将主LUN的元数据区中的快照数据及其管理的物理数据复制到副本LUN的技术方案。
在实现时,存储容灾系统包括主存储系统、备存储系统;其中,主存储系统与备存储系统通过网络相连通信,主存储系统包括作为数据复制来源的主LUN,备存储系统包括与主LUN对应的、作为数据复制目的的副本LUN。
进一步地,存储容灾系统确定与第一复制时刻对应的、主LUN的待复制到副本LUN的初始复制数据;其中,初始复制数据至少包括第一元数据,第一元数据为与第一复制时刻对应时刻相同的快照时间点之前的、位于主LUN的元数据区中的所有快照的元数据;将初始复制数据从主LUN首次复制到副本LUN中。
在以上方案中,基于将主LUN的元数据区中的快照的元数据及其管理的主LUN的物理空间中的物理数据,通过存储复制技术复制到副本LUN中,并在副本LUN中进行快照重构,减少了冗余数据复制及网络消耗,提高了数据复制效率,同时节约了存储空间。
下面通过具体实施例并结合具体的应用场景对本申请进行描述。
请参考图2,图2是本申请一实施例提供的一种数据复制方法的流程图,所述方法应用于存储容灾系统,所述存储容灾系统包括主存储系统、备存储系统;其中,主存储系统与所述备存储系统通过网络相连通信,主存储系统包括作为数据复制来源的主LUN,备存储系统包括与所述主LUN对应的、作为数据复制目的的副本LUN;上述方法执行以下步骤:
步骤202、确定与第一复制时刻对应的、所述主LUN的待复制到所述副本LUN的初始复制数据;其中,所述初始复制数据至少包括第一元数据,所述第一元数据为与所述第一复制时刻对应时刻相同的快照时间点之前的、位于所述主LUN的元数据区中的所有快照的元数据。
步骤204、将所述初始复制数据从所述主LUN首次复制到所述副本LUN中。
在本说明书中,LUN(Logical Unit Number,逻辑单元号)是指,存储设备对外提供业务的一种实体,被用于代指可访问存储设备的存储空间,通常也被称为“LUN卷”。
在本说明书中,上述主存储系统可以包括基于任何存储介质的若干LUN的存储系统。
例如,在实际应用中,上述主存储系统可以是包括存储介质为固态硬盘的若干LUN的存储系统,也还可以是包括基于存储介质为SAS(Serial Attached SCSI,串行连接SCSI)硬盘或SATA(Serial Advanced Technology Attachment,串行高级技术附件)硬盘,或者多种存储介质混合的若干LUN的存储系统。
在本说明书中,上述备存储系统可以包括基于任何存储介质的若干LUN的存储系统。
例如,在实际应用中,上述备存储系统可以是包括存储介质为固态硬盘的若干LUN的存储系统,也还可以是包括基于存储介质为SAS(Serial Attached SCSI,串行连接SCSI)硬盘或SATA(Serial Advanced Technology Attachment,串行高级技术附件)硬盘,或者多种存储介质混合的若干LUN的存储系统。
在本说明书中,上述网络,是指上述主存储系统与上述备存储系统进行存储复制时通信所基于的任何形式的网络。
在示出的一种实施方式中,上述网络为广域网。当然实际应用中,上述网络也可以是局域网。
在本说明书中,上述主LUN是指,上述主存储系统中的作为数据复制来源的LUN。例如,上述主LUN为如图1所示的主LUN。
在示出的一种实施方式中,上述主LUN为精简LUN,当然在是实际应用中,上述主LUN也可以为普通LUN。
在本说明书中,上述副本LUN是指,上述备存储系统中的、与上述主LUN对应的作为数据复制目的的存储卷。例如,上述副本LUN为如图1所示的副本LUN。
在示出的一种实施方式中,上述副本LUN为精简LUN。当然在是实际应用中,上述副本LUN也可以为普通LUN。
为了方便理解,这里简单介绍下“精简LUN”概念。
“精简LUN”是“自动精简配置LUN”的简称,相较于普通LUN,精简LUN应用了自动精简配置技术,实现了存储资源的动态分配;其中,自动精简配置技术是一种实现存储物理资源动态分配的技术,随着应用数据量的增长,实时、动态的分配物理空间。
与普通LUN相比,精简LUN实现了动态分配存储物理空间,由此导致了精简LUN的虚拟空间地址与物理空间地址不再是一一对应、相等的映射方式,而是一种多元化的线性映射关系,因此,精简LUN中必然需要相应的管理数据来管理该映射关系,而精简LUN中的管理数据,也被称为“自动精简配置元数据”,在本申请中也可被简称为“元数据”,精简LUN中的多个元数据所被保存的存储区域,在本申请中也可被简称为“元数据区”。
相对于精简LUN中的元数据区,精简LUN中的用于存储实际写入的用户数据的存储区域,也被称为“精简LUN的物理区”,在本申请中也可被简称为“物理区”,而在物理区中保存的、被元数据区中的元数据对应管理的用户数据,在本申请中也可被简称为“物理数据”。
请参见图3,图3是本申请一实施例提供的一种精简LUN的示意图。
如图3所示,精简LUN包括“精简LUN元数据区”、“精简LUN物理区”;其中,“精简LUN元数据区”包括“LUN逻辑地址”与“数据物理地址”的“地址映射”;
请参见图3所示,“精简LUN的逻辑地址存储空间”(使用精简LUN的应用所看到的精简LUN的存储空间)中“逻辑地址”为使用精简LUN的应用,显示精简LUN保存有多个“数据块”;而针对“精简LUN的逻辑地址存储空间”中的每个“数据块”,精简LUN可以通过查询“精简LUN元数据区”中的“地址映射”关系,获取“数据块”实际保存在“精简LUN物理区”对应的“数据物理地址”,在获得“数据块”对应的“数据物理地址”后,可以基于“数据物理地址”,进一步获取实际保存在“精简LUN物理区”中该“数据物理地址”对应的“数据块”;
例如,如图3所示的“精简LUN的逻辑地址存储空间”中的“逻辑地址0”保存的数据块为“数据块A0”,针对“精简LUN的逻辑地址存储空间”中的“数据块A0”,精简LUN可以通过查询“精简LUN元数据区”中的“LUN逻辑地址”为“地址0”对应“数据物理地址”为“地址A”的地址映射,获取“数据块A0”实际保存在“精简LUN物理区”对应的“数据物理地址”为“物理地址A”,在获得“物理地址A”后,可以基于“物理地址A”,进一步获取实际保存在“精简LUN物理区”中“物理地址A”对应的“数据块A0”。
如图3所示的“精简LUN的逻辑地址存储空间”中的“逻辑地址10”保存的数据块为“数据块B0”,“精简LUN的逻辑地址存储空间”中的“逻辑地址20”保存的数据块为“数据块F0”,针对“逻辑地址10”、“逻辑地址20”的精简LUN通过“精简LUN元数据区”和“精简LUN物理区”的地址映射进行关联地过程,与“精简LUN的逻辑地址存储空间”中的“逻辑地址0”描述的上述示例类似,这里不再赘述。
基于如图3所示的精简LUN,精简LUN的元数据区记录精简LUN逻辑地址与物理区数据块地址的映射关系,精简LUN根据元数据区实现了物理区中物理空间的动态分配,应用对精简LUN写入了多少用户数据就分配多少物理空间,由此实现了针对精简LUN一次分配逻辑空间容量,按需扩容实际使用的物理空间的功能,提高了存储空间分配效率;当应用对已写入至精简LUN的物理区中的数据进行删除时,精简LUN可以回收物理区中的已分配的物理空间,这样精简LUN物理区中的物理空间可以反复使用,提高了存储空间利用率。
另外,精简LUN除了存储空间可动态扩展及物理空间可反复使用的特性外,还具有一些额外特性。例如,精简LUN在精简LUN的物理区保存了应用已写入的用户数据后,当应用从精简LUN读取该用户数据时,精简LUN会依据元数据区的地址映射关系读取该用户数据,而当应用从精简LUN中的未映射物理空间(应用从未写入过数据的精简LUN中的物理空间)读取数据时,精简LUN会返回全零的数据给应用。
在本说明书中,上述存储容灾系统包括上述主存储系统、上述备存储系统;其中,上述主存储系统包括上述主LUN,上述备存储系统包括上述副本LUN,上述主存储系统与上述备存储系统通过上述网络相连通信。
例如,上述存储容灾系统请参见图1所示,具体请参见前文中的图1描述,这里不再赘述。
在本说明书中,上述快照策略,为用户通过上述存储容灾系统中的上述主存储系统提供的配置入口、进行设置的、用于生成主LUN的目标时刻对应快照的快照配置。
例如,在实际应用中,上述快照策略可以包括按周期定时触发、按用户设置计划定时、用户手工触发等方式,生成主LUN的目标时刻对应快照。
在示出的一种实施方式中,上述快照策略为ROW快照策略,也即,基于为ROW快照策略的上述快照策略,可以生成主LUN的目标时刻对应ROW快照。
为了方便理解,这里先简单介绍下“快照”和“ROW快照”及相关的概念。
快照,是一种用于记录LUN卷在目标时刻(也被称为,快照时间点)数据状态的存储技术,类似于通常的照相技术。对LUN卷创建快照时,写入LUN卷的新数据通常被保存在,为该LUN卷对应分配的快照资源中;其中,快照资源为用于保存LUN卷快照相关数据的存储空间。
ROW快照,是指基于ROW(Redirect On Write,写时重定向)技术生成LUN卷的快照;
其中,ROW是一种快照实现技术,在实现时,当使用ROW技术在快照时间点创建LUN卷的ROW快照时,存储设备会将对LUN卷的写请求重定向给了快照资源,并直接将新的数据写入快照资源,并在LUN卷元数据区中生成对应快照时间点的快照元数据。
为了更清晰地描述启用ROW快照的LUN卷的元数据区的分布状态,以LUN卷为精简LUN进行进一步示例说明。请参见图4,图4是本申请一实施例提供的一种启用ROW快照的精简LUN的示意图。
如图4所示,精简LUN元数据区保存有不同快照时间点对应的快照元数据(快照元数据表征对应快照时间点的“地址映射”关系),例如:“初始状态”对应的快照元数据为“初始状态”下面的5行数据,“时间点0”对应的快照元数据为“时间点0”下面的4行数据、“时间点1”对应的快照元数据为“时间点1”下面的4行数据、“时间点2”对应的快照元数据为“时间点1”下面的4行数据。
如图4所示,需要注意的是,精简LUN生成ROW快照后,所有快照时间点的“地址映射”关系,依旧会按快照时间点创建的先后顺序,依次保存在精简LUN的元数据区。
精简LUN在各个快照时间点的数据状态,也即,精简LUN在各个快照时间点对应的快照,可以通过遍历快照相关的快照时间点的快照元数据(地址映射关系)进行重构;
在实现时,精简LUN在目标快照时间点对应的快照的数据,可以通过遍历该目标快照时间点之前的所有快照时间点所对应的快照元数据进行重构,针对快照元数据中的逻辑地址重复的条目,只保留最新快照时间点中的逻辑地址对应的地址映射。
例如,请参见图4最右侧箭头及括号所指示,“精简LUN在时间点1对应快照的数据”,可以通过遍历“精简LUN元数据区”中的时间点1之前的所有快照时间点(包括:“初始状态”、“时间点0”)所对应的快照元数据进行重构,针对“初始状态”对应快照元数据和“时间点0”对应快照元数据中的逻辑地址存在重复的条目(如图4“精简LUN元数据区”中的待斜线的方格所示,“初始状态”所指示的条目A包括:LUN逻辑地址:“地址0”,数据物理地址:“地址A”,“时间点0”所指示的条目B包括:“LUN逻辑地址:“地址0”,数据物理地址:“地址G”,条目A中的“地址0”和条目B中的“地址0”为逻辑地址存在重复,则条目A和条目B为逻辑地址存在重复的条目),只保留重复条目中的最新快照时间点所包括的重复条目中的地址映射关系(只保留条目B中“地址0”所对应的“地址G”)。
请参见图4最左侧箭头及括号所指示,“精简LUN在最新时刻对应的数据”,可以通过遍历“精简LUN元数据区”中的所有快照时间点(包括:“初始状态”、“时间点0”、“时间点1”、“时间点2”、...)所对应的所有快照元数据进行重构,针对快照元数据中的逻辑地址重复的条目,只保留最新快照时间点中的逻辑地址对应的地址映射,具体过程与“精简LUN在时间点1对应快照的数据”类似,不再赘述。
基于如图4所示的“启用ROW快照的精简LUN”,通过精简LUN的元数据区来保存不同快照时间点对应快照的元数据,和精简LUN最新时刻的元数据,可以使得精简LUN及其快照之间复用大量的物理区数据,可以提高物理空间的利用率。
在本说明书中,在上述主LUN及上述副本LUN都为启用了ROW快照的精简LUN的场景下,本申请对如图1所示的“现有的存储容灾系统的数据复制”进行改进,通过策略性地将上述主LUN(数据复制的源端)的元数据区中的元数据和该元数据管理的位于物理区中的物理数据复制到上述副本LUN对应的元数据区中和物理区中,并在上述副本LUN(数据复制的目的端)重构,与上述主LUN的快照时间点对应的快照元数据,以及快照元数据对应的快照。
为了方便描述和理解,这里先总体介绍下本申请改进的复制技术方案的原理。请参见图5,图5是本申请一实施例提供的一种改进的存储容灾系统的数据复制的原理示意图。
如图5所示的存储容灾系统的架构,与图1所示的存储容灾系统的架构类似,都包括主存储系统、备存储系统;
其中,主存储系统包括的主LUN,备存储系统包括的副本LUN,都为精简LUN;主LUN已启用ROW快照。
如图5所示,每个精简LUN都包括“元数据区”、“物理区”;其中,“物理区”中物理数据被“元数据区”中的元数据所管理,具体管理方式,请参见图3及其对应的前文描述,这里不再赘述。
如图5所示,在主LUN在3个快照时间点(T1、T2、T3)分别对应有3个快照;每个快照通过快照时间点对应的主LUN的元数据区中的快照元数据管理该快照时间点对应的主LUN的物理区中的物理数据。
例如,如图5所示,主LUN在T1时刻对应的快照,通过主LUN的“T1时刻元数据区”中的快照元数据管理对应“T1时刻物理区”中的物理数据;主LUN在T2时刻对应的快照,通过主LUN的“T2时刻元数据区”中的快照元数据管理对应“T2时刻物理区”中的物理数据;主LUN在T3时刻对应的快照,通过主LUN的“T3时刻元数据区”中的快照元数据管理对应“T3时刻物理区”中的物理数据。
如图5所示,存储容灾系统通过“初始数据拷贝”,将主LUN的“T1时刻元数据区”和“T1时刻物理区”中的数据复制到副本LUN中,并在副本LUN中进行“时间点快照重构”,并基于副本LUN中以复制的主LUN的“T1时刻元数据区”和“T1时刻物理区”,重构出与主LUN的T1时刻对应的快照相同的快照;
类似地,存储容灾系统通过“差异元数据及其管理的物理数据拷贝”,将主LUN的“T2时刻元数据区”和“T2时刻物理区”中的数据复制到副本LUN中,在副本LUN中进行“时间点快照重构”,重构出与主LUN的T2时刻对应的快照相同的快照;
类似地,存储容灾系统通过“差异元数据及其管理的物理数据拷贝”,将主LUN的“T3时刻元数据区”和“T3时刻物理区”中的数据复制到副本LUN中,在副本LUN中进行“时间点快照重构”,重构出与主LUN的T3时刻对应的快照相同的快照。
为了方便理解及描述,在如图5所示的改进的存储容灾系统的架构基础上,本说明书结合以下描述的“生成主LUN快照”、“初始复制”和“增量复制”,进行“存储复制”具体过程的详细描述:
a)生成主LUN快照
在示出的一种实施方式中,用户可以通过上述存储容灾系统中的主设备提供的存储配置界面,对上述主LUN进行配置快照策略。
例如,用户可以通过上述存储容灾系统中的主存储系统提供的存储配置界面,对上述主LUN配置了周期性生成主LUN的ROW快照的快照策略。
在本说明书中,进一步地,上述存储容灾系统中的主存储系统依据上述快照策略,生成与若干快照时间点对应的主LUN的若干快照。
例如,请参见图5所示,上述存储容灾系统中的主存储系统依据上述快照策略,生成与若干快照时间点(T1、T2、T3)对应的主LUN的若干快照(T1时刻快照、T2时刻快照、T3时刻快照)。
b)初始复制
在本说明书中,上述第一复制时刻是指,上述存储容灾系统将上述主LUN中所有数据完全拷贝到上述副本LUN中的初始复制时刻。
在实现时,上述存储容灾系统可以选择上述主LUN中已生成的若干个快照时间点中的任意一个快照时间点,作为上述第一复制时刻。
例如,请参见图5所示,上述第一复制时刻可以选择主LUN中已生成的若干个快照时间点(T1、T2、T3)中的任意一个快照时间点,作为上述第一复制时刻。
当然,在实际应用中,上述第一复制时刻也可能不存在对应的上述主LUN中已生成的快照时间点。
在本说明书中,进一步地,上述存储容灾系统通过主存储系统,在上述主LUN中已生成的若干快照时间点中,检查是否存在与上述第一复制时刻的时刻相同的快照时间点;如果不存在,则创建与上述第一复制时刻对应时刻相同的快照时间点的主LUN的快照。
例如,上述第一复制时刻在主LUN中生成T1快照时间点对应的快照之前,当上述第一复制时刻为T1时,在上述主LUN中已生成的若干快照时间点中不存在与第一复制时刻(T1)的时刻相同的快照时间点(T1),则上述存储容灾系统通过主存储系统在上述主LUN的快照策略外,直接生成与第一复制时刻(T1)的时刻相同的快照时间点(T1)的主LUN的快照(如图5所示的T1时刻)。
当然,在实际应用中,在上述主LUN中已生成的若干快照时间点中,存在与上述第一复制时刻的时刻相同的快照时间点时,上述存储容灾系统通过主存储系统,可以直接选择该快照时间点作为上述第一复制时刻,而不需要额外对主卷进行快照创建。
在本说明书中,上述初始复制数据是指,与上述第一复制时刻对应的、上述主LUN中的待复制到上述副本LUN的数据;
其中,上述初始复制数据至少包括第一元数据,上述第一元数据为与上述第一复制时刻对应时刻相同的快照时间点之前的、位于上述主LUN的元数据区中的所有快照的元数据。
例如,当上述存储容灾系统选择为如图5所示的T3快照时间点作为上述第一复制时刻时,上述第一元数据为T3快照时间点之前的、位于上述主LUN的元数据区中的所有快照的元数据;其中,该所有快照的元数据包括:T1快照时间点对应快照的元数据和T2快照时间点对应快照的元数据。
在本说明书中,上述存储容灾系统确定与上述第一复制时刻对应的上述初始复制数据。
以上述第一复制时刻为如图5所示的T1为例进行示例说明,上述存储容灾系统确定与第一复制时刻(T1)对应的初始复制数据;其中,该初始复制数据至少包括第一元数据(T1快照时间点之前的位于主LUN的元数据区中的所有快照的元数据)。
在本说明书中,进一步地,上述存储容灾系统将上述初始复制数据从上述主LUN首次复制到上述副本LUN中。
接着以上示例继续举例说明,上述存储容灾系统将包括上述第一元数据的上述初始复制数据从上述主LUN首次复制到上述副本LUN中。
在示出的一种实施方式中,在将上述初始复制数据从上述主LUN首次复制到上述副本LUN的过程中,上述存储容灾系统上述第一元数据从上述主LUN的元数据区中,首次复制到对应的上述副本LUN的元数据区中。
接着以上示例继续举例说明,上述存储容灾系统上述第一元数据(T1快照时间点之前的位于主LUN的元数据区中的所有快照的元数据)从上述主LUN的元数据区中,首次复制到对应的上述副本LUN的元数据区中。
在示出的一种实施方式中,上述初始复制数据除了包括上述元数据外,还包括与上述第一元数据对应的第一物理数据;
其中,上述第一物理数据为位于上述主LUN的物理空间中的上述第一元数据管理的物理空间中保存的用户写入数据。
需要说明是,上述第一元数据与其管理的上述第一物理数据的关系,与图4及其对应的前文描述类似,这里不再赘述。
在本说明书中,进一步地,在将上述初始复制数据从上述主LUN首次复制到上述副本LUN的过程中,除了将上述第一元数据从上述主LUN的元数据区中首次复制到对应的上述副本LUN的元数据区中外,上述存储容灾系统还将上述第一物理数据从上述主LUN的物理空间中,首次复制到对应的上述副本LUN的物理空间中。
例如,请参见图5所示,对主LUN的“T1时刻元数据区”和“T1时刻物理区”进行“初始数据拷贝”,将其首次复制到副本LUN的“元数据区”中和“物理区”中。
在示出的一种实施方式中,上述副本LUN元数据区中包括上述第一元数据的元数据副本,上述副本LUN元数据区物理空间中包括上述第一物理数据的物理数据副本。
接着以上示例继续举例,请参见图5所示,当第一元数据为如图5中最左侧所示的“T1时刻元数据区”,第一物理数据为如图5中最左侧所示的“T1时刻物理区”时,副本LUN元数据区中包括该第一元数据的元数据副本为,如图5中最右侧所示的“T1时刻元数据区”;同时,副本LUN元数据区中包括该第一元数据的物理数据副本为,如图5中最右侧所示的“T1时刻物理区”。
在本说明书中,进一步地,在将上述初始复制数据从上述主LUN首次复制到上述副本LUN后,上述存储容灾系统基于上述元数据副本和上述物理数据副本,在上述副本LUN中重构与上述主LUN对应的相同快照时间点的相同快照
接着以上示例继续举例,上述存储容灾系统通过上述备存储系统,基于复制到副本LUN上地第一元数据的元数据副本(如图5中最右侧所示的“T1时刻元数据区”)和第一元数据的物理数据副本(如图5中最右侧所示的“T1时刻物理区”)在副本LUN中重构与主LUN对应的相同快照时间点T1的相同快照。
需要说明的是,在上述副本LUN中重构与上述主LUN对应的相同快照时间点的相同快照,具体可以包括:根据上述主LUN中的第一元数据与第一物理数据的地址映射关系R1(主LUN中的“LUN逻辑地址”和“数据物理地址”的地址映射),在上述副本LUN中重构上述元数据副本与上述物理数据副本在上述副本LUN中的地址映射关系R2(副本LUN中的“LUN逻辑地址”和“数据物理地址”的地址映射)。
c)增量复制
在本说明书中,“增量复制”是指,在存储复制中的“初始复制”完成之后,按照用户的设定周期性的将主LUN的数据增量同步到副本LUN的复制过程。
在本说明书中,上述第二复制时刻是指,上述存储容灾系统将上述主LUN中相对于上述第一复制时刻的差异数据拷贝到上述副本LUN中的增量复制时刻;其中,上述第二复制时刻晚于上述第一复制时刻。
例如,请参见图5所示,当上述第一复制时刻为T1,则上述第二复制时刻可以为晚于T1的T2或T3。
在本说明书中,上述差异复制数据是指,与上述第二复制时刻对应的、上述主LUN中的待复制到上述副本LUN的、相对于上述第一复制时刻的存在差异的数据;
其中,上述差异复制数据至少包括第二元数据,上述第二元数据为快照时间点在上述第一复制时刻与上述第二复制时刻之间的、位于上述主LUN的元数据区中的所有新增快照的元数据。
例如,请参见图5所示,当上述第一复制时刻为T1,上述第二复制时刻为T3时,则上述第二元数据为T1时刻与T3时刻之间的、位于上述主LUN的元数据区中的新增快照T2的元数据。
在本说明书中,进一步地,上述存储容灾系统基于上述第二元数据,将上述差异复制数据从上述主LUN增量复制到上述副本LUN中。
接着以上示例继续举例,上述存储容灾系统基于位于上述主LUN的元数据区中的新增快照T2的元数据,将其从上述主LUN的元数据区中增量复制到上述副本LUN的元数据区中。
当然在实际应用中,与上述描述的“初始复制”类似,上述存储容灾系统还可以基于上述第二元数据中,获取到上述第二元数据管理的位于上述主LUN的物理区中的物理数据,再将该差异物理数据,从上述主LUN增量复制到上述副本LUN中的物理区中,以由上述存储容灾系统在上述副本LUN上重构T2快照时间点对应的副本快照;其中,该副本快照的数据状态与主LUN的T2快照时间点对应的主卷快照的数据状态是一致的。
需要说明的是,上述第一复制时刻与上述第二复制时刻之间可以存在主LUN的多个快照时间点,在增量复制时,可以对多个快照时间点的快照元数据及其管理的物理数据进行并行复制,相比如图1所示的现有存储容灾系统的基于LUN数据差异复制,提高了存储复制效率,并且减少冗余数据的复制,提高副本LUN的空间利用率。
为了方便整体理解“初始复制”和“增量复制”关系,请参见图6,图6是本申请一实施例提供的一种改进的存储容灾系统的数据复制过程的流程示意图。
如图6所示,存储容灾系统在“开始复制”后,先进行判断“是否初始复制”;如果是(如图6所示的“Yes”),则执行“将主LUN相关元数据区和物理区进行复制到副本LUN”,然后执行“将关联的时间点快照的主LUN元数据区和物理区进行复制到副本LUN”,以完成本次的初始复制;如果不是(如图6所示的“No”),则执行“确定与两次复制之间的快照时间点”,然后执行“将主LUN相关元数据区和物理区进行复制到副本LUN”,最后执行“将关联的时间点快照的主LUN元数据区和物理进行复制到副本LUN”,以完成本次的增量复制。
在以上技术方案中,基于将主LUN的元数据区中的快照的元数据及其管理的主LUN的物理空间中的物理数据,通过存储复制技术复制到副本LUN中,并在副本LUN中进行快照重构,减少了冗余数据复制及网络消耗,提高了数据复制效率,同时节约了存储空间。
与上述方法实施例相对应,本申请还提供了数据复制装置的实施例。
与上述方法实施例相对应,本说明书还提供了一种数据复制装置的实施例。本说明书的数据复制装置的实施例可以应用在电子设备上。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图7所示,为本说明书的数据复制装置所在电子设备的一种硬件结构图,除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的电子设备通常根据该电子设备的实际功能,还可以包括其他硬件,对此不再赘述。
图8是本说明书一实施例示出的一种数据复制装置的框图。
请参考图8,所述数据复制装置80可以应用在前述图7所示的电子设备中,所述装置应用于存储容灾系统,所述存储容灾系统包括主存储系统、备存储系统;其中,主存储系统与所述备存储系统通过网络相连通信,主存储系统包括作为数据复制来源的主LUN,备存储系统包括与所述主LUN对应的、作为数据复制目的的副本LUN;所述装置包括:
初始复制模块,确定与第一复制时刻对应的、所述主LUN的待复制到所述副本LUN的初始复制数据;其中,所述初始复制数据至少包括第一元数据,所述第一元数据为与所述第一复制时刻对应时刻相同的快照时间点之前的、位于所述主LUN的元数据区中的所有快照的元数据;
所述初始复制模块进一步,将所述初始复制数据从所述主LUN首次复制到所述副本LUN中。
在本实施例中,所述主LUN预设有快照策略;
在确定所述初始复制数据之前,所述初始复制模块进一步:
依据所述快照策略,生成与若干快照时间点对应的主LUN的若干快照;
在所述若干快照时间点中,检查是否存在与所述第一复制时刻的时刻相同的快照时间点;
如果不存在,则创建与所述第一复制时刻对应时刻相同的快照时间点的主LUN的快照。
在本实施例中,所述初始复制模块进一步:
将所述第一元数据从所述主LUN的元数据区中,首次复制到对应的所述副本LUN的元数据区中。
在本实施例中,所述初始复制数据还包括与所述第一元数据对应的第一物理数据;其中,第一物理数据为位于所述主LUN的物理空间中的所述第一元数据管理的物理空间中保存的用户写入数据;
所述初始复制模块进一步:
将所述第一物理数据从所述主LUN的物理空间中,首次复制到对应的所述副本LUN的物理空间中。
在本实施例中,所述副本LUN元数据区中包括所述第一元数据的元数据副本,所述副本LUN元数据区物理空间中包括所述第一物理数据的物理数据副本,还包括:
快照重构模块,基于所述元数据副本和所述物理数据副本,在所述副本LUN中重构与所述主LUN对应的相同快照时间点的相同快照。
在本实施例中,还包括:
增量复制模块,确定与第二复制时刻对应的、所述主LUN的待复制到所述副本LUN的差异复制数据;其中,所述差异复制数据至少包括第二元数据,所述第二元数据为快照时间点在所述第一复制时刻与所述第二复制时刻之间的、位于所述主LUN的元数据区中的所有新增快照的元数据;所述第二复制时刻晚于所述第一复制时刻;
所述增量复制模块进一步,基于所述第二元数据,将所述差异复制数据从所述主LUN增量复制到所述副本LUN中。
在本实施例中,所述主LUN和所述副本LUN都为精简LUN。
在本实施例中,所述快照策略为ROW快照策略。
在本实施例中,所述网络为广域网。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
上述实施例阐明的装置、装置、模块或模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
以上所述仅为本说明书的较佳实施例而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本说明书保护的范围之内。
Claims (12)
1.一种数据复制方法,其特征在于,所述方法应用于存储容灾系统,所述存储容灾系统包括主存储系统、备存储系统;其中,主存储系统与所述备存储系统通过网络相连通信,主存储系统包括作为数据复制来源的主LUN,备存储系统包括与所述主LUN对应的、作为数据复制目的的副本LUN;所述方法包括:
确定与第一复制时刻对应的、所述主LUN的待复制到所述副本LUN的初始复制数据;其中,所述初始复制数据至少包括第一元数据,所述第一元数据为与所述第一复制时刻对应时刻相同的快照时间点之前的、位于所述主LUN的元数据区中的所有快照的元数据;
将所述初始复制数据从所述主LUN首次复制到所述副本LUN中。
2.根据权利要求1所述的方法,其特征在于,所述主LUN预设有快照策略;
在确定所述初始复制数据之前,还包括:
依据所述快照策略,生成与若干快照时间点对应的主LUN的若干快照;
在所述若干快照时间点中,检查是否存在与所述第一复制时刻的时刻相同的快照时间点;
如果不存在,则创建与所述第一复制时刻对应时刻相同的快照时间点的主LUN的快照。
3.根据权利要求1所述的方法,其特征在于,所述将所述初始复制数据从所述主LUN首次复制到所述副本LUN中,包括:
将所述第一元数据从所述主LUN的元数据区中,首次复制到对应的所述副本LUN的元数据区中。
4.根据权利要求3所述的方法,其特征在于,所述初始复制数据还包括与所述第一元数据对应的第一物理数据;其中,第一物理数据为位于所述主LUN的物理空间中的所述第一元数据管理的物理空间中保存的用户写入数据;
所述将所述初始复制数据从所述主LUN首次复制到所述副本LUN中,还包括:
将所述第一物理数据从所述主LUN的物理空间中,首次复制到对应的所述副本LUN的物理空间中。
5.根据权利要求4所述的方法,其特征在于,所述副本LUN元数据区中包括所述第一元数据的元数据副本,所述副本LUN元数据区物理空间中包括所述第一物理数据的物理数据副本,还包括:
基于所述元数据副本和所述物理数据副本,在所述副本LUN中重构与所述主LUN对应的相同快照时间点的相同快照。
6.根据权利要求1所述的方法,其特征在于,还包括:
确定与第二复制时刻对应的、所述主LUN的待复制到所述副本LUN的差异复制数据;其中,所述差异复制数据至少包括第二元数据,所述第二元数据为快照时间点在所述第一复制时刻与所述第二复制时刻之间的、位于所述主LUN的元数据区中的所有新增快照的元数据;所述第二复制时刻晚于所述第一复制时刻;
基于所述第二元数据,将所述差异复制数据从所述主LUN增量复制到所述副本LUN中。
7.根据权利要求2所述的方法,其特征在于,所述主LUN和所述副本LUN都为精简LUN。
8.根据权利要求2所述的方法,其特征在于,所述快照策略为ROW快照策略。
9.根据权利要求1所述的方法,其特征在于,所述网络为广域网。
10.一种数据复制装置,其特征在于,所述装置应用于存储容灾系统,所述存储容灾系统包括主存储系统、备存储系统;其中,主存储系统与所述备存储系统通过网络相连通信,主存储系统包括作为数据复制来源的主LUN,备存储系统包括与所述主LUN对应的、作为数据复制目的的副本LUN;所述装置包括:
初始复制模块,确定与第一复制时刻对应的、所述主LUN的待复制到所述副本LUN的初始复制数据;其中,所述初始复制数据至少包括第一元数据,所述第一元数据为与所述第一复制时刻对应时刻相同的快照时间点之前的、位于所述主LUN的元数据区中的所有快照的元数据;
将所述初始复制数据从所述主LUN首次复制到所述副本LUN中。
11.一种电子设备,其特征在于,包括通信接口、处理器、存储器和总线,所述通信接口、所述处理器和所述存储器之间通过总线相互连接;
所述存储器中存储机器可读指令,所述处理器通过调用所述机器可读指令,执行如权利要求1至9任一项所述的方法。
12.一种机器可读存储介质,其特征在于,所述机器可读存储介质存储有机器可读指令,所述机器可读指令在被处理器调用和执行时,实现权利要求1至9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010129237.5A CN111367856B (zh) | 2020-02-28 | 2020-02-28 | 数据复制方法、装置、电子设备及机器可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010129237.5A CN111367856B (zh) | 2020-02-28 | 2020-02-28 | 数据复制方法、装置、电子设备及机器可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111367856A true CN111367856A (zh) | 2020-07-03 |
CN111367856B CN111367856B (zh) | 2024-03-29 |
Family
ID=71206611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010129237.5A Active CN111367856B (zh) | 2020-02-28 | 2020-02-28 | 数据复制方法、装置、电子设备及机器可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111367856B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113553005A (zh) * | 2021-07-06 | 2021-10-26 | 杭州宏杉科技股份有限公司 | 一种精简lun的数据读写方法、装置及设备 |
CN113742032A (zh) * | 2021-09-06 | 2021-12-03 | 杭州安恒信息技术股份有限公司 | 替补虚拟机处理方法、装置、系统、电子装置和存储介质 |
WO2023029417A1 (zh) * | 2021-08-31 | 2023-03-09 | 华为技术有限公司 | 一种数据存储方法及装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1752939A (zh) * | 2004-09-22 | 2006-03-29 | 微软公司 | 用于综合备份和恢复的方法和系统 |
US20110055500A1 (en) * | 2009-09-02 | 2011-03-03 | International Business Machines Corporation | Data Storage Snapshot With Reduced Copy-On-Write |
CN103645970A (zh) * | 2013-12-13 | 2014-03-19 | 华为技术有限公司 | 一种远程复制多快照间增量去重的实现方法及装置 |
CN103814360A (zh) * | 2013-12-12 | 2014-05-21 | 华为技术有限公司 | 数据复制方法及存储系统 |
US20150134879A1 (en) * | 2013-11-12 | 2015-05-14 | Netapp, Inc. | Snapshots and clones of volumes in a storage system |
US10042579B1 (en) * | 2013-09-24 | 2018-08-07 | EMC IP Holding Company LLC | Crash consistent snapshot |
US10250679B1 (en) * | 2016-03-30 | 2019-04-02 | EMC IP Holding Company LLC | Enabling snapshot replication for storage |
US20190163765A1 (en) * | 2017-11-27 | 2019-05-30 | DataCommand Corp. | Continuous data management system and operating method thereof |
CN109902034A (zh) * | 2019-02-25 | 2019-06-18 | 杭州宏杉科技股份有限公司 | 快照创建方法、装置、电子设备及机器可读存储介质 |
CN110704239A (zh) * | 2019-09-03 | 2020-01-17 | 杭州宏杉科技股份有限公司 | 数据复制方法、装置、电子设备 |
-
2020
- 2020-02-28 CN CN202010129237.5A patent/CN111367856B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1752939A (zh) * | 2004-09-22 | 2006-03-29 | 微软公司 | 用于综合备份和恢复的方法和系统 |
US20110055500A1 (en) * | 2009-09-02 | 2011-03-03 | International Business Machines Corporation | Data Storage Snapshot With Reduced Copy-On-Write |
US10042579B1 (en) * | 2013-09-24 | 2018-08-07 | EMC IP Holding Company LLC | Crash consistent snapshot |
US20150134879A1 (en) * | 2013-11-12 | 2015-05-14 | Netapp, Inc. | Snapshots and clones of volumes in a storage system |
CN103814360A (zh) * | 2013-12-12 | 2014-05-21 | 华为技术有限公司 | 数据复制方法及存储系统 |
CN103645970A (zh) * | 2013-12-13 | 2014-03-19 | 华为技术有限公司 | 一种远程复制多快照间增量去重的实现方法及装置 |
US10250679B1 (en) * | 2016-03-30 | 2019-04-02 | EMC IP Holding Company LLC | Enabling snapshot replication for storage |
US20190163765A1 (en) * | 2017-11-27 | 2019-05-30 | DataCommand Corp. | Continuous data management system and operating method thereof |
CN109902034A (zh) * | 2019-02-25 | 2019-06-18 | 杭州宏杉科技股份有限公司 | 快照创建方法、装置、电子设备及机器可读存储介质 |
CN110704239A (zh) * | 2019-09-03 | 2020-01-17 | 杭州宏杉科技股份有限公司 | 数据复制方法、装置、电子设备 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113553005A (zh) * | 2021-07-06 | 2021-10-26 | 杭州宏杉科技股份有限公司 | 一种精简lun的数据读写方法、装置及设备 |
CN113553005B (zh) * | 2021-07-06 | 2023-12-22 | 杭州宏杉科技股份有限公司 | 一种精简lun的数据读写方法、装置及设备 |
WO2023029417A1 (zh) * | 2021-08-31 | 2023-03-09 | 华为技术有限公司 | 一种数据存储方法及装置 |
CN113742032A (zh) * | 2021-09-06 | 2021-12-03 | 杭州安恒信息技术股份有限公司 | 替补虚拟机处理方法、装置、系统、电子装置和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111367856B (zh) | 2024-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107807794B (zh) | 一种数据存储方法和装置 | |
US10977124B2 (en) | Distributed storage system, data storage method, and software program | |
EP2593867B1 (en) | Virtual machine aware replication method and system | |
US8473462B1 (en) | Change tracking for shared disks | |
US9400611B1 (en) | Data migration in cluster environment using host copy and changed block tracking | |
US10126946B1 (en) | Data protection object store | |
US7594137B2 (en) | Storage system and data restoration method thereof | |
TWI514249B (zh) | 遠端非同步資料卷複製的方法及執行該方法的儲存系統 | |
US20060047926A1 (en) | Managing multiple snapshot copies of data | |
US8639898B2 (en) | Storage apparatus and data copy method | |
US7461201B2 (en) | Storage control method and system for performing backup and/or restoration | |
CN111488241A (zh) | 在容器编排平台实现无代理备份与恢复操作的方法和系统 | |
CN104216801B (zh) | 一种面向虚拟化环境的数据复制方法及系统 | |
CN111367856B (zh) | 数据复制方法、装置、电子设备及机器可读存储介质 | |
CN109902034B (zh) | 快照创建方法、装置、电子设备及机器可读存储介质 | |
US8140886B2 (en) | Apparatus, system, and method for virtual storage access method volume data set recovery | |
CN106528338A (zh) | 一种远程数据复制方法、存储设备及存储系统 | |
JP2017531892A (ja) | ブロックレベル記憶デバイスのスナップショットを実行するための改善された装置および方法 | |
US11644997B2 (en) | Releasing data storage tracks while maintaining logical corruption protection | |
CN112965783A (zh) | 一种使用存储快照备份虚拟机的系统及方法 | |
CN110704239B (zh) | 数据复制方法、装置、电子设备 | |
CN115470041A (zh) | 一种数据灾备管理方法及装置 | |
JP2007172365A (ja) | データ複製システム、複製データ処理プログラムおよび複製データ処理方法 | |
US10402095B1 (en) | Online data expansion in redundant data storage systems | |
CN112685130A (zh) | 分布式存储环境下的虚拟机备份方法、装置和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |