CN114442944A - 一种数据复制方法、系统及设备 - Google Patents

一种数据复制方法、系统及设备 Download PDF

Info

Publication number
CN114442944A
CN114442944A CN202210006812.1A CN202210006812A CN114442944A CN 114442944 A CN114442944 A CN 114442944A CN 202210006812 A CN202210006812 A CN 202210006812A CN 114442944 A CN114442944 A CN 114442944A
Authority
CN
China
Prior art keywords
lun
target
data
bitmap
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210006812.1A
Other languages
English (en)
Other versions
CN114442944B (zh
Inventor
上官应兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Macrosan Technologies Co Ltd
Original Assignee
Macrosan Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Macrosan Technologies Co Ltd filed Critical Macrosan Technologies Co Ltd
Priority to CN202210006812.1A priority Critical patent/CN114442944B/zh
Publication of CN114442944A publication Critical patent/CN114442944A/zh
Application granted granted Critical
Publication of CN114442944B publication Critical patent/CN114442944B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据复制方法、系统及设备，属于存储设备的源LUN在确定开启一次新的复制时，并针对本次需复制的目标LUN列表中的每一个目标LUN，生成该目标LUN的传输位图，从源LUN的数据平面记录列表中获取属于该目标LUN的数据平面记录对应的时间T2，将T2对应的差异位图R、差异位图R和最新的差异位图W之间的差异位图合并至该目标LUN的传输位图；最后基于各目标LUN的传输位图，将源LUN的数据增量同步至各目标LUN。这样，使得一个源LUN可以一次性的复制到多个目标LUN，确保多个目标LUN上数据副本中数据的及时性，进而能够降低RPO。

Description

一种数据复制方法、系统及设备
技术领域
本申请涉及数据存储技术领域，尤其涉及一种数据复制方法、系统及设备。
背景技术
随着大数据时代的到来，数据量越来越大，也越来越重要，而数据备份也成为了一种用于维持数据持久性保护的一种常用手段之一，这也是应对“硬灾难”的常用方案。硬灾难，故名思议，指“硬”的灾难，通常指由于RAID(Redundant Arrays of IndependentDisks，磁盘阵列)故障、地震、火灾等因素导致生产数据卷在物理上损坏或者不能读取。通过复制技术，可以在灾备中心为生产数据卷保存一份数据副本，副本数据卷和生产数据卷在物理上独立，当生产数据卷发生硬灾难时，可使用副本数据卷进行数据恢复。
为了保障数据的安全性和持久可用性，通常还有在多个数据中心分别保存多份数据副本的需求，一种常见的实现手段是多跳复制技术方案，即将LUNA的数据复制到LUNB中、再将LUNB的数据复制到LUNC中、然后再继续将LUNC的数据复制到LUND等，按照上述复制对将数据顺序传递下去。不难看出，该技术方案只有在LUNA到LUNB的新一次复制完成后，才能开始LUNB到LUNC的新一次复制，以此类推，这就会导致后面LUN数据的复制比较滞后，使得业务系统所能容忍的数据丢失量RPO(Recovery Point Objective，数据恢复点目标)变大。
发明内容
本申请提供了一种数据迁移方法、系统及设备，以降低RPO。
本申请提供的技术方案包括：
第一方面，本申请实施例提供了一种数据复制方法，应用于属于存储设备的源LUN，所述存储设备包括源LUN和用于复制所述源LUN上数据的至少一个目标LUN，所述方法包括：
确定已被配置了所述源LUN至所述至少一个目标LUN的复制业务，且已完成所述源LUN至所述至少一个目标LUN的初始复制，当确定开启一次新的复制时，则：
生成差异位图W；其中，所述差异位图W为所述源LUN上最新的差异位图，用于记录所述源LUN的数据变化情况，所述差异位图W的生成时间为当前时间T1；
获取本次需复制的目标LUN列表，并针对所述目标LUN列表中的每一个目标LUN，生成该目标LUN的传输位图，从所述源LUN的数据平面记录列表
中获取属于该目标LUN的数据平面记录对应的时间T2，将所述T2对应的差异
位图R、所述差异位图R和所述差异位图W之间的差异位图合并至该目标LUN的传输位图；
基于所述至少一个目标LUN的传输位图，将所述源LUN的数据增量同步至各目标LUN。
第二方面，本申请实施例提供了一种数据复制装置，应用于属于存储设备的源LUN，所述存储设备包括源LUN和用于复制所述源LUN上数据的至少一个目标LUN，所述装置包括：
复制模块，用于确定已被配置了所述源LUN至所述至少一个目标LUN的复制业务，且已完成所述源LUN至所述至少一个目标LUN的初始复制，当确定开启一次新的复制时，则触发差异位图生成模块；
所述差异位图生成模块，用于生成差异位图W；其中，所述差异位图W为所述源LUN上最新的差异位图，用于记录所述源LUN的数据变化情况，所述差异位图W的生成时间为当前时间T1；
传输位图生成模块，用于获取本次需复制的目标LUN列表，并针对所述目标LUN列表中的每一个目标LUN，生成该目标LUN的传输位图，从所述源LUN的数据平面记录列表中获取属于该目标LUN的数据平面记录对应的时间T2，将所述T2对应的差异位图R、所述差异位图R和所述差异位图W之间的差异位图合并至该目标LUN的传输位图；
数据同步模块，用于基于所述至少一个目标LUN的传输位图，将所述源LUN的数据增量同步至各目标LUN。
由以上技术方案可以看出，本申请中，属于存储设备的源LUN在确定开启一次新的复制时，针对本次需复制的目标LUN列表中的每一个目标LUN，生成该目标LUN的传输位图，从源LUN的数据平面记录列表中获取属于该目标LUN的数据平面记录对应的时间T2，将T2对应的差异位图R、差异位图R和最新的差异位图W之间的差异位图合并至该目标LUN的传输位图；最后基于各目标LUN的传输位图，将源LUN的数据增量同步至各目标LUN。这样，使得一个源LUN可以一次性的复制到多个目标LUN，确保多个目标LUN上数据副本中数据的及时性，进而能够降低RPO。
附图说明
图1为本申请提供的一种数据复制方法的流程图；
图2为本申请提供的一种数据复制装置的结构示意图；
图3为本申请提供的一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参见图1，图1为本申请提供的一种数据复制方法的流程图，应用于属于存储设备的源LUN，该存储设备包括源LUN和用于复制源LUN上数据的至少一个目标LUN。源LUN为需要被复制数据的LUN，目标LUN为将源LUN上的数据复制到的LUN。LUN是指基于RAID创建的独立可用的存储空间，通常用于写入前端应用服务器的数据。
该方法实现的流程可包括以下步骤：
步骤101，确定已被配置了所述源LUN至所述至少一个目标LUN的复制业务，且已完成所述源LUN至所述至少一个目标LUN的初始复制，当确定开启一次新的复制时，则执行步骤102。
本实施例中，事先已完成源LUN至至少一个目标LUN的初始复制，这也就表示源LUN已经将数据全量复制至至少一个目标LUN。同时存储设备中还维持源LUN到至少一个目标LUN的复制业务，以被后续开启一次新的复制时再继续使用。
本步骤中开启的一次新的复制可以理解为源LUN被触发了一次新的复制，需要把源LUN的数据增量同步至至少一个目标LUN。
步骤102，生成差异位图W。
其中，所述差异位图W为所述源LUN上最新的差异位图，用于记录所述源LUN的数据变化情况，所述差异位图W的生成时间为当前时间T1。
在本实施例中，在完成源LUN到第一个目标LUN如LUNA的初始同步后，源LUN生成差异位图如diffmap_20211221100000，其时间戳为创建该差异位图时刻的时戳，通过该差异位图记录源LUN的数据变化情况，源LUN的差异位图如下表1所示。
表1差异位图
差异位图 时间戳
diffmap_20211221100000 20211221100000
本实施例可以在源LUN上依次配置本源LUN到至少一个目标LUN的复制，比如依次配置到LUNB、LUNC等的复制。假设源LUN还需要复制到LUNB，在完成源LUN到LUNB的初始同步后，源LUN生成新的差异位图如diffmap_20211221110000，其时间戳为创建该差异位图时刻的时戳，源LUN的数据变化情况记录到该最新的差异位图，不再记录到上一个差异位图，源LUN的差异位图如下表2所示。
表2差异位图
差异位图 时间戳
diffmap_20211221100000 20211221100000
diffmap_20211221110000 20211221110000
在本步骤中，当源LUN开启一次新的复制时，源LUN生成一个新的差异位图W，该差异位图W对应的时间戳为用于生成该差异位图的当前时间T，如表3中的20211221180000，并将源LUN的数据变化情况记录到新的差异位图，如表3中的diffmap_20211221180000，不再更新上一个差异位图，源LUN的差异位图如下表3所示。
表3差异位图
差异位图 时间戳
diffmap_20211221100000 20211221100000
diffmap_20211221110000 20211221110000
diffmap_20211221180000 20211221180000
步骤103，获取本次需复制的目标LUN列表，并针对所述目标LUN列表中的每一个目标LUN，生成该目标LUN的传输位图，从所述源LUN的数据平面记录列表中获取属于该目标LUN的数据平面记录对应的时间T2，将所述T2对应的差异位图R、所述差异位图R和所述差异位图W之间的差异位图合并至该目标LUN的传输位图。
在本步骤中，本次需复制的目标LUN列表可以由事先被指定的目标LUN构成该目标LUN列表，也可以是依据配置文件从已有的目标LUN中选取本次需要复制的目标LUN生成目标LUN列表，本实施例对此并不限定。目标LUN列表中的每个目标LUN与源LUN均对应一个属于该目标LUN的传输位图。
需要说明的是，本实施例可以根据复制策略、复制状态等因素综合决定本次复制需复制的目标LUN列表，该目标LUN列表可以仅包含一个LUN，还可以包含多个LUN，本发明实施例并不限制目标LUN的数量。
在本实施例中，数据平面记录列表为依据数据复制业务的执行顺序记录的数据平面记录，一条数据平面记录至少包括用于识别目标LUN的LUN标识和记录该数据平面记录对应的时间戳。其中，LUN标识是用于识别目标LUN唯一身份的标识，该LUN标识可以为UUID，也可以是采用指定位数的随机数生成的、且用于唯一识别目标LUN的其他标识，本实施例对此并不限定。下文描述中，直接使用LUN名称来指代该标识。
本实施例中，在完成源LUN到第一个目标LUN如LUNA的初始同步，源LUN生成差异位图如diffmap_20211221100000后，源LUN的数据平面记录列表中增加一条针对目标LUN如LUNA的数据平面记录，该条数据平面记录至少包括用于识别目标LUN的LUN标识如LUNA和记录该数据平面记录对应的时间戳。如下表4所示，LUNA中数据平面对应的时间戳为20211221100000。
表4数据平面记录
目标LUN 时间戳
LUNA 20211221100000
本实施例中，在完成源LUN到LUNB的初始同步，源LUN生成新的差异位图如diffmap_20211221110000后，源LUN的数据平面记录列表中增加一条针对LUNB的数据平面记录，如下表5所示，LUNB中数据平面对应的时间戳为20211221110000。
表5数据平面记录表
目标LUN 时间戳
LUNA 20211221100000
LUNB 20211221110000
在本步骤中，当源LUN开启一次新的复制时，获取本次需复制的目标LUN列表，示例性的，假设本次需复制到LUNA和LUNB，则源LUN生成LUNA的传输位图，传输位图的初始值为全0，然后从源LUN的数据平面列表中获取针对LUNA的数据平面记录对应的时间戳为20211221100000，然后查询差异位图，获取到该时间戳对应的差异位图如diffmap_20211221100000、该差异位图和最新差异位图之间的差异位图如diffmap_20211221110000，将diffmap_20211221100000、diffmap_20211221110000合并至LUNA的传输位图。
源LUN生成LUNB的传输位图，传输位图的初始值为全0，然后从源LUN的数据平面列表中获取针对LUNB的数据平面记录对应的时间戳为20211221110000，然后查询差异位图，获取到该时间戳对应的差异位图如diffmap_20211221110000、该差异位图和最新差异位图之间的差异位图(无)，将diffmap_20211221110000合并至LUNB的传输位图。
步骤104，基于所述至少一个目标LUN的传输位图，将所述源LUN的数据增量同步至各目标LUN。
本步骤中，至少一个目标LUN的传输位图均是步骤103针对各个目标LUN合并后的传输位图。
示例性的，基于上述示例，基于针对LUNA合并后的传输位图，可以获取到本次复制需要从源LUN增量同步到LUNA的数据位置，进而完成从源LUN到LUNA的增量复制。基于针对LUNB合并后的传输位图，可以获取到本次复制需要从源LUN增量同步到LUNB的数据位置，进而完成从源LUN到LUNB的增量复制。
至此完成了图1所示的描述。
由以上技术方案可以看出，属于存储设备的源LUN在确定开启一次新的复制时，针对本次需复制的目标LUN列表中的每一个目标LUN，生成该目标LUN的传输位图，从源LUN的数据平面记录列表中获取属于该目标LUN的数据平面记录对应的时间T2，将T2对应的差异位图R、差异位图R和最新的差异位图之间的差异位图合并至该目标LUN的传输位图；最后基于各目标LUN的传输位图，将源LUN的数据增量同步至各目标LUN。这样，使得一个源LUN可以一次性的复制到多个目标LUN，确保多个目标LUN上数据副本中数据的及时性，进而能够降低RPO。
在完成图1所示的流程之后，作为一个实施例，在步骤103中获取本次需复制的目标LUN列表之前，该方法还包括：生成用于本次复制业务的快照S。而在步骤104中将所述源LUN的数据增量同步至所述任一目标LUN之后，该方法还包括：从所述源LUN的数据平面列表中删除该目标LUN对应的数据平面记录，并同时增加一条数据平面记录，所增加的数据平面记录对应的目标LUN为该目标LUN、对应的时间为所述快照S对应的时间。以简化数据平面列表，删除不再需要被使用的记录，释放数据平面列表的使用空间，为后续增加的数据平台记录腾空间。
本实施例中，为了保证每一个目标LUN的数据在同一个数据平面，在获取本次需复制的目标LUN列表之前，源LUN创建的快照S，假设该快照S对应的时间戳为20211221180000。当源LUN同步数据至一个或多个目标LUN时，从快照S中读取待复制的数据，以确保复制的源数据位于同一个数据平面，进而保证每一个目标LUN的数据在同一个数据平面。如何从快照中读取数据是常规技术方案，本申请不再对其展开阐述。
在完成源LUN至任一目标LUN的复制之后，这就表示源LUN与该目标LUN的增量复制任务已经完成，该目标LUN中已保存了新的数据平面的数据，从源LUN的数据平面列表中删除该目标LUN对应的数据平面记录，然后增加一条新的数据平面记录，所增加的数据平面记录对应的目标LUN为该目标LUN、对应的时间戳为所述快照S对应的时间戳如20211221180000。
在一些实施例中，在从所述源LUN的数据平面列表中删除该目标LUN对应的数据平面记录，并同时增加一条数据平面记录之后，该方法还包括：从所述源LUN的数据平面记录列表中获取最早的一条数据平面记录对应的时间T3，并从所述源LUN对应的差异位图中删除时间早于所述T3对应的差异位图。差异位图的目的是为了实现增量同步，当前所有目标LUN已保存了新的数据平面的数据后，旧的差异位图不再需要被使用，因此可以被删除，以简化差异位图管理，同时针对数据平面列表和差异位图空间有限的问题，从数据平面列表中删除不再使用的数据平面记录，以及从差异位图中删除不再使用的差异位图，从而为数据平面列表和差异位图释放空间，以为后续新增的数据平面记录和差异位图腾空间。
在一些实施例中，在将所述源LUN的数据增量同步至所述任一目标LUN之前，该方法还包括：更新所述快照S的引用次数，以使所述引用次数的值为当前引用次数值加1，所述引用次数用于指示所述快照S中的数据需要被复制到目标LUN的数量。本实施例中，创建快照S时，该快照S的引用次数初始值为0，在将源LUN的数据增量同步至所述任一目标LUN之前，更新所述快照S的引用次数，使其值为当前引用次数值加1，以用来指示快照S中的数据需要被复制到多少个目标LUN。通过本实施例提供的技术方案能够使得源LUN知晓快照S中的数据需要被复制到目标LUN的数量。
在另一些实施例中，在将所述源LUN的数据增量同步至所述任一目标LUN之后，该方法还包括：更新所述快照S的引用次数，以使所述引用次数的值为当前引用次数值减1；如果更新后的当前引用次数值为0，则删除所述快照S。本实施例中，在将源LUN的数据增量同步至所述任一目标LUN之后，这就表示本次复制业务已经完成，为本次复制业务服务产生的快照S的引用次数自减1，以使源LUN知晓已经完成针对将源LUN的数据增量同步至一个目标LUN的复制业务。如果更新后的当前引用次数值为0，则表示本次需复制的所有目标LUN均已完成复制，基于此，自动删除快照S。通过本实施例提供的技术方案能够快速确定出源LUN复制到目标LUN的完成次数，进而决定是否删除快照S，以为源LUN释放空间。
至此，完成上述实施例的描述。
参见图2，图2为本实施例提供的数据复制装置200的装置结构图。该装置应用于属于存储设备的源LUN，所述存储设备包括源LUN和用于复制所述源LUN上数据的至少一个目标LUN，所述装置包括：
复制模块201，用于确定已被配置了所述源LUN至所述至少一个目标LUN的复制业务，且已完成所述源LUN至所述至少一个目标LUN的初始复制，当确定开启一次新的复制时，则触发差异位图生成模块202；
所述差异位图生成模块202，用于生成差异位图W；其中，所述差异位图W为所述源LUN上最新的差异位图，用于记录所述源LUN的数据变化情况，所述差异位图W的生成时间为当前时间T1；
传输位图生成模块203，用于获取本次需复制的目标LUN列表，并针对所述目标LUN列表中的每一个目标LUN，生成该目标LUN的传输位图，从所述源LUN的数据平面记录列表中获取属于该目标LUN的数据平面记录对应的时间T2，将所述T2对应的差异位图R、所述差异位图R和所述差异位图W之间的差异位图合并至该目标LUN的传输位图；
数据同步模块204，用于基于所述至少一个目标LUN的传输位图，将所述源LUN的数据增量同步至各目标LUN。
作为一个实施例，该装置还包括：快照生成模块，用于生成用于本次复制业务的快照S；
记录删除模块，用于从所述源LUN的数据平面列表中删除该目标LUN对应的数据平面记录，并同时增加一条数据平面记录，所增加的数据平面记录对应的目标LUN为该目标LUN、对应的时间为所述快照S对应的时间。
作为一个实施例，该装置还包括：差异位图删除模块，用于从所述源LUN的数据平面记录列表中获取最早的一条数据平面记录对应的时间T3，并从所述源LUN对应的差异位图中删除时间早于所述T3对应的差异位图。
作为一个实施例，该装置还包括：第一引用次数更新模块，用于更新所述快照S的引用次数，以使所述引用次数的值为当前引用次数值加1，所述引用次数用于指示所述快照S中的数据需要被复制到目标LUN的数量，或/和
第二引用次数更新模块，用于更新所述快照S的引用次数，以使所述引用次数的值为当前引用次数值减1；如果更新后的当前引用次数值为0，则删除所述快照S。
至此，完成图2所示系统的结构图。
由以上技术方案可以看出，
本申请中，属于存储设备的源LUN在确定开启一次新的复制时，针对本次需复制的目标LUN列表中的每一个目标LUN，生成该目标LUN的传输位图，从源LUN的数据平面记录列表中获取属于该目标LUN的数据平面记录对应的时间T2，将T2对应的差异位图R、差异位图R和最新的差异位图W之间的差异位图合并至该目标LUN的传输位图；最后基于各目标LUN的传输位图，将源LUN的数据增量同步至各目标LUN。这样，使得一个源LUN可以一次性的复制到多个目标LUN，确保多个目标LUN上数据副本中数据的及时性，进而能够降低RPO。
上述装置中各个设备的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
本申请实施例提供的电子设备，从硬件层面而言，硬件架构示意图可以参见图3所示。包括：机器可读存储介质和处理器，其中：所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现上述示例公开的应用于数据复制操作。
本申请实施例提供的机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现上述示例公开的应用于数据复制操作。
这里，机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccess Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种数据复制方法，其特征在于，应用于属于存储设备的源LUN，所述存储设备包括源LUN和用于复制所述源LUN上数据的至少一个目标LUN，所述方法包括：
确定已被配置了所述源LUN至所述至少一个目标LUN的复制业务，且已完成所述源LUN至所述至少一个目标LUN的初始复制，当确定开启一次新的复制时，则：
生成差异位图W；其中，所述差异位图W为所述源LUN上最新的差异位图，用于记录所述源LUN的数据变化情况，所述差异位图W的生成时间为当前时间T1；
获取本次需复制的目标LUN列表，并针对所述目标LUN列表中的每一个目标LUN，生成该目标LUN的传输位图，从所述源LUN的数据平面记录列表中获取属于该目标LUN的数据平面记录对应的时间T2，将所述T2对应的差异位图R、所述差异位图R和所述差异位图W之间的差异位图合并至该目标LUN的传输位图；
基于所述至少一个目标LUN的传输位图，将所述源LUN的数据增量同步至各目标LUN。
2.根据权利要求1所述的方法，其特征在于，在获取本次需复制的目标LUN列表之前，该方法还包括：
生成用于本次复制业务的快照S；
在将所述源LUN的数据增量同步至任一目标LUN之后，该方法还包括：
从所述源LUN的数据平面列表中删除该目标LUN对应的数据平面记录，并同时增加一条数据平面记录，所增加的数据平面记录对应的目标LUN为该目标LUN、对应的时间为所述快照S对应的时间。
3.根据权利要求2所述的方法，其特征在于，在从所述源LUN的数据平面列表中删除该目标LUN对应的数据平面记录，并同时增加一条数据平面记录之后，该方法还包括：
从所述源LUN的数据平面记录列表中获取最早的一条数据平面记录对应的时间T3，并从所述源LUN对应的差异位图中删除时间早于所述T3对应的差异位图。
4.根据权利要求2～3中任一项所述的方法，其特征在于，在将所述源LUN的数据增量同步至所述任一目标LUN之前，该方法还包括：
更新所述快照S的引用次数，以使所述引用次数的值为当前引用次数值加1，所述引用次数用于指示所述快照S中的数据需要被复制到目标LUN的数量，或/和
在将所述源LUN的数据增量同步至所述任一目标LUN之后，该方法还包括：
更新所述快照S的引用次数，以使所述引用次数的值为当前引用次数值减1；如果更新后的当前引用次数值为0，则删除所述快照S。
5.一种数据复制装置，其特征在于，应用于属于存储设备的源LUN，所述存储设备包括源LUN和用于复制所述源LUN上数据的至少一个目标LUN，所述装置包括：
复制模块，用于确定已被配置了所述源LUN至所述至少一个目标LUN的复制业务，且已完成所述源LUN至所述至少一个目标LUN的初始复制，当确定开启一次新的复制时，则触发差异位图生成模块；
所述差异位图生成模块，用于生成差异位图W；其中，所述差异位图W为所述源LUN上最新的差异位图，用于记录所述源LUN的数据变化情况，所述差异位图W的生成时间为当前时间T1；
传输位图生成模块，用于获取本次需复制的目标LUN列表，并针对所述目标LUN列表中的每一个目标LUN，生成该目标LUN的传输位图，从所述源LUN的数据平面记录列表中获取属于该目标LUN的数据平面记录对应的时间T2，将所述T2对应的差异位图R、所述差异位图R和所述差异位图W之间的差异位图合并至该目标LUN的传输位图；
数据同步模块，用于基于所述至少一个目标LUN的传输位图，将所述源LUN的数据增量同步至各目标LUN。
6.根据权利要求5所述的装置，其特征在于，该装置还包括：
快照生成模块，用于生成用于本次复制业务的快照S；
记录删除模块，用于从所述源LUN的数据平面列表中删除该目标LUN对应的数据平面记录，并同时增加一条数据平面记录，所增加的数据平面记录对应的目标LUN为该目标LUN、对应的时间为所述快照S对应的时间。
7.根据权利要求6所述的装置，其特征在于，该装置还包括：
差异位图删除模块，用于从所述源LUN的数据平面记录列表中获取最早的一条数据平面记录对应的时间T3，并从所述源LUN对应的差异位图中删除时间早于所述T3对应的差异位图。
8.根据权利要求6或7所述的装置，其特征在于，该装置还包括：
第一引用次数更新模块，用于更新所述快照S的引用次数，以使所述引用次数的值为当前引用次数值加1，所述引用次数用于指示所述快照S中的数据需要被复制到目标LUN的数量，或/和
第二引用次数更新模块，用于更新所述快照S的引用次数，以使所述引用次数的值为当前引用次数值减1；如果更新后的当前引用次数值为0，则删除所述快照S。
9.一种电子设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现上述1～4中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述权利要求1-4中任一项所述方法的任一步骤。
CN202210006812.1A 2022-01-05 2022-01-05 一种数据复制方法、系统及设备 Active CN114442944B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210006812.1A CN114442944B (zh) 2022-01-05 2022-01-05 一种数据复制方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210006812.1A CN114442944B (zh) 2022-01-05 2022-01-05 一种数据复制方法、系统及设备

Publications (2)

Publication Number Publication Date
CN114442944A true CN114442944A (zh) 2022-05-06
CN114442944B CN114442944B (zh) 2024-02-27

Family

ID=81364921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210006812.1A Active CN114442944B (zh) 2022-01-05 2022-01-05 一种数据复制方法、系统及设备

Country Status (1)

Country Link
CN (1) CN114442944B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115292094A (zh) * 2022-08-10 2022-11-04 广州鼎甲计算机科技有限公司 数据恢复处理方法、装置、设备、存储介质和程序产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080209145A1 (en) * 2007-02-27 2008-08-28 Shyamsundar Ranganathan Techniques for asynchronous data replication
US20090083345A1 (en) * 2007-09-26 2009-03-26 Hitachi, Ltd. Storage system determining execution of backup of data according to quality of WAN
CN102096616A (zh) * 2011-02-15 2011-06-15 成都市华为赛门铁克科技有限公司 逻辑对象数据的复制方法以及相关装置
CN103885717A (zh) * 2012-12-19 2014-06-25 杭州宏杉科技有限公司 一种数据复制方法及装置
CN106155833A (zh) * 2015-03-31 2016-11-23 华为技术有限公司 一种异步远程复制的方法和装置
WO2017113059A1 (zh) * 2015-12-28 2017-07-06 华为技术有限公司 一种差异数据备份方法、存储系统和差异数据备份装置
US20180316756A1 (en) * 2017-04-28 2018-11-01 Netapp, Inc. Cross-platform replication of logical units
US10565062B1 (en) * 2017-08-03 2020-02-18 Veritas Technologies Llc Systems and methods for managing replication of data to a remote storage device
US20210232317A1 (en) * 2017-04-28 2021-07-29 Netapp Inc. Cross-platform replication of logical units

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080209145A1 (en) * 2007-02-27 2008-08-28 Shyamsundar Ranganathan Techniques for asynchronous data replication
US20090083345A1 (en) * 2007-09-26 2009-03-26 Hitachi, Ltd. Storage system determining execution of backup of data according to quality of WAN
CN102096616A (zh) * 2011-02-15 2011-06-15 成都市华为赛门铁克科技有限公司 逻辑对象数据的复制方法以及相关装置
CN103885717A (zh) * 2012-12-19 2014-06-25 杭州宏杉科技有限公司 一种数据复制方法及装置
CN106155833A (zh) * 2015-03-31 2016-11-23 华为技术有限公司 一种异步远程复制的方法和装置
WO2017113059A1 (zh) * 2015-12-28 2017-07-06 华为技术有限公司 一种差异数据备份方法、存储系统和差异数据备份装置
US20180316756A1 (en) * 2017-04-28 2018-11-01 Netapp, Inc. Cross-platform replication of logical units
US20210232317A1 (en) * 2017-04-28 2021-07-29 Netapp Inc. Cross-platform replication of logical units
US10565062B1 (en) * 2017-08-03 2020-02-18 Veritas Technologies Llc Systems and methods for managing replication of data to a remote storage device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115292094A (zh) * 2022-08-10 2022-11-04 广州鼎甲计算机科技有限公司 数据恢复处理方法、装置、设备、存储介质和程序产品
CN115292094B (zh) * 2022-08-10 2023-11-14 广州鼎甲计算机科技有限公司 数据恢复处理方法、装置、设备、存储介质和程序产品

Also Published As

Publication number Publication date
CN114442944B (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
US9251233B2 (en) Merging an out of synchronization indicator and a change recording indicator in response to a failure in consistency group formation
US8108364B2 (en) Representation of system clock changes in time based file systems
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
TWI521359B (zh) Distributed storage system management device and method
US20070185936A1 (en) Managing deletions in backup sets
US10976942B2 (en) Versioning a configuration of data storage equipment
US11436110B2 (en) Distributed database remote backup
CN111638995A (zh) 元数据备份方法、装置及设备、存储介质
US20190188097A1 (en) Mirrored write ahead logs for data storage system
CN114442944B (zh) 一种数据复制方法、系统及设备
US9558084B2 (en) Recovery control in mirrored disks
US7600151B2 (en) RAID capacity expansion interruption recovery handling method and system
US20190079831A1 (en) Providing consistency in a distributed data store
CN107545022B (zh) 磁盘管理方法及装置
CN110928945A (zh) 一种针对数据库的数据处理方法及装置，数据处理系统
CN110704239B (zh) 数据复制方法、装置、电子设备
CN114442943B (zh) 一种数据迁移方法、系统及设备
CN114442941B (zh) 一种数据迁移方法、系统、存储介质及设备
CN114442945B (zh) 一种数据复制方法、系统及设备
CN114442942B (zh) 一种数据迁移方法、系统、设备及存储介质
CN111400302B (zh) 连续存储数据的修改方法、装置和系统
CN115952031A (zh) 脑裂文件的恢复方法、装置、计算机设备及可读存储介质
CN115268777A (zh) 一种存储节点的扩容方法及装置
CN115543919A (zh) 档案处理方法、装置、计算机设备和存储介质
CN115687520A (zh) 一种分布式数据库系统及其数据的同步方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant