CN113419676B

CN113419676B - 一种数据远程复制方法、系统、存储介质及设备

Info

Publication number: CN113419676B
Application number: CN202110656322.1A
Authority: CN
Inventors: 吴昊; 胡永刚
Original assignee: Jinan Inspur Data Technology Co Ltd
Current assignee: Jinan Inspur Data Technology Co Ltd
Priority date: 2021-06-11
Filing date: 2021-06-11
Publication date: 2022-11-29
Anticipated expiration: 2041-06-11
Also published as: CN113419676A

Abstract

本发明提供了一种数据远程复制方法、系统、存储介质及设备，方法包括：将本端存储池中的各主卷与远端存储池中对应的从卷分别建立远程复制关系，并将各主卷中的已有数据分别通过远程复制关系复制到对应的从卷中；响应于预设周期开始，将各主卷放入本端同步组，且将对应的从卷放入远端同步组，以得到具有映射关系的本端同步组与远端同步组，并记录映射关系；通过监测进程监测是否存在具有映射关系的本端同步组和远端同步组；响应于存在，为本端同步组中的各主卷创建若干快照，并在预设周期结束时基于快照将各主卷的新增数据分别通过远程复制关系复制到对应从卷中。本发明实现了在大规模存储集群中对大量存储卷的一致管理，提高了数据容灾效率。

Description

一种数据远程复制方法、系统、存储介质及设备

技术领域

本发明涉及存储技术领域，尤其涉及一种数据远程复制方法、系统、存储介质及设备。

背景技术

各种计算机上的数据信息已经成为开展办公与业务的重要基础，数据信息已经成为现代企事业单位与个人的重要无形资产。当计算机系统遭到诸如自然灾害或恶意破坏等灾难时，计算机系统的软硬件、数据信息和对外提供服务的能力都会受到不同程度的损坏，而数据的丢失或者减损显然会给计算机系统额依赖者造成不同程度的损失，这种损失有时候是难以弥补的。传统的高可用技术采用数据备份和集群技术可以避免由于各种软硬件故障、人为误操作以及病毒造成的破坏，但当面临突发的大规模灾难性事件时，上述技术根本无法提供大范围的保护。远程数据复制技术利用通信技术、计算机技术实现远程的数据备份，减少数据丢失带来的损失。

但目前的远程复制只能实现存储卷的主卷与从卷的单独数据复制，不便于管理，需要对每一对主卷和从卷都一个个的单独操作。尤其是在大规模集群系统中，存储卷很多，对数据容灾带来很大的不便。

发明内容

有鉴于此，本发明的目的在于提出一种数据远程复制方法、系统、存储介质及设备，用以解决现有技术中大规模集群系统中由于存储卷数量多导致数据远程复制不方便、难于管理的问题。

基于上述目的，本发明提供了一种数据远程复制方法，包括以下步骤：

将本端存储池中的各主卷与远端存储池中对应的从卷分别建立远程复制关系，并将各主卷中的已有数据分别通过远程复制关系复制到对应的从卷中；

响应于预设周期开始，将各主卷放入本端同步组，且将对应的从卷放入远端同步组，以得到具有映射关系的本端同步组与远端同步组，并记录映射关系；

通过监测进程监测是否存在具有映射关系的本端同步组和远端同步组；

响应于存在具有映射关系的本端同步组和远端同步组，为本端同步组中的各主卷创建若干快照，并在预设周期结束时基于创建的快照将本端同步组中的各主卷中的新增数据分别通过远程复制关系复制到对应的远端同步组中的从卷中。

在一些实施例中，响应于存在具有映射关系的本端同步组和远端同步组，为本端同步组中的各主卷创建若干快照，并在预设周期结束时基于创建的快照将本端同步组中的各主卷中的新增数据分别通过远程复制关系复制到对应的远端同步组中的从卷中包括：

响应于存在具有映射关系的本端同步组和远端同步组，为各主卷创建第一快照且基于预设的时间间隔依次创建若干第二快照；

响应于周期结束，对各主卷的第一快照与最后创建的第二快照进行比较，并基于比较结果将各主卷中的新增数据分别通过远程复制关系复制到对应的从卷中。

在一些实施例中，对各主卷的第一快照与最后创建的第二快照进行比较，并基于比较结果将各主卷中的新增数据分别通过远程复制关系复制到对应的从卷中包括：

对各主卷的第一快照与最后创建的第二快照进行比较；

响应于有主卷的第一快照与最后创建的第二快照有差异，将第二快照与第一快照的差异部分作为主卷的新增数据并通过远程复制关系复制到对应的从卷中。

在一些实施例中，为各主卷创建第一快照且基于预设的时间间隔依次创建若干第二快照包括：

通过调用接口为各主卷创建第一快照且基于预设的时间间隔依次创建若干第二快照。

在一些实施例中，记录映射关系包括：

将本端同步组与远端同步组的名称以及映射关系记录至本端存储池的元数据中。

在一些实施例中，通过监测进程监测是否存在具有映射关系的本端同步组和远端同步组包括：

通过监测进程监测元数据中是否存在具有映射关系的本端同步组和远端同步组的名称。

在一些实施例中，将本端存储池中的各主卷与远端存储池中对应的从卷之间建立远程复制关系包括：

将本端集群的本端存储池中的各主卷与远端集群的远端存储池中对应的从卷之间建立远程复制关系。

本发明的另一方面，还提供了一种数据远程复制系统，包括：

关系建立模块，配置用于将本端存储池中的各主卷与远端存储池中对应的从卷分别建立远程复制关系，并将各主卷中的已有数据分别通过远程复制关系复制到对应的从卷中；

映射关系记录模块，配置用于响应于预设周期开始，将各主卷放入本端同步组，且将对应的从卷放入远端同步组，以得到具有映射关系的本端同步组与远端同步组，并记录映射关系；

监测模块，配置用于通过监测进程监测是否存在具有映射关系的本端同步组和远端同步组；以及

数据远程复制模块，配置用于响应于存在具有映射关系的本端同步组和远端同步组，为本端同步组中的各主卷创建若干快照，并在预设周期结束时基于创建的快照将本端同步组中的各主卷中的新增数据分别通过远程复制关系复制到对应的远端同步组中的从卷中。

本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项方法。

本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任意一项方法。

本发明至少具有以下有益技术效果：

本发明通过将各主卷集合到本端同步组，将各从卷集合到远端同步组，便于实现多主卷和多从卷的一致性的增量数据同步；通过为一致性同步的过程设立周期，可以方便在大规模存储集群中实现对大量存储卷的一致管理，使得被集中到本端同步组中的主卷的新增数据可以统一同步复制到被集中到远端同步组中的从卷，提高了数据容灾的效率，减少了由于数据远程传输的时延而造成的业务性能下降；本发明也避免了有的主卷中的数据备份到从卷造成数据丢失，形成了对数据的保护。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为根据本发明实施例提供的数据远程复制方法的示意图；

图2为根据本发明实施例提供的数据远程复制系统的示意图；

图3为根据本发明实施例提供的实现数据远程复制方法的计算机可读存储介质的示意图；

图4为根据本发明实施例提供的执行数据远程复制方法的计算机设备的硬件结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。

基于上述目的，本发明实施例的第一个方面，提出了一种数据远程复制方法的实施例。图1示出的是本发明提供的数据远程复制方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：

步骤S10、将本端存储池中的各主卷与远端存储池中对应的从卷分别建立远程复制关系，并将各主卷中的已有数据分别通过远程复制关系复制到对应的从卷中；

步骤S20、响应于预设周期开始，将各主卷放入本端同步组，且将对应的从卷放入远端同步组，以得到具有映射关系的本端同步组与远端同步组，并记录映射关系；

步骤S30、通过监测进程监测是否存在具有映射关系的本端同步组和远端同步组；

步骤S40、响应于存在具有映射关系的本端同步组和远端同步组，为本端同步组中的各主卷创建若干快照，并在预设周期结束时基于创建的快照将本端同步组中的各主卷中的新增数据分别通过远程复制关系复制到对应的远端同步组中的从卷中。

本发明实施例通过将各主卷集合到本端同步组，将各从卷集合到远端同步组，便于实现多主卷和多从卷的一致性的增量数据同步；通过为一致性同步的过程设立周期，可以方便在大规模存储集群中实现对大量存储卷的一致管理，使得被集中到本端同步组中的主卷的新增数据可以统一同步复制到被集中到远端同步组中的从卷，提高了数据容灾的效率，减少了由于数据远程传输的时延而造成的业务性能下降；本发明也避免了有的主卷中的数据备份到从卷造成数据丢失，形成了对数据的保护。

在一些实施例中，响应于存在具有映射关系的本端同步组和远端同步组，为本端同步组中的各主卷创建若干快照，并在预设周期结束时基于创建的快照将本端同步组中的各主卷中的新增数据分别通过远程复制关系复制到对应的远端同步组中的从卷中包括：响应于存在具有映射关系的本端同步组和远端同步组，为各主卷创建第一快照且基于预设的时间间隔依次创建若干第二快照；响应于周期结束，对各主卷的第一快照与最后创建的第二快照进行比较，并基于比较结果将各主卷中的新增数据分别通过远程复制关系复制到对应的从卷中。

在一些实施例中，对各主卷的第一快照与最后创建的第二快照进行比较，并基于比较结果将各主卷中的新增数据分别通过远程复制关系复制到对应的从卷中包括：对各主卷的第一快照与最后创建的第二快照进行比较；响应于有主卷的第一快照与最后创建的第二快照有差异，将第二快照与第一快照的差异部分作为主卷的新增数据并通过远程复制关系复制到对应的从卷中。

上述实施例中，当监测进程监测到了具有映射关系的本端同步组和远端同步组，便为本端同步组的各主卷立即打快照，即创建第一快照，这时第一快照中是主卷的已有数据。然后按照预设的时间间隔，对主卷再依次打快照，每次打快照时各主卷同时进行，所以各主卷同步创建了多个第二快照。当周期结束，通过比较主卷的最后创建的第二快照与其第一快照的差异部分，则差异部分为该主卷的新增数据，便可以将差异部分通过远程复制关系同步到对应的从卷中。

在一些实施例中，为各主卷创建第一快照且基于预设的时间间隔依次创建若干第二快照包括：通过调用接口为各主卷创建第一快照且基于预设的时间间隔依次创建若干第二快照。

本实施例中，通过调用group.cc接口可以对本端同步组的主卷打快照。

在一些实施例中，记录映射关系包括：将本端同步组与远端同步组的名称以及映射关系记录至本端存储池的元数据中。

在一些实施例中，通过监测进程监测是否存在具有映射关系的本端同步组和远端同步组包括：通过监测进程监测元数据中是否存在具有映射关系的本端同步组和远端同步组的名称。

上述实施例中，监控进程为单独建立的进程，其可以定时监控本端存储池的元数据中是否具有已建立了映射关系的本端同步组和远端同步组的名称，从而进行稳定的监测。

在一些实施例中，将本端存储池中的各主卷与远端存储池中对应的从卷之间建立远程复制关系包括：将本端集群的本端存储池中的各主卷与远端集群的远端存储池中对应的从卷之间建立远程复制关系。

本实施例应用于大规模存储集群的情况，本端存储池属于本端集群，对于远端集群，为其他的预先指定的集群。本发明实施例实现了大规模存储集群系统的数据备份管理。

本发明实施例的第二个方面，还提供了一种数据远程复制系统。图2示出的是本发明提供的数据远程复制系统的实施例的示意图。如图2所示，一种数据远程复制系统包括：关系建立模块10，配置用于将本端存储池中的各主卷与远端存储池中对应的从卷分别建立远程复制关系，并将各主卷中的已有数据分别通过远程复制关系复制到对应的从卷中；映射关系记录模块20，配置用于响应于预设周期开始，将各主卷放入本端同步组，且将对应的从卷放入远端同步组，以得到具有映射关系的本端同步组与远端同步组，并记录映射关系；监测模块30，配置用于通过监测进程监测是否存在具有映射关系的本端同步组和远端同步组；以及数据远程复制模块40，配置用于响应于存在具有映射关系的本端同步组和远端同步组，为本端同步组中的各主卷创建若干快照，并在预设周期结束时基于创建的快照将本端同步组中的各主卷中的新增数据分别通过远程复制关系复制到对应的远端同步组中的从卷中。

本发明实施例的数据远程复制系统，通过将各主卷集合到本端同步组，将各从卷集合到远端同步组，便于实现多主卷和多从卷的一致性的增量数据同步；通过为一致性同步的过程设立周期，可以方便在大规模存储集群中实现对大量存储卷的一致管理，使得被集中到本端同步组中的主卷的新增数据可以统一同步复制到被集中到远端同步组中的从卷，提高了数据容灾的效率，减少了由于数据远程传输的时延而造成的业务性能下降；本发明也避免了有的主卷中的数据备份到从卷造成数据丢失，形成了对数据的保护。

在一些实施例中，数据远程复制模块40进一步配置用于响应于存在具有映射关系的本端同步组和远端同步组，为各主卷创建第一快照且基于预设的时间间隔依次创建若干第二快照；响应于周期结束，对各主卷的第一快照与最后创建的第二快照进行比较，并基于比较结果将各主卷中的新增数据分别通过远程复制关系复制到对应的从卷中。

在一些实施例中，数据远程复制模块40包括新增数据复制模块，配置用于对各主卷的第一快照与最后创建的第二快照进行比较；响应于有主卷的第一快照与最后创建的第二快照有差异，将第二快照与第一快照的差异部分作为主卷的新增数据并通过远程复制关系复制到对应的从卷中。

在一些实施例中，数据远程复制模块40还包括快照创建模块，配置用于通过调用接口为各主卷创建第一快照且基于预设的时间间隔依次创建若干第二快照。

在一些实施例中，映射关系记录模块20包括名称及映射关系记录模块，配置用于将本端同步组与远端同步组的名称以及映射关系记录至本端存储池的元数据中。

在一些实施例中，监测模块30进一步配置用于通过监测进程监测元数据中是否存在具有映射关系的本端同步组和远端同步组的名称。

在一些实施例中，关系建立模块10包括主从卷关系建立模块，配置用于将本端集群的本端存储池中的各主卷与远端集群的远端存储池中对应的从卷之间建立远程复制关系。

本发明实施例的第三个方面，还提供了一种计算机可读存储介质，图3示出了根据本发明实施例提供的实现数据远程复制方法的计算机可读存储介质的示意图。如图3所示，计算机可读存储介质3存储有计算机程序指令31，该计算机程序指令31被执行时实现如下步骤：

应当理解，在相互不冲突的情况下，以上针对根据本发明的数据远程复制方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的数据远程复制系统和存储介质。

本发明实施例的第四个方面，还提供了一种计算机设备，包括存储器402和处理器401，该存储器中存储有计算机程序，该计算机程序被该处理器执行时实现上述任意一项实施例的方法。

如图4所示，为本发明提供的执行数据远程复制方法的计算机设备的一个实施例的硬件结构示意图。以如图4所示的计算机设备为例，在该计算机设备中包括一个处理器401以及一个存储器402，并还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。输入装置403可接收输入的数字或字符信息，以及产生与数据远程复制系统的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。

存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的数据远程复制方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据远程复制方法的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的数据远程复制方法。

最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims

1.一种数据远程复制方法，其特征在于，包括以下步骤：

响应于预设周期开始，将各主卷放入本端同步组，且将对应的从卷放入远端同步组，以得到具有映射关系的所述本端同步组与远端同步组，并记录所述映射关系；

通过监测进程监测是否存在具有映射关系的所述本端同步组和远端同步组；

响应于存在具有映射关系的所述本端同步组和远端同步组，为所述本端同步组中的各主卷创建若干快照，并在所述预设周期结束时基于创建的快照将本端同步组中的各主卷中的新增数据分别通过所述远程复制关系复制到对应的远端同步组中的从卷中。

2.根据权利要求1所述的方法，其特征在于，响应于存在具有映射关系的所述本端同步组和远端同步组，为所述本端同步组中的各主卷创建若干快照，并在所述预设周期结束时基于创建的快照将本端同步组中的各主卷中的新增数据分别通过所述远程复制关系复制到对应的远端同步组中的从卷中包括：

响应于存在具有映射关系的所述本端同步组和远端同步组，为各主卷创建第一快照且基于预设的时间间隔依次创建若干第二快照；

3.根据权利要求2所述的方法，其特征在于，对各主卷的第一快照与最后创建的第二快照进行比较，并基于比较结果将各主卷中的新增数据分别通过远程复制关系复制到对应的从卷中包括：

对各主卷的第一快照与最后创建的第二快照进行比较；

响应于有主卷的第一快照与最后创建的第二快照有差异，将所述第二快照与第一快照的差异部分作为所述主卷的新增数据并通过远程复制关系复制到对应的从卷中。

4.根据权利要求2所述的方法，其特征在于，为各主卷创建第一快照且基于预设的时间间隔依次创建若干第二快照包括：

5.根据权利要求1所述的方法，其特征在于，记录所述映射关系包括：

将所述本端同步组与远端同步组的名称以及映射关系记录至所述本端存储池的元数据中。

6.根据权利要求5所述的方法，其特征在于，通过监测进程监测是否存在具有映射关系的所述本端同步组和远端同步组包括：

通过监测进程监测所述元数据中是否存在具有映射关系的所述本端同步组和远端同步组的名称。

7.根据权利要求1所述的方法，其特征在于，将本端存储池中的各主卷与远端存储池中对应的从卷之间建立远程复制关系包括：

8.一种数据远程复制系统，其特征在于，包括：

映射关系记录模块，配置用于响应于预设周期开始，将各主卷放入本端同步组，且将对应的从卷放入远端同步组，以得到具有映射关系的所述本端同步组与远端同步组，并记录所述映射关系；

监测模块，配置用于通过监测进程监测是否存在具有映射关系的所述本端同步组和远端同步组；以及

数据远程复制模块，配置用于响应于存在具有映射关系的所述本端同步组和远端同步组，为所述本端同步组中的各主卷创建若干快照，并在所述预设周期结束时基于创建的快照将本端同步组中的各主卷中的新增数据分别通过所述远程复制关系复制到对应的远端同步组中的从卷中。

9.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的方法。

10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时执行如权利要求1-7任意一项所述的方法。