CN108334561A - 一种跨站点远程复制实现方法 - Google Patents

Abstract

本发明公开了一种跨站点远程复制实现方法，其包括步骤：步骤S10，主数据中心接收来自应用系统的更新操作请求，其中携带有自定义的远程复制属性；步骤S11，主数据中心对对象存储单元中的相应文件进行更新操作，并在更新日志中至少记录远程复制属性；步骤S12，主数据中心或备数据中心周期性读取更新日志，并根据其中的远程复制属性确定复制策略；步骤S13，根据所确定的复制策略，与所述备份数据中心进行建立联系，并按照所述复制策略进行远程复制。实施本发明，通过设置变更操作对应的远程复制属性，可以实现灵活的远程复制机制。

Description

一种跨站点远程复制实现方法

技术领域

本发明涉及数据异地备份领域，尤其涉及一种跨站点远程复制实现方法。

背景技术

远程复制是容灾备份的核心技术，可以实现远程数据同步和灾难恢复。在物理位置上分离的存储系统通过远程数据连接功能，可以在远程维护一套或多套数据副本。一旦灾难发生，分布在异地存储系统上的备份数据并不会受到波及，从而实现容灾备份功能。

异步远程复制是对主数据中心写操作的同时，在主站点记录本次写操作所修改的数据，待主数据中心返回写请求成功后，就返回主机写请求成功。再通过触发远程复制进行数据同步操作，保证主数据中心和从数据中心数据一致。

在现的技术中，出现了一种对象存储机制，其中，对象存储操作语义只支持对新增文件、整个文件的覆盖、或者删除文件写操作，不支持文件的更新或者追加写操作。在这种语义模式下，因为不存在对文件的局部修改操作，远程复制的无需关注每个IO操作，只用记录文件变更，并根据文件变更记录进行异步远程复制即可。

现有的这种远程复制的方法大致通过如下的步骤实现：

应用系统通过主数据中心的对象存储接口新增/覆盖写/删除文件等文件变更操作；

主数据中心对象存储单元根据操作要求，新增/覆盖/删除文件；

主数据中心将同步记录一条更新日志，日志中记录修订时间和文件名信息，日志格式主要包括诸如：序列号、时间、操作类型、文件名等。

主数据中心的对象存储单元给应用系统返回成功应答，文件新增/覆盖写/删除操作完成；

异步复制模块读取更新日志的记录，严格按照操作顺序，针对操作类型进行不同处理：

新增/覆盖写文件操作： 则将主数据中心文件读取出来，调用备数据中心的写文件接口将文件写入到备份数据中心；

删除文件操作：调用备份数据中心的删除文件接口，将备份数据中心的文件进行删除。

但是现有的这种远程复制方法也存在一些不足之处：该技术只能按照文件更新操作的顺序进行远程复制，不能实现更加灵活的策略控制，例如不能实现和应用相结合的策略控制。

发明内容

本发明所要解决的技术问题在于，提供一种跨站点远程复制实现方法，通过设置变更操作对应的远程复制属性，可以实现灵活的远程复制机制。

为了解决上述技术问题，本发明的实施例提供一种跨站点远程复制实现方法，其应用于包括主数据中心与至少一个备份数据中心的跨站点复制系统中，所述方法包括如下步骤：

步骤S10，主数据中心接收来自应用系统的更新操作请求，所述更新操作请求携带有自定义的远程复制属性，所述更新操作请求包括新增文件操作请求、覆盖写文件操作请求、删除文件操作请求；

步骤S11，主数据中心根据所述更新操作请求，对对象存储单元中的相应文件进行更新操作，并在更新所述相应文件后，在更新日志中至少记录文件名、更新时间、更新操作类型、以及远程复制属性；

步骤S12，所述主数据中心的主远程复制单元或备数据中心的备份远程复制单元周期性读取所述更新日志，并根据所述更新日志中的远程复制属性确定复制策略；

步骤S13，所述主数据中心的主远程复制或备数据中心的备份远程复制单元单元根据所确定的复制策略，控制所述备份数据中心按照所述复制策略进行远程复制。

其中，所述远程复制属性为远程优先权属性；所述步骤 S12进一步包括：

主数据中心的主远程复制单元或备数据中心的备份远程复制单元周期性读取所述更新日志，将当前扫描周期的各操作日志根据文件优先级属性的高低进行排序，按照文件优先级属性的高低确定远程复制的优先级。

其中，所述步骤S12进一步包括：

主数据中心的主远程复制单元如果判断到同一扫描周期内，对于同一文件具有多个更新日志，则对于所述文件，严格按照更新操作的时间顺序进行远程复制。

其中，所述步骤S13进一步包括：

在确定复制策略后，当当前远程复制所对应的日志中的更新操作为新增文件操作或覆盖写文件操作时，将主数据中心的所述更新后的文件读取出来，调用备数据中心的写文件接口将所述文件写入到备份数据中心；

当当前远程复制所对应的日志中的更新操作为删除文件操作时，调用备份数据中心的删除文件接口，将备份数据中心的相应文件进行删除。

其中，所述远程复制属性为是否容灾的属性；所述步骤 S12进一步包括：

主数据中心的主远程复制模块周期性读取所述更新日志，将当前扫描周期的各操作日志中是否容灾的属性，确定对每一操作日志中对应的更新操作是否需要进行远程复制；如果所述是否容灾的属性为否，则对所述对应的更新操作不进行远程复制；如果所述是否容灾的属性为是，则对所述对应的更新操作进行远程复制。

其中，所述步骤S13进一步包括：

在确定需要对所述对应的更新操作进行远程复制后，当当前远程复制所对应的日志中的更新操作为新增文件操作或覆盖写文件操作时，将主数据中心的所述更新后的文件读取出来，调用备数据中心的写文件接口将所述文件写入到备份数据中心；

当当前远程复制所对应的日志中的更新操作为删除文件操作时，调用备份数据中心的删除文件接口，将备份数据中心的相应文件进行删除。

实施本发明实施例，具有如下有益效果：

本发明的实施例，通过文件自定义属性，在变更日志中设置一个远程复制属性，所述远程复制属性可以是远程复制的优先级属性或是否容灾属性。从而可以根据所述远程复制属性确定远程复制策略，从而实现应用对远程复制的特殊控制，例如，可以实现包括文件复制优先级、文件容灾级别等目的的策略控制。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明提供的一种跨站点远程复制实现方法所涉及的应用环境结构示意图；

图2为本发明提供的一种跨站点远程复制实现方法一个实施例的主流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

如图1所示，示出了本发明提供的一种跨站点远程复制实现方法所涉及的应用环境结构示意图；本发明提供的方法应用于一种包括主数据中心1与至少一个备份数据中心2的跨站点复制系统中。其中，所述主数据中心1至少包括有：

主更新操作单元11，用于接收来自应用系统的更新操作请求，对主对象存储单元12里的特定文件进行更新；

主对象存储单元12，用于存储对象文件；

主变更日志处理单元 13，用于在完成对象文件变更后，记录变更日志；

主异步复制单元14，用于根据主变更日志处理单元 13中的变更日志，生成远程复制策略，与备份数据中心2进行联系，实现远程备份。

所述备份数据中心2包括备份异步复制单元24、备份更新操作单元21、备份对象存储单元23和备份变更日志处理单元24。其中，备份异步复制单元24用于和主异步复制单元14进行通信，接收其确定的远程复制策略及相应的变更内容，其也可以周期性请求读取所述主变更日志处理单元 13中的更新日志，并根据所述更新日志中的远程复制属性确定复制策略；备份更新操作单元21用于根据所述远程复制策略进行具体的对备份对象存储单元23中的相应文件的更新操作。备份对象存储单元22，用于存储备份的对象文件；备份变更日志处理单元 23，用于在完成对象文件备份变更后，记录变更日志。

如图2所示，示出了本发明提供的一种跨站点远程复制实现方法一个实施例的主流程示意图。在该 实施例中，所述方法包括如下步骤：

步骤S10，主数据中心接收来自应用系统的更新操作请求，所述更新操作请求携带有自定义的远程复制属性，所述更新操作请求包括新增文件操作请求、覆盖写文件操作请求、删除文件操作请求；

步骤S11，主数据中心根据所述更新操作请求，对对象存储单元中的相应文件进行更新操作，并在更新所述相应文件后，在更新日志中至少记录文件名、更新时间、更新操作类型、以及远程复制属性，进一步的所述更新日志还可以记录诸如序列号等内容；

步骤S12，所述主数据中心的主远程复制单元周期性读取所述更新日志，并根据所述更新日志中的远程复制属性确定复制策略；

步骤S13，所述主数据中心的主远程复制单元根据所确定的复制策略，与所述备份数据中心进行建立联系，并按照所述复制策略进行远程复制。

为了便于进一步理解本发明的方法，下面以两个具体的实施例来进行详细说明。

实施例一

在一种情况下，在异步远程复制模式下，备数据中心往往需要滞后一段时间才能访问到最新写入的文件。特别是在一些跨数据中心链路带宽比较差，而且有大批量文件更新的场景下，最新的文件可能要超过分钟级文件才能在备数据中心读取到。

在这种应用场景下，在本发明的方法中，将所述远程复制属性设置为远程优先权属性。通过在写入文件时，应用增加特殊的优先级控制属性，异步远程复制模块根据策略，优先将应用优先级高的文件同步到备数据中心，保证重要文件的优先可以在备份数据中心得到访问。

具体地，本发明的方法包括：

在步骤S10中，主数据中心接收来自应用系统的更新操作请求，所述更新操作请求携带有自定义的远程复制属性，所述更新操作请求包括新增文件操作请求、覆盖写文件操作请求、删除文件操作请求；所述远程复制属性为所述更新操作的远程更新优先权属性，其中包含有优先级别,可以理解的是，优先级别越高，越希望能够及时进行远程复制；

在步骤S11中，主数据中心根据所述更新操作请求，对对象存储单元中的相应文件进行更新操作，并在更新所述相应文件后，在更新日志中至少记录文件名、更新时间、更新操作类型、以及远程更新优先权属性,将更新操作请求中携带的优先级属性记录到更新日志中；

在步骤S12中, 主数据中心的主远程复制单元周期性读取所述更新日志，并根据所述更新日志中的远程复制属性确定复制策略；具体地进一步包括：

主数据中心的主远程复制单元周期性读取所述更新日志，将当前扫描周期的各操作日志根据文件优先级属性的高低进行排序，按照文件优先级属性的高低确定远程复制的优先级。

可以理解的是，在现实情况中有可能存在在一个扫描周期内对某一文件进行了多次更新新操作的情形。在这种情况下，主数据中心的主远程复制单元如果判断到同一扫描周期内，对于同一文件具有多个更新日志，则对于所述文件，严格按照更新操作的时间顺序进行远程复制，以避免造成备份数据中心文件内容错误。

在步骤S13中，所述主数据中心的主远程复制单元根据所确定的复制策略，与所述备份数据中心进行建立联系，并按照所述复制策略进行远程复制。具体地，所述步骤S13进一步包括：

在确定复制策略后，当当前远程复制所对应的日志中的更新操作为新增文件操作或覆盖写文件操作时，将主数据中心的所述更新后的文件读取出来，调用备数据中心的写文件接口将所述文件写入到备份数据中心；具体地，在备份数据中心侧，备份异步复制单元通过主异步复制单元的主动通知获知需要进行新增文件操作或覆盖写文件操作的远程复制，同时获得需要更新的具体的文件名、更新内容；备份更新操作单元根据备份异步复制单元所获得的内容，对备份对象存储单元中相应的文件进行新增文件操作或覆盖写文件操作处理，并将所述变更操作的信息（如文件名、时间、变更操作类型等）写入变更日志中，从而实现远程复制过程；

在另外一个例子，主备份中心的主异步复制单元首先可以向备份异步复制单元发送变更日志内容（例如仅包括文件名、时间、变更操作类型，不包括变更内容），备份数据中心会根据变更日志内容对比自身存储的变更日志，确定是否需要进行同步变更，然后主动向主数据中心请求获得相应的变更内容，并将所述变更内容以新增文件操作或覆盖写文件操作方式复制到其备份对象存储单元中。当当前远程复制所对应的日志中的更新操作为删除文件操作时，调用备份数据中心的删除文件接口，控制将备份数据中心的相应文件进行删除。具体地，在备份数据中心侧，备份异步复制单元通过主异步复制单元获知需要进行删除文件操作的远程复制，同时获得需要删除的具体的文件名；备份更新操作单元根据备份异步复制单元所获得的内容，对备份对象存储单元中相应的文件进行删除操作处理，并将所述变更操作的信息（如文件名、时间、变更操作类型等）写入变更日志中，从而实现远程复制过程。

实施例二

在一些应用场景，因为文件的重要性不同，需要对文件进行不同的容灾保护，如：

重要文件需要同时复制到多个数据中心；

而部分非重要文件，只需要保存在本地写入的数据中心；

在这种情形下，可以通过在自定义的远程复制属性中指定文件是否跨数据中心容灾，在主远程复制单元中增加针对该字段的处理策略，实现文件是否容灾复制的控制。

具体地，在这种方法中，所述远程复制属性为是否容灾的属性；其中，步骤S10~步骤S11与前一实施例中的步骤S10~S11类似，只不过是将远程复制属性替换为是否容灾的属性，该属性例如可以用一个标志位进行标示。

所述步骤 S12进一步包括：

主数据中心的主远程复制模块周期性读取所述更新日志，将当前扫描周期的各操作日志中是否容灾的属性，确定对每一操作日志中对应的更新操作是否需要进行远程复制；如果所述是否容灾的属性为否，则对所述对应的更新操作不进行远程复制；如果所述是否容灾的属性为是，则对所述对应的更新操作进行远程复制。

其中，所述步骤S13进一步包括：

在确定需要对所述对应的更新操作进行远程复制后，当当前远程复制所对应的日志中的更新操作为新增文件操作或覆盖写文件操作时，将主数据中心的所述更新后的文件读取出来，调用备数据中心的写文件接口将所述文件写入到备份数据中心；具体地，在备份数据中心侧，备份异步复制单元通过主异步复制单元的主动通知获知需要进行新增文件操作或覆盖写文件操作的远程复制，同时获得需要更新的具体的文件名、更新内容；备份更新操作单元根据备份异步复制单元所获得的内容，对备份对象存储单元中相应的文件进行新增文件操作或覆盖写文件操作处理，并将所述变更操作的信息（如文件名、时间、变更操作类型等）写入变更日志中，从而实现远程复制过程；

在另外一个例子，主备份中心的主异步复制单元首先可以向备份异步复制单元发送变更日志内容（例如仅包括文件名、时间、变更操作类型，不包括变更内容），备份数据中心会根据变更日志内容对比自身存储的变更日志，确定是否需要进行同步变更，然后主动向主数据中心请求获得相应的变更内容，并将所述变更内容以新增文件操作或覆盖写文件操作方式复制到其备份对象存储单元中。

当当前远程复制所对应的日志中的更新操作为删除文件操作时，调用备份数据中心的删除文件接口，将备份数据中心的相应文件进行删除。具体地，在备份数据中心侧，备份异步复制单元通过主异步复制单元获知需要进行删除文件操作的远程复制，同时获得需要删除的具体的文件名；备份更新操作单元根据备份异步复制单元所获得的内容，对备份对象存储单元中相应的文件进行删除操作处理，并将所述变更操作的信息（如文件名、时间、变更操作类型等）写入变更日志中，从而实现远程复制过程。

实施本发明实施例，具有如下有益效果：

本发明的实施例，通过文件自定义属性，在变更日志中设置一个远程复制属性，所述远程复制属性可以是远程复制的优先级属性或是否容灾属性。从而可以根据所述远程复制属性确定远程复制策略，从而实现应用对远程复制的特殊控制，例如，可以实现包括文件复制优先级、文件容灾级别等目的的策略控制。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (6)

1.一种跨站点远程复制实现方法，其应用于包括主数据中心与至少一个备份数据中心的跨站点复制系统中，其特征在于，所述方法包括如下步骤：

步骤S10，主数据中心接收来自应用系统的更新操作请求，所述更新操作请求携带有自定义的远程复制属性，所述更新操作请求包括新增文件操作请求、覆盖写文件操作请求、删除文件操作请求；

步骤S11，主数据中心根据所述更新操作请求，对对象存储单元中的相应文件进行更新操作，并在更新相应文件后，在更新日志中至少记录文件名、更新时间、更新操作类型、以及远程复制属性信息；

步骤S12，所述主数据中心的主远程复制单元或备数据中心的备份远程复制单元周期性读取所述更新日志，并根据所述更新日志中的远程复制属性确定复制策略；

步骤S13，所述主数据中心的主远程复制单元或备数据中心的备份远程复制单元根据所确定的复制策略，控制所述备份数据中心按照所述复制策略进行远程复制。

2.如权利要求1所述的方法，其特征在于，所述远程复制属性为远程优先权属性；所述步骤 S12进一步包括：

主数据中心的主远程复制单元或备数据中心的备份远程复制单元周期性读取所述更新日志，将当前扫描周期的各操作日志根据文件优先级属性的高低进行排序，按照文件优先级属性的高低确定远程复制的优先级。

3.如权利要求2所述的方法，其特征在于，所述步骤S12进一步包括：

如果主数据中心的主远程复制单元或备数据中心的备份远程复制单元判断到同一扫描周期内，对于同一文件具有多个更新日志，则对于所述文件按照更新操作的时间顺序进行远程复制。

4.如权利要求3所述的方法，其特征在于，所述步骤S13进一步包括：

在确定复制策略后，当当前远程复制所对应的日志中的更新操作为新增文件操作或覆盖写文件操作时，将主数据中心的所述更新后的文件读取出来，调用备数据中心的写文件接口将所述文件写入到备份数据中心；

当当前远程复制所对应的日志中的更新操作为删除文件操作时，调用备份数据中心的删除文件接口，将备份数据中心的相应文件进行删除。

5.如权利要求1所述的方法，其特征在于，所述远程复制属性为是否容灾的属性；所述步骤 S12进一步包括：

主数据中心的主远程复制模块周期性读取所述更新日志，将当前扫描周期的各操作日志中是否容灾的属性，确定对每一操作日志中对应的更新操作是否需要进行远程复制；如果所述是否容灾的属性为否，则对所述对应的更新操作不进行远程复制；如果所述是否容灾的属性为是，则对所述对应的更新操作进行远程复制。

6.如权利要求5所述的方法，其特征在于，所述步骤S13进一步包括：

在确定需要对所述对应的更新操作进行远程复制后，当当前远程复制所对应的日志中的更新操作为新增文件操作或覆盖写文件操作时，将主数据中心的所述更新后的文件读取出来，调用备数据中心的写文件接口将所述文件写入到备份数据中心；

当当前远程复制所对应的日志中的更新操作为删除文件操作时，调用备份数据中心的删除文件接口，将备份数据中心的相应文件进行删除。