CN104572355A - 一种异步远程复制数据的方法和设备 - Google Patents

Abstract

提出一种异步远程复制数据的方法，分别在生产中心和容灾中心执行，本地生产中心主机系统中的应用程序连续发出多个写请求时，只需等待数据写入生产中心存储系统之后，后续写可继续执行。此后再由生产中心与容灾中心进行连续的多次数据复制，即两个系统之间允许滞后多个写操作。同时出了执行上述方法的设备。出的方案适用于网络链路带宽较小和网络传播延迟较大的情况。

Description

一种异步远程复制数据的方法和设备

技术领域

本发明涉及数据备份容灾技术，具体涉及一种异步远程复制数据的方法。

背景技术

容灾系统是指在相隔较远的异地，建立两套或多套功能相同的IT系统，互相之间可以进行健康状态监视和功能切换，当一处系统因意外(如火灾、地震等)停止工作时，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作。容灾技术是系统的高可用性技术的一个组成部分，容灾系统更加强调处理外界环境对系统的影响，特别是灾难性事件对整个IT节点的影响，提供节点级别的系统恢复功能。

远程复制是数据保护的重要组成部分，提供主站点失效时的数据保护功能。远程复制提供一个连续的，非破坏性的，主机独立的解决方案以应对灾难恢复，数据备份或者远距离数据迁移。利用存储系统强大的远程复制功能，可以让不同站点间的存储池或整个系统通过FC或者IP SAN进行数据拷贝。当本地系统故障或者事故发生而导致源卷数据损坏时，用户可以借助于基于磁盘的远程复制卷在几分钟内恢复服务。如果本地故障恢复时用户想把存储应用切换回来，可以快速在两个卷之间实现反向同步。

现有容灾系统多采用同步方式传输备份数据。同步方式对网络延迟性能要求较高，占用传输带宽大。目前公司网络性能参差不齐，采用同步方式备份数据很难满足用户的要求。因此，急需提出一种种异步远程复制数据的方法，以基于公司网络现状提升数据传输效率，满足客户需求。

发明内容

为了解决上述现有技术中存在的技术问题，本发明提出一种异步远程复制数据的方法，所述方法在生产中心执行，包括：

S1：接收写命令，根据所述写命令生成日志记录，并将所述日志记录保存在缓存中；

S2：根据所述写命令完成数据块写磁盘操作；

S3：将所述日志记录以及所述数据块发送到容灾中心。

进一步，在所述步骤S1之前还包括：

S11判断接收到来自用户的建立一个一致卷组镜像对CVGPair的请求，基于所述请求完成异步远程复制数据的初始化。

进一步，所述步骤S11中所述基于所述请求完成异步远程复制数据的初始化包括：

从接收到的所述建立一个一致卷组镜像对CVGPair的请求中解析出所要求建立的一致卷组镜像对CVGPair的镜像卷对组VPairG信息，根据该信息完成所述初始化。

进一步，所述步骤S11中所述的初始化包括：为所述VPairG中的每一个镜像卷对VPair建立一条用于数据块传输的逻辑链路，申请缓存空间，建立比特位映射bitmap。

进一步，所述bitmap用来标记所述VPair中数据块的状态。

一种异步远程复制数据的方法，所述方法在容灾中心执行，包括：

S21：接收生产中心发送的日志记录和待更新数据块；

S22：将所述日志记录保存在缓存中，并提取所述数据块的写请求时间戳；

S23：根据所述写请求时间戳和所述日志记录将从生产中心接收到的数据块写入容灾中心的磁盘。

进一步，在所述步骤S21之前还包括如下步骤：

S211：从生产中心接收建立镜像卷对组VpairG的信息，根据所述信息完成异步远程复制数据的初始化。

进一步，所述初始化包括：为所述VPairG中的每一个镜像卷对VPair建立一条用于数据块传输的逻辑链路，申请缓存空间，用于存放所述日志记录和待更新数据块。

一种位于生产中心的异步远程复制数据的设备，包括：

总控制模块，用于判断是否接收到来自用户的建立一个一致卷组镜像对CVGPair的请求，从该请求中解析出所要求建立的镜像卷对组VPairG信息；

异步远程复制模块，用于接收总控制模块转发的所要求建立的镜像卷对组VPairG信息，启动管理模块，以及接收写命令；

管理模块，用于为VPairG中的每一个镜像卷对VPair建立一条用于数据块传输的逻辑链路，向生产中心的阵列控制器申请缓存空间，建立比特位映射bitmap，以及启动写处理模块和复制模块；

命令集转换模块，用于向所述异步远程复制模块发送写命令；

写处理模块，用于根据写命令生成日志记录，并存放在所述缓存空间中；

复制模块，用于调用网络模块，通过IP WAN把缓存空间中记录的日志记录以及需要更新的数据块发送到容灾中心。

一种位于容灾中心的异步远程复制数据的设备，包括：

管理模块，用于在接收到生产中心发送的建立镜像卷对组VpairG的信息后，执行初始化工作，包括为所述VpairG中的镜像卷对VPair建立一条用于接收数据块的逻辑链路，向容灾中心的阵列控制器申请缓存空间，存放从生产中心接收的日志记录和更新的数据块，为所述VPair启动接收模块和写处理模块；

接收模块，用于接收生产中心发送的建立镜像卷对组VpairG的信息，日志记和待更的新数据块，将所述日志记录保存在缓存空间中，并将所述数据块的写请求时间戳发送给时间戳判定模块，然后向生产中心发送确认信息；

时间戳判定模块，用于根据写请求的时戳顺序，控制写处理模块将接收的待更新数据块写入缓存模块中；

缓存模块，用于按照日志记录结构中的记录信息完成待更新数据库的写磁盘操作；

总控制模块，用于在系统进行灾难恢复时，控制从容灾中心到生产中心的数据复制。

本发明的有益效果是，在异步模式中，减少了网络传输延迟对系统性能造成的影响，本地生产中心主机系统中的应用程序连续发出多个写请求时，只需等待数据写入生产中心存储系统之后，后续写可继续执行。此后再由生产中心与容灾中心进行连续的多次数据复制，即两个系统之间允许滞后多个写操作。该模式适用于网络链路带宽较小和网络传播延迟较大的情况。

附图说明

图1是本发明提出的生产中心异步远程复制数据的方法流程图；

图2是本发明提出的根据接收到的写命令，执行异步远程数据复制的流程图；

图3是本发明提出的一种位于生产中心的异步远程复制数据设备；

图4是本发明提出的容灾中心异步远程复制数据的方法流程图；

图5是本发明提出的容灾中心执行异步远程数据复制的流程图；

图6是本发明提出的一种位于容灾中心的异步远程复制数据设备。

具体实施方式

下面参照附图详细介绍本发明提出的技术方案。

本发明提出的技术方案包括：生产中心的异步处理流程和容灾中心的异步处理流程。

1.生产中心的异步处理流程

参见附图1，其示出了本发明的生产中心的异步处理流程，包括如下步骤：

S11：判断是否接收到来自用户的建立一个一致卷组镜像对CVGPair的请求。

本步骤中由总控制模块判断是否接收到来自用户的建立一个一致卷组镜像对CVGPair的请求。

S12：将请求发送给异步远程复制模块；

本步骤中，当总控制模块收到用户的初始化命令建立一个CVGPair(一致卷组镜像对)的请求后，从中解析出所要求建立的VPairG(镜像卷对组)信息，发送给异步远程复制模块。

S13：所述异步远程复制模块启动管理模块，由所述管理模块完成初始化工作；

本步骤中，当异步远程复制模块收到对某个VPairG的初始化请求后，启动管理模块，所述初始化工作包括：为VPairG中的每一个VPair(镜像卷对)建立一条用于数据块传输的逻辑链路，向生产中心的阵列控制器申请缓存cache空间，建立比特位映射bitmap和缓存cache日志区的数据结构，以及启动写处理模块和复制模块，为远程复制做好准备。其中，bitmap用来标记VPair中数据块的状态，缓存cache日志区用来按时间存放由主机写命令形成的日志记录结构。

S14：根据接收到的写命令，执行异步远程数据复制。

参见附图2，其示出了步骤S4的具体流程。在初始化完成后，当生产中心的异步远程复制模块接收到命令集转换模块的写命令之后，先由写处理模块根据这个写命令生成日志记录结构并把它存放在缓存cache日志区中，然后把这个从命令集转换模块接收到的写命令下传给缓存cache模块，由缓存cache模块完成写磁盘操作。当写处理模块得到缓存cache模块的反馈后，向命令集转换模块发送确认信息。异步远程复制模块中的复制模块将负责调用网络模块，通过IP WAN把缓存cache日志区中记录的日志记录结构以及需要更新的数据块发送到容灾中心。

图3示出了一种位于生产中心的异步远程复制数据设备，包括：

总控制模块，用于判断是否接收到来自用户的建立一个一致卷组镜像对CVGPair的请求，从该请求中解析出所要求建立的镜像卷对组VPairG信息；

异步远程复制模块，用于接收总控制模块转发的所要求建立的镜像卷对组VPairG信息，启动管理模块，以及接收写命令；

管理模块，用于为VPairG中的每一个镜像卷对VPair建立一条用于数据块传输的逻辑链路，向生产中心的阵列控制器申请缓存cache空间，建立比特位映射bitmap和缓存cache日志区的数据结构，以及启动写处理模块和复制模块，为远程复制做好准备。其中，bitmap用来标记VPair中数据块的状态，缓存cache日志区用来按时间存放由主机写命令形成的日志记录结构；

命令集转换模块，用于向所述异步远程复制模块发送写命令；

写处理模块，用于根据写命令生成日志记录结构，并存放在缓存cache日志区中；

复制模块，用于调用网络模块，通过IP WAN把缓存cache日志区中记录的日志记录结构以及需要更新的数据块发送到容灾中心。

上述设备可以采用专用集成电路实现，或者FPGA器件等可编程硬件实现。

2.容灾中心的异步处理流程

图4示出了本方法的容灾中心的异步处理流程图，包括如下步骤：

S21：接收要求建立Vpair的初始化请求；

S22：根据所述初始化请求执行初始化工作；

本步骤中，容灾中心管理模块的守护进程收到生产中心发送过来的要求建立VPair的初始化请求后，进行复制的初始化工作，包括响应生产中心发送过来的请求，为这个VPair建立一条用于接收数据块的逻辑链路；向容灾中心的阵列控制器申请cache空间等资源用来存放从生产中心发送过来的日志记录结构和更新数据块。然后为这个VPair启动接收模块和写处理模块的处理线程。

S23：执行异步远程数据复制。

参见附图5，其示出了步骤S23的具体过程，包括初始化完成后，当容灾中心的接收模块接收到生产中心发送的日志记录结构和待更新数据块时，把该日志记录结构放在接收模块自己的缓冲区中，并把数据的写请求时间戳发送给时间戳判定模块，然后向生产中心发送确认信息，其中所述写请求时间戳包含在所述数据块中，随同所述数据块一起从生产中心发送到容灾中心，或者通过单独的通信进程有生产中心发送到容灾中心。此后再由写处理模块和时间戳判定模块协作把接收的待更新数据块写入缓存cache模块中，由缓存cache模块按照日志记录结构中的记录信息完成最终写磁盘操作。其中，时间戳判定模块用于保证CVGPair的写顺序一致性。总控制模块在系统进行灾难恢复时用于控制从容灾中心到生产中心的数据复制。

图6示出了一种位于容灾中心的异步远程复制数据设备，包括：

管理模块，用于在收到生产中心发送过来的要求建立VPair的初始化请求后，进行复制的初始化工作，包括响应生产中心发送过来的请求，为这个VPair建立一条用于接收数据块的逻辑链路；向容灾中心的阵列控制器申请cache空间等资源用来存放从生产中心发送过来的日志记录结构和更新数据块。然后为这个VPair启动接收模块和写处理模块的处理线程。

接收模块，用于接收生产中心发送的日志记录结构和待更新数据块时，将该日志记录结构放置在自己的缓冲区中，并把数据的写请求时间戳发送给时间戳判定模块，然后向生产中心发送确认信息。

时间戳判定模块，用于根据写请求的时戳顺序，控制写处理模块将接收的待更新数据块写入缓存cache模块中，保证CVGPair的写顺序一致性。

缓存cache模块，用于按照日志记录结构中的记录信息完成最终写磁盘操作。

总控制模块，用于在系统进行灾难恢复时，控制从容灾中心到生产中心的数据复制。

上述设备可以采用专用集成电路实现，或者FPGA器件等可编程硬件实现。

Claims (10)

1.一种异步远程复制数据的方法，所述方法在生产中心执行，其特征在于，包括：

S1：接收写命令，根据所述写命令生成日志记录，并将所述日志记录保存在缓存中；

S2：根据所述写命令完成数据块写磁盘操作；

S3：将所述日志记录以及所述数据块发送到容灾中心。

2.如权利要求1所述的方法，其特征在于，在所述步骤S1之前还包括：

S11判断接收到来自用户的建立一个一致卷组镜像对CVGPair的请求，基于所述请求完成异步远程复制数据的初始化。

3.如权利要求2所述的方法，其特征在于，所述步骤S11中所述基于所述请求完成异步远程复制数据的初始化包括：

从接收到的所述建立一个一致卷组镜像对CVGPair的请求中解析出所要求建立的一致卷组镜像对CVGPair的镜像卷对组VPairG信息，根据该信息完成所述初始化。

4.如权利要求3所述的方法，其特征在于，所述步骤S11中所述的初始化包括：为所述VPairG中的每一个镜像卷对VPair建立一条用于数据块传输的逻辑链路，申请缓存空间，建立比特位映射bitmap。

5.如权利要求4所述的方法，其特征在于，所述bitmap用来标记所述VPair中数据块的状态。

6.一种异步远程复制数据的方法，所述方法在容灾中心执行，其特征在于，包括：

S21：接收生产中心发送的日志记录和待更新数据块；

S22：将所述日志记录保存在缓存中，并提取所述数据块的写请求时间戳；

S23：根据所述写请求时间戳和所述日志记录将从生产中心接收到的数据块写入容灾中心的磁盘。

7.如权利要求6所述的方法，其特征在于，在所述步骤S21之前还包括如下步骤：

S211：从生产中心接收建立镜像卷对组VpairG的信息，根据所述信息完成异步远程复制数据的初始化。

8.如权利要求7所述的方法，其特征在于，所述初始化包括：为所述VPairG中的每一个镜像卷对VPair建立一条用于数据块传输的逻辑链路，申请缓存空间，用于存放所述日志记录和待更新数据块。

9.一种位于生产中心的异步远程复制数据的设备，其特征在于，包括：

总控制模块，用于判断是否接收到来自用户的建立一个一致卷组镜像对CVGPair的请求，从该请求中解析出所要求建立的镜像卷对组VPairG信息；

异步远程复制模块，用于接收总控制模块转发的所要求建立的镜像卷对组VPairG信息，启动管理模块，以及接收写命令；

管理模块，用于为VPairG中的每一个镜像卷对VPair建立一条用于数据块传输的逻辑链路，向生产中心的阵列控制器申请缓存空间，建立比特位映射bitmap，以及启动写处理模块和复制模块；

命令集转换模块，用于向所述异步远程复制模块发送写命令；

写处理模块，用于根据写命令生成日志记录，并存放在所述缓存空间中；

复制模块，用于调用网络模块，通过IP WAN把缓存空间中记录的日志记录以及需要更新的数据块发送到容灾中心。

10.一种位于容灾中心的异步远程复制数据的设备，其特征在于，包括：

管理模块，用于在接收到生产中心发送的建立镜像卷对组VpairG的信息后，执行初始化工作，包括为所述VpairG中的镜像卷对VPair建立一条用于接收数据块的逻辑链路，向容灾中心的阵列控制器申请缓存空间，存放从生产中心接收的日志记录和更新的数据块，为所述VPair启动接收模块和写处理模块；

接收模块，用于接收生产中心发送的建立镜像卷对组VpairG的信息，日志记录和待更的新数据块，将所述日志记录保存在缓存空间中，并将所述数据块的写请求时间戳发送给时间戳判定模块，然后向生产中心发送确认信息；

时间戳判定模块，用于根据写请求的时戳顺序，控制写处理模块将接收的待更新数据块写入缓存模块中；

缓存模块，用于按照日志记录结构中的记录信息完成待更新数据库写磁盘操作；

总控制模块，用于在系统进行灾难恢复时，控制从容灾中心到生产中心的数据复制。