CN113868331A - 一种自适应的异步复制方法、装置及设备 - Google Patents
一种自适应的异步复制方法、装置及设备 Download PDFInfo
- Publication number
- CN113868331A CN113868331A CN202110960570.5A CN202110960570A CN113868331A CN 113868331 A CN113868331 A CN 113868331A CN 202110960570 A CN202110960570 A CN 202110960570A CN 113868331 A CN113868331 A CN 113868331A
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- asynchronous replication
- site
- volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010076 replication Effects 0.000 title claims abstract description 205
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000000737 periodic effect Effects 0.000 claims abstract description 69
- 230000003044 adaptive effect Effects 0.000 claims description 23
- 230000001360 synchronised effect Effects 0.000 claims description 22
- 238000009825 accumulation Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 14
- 238000013500 data storage Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000011084 recovery Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种自适应的异步复制方法、装置及设备，所述方法步骤如下：搭建异步复制环境，设置存储主站点和存储备用站点；采用连续异步复制进行存储主站点到存储备用站点的数据同步，同时检查相邻两次同步时存储主站点的数据变化量，并统计数据变化量为0次数，若大于设定次数，将连续异步复制切换为周期异步复制；采用周期异步复制进行存储主站点到存储备用站点的数据同步，每间隔设定时间段统计存储主站点写IO次数，当写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制。本发明根据业务繁忙程度进行连续异步复制及带周期异步复制两种复制方式切换，既能保证较小的数据丢失量，又能减少系统资源损坏，并能自动切换，提高效率。
Description
技术领域
本发明属于存储数据容灾备份技术领域，具体涉及一种自适应的异步复制方法、装置及设备。
背景技术
RPO，是Recovery Point Object的简称，恢复点目标，指的是最多可能丢失的数据的时长，可理解为设施能容忍的最大数据丢失量。
RTO，是Recovery Point Object的简称，恢复时间目标，指的是灾难发生到整个系统恢复正常所需要的最大时长。
数据容灾备份可保障数据安全，数据容灾备份的常用技术为远程复制技术。远程复制技术具有备份所不具备的切换优势，能够得到更好的恢复点目标RPO和恢复时间目标RTO，因此，成为较高层次容灾方案设计中非常重要的一部分。远程复制技术按照技术特点分为同步复制和异步复制两种模式，而同步复制又称实时复制。目前采用的多是异步复制，异步复制技术又分为连续的异步复制和周期异步复制，两者虽然都有优点，但也同样存在各自的限制和缺陷。连续的异步复制，顾名思义就是系统不停的进行复制，可以最大程度的保证系统的RPO。然而，当数据长期没有发生变化，系统仍然连续不断的进行复制，相当于机器空转，这样就耗费了大量不必要的系统资源。周期异步复制，就是严格按照预先设定的时间间隔来触发数据复制，这样虽然节约系统资源，但是其RPO是固定的，当灾难发生时，这个固定时间段内的数据一定是无法恢复的。
此为现有技术的不足，因此，针对现有技术中的上述缺陷，提供一种自适应的异步复制方法、装置及设备，是非常有必要的。
发明内容
针对现有技术的上述现有连续异步复制在数据长期没有变化时，浪费了大量系统资源，而周期异步复制虽然节约系统资源，但灾难发生时，作为周期的固定时间段内数据无法恢复的缺陷，本发明提供一种自适应的异步复制方法、装置及设备，以解决上述技术问题。
第一方面，本发明提供一种自适应的异步复制方法，包括如下步骤：
S1.搭建异步复制环境，设置存储主站点和存储备用站点；
S2.存储系统采用连续异步复制进行存储主站点到存储备用站点的数据同步，同时检查相邻两次同步时存储主站点的数据变化量，统计数据变化量小于设定变化量的次数，当统计次数大于设定次数时，将连续异步复制切换为周期异步复制；
S3.存储系统采用周期异步复制进行存储主站点到存储备用站点的数据同步，每间隔设定时间段统计存储主站点写IO次数，当写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制。
进一步地，步骤S1具体步骤如下：
S11.创建异步复制环境，并设置最大可丢失数据量；
S12.将第一存储阵列作为主站点，数据存储时，在第一存储阵列创建主卷；
S13.将第二存储阵列作为备用站点，数据存储时，在第二存储阵列创建从卷。最大可丢失数据量可用于后续周期异步复制时的待同步数据的积累量的设置标准，异步复制环境建立成功后，存储系统默认采用连续异步复制方式，主卷数量为一个或若干个，从卷与主卷一一对应，且相对应的主卷和从卷容量相同。
进一步地，步骤S2具体步骤如下：
S21.存储系统采用连续异步复制方式，对主卷和从卷进行全数据量同步；
S22.检测连续两次同步主卷数据发生的数据变化量，并统计数据变化量为0的次数，再判断数据变化量为0的次数是否大于设定次数；
若是，进入步骤S23；
若否，返回步骤S21；
S23.存储系统将连续异步复制切换为周期异步复制。连续异步方式，RPO逼近0，而此时，若主机端停止向第一存储阵列写入数据时，第一存储阵列将处于IO空闲期，此时状态通过连续两次主卷数据发生的数据变化量即可检测，IO空闲期，需要切换为周期异步复制方式。
进一步地，步骤S21具体步骤如下：
S211.存储系统默认采用连续异步复制方式；
S212.复制初次启动，将主卷所有数据同步到从卷中，实现初始同步；
S213.当第一存储阵列接收到主站点服务器发出的写数据请求后，判断缓存模式；
当缓存模式为回写时，进入步骤S214；
当缓存模式为透写时，进入步骤S215；
S214.第一存储阵列将待写入数据存入主缓存后，向主站点服务器返回应答，再将主缓存数据写入主卷，进入步骤S216；
S215.第一存储阵列将待写入数据写入主卷后，向主站点服务器返回应答；
S216.主站点第一存储阵列将所有IO数据通过SAN网络或IP网络发送到备用站点第二存储阵列的从缓存；
S217.备用站点第二存储阵列成功接收后，向主站点第一存储阵列返回复制成功信号，并将从缓存中数据写入到从卷；
S218.主站点第一存储阵列接收到复制成功信号，触发下一轮复制操作，返回步骤S213。步骤S214中，第一存储阵列将待写入数据存入主缓存后，向主站点服务器返回FC协议底层格式的应答。存储的回写缓存模式，需要将数据写入缓存，再从缓存写入主卷，而存储的透写缓存模式，则直接将数据写入主卷，而不通过缓存。SAN，是Storage Area Network的简称，存储局域网。
进一步地，步骤S23具体步骤如下：
S231.记录主卷差异数据，并将主卷差异数据记入数据变更日志，停止连续异步复制；
S232.启动周期异步复制，停止记录主卷差异数据；
S233.存储系统根据数据变更日志将差异数据同步到从卷，并在同步完成后，清除数据变更日志。通过数据变更日志协助存储系统完成连续异步复制向周期异步复制的切换。
进一步地，步骤S3具体步骤如下：
S31.判断主卷与从卷数据是否一致，并在不一致时，将主卷所有数据复制到从卷，实现切换后的初始同步；
S32.检测存储主站点写IO次数，并在存储主站点写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制，而在存储主站点写IO次数未超过次数阈值时，进入步骤S33；
S33.存储系统采用周期异步方式，在主卷待同步数据的积累量达到设定数据量阈值时，对主卷和从卷进行数据差异同步。主卷待同步数据的积累量以存储系统最大可丢失数据量为上限，即设定数据量阈值要小于等于最大可丢失数据量，从而保证灾难发生时，较小的数据丢失量。
进一步地，步骤S32具体步骤如下:
S321.设置检测周期；
S322.每隔检测周期统计一次主卷写IO次数，并判断写IO次数是否超过次数阈值；
若是，进入步骤S323；
若否，进入步骤S33；
S323.将周期异步复制切换回连续异步复制，返回步骤S212。周期异步复制方式周期性检测主站点写IO次数，以判断业务繁忙程度是否达到切回连续异步复制的状态。
进一步地，步骤33具体步骤如下：
S331.当第一存储阵列接收到主站点发出的写数据请求后，判断缓存模式；
当缓存模式为回写时，进入步骤S332；
当缓存模式为透写时，进入步骤S333；
S332.第一存储阵列将待写入数据存入主缓存后，向主站点服务器返回应答，再将主缓存数据写入主卷，进入步骤S334；
S333.第一存储阵列将待写入数据写入主卷后，向主站点服务器返回应答；
S334.存储系统检测主卷待同步数据的积累量，并判断待同步数据积累量是否达到最大可丢失数据量；
若是，进入步骤S335；
若否，返回步骤S331；
S335.将主卷待同步数据通过SAN网络或IP网络发送到备用站点第二存储阵列的从缓存；
S336.备用站点第二存储阵列成功接收后，向主站点第一存储阵列返回复制成功信号，并将从缓存中数据写入到从卷；
S337.主站点第一存储阵列接收到复制成功信号，返回步骤S322。
第二方面，本发明提供一种自适应的异步复制装置，包括：
异步复制环境搭建模块，用于搭建异步复制环境，设置存储主站点和存储备用站点；
复制策略第一控制模块，用于采用连续异步复制进行存储主站点到存储备用站点的数据同步，同时检查相邻两次同步时存储主站点的数据变化量，统计数据变化量小于设定变化量的次数，当统计次数大于设定次数时，将连续异步复制切换为周期异步复制；
复制策略第二控制模块，用于采用周期异步复制进行存储主站点到存储备用站点的数据同步，每间隔设定时间段统计存储主站点写IO次数，当写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制。
进一步地，异步复制环境搭建模块包括：
异步复制环境搭建单元，用于创建异步复制环境，并设置最大可丢失数据量；
主卷创建单元，用于将第一存储阵列作为主站点，数据存储时，在第一存储阵列创建主卷；
从卷创建单元，用于将第二存储阵列作为备用站点，数据存储时，在第二存储阵列创建从卷。
进一步地，复制策略第一控制模块包括：
连续异步复制数据同步单元，用于采用连续异步复制方式，对主卷和从卷进行全数据量同步；
主卷数据量变化判断单元，用于检测连续两次同步主卷数据发生的数据变化量，并统计数据变化量为0的次数，再判断数据变化量为0的次数是否大于设定次数；
第一异步复制切换单元，用于主卷数据变化量为0的次数大于设定次数是，将连续异步复制切换为周期异步复制。
进一步地，复制策略第二控制模块包括：
初始数据同步单元，用于判断主卷与从卷数据是否一致，并在不一致时，将主卷所有数据复制到从卷，实现切换后的初始同步；
第二异步复制切换单元，用于检测存储主站点写IO次数，并在存储主站点写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制；
周期异步复制数据同步单元，用于在存储主站点写IO次数未超过次数阈值时，采用周期异步方式，在主卷待同步数据的积累量达到设定数据量阈值时，对主卷和从卷进行数据差异同步。
第三方面，提供一种设备，包括处理器和存储器，其中，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述第一方面的方法。
本发明的有益效果在于，
本发明提供的自适应的异步复制方法、装置及设备，同时采用了连续异步复制及带周期异步复制两种复制方式，根据业务繁忙程度适时进行复制方式的切换，既能在灾难发生时保证较小的数据丢失量，又能减少系统资源损坏，且实现复制方式自动切换，无需人工干预实施，提高了效率，同时避免了误操作的可能性。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的自适应的异步复制方法流程示意图一。
图2是本发明的自适应的异步复制方法流程示意图二。
图3是本发明的自适应的异步复制方法流程示意图三。
图4是本发明的自适应的异步复制方法流程示意图四。
图5是本发明的自适应的异步复制方法流程示意图五。
图6是本发明的自适应的异步复制装置示意图。
图中，1-异步复制环境搭建模块；1.1-异步复制环境搭建单元；1.2-主卷创建单元；1.3-从卷创建单元；2-复制策略第一控制模块；2.1-连续异步复制数据同步单元；2.2-主卷数据量变化判断单元；2.3-第一异步复制切换单元；3-复制策略第二控制模块；3.1-初始数据同步单元；3.2-第二异步复制切换单元；3.3-周期异步复制数据同步单元。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例1：
如图1所示，本发明提供一种自适应的异步复制方法，包括如下步骤：
S1.搭建异步复制环境，设置存储主站点和存储备用站点；
S2.存储系统采用连续异步复制进行存储主站点到存储备用站点的数据同步，同时检查相邻两次同步时存储主站点的数据变化量，统计数据变化量小于设定变化量的次数，当统计次数大于设定次数时，将连续异步复制切换为周期异步复制；
S3.存储系统采用周期异步复制进行存储主站点到存储备用站点的数据同步，每间隔设定时间段统计存储主站点写IO次数，当写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制。
本发明提供的自适应的异步复制方法，同时采用了连续异步复制及带周期异步复制两种复制方式，根据业务繁忙程度适时进行复制方式的切换，既能在灾难发生时保证较小的数据丢失量，又能减少系统资源损坏，且实现复制方式自动切换，无需人工干预实施，提高了效率，同时避免了误操作的可能性。
实施例2：
如图2所示，本发明提供一种自适应的异步复制方法，包括如下步骤：
S1.搭建异步复制环境，设置存储主站点和存储备用站点；具体步骤如下：
S11.创建异步复制环境，并设置最大可丢失数据量；
S12.将第一存储阵列作为主站点，数据存储时，在第一存储阵列创建主卷；
S13.将第二存储阵列作为备用站点，数据存储时，在第二存储阵列创建从卷；最大可丢失数据量可用于后续周期异步复制时的待同步数据的积累量的设置标准，异步复制环境建立成功后，存储系统默认采用连续异步复制方式，主卷数量为一个或若干个，从卷与主卷一一对应，且相对应的主卷和从卷容量相同；
S2.存储系统采用连续异步复制进行存储主站点到存储备用站点的数据同步，同时检查相邻两次同步时存储主站点的数据变化量，统计数据变化量小于设定变化量的次数，当统计次数大于设定次数时，将连续异步复制切换为周期异步复制；具体步骤如下：
S21.存储系统采用连续异步复制方式，对主卷和从卷进行全数据量同步；
S22.检测连续两次同步主卷数据发生的数据变化量，并统计数据变化量为0的次数，再判断数据变化量为0的次数是否大于设定次数；
若是，进入步骤S23；
若否，返回步骤S21；
S23.存储系统将连续异步复制切换为周期异步复制；连续异步方式，RPO逼近0，而此时，若主机端停止向第一存储阵列写入数据时，第一存储阵列将处于IO空闲期，此时状态通过连续两次主卷数据发生的数据变化量即可检测，IO空闲期，需要切换为周期异步复制方式；
S3.存储系统采用周期异步复制进行存储主站点到存储备用站点的数据同步，每间隔设定时间段统计存储主站点写IO次数，当写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制；具体步骤如下：
S31.判断主卷与从卷数据是否一致，并在不一致时，将主卷所有数据复制到从卷，实现切换后的初始同步；
S32.检测存储主站点写IO次数，并在存储主站点写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制，而在存储主站点写IO次数未超过次数阈值时，进入步骤S33；
S33.存储系统采用周期异步方式，在主卷待同步数据的积累量达到设定数据量阈值时，对主卷和从卷进行数据差异同步；主卷待同步数据的积累量以存储系统最大可丢失数据量为上限，即设定数据量阈值要小于等于最大可丢失数据量，从而保证灾难发生时，较小的数据丢失量。
实施例3：
如图1、图2、图3、图4及图5所示，本发明提供一种自适应的异步复制方法，包括如下步骤：
S1.搭建异步复制环境，设置存储主站点和存储备用站点；具体步骤如下：
S11.创建异步复制环境，并设置最大可丢失数据量；
S12.将第一存储阵列作为主站点，数据存储时，在第一存储阵列创建主卷；
S13.将第二存储阵列作为备用站点，数据存储时，在第二存储阵列创建从卷；
S2.存储系统采用连续异步复制进行存储主站点到存储备用站点的数据同步，同时检查相邻两次同步时存储主站点的数据变化量，统计数据变化量小于设定变化量的次数，当统计次数大于设定次数时，将连续异步复制切换为周期异步复制；具体步骤如下：
S21.存储系统采用连续异步复制方式，对主卷和从卷进行全数据量同步；具体步骤如下：
S211.存储系统默认采用连续异步复制方式；
S212.复制初次启动，将主卷所有数据同步到从卷中，实现初始同步；
S213.当第一存储阵列接收到主站点服务器发出的写数据请求后，判断缓存模式；
当缓存模式为回写时，进入步骤S214；
当缓存模式为透写时，进入步骤S215；
S214.第一存储阵列将待写入数据存入主缓存后，向主站点服务器返回应答，再将主缓存数据写入主卷，进入步骤S216；
S215.第一存储阵列将待写入数据写入主卷后，向主站点服务器返回应答；
S216.主站点第一存储阵列将所有IO数据通过SAN网络或IP网络发送到备用站点第二存储阵列的从缓存；
S217.备用站点第二存储阵列成功接收后，向主站点第一存储阵列返回复制成功信号，并将从缓存中数据写入到从卷；
S218.主站点第一存储阵列接收到复制成功信号，触发下一轮复制操作，返回步骤S213；步骤S214中，第一存储阵列将待写入数据存入主缓存后，向主站点服务器返回FC协议底层格式的应答；存储的回写缓存模式，需要将数据写入缓存，再从缓存写入主卷，而存储的透写缓存模式，则直接将数据写入主卷，而不通过缓存；SAN，是Storage Area Network的简称，存储局域网；
S22.检测连续两次同步主卷数据发生的数据变化量，并统计数据变化量为0的次数，再判断数据变化量为0的次数是否大于设定次数；
若是，进入步骤S23；
若否，返回步骤S21；
S23.存储系统将连续异步复制切换为周期异步复制；具体步骤如下：
S231.记录主卷差异数据，并将主卷差异数据记入数据变更日志，停止连续异步复制；
S232.启动周期异步复制，停止记录主卷差异数据；
S233.存储系统根据数据变更日志将差异数据同步到从卷，并在同步完成后，清除数据变更日志；通过数据变更日志协助存储系统完成连续异步复制向周期异步复制的切换；
S3.存储系统采用周期异步复制进行存储主站点到存储备用站点的数据同步，每间隔设定时间段统计存储主站点写IO次数，当写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制；具体步骤如下：
S31.判断主卷与从卷数据是否一致，并在不一致时，将主卷所有数据复制到从卷，实现切换后的初始同步；
S32.检测存储主站点写IO次数，并在存储主站点写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制，而在存储主站点写IO次数未超过次数阈值时，进入步骤S33；具体步骤如下:
S321.设置检测周期；
S322.每隔检测周期统计一次主卷写IO次数，并判断写IO次数是否超过次数阈值；
若是，进入步骤S323；
若否，进入步骤S33；
S323.将周期异步复制切换回连续异步复制，返回步骤S212；周期异步复制方式周期性检测主站点写IO次数，以判断业务繁忙程度是否达到切回连续异步复制的状态；
S33.存储系统采用周期异步方式，在主卷待同步数据的积累量达到设定数据量阈值时，对主卷和从卷进行数据差异同步；具体步骤如下：
S331.当第一存储阵列接收到主站点发出的写数据请求后，判断缓存模式；
当缓存模式为回写时，进入步骤S332；
当缓存模式为透写时，进入步骤S333；
S332.第一存储阵列将待写入数据存入主缓存后，向主站点服务器返回应答，再将主缓存数据写入主卷，进入步骤S334；
S333.第一存储阵列将待写入数据写入主卷后，向主站点服务器返回应答；
S334.存储系统检测主卷待同步数据的积累量，并判断待同步数据积累量是否达到最大可丢失数据量；
若是，进入步骤S335；
若否，返回步骤S331；
S335.将主卷待同步数据通过SAN网络或IP网络发送到备用站点第二存储阵列的从缓存；
S336.备用站点第二存储阵列成功接收后，向主站点第一存储阵列返回复制成功信号，并将从缓存中数据写入到从卷；
S337.主站点第一存储阵列接收到复制成功信号，返回步骤S322。
实施例4：
如图6所示，本发明提供一种自适应的异步复制装置，包括：
异步复制环境搭建模块1，用于搭建异步复制环境，设置存储主站点和存储备用站点；
复制策略第一控制模块2，用于采用连续异步复制进行存储主站点到存储备用站点的数据同步，同时检查相邻两次同步时存储主站点的数据变化量，统计数据变化量小于设定变化量的次数，当统计次数大于设定次数时，将连续异步复制切换为周期异步复制；
复制策略第二控制模块3，用于采用周期异步复制进行存储主站点到存储备用站点的数据同步，每间隔设定时间段统计存储主站点写IO次数，当写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制。
实施例5：
如图6所示，本发明提供一种自适应的异步复制装置，包括：
异步复制环境搭建模块1，用于搭建异步复制环境，设置存储主站点和存储备用站点；异步复制环境搭建模块1包括：
异步复制环境搭建单元1.1，用于创建异步复制环境，并设置最大可丢失数据量；
主卷创建单元1.2，用于将第一存储阵列作为主站点，数据存储时，在第一存储阵列创建主卷；
从卷创建单元1.3，用于将第二存储阵列作为备用站点，数据存储时，在第二存储阵列创建从卷；
复制策略第一控制模块2，用于采用连续异步复制进行存储主站点到存储备用站点的数据同步，同时检查相邻两次同步时存储主站点的数据变化量，统计数据变化量小于设定变化量的次数，当统计次数大于设定次数时，将连续异步复制切换为周期异步复制；复制策略第一控制模块2包括：
连续异步复制数据同步单元2.1，用于采用连续异步复制方式，对主卷和从卷进行全数据量同步；
主卷数据量变化判断单元2.2，用于检测连续两次同步主卷数据发生的数据变化量，并统计数据变化量为0的次数，再判断数据变化量为0的次数是否大于设定次数；
第一异步复制切换单元2.3，用于主卷数据变化量为0的次数大于设定次数是，将连续异步复制切换为周期异步复制；
复制策略第二控制模块3，用于采用周期异步复制进行存储主站点到存储备用站点的数据同步，每间隔设定时间段统计存储主站点写IO次数，当写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制；复制策略第二控制模块3包括：
初始数据同步单元3.1，用于判断主卷与从卷数据是否一致，并在不一致时，将主卷所有数据复制到从卷，实现切换后的初始同步；
第二异步复制切换单元3.2，用于检测存储主站点写IO次数，并在存储主站点写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制；
周期异步复制数据同步单元3.3，用于在存储主站点写IO次数未超过次数阈值时，采用周期异步方式，在主卷待同步数据的积累量达到设定数据量阈值时，对主卷和从卷进行数据差异同步。
实施例6：
本发明提供一种设备，包括处理器和存储器，其中，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得终端执行实施例1、实施例2或实施例3任一项所述的方法。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种自适应的异步复制方法，其特征在于，包括如下步骤：
S1.搭建异步复制环境，设置存储主站点和存储备用站点；
S2.存储系统采用连续异步复制进行存储主站点到存储备用站点的数据同步，同时检查相邻两次同步时存储主站点的数据变化量，统计数据变化量小于设定变化量的次数，当统计次数大于设定次数时，将连续异步复制切换为周期异步复制；
S3.存储系统采用周期异步复制进行存储主站点到存储备用站点的数据同步，每间隔设定时间段统计存储主站点写IO次数，当写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制。
2.如权利要求1所述的自适应的异步复制方法，其特征在于，步骤S1具体步骤如下：
S11.创建异步复制环境，并设置最大可丢失数据量；
S12.将第一存储阵列作为主站点，数据存储时，在第一存储阵列创建主卷；
S13.将第二存储阵列作为备用站点，数据存储时，在第二存储阵列创建从卷。
3.如权利要求2所述的自适应的异步复制方法，其特征在于，步骤S2具体步骤如下：
S21.存储系统采用连续异步复制方式，对主卷和从卷进行全数据量同步；
S22.检测连续两次同步主卷数据发生的数据变化量，并统计数据变化量为0的次数，再判断数据变化量为0的次数是否大于设定次数；
若是，进入步骤S23；
若否，返回步骤S21；
S23.存储系统将连续异步复制切换为周期异步复制。
4.如权利要求3所述的自适应的异步复制方法，其特征在于，步骤S21具体步骤如下：
S211.存储系统默认采用连续异步复制方式；
S212.复制初次启动，将主卷所有数据同步到从卷中，实现初始同步；
S213.当第一存储阵列接收到主站点服务器发出的写数据请求后，判断缓存模式；
当缓存模式为回写时，进入步骤S214；
当缓存模式为透写时，进入步骤S215；
S214.第一存储阵列将待写入数据存入主缓存后，向主站点服务器返回应答，再将主缓存数据写入主卷，进入步骤S216；
S215.第一存储阵列将待写入数据写入主卷后，向主站点服务器返回应答；
S216.主站点第一存储阵列将所有IO数据通过SAN网络或IP网络发送到备用站点第二存储阵列的从缓存；
S217.备用站点第二存储阵列成功接收后，向主站点第一存储阵列返回复制成功信号，并将从缓存中数据写入到从卷；
S218.主站点第一存储阵列接收到复制成功信号，触发下一轮复制操作，返回步骤S213。
5.如权利要求3所述的自适应的异步复制方法，其特征在于，步骤S23具体步骤如下：
S231.记录主卷差异数据，并将主卷差异数据记入数据变更日志，停止连续异步复制；
S232.启动周期异步复制，停止记录主卷差异数据；
S233.存储系统根据数据变更日志将差异数据同步到从卷，并在同步完成后，清除数据变更日志。
6.如权利要求4所述的自适应的异步复制方法，其特征在于，步骤S3具体步骤如下：
S31.判断主卷与从卷数据是否一致，并在不一致时，将主卷所有数据复制到从卷，实现切换后的初始同步；
S32.检测存储主站点写IO次数，并在存储主站点写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制，而在存储主站点写IO次数未超过次数阈值时，进入步骤S33；
S33.存储系统采用周期异步方式，在主卷待同步数据的积累量达到设定数据量阈值时，对主卷和从卷进行数据差异同步。
7.如权利要求6所述的自适应的异步复制方法，其特征在于，步骤S32具体步骤如下:
S321.设置检测周期；
S322.每隔检测周期统计一次主卷写IO次数，并判断写IO次数是否超过次数阈值；
若是，进入步骤S323；
若否，进入步骤S33；
S323.将周期异步复制切换回连续异步复制，返回步骤S212。
8.如权利要求7所述的自适应的异步复制方法，其特征在于，步骤S33具体步骤如下：
S331.当第一存储阵列接收到主站点发出的写数据请求后，判断缓存模式；
当缓存模式为回写时，进入步骤S332；
当缓存模式为透写时，进入步骤S333；
S332.第一存储阵列将待写入数据存入主缓存后，向主站点服务器返回应答，再将主缓存数据写入主卷，进入步骤S334；
S333.第一存储阵列将待写入数据写入主卷后，向主站点服务器返回应答；
S334.存储系统检测主卷待同步数据的积累量，并判断待同步数据积累量是否达到最大可丢失数据量；
若是，进入步骤S335；
若否，返回步骤S331；
S335.将主卷待同步数据通过SAN网络或IP网络发送到备用站点第二存储阵列的从缓存；
S336.备用站点第二存储阵列成功接收后，向主站点第一存储阵列返回复制成功信号，并将从缓存中数据写入到从卷；
S337.主站点第一存储阵列接收到复制成功信号，返回步骤S322。
9.一种自适应的异步复制装置，其特征在于，包括：
异步复制环境搭建模块(1)，用于搭建异步复制环境，设置存储主站点和存储备用站点；
复制策略第一控制模块(2)，用于采用连续异步复制进行存储主站点到存储备用站点的数据同步，同时检查相邻两次同步时存储主站点的数据变化量，统计数据变化量小于设定变化量的次数，当统计次数大于设定次数时，将连续异步复制切换为周期异步复制；
复制策略第二控制模块(3)，用于采用周期异步复制进行存储主站点到存储备用站点的数据同步，每间隔设定时间段统计存储主站点写IO次数，当写IO次数超过次数阈值时，将周期异步复制切换回连续异步复制。
10.一种设备，其特征在于，包括处理器和存储器，其中，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110960570.5A CN113868331B (zh) | 2021-08-20 | 2021-08-20 | 一种自适应的异步复制方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110960570.5A CN113868331B (zh) | 2021-08-20 | 2021-08-20 | 一种自适应的异步复制方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113868331A true CN113868331A (zh) | 2021-12-31 |
| CN113868331B CN113868331B (zh) | 2024-01-19 |
Family
ID=78987900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110960570.5A Active CN113868331B (zh) | 2021-08-20 | 2021-08-20 | 一种自适应的异步复制方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113868331B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102306115A (zh) * | 2011-05-20 | 2012-01-04 | 成都市华为赛门铁克科技有限公司 | 异步远程复制方法、系统及设备 |
| CN103902405A (zh) * | 2012-12-28 | 2014-07-02 | 杭州宏杉科技有限公司 | 一种准连续性数据复制方法及装置 |
| CN104572355A (zh) * | 2015-01-30 | 2015-04-29 | 浪潮(北京)电子信息产业有限公司 | 一种异步远程复制数据的方法和设备 |
| CN109542684A (zh) * | 2018-11-20 | 2019-03-29 | 郑州云海信息技术有限公司 | 一种存储远程复制方法、装置、设备及存储介质 |
| CN109542683A (zh) * | 2018-11-19 | 2019-03-29 | 郑州云海信息技术有限公司 | 一种基于周期异步复制的数据传输方法、装置及系统 |
-
2021
- 2021-08-20 CN CN202110960570.5A patent/CN113868331B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102306115A (zh) * | 2011-05-20 | 2012-01-04 | 成都市华为赛门铁克科技有限公司 | 异步远程复制方法、系统及设备 |
| CN103902405A (zh) * | 2012-12-28 | 2014-07-02 | 杭州宏杉科技有限公司 | 一种准连续性数据复制方法及装置 |
| CN104572355A (zh) * | 2015-01-30 | 2015-04-29 | 浪潮(北京)电子信息产业有限公司 | 一种异步远程复制数据的方法和设备 |
| CN109542683A (zh) * | 2018-11-19 | 2019-03-29 | 郑州云海信息技术有限公司 | 一种基于周期异步复制的数据传输方法、装置及系统 |
| CN109542684A (zh) * | 2018-11-20 | 2019-03-29 | 郑州云海信息技术有限公司 | 一种存储远程复制方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113868331B (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101706805B (zh) | 对象存储方法及其系统 | |
| US7694177B2 (en) | Method and system for resynchronizing data between a primary and mirror data storage system | |
| CN105389230B (zh) | 一种结合快照技术的持续数据保护系统及方法 | |
| US6691245B1 (en) | Data storage with host-initiated synchronization and fail-over of remote mirror | |
| US7631021B2 (en) | Apparatus and method for data replication at an intermediate node | |
| US9727262B2 (en) | Low overhead resynchronization snapshot creation and utilization | |
| KR101662212B1 (ko) | 부분동기화 지원 데이터베이스 관리 시스템 및 데이터베이스 관리 시스템에서 부분동기화 방법 | |
| WO2017177941A1 (zh) | 主备数据库切换方法和装置 | |
| US20070276983A1 (en) | System method and circuit for differential mirroring of data | |
| CN103077242A (zh) | 一种实现数据库服务器双机热备的方法 | |
| JP2017519258A (ja) | ワイド・エリア・ネットワーク上で同等の名前空間レプリカを用いる地理的に分散したファイルシステム | |
| US11487463B2 (en) | Adaptive replication modes in a storage system | |
| US7797571B2 (en) | System, method and circuit for mirroring data | |
| US10452680B1 (en) | Catch-up replication with log peer | |
| CN102890716A (zh) | 分布式文件系统和分布式文件系统的数据备份方法 | |
| WO2021208400A1 (zh) | 现代应用的备份恢复系统及方法 | |
| CN111966467B (zh) | 基于kubernetes容器平台灾备的方法及装置 | |
| CN115878384A (zh) | 一种基于备份容灾系统的分布式集群及构建方法 | |
| CN103544081B (zh) | 双元数据服务器的管理方法和装置 | |
| CN109726211B (zh) | 一种分布式时序数据库 | |
| CN114090349A (zh) | 一种基于主备集群服务器跨地区服务容灾方法及装置 | |
| CN113946471A (zh) | 基于对象存储的分布式文件级备份方法及系统 | |
| CN113868331B (zh) | 一种自适应的异步复制方法、装置及设备 | |
| CN114741367B (zh) | 数据同步方法、装置、电子设备、存储介质和程序产品 | |
| CN112667698B (zh) | 一种基于融媒体平台的MongoDB数据同步方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |