CN109542683A - 一种基于周期异步复制的数据传输方法、装置及系统 - Google Patents

一种基于周期异步复制的数据传输方法、装置及系统 Download PDF

Info

Publication number
CN109542683A
CN109542683A CN201811375888.1A CN201811375888A CN109542683A CN 109542683 A CN109542683 A CN 109542683A CN 201811375888 A CN201811375888 A CN 201811375888A CN 109542683 A CN109542683 A CN 109542683A
Authority
CN
China
Prior art keywords
data
auxiliary
asynchronous replication
period
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811375888.1A
Other languages
English (en)
Other versions
CN109542683B (zh
Inventor
邢云阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811375888.1A priority Critical patent/CN109542683B/zh
Publication of CN109542683A publication Critical patent/CN109542683A/zh
Application granted granted Critical
Publication of CN109542683B publication Critical patent/CN109542683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1456—Hardware arrangements for backup

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于周期异步复制的数据传输方法、装置、系统及计算机可读存储介质，该方法包括接收主卷依据周期异步复制规则发送的数据；将数据写入至预先建立的辅助缓存中，并通过辅助缓存将数据写入至辅卷中；其中，辅助缓存为预先在辅卷所在的远端系统中建立的，辅助缓存与主卷之间的关系以及辅助缓存与辅卷之间的关系与周期异步复制关系同步。本申请通过在辅卷所在的远端系统中建立辅助缓存，并在主卷根据周期异步复制规则发送数据时接收数据，并将数据写入辅助缓存中，然后数据再由辅助缓存写入辅卷中，从而提高数据传输速度，以避免在周期内产生的差异数据较多时影响下一个周期的数据复制，从而提升系统性能和用户使用体验。

Description

一种基于周期异步复制的数据传输方法、装置及系统
技术领域
本发明实施例涉及存储系统技术领域，特别是涉及一种基于周期异步复制的数据传输方法、装置、系统及计算机可读存储介质。
背景技术
在存储系统中，远程复制关系定义的是卷与卷之间的关系，通常一个卷被指定为主卷，另一个被指定为辅助卷。通常主机应用程序将数据写入主卷，不对辅助卷运行I/O操作，虽然数据仅写入到一个卷，但系统会将数据按照远程复制关系拷贝到另一个卷。在灾难恢复时，可使用另一个卷上的拷贝数据作为备份。
远程复制共有三种类型，分别是同步复制、异步复制和周期异步复制，其中，周期异步复制是按照设定好的周期时间，将周期内主卷产生的差异数据直接传输至辅卷中实现复制。如果周期内产生的差异数据较多，周期复制过程将持续很长时间，有可能会影响到下一个周期的数据复制，不但影响系统性能，而且影响用户使用体验。
鉴于此，如何提供一种解决上述技术问题的基于周期异步复制的数据传输方法、装置、系统及计算机可读存储介质成为本领域技术人员需要解决的问题。
发明内容
本发明实施例的目的是提供一种基于周期异步复制的数据传输方法、装置、系统及计算机可读存储介质，在使用过程中能够提高数据传输速度，提升系统性能和用户使用体验。
为解决上述技术问题，本发明实施例提供了一种基于周期异步复制的数据传输方法，包括：
接收主卷依据周期异步复制规则发送的数据；
将所述数据写入至预先建立的辅助缓存中，并通过所述辅助缓存将所述数据写入至所述辅卷中；
其中，所述辅助缓存为预先在所述辅卷所在的远端系统中建立的，所述辅助缓存与所述主卷之间的关系以及所述辅助缓存与所述辅卷之间的关系与所述周期异步复制关系同步。
可选的，在所述将所述数据写入至预先建立的辅助缓存中之前，还包括：
判断所述数据的大小是否大于预设值，若是，则执行将所述数据写入至预先建立的辅助缓存中的步骤；若否，则直接将所述数据写入至所述辅卷中。
可选的，所述辅助缓存为SSD缓存。
本发明实施例相应的提供了一种基于周期异步复制的数据传输装置，包括：
接收模块，用于接收主卷依据周期异步复制规则发送的数据；
第一写入模块，用于将所述数据写入至预先建立的辅助缓存中，并通过所述辅助缓存将所述数据写入至所述辅卷中；
其中，所述辅助缓存为预先在所述辅卷所在的远端系统中建立的，所述辅助缓存与所述主卷之间的关系以及所述辅助缓存与所述辅卷之间的关系与所述周期异步复制关系同步。
可选的，还包括判断模块和第二写入模块，其中：
所述判断模块，用于判断所述数据的大小是否大于预设值，若是，则触发所述第一写入模块；若否，则触发第二写入模块；
所述第二写入模块，用于直接将所述数据写入至所述辅卷中。
可选的，所述辅助缓存为SSD缓存。
本发明实施例还提供了一种基于周期异步复制的数据传输方法系统，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述基于周期异步复制的数据传输方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述基于周期异步复制的数据传输方法的步骤。
本发明实施例提供了一种基于周期异步复制的数据传输方法、装置、系统及计算机可读存储介质，该方法包括：接收主卷依据周期异步复制规则发送的数据；将数据写入至预先建立的辅助缓存中，并通过辅助缓存将数据写入至辅卷中；其中，辅助缓存为预先在辅卷所在的远端系统中建立的，辅助缓存与主卷之间的关系以及辅助缓存与辅卷之间的关系与周期异步复制关系同步。
可见，本申请通过在辅卷所在的远端系统中建立辅助缓存，并在主卷根据周期异步复制规则发送数据时接收数据，并将数据写入辅助缓存中，然后数据再由辅助缓存写入辅卷中，从而提高数据传输速度，以避免在周期内产生的差异数据较多时影响下一个周期的数据复制，从而提升系统性能和用户使用体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于周期异步复制的数据传输方法的流程示意图；
图2为本发明实施例提供的一种辅助缓存的示意图；
图3为本发明实施例提供的一种基于周期异步复制的数据传输装置的结构示意图。
具体实施方式
本发明实施例提供了一种基于周期异步复制的数据传输方法、装置、系统及计算机可读存储介质，在使用过程中能够提高数据传输速度，提升系统性能和用户使用体验。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1为本发明实施例提供的一种基于周期异步复制的数据传输方法的流程示意图。该方法，包括：
S110：接收主卷依据周期异步复制规则发送的数据；
S120：将数据写入至预先建立的辅助缓存中，并通过辅助缓存将数据写入至辅卷中；
其中，辅助缓存为预先在辅卷所在的远端系统中建立的，辅助缓存与主卷之间的关系以及辅助缓存与辅卷之间的关系与周期异步复制关系同步。
需要说明的是，预先在本地系统中建立主卷A，在远端系统中建立辅卷B，并且建立主卷A和辅卷B之间的周期异步复制关系RC，并在远端系统中建立辅助缓存(具体请参照图2)，该辅助缓存独立于辅卷B，并且建立辅助缓存和主卷A之间的关联关系，以及辅助缓存与辅卷B之间的关联关系，其中，辅助缓存与主卷A之间的关联关系以及与辅卷B之间的关联关系均与主卷A和辅卷B之间的周期异步复制关系同步。
具体的，主卷A根据周期异步复制关系中的周期异步规则向远端系统发送数据，远端系统在接收到主卷A发送的数据后，先将接收到的数据写入至预先建立的辅助缓存中，然后再将数据从辅助缓存中写入至辅卷B中，由于将数据写入辅助缓存比直接将数据写入辅卷B中的速度要快，所以能够提高数据传输速度，以免因主卷A端的数据产生积累而影响下一个周期的数据复制。另外，本申请中的辅助缓存的大小大于辅卷B本身的缓存，所以将主卷A发送的数据先写入辅助缓存所耗时间较少，传输速率高，能够有效缓存主卷A同步过来的数据，以提高整体数据传输速率。
进一步的，在上述S120中将数据写入至预先建立的辅助缓存中之前，该方法还可以包括：
判断数据的大小是否大于预设值，若是，则执行将数据写入至预先建立的辅助缓存中的步骤；若否，则直接将数据写入至辅卷中。
需要说明的是，为了减少数据发送次数，本申请中在接收到主卷A发送的数据后，可以将数据的大小与预先设置的预设值进行比较，当数据大小大于预设值时，说明数据量较大，若直接将数据写入辅卷B，则很可能影响下一个周期的数据复制，所以此时可以将数据写入到辅助缓存中，然后再将数据通过辅助缓存写入至辅卷B中；当数据大小不超过预设值时，则说明数据量不大，此时，直接将数据写入辅卷B也不会影响下一个周期的数据复制，故此时就可以直接将数据写入至辅卷B中，从而还可以减少数据的传输次数。
另外，为了进一步提高数据的写入速度，本实施例中的辅助缓存可以为SSD缓存。
本发明实施例提供了一种基于周期异步复制的数据传输方法，包括：接收主卷依据周期异步复制规则发送的数据；将数据写入至预先建立的辅助缓存中，并通过辅助缓存将数据写入至辅卷中；其中，辅助缓存为预先在辅卷所在的远端系统中建立的，辅助缓存与主卷之间的关系以及辅助缓存与辅卷之间的关系与周期异步复制关系同步。可见，本申请通过在辅卷所在的远端系统中建立辅助缓存，并在主卷根据周期异步复制规则发送数据时接收数据，并将数据写入辅助缓存中，然后数据再由辅助缓存写入辅卷中，从而提高数据传输速度，以避免在周期内产生的差异数据较多时影响下一个周期的数据复制，从而提升系统性能和用户使用体验。
相应的本发明实施例还公开了一种基于周期异步复制的数据传输装置，具体请参照图3。在上述实施例的基础上，该装置包括：
接收模块31，用于接收主卷依据周期异步复制规则发送的数据；
第一写入模块32，用于将数据写入至预先建立的辅助缓存中，并通过辅助缓存将数据写入至辅卷中；
其中，辅助缓存为预先在辅卷所在的远端系统中建立的，辅助缓存与主卷之间的关系以及辅助缓存与辅卷之间的关系与周期异步复制关系同步。
进一步的，该装置还包括判断模块和第二写入模块，其中：
判断模块，用于判断数据的大小是否大于预设值，若是，则触发第一写入模块；若否，则触发第二写入模块；
第二写入模块，用于直接将数据写入至辅卷中。
更进一步的，辅助缓存为SSD缓存。
在上述实施例的基础上，本发明实施例还提供了一种基于周期异步复制的数据传输方法系统，该系统包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述基于周期异步复制的数据传输方法的步骤。
例如，本实施例中的处理器用于实现接收主卷依据周期异步复制规则发送的数据；将数据写入至预先建立的辅助缓存中，并通过辅助缓存将数据写入至辅卷中；其中，辅助缓存为预先在辅卷所在的远端系统中建立的，辅助缓存与主卷之间的关系以及辅助缓存与辅卷之间的关系与周期异步复制关系同步。
在上述实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述基于周期异步复制的数据传输方法的步骤。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于周期异步复制的数据传输方法，其特征在于，包括：
接收主卷依据周期异步复制规则发送的数据；
将所述数据写入至预先建立的辅助缓存中，并通过所述辅助缓存将所述数据写入至所述辅卷中；
其中，所述辅助缓存为预先在所述辅卷所在的远端系统中建立的，所述辅助缓存与所述主卷之间的关系以及所述辅助缓存与所述辅卷之间的关系与所述周期异步复制关系同步。
2.根据权利要求1所述的基于周期异步复制的数据传输方法，其特征在于，在所述将所述数据写入至预先建立的辅助缓存中之前，还包括：
判断所述数据的大小是否大于预设值，若是，则执行将所述数据写入至预先建立的辅助缓存中的步骤；若否，则直接将所述数据写入至所述辅卷中。
3.根据权利要求1或2所述的基于周期异步复制的数据传输方法，其特征在于，所述辅助缓存为SSD缓存。
4.一种基于周期异步复制的数据传输装置，其特征在于，包括：
接收模块，用于接收主卷依据周期异步复制规则发送的数据；
第一写入模块，用于将所述数据写入至预先建立的辅助缓存中，并通过所述辅助缓存将所述数据写入至所述辅卷中；
其中，所述辅助缓存为预先在所述辅卷所在的远端系统中建立的，所述辅助缓存与所述主卷之间的关系以及所述辅助缓存与所述辅卷之间的关系与所述周期异步复制关系同步。
5.根据权利要求4所述的基于周期异步复制的数据传输装置，其特征在于，还包括判断模块和第二写入模块，其中：
所述判断模块，用于判断所述数据的大小是否大于预设值，若是，则触发所述第一写入模块；若否，则触发第二写入模块；
所述第二写入模块，用于直接将所述数据写入至所述辅卷中。
6.根据权利要求4或5所述的基于周期异步复制的数据传输装置，其特征在于，所述辅助缓存为SSD缓存。
7.一种基于周期异步复制的数据传输方法系统，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至3任意一项所述基于周期异步复制的数据传输方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任意一项所述基于周期异步复制的数据传输方法的步骤。
CN201811375888.1A 2018-11-19 2018-11-19 一种基于周期异步复制的数据传输方法、装置及系统 Active CN109542683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811375888.1A CN109542683B (zh) 2018-11-19 2018-11-19 一种基于周期异步复制的数据传输方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811375888.1A CN109542683B (zh) 2018-11-19 2018-11-19 一种基于周期异步复制的数据传输方法、装置及系统

Publications (2)

Publication Number Publication Date
CN109542683A true CN109542683A (zh) 2019-03-29
CN109542683B CN109542683B (zh) 2021-10-29

Family

ID=65848158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811375888.1A Active CN109542683B (zh) 2018-11-19 2018-11-19 一种基于周期异步复制的数据传输方法、装置及系统

Country Status (1)

Country Link
CN (1) CN109542683B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269684A (zh) * 2020-10-23 2021-01-26 苏州浪潮智能科技有限公司 一种基于主辅卷的数据复制方法、装置和介质
CN113868331A (zh) * 2021-08-20 2021-12-31 苏州浪潮智能科技有限公司 一种自适应的异步复制方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107402838A (zh) * 2016-05-18 2017-11-28 深圳市深信服电子科技有限公司 一种基于写缓存的备份方法及存储系统
US20180260146A1 (en) * 2017-03-10 2018-09-13 International Business Machines Corporation Managing data storage by an asynchronous copy service

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107402838A (zh) * 2016-05-18 2017-11-28 深圳市深信服电子科技有限公司 一种基于写缓存的备份方法及存储系统
US20180260146A1 (en) * 2017-03-10 2018-09-13 International Business Machines Corporation Managing data storage by an asynchronous copy service

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269684A (zh) * 2020-10-23 2021-01-26 苏州浪潮智能科技有限公司 一种基于主辅卷的数据复制方法、装置和介质
CN113868331A (zh) * 2021-08-20 2021-12-31 苏州浪潮智能科技有限公司 一种自适应的异步复制方法、装置及设备
CN113868331B (zh) * 2021-08-20 2024-01-19 苏州浪潮智能科技有限公司 一种自适应的异步复制方法、装置及设备

Also Published As

Publication number Publication date
CN109542683B (zh) 2021-10-29

Similar Documents

Publication Publication Date Title
CN102098342B (zh) 一种基于事务级的数据同步方法、装置及系统
EP3258396A1 (en) Data synchronization method, device and system
CN102306115B (zh) 异步远程复制方法、系统及设备
CN108829787B (zh) 一种元数据分布式系统
US20230098190A1 (en) Data processing method, apparatus, device and medium based on distributed storage
CN103186554A (zh) 分布式数据镜像方法及存储数据节点
CN106933493A (zh) 用于缓存盘阵列扩容的方法及设备
CN110119329B (zh) 数据复制容灾方法及容灾系统
CN103986779B (zh) 一种应用数据传输方法、装置及终端设备
CN105224255A (zh) 一种存储文件管理方法及装置
CN109542683A (zh) 一种基于周期异步复制的数据传输方法、装置及系统
CN105404564A (zh) 一种数据远程容灾方法及装置
CN110780816B (zh) 一种数据同步方法、装置及介质
CN105357042A (zh) 一种高可用集群系统及其主节点和从节点
JP2012510094A5 (zh)
CN109144792A (zh) 数据恢复方法、装置及、系统及计算机可读存储介质
CN109871295A (zh) 一种数据备份方法、备份装置、电子设备及存储介质
CN109542684A (zh) 一种存储远程复制方法、装置、设备及存储介质
CN102629223B (zh) 一种数据修复方法及装置
CN107329695B (zh) 一种分布式存储内存管理方法、系统及计算机存储介质
CN105468733B (zh) 一种基于源端数据重删的卷复制方法
CN105376307A (zh) 一种数据中心间的异步备份方法
CN109960474A (zh) 基于自动精简配置的数据更新方法、装置、设备及介质
CN110032474A (zh) 一种快照占用容量的确定方法、系统及相关组件
CN104123201A (zh) 一种零损失数据的备份方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant