CN115794939A - 一种异步复制方法及装置 - Google Patents
一种异步复制方法及装置 Download PDFInfo
- Publication number
- CN115794939A CN115794939A CN202111054966.XA CN202111054966A CN115794939A CN 115794939 A CN115794939 A CN 115794939A CN 202111054966 A CN202111054966 A CN 202111054966A CN 115794939 A CN115794939 A CN 115794939A
- Authority
- CN
- China
- Prior art keywords
- bandwidth
- data
- storage device
- available
- copying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000010076 replication Effects 0.000 claims abstract description 72
- 238000011084 recovery Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 21
- 230000001360 synchronised effect Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013461 design Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 230000000737 periodic effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000003247 decreasing effect Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开一种异步复制方法及装置,该方法可以用于容灾系统中。该方法具体可以包括:主存储设备根据主存储设备中的第一数据的数据量,确定第一带宽,该第一带宽是将第一数据从主存储设备复制到从存储设备中所需的带宽大小;基于第一带宽,将第一数据复制到从存储设备中,其中,基于第一带宽完成对第一数据的异步复制能满足容灾系统的RPO指标。通过本申请实施例提供的方法,能够根据待复制数据的数据量自动调整复制带宽,并且能够确保达成容灾系统的RPO指标。
Description
技术领域
本申请涉及通信技术领域,尤其涉及一种异步复制方法及装置。
背景技术
容灾系统可以将生产中心的数据传输到灾备中心进行备份,使得生产中心在发生自然或人为灾难(如应用出现故障、或操作人员操作出错等)时,可以使用灾备中心的数据对生产中心的数据进行恢复,能够保证生产中心的数据的完整性。在容灾系统中,基于存储系统的异步复制技术被经常使用。
异步复制的过程通常为:生产中心的主存储设备和灾备中心的从存储设备之间建立异步复制关系;初始同步阶段,将主存储设备中的数据全部拷贝到从存储设备中;初始同步完成后,异步复制进入周期性增量同步阶段,如按照用户设定的时间间隔,容灾系统周期性启动同步任务,将从上一个周期结束时刻到当前时刻之间的时间段内生产主机写入主存储设备的数据增量同步到从存储设备。
恢复点目标(recovery point objective,RPO)指标是衡量容灾系统的一个重要指标,即能够容忍的把数据复原到过去的哪个时间点。当因生产主机存在突发流量导致周期内主存储设备与从存储设备之间不能完成数据增量的复制时,会出现RPO指标不能达成的问题。
发明内容
本申请实施例提供一种异步复制方法及装置,用以完成对突发流量所产生的数据的复制,达成RPO指标。
第一方面,本申请提供一种异步复制方法,由主存储设备或主存储设备的部件(如芯片系统等)执行。该方法具体包括:根据所述主存储设备中的第一数据的数据量,确定第一带宽,所述第一带宽是将所述第一数据从所述主存储设备复制到从存储设备中所需的带宽大小;基于所述第一带宽,将所述第一数据复制到所述从存储设备中。
在上述实施例中,第一带宽是根据主存储设备待同步的数据确定的、是主存储设备将第一数据复制到从存储设备中所需的带宽大小,那么基于该第一带宽主存储设备能够完成对第一数据的同步。所以,当出现突发流量时,通过本申请提供的异步复制方法能够根据待同步数据的数据量自动调整同步带宽,无需系统管理人员检测突发流量。
在一种可能的设计中,基于所述第一带宽完成对所述第一数据的异步复制能满足存储系统的恢复点目标RPO指标,所述存储系统为所述主存储设备和所述从存储设备所在的存储系统。
在一种可能的设计中,根据所述第一数据的数据量,确定第一带宽,可以为:根据所述第一数据的数据量和主存储设备可用的带宽资源,确定所述第一带宽;其中,所述可用的带宽资源包括:实时可用的带宽资源,或,根据历史数据预测的可用的带宽资源。进一步,在所述第一带宽中包括多个带宽数值时;根据所述第一数据的数据量和所述主存储设备可用的带宽资源,确定所述第一带宽,可以为:根据所述第一数据中未完成复制的剩余数据量和所述主存储设备可用的带宽资源,确定所述第一带宽中的一个带宽数值。
通过上述设计,主存储设备可以根据可用的带宽资源来确定第一带宽,避免对主存储设备其它业务的影响。
在一种可能的设计中,所述第一数据是一个同步周期内待复制的数据;根据所述第一数据的数据量,确定第一带宽,可以为:根据所述第一数据的数据量,所述同步周期的时长以及主存储设备可用的带宽资源,确定所述第一带宽;其中,所述可用的带宽资源包括:实时可用的带宽资源,或,根据历史数据预测的可用的带宽资源。
通过上述设计,主存储设备可以基于第一数据的数据量、同步周期的时长以及可用的带宽资源来确定第一带宽,这样,当主存储设备基于确定出的第一带宽将第一数据复制到从存储设备的过程中,能够避免对主存储设备的其它业务的影响,且能够在一个同步周期内完成对第一数据的复制,达成RPO指标。
在一种可能的设计中,在同步周期内所述主存储设备的复制带宽为第二带宽;在基于所述第一带宽,将所述第一数据复制到所述从存储设备中之前,所述方法还可以包括:当所述第一带宽大于所述第二带宽时,将所述主存储设备的复制带宽由所述第二带宽调整至所述第一带宽。
通过上述设计,主存储设备可以在第一带宽大于第二带宽的情况下,将自身的复制带宽由第二带宽调整至第一带宽,从而能够基于第一带宽将第一数据复制到从存储设备中,达成存储系统的RPO指标。
第二方面,本申请提供一种异步复制装置,该异步复制装置可以部署在存储设备中,用于实现上述第一方面或第一方面任一项可能的设计中主存储设备所实现的功能。所述异步复制装置所实现的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块(或单元)。
示例性的,该异步复制装置可以包括处理模块和通信模块。
其中,处理模块,用于根据所述异步复制装置中的第一数据的数据量,确定第一带宽,所述第一带宽是将所述第一数据从所述异步复制装置复制到从存储设备中所需的带宽大小。
通信模块,用于基于所述第一带宽,将所述第一数据复制到所述从存储设备中。
在一种可能的设计中,在根据所述第一数据的数据量,确定第一带宽时,所述处理模块,具体用于:根据所述第一数据的数据量和异步复制装置可用的带宽资源,确定所述第一带宽;其中,所述可用的带宽资源包括:实时可用的带宽资源,或,根据历史数据预测的可用的带宽资源。
在一种可能的设计中,所述第一带宽中包括多个带宽数值;在根据所述第一数据的数据量和所述异步复制装置可用的带宽资源,确定所述第一带宽时,所述处理模块,具体用于:根据所述第一数据中未完成复制的剩余数据量和所述异步复制装置可用的带宽资源,确定所述第一带宽中的一个带宽数值。
在一种可能的设计中,所述第一数据是一个同步周期内待复制的数据;在根据所述第一数据的数据量,确定第一带宽时,所述处理模块,具体用于:根据所述第一数据的数据量,所述同步周期的时长以及异步复制装置可用的带宽资源,确定所述第一带宽;其中,所述可用的带宽资源包括:实时可用的带宽资源,或,根据历史数据预测的可用的带宽资源。
在一种可能的设计中,在同步周期内所述异步复制装置的复制带宽为第二带宽;在基于所述第一带宽,将所述第一数据复制到所述从存储设备中之前,所述处理模块,进一步用于:当所述第一带宽大于所述第二带宽时,将所述异步复制装置的复制带宽由所述第二带宽调整至所述第一带宽。
在一种可能的设计中,基于所述第一带宽完成对所述第一数据的异步复制能满足存储系统的恢复点目标RPO指标,所述存储系统为所述异步复制装置和所述从存储设备所在的存储系统。
第三方面,本申请提供一种存储设备,该电子设备可以是服务器或计算机等。该存储设备可以包括一个或多个处理器,存储器以及通信接口。其中,存储器存储计算机程序和数据。该存储器与该一个或多个处理器耦合,该一个或多个处理器可以通过通信接口执行该存储器中存储的计算机程序,用于实现上述第一方面或第一方面任一项可能的设计中所述主存储设备所实现的功能。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行上述第一方面或第一方面任一项可能的设计中所述的方法。
第五方面,本申请实施例提供一种计算机程序产品,包括指令,当所述指令在电子设备上运行时,使得所述电子设备执行上述第一方面或第一方面任一项可能的设计中所述的方法。
上述第二方面至第五方面及其可能的设计的有益效果请参照上述第一方面及其任一项可能的设计所能达到的技术效果,这里不再重复赘述。
附图说明
图1为本申请实施例提供的容灾系统的一种示意图;
图2为本申请实施例提供的周期性同步阶段的一种示意图;
图3为本申请实施例提供的突发流量的一种示意图;
图4为本申请实施例提供的异步复制方式的一种流程示意图;
图5为本申请实施例提供的根据I/O口压力信息实时确定第一带宽中的一个带宽数值的一种示意图;
图6为本申请实施例提供的异步复制装置的一种结构示意图;
图7为本申请实施例提供的存储设备的一种结构示意图。
具体实施方式
本申请实施例的描述中,“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请中所涉及的至少一个是指一个或多个;多个,是指两个或两个以上。
以及,除非有相反的说明,本申请实施例提及“第一”、“第二”、“第三”等序数词是用于对多个对象进行区分,不用于限定多个对象的大小、内容、顺序、时序、优先级或者重要程度等。例如,第一服务器、和第二服务器等,只是为了区分不同的服务器,而并不是表示这两者服务器的优先级或者重要程度等的不同。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解本申请实施例,接下来对本请的应用场景进行介绍,本申请实施例描述的网络架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
图1所示为本申请实施例提供的容灾系统(又可以称为存储系统)的一种结构示意图。容灾系统包括生产中心和灾备中心,生产中心包括一个或多个存储设备,灾备中心包括一个或多个存储设备。生成中心的数据可以传输到灾备中心进行备份。图1以生产中心包括应用服务器和主存储设备,灾备中心包括从存储设备为例。其中,应用服务器产生的数据可以写入到主存储设备中的存储卷A(可以简称为卷A)中进行存储。主存储设备中的卷A与从存储设备中的卷B之间可以建立异步复制关系,从而主存储设备可以将卷A中应用服务器所产生的数据同步到从存储设备中的卷B中,以对应用服务器产生的数据进行备份。其中,存储设备是具有存储功能的设备,如服务器、或计算机等,当然也可以是服务器、或计算机等的部件,本申请实施例并不限定于此。可以理解的是,应用服务器与主存储设备可以是两个独立的设备,也可以集成在一起,如集成在一个服务器中,本申请实施例对此不作限定。另外,本申请实施例对存储设备中所包括的存储卷的数量不作限定。
值得注意的是,本申请实施例中主存储设备与从存储设备之间的异步复制可以是周期性的异步复制,或者是异步流复制,或者是周期性的异步复制与异步流复制的结合,本申请实施例并不限定于此。周期性的异步复制,是指主存储设备与从存储设备之间的复制传输是周期性的、以数据包为传输单位的复制过程。异步流复制,是指主存储设备与从存储设备之间的复制传输是以预写日志(write ahead log,WAL)日志文件为传输单元的复制过程。为了便于理解,下文中在不作特殊说明的情况下以周期性的异步复制(可简称为异步复制)为例进行介绍。
对于周期性的异步复制而言,主存储设备与从存储设备之间的复制过程可以分为两个阶段,即初始同步阶段和周期性同步阶段。在初始同步阶段中,主存储设备与从存储设备之间建立异步复制关系,主存储设备将卷A的所有数据拷贝到从存储设备的卷B中。在周期性同步阶段,主存储设备按照预先设定的同步周期,将一个同步周期内写入卷A的数据,在接下来的一个同步周期内拷贝到从存储设备的卷B中。
图2示出了周期性同步阶段的一种示意图。如图2所示,在T0时间段内主存储设备将应用服务器所产生的数据(N-1)写入卷A,并在T0时间段的结束时刻(即T1时间段的开始时刻)开始将数据(N-1)拷贝到卷B中。在T1时间段内主存储设备将应用服务器所产生的数据N写入卷A,并在T1时间段的结束时刻(即T2时间段的开始时刻)开始将数据N拷贝到卷B中。在T2时间段内主存储设备将应用服务器所产生的数据(N+1)写入卷A,并在T2时间段的结束时刻开始将数据(N+1)拷贝到卷B中。其中,图2中以正在拷贝数据N1为例,该数据N1的数据量小于或等于数据(N-1)的数据量。
其中,T0时间段、T1时间段、与T2时间段是预先设定的同步周期。数据(N-1)、数据N以及数据(N+1)的数据量可以相同,也可以不同,本申请实施例对此不作限定。另外,每个同步周期内,主存储设备从卷A拷贝到卷B的数据的数据量不超过最大数据量,该最大数据量是主存储设备在一个同步周期内,根据同步带宽向卷B发送数据的最大数据量,如可根据同步周期的时长与同步带宽确定该最大数据量。其中,同步带宽可以是预先设定的。
图3示出了突发流量的一种示意图。如图3所示,在T0时间段主存储设备出现突发流量,如写入带宽增加,T0时间段内主存储设备写入卷A的数据(N-1)的数据量超过了T1时间段内主存储设备拷贝到卷B的数据的最大数据量,使得主存储设备在T1时间段内不能完成对数据(N-1)的复制。进一步,主存储设备会在下一个同步周期(即T2时间段)内继续向卷B发送T0时间段写入卷A的数据。其中,图3以正在拷贝数据(N-1)1为例,该数据(N-1)1的数据量小于或等于数据(N-1)的数据量。
假设主存储设备在T2时间段内出现故障,主存储设备丢失写入卷A的数据,即丢失数据(N-1)、数据N以及数据(N+1)。在此情况下,主存储设备原本可以根据从存储设备中卷B的数据对卷A的数据进行恢复。但是由于主存储设备在出现故障的时刻还未将数据(N-1)完全拷贝到卷B中,那么主存储设备根据卷B对卷A的数据进行恢复时,就不能恢复到T0时间段,相当于主存储设备丢失三个同步周期内的数据,导致RPO指标不能达成,如预先设定RPO指示是最多丢失一个同步周期的数据。
为了应对这种突发流量导致RPO指标不能达成的情况,系统管理人员在检测到突发流量后,可以手动增加同步带宽,企图在一个同步周期内完成对突发流量所产生的数据的复制。但在这一过程中,系统管理人员是主观确定需要增加的同步带宽,易出现对需要增加的同步带宽的评估不准确的问题。例如,调整后的同步带宽过大,会影响主存储设备的其它业务,如写入带宽过小,导致主存储设备不能及时将应用服务器所产生的数据写入卷A中。又例如,调整后的同步带宽过小,导致主存储设备在一个同步周期内不能完成对待同步数据的同步,仍然会出现RPO指标不能达成的问题。
同样,在异步流复制场景中,也会出现突发流量的情况,例如当前传输的WAL日志的数据量突然增加。
鉴于此,本申请实施例提供一种异步复制方法,在该方法中,主存储设备根据第一数据的数据量,确定第一带宽,并基于确定出的第一带宽,将第一数据复制到从存储设备中。其中,第一数据是主存储设备待同步的数据。该第一带宽是根据主存储设备待同步的数据确定的、是主存储设备将第一数据复制到从存储设备中所需的带宽大小,那么基于该第一带宽主存储设备能够完成对第一数据的同步。所以,当出现突发流量时,通过本申请提供的异步复制方法能够根据待同步数据的数据量自动调整同步带宽,无需系统管理人员检测突发流量,且能够达成RPO指标。
图4为本申请实施例提供的异步复制方法的一种流程示意图。该方法可以应用于图1所示的容灾系统中。如图4所示,该方法可以包括如下内容。
S401:主存储设备根据第一数据的数据量,确定第一带宽。
其中,第一数据是主存储设备中待复制的数据(例如,异步流复制场景中一个WAL日志record),或者是主存储设备在一个同步周期内待复制的数据,本申请实施例对此不作限定。第一带宽是将第一数据从主存储设备复制到从存储设备中所需的带宽大小。第一带宽可以包括一个或多个带宽数值。第一带宽包括一个带宽数值,可以理解为主存储设备在设定时长内能够成功将第一数据复制到从存储设备中所需的固定带宽数值。第一带宽包括多个带宽数值,可以理解为主存储设备在设定时长内能够成功将第一数据复制到从存储设备中所需的不固定带宽数值。该多个带宽数值可以是随着时间递增的,也可以是随着时间递减的,或者是满足预设条件的等,本申请实施例对此不作限定。
作为一个示例,主存储设备可以根据第一数据的数据量和主存储设备可用的带宽资源,确定第一带宽。其中,主存储设备可用的带宽资源包括:实时可用的带宽资源,或者,根据历史数据预测的可用的带宽资源。具体的,主存储设备可以根据自身输入/输出(input/output,I/O)口压力信息,确定可用的带宽资源;并根据可用的带宽资源和第一数据的数据量,确定第一带宽。该I/O口压力信息包括主存储设备的各个业务使用的带宽资源,如异步复制业务的同步带宽,写入业务的带宽等。例如,主存储设备可以实时监控自身的I/O口压力信息,确定实时可用的带宽资源;并根据实时可用的带宽资源,确定第一带宽。又例如,主存储设备可以根据自身历史的I/O口压力信息,预测自身可用的带宽资源;并根据预测的可用的带宽资源,确定第一带宽。通过这种方式,不会影响主存储设备的其它业务,确保主存储设备将第一数据复制给从存储设备,达到存储系统的RPO指标。
作为另一个示例,主存储设备可以根据第一数据的数据量和同步周期的时长,确定第一带宽。例如,主存储设备可以根据第一数据的数据量和同步周期的时长,确定在接下来的一个同步周期内完成对第一数据的同步所需的带宽大小。这样,当主存储设备基于第一带宽将第一数据复制给从存储设备时,可以确保主存储设备能够在一个同步周期内成功将第一数据复制给从存储设备,达到存储系统的RPO指标。
作为另一个示例,主存储设备可以根据第一数据的数据量、同步周期的时长和主存储设备可用的带宽资源,确定第一带宽。其中,主存储设备可用的带宽资源包括:实时可用的带宽资源,或者,根据历史数据预测的可用的带宽资源。具体的,主存储设备可以根据I/O口压力信息,确定可用的带宽资源;并根据可用的带宽资源、同步周期的时长和主存储设备确定在接下来的一个同步周期内完成对第一数据的同步所需的带宽大小。这样,当主存储设备基于第一带宽将第一数据复制给从存储设备时,不会影响主存储设备的其它业务的情况下,且能够确保在一个同步周期内成功将第一数据复制给从存储设备,达到存储系统的RPO指标。
当第一带宽包括多个带宽数值时,主存储设备可以根据第一数据中未完成复制的剩余数据量和主存储设备可用的带宽资源,确定该第一带宽中的一个带宽数值。例如,主存储设备可以根据第一带宽中的一个带宽数值复制第一数据中的部分数据,并根据第一数据中未完成复制的剩余数据量和可用的带宽资源,确定接下来的复制带宽的带宽数值。通过这种方式,主存储设备可以根据第一数据的复制情况以及可用的带宽资源实时调整复制带宽,可以避免对主存储设备的其它业务的影响,且能够达成存储系统的RPO指标。
或者,当第一带宽包括多个带宽数值时,主存储设备可以根据同步周期的时长以及第一数据的数据量,确定该多个带宽数值,该多个带宽数值为递增关系(或递减关系)。例如,主存储设备可以将同步周期划分为多个时间段,根据该多个时间段中每个时间段的时长以及第一数据的数据量确定递增系数(或递减系数),并根据该递增系数(或递减系数)确定该多个带宽数值。
或者,当第一带宽包括多个带宽时,主存储设备可以根据同步周期的时长、第一数据的数据量和主存储设备可用的带宽资源,确定该多个带宽数值,该多个带宽数值为递增关系或递减关系。例如,主存储设备可以将同步周期划分为多个时间段,根据该多个时间段中每个时间段的时长、第一数据的数据量以及可用的带宽资源确定递增系数(或递减系数),并根据该递增系数(或递减系数)确定该多个带宽数值。
S402:主存储设备确定是否调整第二带宽。
其中,第二带宽是主存储设备当前与从存储设备之间的复制带宽。第二带宽可以是预先设定的,或者可以历史调整后的,本申请实施例对此不作限定。如果主存储设备确定调整第二带宽,则主存储设备执行步骤S404和S405的内容;如果主存储设备确定不调整第二带宽,则主存储设备执行步骤S403。
示例性的,主存储设备可以通过对比第一带宽和第二带宽,来确定是否调整第二带宽。
以第一带宽包括一个带宽数值为例,当第一带宽大于第二带宽时,主存储设备可以确定调整第二带宽。例如,当第一带宽小于第二带宽时,主存设备可以确定调整第二带宽,如根据第一带宽减少第二带宽的带宽数值,以提高带宽资源的利用率;或者,也可以确定不调整第二带宽,本申请实施例对此不作限定。又例如,当第一带宽等于第二带宽时,主存储设备可以确定不调整第二带宽。
以第一带宽包括多个带宽数值为例,当多个带宽数值中的最小带宽数值(或多个带宽数值中的平均带宽数值)大于第二带宽时,主存储设备可以确定调整第二带宽。例如,当多个带宽数值中的最大带宽数值(或多个带宽数值中的平均带宽数值)小于第二带宽时,主存设备可以确定调整第二带宽,以提高带宽资源的利用率;或者,也可以确定不调整第二带宽,本申请实施例对此不作限定。又例如,当多个带宽数值中的平均带宽数值等于第二带宽时,主存储设备可以确定不调整第二带宽。
值得注意的是,主存储设备可以先确定第一带宽,再判断是否调整第二带宽。在另一种可能的实现方式中,主存储设备可以先根据第二带宽判断是否能够完成对第一数据的同步,在确定不能完成对第一数据的同步时,再根据第一数据的数据量确定第一带宽。
例如,主存储设备可以获取第一数据的数据量,并判断基于第二带宽将第一数据复制给从存储设备是否能够达成存储系统的RPO指标。其中,若基于第二带宽完成对第一数据的复制超过设定时长,则主存储设备确定基于第二带宽将第一数据复制给从存储设备不能达成存储系统的RPO指标,并根据第一数据量确定第一带宽;否则,主存储设备确定基于第二带宽将第一数据复制给从存储设备能够达成存储系统的RPO指标。
又例如,主存储设备可以获取第一数据的数据量,并根据第二带宽判断是否能够在同步周期内完成对第一数据的复制。例如,主存储设备可以根据第二带宽以及同步周期的时长,确定一个同步周期内主存储设备能够同步的最大数据量,记为MAX;主存储设备通过对比该MAX以及第一数据的数据量来确定在接下来的一个同步周期内能否完成对第一数据的同步。例如,若MAX大于或等于第一数据的数据量,则主存储设备可以确定根据第二带宽能够在接下来的一个同步周期内完成对第一数据的同步。又例如,若MAX小于第一数据的数据量,则主存储设备可以确定根据第二带宽不能够在接下来的一个同步周期内完成对第一数据的同步,并根据第一数据的数据量确定第一带宽。
S403:主存储设备基于第二带宽将第一数据复制到从存储设备中。即,主存储设备基于第二带宽向从存储设备发送第一数据;相应的,从存储设备接收第一数据。
当主存储设备确定不调整第二带宽时,主存储设备可以基于第二带宽向从存储设备发送该第一数据。
S404:主存储设备根据第一带宽调整第二带宽。
当主存储设备确定调整第二带宽时,主存储设备可以根据第一带宽调整第二带宽。例如,当第一带宽包括一个带宽数值时,主存储设备可以将自身的复制带宽由第二带宽调整至第一带宽。又例如,当第一带宽包括多个带宽数值时,主存储设备可以将自身的复制带宽由第二带宽调整至第一带宽中的一个带宽数值,在设定时长后,再调整至第一带宽中的另一个带宽数值。例如,第一带宽中的多个带宽数值是实时确定的,则主存储设备可以根据该多个带宽数值实时调整自身的复制带宽,如图5所示。
S405:主存储设备基于第一带宽将第一数据复制到从存储设备中。即,主存储设备基于第一带宽向从存储设备发送第一数据。
主存储设备可以根据第一带宽向从存储设备发送第一数据,基于该第一带宽完成对第一数据的异步复制能满足存储系统的恢复点目标RPO指标。
上述本申请提供的实施例中,分别从主存储设备与从存储设备之间的交互的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能,主存储设备可以包括硬件结构和/或软件模块,以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行,取决于技术方案的特定应用和设计约束条件。
图6示出了一种异步复制装置600的结构示意图,该异步复制装置600可以部署在电子设备中,能够实现本申请实施例提供的方法中主存储设备所实现的功能。异步复制装置600可以是硬件结构、软件模块、或硬件结构加软件模块。
异步复制装置600可以包括处理模块601和通信模块602。
示例性的,处理模块601,用于根据所述异步复制装置中的第一数据的数据量,确定第一带宽,所述第一带宽是将所述第一数据从所述异步复制装置复制到从存储设备中所需的带宽大小。
通信模块602,用于基于所述第一带宽,将所述第一数据复制到所述从存储设备中。
在一种可能的实现方式中,在根据所述第一数据的数据量,确定第一带宽时,所述处理模块601,具体用于:根据所述第一数据的数据量和异步复制装置可用的带宽资源,确定所述第一带宽;其中,所述可用的带宽资源包括:实时可用的带宽资源,或,根据历史数据预测的可用的带宽资源。
在一种可能的实现方式中,所述第一带宽中包括多个带宽数值;在根据所述第一数据的数据量和所述异步复制装置可用的带宽资源,确定所述第一带宽时,所述处理模块601,具体用于:根据所述第一数据中未完成复制的剩余数据量和所述异步复制装置可用的带宽资源,确定所述第一带宽中的一个带宽数值。
在一种可能的实现方式中,所述第一数据是一个同步周期内待复制的数据;在根据所述第一数据的数据量,确定第一带宽时,所述处理模块601,具体用于:根据所述第一数据的数据量,所述同步周期的时长以及异步复制装置可用的带宽资源,确定所述第一带宽;其中,所述可用的带宽资源包括:实时可用的带宽资源,或,根据历史数据预测的可用的带宽资源。
在一种可能的实现方式中,在同步周期内所述异步复制装置的复制带宽为第二带宽;在基于所述第一带宽,将所述第一数据复制到所述从存储设备中之前,所述处理模块601,进一步用于:当所述第一带宽大于所述第二带宽时,将所述异步复制装置的复制带宽由所述第二带宽调整至所述第一带宽。
在一种可能的实现方式中,基于所述第一带宽完成对所述第一数据的异步复制能满足存储系统的恢复点目标RPO指标,所述存储系统为所述异步复制装置和所述从存储设备所在的存储系统。
通信模块602用于异步复制装置600和其它模块进行通信,其可以是电路、器件、接口、总线、软件模块、收发器或者其它任意可以实现通信的装置。
其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本申请各个实施例中的各功能模块可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
参考图7,为本申请实施例提供的存储设备700的示意图,该存储设备700包括一个或多个处理器710(图7中以一个处理器为例),以及存储器720。其中,一个或多个处理器710与存储器720耦合。可选的,该存储设备700还可以包括接口730(图7中以虚线表示),该接口730用于实现与其他设备进行通信。
以上实施例中主存储设备所执行的方法可以通过处理器710调用存储器720中存储的程序来实现。即主存储设备可以包括处理器710,该处理器710通过调用存储器720中的程序,以执行上述方法实施例中主存储设备执行的方法。这里的处理器710可以是一种具有信号的处理能力的集成电路,例如中央处理器(central processing unit,CPU)。主存储设备可以是通过配置成实施以上方法的一个或多个集成电路来实现。例如,一个或多个特定集成电路(application specific integrated circuit,ASIC),或一个或多个(digitalsignal processor,DSP),或一个或多个现场可编程门阵列(field programmable gatearray,FPGA)等,或这些集成电路形式中至少两种的组合。
具体的,图6中的处理模块601和通信模块602的功能/实现过程可以通过图7所示的该存储设备700中的处理器710调用存储器720中存储的计算机可执行指令来实现。或者,图6中的处理模块601的功能/实现过程可以通过图7所示的该存储设备700中的处理器710调用存储器720中存储的计算机执行指令来实现,图6中的通信模块602的功能/实现过程可以通过图7中所示的该存储设备700中的接口730来实现。
示例性的,处理器710,用于根据所述异步复制装置中的第一数据的数据量,确定第一带宽,所述第一带宽是将所述第一数据从所述异步复制装置复制到从存储设备中所需的带宽大小。
接口730,用于基于所述第一带宽,将所述第一数据复制到所述从存储设备中。
在一种可能的实现方式中,在根据所述第一数据的数据量,确定第一带宽时,所述处理器710,具体用于:根据所述第一数据的数据量和异步复制装置可用的带宽资源,确定所述第一带宽;其中,所述可用的带宽资源包括:实时可用的带宽资源,或,根据历史数据预测的可用的带宽资源。
在一种可能的实现方式中,所述第一带宽中包括多个带宽数值;在根据所述第一数据的数据量和所述异步复制装置可用的带宽资源,确定所述第一带宽时,所述处理器710,具体用于:根据所述第一数据中未完成复制的剩余数据量和所述异步复制装置可用的带宽资源,确定所述第一带宽中的一个带宽数值。
在一种可能的实现方式中,所述第一数据是一个同步周期内待复制的数据;在根据所述第一数据的数据量,确定第一带宽时,所述处理器710,具体用于:根据所述第一数据的数据量,所述同步周期的时长以及异步复制装置可用的带宽资源,确定所述第一带宽;其中,所述可用的带宽资源包括:实时可用的带宽资源,或,根据历史数据预测的可用的带宽资源。
在一种可能的实现方式中,在同步周期内所述异步复制装置的复制带宽为第二带宽;在基于所述第一带宽,将所述第一数据复制到所述从存储设备中之前,所述处理器710,进一步用于:当所述第一带宽大于所述第二带宽时,将所述异步复制装置的复制带宽由所述第二带宽调整至所述第一带宽。
在一种可能的实现方式中,基于所述第一带宽完成对所述第一数据的异步复制能满足存储系统的恢复点目标RPO指标,所述存储系统为所述异步复制装置和所述从存储设备所在的存储系统。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时可实现上述主存储设备所实现的功能。
本申请还提供了一种计算机程序产品,该计算机程序产品被计算机执行时可实现上述实施例中主存储设备所实现的功能。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例提供的方法中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,简称DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,数字视频光盘(digital video disc,简称DVD))、或者半导体介质(例如,SSD)等。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (14)
1.一种异步复制方法,由主存储设备执行,其特征在于,包括:
根据所述主存储设备中的第一数据的数据量,确定第一带宽,所述第一带宽是将所述第一数据从所述主存储设备复制到从存储设备中所需的带宽大小;
基于所述第一带宽,将所述第一数据复制到所述从存储设备中。
2.根据权利要求1所述的方法,其特征在于,根据所述第一数据的数据量,确定第一带宽,包括:
根据所述第一数据的数据量和主存储设备可用的带宽资源,确定所述第一带宽;其中,所述可用的带宽资源包括:实时可用的带宽资源,或,根据历史数据预测的可用的带宽资源。
3.根据权利要求2所述的方法,其特征在于,所述第一带宽中包括多个带宽数值,
根据所述第一数据的数据量和所述主存储设备可用的带宽资源,确定所述第一带宽,包括:
根据所述第一数据中未完成复制的剩余数据量和所述主存储设备可用的带宽资源,确定所述第一带宽中的一个带宽数值。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述第一数据是一个同步周期内待复制的数据;
根据所述第一数据的数据量,确定第一带宽,包括:
根据所述第一数据的数据量,所述同步周期的时长以及主存储设备可用的带宽资源,确定所述第一带宽;其中,所述可用的带宽资源包括:实时可用的带宽资源,或,根据历史数据预测的可用的带宽资源。
5.根据权利要求1、2或4所述的方法,其特征在于,在同步周期内所述主存储设备的复制带宽为第二带宽;
在基于所述第一带宽,将所述第一数据复制到所述从存储设备中之前,所述方法还包括:
当所述第一带宽大于所述第二带宽时,将所述主存储设备的复制带宽由所述第二带宽调整至所述第一带宽。
6.根据权利要求1至5中任一项所述的方法,其特征在于,基于所述第一带宽完成对所述第一数据的异步复制能满足存储系统的恢复点目标RPO指标,所述存储系统为所述主存储设备和所述从存储设备所在的存储系统。
7.一种异步复制装置,其特征在于,所述装置包括:
处理模块,用于根据所述异步复制装置中的第一数据的数据量,确定第一带宽,所述第一带宽是将所述第一数据从所述异步复制装置复制到从存储设备中所需的带宽大小;
通信模块,用于基于所述第一带宽,将所述第一数据复制到所述从存储设备中。
8.根据权利要求7所述的装置,其特征在于,在根据所述第一数据的数据量,确定第一带宽时,所述处理模块,具体用于:
根据所述第一数据的数据量和异步复制装置可用的带宽资源,确定所述第一带宽;其中,所述可用的带宽资源包括:实时可用的带宽资源,或,根据历史数据预测的可用的带宽资源。
9.根据权利要求8所述的装置,其特征在于,所述第一带宽中包括多个带宽数值;
在根据所述第一数据的数据量和所述异步复制装置可用的带宽资源,确定所述第一带宽时,所述处理模块,具体用于:
根据所述第一数据中未完成复制的剩余数据量和所述异步复制装置可用的带宽资源,确定所述第一带宽中的一个带宽数值。
10.根据权利要求7至9中任一项所述的装置,其特征在于,所述第一数据是一个同步周期内待复制的数据;
在根据所述第一数据的数据量,确定第一带宽时,所述处理模块,具体用于:
根据所述第一数据的数据量,所述同步周期的时长以及异步复制装置可用的带宽资源,确定所述第一带宽;其中,所述可用的带宽资源包括:实时可用的带宽资源,或,根据历史数据预测的可用的带宽资源。
11.根据权利要求7、8或10所述的装置,其特征在于,在同步周期内所述异步复制装置的复制带宽为第二带宽;
在基于所述第一带宽,将所述第一数据复制到所述从存储设备中之前,所述处理模块,进一步用于:
当所述第一带宽大于所述第二带宽时,将所述异步复制装置的复制带宽由所述第二带宽调整至所述第一带宽。
12.根据权利要求7至11中任一项所述的装置,其特征在于,基于所述第一带宽完成对所述第一数据的异步复制能满足存储系统的恢复点目标RPO指标,所述存储系统为所述异步复制装置和所述从存储设备所在的存储系统。
13.一种存储设备,其特征在于,包括存储器,以及一个或多个处理器,所述存储器与所述一个或多个处理器耦合;
所述存储器存储计算机程序或指令,当所述计算机程序或指令被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1至6中任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备实现如权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111054966.XA CN115794939A (zh) | 2021-09-09 | 2021-09-09 | 一种异步复制方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111054966.XA CN115794939A (zh) | 2021-09-09 | 2021-09-09 | 一种异步复制方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115794939A true CN115794939A (zh) | 2023-03-14 |
Family
ID=85416945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111054966.XA Pending CN115794939A (zh) | 2021-09-09 | 2021-09-09 | 一种异步复制方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115794939A (zh) |
-
2021
- 2021-09-09 CN CN202111054966.XA patent/CN115794939A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2820531B1 (en) | Interval-controlled replication | |
US8850141B2 (en) | System and method for mirroring data | |
US7793060B2 (en) | System method and circuit for differential mirroring of data | |
US7437598B2 (en) | System, method and circuit for mirroring data | |
US7694177B2 (en) | Method and system for resynchronizing data between a primary and mirror data storage system | |
US5694542A (en) | Time-triggered communication control unit and communication method | |
CN110535680B (zh) | 一种拜占庭容错方法 | |
US7797571B2 (en) | System, method and circuit for mirroring data | |
US11947429B2 (en) | Data disaster recovery method and site | |
KR20010072379A (ko) | 내고장성 컴퓨터 시스템 | |
WO2024087914A1 (zh) | 数据同步方法及计算设备 | |
CN112749123A (zh) | 用于管理文件系统的方法、设备和计算机程序产品 | |
US20050234919A1 (en) | Cluster system and an error recovery method thereof | |
CN112261164B (zh) | 一种逻辑时钟同步方法、装置及一种中心授时集群 | |
CN109885420B (zh) | 一种PCIe链路故障的分析方法、BMC及存储介质 | |
CN109445984B (zh) | 一种业务恢复方法、装置、仲裁服务器以及存储系统 | |
CN115794939A (zh) | 一种异步复制方法及装置 | |
CN111190770A (zh) | 一种用于数据存储及数据灾备的cow快照技术 | |
JP3447347B2 (ja) | 障害検出方法 | |
KR20230098348A (ko) | 고처리량 스트리밍 데이터의 동기적 복제 | |
US10909002B2 (en) | Fault tolerance method and system for virtual machine group | |
CN113268395A (zh) | 业务数据的处理方法、处理装置及终端 | |
CN117555493B (zh) | 数据处理方法、系统、装置、存储介质及电子设备 | |
US11269922B2 (en) | Database server, database management method, and storage medium | |
US8930762B1 (en) | Optimal tracking of cluster-wide shared storage connectivity for graceful error handling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |