CN103902405B - 一种准连续性数据复制方法及装置 - Google Patents
一种准连续性数据复制方法及装置 Download PDFInfo
- Publication number
- CN103902405B CN103902405B CN201210586178.XA CN201210586178A CN103902405B CN 103902405 B CN103902405 B CN 103902405B CN 201210586178 A CN201210586178 A CN 201210586178A CN 103902405 B CN103902405 B CN 103902405B
- Authority
- CN
- China
- Prior art keywords
- data
- time
- record
- mark
- resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种准连续性数据复制方法及对应装置,该方法包括:按周期生成最新时间标记;处理数据写入命令,将数据写入到复制源资源以及第一复制资源中;并在数据变化表中生成对应的数据变化记录,其中该数据变化记录包括数据存储位置以及最新时间标记;定期查找数据变化表中是否存在老时间标记,如果是则获取数据变化表中与最老时间标记相关的所有数据变化记录,从第一复制资源中获取对应数据;并将获取到的数据以及对应的时间标记携带在写命令中同步给复制目标设备。本发明通过创建时间标记来记录一个时间段内的数据变化,允许以时间标记为单位调度,可以支持并发传输,还可支持多个IO的合并,避免传输重复数据。
Description
技术领域
本发明涉及存储技术领域,尤其涉及一种连续性的数据复制方法及装置。
背景技术
远程复制可以将生产中心的数据通过远程链路(比如IP或者FC)传输到灾难备份中心,这样可以保证当生产中心发生故障时,可以通过灾难备份中心的数据进行恢复。
请参考图1,图1是一个典型的远程复制解决方案示意图。在该解决方案中,生产中心的存储设备用于日常业务运行,灾备中心的存储设备作为备份,二者之间通过网络连接,通过远程复制技术传输数据。而应用服务器通过网络连接到两个中心,一旦生产中心发生灾难,应用立即可以切换到灾备中心去。复制解决方案一般情况下受到下述条件的制约:
1)副本资源的数据必须是完整有效的;
2)灾难发生时,丢失的数据应该尽量少;
3)生产中心和灾备中心的地理距离,理论上越大越好,实际上必须满足用户对灾备的需求;
4)网络环境限制,在带宽、拥塞情况、丢包、抖动等方面可容忍的指标。
综合上述制约条件,根据不同用户环境需求,目前已有的复制技术方案包括:同步复制和异步复制两种实现方案。其中异步复制又可细分为周期性异步复制和连续性异步复制。
同步复制要求针对复制源资源上的每一个写命令,都应该立即同步写入复制目标资源。请参考图2,同步复制的处理流程包括以下步骤:
1)应用服务器向复制源发起写命令;
2)复制源设备收到写命令后,将数据写入源资源中。
3)复制源设备相应构造写命令,发送到复制目标设备;
4)复制目标设备收到写命令后,将数据写入副本资源中;
5)复制源资源和副本资源均写成功后,源设备将写命令执行结果返回给应用服务器。
从上述处理流程可以看出,同步复制最大的优点是数据零丢失,任何时候源资源和副本资源都是一致,灾难发生时不会有数据丢失。然而同步复制方案有其天然的缺点。每次写命令的处理,都需要同步写入到复制源资源和副本资源后才能响应写入成功,因此对复制源资源的写入业务性能影响大。而且对源设备和目标设备之间复制链路的带宽以及延时等要求很高。由于同步复制对链路带宽要求很高的特点,通常使用于专线网络的短距离复制,比如同城的复制,对于更远距离的部署则难度很大且成本高昂。
请参考图3所示的异步复制处理流程,其包括以下步骤:
1)应用服务器发起写命令;
2)复制源设备收到写命令后,将数据写入源资源中;
3)复制源设备将写命令执行结果返回给应用服务器;
4)复制源设备将数据发送给复制目标设备;
5)复制目标设备将数据写入复制副本。
异步复制方案是一种用户数据写入处理和复制过程分离的设计方案。由源设备上的复制软件在存储设备的后台完成复制源资源和复制副本资源之间的数据同步。相对于同步复制,异步复制对源资源的性能影响要小,但是因为源资源和副本资源不是实时同步,一旦灾难发生,存在数据丢失的风险。在图3中第4)和第5)步的数据同步写入副本资源的实现上,复制源设备上复制软件会根据一定的方法,把数据同步到复制目标设备的副本资源中,常见的方法包括周期性异步复制和连续性异步复制。
请参考图4,对于周期性异步复制来说,源设备将根据用户设置的策略进行数据同步,数据并不是实时同步的。在多数时间内,复制源设备仅记录源资源上数据变化情况,当用户预设策略满足时,复制源设备开始把上一个时间周期内变化的数据同步到副本资源中。为了保证复制同步的数据一致性,通常在复制被触发时先为源资源创建快照时间点,然后基于该快照时间点进行数据同步。其处理流程包括:
1)应用服务器发起写命令。
2)复制源设备收到写命令后,将数据写入源资源中。
3)复制源设备将写命令执行结果返回给应用服务器。
4)当复制策略满足时,复制源设备为源资源创建快照时间点,并基于该快照时间点和上一个时间周期内数据变化情况构造写命令,发送给复制目标设备。
5)复制目标设备收到写命令后将数据写入副本资源中。
6)复制目标设备将命令执行结果返回给复制源设备。
重复步骤4)~6),直到上一个时间周期内所有变化的数据都传输完成,本次复制同步结束,将等待下一次策略触发时再次启动复制同步。周期性异步复制的优势是:首先其是增量复制,仅复制变化的数据;其次,上一个时间周期内如果连续更新某个区域,仅复制一份数据,而不是每次的变化量;最后,复制在后台运行,不影响前台应用,因此相对而言,对网络要求低,距离不受限制。
然而周期性异步复制仍然存在一些固有的缺点:第一,灾难发生时数据丢失的风险仍然比较大,丢失的数据量取决于上一次成功复制到发生灾难的过程中数据的变化量。最坏的情况下,正好在下次复制即将开始时发生灾难,此时这两个时间周期内变化的数据将全部丢失。第二,复制过程中,需要利用快照来实现数据一致性保护,影响源资源上写入业务响应时间。第三,复制IO将需要从源资源上读数据,由于产生新的读IO,这影响源资源对外的性能表现。
请参考图5,连续性异步复制主要原理是:在复制源设备上为源资源创建一个复制资源,复制源设备在处理客户端应用服务器的写命令时,把数据同步写入源资源和复制资源。而复制处理则在后台运行,持续地将复制资源中的数据同步到灾备中心的复制副本资源上。连续性异步复制处理流程包括以下步骤:
1)应用服务器发起写命令。
2)复制源设备收到写命令后,将数据写入源资源中。
3)复制源设备同时将数据写入到复制资源中。
4)复制源设备将写命令执行结果返回给应用服务器。
5)复制源设备在后台读取复制资源中的数据,并构造写命令,发送给复制目标设备。
6)复制目标设备收到写命令后,将数据写入副本资源中。
连续性异步复制方案的优势是:首先其不影响源资源对外性能表现,其次,发生灾难时,丢失的数据相对较少;最后,复制IO是从复制资源上读取数据,复制过程也不会对源资源产生新的读IO,几乎不影响源资源对外性能表现。然而连续性异步复制方案仍然有其固有的缺点。第一,相对周期性异步复制来说,其同步的数据量要多,即如果在某个时间段内连续更新某个区域的数据,该区域上每次更新的数据都需要同步;第二,为了保证IO顺序,连续性异步复制会逐个IO进行复制,复制执行的效率较低,在一定程度上降低了复制的性能。
发明内容
有鉴于此,本发明提供一种准连续性数据复制装置,应用于生产中心的存储设备上,该存储设备作为生产中心的复制源设备,该复制源设备用于创建与复制源资源对应的第一复制资源,并通过第一复制资源将数据同步给远端灾备中心的复制目标设备,该装置包括时间标记管理单元、业务处理单元、复制调度单元以及复制执行单元,其中:
时间标记管理单元,用于按照固定的周期生成最新时间标记并保存在时间标记列表中,其中该最新时间标记以及其他已经存在的老时间标记各不相同;
业务处理单元,用于处理数据写入命令,将数据写入到复制源资源以及第一复制资源中;并在数据变化表中生成对应的数据变化记录,其中该数据变化记录包括数据存储位置以及最新时间标记;
复制调度单元,用于定期查找数据变化表中是否存在老时间标记,如果是则选定最老的时间标记并转复制执行单元处理;
复制执行单元,用于获取数据变化表中与最老时间标记相关的所有数据变化记录,并根据每个记录中的数据存储位置从第一复制资源中获取对应数据;并将获取到的数据以及对应的时间标记携带在写命令中同步给复制目标设备。
本发明还提供一种准连续性数据复制方法,应用于生产中心的存储设备上,该存储设备作为生产中心的复制源设备,该复制源设备用于创建与复制源资源对应的第一复制资源,并通过第一复制资源将数据同步给远端灾备中心的复制目标设备,该方法包括:
步骤A、按照固定的周期生成最新时间标记并保存在时间标记列表中,其中该最新时间标记以及其他已经存在的老时间标记各不相同;
步骤B、处理数据写入命令,将数据写入到复制源资源以及第一复制资源中;并在数据变化表中生成对应的数据变化记录,其中该数据变化记录包括数据存储位置以及最新时间标记;
步骤C、定期查找数据变化表中是否存在老时间标记,如果是则选定最老的时间标记并转步骤D;
步骤D、获取数据变化表中与最老时间标记相关的所有数据变化记录,并根据每个记录中的数据存储位置从第一复制资源中获取对应数据;并将获取到的数据以及对应的时间标记携带在写命令中同步给复制目标设备。
本发明通过创建时间标记来记录一个时间段内的数据变化,允许以时间标记为单位进行数据调度,可以支持并发数据传输,提高传输效率,另外还可以进一步支持多个IO的合并,避免传输重复数据。
附图说明
图1是一种典型的数据复制过程示意图。
图2是现有技术中一种同步复制处理过程示意图。
图3是现有技术中一种异步复制处理过程示意图。
图4是现有技术中一种周期性异步复制处理过程示意图。
图5是现有技术中一种连续性异步复制处理过程示意图。
图6是本发明一种准连续性异步复制处理过程示意图。
图7是本发明一种准连续复制装置的逻辑结构图。
图8是本发明一种准连续复制过程源设备侧的流程图。
图9是本发明一种准连续复制过程目标设备侧的流程图。
具体实施方式
本发明在下述各实施方式提出准连续性复制实现方案,在基本保持连续性复制技术优势的前提下,解决连续性复制固有的各种问题。
请参考图6、图7、图8以及图9,本发明提供一种准连续性数据复制装置,该装置应用在存储设备上,为生产中心(生产数据中心)的复制源资源提供准连续性复制服务。所述生产中心包括作为复制源设备的第一存储设备、复制源设备创建的复制源资源以及第一复制资源。相应地,远程的灾备中心包括作为复制目标设备第二存储设备、复制目标设备创建的复制副本资源以及第二复制资源。从便于用户使用的角度考虑,在优选的方式中,第一存储设备与第二存储设备可以采用相同的设计方案,也就是说其包括相同的连续性复制装置,只是处于不同位置时运行不同的逻辑功能;当然这并不是必须的。以软件实现为例,复制源一侧的准连续性数据复制装置运行在复制源设备上,包括时间标记管理单元、业务处理单元、复制调度单元以及复制执行单元,其运行时与对端的连续性复制装置配合,对端的准连续性数据复制装置包括同步处理单元、同步调度单元以及同步执行单元。两侧的两个装置互相配置执行如下一般处理流程。
步骤101,时间标记管理单元按照固定的周期生成最新时间标记并保存在时间标记列表中,其中该最新时间标记以及其他已经存在的老时间标记各不相同;
步骤102,业务处理单元处理数据写入命令,以并行的方式将数据写入到复制源资源以及第一复制资源中;并在数据变化表中生成对应的数据变化记录,其中该数据变化记录包括数据存储位置以及最新时间标记;
步骤103,复制调度单元定期查找数据变化表中是否存在老时间标记,如果是则选定最老的时间标记并转复制执行单元处理,否则返回;
步骤104,复制执行单元获取数据变化表中与最老时间标记相关的所有数据变化记录,根据每个记录中的数据存储位置获取对应数据;
步骤105,复制执行单元将获取到的数据以及对应的时间标记携带在写命令中同步给复制目标设备;在完成本次同步之后通知时间标记管理单元,向复制目标设备发送时间标记同步完成通知,并删除对应的数据变化记录;
步骤106,时间标记管理单元根据步骤105的通知在时间标记表中删除对应的时间标记;
步骤107,同步处理单元接收来自复制源设备的写命令,从中获取到同步数据以及时间标记,并将该同步数据写入到第二复制资源中,生成同步变化记录,并将该记录保存在同步变化表中;其中该同步变化记录包括同步数据存储位置以及对应的时间标记;
步骤108,同步时间标记管理单元在接收到复制源设备发送的时间标记同步完成通知时,将该时间标记标作为老时间标记保存在同步时间标记列表中;
步骤109,同步调度单元查找同步变化表确定其中是否存在老时间标记,如果是则选定其中最老的时间标记;
步骤110,同步执行单元,获取同步变化表中最老时间标记对应的所有同步变化记录,根据获取到的同步变化记录中的同步数据存储位置获得对应的同步数据;
步骤111,同步执行单元构造写入命令将获取到的同步数据写入到复制副本资源中,并在写入完成后通知同步时间标记管理单元;
步骤112,同步时间标记管理单元在收到步骤111中的通知之后在对应的同步时间标记列表中删除该时间标记。
在生产中心一侧,数据中心的各种应用服务器或其他数据生产设备(统称为主机)会不断地向复制源资源中写入数据。复制源资源通常是构建在存储设备的磁盘阵列上的。与复制源资源对应的是灾备中心的复制目标资源,复制过程的目标就是将复制源资源上的数据复制到复制副本资源上。在本发明中,在源资源侧,复制源设备(存储设备)可以预先创建出第一复制资源。复制资源的主要作用是存放待复制的数据,相当于一个镜像的暂存性质的资源,存储设备在响应服务器读命令时通常是从复制源资源中获取数据的,而不是从复制资源中读取该数据,虽然复制资源中可能有同样的数据。复制资源所占用的空间大小通常也不是很大,因为有些数据复制完成后,就可以从复制资源上删除或者覆盖掉。
在复制源设备上,业务处理单元接收到写入命令后,除了业务数据写入到复制源资源中之外,还会同样将业务数据写入到业务数据写入到复制资源中。通常这两个写入操作基本是在同时执行,在完成两个写入操作后,业务写入单元就可以向主机响应写入成功了。在本发明中,数据接入复制单元的时候,同时还需要在数据变化表中记录下本次数据写入的相关信息,主要包括数据存储位置以及当前最新的时间标记。在优选的方式中,数据存储位置可以包括起始地址以及结束地址,或者包括起始地址以及数据长度。时间信息是由时间标记管理单元自动创建的时间标记。时间标记可以是任何数据类型的标记,用来表示一个时间段,假设时间段是10分钟,则时间标记可以是时间点,比如19:00、19:10、19:20……,当然时间标记也可以是一些具有唯一性的序列号。在本发明中,时间标记的产生需要体现出时间上的先后顺序,后续复制调度以及执行过程需要使用到该先后顺序。而对于业务处理单元来说,新增数据变化记录时所使用的时间标记均为最新的时间标记。由于时间标记代表了一个预定的时间段,因此在这个时间段内,所有数据变化记录对应的时间标记均相同。当这个时间段过去之后,这个时间标记就变成了老时间标记,而业务处理单元将使用更新的时间标记来记录更新的数据变化情况。
从复制的调度来说,对于当前最新的时间标记,由于这个时间标记对应的时间段还没有过去,因此业务数据可能会持续不断地写入进来,因此最新的时间标记是一个业务上活动的时间标记,不是复制调度的对象。而其他老的时间标记(可能不止一个)则属于不活动的时间标记,因为业务处理单元不会再以这些时间标记为标记记录数据变化了。这些老时间标记对应的数据变化记录就可以作为复制调度的对象了。
在复制调度过程中,为了确保调度的有序性和数据的完整性,本发明优选方式中,从最老的时间标记开始调度。调度的方式采用定期调度,每隔一个预定的时间周期就检查数据变化表中是否有老时间标记,如果有获取将这些老时间标记对应的数据变化记录。在获取数据变化记录上,可以一次性获取全部,也可以每次获取一条或者若干条(如图7以及图8所示的那样)。在优选的是方式中,当获取到的数据变化记录为多条时,复制执行单元根据每条记录中的数据存储位置将各个记录进行合并,获取合并后的数据,以避免获取到的对应数据中存在重复数据。考虑到有些空间在一个时间标记范围内可能被反复写入数据,如果不进行优化处理,则可能会有部分数据被多次传输。请参考表1这一示例性的数据变化记录表。
序号 | 时间标记 | 起始地址 | 结束地址 |
i | A | 1 | 15 |
ii | A | 3 | 11 |
iii | B | 22 | 30 |
iv | B | 18 | 23 |
v | B | 12 | 16 |
…… | …… | …… |
表1
请参考表1,假设时间标记A是最老的时间标记,那么调度是从A开始的,然后再调度B。从表1中可以看出,时间标记A对应的时间段内一共有两条数据变化记录,其中第i条与第ii条记录显示出第ii条记录中数据其实已经被包括在第i条中了,因此事实上只需要复制一次地址1到地址15中的数据即可。同样的道理,对于第iii以及第iv两条记录来说只需要复制一次地址18到地址30的数据即可。以上实施方式是在同步之前将IO进行合并来减少数据传输量,本本发明还提供另一种在数据写入过程中实现合并的实施方式,在该实施方式中业务处理单元进一步在更新数据变化记录表时,判断当前写入数据的存储位置与最新时间戳对应的数据记录表中记录的存储位置是否存在重叠,如果是则更新数据记录表以避免数据记录表中不同记录中的存储位置存在重叠。请参考表1,假设A是最新时间标记,此时写入的数据地址是4-8,查询数据变化记录表可以发现该地址已经在第i条记录中存在了,此时数据变化记录表的更新操作为保持当前第i条记录不变。值得注意的是,在本实施方式中,表1的第ii条记录肯定是不存在的,本处仅仅是借用表1进行是理性的说明。
调度到数据变化记录并获取数据之后,复制执行单元就可以构造写命令的将这些数据作为同步数据发送给对端的复制目标设备了,在发送数据的过程中需要携带对应的时间标记信息。复制目标设备一侧的处理与复制源设备侧的处理是相对应的。首先复制目标设备需要将这些同步数据写入到第二复制资源里面,然后再调度复制到复制副本资源中。在优选的方式中,为了确保同步数据调度复制的有序性和保证数据的可用性,同步数据的调度也是从最老的时间标记开始的。对于复制目标设备来说,正在接收的数据其对应的时间标记是最新时间标记,一旦源设备发送时间标记同步完成通知则说明该时间标记内地的变化数据已经传输完毕(即完整性得到了保证),此时该事件标记就可以被理解为老时间标记,对应的数据可以写入到复制副本中了。以时间标记为单位进行调度,可以确保发生意外情况时,复制副本资源上的数据与时间之间有很好的对应关系,也就是说用户至少可以清楚地知道复制副本资源上哪个时间点的数据是完整的,因为时间标记是按照时间先后顺序创建出来的,与时间有着对应关系。此外,在优选的方式中,考虑到生产中心源资源或者源设备发生故障或者不可用的情况,此时同步过程将中止,而管理员则可以随时向复制目标设备上的同步执行单元发送用户指令,同步执行单元响应用户指令,获取用户指定的同步变化表中的时间标记对应的所有同步变化记录,根据获取到的同步变化记录中的同步数据存储位置获得对应的同步数据;然后构造写入命令将获取到的同步数据写入到复制副本资源中。这样的处理允许管理员将指定时间标记对应的数据删除或者写入到复制副本中。在故障等特殊情况下,方便管理员根据实际需要来取得其需要的时间标记对应的数据,可以确保同步到复制副本中数据的完整性和同步的及时性。
值得注意的是,以上的复制源设备与复制目标设备两侧的设计改进其实均可以在一个台存储设备上实现,存储设备在复制源侧或者目标侧是所使能的功能模块不同而已。本发明通过创建时间标记来记录一个时间段内的数据变化有其特有的优势:首先,以时间标记为单位进行数据调度可以支持并发数据传输,而现有技术中的连续性复制是每次写入就立刻传输,无论写入数据量大还是小,如果数据量小则无法充分利用带宽,也无法实现多个IO并发传输;其次,如果在一个时间标记对应的时间段内,如果某个地址空间中的数据被反复写入多次,那么事实上,本发明支持对通过调度合并仅仅同步一次这个地址空间的数据,而现有技术则可能需要同步多次,效率较低,对带宽资源是一种浪费。本发明在牺牲极少的实时性的前提下(时间标记对应的时间段的大小是可以配置的),但并发传输和有效利用带宽上取得了很大的技术优势,总体上更加能满足用户的需求。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (14)
1.一种准连续性数据复制装置,应用于生产中心的存储设备上,该存储设备作为生产中心的复制源设备,该复制源设备用于创建与复制源资源对应的第一复制资源,并通过第一复制资源将数据同步给远端灾备中心的复制目标设备,该装置包括时间标记管理单元、业务处理单元、复制调度单元以及复制执行单元,其特征在于:
时间标记管理单元,用于按照固定的周期生成最新时间标记并保存在时间标记列表中,其中该最新时间标记以及其他已经存在的老时间标记各不相同;
业务处理单元,用于处理数据写入命令,将数据写入到复制源资源以及第一复制资源中;并在数据变化表中生成对应的数据变化记录,其中该数据变化记录包括数据存储位置以及最新时间标记;
复制调度单元,用于定期查找数据变化表中是否存在老时间标记,如果是则选定最老的时间标记并转复制执行单元处理;
复制执行单元,用于获取数据变化表中与最老时间标记相关的所有数据变化记录,并根据每个记录中的数据存储位置从第一复制资源中获取对应数据;并将获取到的数据以及对应的时间标记携带在写命令中同步给复制目标设备。
2.如权利要求1所述的装置,其特征在于,当获取到的数据变化记录为多条时,所述复制执行单元进一步根据每条记录中的数据存储位置将各个记录进行合并,获取合并后的数据,以避免获取到的对应数据中存在重复数据。
3.如权利要求1所述的装置,其特征在于,所述业务处理单元进一步用于在更新数据变化记录时,判断当前写入数据的存储位置与最新时间标记对应的数据变化表中记录的存储位置是否存在重叠,如果是则更新数据变化表以避免数据变化表中不同记录中的存储位置存在重叠。
4.如权利要求1所述的装置,其特征在于,复制执行单元进一步用于在将获取到的数据以及对应的时间标记携带在写命令中同步给复制目标设备之后,通知时间标记管理单元,向复制目标设备发送时间标记同步完成通知,并删除对应的数据变化记录。
5.如权利要求4所述的装置,当所述存储设备作为灾备中心的目标设备时,该存储设备用于创建与灾备中心的复制副本资源对应的第二复制资源,其特征在于,该装置还包括:同步处理单元、同步时间标记管理单元、同步调度单元以及同步执行单元;
同步处理单元,用于接收来自复制源设备的写命令,从中获取到同步数据以及时间标记,并将该同步数据写入到第二复制资源中,生成同步变化记录,并将该记录保存在同步变化表中;其中该同步变化记录包括同步数据存储位置以及对应的时间标记;
同步时间标记管理单元,用于在接收到复制源设备发送的时间标记同步完成通知时,将该时间标记标作为老时间标记保存在同步时间标记列表中;
同步调度单元,用于查找同步变化表确定其中是否存在老时间标记,如果是则选定其中最老的时间标记;
同步执行单元,获取同步变化表中最老时间标记对应的所有同步变化记录,根据获取到的同步变化记录中的同步数据存储位置获得对应的同步数据;然后构造写入命令将获取到的同步数据写入到复制副本资源中。
6.如权利要求5所述的装置,其特征在于:所述同步执行单元进一步用于在获取到最老时间标记对应的所有同步变化记录中对应的同步数据之后,删除该些同步变化记录并通知同步时间标记管理单元;
所述同步时间标记管理单元,进一步用于收到该通知后在同步时间标记列表中删除对应的时间标记。
7.如权利要求5所述的装置,其特征在于:所述同步执行单元进一步用于响应用户指令,获取用户指定的同步变化表中的时间标记对应的所有同步变化记录,根据获取到的同步变化记录中的同步数据存储位置获得对应的同步数据;然后构造写入命令将获取到的同步数据写入到复制副本资源中。
8.一种准连续性数据复制方法,应用于生产中心的存储设备上,该存储设备作为生产中心的复制源设备,该复制源设备用于创建与复制源资源对应的第一复制资源,并通过第一复制资源将数据同步给远端灾备中心的复制目标设备,其特征在于,该方法包括:
步骤A、按照固定的周期生成最新时间标记并保存在时间标记列表中,其中该最新时间标记以及其他已经存在的老时间标记各不相同;
步骤B、处理数据写入命令,将数据写入到复制源资源以及第一复制资源中;并在数据变化表中生成对应的数据变化记录,其中该数据变化记录包括数据存储位置以及最新时间标记;
步骤C、定期查找数据变化表中是否存在老时间标记,如果是则选定最老的时间标记并转步骤D;
步骤D、获取数据变化表中与最老时间标记相关的所有数据变化记录,并根据每个记录中的数据存储位置从第一复制资源中获取对应数据;并将获取到的数据以及对应的时间标记携带在写命令中同步给复制目标设备。
9.如权利要求8所述的方法,其特征在于,当获取到的数据变化记录为多条时,所述步骤D进一步包括:
根据每条记录中的数据存储位置将各个记录进行合并,获取合并后的数据,以避免获取到的对应数据中存在重复数据。
10.如权利要求8所述的方法,其特征在于,所述步骤B进一步包括:
在更新数据变化记录时,判断当前写入数据的存储位置与最新时间标记对应的数据变化表中记录的存储位置是否存在重叠,如果是则更新数据变化表以避免数据变化表中不同记录中的存储位置存在重叠。
11.如权利要求8所述的方法,其特征在于,所述步骤D进一步包括:在将获取到的数据以及对应的时间标记携带在写命令中同步给复制目标设备之后,向复制目标设备发送时间标记同步完成通知,并删除对应的数据变化记录以及时间标记表中对应的时间标记。
12.如权利要求11所述的方法,当所述存储设备作为灾备中心的目标设备时,该存储设备用于创建与灾备中心的复制副本资源对应的第二复制资源,其特征在于,该方法还包括;
步骤E、接收来自复制源设备的写命令,从中获取到同步数据以及时间标记,并将该同步数据写入到第二复制资源中,生成同步变化记录,并将该记录保存在同步变化表中;其中该同步变化记录包括同步数据存储位置以及对应的时间标记;
步骤F、在接收到复制源设备发送的时间标记同步完成通知时,将该时间标记标作为老时间标记保存在同步时间标记列表中;
步骤G、查找同步变化表确定其中是否存在老时间标记,如果是则选定其中最老的时间标记;
步骤H、获取同步变化表中最老时间标记对应的所有同步变化记录,根据获取到的同步变化记录中的同步数据存储位置获得对应的同步数据;然后构造写入命令将获取到的同步数据写入到复制副本资源中。
13.如权利要求12所述的方法,其特征在于:所述步骤H进一步包括:
在获取到最老时间标记对应的所有同步变化记录中对应的同步数据之后,删除该些同步变化记录,并在同步时间标记列表中删除对应的时间标记。
14.如权利要求12所述的方法,其特征在于:所述步骤H进一步包括:
响应用户指令,获取用户指定的同步变化表中的时间标记对应的所有同步变化记录,根据获取到的同步变化记录中的同步数据存储位置获得对应的同步数据;然后构造写入命令将获取到的同步数据写入到复制副本资源中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210586178.XA CN103902405B (zh) | 2012-12-28 | 2012-12-28 | 一种准连续性数据复制方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210586178.XA CN103902405B (zh) | 2012-12-28 | 2012-12-28 | 一种准连续性数据复制方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103902405A CN103902405A (zh) | 2014-07-02 |
CN103902405B true CN103902405B (zh) | 2017-02-08 |
Family
ID=50993742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210586178.XA Active CN103902405B (zh) | 2012-12-28 | 2012-12-28 | 一种准连续性数据复制方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103902405B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106657168A (zh) * | 2015-07-27 | 2017-05-10 | 中兴通讯股份有限公司 | 同步数据方法、装置及系统 |
CN105843709B (zh) * | 2016-04-08 | 2019-01-25 | 杭州宏杉科技股份有限公司 | 差异数据扫描方法及装置 |
CN109240852A (zh) * | 2018-08-27 | 2019-01-18 | 郑州云海信息技术有限公司 | 一种数据拷贝的方法和装置 |
CN109005246B (zh) * | 2018-09-12 | 2021-10-01 | 北京国电通网络技术有限公司 | 一种数据的同步方法、装置及系统 |
CN110059111B (zh) * | 2019-04-17 | 2022-02-01 | 珠海金山网络游戏科技有限公司 | 一种数据调用方法、装置、一种计算设备及存储介质 |
CN110719326B (zh) * | 2019-10-08 | 2021-11-12 | 中国电子科技集团公司第二十八研究所 | 适应低质量通信链路的高可用软件系统内数据同步方法 |
CN113868331B (zh) * | 2021-08-20 | 2024-01-19 | 苏州浪潮智能科技有限公司 | 一种自适应的异步复制方法、装置及设备 |
CN115174596A (zh) * | 2022-07-27 | 2022-10-11 | 济南浪潮数据技术有限公司 | 一种设备远程复制方法、装置以及介质 |
CN116010997B (zh) * | 2023-03-20 | 2023-08-01 | 中国信息通信研究院 | 基于区块链的连续性校验的数据资源托管方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1223221C (zh) * | 2002-05-15 | 2005-10-12 | Lg电子株式会社 | 用于gprs的数据传输控制方法 |
JP2009081571A (ja) * | 2007-09-25 | 2009-04-16 | Oki Electric Ind Co Ltd | データフレーム伝送装置及びデータフレーム伝送方法 |
CN101808137A (zh) * | 2010-03-29 | 2010-08-18 | 成都市华为赛门铁克科技有限公司 | 数据传输方法、装置和系统 |
-
2012
- 2012-12-28 CN CN201210586178.XA patent/CN103902405B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1223221C (zh) * | 2002-05-15 | 2005-10-12 | Lg电子株式会社 | 用于gprs的数据传输控制方法 |
JP2009081571A (ja) * | 2007-09-25 | 2009-04-16 | Oki Electric Ind Co Ltd | データフレーム伝送装置及びデータフレーム伝送方法 |
CN101808137A (zh) * | 2010-03-29 | 2010-08-18 | 成都市华为赛门铁克科技有限公司 | 数据传输方法、装置和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103902405A (zh) | 2014-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103902405B (zh) | 一种准连续性数据复制方法及装置 | |
CN1902595B (zh) | 维持存储器数据一致性的方法和系统 | |
CN106407040B (zh) | 一种远程数据复制方法及系统 | |
CN102098342B (zh) | 一种基于事务级的数据同步方法、装置及系统 | |
CN110209726A (zh) | 分布式数据库集群系统、数据同步方法及存储介质 | |
CN102891849B (zh) | 业务数据同步方法、恢复方法及装置和网络设备 | |
CN101808137B (zh) | 数据传输方法、装置和系统 | |
CN104346373B (zh) | 分区日志队列同步管理方法及设备 | |
CN101061467B (zh) | 远程存储数据副本 | |
CN100388225C (zh) | 具有远程数据镜像的集群数据库 | |
CN105955836A (zh) | 一种冷热备份自动演练多功能系统 | |
CN107038091B (zh) | 一种基于异步远程镜像的数据安全性保护系统与电力应用系统数据保护方法 | |
CN103051681B (zh) | 一种面向分布式文件系统的协作式日志系统 | |
CN104935634B (zh) | 基于分布共享存储的移动设备数据共享方法 | |
CN102981931A (zh) | 虚拟机备份方法及装置 | |
CN106648993B (zh) | 一致性组快照管理的方法及装置 | |
CN105426427A (zh) | 基于raid 0 存储的mpp 数据库集群副本实现方法 | |
CN108197159A (zh) | 基于分布式文件系统的数据读取、写入方法及装置 | |
CN111966467B (zh) | 基于kubernetes容器平台灾备的方法及装置 | |
CN101937378B (zh) | 一种对存储设备的数据进行备份保护的方法及计算机系统 | |
CN106339387A (zh) | 一种数据库集群中新增服务器的数据同步方法及装置 | |
CN113905054B (zh) | 基于RDMA的Kudu集群数据同步方法、装置、系统 | |
CN105988901A (zh) | 数据复制方法及存储系统 | |
CN103970620B (zh) | 一种准连续性数据复制方法及装置 | |
CN110730095A (zh) | 一种面向云计算平台的数据安全应急演练方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C56 | Change in the name or address of the patentee | ||
CP01 | Change in the name or title of a patent holder |
Address after: 310052 Zhejiang City, Binjiang District Province, Torch Road, No. 581, block B, three-dimensional building, floor 9 Patentee after: Hangzhou Sequoia Polytron Technologies Inc Address before: 310052 Zhejiang City, Binjiang District Province, Torch Road, No. 581, block B, three-dimensional building, floor 9 Patentee before: Hangzhou MacroSAN Technologies Co., Ltd. |