CN103970620B - 一种准连续性数据复制方法及装置 - Google Patents

一种准连续性数据复制方法及装置 Download PDF

Info

Publication number
CN103970620B
CN103970620B CN201310029983.7A CN201310029983A CN103970620B CN 103970620 B CN103970620 B CN 103970620B CN 201310029983 A CN201310029983 A CN 201310029983A CN 103970620 B CN103970620 B CN 103970620B
Authority
CN
China
Prior art keywords
time
data
labelling
time labelling
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310029983.7A
Other languages
English (en)
Other versions
CN103970620A (zh
Inventor
上官应兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Sequoia Polytron Technologies Inc
Original Assignee
Hangzhou Sequoia Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Sequoia Polytron Technologies Inc filed Critical Hangzhou Sequoia Polytron Technologies Inc
Priority to CN201310029983.7A priority Critical patent/CN103970620B/zh
Publication of CN103970620A publication Critical patent/CN103970620A/zh
Application granted granted Critical
Publication of CN103970620B publication Critical patent/CN103970620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供一种准连续性数据复制方法及装置,应用于存储设备上,该方法包括:按照预定的时间规则通知主机下刷其缓存的数据;下刷完毕后为最新时间标记生成对应的时间点标识,通知主机恢复业务运行;获取数据变化表中与最老时间标记相关的所有数据变化记录,并根据每个记录中的数据存储位置获取同步数据;将同步数据以及对应的时间标记携带在写命令中发送给复制目标设备;在最老时间标记对应的同步数据发送完成后向复制目标设备发送时间标记同步完成通知其中当该时间标记有对应的时间点标识时,将该时间点标识携带在时间标记同步完成通知中发送给复制目标设备。本发明有效解决了用户最关心的业务数据完整性问题,在提升用户体验上效果显著。

Description

一种准连续性数据复制方法及装置
技术领域
本发明涉及存储技术领域,尤其涉及一种连续性的数据复制方法及装置。
背景技术
远程复制可以将生产中心的数据通过远程链路(比如IP或者FC)传输到灾难备份中心,这样可以保证当生产中心发生故障时,可以通过灾难备份中心的数据进行恢复。
在常见的数据中心数据保护方案中,远程复制是一种典型的技术方案。通过远程复制,管理者可以将生产中心的数据通过远程链路(比如IP或者FC)传输到灾难备份中心(灾备中心),这样可以保证当生产中心发生故障时,可以通过灾备中心的数据进行恢复。图1是一个典型的远程复制解决方案,在该方案中,生产中心的存储设备用于日常业务运行,灾备中心的存储设备作为备份,二者之间通过网络连接,通过复制功能传输数据。同时,应用服务器通过网络连接到两个数据中心,一旦生产中心发生灾难,应用立即可以切换到灾备中心去。为了保证应用切换到灾备中心后,业务可以正常运行,最基本的要求就是副本资源的数据具有完整性和一致性。
请参考图2,在现有技术方案中,为了保证数据的完整性和一致性,常规的做法是:每次复制被触发时在复制源资源上创建一个临时的快照时间点,基于上述快照时间点进行复制。这种方法可以保证复制到复制副本资源上的数据都是基于同一个时间点的数据平面。为了保证时间点数据的一致性和完整性,在创建快照时间点之前,通常还会发送通知,通知客户端应用服务器进行相应处理,比如刷新缓存中的数据,或者对应用做特殊处理(把数据库带入归档模式等)。
在创建快照时间点之后,首写拷贝是最常见的一种快照实现方式。具体思路是:在创建快照时间点以后,源资源上数据区第一次发生写操作时,先将该数据区中原来的数据拷贝到快照资源,然后再执行写操作。当该数据区中再次发生写操作时,因为快照时间点对应时刻的数据已经保存在快照资源中,因此不需要再次执行拷贝操作,直接执行写操作即可。请参考图2,一个需要进行首写拷贝的写命令的处理过程:应用服务器发起一个写命令,存储设备收到写命令后,根据写命令的地址和长度,从源资源中把对应区域的数据读取出来。然后将读取到的数据写入快照资源,最后将写命令数据写入源资源。
由上述方案说明可以看出,创建快照时间点可以得到一个完全一致的数据平面,但是一旦存在时间点,复制源资源上的每一个写IO都需要先判断是否需要进行首写拷贝,如果需要,可以看出,1个写IO操作将被扩展为:1个读IO(读源资源中旧数据)+1个写IO(写旧数据到快照资源)+1个写IO(写新数据到源资源),而且3个操作将顺序进行,不能并发处理。很明显,创建快照时间点后,极端情况下,业务性能表现将下降到正常情况的1/3。即复制过程中,创建时间点,将极大程度影响源资源的性能。
发明内容
有鉴于此,本发明提供一种准连续性数据复制装置,应用于生产中心的存储设备上,该存储设备作为生产中心的复制源设备,该复制源设备用于创建与复制源资源对应的第一复制资源,并通过第一复制资源将数据同步给远端灾备中心的复制目标设备,该装置包括时间标记管理单元、业务处理单元、复制调度单元以及复制执行单元,其中:
时间标记管理单元,用于按照固定的周期生成最新时间标记并保存在时间标记列表中,其中该最新时间标记以及其他已经存在的老时间标记各不相同;
业务处理单元,用于处理来自主机的数据写入命令,将数据写入到复制源资源以及第一复制资源中;并在数据变化表中生成对应的数据变化记录,其中该数据变化记录包括数据存储位置以及最新时间标记;其中业务处理单元还用于按照预定的时间规则通知主机下刷其缓存的数据;并在收到主机发送的下刷完毕通知时为当前最新时间标记生成对应的时间点标识,并保存该时间点标识与当前最新时间标记之间的对应关系,然后通知标记管理单元生成新的时间标记并通知主机恢复业务运行;
复制调度单元,用于定期查找数据变化表中是否存在老时间标记,如果是则选定最老的时间标记并转复制执行单元处理;
复制执行单元,用于获取数据变化表中与最老时间标记相关的所有数据变化记录,并根据每个记录中的数据存储位置从第一复制资源中获取对应数据作为同步数据;将同步数据以及对应的时间标记携带在写命令中发送给复制目标设备,其中该复制执行单元进一步用于在最老时间标记对应的同步数据发送完成后向复制目标设备发送时间标记同步完成通知并删除对应的数据变化记录,通知时间标记管理单元删除该最老时间标记;其中当该时间标记有对应的时间点标识时,复制执行单元将该时间点标识携带在时间标记同步完成通知中发送给复制目标设备。
本发明还提供一种准连续性数据复制方法,应用于生产中心的存储设备上,该存储设备作为生产中心的复制源设备,该复制源设备用于创建与复制源资源对应的第一复制资源,并通过第一复制资源将数据同步给远端灾备中心的复制目标设备,其特征在于,该方法包括以下步骤:
步骤A、按照固定的周期生成最新时间标记并保存在时间标记列表中,其中该最新时间标记以及其他已经存在的老时间标记各不相同;
步骤B、处理来自主机的数据写入命令,将数据写入到复制源资源以及第一复制资源中;并在数据变化表中生成对应的数据变化记录,其中该数据变化记录包括数据存储位置以及最新时间标记;
步骤C、按照预定的时间规则通知主机下刷其缓存的数据;并在收到主机发送的下刷完毕通知时为当前最新时间标记生成对应的时间点标识,并保存该时间点标识与当前最新时间标记之间的对应关系,生成新的时间标记并通知主机恢复业务运行;
步骤D、定期查找数据变化表中是否存在老时间标记,如果是则选定最老的时间标记并转步骤E处理;
步骤E、获取数据变化表中与最老时间标记相关的所有数据变化记录,并根据每个记录中的数据存储位置从第一复制资源中获取对应数据作为同步数据;将同步数据以及对应的时间标记携带在写命令中发送给复制目标设备;
步骤F、在最老时间标记对应的同步数据发送完成后向复制目标设备发送时间标记同步完成通知并删除对应的数据变化记录,删除该最老时间标记;其中当该时间标记有对应的时间点标识时,将该时间点标识携带在时间标记同步完成通知中发送给复制目标设备。
本发明提供了多种实施方式,并通过创建时间标记以及时间点标识来辅助复制业务的执行,通过时间标记记录一个时间段内的数据变化,允许以时间标记为单位进行数据调度,可以支持并发数据传输,提高传输效率,另外还可以进一步支持多个IO的合并,避免传输重复数据;通过使用时间点标识可以很好地确保复制过程中在业务层面上数据具有完整性,有效解决了用户最关心的业务数据完整性问题,在提升用户体验上效果显著。
附图说明
图1是一种典型的数据复制过程示意图。
图2是现有技术中一种快照处理流程图。
图3是本发明中一种准连续性异步复制处理过程示意图。
图4是本发明一种准连续复制装置的逻辑结构图。
图5是本发明一种准连续复制过程源设备侧的流程图。
图6是本发明一种准连续复制过程目标设备侧的流程图。
具体实施方式
请参考图3、图4、图5以及图6,本发明提供一种改进的准连续性数据复制装置。以软件实现为例,该装置应用于存储设备上,为生产中心(生产数据中心)的复制源资源提供准连续性复制服务。所述生产中心包括作为复制源设备的第一存储设备、复制源设备创建的复制源资源以及第一复制资源。相应地,远程的灾备中心包括作为复制目标设备第二存储设备、复制目标设备创建的复制副本资源以及第二复制资源。从便于用户使用的角度考虑,在优选的方式中,第一存储设备与第二存储设备可以采用相同的设计方案,也就是说其包括相同的连续性复制装置,只是处于不同位置时运行不同的逻辑功能;当然这并不是必须的。以软件实现为例,复制源一侧的准连续性数据复制装置运行在复制源设备上,包括时间标记管理单元、业务处理单元、复制调度单元以及复制执行单元,其运行时与对端的连续性复制装置配合,对端的准连续性数据复制装置包括同步处理单元、同步调度单元、同步时间标记管理单元以及同步执行单元。两侧的两个装置互相配置执行如下一般处理流程。
步骤101,时间标记管理单元按照固定的周期生成最新时间标记并保存在时间标记列表中,其中该最新时间标记以及其他已经存在的老时间标记各不相同;
步骤102,业务处理单元处理来自主机的数据写入命令,以并行的方式将数据写入到复制源资源以及第一复制资源中;并在数据变化表中生成对应的数据变化记录,该数据变化记录包括数据存储位置以及最新时间标记;
步骤103,业务处理单元按照预定的时间规则通知主机下刷其内的缓存的数据;
步骤104,主机暂停其上的业务运行,并构造写入命令以将自身缓存中的数据下刷给复制源设备;
步骤105,主机在缓存中的数据下刷完成后向复制源设备发送下刷完毕通知;
步骤106,业务处理单元在收到所述下刷完毕通知时为当前最新时间标记生成对应的时间点标识,并保存该时间点标识与当前最新时间标记之间的对应关系,然后通知标记管理单元生成新的时间标记并通知主机恢复业务运行;
步骤107,复制调度单元定期查找数据变化表中是否存在老时间标记,
如果是则选定最老的时间标记并转复制执行单元处理,否则返回;
步骤108,复制执行单元获取数据变化表中与最老时间标记对应的所有数据变化记录,根据每个记录中的数据存储位置从第一复制资源中获取对应数据作为同步数据;
步骤109,复制执行单元将获取到的同步数据以及对应的时间标记携带在写命令中同步给复制目标设备;
步骤110,复制执行单元在最老时间标记对应的同步数据发送完成后向复制目标设备发送时间标记同步完成通知并删除对应的数据变化记录,通知时间标记管理单元删除该最老时间标记;其中当该时间标记有对应的时间点标识时,复制执行单元将该时间点标识携带在时间标记同步完成通知中发送给复制目标设备;
步骤111,时间标记管理单元根据复制执行单元的通知在时间标记列表中删除对应的时间标记;
步骤112,同步处理单元接收来自复制源设备的写命令,从中获取到同步数据以及时间标记,并将该同步数据写入到第二复制资源中,生成同步变化记录,并将该记录保存在同步变化表中;其中该同步变化记录包括同步数据存储位置以及对应的时间标记。
步骤113,同步时间标记管理单元在接收到复制源设备发送的时间标记同步完成通知时,将该时间标记标作为老时间标记保存在同步时间标记列表中;
步骤114,当所述时间标记同步完成通知中携带有时间点标识时,所述同步调度单元获取同步变化表中该时间点标识对应的时间标记以及之前的所有老时间标记作为待处理时间标记,转同步执行单元处理;
步骤115,同步执行单元从同步变化表中获取与待处理时间标记对应的同步变化记录,并根据同步变化记录中的存储位置获得对应的同步数据;
步骤116,同步执行单元创建与该时间点标识对应的同步数据快照点;
步骤117,同步执行单元构造写入命令将获取到的同步数据写入到复制副本资源中,然后删除对应的同步变化记录并通知同步时间标记管理单元;
步骤118,同步时间标记管理单元在收到同步执行单元的通知之后在对应的同步时间标记列表中删除所述待处理时间标记。
在生产中心一侧,数据中心的各种应用服务器或其他数据生产设备(统称为主机)会不断地向复制源资源中写入数据。复制源资源通常是构建在存储设备的磁盘阵列上的。与复制源资源对应的是灾备中心的复制目标资源,复制过程的目标就是将复制源资源上的数据复制到复制副本资源上。在本发明中,在源资源侧,复制源设备(存储设备)可以预先创建出第一复制资源。复制资源的主要作用是存放待复制的数据,相当于一个镜像的暂存性质的资源,存储设备在响应服务器读命令时通常是从复制源资源中获取数据的,而不是从复制资源中读取该数据,虽然复制资源中可能有同样的数据。复制资源所占用的空间大小通常也不是很大,因为有些数据复制完成后,就可以从复制资源上删除或者覆盖掉。
在复制源设备上,业务处理单元接收到主机(比如各种应用服务器)写入命令后,除了业务数据写入到复制源资源中之外,还会同样将业务数据写入到复制资源中。通常这两个写入操作基本是在同时执行,在完成两个写入操作后,业务处理单元就可以向主机响应写入成功了。在本发明中,数据写入第一复制资源的时候,业务处理单元同时还需要在数据变化表中记录下本次数据写入的相关信息,主要包括数据在第一复制资源上的存储位置以及当前最新的时间标记。在优选的方式中,数据存储位置可以包括起始地址以及结束地址,或者包括起始地址以及数据长度。时间信息是由时间标记管理单元自动创建的时间标记。时间标记可以是任何数据类型的标记,用来表示一个时间段,假设时间段是10分钟,则时间标记可以是时间点,比如19:00、19:10、19:20......,当然时间标记也可以是一些具有唯一性的序列号。在本发明中,时间标记的产生需要体现出时间上的先后顺序,后续复制调度以及执行过程需要使用到该先后顺序。而对于业务处理单元来说,新增数据变化记录时所使用的时间标记均为最新的时间标记。由于时间标记代表了一个预定的时间段,因此在这个时间段内,所有数据变化记录对应的时间标记均相同。当这个时间段过去之后,这个时间标记就变成了老时间标记,而业务处理单元将使用更新的时间标记来记录更新的数据变化情况。
从复制的调度来说,对于当前最新的时间标记,由于这个时间标记对应的时间段还没有过去,因此业务数据可能会持续不断地写入进来,因此最新的时间标记是一个业务上活动的时间标记,不是复制调度的对象。而其他老的时间标记(可能不止一个)则属于不活动的时间标记,因为业务处理单元不会再以这些时间标记为标记记录数据变化了。这些老时间标记对应的数据变化记录就可以作为复制调度的对象了。
在复制调度过程中,为了确保调度的有序性可以从最老的时间标记开始调度。调度的方式采用定期调度,每隔一个预定的时间周期就检查数据变化表中是否有老时间标记,如果有获取与最老时间标记对应的数据变化记录。在获取数据变化记录上,可以一次性获取全部,也可以每次获取一条或者若干条。在优选的是方式中,当获取到的数据变化记录为多条时,复制执行单元根据每条记录中的数据存储位置将各个记录进行合并,获取合并后的数据,以避免获取到的对应数据中存在重复数据。考虑到有些空间在一个时间标记范围内可能被反复写入数据,如果不进行优化处理,则可能会有部分数据被多次传输。请参考表1这一示例性的数据变化记录表。
表1
请参考表1,假设时间标记A是最老的时间标记,那么调度是从A开始的,然后再调度B。从表1中可以看出,时间标记A对应的时间段内一共有两条数据变化记录,其中第i条与第ii条记录显示出第ii条记录中数据其实已经被包括在第i条中了,因此事实上只需要复制一次地址1到地址15中的数据即可。同样的道理,对于第iii以及第iv两条记录来说只需要复制一次地址18到地址30的数据即可。以上实施方式是在同步之前将IO进行合并来减少数据传输量,本发明还提供另一种在数据写入过程中实现合并的实施方式,在该实施方式中业务处理单元进一步在更新数据变化记录表时,判断当前写入数据的存储位置与最新时间标记对应的数据记录表中记录的存储位置是否存在重叠,如果是则更新数据记录表以避免数据记录表中不同记录中的存储位置存在重叠。请参考表1,假设A是最新时间标记,此时写入的数据地址是4-8,查询数据变化记录表可以发现该地址已经在第i条记录中存在了,此时数据变化记录表的更新操作为保持当前第i条记录不变。值得注意的是,在本实施方式中,表1的第ii条记录肯定是不存在的,本处仅仅是借用表1进行示例性的说明。调度到数据变化记录并获取数据之后,复制执行单元就可以构造写命令的将这些数据作为同步数据发送给对端的复制目标设备了,在发送数据的过程中需要携带对应的时间标记信息。
事实上,以上同步的过程只能保证复制目标设备能得到与复制源资源上一直的副本数据,这里的完整性仅仅限于复制源资源的数据,其只是相对完整的数据。从业务角度来说,复制源资源上的数据未必是最为完整的。由于主机在处理数据时,出于效率等多种考虑,尤其是使用数据库时,主机可能会将部分数据暂时存放在缓存中,而一部分数据会先通过写入命令写入源资源。这也就是说复制源资源以及第一复制资源中的当前的数据事实上是不完整的业务数据,对用户来说有可能是不可用的。正因如此,本发明引入新的处理机制,在准备创建新的时间标记之前,通知主机暂时挂起业务处理,下刷主机上所有缓存的数据。主机可以相应构造命令来执行数据下刷操作。业务处理单元收到主机的下刷完毕通知时,可以表示复制源资源上保存有当前真正完整的业务数据,此时业务处理单元可以生成一个时间点标识,并将时间点标识与当前最新时间标记的对应关系保存起来,比如保存在数据变化记录中(请参考表1的示例)。该时间点标识事实上是一个某个时间点上数据完整性的标识,在复制执行的过程中可以通过控制通道发送给对端的复制目标设备。一旦生成了时间点标识之后,那么当前最新的时间标记就应该老化,否则来自主机业务恢复之后会继续写入业务。因此,可以理解的是,在正常情况下,时间标记管理单元是按照固定周期生成时间标识的,但是如果是收到了业务处理单元的通知,则会立刻生成新的时间标识。
在优选的是方式,为了进一步提高效率,可以每生成M(大于等于1,比如10)个时间标记就通知主机下刷缓存中的数据,也就是说时间点标识的生成周期大致为时间标记生成周期的M倍,当然预定的时间规则未必要和时间标记的生成挂钩,也可以是一个指定的周期。由于时间点标识是数据完整性的保障,更多的时间点标识将可以提供更多的选择;但是每次时间点标识的生成都意味着主机要先暂停(也称为挂起)其自身的业务,直到下刷完毕;因此过于频繁会导致主机的业务表现受到影响,实施时可以根据主机业务实际需要来调整做相应调整,在完整性表项和主机性能表项之间取得平衡。
复制目标设备一侧的处理与复制源设备侧的处理是相对应的。首先复制目标设备需要将这些同步数据写入到第二复制资源里面,然后再调度复制到复制副本资源中。对于复制目标设备来说,正在接收的数据其对应的时间标记是最新时间标记,一旦源设备发送时间标记同步完成通知则说明该时间标记内地的变化数据已经传输完毕,此时该时间标记就可以被理解为老时间标记,对应的数据可以写入到复制副本中了。如前所述,以上过程仅仅是保证了复制源设备上同步的数据的完整性。然而事实上从主机角度来说则未必完整的,而本发明引入时间点标识即可帮助这个同步过程实现真正的数据完整性。请参考表1,在调度到时间标记B并完成同步之后,复制执行单元可以发送时间标记B完成通知给同步目标设备,在这个通知中携带对应的时间点标识x。在复制目标设备一侧,就可以根据这个时间点标识x确定此刻主机上所有的数据都已经完成下刷,在这个时间点标识之前的数据一定是完整的,因此同步执行单元可以将时间标记A以及B下对应的同步数据全部从第二复制资源写到复制副本资源中。在优选的方式中,为了给用户更多数据回滚的选择,同步执行单元可以在将同步数据写入到复制副本资源之前创建数据快照点,这一过程可以利用快照技术中的首写拷贝来实现。由于同步执行单元为复制副本资源创建了很多数据快照点,因此用户可以依照数据快照点来执行数据回滚。而由于快照是在复制目标设备侧执行,读取的是复制副本资源,因此对生产中心的复制源资源的性能表现并无任何影响。由此可见,时间点标识处理机制的引入可以让保证复制源资源在时间点标识之前的业务数据是完整的,也就是说同步过程的对象是完整的,并且在此基础上利用快照技术可以在不影响源资源性能表现的情况下提供给用户更多数据回滚选择。
此外,在优选的方式中,考虑到生产中心源资源或者源设备发生故障或者不可用的情况,此时同步过程将中止,而管理员则可以随时向复制目标设备上的同步执行单元发送用户指令以将同步数据从第二复制资源写入到复制副本资源中。由于本发明引入了时间点标识,此时如果某个时间标记有对应的时间点标识,那么管理员就可以知道这个时间点标识之前的同步数据在业务上是完整的。如果有多个时间标记都存在对应的时间点标识,那么管理员可以根据需要来选择使用哪个时间点标识。事实上并不是时间点标识越新就越好,比如最新时间点标识下对应的业务数据可能已经遭到病毒破坏。被因为有些时候管理员可能需要一个特定时间点上的业务数据,一旦管理员选定了一个时间点标识,那么该时间点标识对应的时间标记以及更老的时间标记都可以被选定为待处理的时间标记。此时管理员下发对应的用户指令,同步执行单元响应用户指令,获取用户指定的同步变化表中的待处理时间标记对应的所有同步变化记录,根据获取到的同步变化记录中的同步数据存储位置获得对应的同步数据;然后构造写入命令将获取到的同步数据写入到复制副本资源中。这样的处理允许管理员将指定时间点标识之前所有时间标记对应的数据删除或者写入到复制副本中。在故障等特殊情况下,方便管理员根据实际需要来取得其需要的同步数据,可以确保同步到复制副本中数据的真正完整性。
在本发明中,时间标记可以保障两个资源上数据的一致性,而时间点标记则可以确保副本资源最终可以基于一个时间点保存有该时间点之前所有主机的业务数据。同步执行单元在收到时间标记同步完成通知时检查其中是否携带有时间点标识,如果有则获取该时间点标识之前所有的时间标记对应的同步变化记录,根据同步变化记录中的存储位置获取对应同步数据。请参考表2所示,由于当时间标记B对应的数据同步完成后,对应的同步完成通知中将携带有时间点标识x。时间点标识x可以用来触发同步执行单元将数据从第二复制资源写入到复制副本资源中。时间点标识x与时间标记B是对应的,而时间标记A比时间标记B更老,因此同步执行单元将获取时间标记A以及时间标记B对应的所有数据,并将获取到的数据写入到副本资源中。
表2
值得注意的是,以上的复制源设备与复制目标设备两侧的设计改进其实均可以在一个台存储设备上实现,存储设备在复制源侧或者目标侧是所使能的功能模块不同而已。本发明通过时间点标识和时间标记共同作用来提升复制过程的数据完整性以及处理效率。首先,引入时间点标识处理机制可以确保复制源资源上的数据在某些时间点下在业务层面上具有真正的完整性,其次,以时间标记为单位进行数据调度可以支持并发数据传输,而现有技术中的连续性复制是每次写入就立刻传输,无论写入数据量大还是小,如果数据量小则无法充分利用带宽,也无法实现多个IO并发传输;另外,如果在一个时间标记对应的时间段内,如果某个地址空间中的数据被反复写入多次,本发明支持对通过调度合并仅仅同步一次这个地址空间的数据,而现有技术则可能需要同步多次,效率较低,对带宽资源是一种浪费。本发明在复制完整性以及复制处理效率上均较现有技术有大幅度的优化,且整个过程对于复制源资源的性能表现几乎没有影响。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (12)

1.一种准连续性数据复制装置,应用于生产中心的存储设备上,该存储设备作为生产中心的复制源设备,该复制源设备用于创建与复制源资源对应的第一复制资源,并通过第一复制资源将数据同步给远端灾备中心的复制目标设备,该装置包括时间标记管理单元、业务处理单元、复制调度单元以及复制执行单元,其特征在于:
时间标记管理单元,用于按照固定的周期生成最新时间标记并保存在时间标记列表中,其中该最新时间标记以及其他已经存在的老时间标记各不相同;
业务处理单元,用于处理来自主机的数据写入命令,将数据写入到复制源资源以及第一复制资源中;并在数据变化表中生成对应的数据变化记录,其中该数据变化记录包括数据存储位置以及最新时间标记;其中业务处理单元还用于按照预定的时间规则通知主机下刷其缓存的数据;并在收到主机发送的下刷完毕通知时为当前最新时间标记生成对应的时间点标识,并保存该时间点标识与当前最新时间标记之间的对应关系,然后通知标记管理单元生成新的时间标记并通知主机恢复业务运行;
复制调度单元,用于定期查找数据变化表中是否存在老时间标记,如果是则选定最老的时间标记并转复制执行单元处理;
复制执行单元,用于获取数据变化表中与最老时间标记相关的所有数据变化记录,并根据每个记录中的数据存储位置从第一复制资源中获取对应数据作为同步数据;将同步数据以及对应的时间标记携带在写命令中发送给复制目标设备,其中该复制执行单元进一步用于在最老时间标记对应的同步数据发送完成后向复制目标设备发送时间标记同步完成通知并删除对应的数据变化记录,通知时间标记管理单元删除该最老时间标记;其中当该时间标记有对应的时间点标识时,复制执行单元将该时间点标识携带在时间标记同步完成通知中发送给复制目标设备。
2.如权利要求1所述的装置,其特征在于,当获取到的数据变化记录为多条时,所述复制执行单元进一步根据每条记录中的数据存储位置将各个记录进行合并,获取合并后的数据,以避免获取到的对应数据中存在重复数据。
3.如权利要求1所述的装置,其特征在于,所述业务处理单元进一步用于在更新数据变化记录时,判断当前写入数据的存储位置与最新时间标记对应的数据变化表中记录的存储位置是否存在重叠,如果是则更新数据变化表以避免数据变化表中不同记录中的存储位置存在重叠。
4.如权利要求1所述的装置,其特征在于,所述预定的时间规则为每生成M个时间标记则相应通知主机下刷其缓存的数据,其中M大于等于1。
5.如权利要求1所述的装置,当所述存储设备作为灾备中心的目标设备时,该存储设备用于创建与灾备中心的复制副本资源对应的第二复制资源,其特征在于,该装置还包括:同步处理单元、同步时间标记管理单元、同步调度单元以及同步执行单元;
同步处理单元,用于接收来自复制源设备的写命令,从中获取到同步数据以及时间标记,并将该同步数据写入到第二复制资源中,生成同步变化记录,并将该记录保存在同步变化表中;其中该同步变化记录包括同步数据存储位置以及对应的时间标记;
同步时间标记管理单元,用于在接收到复制源设备发送的时间标记同步完成通知时,将该时间标记标作为老时间标记保存在同步时间标记列表中;
同步调度单元,用于在所述时间标记同步完成通知中携带有时间点标识时,获取同步变化表中该时间点标识对应的时间标记以及之前的所有老时间标记作为待处理时间标记;
同步执行单元,获取同步变化表中与待处理时间标记对应的同步变化记录,根据获取到的同步变化记录中的同步数据存储位置获得对应的同步数据;然后构造写入命令将获取到的同步数据写入到复制副本资源中,然后删除对应的同步变化记录,通知同步时间标记管理单元删除对应的时间标记。
6.如权利要求5所述的装置,其特征在于:所述同步执行单元,进一步用于在将所述同步数据写入到复制副本资源之前,创建与所述时间点标识对应的数据快照点。
7.一种准连续性数据复制方法,应用于生产中心的存储设备上,该存储设备作为生产中心的复制源设备,该复制源设备用于创建与复制源资源对应的第一复制资源,并通过第一复制资源将数据同步给远端灾备中心的复制目标设备,其特征在于,该方法包括以下步骤:
步骤A、按照固定的周期生成最新时间标记并保存在时间标记列表中,其中该最新时间标记以及其他已经存在的老时间标记各不相同;
步骤B、处理来自主机的数据写入命令,将数据写入到复制源资源以及第一复制资源中;并在数据变化表中生成对应的数据变化记录,其中该数据变化记录包括数据存储位置以及最新时间标记;
步骤C、按照预定的时间规则通知主机下刷其缓存的数据;并在收到主机发送的下刷完毕通知时为当前最新时间标记生成对应的时间点标识,并保存该时间点标识与当前最新时间标记之间的对应关系,生成新的时间标记并通知主机恢复业务运行;
步骤D、定期查找数据变化表中是否存在老时间标记,如果是则选定最老的时间标记并转步骤E处理;
步骤E、获取数据变化表中与最老时间标记相关的所有数据变化记录,并根据每个记录中的数据存储位置从第一复制资源中获取对应数据作为同步数据;将同步数据以及对应的时间标记携带在写命令中发送给复制目标设备;
步骤F、在最老时间标记对应的同步数据发送完成后向复制目标设备发送时间标记同步完成通知并删除对应的数据变化记录,删除该最老时间标记;其中当该时间标记有对应的时间点标识时,将该时间点标识携带在时间标记同步完成通知中发送给复制目标设备。
8.如权利要求7所述的方法,其特征在于,步骤E进一步包括:当获取到的数据变化记录为多条时,进一步根据每条记录中的数据存储位置将各个记录进行合并,获取合并后的数据,以避免获取到的对应数据中存在重复数据。
9.如权利要求7所述的方法,其特征在于,所述步骤B进一步包括:
在更新数据变化记录时,判断当前写入数据的存储位置与最新时间标记对应的数据变化表中记录的存储位置是否存在重叠,如果是则更新数据变化表以避免数据变化表中不同记录中的存储位置存在重叠。
10.如权利要求7所述的方法,其特征在于,所述预定的时间规则为每生成M个时间标记则相应通知主机下刷其缓存的数据,其中M大于等于1。
11.如权利要求7所述的方法,当所述存储设备作为灾备中心的目标设备时,该存储设备用于创建与灾备中心的复制副本资源对应的第二复制资源,其特征在于,该方法还包括:
步骤G、接收来自复制源设备的写命令,从中获取到同步数据以及时间标记,并将该同步数据写入到第二复制资源中,生成同步变化记录,并将该记录保存在同步变化表中;其中该同步变化记录包括同步数据存储位置以及对应的时间标记;
步骤H、在接收到复制源设备发送的时间标记同步完成通知时,将该时间标记标作为老时间标记保存在同步时间标记列表中;
步骤I、在所述时间标记同步完成通知中携带有时间点标识时,获取同步变化表中该时间点标识对应的时间标记以及之前的所有老时间标记作为待处理时间标记;
步骤J、获取同步变化表中与待处理时间标记对应的同步变化记录,根据获取到的同步变化记录中的同步数据存储位置获得对应的同步数据;然后构造写入命令将获取到的同步数据写入到复制副本资源中,然后删除对应的同步变化记录以及对应的时间标记。
12.如权利要求11所述的方法,其特征在于:所述步骤J进一步包括:
在将所述同步数据写入到复制副本资源之前,创建与所述时间点标识对应的数据快照点。
CN201310029983.7A 2013-01-24 2013-01-24 一种准连续性数据复制方法及装置 Active CN103970620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310029983.7A CN103970620B (zh) 2013-01-24 2013-01-24 一种准连续性数据复制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310029983.7A CN103970620B (zh) 2013-01-24 2013-01-24 一种准连续性数据复制方法及装置

Publications (2)

Publication Number Publication Date
CN103970620A CN103970620A (zh) 2014-08-06
CN103970620B true CN103970620B (zh) 2017-03-22

Family

ID=51240151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310029983.7A Active CN103970620B (zh) 2013-01-24 2013-01-24 一种准连续性数据复制方法及装置

Country Status (1)

Country Link
CN (1) CN103970620B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447033B (zh) * 2014-08-28 2019-06-11 国际商业机器公司 在复制初始化中生成初始副本的方法和装置
CN106776369B (zh) * 2016-12-12 2020-07-24 苏州浪潮智能科技有限公司 一种缓存镜像的方法及装置
KR20190123990A (ko) * 2018-04-25 2019-11-04 에스케이하이닉스 주식회사 메모리 컨트롤러 및 그 동작 방법
CN111382024B (zh) * 2018-12-28 2023-07-14 金篆信科有限责任公司 一种数据库主备复制延迟监控方法、装置和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009081571A (ja) * 2007-09-25 2009-04-16 Oki Electric Ind Co Ltd データフレーム伝送装置及びデータフレーム伝送方法
CN101753609A (zh) * 2008-12-15 2010-06-23 中国移动通信集团公司 分布式系统版本控制方法、节点及系统
CN101808137A (zh) * 2010-03-29 2010-08-18 成都市华为赛门铁克科技有限公司 数据传输方法、装置和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009081571A (ja) * 2007-09-25 2009-04-16 Oki Electric Ind Co Ltd データフレーム伝送装置及びデータフレーム伝送方法
CN101753609A (zh) * 2008-12-15 2010-06-23 中国移动通信集团公司 分布式系统版本控制方法、节点及系统
CN101808137A (zh) * 2010-03-29 2010-08-18 成都市华为赛门铁克科技有限公司 数据传输方法、装置和系统

Also Published As

Publication number Publication date
CN103970620A (zh) 2014-08-06

Similar Documents

Publication Publication Date Title
CN106407040B (zh) 一种远程数据复制方法及系统
EP1111509B1 (en) Apparatus for enabling independent access to replicated data
CN109074297A (zh) 在同步复制的数据集中启用数据完整性检查和更快的应用恢复
CN103902405B (zh) 一种准连续性数据复制方法及装置
JP4173673B2 (ja) ファイルバックアップ方法および記憶装置
CN101061467B (zh) 远程存储数据副本
US7139851B2 (en) Method and apparatus for re-synchronizing mirroring pair with data consistency
JP4731975B2 (ja) データベース管理方法、およびストレージシステム
US20030229764A1 (en) Data storage subsystem
JP2018041506A (ja) データ送信方法、データ受信方法、及びストレージデバイス
CN105574187B (zh) 一种异构数据库复制事务一致性保障方法及系统
JP2006209775A (ja) データ追跡を有するストレージ複製システム
JP2007183930A (ja) 異なるコピー技術を用いてデータをミラーリングするときの整合性の維持
JP2003248605A (ja) ストレージシステム、主記憶システム、副記憶システム、及びそのデータ複写方法
CN110023912A (zh) 异步本地和远程生成一致的时间点快照拷贝
CN104067219A (zh) 确定用于作业复制在存储装置上存储的对象的时间表
CN103970620B (zh) 一种准连续性数据复制方法及装置
JP2007220103A (ja) 結合セッション環境におけるセッションのクラスタのためのセッション情報の統合方法、システム、およびプログラム
KR20100063739A (ko) 정센터의 가상 테이프 장치, 부센터의 가상 테이프 장치, 가상 라이브러리 시스템 및 가상 테이프 제어 방법
CN107203327A (zh) 一种用于存储系统的方法和装置
CN106528338A (zh) 一种远程数据复制方法、存储设备及存储系统
CN108762982A (zh) 一种数据库恢复方法、装置及系统
JP2006039976A (ja) リモートコピーシステム
WO2023019953A1 (zh) 数据同步方法、系统、服务器及存储介质
CN106326030A (zh) 用于存储系统中的软切换的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
CB02 Change of applicant information

Address after: 310052 Zhejiang City, Binjiang District Province, Torch Road, No. 581, block B, three-dimensional building, floor 9

Applicant after: MACROSAN TECHNOLOGIES Co.,Ltd.

Address before: 310052 Zhejiang City, Binjiang District Province, Torch Road, No. 581, block B, three-dimensional building, floor 9

Applicant before: MACROSAN TECHNOLOGIES CO.,LTD.

COR Change of bibliographic data
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Quasi-continuity data replication method and device

Effective date of registration: 20190918

Granted publication date: 20170322

Pledgee: Industrial and Commercial Bank of China Limited Hangzhou Qianjiang Branch

Pledgor: MACROSAN TECHNOLOGIES Co.,Ltd.

Registration number: Y2019330000070

PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220110

Granted publication date: 20170322

Pledgee: Industrial and Commercial Bank of China Limited Hangzhou Qianjiang Branch

Pledgor: MACROSAN TECHNOLOGIES Co.,Ltd.

Registration number: Y2019330000070

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A quasi continuous data replication method and device

Effective date of registration: 20220114

Granted publication date: 20170322

Pledgee: Industrial and Commercial Bank of China Limited Hangzhou Qianjiang Branch

Pledgor: MACROSAN TECHNOLOGIES Co.,Ltd.

Registration number: Y2022330000096

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230207

Granted publication date: 20170322

Pledgee: Industrial and Commercial Bank of China Limited Hangzhou Qianjiang Branch

Pledgor: MACROSAN TECHNOLOGIES Co.,Ltd.

Registration number: Y2022330000096

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A quasi-continuous data replication method and device

Effective date of registration: 20230224

Granted publication date: 20170322

Pledgee: Industrial and Commercial Bank of China Limited Hangzhou Qianjiang Branch

Pledgor: MACROSAN TECHNOLOGIES Co.,Ltd.

Registration number: Y2023330000429

PE01 Entry into force of the registration of the contract for pledge of patent right