CN107423162A - 灾备系统与源系统间数据的同步方法及装置 - Google Patents

灾备系统与源系统间数据的同步方法及装置 Download PDF

Info

Publication number
CN107423162A
CN107423162A CN201710277039.1A CN201710277039A CN107423162A CN 107423162 A CN107423162 A CN 107423162A CN 201710277039 A CN201710277039 A CN 201710277039A CN 107423162 A CN107423162 A CN 107423162A
Authority
CN
China
Prior art keywords
data
address
target data
file
disaster recovery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710277039.1A
Other languages
English (en)
Inventor
雷敏
朱康
邓诗琪
牛小龙
杨榆
张亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Kerui Software Co Ltd
Beijing University of Posts and Telecommunications
Original Assignee
Sichuan Kerui Software Co Ltd
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Kerui Software Co Ltd, Beijing University of Posts and Telecommunications filed Critical Sichuan Kerui Software Co Ltd
Priority to CN201710277039.1A priority Critical patent/CN107423162A/zh
Publication of CN107423162A publication Critical patent/CN107423162A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore

Abstract

本发明实施例提供了灾备系统与源系统间数据的同步方法及装置,其中一种方法及装置应用于源系统,另一种应用于灾备系统,应用于源系统的方法包括:获取目标数据、偏移地址、文件标识以及操作类型;确定所述操作类型对应的操作标识;将所述目标数据、所述偏移地址、所述文件标识以及所述操作标识发送至灾备系统,以使得:所述灾备系统根据所述操作标识,将本地的所述文件标识对应的文件中所述偏移地址对应的存储空间的数据修改为所述目标数据。通过实施本方案,可以避免不必要的重复信息的复制,以提高备份速度,进而提高数据备份的及时性,且可以削减对系统和带宽的消耗,并且降低存储冗余。

Description

灾备系统与源系统间数据的同步方法及装置
技术领域
本发明涉及数据同步技术领域,特别是涉及灾备系统与源系统间数据的同步方法及装置。
背景技术
为了防止系统数据的丢失与损坏所导致的业务无法进行的问题,处理业务的服务提供方经常建立灾备系统,将源系统的数据进行备份。但是,实际情况下,由于业务的进行,源系统中的数据会因不同类型的操作而发生改变,对数据的操作类型可以包括:更新操作、增加操作、删除操作等。
为了使灾备系统与源系统的数据保持一致,需要对灾备系统与源系统进行数据同步。现有技术提供一种数据同步方法,具体实现步骤如下:源系统获取数据发生变化的目标文件,并发送至灾备系统;灾备系统接收源系统发送的目标文件,并用所接收目标文件替换本地的同名文件。由于灾备系统所接收目标文件为源系统中被修改数据所在的文件,因此,灾备系统用接收的目标文件替换本地的同名文件,可以完成与源系统的数据同步。
上述方法虽然可以实现灾备系统与源系统之间的数据同步,但是,由于目标文件通常数据量庞大,现有同步方法中,源系统将目标文件发送至灾备系统时会占用过多的时间,导致备份及时性差的问题。
发明内容
本发明实施例的目的在于提供灾备系统与源系统间数据的同步方法及装置,以提高数据备份的及时性。具体技术方案如下:
第一方面,本发明实施例提供了一种灾备系统与源系统间数据的同步方法,应用于源系统,所述方法包括:
通过变更数据捕获程序获取目标数据、偏移地址、文件标识以及操作类型,其中,所述目标数据为:所述源系统中更改后的数据,所述偏移地址为:所述目标数据所在的存储空间相对于目标基地址的相对地址,所述文件标识为:所述目标基地址所对应的目标文件的标识,所述操作类型为:生成所述目标数据所做的操作;
确定所述操作类型对应的操作标识;
将所述目标数据、所述偏移地址、所述文件标识以及所述操作标识发送至灾备系统,以使得:所述灾备系统根据所述操作标识,将本地的所述文件标识对应的文件中所述偏移地址对应的存储空间的数据修改为所述目标数据。
可选的,所述将所述目标数据、所述偏移地址、所述文件标识以及所述操作标识发送至灾备系统的步骤,包括:
将所述目标数据、所述偏移地址、所述文件标识以及所述操作标识存储为数据块;
将所述数据块发送至所述灾备系统。
可选的,所述操作类型的种类包括:删除、插入和更新。
第二方面,本发明实施例提供了一种灾备系统与源系统间数据的同步方法,应用于灾备系统,所述方法包括:
获得源系统所发送的目标数据、偏移地址、文件标识以及操作标识,其中,所述目标数据为:所述源系统中更改后的数据,所述偏移地址为:所述目标数据所在的存储空间相对于目标基地址的相对地址,所述文件标识为:所述目标基地址所对应的目标文件的标识,所述操作标识为:生成所述目标数据所做的操作对应的标识;
根据所述文件标识查找本地文件,获得所述本地文件的本地基地址;
获得所述操作标识对应的操作类型;
根据所述操作类型,将所述本地文件中目标地址对应的存储空间内所存储的数据修改为所述目标数据,其中,所述目标地址为:相对于所述本地基地址偏移所述偏移地址对应的数值的相对地址。
可选的,所述获得源系统所发送的目标数据、偏移地址、文件标识以及操作标识的步骤,包括:
获得所述源系统发送的数据块;
解析所述数据块,获得所述目标数据、所述偏移地址、所述文件标识以及所述操作标识。
第三方面,本发明实施例提供了一种灾备系统与源系统间数据的同步装置,应用于源系统,所述装置包括:
获取模块,用于通过变更数据捕获程序获取目标数据、偏移地址、文件标识以及操作类型,其中,所述目标数据为:所述源系统中更改后的数据,所述偏移地址为:所述目标数据所在的存储空间相对于目标基地址的相对地址,所述文件标识为:所述目标基地址所对应的目标文件的标识,所述操作类型为:生成所述目标数据所做的操作;
确定模块,用于确定所述操作类型对应的操作标识;
发送模块,用于将所述目标数据、所述偏移地址、所述文件标识以及所述操作标识发送至灾备系统,以使得:所述灾备系统根据所述操作标识,将本地的所述文件标识对应的文件中所述偏移地址对应的存储空间的数据修改为所述目标数据。
可选的,所述发送模块,包括:
存储子模块,用于将所述目标数据、所述偏移地址、所述文件标识以及所述操作标识存储为数据块;
发送子模块,用于将所述数据块发送至所述灾备系统。
可选的,所述操作类型的种类包括:删除、插入和更新。
第四方面,本发明实施例提供了一种灾备系统与源系统间数据的同步装置,应用于灾备系统,所述装置包括:
第一获得模块,用于获得源系统所发送的目标数据、偏移地址、文件标识以及操作标识,其中,所述目标数据为:所述源系统中更改后的数据,所述偏移地址为:所述目标数据所在的存储空间相对于目标基地址的相对地址,所述文件标识为:所述目标基地址所对应的目标文件的标识,所述操作标识为:生成所述目标数据所做的操作对应的标识;
第二获得模块,用于根据所述文件标识查找本地文件,获得所述本地文件的本地基地址;
第三获得模块,用于获得所述操作标识对应的操作类型;
修改模块,用于根据所述操作类型,将所述本地文件中目标地址对应的存储空间内所存储的数据修改为所述目标数据,其中,所述目标地址为:相对于所述本地基地址偏移所述偏移地址对应的数值的相对地址。
可选的,所述第一获得模块,包括:
获得子模块,用于获得所述源系统发送的数据块;
解析子模块,用于解析所述数据块,获得所述目标数据、所述偏移地址、所述文件标识以及所述操作标识。
本发明实施例提供的灾备系统与源系统间数据的同步方法及装置,应用于源系统,在同步灾备系统与源系统的数据时,将源系统中的目标数据、操作标识、目标数据所在的目标文件的文件标识及目标数据所在的存储空间的偏移地址传输至灾备系统,由于所传输的目标数据、操作标识、文件标识以及偏移地址的数据量远远小于现有技术中所传输的目标文件,因此灾备系统获取所传输数据占用的时间也小于现有技术中灾备系统获取整个目标文件所占用的时间,进而提高数据备份的及时性。
本发明实施例提供的灾备系统与源系统间数据的同步方法及装置,应用于灾备系统,在同步灾备系统与源系统的数据时,获得源系统的目标数据、操作标识、目标数据所在的目标文件的文件标识及目标数据所在的存储空间的偏移地址,由于目标数据、操作标识、文件标识以及偏移地址的数据量远远小于现有技术中所传输的目标文件,因此灾备系统获取所传输数据占用的时间也小于现有技术中灾备系统获取整个目标文件所占用的时间,进而提高数据备份的及时性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实例所提供的一种灾备系统与源系统间数据的同步方法的步骤流程图;
图2为本发明实例所提供的另一种灾备系统与源系统间数据的同步方法的步骤流程图;
图3为本发明实例所提供的一种灾备系统与源系统间数据的同步装置的结构示意图;
图4为本发明实例所提供的另一种灾备系统与源系统间数据的同步装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了灾备系统与源系统间数据的同步方法及装置,以下分别做详细介绍。
第一方面,本发明实施例提供了一种灾备系统与源系统间数据的同步方法,应用于数据备份中的源系统,上述源系统可以包括一台、两台甚至多台设备,本发明实施例不限定设备的种类。具体执行本发明实施例所提供的方法的设备可以为源系统中的任一种设备,例如,服务器。再具体一些,本发明实施例的执行主体可以为安装在设备上的用于灾备系统与源系统间数据同步的装置,该装置为虚拟的软件装置,具体可以为用于数据备份的软件;该装置还可以为软件的功能插件,对于安装上述插件的软件,本发明实施例不做具体限定。
如图1所示,本发明实施例提供的一种灾备系统与源系统间数据的同步方法,包括如下步骤:
S101:通过变更数据捕获程序获取目标数据、偏移地址、文件标识以及操作类型,其中,所述目标数据为:所述源系统中更改后的数据,所述偏移地址为:所述目标数据所在的存储空间相对于目标基地址的相对地址,所述文件标识为:所述目标基地址所对应的目标文件的标识,所述操作类型为:生成所述目标数据所做的操作;
当源系统中的数据被更改后,需要源系统通知灾备系统数据更改的情况,以使得灾备系统的数据与源系统数据保持一致。因此,源系统需要获得变化后的数据(即目标数据)、目标数据的偏移地址、目标数据所在文件的文件标识以及产生目标数据所做的操作,以通知灾备系统数据更改的情况,具体的,源系统通过变更数据捕获(Change DataCapture,CDC)程序获得上述内容。
CDC程序捕获日志文件中针对数据的变更操作,经分析得出目标数据、偏移地址、文件标识以及操作类型。其中,目标数据可以为源系统数据库中的数据。上述数据库可以为本发明实施例执行主体本地的数据库,当然也可以不为执行主体本地的数据库。
可选的,操作类型的种类可以包括删除、插入和更新。需要说明的是,本发明实施例中的删除、插入、更新与实际操作的删除、插入、更新存在一定差异,以下分别进行说明。
本发明实施例中的删除,是针对偏移地址对应存储空间中的所有数据而言的操作,也就是说当偏移地址对应存储空间中的数据全部被删除时,针对数据的操作才会被确定为删除操作;当偏移地址对应存储空间中的数据被部分删除时,针对数据的操作不为删除操作。举例而言,偏移地址对应的存储空间内当前存储的数据为“北京市朝阳区”,当“北京市朝阳区”全部被删除时,为删除操作;若只删除其中的“朝阳区”,对应的操作不为删除操作。
本发明实施例中的更新,包括多种情况的更新。例如,将偏移地址存储空间中的数据全部更改、将偏移地址对应存储空间中的数据部分更改、将偏移地址对应存储空间中的数据部分删除、将内容插入至偏移地址对应存储空间所存储的数据中,等等,在本发明实施例中算作更新操作。
本发明实施例中的插入具体可以指:将数据添加至未存储数据的存储空间的操作。
可选的,可以将目标数据以字符串的形式存储。由于操作类型的不同,目标数据的内容相应不同。当将“北京市朝阳区”全部删除时,目标数据为空字符串;当将“北京市朝阳区”修改或部分删除时,目标数据为修改后或部分删除后的数据;当在某一地址内插入数据时,目标数据为所插入的数据。
S101中所获取的偏移地址为,数据发生变化的存储空间相对于上述存储空间的基地址的相对地址。
可选的,S101中获取的文件标识,可以为文件名、文件名对应的标号、文件名对应的序号等。
S102:确定所述操作类型对应的操作标识;
操作标识可以以任意形式体现,例如:数字、字符、符号等。
操作类型与操作标识之间的对应关系,可以被预先设定。例如,将删除、插入、更新对应的操作标识分别设定为1、2、3。
S103:将所述目标数据、所述偏移地址、所述文件标识以及所述操作标识发送至灾备系统,以使得:所述灾备系统根据所述操作标识,将本地的所述文件标识对应的文件中所述偏移地址对应的存储空间的数据修改为所述目标数据。
目标数据、偏移地址、文件标识、操作标识可以以任意形式发送,本发明实施例不做限定,在一种可选实现方式中,将目标数据、偏移地址、文件标识以及操作标识存储为数据块;将上述数据块发送至灾备系统。
在一种可选实施方式中,数据块对应的代码如下:
Typedef struct{
char FN;//文件标识
int op;//操作标识
char ML;//偏移地址
string FM;//目标数据
}NDB;
假设名字为filea的文件中偏移地址为28处的存储空间内的数据发生变化,从“北京市”变更为“上海市”,那么数据块具体内容为:
Typedef struct{
char FN=filea;//文件标识
int op=3;//操作标识
char ML=28;//偏移地址
string FM=上海市;//目标数据
}NDB;
通常情况下,数据中携带隐私信息,可选的,可以将数据加密后发送,以保证数据的安全性。可选的,可以通过Encrypt()加密数据。
发送的方式,可选的,可以通过TCP/IP(Transmission Control Protocol/Internet Protocol,传输控制协议/因特网互联协议)发送。
本发明实施例提供的一种灾备系统与源系统间数据的同步方法,在同步灾备系统与源系统的数据时,将源系统中的目标数据、操作标识、目标数据所在的目标文件的文件标识及目标数据所在的存储空间的偏移地址传输至灾备系统,由于所传输的目标数据、操作标识、文件标识以及偏移地址的数据量远远小于现有技术中所传输的目标文件,因此本方法中灾备系统获取所传输数据占用的时间也小于现有技术中灾备系统获取整个目标文件所占用的时间,进而提高数据备份的及时性。进一步的,可以削减对系统和带宽的消耗,并且降低存储冗余。
以下列举本发明实例提供的灾备系统与源系统间数据的同步方法的应用场景,以做进一步介绍。
本发明实施例提供的灾备系统与源系统间数据的同步方法可以应用于电商平台。当买家下单后,买家所填写的信息保存至相应数据库。若买家发现自己将收货人姓名填错,必然对收货人姓名进行修改,此时源系统获取修改后的收货人姓名、修改后收货人姓名在存储空间的偏移地址、修改后收货人姓名所在文件的文件标识以及操作类型;确定操作类型对应的操作标识;并将所确定的操作标识、修改后的收货人姓名、修改后收货人姓名的偏移地址、修改后收货人姓名所在文件的文件标识发送至灾备系统,以使得灾备系统将数据修改,完成同步。再如,当买家删除了常用地址列表中某一个地址,则上述列表的相应存储空间的内容为空字符串,源系统获得空字符串、上述空字符串所在的偏移地址、上述空字符串所在文件的文件标识以及删除操作;并确定删除操作对应的操作标识;并将上述空字符串、上述空字符串所在的偏移地址、上述空字符串所在文件的文件标识以及上述操作标识发送至灾备系统,以使得灾备系统完成数据同步。
第二方面,本发明实施例还提供了一种灾备系统与源系统间数据的同步方法,应用于数据备份中的灾备系统,上述灾备系统可以包括一台、两台甚至多台设备,本发明实施例不限定设备的种类。具体执行本发明实施例所提供的方法的设备可以为灾备系统中的任一种设备,例如,服务器。再具体一些,本发明实施例的执行主体可以为安装在设备上的用于灾备系统与源系统间数据同步的装置,该装置为虚拟的软件装置,具体可以为用于数据备份的软件;该装置还可以为软件的功能插件,对于安装上述插件的软件,本发明实施例不做具体限定。
如图2所示,本发明实施例提供的一种灾备系统与源系统间数据的同步方法,包括如下步骤:
S201:获得源系统所发送的目标数据、偏移地址、文件标识以及操作标识,其中,所述目标数据为:所述源系统中更改后的数据,所述偏移地址为:所述目标数据所在的存储空间相对于目标基地址的相对地址,所述文件标识为:所述目标基地址所对应的目标文件的标识,所述操作标识为:生成所述目标数据所做的操作对应的标识;
当灾备系统与源系统同步时,灾备系统需要获取源系统中数据的变化情况,因此,灾备系统获得源系统的变化后的数据(即目标数据)、目标数据的偏移地址、目标数据所在文件的文件标识以及产生目标数据所做的操作,以进行同步。
可选的,当源系统所发送的数据为数据块时,获得源系统发送的数据块;解析上述数据块,获得目标数据、偏移地址、文件标识以及操作标识。
当源系统所发送数据为加密后数据时,使用相应解密算法对数据进行解密。
S202:根据所述文件标识查找本地文件,获得所述本地文件的本地基地址;
需要说明的是,本发明实施例中的本地文件、本地基地址为特指名词,分别特指一个文件、一个基地址。
由于灾备系统的数据为源系统的备份数据,灾备系统中的文件的标识必然与源系统中的相一致,进而,灾备系统能够在本地查找到与文件标识对应的文件,即本地文件。又由于源系统发送的文件标识为变化数据所在文件的文件标识,因此,上述本地文件为与源系统中数据发生变化的文件对应的文件。也就是说,需要修改的数据为上述本地文件中的某个地址所存储的数据。
查找到与源系统中变化数据所在文件对应的本地文件后,获得上述本地文件对应的本地基地址,由于上述本地文件与源系统的变化数据所在文件相对应,因此上述本地基地址与源系统中变化数据所在文件的基地址相对应。
S203:获得所述操作标识对应的操作类型;
操作类型与操作标识之间的对应关系,预先设定为与源系统相一致的对应关系。根据对应关系获得操作类型,进而,灾备系统可以得知用户对源系统所做的操作。
S204:根据所述操作类型,将所述本地文件中目标地址对应的存储空间内所存储的数据修改为所述目标数据,其中,所述目标地址为:相对于所述本地基地址偏移所述偏移地址对应的数值的相对地址。
源系统根据偏移地址以及S202获得的本地基地址,查找到目标地址。由于,本地基地址为存储于灾备系统中的、与源系统中变化数据所在文件的基地址对应的地址,因此,相对于基地址来说偏移上述偏移地址对应的偏移量的地址,即目标地址,与源系统中数据发生变化的地址相对应。
根据操作类型对目标地址内的数据进行修改,即完成了灾备系统与源系统的数据同步。
举例而言,当获得的文件标识、操作标识、偏移地址、目标数据分别为:filea、3、28、上海市,灾备系统首先查找file文件,根据file文件的基地址偏移28个单位寻找目标地址,目标地址即源系统中发生变化的数据在灾备系统对应的地址,又由于在一个具体实施例中,3对应的操作类型为更新,则将上述目标地址中的数据更新为“上海市”,这样,就完成了灾备系统与源系统之间的数据同步。
本发明实施例提供的一种灾备系统与源系统间数据的同步方法,在同步灾备系统与源系统的数据时,获得源系统的目标数据、操作标识、目标数据所在的目标文件的文件标识及目标数据所在的存储空间的偏移地址,由于目标数据、操作标识、文件标识以及偏移地址的数据量远远小于现有技术中所传输的目标文件,因此本方法中灾备系统获取所传输数据占用的时间也小于现有技术中灾备系统获取整个目标文件所占用的时间,进而提高数据备份的及时性。
可选的,在灾备系统成功同步数据后,向源系统反馈第一预设标识,否则向源系统反馈第二预设标识,以使得源系统知晓同步情况。
第三方面,如图3所示,一种灾备系统与源系统间数据的同步装置,应用于源系统,所述装置包括:
获取模块310,用于通过变更数据捕获程序获取目标数据、偏移地址、文件标识以及操作类型,其中,所述目标数据为:所述源系统中更改后的数据,所述偏移地址为:所述目标数据所在的存储空间相对于目标基地址的相对地址,所述文件标识为:所述目标基地址所对应的目标文件的标识,所述操作类型为:生成所述目标数据所做的操作;
确定模块320,用于确定所述操作类型对应的操作标识;
发送模块330,用于将所述目标数据、所述偏移地址、所述文件标识以及所述操作标识发送至灾备系统,以使得:所述灾备系统根据所述操作标识,将本地的所述文件标识对应的文件中所述偏移地址对应的存储空间的数据修改为所述目标数据。
本发明实施例提供的一种灾备系统与源系统间数据的同步装置,在同步灾备系统与源系统的数据时,将源系统中的目标数据、操作标识、目标数据所在的目标文件的文件标识及目标数据所在的存储空间的偏移地址传输至灾备系统,由于所传输的目标数据、操作标识、文件标识以及偏移地址的数据量远远小于现有技术中所传输的目标文件,因此本装置中灾备系统获取所传输数据占用的时间也小于现有技术中灾备系统获取整个目标文件所占用的时间,进而提高数据备份的及时性。进一步的,可以削减对系统和带宽的消耗,并且降低存储冗余。
可选的,所述发送模块330,包括:
存储子模块,用于将所述目标数据、所述偏移地址、所述文件标识以及所述操作标识存储为数据块;
发送子模块,用于将所述数据块发送至所述灾备系统。
可选的,所述操作类型的种类包括:删除、插入和更新。
第四方面,如图4所示,本发明实施例还提供了一种灾备系统与源系统间数据的同步装置,应用于灾备系统,所述装置包括:
第一获得模块410,用于获得源系统所发送的目标数据、偏移地址、文件标识以及操作标识,其中,所述目标数据为:所述源系统中更改后的数据,所述偏移地址为:所述目标数据所在的存储空间相对于目标基地址的相对地址,所述文件标识为:所述目标基地址所对应的目标文件的标识,所述操作标识为:生成所述目标数据所做的操作对应的标识;
第二获得模块420,用于根据所述文件标识查找本地文件,获得所述本地文件的本地基地址;
第三获得模块430,用于获得所述操作标识对应的操作类型;
修改模块440,用于根据所述操作类型,将所述本地文件中目标地址对应的存储空间内所存储的数据修改为所述目标数据,其中,所述目标地址为:相对于所述本地基地址偏移所述偏移地址对应的数值的相对地址。
本发明实施例提供的一种灾备系统与源系统间数据的同步装置,在同步灾备系统与源系统的数据时,获得源系统的目标数据、操作标识、目标数据所在的目标文件的文件标识及目标数据所在的存储空间的偏移地址,由于目标数据、操作标识、文件标识以及偏移地址的数据量远远小于现有技术中所传输的目标文件,因此本装置中灾备系统获取所传输数据占用的时间也小于现有技术中灾备系统获取整个目标文件所占用的时间,进而提高数据备份的及时性。
可选的,所述第一获得模块410,包括:
获得子模块,用于获得所述源系统发送的数据块;
解析子模块,用于解析所述数据块,获得所述目标数据、所述偏移地址、所述文件标识以及所述操作标识。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种灾备系统与源系统间数据的同步方法,其特征在于,应用于源系统,所述方法包括:
通过变更数据捕获程序获取目标数据、偏移地址、文件标识以及操作类型,其中,所述目标数据为:所述源系统中更改后的数据,所述偏移地址为:所述目标数据所在的存储空间相对于目标基地址的相对地址,所述文件标识为:所述目标基地址所对应的目标文件的标识,所述操作类型为:生成所述目标数据所做的操作;
确定所述操作类型对应的操作标识;
将所述目标数据、所述偏移地址、所述文件标识以及所述操作标识发送至灾备系统,以使得:所述灾备系统根据所述操作标识,将本地的所述文件标识对应的文件中所述偏移地址对应的存储空间的数据修改为所述目标数据。
2.根据权利要求1所述的方法,其特征在于,所述将所述目标数据、所述偏移地址、所述文件标识以及所述操作标识发送至灾备系统的步骤,包括:
将所述目标数据、所述偏移地址、所述文件标识以及所述操作标识存储为数据块;
将所述数据块发送至所述灾备系统。
3.根据权利要求1或2所述的方法,其特征在于,所述操作类型的种类包括:删除、插入和更新。
4.一种灾备系统与源系统间数据的同步方法,其特征在于,应用于灾备系统,所述方法包括:
获得源系统所发送的目标数据、偏移地址、文件标识以及操作标识,其中,所述目标数据为:所述源系统中更改后的数据,所述偏移地址为:所述目标数据所在的存储空间相对于目标基地址的相对地址,所述文件标识为:所述目标基地址所对应的目标文件的标识,所述操作标识为:生成所述目标数据所做的操作对应的标识;
根据所述文件标识查找本地文件,获得所述本地文件的本地基地址;
获得所述操作标识对应的操作类型;
根据所述操作类型,将所述本地文件中目标地址对应的存储空间内所存储的数据修改为所述目标数据,其中,所述目标地址为:相对于所述本地基地址偏移所述偏移地址对应的数值的相对地址。
5.根据权利要求4所述的方法,其特征在于,所述获得源系统所发送的目标数据、偏移地址、文件标识以及操作标识的步骤,包括:
获得所述源系统发送的数据块;
解析所述数据块,获得所述目标数据、所述偏移地址、所述文件标识以及所述操作标识。
6.一种灾备系统与源系统间数据的同步装置,其特征在于,应用于源系统,所述装置包括:
获取模块,用于通过变更数据捕获程序获取目标数据、偏移地址、文件标识以及操作类型,其中,所述目标数据为:所述源系统中更改后的数据,所述偏移地址为:所述目标数据所在的存储空间相对于目标基地址的相对地址,所述文件标识为:所述目标基地址所对应的目标文件的标识,所述操作类型为:生成所述目标数据所做的操作;
确定模块,用于确定所述操作类型对应的操作标识;
发送模块,用于将所述目标数据、所述偏移地址、所述文件标识以及所述操作标识发送至灾备系统,以使得:所述灾备系统根据所述操作标识,将本地的所述文件标识对应的文件中所述偏移地址对应的存储空间的数据修改为所述目标数据。
7.根据权利要求6所述的装置,其特征在于,所述发送模块,包括:
存储子模块,用于将所述目标数据、所述偏移地址、所述文件标识以及所述操作标识存储为数据块;
发送子模块,用于将所述数据块发送至所述灾备系统。
8.根据权利要求6或7所述的装置,其特征在于,所述操作类型的种类包括:删除、插入和更新。
9.一种灾备系统与源系统间数据的同步装置,其特征在于,应用于灾备系统,所述装置包括:
第一获得模块,用于获得源系统所发送的目标数据、偏移地址、文件标识以及操作标识,其中,所述目标数据为:所述源系统中更改后的数据,所述偏移地址为:所述目标数据所在的存储空间相对于目标基地址的相对地址,所述文件标识为:所述目标基地址所对应的目标文件的标识,所述操作标识为:生成所述目标数据所做的操作对应的标识;
第二获得模块,用于根据所述文件标识查找本地文件,获得所述本地文件的本地基地址;
第三获得模块,用于获得所述操作标识对应的操作类型;
修改模块,用于根据所述操作类型,将所述本地文件中目标地址对应的存储空间内所存储的数据修改为所述目标数据,其中,所述目标地址为:相对于所述本地基地址偏移所述偏移地址对应的数值的相对地址。
10.根据权利要求9所述的装置,其特征在于,所述第一获得模块,包括:
获得子模块,用于获得所述源系统发送的数据块;
解析子模块,用于解析所述数据块,获得所述目标数据、所述偏移地址、所述文件标识以及所述操作标识。
CN201710277039.1A 2017-04-25 2017-04-25 灾备系统与源系统间数据的同步方法及装置 Pending CN107423162A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710277039.1A CN107423162A (zh) 2017-04-25 2017-04-25 灾备系统与源系统间数据的同步方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710277039.1A CN107423162A (zh) 2017-04-25 2017-04-25 灾备系统与源系统间数据的同步方法及装置

Publications (1)

Publication Number Publication Date
CN107423162A true CN107423162A (zh) 2017-12-01

Family

ID=60425106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710277039.1A Pending CN107423162A (zh) 2017-04-25 2017-04-25 灾备系统与源系统间数据的同步方法及装置

Country Status (1)

Country Link
CN (1) CN107423162A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189610A (zh) * 2018-08-16 2019-01-11 郑州云海信息技术有限公司 一种linux下服务器监测数据的处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379129A (zh) * 2012-04-12 2013-10-30 阿里巴巴集团控股有限公司 一种数据同步方法、服务器及分布式系统
CN104506619A (zh) * 2014-12-22 2015-04-08 华为技术有限公司 一种数据备份、恢复方法及其装置、服务器
CN105868052A (zh) * 2016-03-25 2016-08-17 汉柏科技有限公司 一种异地容灾备份处理方法及装置
CN105893184A (zh) * 2016-03-30 2016-08-24 杭州华三通信技术有限公司 一种增量备份方法及装置
CN106412071A (zh) * 2016-10-08 2017-02-15 中国工商银行股份有限公司 一种数据同步方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379129A (zh) * 2012-04-12 2013-10-30 阿里巴巴集团控股有限公司 一种数据同步方法、服务器及分布式系统
CN104506619A (zh) * 2014-12-22 2015-04-08 华为技术有限公司 一种数据备份、恢复方法及其装置、服务器
CN105868052A (zh) * 2016-03-25 2016-08-17 汉柏科技有限公司 一种异地容灾备份处理方法及装置
CN105893184A (zh) * 2016-03-30 2016-08-24 杭州华三通信技术有限公司 一种增量备份方法及装置
CN106412071A (zh) * 2016-10-08 2017-02-15 中国工商银行股份有限公司 一种数据同步方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189610A (zh) * 2018-08-16 2019-01-11 郑州云海信息技术有限公司 一种linux下服务器监测数据的处理方法
CN109189610B (zh) * 2018-08-16 2021-10-29 郑州云海信息技术有限公司 一种linux下服务器监测数据的处理方法

Similar Documents

Publication Publication Date Title
CN105678189B (zh) 加密数据文件存储和检索系统及方法
CN103095843B (zh) 一种基于版本矢量的数据备份方法及客户端
US8682903B2 (en) System and method for synchronized content directories on cluster devices
CN103473277B (zh) 文件系统的快照方法和装置
US9705730B1 (en) Cloud storage using Merkle trees
CN109522363B (zh) 基于区块链的云平台同步方法、系统、设备及存储介质
CN103116615B (zh) 一种基于版本矢量的数据索引方法及服务器
CN106156359A (zh) 一种云计算平台下的数据同步更新方法
CN104980487A (zh) 使用利用确切名称的集合同步的服务发现
CN103118104B (zh) 一种基于版本矢量的数据还原方法及服务器
CN103164525B (zh) Web应用发布方法和装置
CN109302495A (zh) 一种数据存储方法及装置
CN103701913A (zh) 数据同步方法及装置
CN103455599A (zh) 用于数据同步的方法、设备和系统
KR102445290B1 (ko) 정보 처리 방법, 장치, 기기 및 판독 가능 저장매체
CN111104069A (zh) 分布式存储系统的多区域数据处理方法、装置及电子设备
CN109144785A (zh) 用于备份数据的方法和装置
US20170193070A1 (en) System and method for a distributed replication lock for active-active geo-redundant systems
CN109451004A (zh) 基于云网桥的云存储系统及方法
CN105450712A (zh) 一种数据传输方法及装置
CN103559279A (zh) 云存储加速方法及装置
CN104426975A (zh) 用于数据同步的方法、设备和系统
CN110020272B (zh) 缓存方法、装置以及计算机存储介质
JP4877193B2 (ja) 版数管理システムおよび版数管理方法
CN111858486A (zh) 一种文件分类方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171201