CN110825562A - 数据备份方法、装置、系统和存储介质 - Google Patents

数据备份方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN110825562A
CN110825562A CN201910871869.6A CN201910871869A CN110825562A CN 110825562 A CN110825562 A CN 110825562A CN 201910871869 A CN201910871869 A CN 201910871869A CN 110825562 A CN110825562 A CN 110825562A
Authority
CN
China
Prior art keywords
data
write
backup
transaction
write operations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910871869.6A
Other languages
English (en)
Other versions
CN110825562B (zh
Inventor
杨文龙
白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910871869.6A priority Critical patent/CN110825562B/zh
Publication of CN110825562A publication Critical patent/CN110825562A/zh
Application granted granted Critical
Publication of CN110825562B publication Critical patent/CN110825562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore

Abstract

本发明公开了一种数据备份方法、装置、系统和存储介质,涉及数据存储技术领域。数据备份方法包括:获取在源端系统执行的一个或多个写操作,其中,一个或多个写操作对应一个已启动的数据写入事务;在备份系统中执行一个或多个写操作;在一个或多个写操作在备份系统中成功地执行的情况下,结束数据写入事务。从而,在对源端系统进行备份的过程中,即使不对源端设备进行冻结,也能够确保备份系统中数据的完整性以及与源端系统的一致性。

Description

数据备份方法、装置、系统和存储介质
技术领域
本发明涉及数据存储技术领域,特别涉及一种数据备份方法、装置、系统和存储介质。
背景技术
传统的数据容灾和灾备技术在进行数据备份时,为了保证数据一致性,需要对生产设备进行暂时冻结、或对生产设备的相关状态进行快照,然后进行定期的完全备份或增量备份。
发明内容
发明人经过分析后发现,如果备份是在生产设备不冻结的情况下进行的,则无法完全确保数据完整性和一致性。
本发明实施例所要解决的一个技术问题是:如何在生产设备不冻结的情况下,在备份过程中确保数据的完整性和一致性。
根据本发明一些实施例的第一个方面,提供一种数据备份方法,包括:获取在源端系统执行的一个或多个写操作,其中,一个或多个写操作对应一个已启动的数据写入事务;在备份系统中执行一个或多个写操作;在一个或多个写操作在备份系统中成功地执行的情况下,结束数据写入事务。
在一些实施例中,在备份系统成功地完成一个或多个写操作、并且在源端系统执行的一个或多个写操作的结果和在备份系统执行的一个或多个写操作的结果一致的情况下,结束数据写入事务。
在一些实施例中,数据备份方法还包括:在备份系统执行一个或多个写操作失败的情况下,在备份系统中回滚数据写入事务中已执行的写操作、并重新执行数据写入事务中的一个或多个写操作。
在一些实施例中,在结束数据写入事务之后,下一个数据写入事务被启动。
在一些实施例中,源端系统执行的写操作是在源端系统的存量数据备份的过程中执行的,并且数据写入事务是在源端系统的存量数据备份完成后启动的。
在一些实施例中,数据备份方法还包括:获取源端系统响应于数据传输事务的启动而发送的数据单元,其中,数据单元是源端系统的存量数据的数据单元的副本;在备份系统中存储副本;响应于备份系统成功存储副本,成功结束数据传输事务。
在一些实施例中,数据备份方法还包括:获取源端系统发送的一个或多个写操作日志,其中,每个写操作日志是根据每个写操作生成的、并且具有序列号,序列号是根据写操作的执行顺序生成的。
在一些实施例中,每个写操作日志在生成后被添加到传输队列的尾部;从传输队列的头部依次获取源端系统发送的一个或多个写操作日志。
在一些实施例中,写操作日志包括操作时间;数据备份方法还包括:获取对源端系统进行数据恢复的指令,其中,指令包括预设的时间点;按照备份系统存储的写操作日志所对应的操作时间的顺序,在预设的恢复系统中依次执行操作时间在预设的时间点以前的、源端系统的每个写操作日志对应的写操作。
根据本发明一些实施例的第二个方面,提供一种数据备份装置,包括:写操作获取模块,被配置为响应于数据写入事务启动,获取在源端系统执行的一个或多个写操作;写操作执行模块,被配置为在备份系统中执行一个或多个写操作;事务结束模块,被配置为在备份系统成功地执行一个或多个写操作的情况下,结束数据写入事务。
根据本发明一些实施例的第三个方面,提供一种数据备份系统,包括:前述数据备份装置;以及源端系统代理,被配置为监听在源端系统执行的写操作;响应于数据写入事务启动,将监听到的一个或多个写操作发送给数据备份装置。
在一些实施例中,数据备份系统还包括:数据存储装置,数据备份装置在数据存储装置中执行一个或多个写操作。
根据本发明一些实施例的第四个方面,提供一种数据备份装置,包括:存储器;以及耦接至存储器的处理器,处理器被配置为基于存储在存储器中的指令,执行前述任意一种数据备份方法。
根据本发明一些实施例的第五个方面,提供一种计算机可读存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现前述任意一种数据备份方法。
上述发明中的一些实施例具有如下优点或有益效果:在对源端系统进行备份的过程中,即使不对源端设备进行冻结,也能够确保备份系统中数据的完整性以及与源端系统的一致性。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明一些实施例的数据备份方法的流程示意图。
图2为根据本发明一些实施例的基于事务的数据备份方法的流程示意图。
图3为根据本发明另一些实施例的基于事务的数据备份方法的流程示意图。
图4为根据本发明一些实施例的日志生成方法的流程示意图。
图5为根据本发明一些实施例的数据恢复方法的流程示意图。
图6为根据本发明一些实施例的数据备份装置的结构示意图。
图7为根据本发明一些实施例的数据备份系统的结构示意图。
图8为根据本发明另一些实施例的数据备份系统的结构示意图。
图9为根据本发明另一些实施例的数据备份装置的结构示意图。
图10为根据本发明又一些实施例的数据备份装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
图1为根据本发明一些实施例的数据备份方法的流程示意图。如图1所示,该实施例的数据备份方法包括步骤S102~S106。
在步骤S102中,获取在源端系统执行的一个或多个写操作,其中,一个或多个写操作对应一个已启动的数据写入事务。
数据写入事务是用于备份用户写入源端系统的数据的事务。例如,在源端系统的存量数据的备份过程中,源端系统可以仍然为用户提供数据服务。若用户在此期间执行了写操作,则源端系统侧通过数据写入事务机制将这些写操作发送给备份系统。数据写入事务的启动、结束状态可以由事务管理模块进行监控。事务管理模块例如可以位于备份系统中。在一些实施例中,源端系统执行的写操作是在源端系统的存量数据备份的过程中执行的,并且数据写入事务是在源端系统的存量数据备份完成后启动的。即,在源端系统的存量数据备份的过程中,可以先将在源端系统中执行的写操作记录下来。当存量数据完成备份后,再启动对这些记录的写操作所涉及的数据的备份过程。
源端系统例如可以包括数据库系统、文件系统等等。
写操作例如可以为增加数据、修改数据、删除数据等等。写操作例如可以包括操作类型、被写入的数据以及操作所涉及的元数据,元数据例如可以包括写操作涉及的文件、硬盘位置、参数等等。在源端系统执行的写操作的相关信息例如可以从内存或缓冲区中捕获。被写入的数据可以是写入到数据库或磁盘中的。
在一些实施例中,可以对源端操作系统的I/O(输入/输出)操作进行旁路式监听,以获取对主机的写操作。在一些实施例中,还可以对数据库提供的用户操作接口进行旁路式监听,以获取对数据库的写操作。
在一些实施例中,这一个或多个写操作可以是预设时间内在源端系统中连续执行的一组写操作。
在一些实施例中,可以在源端系统中部署源端代理以实现监听和数据传输的功能。
在步骤S104中,在备份系统中执行一个或多个写操作。
在步骤S106中,在一个或多个写操作在备份系统中成功地执行的情况下,结束数据写入事务。从而,获取的一个或多个写操作均被成功完成后,视为完成对这些写操作所涉及的数据的备份。如果一个或多个写操作中的任意一个没有被完成,那么源端系统和备份系统中存储的数据则不是一致的。
在一些实施例中,在备份系统成功地完成一个或多个写操作、并且在源端系统执行的一个或多个写操作的结果和在备份系统执行的一个或多个写操作的结果一致的情况下,结束数据写入事务。从而,可以进一步确认源端系统和备份系统写入的数据一致,防止写操作的执行过程正常、但是数据被其他操作所篡改的情况。
在一些实施例中,在备份系统执行一个或多个写操作失败的情况下,在备份系统中回滚数据写入事务中已执行的写操作、并重新执行数据写入事务中的一个或多个写操作。通过回滚已执行的写操作,可以使得备份系统中的数据恢复到该数据写入事务启动之前的状态,从而避免产生脏数据。
步骤S102~S106可以多次执行,直到将在源端系统中执行的写操作所涉及的数据均进行备份。
上述实施例通过事务机制在备份系统中执行与源端系统一致的写操作,以将一个或多个写操作共同视为一个独立的备份单位,从而可以准确、高效地将在源端系统中执行的写操作所涉及的增量数据写入到备份系统中。通过上述实施例的方法,在对源端系统进行备份的过程中,即使不对源端设备进行冻结,也能够确保备份系统中数据的完整性以及与源端系统的一致性。
本发明例如可以通过在源端系统和备份系统部署代理来实现写操作的监听和传输,并可以通过事务管理模块来对事务进行管理。下面参考图2描述本发明基于事务的数据备份方法。
图2为根据本发明一些实施例的基于事务的数据备份方法的流程示意图。如图2所示,该实施例的基于事务的数据备份方法包括步骤S202~S218。
在步骤S202中,事务管理模块启动一个数据写入事务。
在一些实施例中,可以通过设置事务的开始标识、成功结束标识和失败标识,以标记事务的状态。
在步骤S204中,事务管理模块向源端系统代理发送事务启动通知。
在步骤S206中,源端系统代理将在预设时间内监听到的、在源端系统中连续执行的一个或多个写操作发送给备份系统代理。
例如,源端系统将监听到的多个写操作划分为多个传输单元,每个传输单元中的写操作对应同一个数据写入事务。
在步骤S208中,备份系统代理在备份系统中执行一个或多个写操作。
在步骤S210中,在一个或多个写操作在备份系统中执行失败的情况下,备份系统代理向事务管理模块发送执行失败通知。
在步骤S212中,事务管理模块指示备份系统代理回滚数据写入事务中已执行的写操作、并重新执行数据写入事务中的一个或多个写操作。
在步骤S214中,备份系统代理回滚数据写入事务中已执行的写操作、并回到步骤S208。
在步骤S216中,在一个或多个写操作在备份系统中成功地执行的情况下,备份系统代理向事务管理模块发送执行成功通知。
在步骤S218中,事务管理模块结束数据写入事务。
为了进一步对不同的写入操作进行隔离,本发明的一些实施例可以通过单个进程实现备份系统侧的写入。在一些实施例中,在结束当前数据写入事务之后,下一个数据写入事务被启动。例如,在步骤S218结束后,回到步骤S202。从而,可以确保数据操作的隔离性。
通过上述实施例,可以由事务管理模块对数据写入事务的启动、结束进行监控和管理。通过基于事务的数据备份方法,可以使得一个事务中的一组写操作同时成功、或同时失败,避免产生脏数据,确保了备份系统中数据的完整性以及与源端系统的一致性。
上述实施例主要描述增量数据的备份过程。在一些实施例中,存量数据也可以基于事务进行备份。下面参考图3描述本发明基于事务的数据备份方法的实施例。
图3为根据本发明另一些实施例的基于事务的数据备份方法的流程示意图。如图3所示,该实施例的基于事务的数据备份方法包括步骤S302~S318。
在步骤S302中,获取源端系统响应于数据传输事务的启动而发送的数据单元,其中,数据单元是源端系统的存量数据的数据单元的副本。一个数据单元例如可以为一个文件、一张表、一个数据块等等。
在步骤S304中,在备份系统中存储副本。
在步骤S306中,响应于备份系统成功存储副本,成功结束数据传输事务。
步骤S302~S306可以重复多次进行,直到源端系统中的所有存量数据的数据单元均进行了备份。
在步骤S308中,在存量数据备份过程中,在源端系统依次监听并记录源端系统执行的写操作。记录的写操作例如可以存储在缓存中。由于此时记录的数据都是I/O操作级别的增量数据,因此数据的重复性低,节约了存储空间和数据处理的开销。
在存量数据完成迁移后,可以继续对增量数据执行备份。
在步骤S310中,启动一个数据写入事务。
在步骤S312中,在源端系统中未发送的写操作中,获取最先记录的、并且记录时间涉及的范围在预设范围内的一个或多个写操作。例如,未发送的写操作的执行时间在ts和te之间,则可以获取ts到ts+t’之间执行的写操作,其中t’为预设的时间间隔。
在步骤S314中,将在步骤S312中获取的一个或多个写操作发送给备份系统侧。
在步骤S316中,在备份系统中执行获取的一个或多个写操作。
在步骤S318中,在备份系统成功地完成一个或多个写操作的情况下,结束数据写入事务。
通过上述实施例的方法,可以基于事务完成存量数据和增量数据的迁移,确保了备份系统中数据的完整性以及与源端系统的一致性。
当向备份系统发送和写入增量数据时,可以同时生成操作日志,以便根据需要来通过操作日志实现数据恢复。下面参考图4描述本发明日志生成方法的实施例。
图4为根据本发明一些实施例的日志生成方法的流程示意图。如图4所示,该实施例的日志生成方法包括步骤S402。
在步骤S402中,生成在源端系统执行的写操作对应的写操作日志,并根据写操作的执行顺序生成相应写操作日志的序列号。
在一些实施例中,可以采用队列来传输写操作日志,以尽量使得写操作日志是按照相应写操作的执行顺序排列的。例如,可以采步骤S404~S406。
在步骤S404中,在源端系统侧,将生成的写操作日志添加到包括多个写操作日志的传输队列的尾部。
在步骤S406中,在备份系统侧,从传输队列的头部依次读取一个或多个写操作日志,并将读取的写操作日志存储到备份系统中。
在一些实施例中,写操作日志可以采用二进制的形式传送,从而可以提高传输的安全性、减少传输的数据量。
在一些实施例中,还可以将存量数据的备份过程转换为日志进行存储。
从而,可以通过队列的方式传输写操作日志,使得备份系统获取的日志是按照相应写操作的执行顺序排序的。
在一些实施例中,当备份系统接收到写操作日志时,如果个别写操作日志的顺序错乱,备份系统可以根据序列号进一步地修正操作日志的排列顺序。
当源端系统发生故障、或者出于其他原因需要进行数据恢复时,可以根据日志实现。下面参考图5描述本发明数据恢复方法的实施例。
图5为根据本发明一些实施例的数据恢复方法的流程示意图。如图5所示,该实施例的数据恢复方法包括步骤S502~S504。
在步骤S502中,获取对源端系统进行数据恢复的指令,其中,该指令包括预设的时间点。
在步骤S504中,按照备份系统存储的写操作日志所对应的操作时间的顺序,在预设的恢复系统中依次执行操作时间在预设的时间点以前的、源端系统的每个写操作日志对应的写操作。
此外,在步骤S502之前,还可以执行存量数据进行数据备份时的操作日志所对应的操作,从而实现对存量数据的数据恢复。
恢复系统可以是源端系统,还可以是云端灾备中心等其他系统。
由于写操作日志中存储了在源端系统执行的写操作的相关信息,从而上述实施例提供的数据恢复方法的恢复精度达到了I/O操作的级别,远远高于传统容灾备份技术。通过监控源端系统中数据的变化,可以将数据复制到本地或者任意距离的云端灾备中心,实现数据的持续保护。同时,也将数据的每一次变化过程以日志的形式记录下来。当需要进行数据恢复时,可以直接指定要恢复的时间点,或者通过日志上下文来辅助定位要恢复的时间点。从而可以根据需求,将数据恢复到不同的硬件或者虚拟服务器上。
本发明的实施例可以应用于物理机、虚拟机、公有云、私有云、单机、集群等多种设备或装置中,也可以用于不同类型的设备或装置之间的数据备份、迁移和恢复。例如,当用户的本地设备发生故障时,可以将本地的基础设施通过上述实施例的方法备份或迁移到具有多租户的云环境中。从而,可以快速、准确、高效地切换用户的工作环境,减少了针对固定设备的资产支持。
下面参考图6描述本发明数据备份装置的实施例。
图6为根据本发明一些实施例的数据备份装置的结构示意图。如图6所示,该实施例的数据备份装置600包括:写操作信息获取模块6100,被配置为响应于数据写入事务启动,获取在源端系统执行的一个或多个写操作;写操作执行模块6200,被配置为在备份系统中执行一个或多个写操作;事务结束模块6300,被配置为在备份系统成功地执行一个或多个写操作的情况下,结束数据写入事务。
在一些实施例中,事务结束模块6300进一步被配置为在备份系统成功地完成一个或多个写操作、并且在源端系统执行的一个或多个写操作的结果和在备份系统执行的一个或多个写操作的结果一致的情况下,结束数据写入事务。
在一些实施例中,还包括:数据回滚模块6400,被配置为在备份系统执行一个或多个写操作失败的情况下,在备份系统中回滚数据写入事务中已执行的写操作、并重新执行数据写入事务中的一个或多个写操作。
在一些实施例中,在结束数据写入事务之后,下一个数据写入事务被启动。
在一些实施例中,源端系统执行的写操作是在源端系统的存量数据备份的过程中执行的,并且数据写入事务是在源端系统的存量数据备份完成后启动的。
在一些实施例中,数据备份装置600还包括:存量数据备份模块6500,被配置为获取源端系统响应于数据传输事务的启动而发送的数据单元,其中,数据单元是源端系统的存量数据的数据单元的副本;在备份系统中存储副本;响应于备份系统成功存储副本,成功结束数据传输事务。
在一些实施例中,数据备份装置600还包括:日志获取模块6600,被配置为获取源端系统发送的一个或多个写操作日志,其中,每个写操作日志是根据每个写操作生成的、并且具有序列号,序列号是根据写操作的执行顺序生成的。
在一些实施例中,每个写操作日志在生成后被添加到传输队列的尾部;从传输队列的头部依次获取源端系统发送的一个或多个写操作日志。
在一些实施例中,写操作日志包括操作时间;数据备份装置600还包括:数据恢复模块6700,被配置为获取对源端系统进行数据恢复的指令,其中,指令包括预设的时间点;按照备份系统存储的写操作日志所对应的操作时间的顺序,在预设的恢复系统中依次执行操作时间在预设的时间点以前的、源端系统的每个写操作日志对应的写操作。
下面参考图7描述本发明数据备份系统的实施例。
图7为根据本发明一些实施例的数据备份系统的结构示意图。如图7所示,该实施例的数据备份系统70包括数据备份装置710以及源端系统代理720。源端系统代理720被配置为响应于监听到源端系统执行写操作,获取写操作信息,并将写操作信息发送给数据备份装置。
在一些实施例中,数据备份系统还可以包括数据存储装置730,数据备份装置710在数据存储装置中执行一个或多个写操作,以将备份数据存储到数据存储装置730中。
下面参考图8描述本发明数据备份系统的实施例。
图8为根据本发明另一些实施例的数据备份系统的结构示意图。如图8所示,该实施例的数据备份系统80包括源端系统810和云端灾备系统820,云端灾备系统820作为备份系统。
源端服务器810具有源端系统,其中可以部署源端系统代理8100,以发送存量数据、监控增量数据、发送增量数据。
云端灾备服务器820具有备份系统,包括灾备端系统代理8201、灾备管理设备8202、对象存储服务(OSS,简称:Object Storage Service)8203。灾备端系统代理8201接收源端系统代理8100发送的数据,并将数据写入到作为备份存储服务装置的对象存储服务8203中。灾备管理设备8202用于进行灾备服务的配置、灾备状态监控、代理监控、数据校验等。例如,灾备管理设备8202可以通过心跳技术监测灾备端系统代理8201是否存活。
源端服务器810和和云端灾备服务器820之间网络可达,支持互联网、VPN、专线等多种联网方式,支持窄带宽条件下的数据灾备。当源端服务器810发生异常或者宕机时,由云端灾备服务器820接管应用以对外提供服务,实现应用级的快速恢复。此外,云端灾备服务器820还可以将数据从云平台的对象存储服务8203恢复到用户指定的备用服务器上。数据恢复完成后,新恢复的服务器提供和源端服务器810一样的服务,应用程序可以直接从该备用服务器得到服务和响应。
图9为根据本发明另一些实施例的数据备份装置的结构示意图。如图9所示,该实施例的数据备份装置90包括:存储器910以及耦接至该存储器910的处理器920,处理器920被配置为基于存储在存储器910中的指令,执行前述任意一个实施例中的数据备份方法。
其中,存储器910例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
图10为根据本发明又一些实施例的数据备份装置的结构示意图。如图10所示,该实施例的数据备份装置100包括:存储器1010以及处理器1020,还可以包括输入输出接口1030、网络接口1040、存储接口1050等。这些接口1030,1040,1050以及存储器1010和处理器1020之间例如可以通过总线1060连接。其中,输入输出接口1030为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口1040为各种联网设备提供连接接口。存储接口1050为SD卡、U盘等外置存储设备提供连接接口。
本发明的实施例还提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现前述任意一种数据备份方法。
本领域内的技术人员应当明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (14)

1.一种数据备份方法,包括:
获取在源端系统执行的一个或多个写操作,其中,所述一个或多个写操作对应一个已启动的数据写入事务;
在备份系统中执行所述一个或多个写操作;
在所述一个或多个写操作在备份系统中成功地执行的情况下,结束所述数据写入事务。
2.根据权利要求1所述的数据备份方法,其中,在备份系统成功地完成所述一个或多个写操作、并且在源端系统执行的所述一个或多个写操作的结果和在备份系统执行的所述一个或多个写操作的结果一致的情况下,结束所述数据写入事务。
3.根据权利要求1所述的数据备份方法,还包括:
在备份系统执行所述一个或多个写操作失败的情况下,在备份系统中回滚所述数据写入事务中已执行的写操作、并重新执行所述数据写入事务中的一个或多个写操作。
4.根据权利要求1所述的数据备份方法,其中,在结束所述数据写入事务之后,下一个数据写入事务被启动。
5.根据权利要求1所述的数据备份方法,其中,源端系统执行的所述写操作是在源端系统的存量数据备份的过程中执行的,并且所述数据写入事务是在源端系统的存量数据备份完成后启动的。
6.根据权利要求1或5所述的数据备份方法,还包括:
获取源端系统响应于数据传输事务的启动而发送的数据单元,其中,所述数据单元是源端系统的存量数据的数据单元的副本;
在备份系统中存储所述副本;
响应于备份系统成功存储所述副本,成功结束所述数据传输事务。
7.根据权利要求1所述的数据备份方法,还包括:
获取源端系统发送的一个或多个写操作日志,其中,每个写操作日志是根据每个写操作生成的、并且具有序列号,所述序列号是根据写操作的执行顺序生成的。
8.根据权利要求1所述的数据备份方法,其中,每个写操作日志在生成后被添加到传输队列的尾部;
从传输队列的头部依次获取源端系统发送的一个或多个写操作日志。
9.根据权利要求7或8所述的数据备份方法,其中,所述写操作日志包括操作时间;
所述数据备份方法还包括:
获取对源端系统进行数据恢复的指令,其中,所述指令包括预设的时间点;
按照备份系统存储的写操作日志所对应的操作时间的顺序,在预设的恢复系统中依次执行操作时间在所述预设的时间点以前的、所述源端系统的每个写操作日志对应的写操作。
10.一种数据备份装置,包括:
写操作获取模块,被配置为响应于数据写入事务启动,获取在源端系统执行的一个或多个写操作;
写操作执行模块,被配置为在备份系统中执行所述一个或多个写操作;
事务结束模块,被配置为在备份系统成功地执行所述一个或多个写操作的情况下,结束所述数据写入事务。
11.一种数据备份系统,包括:
权利要求10所述的数据备份装置;以及
源端系统代理,被配置为监听在源端系统执行的写操作;响应于数据写入事务启动,将监听到的一个或多个写操作发送给所述数据备份装置。
12.根据权利要求11所述的数据备份系统,还包括:
数据存储装置,所述数据备份装置在所述数据存储装置中执行所述一个或多个写操作。
13.一种数据备份装置,其特征在于,包括:
存储器;以及
耦接至所述存储器的处理器,所述处理器被配置为基于存储在所述存储器中的指令,执行如权利要求1-9中任一项所述的数据备份方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-9中任一项所述的数据备份方法。
CN201910871869.6A 2019-09-16 2019-09-16 数据备份方法、装置、系统和存储介质 Active CN110825562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910871869.6A CN110825562B (zh) 2019-09-16 2019-09-16 数据备份方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910871869.6A CN110825562B (zh) 2019-09-16 2019-09-16 数据备份方法、装置、系统和存储介质

Publications (2)

Publication Number Publication Date
CN110825562A true CN110825562A (zh) 2020-02-21
CN110825562B CN110825562B (zh) 2023-03-07

Family

ID=69548130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910871869.6A Active CN110825562B (zh) 2019-09-16 2019-09-16 数据备份方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN110825562B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416655A (zh) * 2020-11-26 2021-02-26 深圳市中博科创信息技术有限公司 一种基于企业服务门户的存储灾备系统及数据复制方法
CN113297004A (zh) * 2020-05-28 2021-08-24 阿里巴巴集团控股有限公司 数据备份方法、数据恢复方法及装置
CN113821382A (zh) * 2021-11-24 2021-12-21 西安热工研究院有限公司 一种实时数据库数据处理方法、系统和设备
CN115080316A (zh) * 2022-07-06 2022-09-20 广西飞创信息科技有限公司 一种基于虚拟化技术的跨存储平台双活容灾保护方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102193844A (zh) * 2010-03-08 2011-09-21 微软公司 基于部分块的备份
CN105740104A (zh) * 2016-02-03 2016-07-06 网易(杭州)网络有限公司 数据库中数据备份方法、装置及游戏系统
CN107153649A (zh) * 2016-03-02 2017-09-12 阿里巴巴集团控股有限公司 一种数据备份方法及装置
CN107924411A (zh) * 2015-08-14 2018-04-17 甲骨文国际公司 事务系统中ui状态的恢复
CN108647112A (zh) * 2018-03-16 2018-10-12 阿里巴巴集团控股有限公司 数据备份的方法、装置及分布式事务处理系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102193844A (zh) * 2010-03-08 2011-09-21 微软公司 基于部分块的备份
CN107924411A (zh) * 2015-08-14 2018-04-17 甲骨文国际公司 事务系统中ui状态的恢复
CN105740104A (zh) * 2016-02-03 2016-07-06 网易(杭州)网络有限公司 数据库中数据备份方法、装置及游戏系统
CN107153649A (zh) * 2016-03-02 2017-09-12 阿里巴巴集团控股有限公司 一种数据备份方法及装置
CN108647112A (zh) * 2018-03-16 2018-10-12 阿里巴巴集团控股有限公司 数据备份的方法、装置及分布式事务处理系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113297004A (zh) * 2020-05-28 2021-08-24 阿里巴巴集团控股有限公司 数据备份方法、数据恢复方法及装置
CN112416655A (zh) * 2020-11-26 2021-02-26 深圳市中博科创信息技术有限公司 一种基于企业服务门户的存储灾备系统及数据复制方法
CN113821382A (zh) * 2021-11-24 2021-12-21 西安热工研究院有限公司 一种实时数据库数据处理方法、系统和设备
CN115080316A (zh) * 2022-07-06 2022-09-20 广西飞创信息科技有限公司 一种基于虚拟化技术的跨存储平台双活容灾保护方法和系统
CN115080316B (zh) * 2022-07-06 2023-01-31 广西飞创信息科技有限公司 一种基于虚拟化技术的跨存储平台双活容灾保护方法和系统

Also Published As

Publication number Publication date
CN110825562B (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
CN110825562B (zh) 数据备份方法、装置、系统和存储介质
US9563684B1 (en) Replication cookie
US10261853B1 (en) Dynamic replication error retry and recovery
US11397648B2 (en) Virtual machine recovery method and virtual machine management device
JP6285511B2 (ja) 仮想マシンクラスタの監視方法及びシステム
US9875042B1 (en) Asynchronous replication
US9367598B2 (en) Merging an out of synchronization indicator and a change recording indicator in response to a failure in consistency group formation
US9256605B1 (en) Reading and writing to an unexposed device
US7594138B2 (en) System and method of error recovery for backup applications
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
US8874508B1 (en) Systems and methods for enabling database disaster recovery using replicated volumes
US10223007B1 (en) Predicting IO
CN107256182B (zh) 一种数据库还原的方法及设备
CN110807064B (zh) Rac分布式数据库集群系统中的数据恢复装置
JP2007164769A (ja) ミラーリングされたシステム内の障害を管理するための方法、システム、およびプログラム(ミラーリングされたシステム内の障害の管理)
US10860447B2 (en) Database cluster architecture based on dual port solid state disk
US10725967B1 (en) Continuous data protection snapshots
CN113886143B (zh) 虚拟机持续数据保护方法、装置及数据恢复方法、装置
CN114356650A (zh) 数据备份方法、装置、设备、系统及存储介质
CN113986450A (zh) 一种虚拟机备份方法及装置
WO2018076696A1 (zh) 一种数据同步方法及带外管理设备
CN112948484A (zh) 分布式数据库系统和数据灾备演练方法
CN113297134B (zh) 数据处理系统及数据处理方法、装置、电子设备
CN109324931B (zh) 在重复数据删除系统中实现vmware挂载恢复的方法
CN114791901A (zh) 数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant