CN106610876A - 数据快照的恢复方法及装置 - Google Patents
数据快照的恢复方法及装置 Download PDFInfo
- Publication number
- CN106610876A CN106610876A CN201510698124.6A CN201510698124A CN106610876A CN 106610876 A CN106610876 A CN 106610876A CN 201510698124 A CN201510698124 A CN 201510698124A CN 106610876 A CN106610876 A CN 106610876A
- Authority
- CN
- China
- Prior art keywords
- data
- moment
- node
- cluster manager
- snapshot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Retry When Errors Occur (AREA)
Abstract
本发明提供了一种数据快照的恢复方法及装置,其中,该方法包括:分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据;集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做事务日志中的事务所指示的操作得到在指定时刻各个节点的数据快照,其中,事务日志为物理备份结束时刻至指定时刻之间归档的对数据进行的操作。通过本发明,解决了相关技术中分布式数据库恢复历史时刻的数据库快照不能恢复出任意指定时刻且满足全局事务一致性的数据库快照的问题。
Description
技术领域
本发明涉及数据库领域,具体而言,涉及一种数据快照的恢复方法及装置。
背景技术
目前业内的主流的数据库是单机数据库(Oracle、DB2、MySQL等),而随着数据量膨胀,单机数据库越来越不能满足用户对于大存储和高性能的需求,分布式数据库的应用逐渐广泛起来。
相关技术中分布式数据库恢复历史时刻的数据库快照有两种主要方案:
方案一:在单节点使用备份工具进行逻辑备份恢复或是直接进行磁盘镜像备份并日常归档事务日志。利用备份数据恢复出各个节点备份数据后,各个节点分别利用事务日志重做到指定时刻。
该方案一存在的问题是:(1)不能保证恢复出的任意指定时刻数据库快照的全局一致性,因为采用的是各个节点分别备份恢复的方法,不采取任何机制去保证分布式数据库全局一致性;(2)在备份过程中对在线业务的性能影响很大,逻辑备份以文件为单位进行备份,多了查找等操作,降低了磁盘的吞吐量,备份效率较低;(3)利用镜像恢复数据库花费时间非常的长。
方案二:利用分布式事务管理器,在分布式数据库备份的时候做协调,只备份单节点事务和各个节点均成功提交的分布式事务。这只能保证在备份过程中和备份结束时刻的备份数据处于全局事务一致性(即恢复该时间段中的数据库快照才能处于全局事务一致性状态)。若要求恢复到任意时刻,则必须依赖事务日志和分布式事务管理器,在回放过程中通过资源池、加锁等机制实现回放过程中每一刻全局事务一致性。
该方案二存在的问题是:在备份过程中时刻控制数据一致性,导致性能下降,对在线业务的影响很大,在重做事务日志过程中也保证每一刻的数据一致性,需要对资源加锁,导致回放速度非常慢。
针对相关技术中分布式数据库恢复历史时刻的数据库快照不能恢复出任意指定时刻且满足全局事务一致性的数据库快照的问题,目前尚未存在有效的解决方案。
发明内容
本发明提供了一种数据快照的恢复方法及装置,以至少解决相关技术中分布式数据库恢复历史时刻的数据库快照不能恢复出任意指定时刻且满足全局事务一致性的数据库快照的问题。
根据本发明的一个方面,提供了一种数据快照的恢复方法,包括:分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据;所述集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做所述事务日志中的事务所指示的操作得到在所述指定时刻所述各个节点的数据快照,其中,所述事务日志为所述物理备份结束时刻至所述指定时刻之间归档的对数据进行的操作。
进一步地,所述分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据包括:所述集群管理器获取在所述指定时刻之前最近一次获取的所述各个节点的活跃事务列表快照,其中,所述活跃事务列表快照中记录有在所述指定时刻与所述集群管理器连接的一个或多个节点上正在活跃的用于操作数据的事务;所述集群管理器查找所述活跃事务列表中最先开始的活跃事务的开始时刻;在所述开始时刻小于所述物理备份结束时刻时,所述集群管理器对所述活跃事务列表快照中在所述物理备份结束时刻之前仍活跃的事务进行回滚得到所述最近一次物理备份结束时刻的数据;在所述开始时刻大于所述物理备份结束时刻时,所述集群管理器获取所述各个节点在指定时刻之前最近一次物理备份结束时刻的数据。
进一步地,所述集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做所述事务日志中的事务所指示的操作得到所述指定时刻所述各个节点的数据快照包括:所述集群管理器基于所述最近一次物理备份结束时刻的数据按照所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的所述各个节点的单机事务操作,以及按照在所述物理备份结束时刻到所述指定时刻之间所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的分布式事务操作得到所述指定时刻所述各个节点的数据快照。
进一步地,在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前,所述方法还包括:所述集群管理器周期性向与所述集群管理器连接的各个节点发送物理备份指令,其中,所述物理备份指令包括:全量备份指令和/或增量备份指令。
进一步地,在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前,所述方法还包括:所述集群管理器周期性对所述各个节点执行快照操作得到所述活跃事务列表快照。
根据本发明的另一个方面,提供了一种数据快照的恢复装置,应用于分布式数据库中的集群管理器侧,包括:恢复模块,用于将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据;重做模块,用于基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做所述事务日志中的事务所指示的操作得到在所述指定时刻所述各个节点的数据快照,其中,所述事务日志为所述物理备份结束时刻至所述指定时刻之间归档的对数据进行的操作。
进一步地,所述恢复模块包括:第一获取单元,用于获取在所述指定时刻之前最近一次获取的所述各个节点的活跃事务列表快照,其中,所述活跃事务列表快照中记录有在所述指定时刻与所述集群管理器连接的一个或多个节点上正在活跃的用于操作数据的事务;查找单元,用于查找所述活跃事务列表中最先开始的活跃事务的开始时刻;回滚单元,用于在所述开始时刻小于所述物理备份结束时刻时,对所述活跃事务列表快照中在所述物理备份结束时刻之前仍活跃的事务进行回滚得到所述最近一次物理备份结束时刻的数据;第二获取单元,用于在所述开始时刻大于所述物理备份结束时刻时,获取所述各个节点在指定时刻之前最近一次物理备份结束时刻的数据。
进一步地,所述重做模块,还用于基于所述最近一次物理备份结束时刻的数据按照所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的所述各个节点的单机事务操作,以及按照在所述物理备份结束时刻到所述指定时刻之间所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的分布式事务操作得到所述指定时刻所述各个节点的数据快照。
进一步地,在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前,所述装置还包括:发送模块,用于周期性向与所述集群管理器连接的各个节点发送物理备份指令,其中,所述物理备份指令包括:全量备份指令和/或增量备份指令。
进一步地,在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前,所述装置还包括:执行模块,用于周期性对所述各个节点执行快照操作得到所述活跃事务列表快照。
通过本发明,采用在分布式数据库中的集群管理器中将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据,并基于该数据按照事务日志中的事务的执行时间的顺序重做事务日志中的事务所指示的操作得到在指定时刻各个节点的数据快照,即在本实施例中采用基于最近一次物理备份结束时刻的数据按照事务日志事务重做得到各个节点的数据快照,从而使得该快照满足了全局一致性,进而解决了相关技术中分布式数据库恢复历史时刻的数据库快照不能恢复出任意指定时刻且满足全局事务一致性的数据库快照的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的数据快照的恢复方法的流程图;
图2是根据本发明实施例的数据快照的恢复装置的结构框图;
图3是根据本发明实施例的数据快照的恢复装置的可选结构框图一;
图4是根据本发明实施例的数据快照的恢复装置的可选结构框图二;
图5是根据本发明实施例的数据快照的恢复装置的可选结构框图三;
图6是根据本发明可选实施例的数据库快照恢复系统的示意图;
图7是根据本发明可选实施例的数据库快照恢复方法的流程图;
图8是根据本发明可选实施例的数据库快照恢复的时间图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
在本实施例中提供了一种数据快照的恢复方法,图1是根据本发明实施例的数据快照的恢复方法的流程图,如图1所示,该流程包括如下步骤:
步骤S102,分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据;
步骤S104,集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做事务日志中的事务所指示的操作得到在指定时刻各个节点的数据快照,其中,事务日志为物理备份结束时刻至指定时刻之间归档的对数据进行的操作。
由本实施例的上述步骤S102至步骤S104可知,在分布式数据库中的集群管理器中将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据,并基于该数据按照事务日志中的事务的执行时间的顺序重做事务日志中的事务所指示的操作得到在指定时刻各个节点的数据快照,即在本实施例中采用基于最近一次物理备份结束时刻的数据按照事务日志事务重做得到各个节点的数据快照,从而使得该快照满足了全局一致性,进而解决了相关技术中分布式数据库恢复历史时刻的数据库快照不能恢复出任意指定时刻且满足全局事务一致性的数据库快照的问题。
对于本实施例中上述步骤S102中涉及到的分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据的方式,在本实施例的可选实施方式中,可以通过如下方式来实现:
步骤S102-1:集群管理器获取在指定时刻之前最近一次获取的各个节点的活跃事务列表快照,其中,活跃事务列表快照中记录有在指定时刻与集群管理器连接的一个或多个节点上正在活跃的用于操作数据的事务;
步骤S102-2:集群管理器查找活跃事务列表中最先开始的活跃事务的开始时刻;
步骤S102-3:在开始时刻小于物理备份结束时刻时,集群管理器对活跃事务列表快照中在物理备份结束时刻之前仍活跃的事务进行回滚得到最近一次物理备份结束时刻的数据;
步骤S102-4:在开始时刻大于物理备份结束时刻时,集群管理器获取各个节点在指定时刻之前最近一次物理备份结束时刻的数据。
需要说明的是,对于上述步骤S102-1中涉及到的活跃事务列表,是通过周期性进行获取的,而获取到的活跃事务列表中的最早开始的活跃事务可以是在物理备份结束时刻之前或物理备份之后,进而根据不同的情况分别获取对应的事务日志。
对于本实施例中步骤S104中涉及到的集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做事务日志中的事务所指示的操作得到在指定时刻各个节点的数据快照的方式,在本实施例的可选实施方式中,可以通过如下方式来实现:
集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做事务日志中事务所指示的各个节点的单机事务操作,以及按照在物理备份结束时刻到指定时刻之间事务日志中的事务的执行时间的顺序重做事务日志中事务所指示的分布式事务操作得到指定时刻各个节点的数据快照。
也就是说,在活跃事务列表中最先开始的活跃事务是在物理备份结束之前时,在得到指定时刻的数据库快照时,需要对活跃事务列表中在开始时刻到物理备份结束时刻之间活跃事务进行回滚,这样才能保证物理备份结束前的快照的全局一致性,而对于物理备份结束之后到指定时刻的快照,只需要根据该段时间的事务日志进行前滚就能得到全局一致性的数据快照。
而在本实施例的步骤S102分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前,本实施例的方法还可以包括:集群管理器周期性向与集群管理器连接的各个节点发送物理备份指令,其中,物理备份指令包括:全量备份指令和/或增量备份指令,通过本实施例的该备份方式,执行备份和恢复较逻辑备份都要快很多。除此之外,采取全量加增量的方式备份数据库,恢复的时候只需要一份全量的备份数据和一份增量的备份数据就可快速恢复数据库,而采用对数据库物理备份的方式,在备份过程中只是拷贝数据库文件,对在线业务影响极小。
而在本实施例的步骤S102分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前,本实施例的方法还可以包括:集群管理器周期性对各个节点执行快照操作得到活跃事务列表快照
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
在本实施例中还提供了一种数据库快照的恢复装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本发明可选实施例的数据快照的恢复装置的结构框图,应用于分布式数据库中的集群管理器中,如图2所示,该装置包括:恢复模块22,用于将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据;重做模块24,与恢复模块22耦合连接,用于基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做事务日志中的事务所指示的操作得到在指定时刻各个节点的数据快照,其中,事务日志为物理备份结束时刻至指定时刻之间归档的对数据进行的操作。
图3是根据本发明实施例的数据快照的恢复装置的可选结构框图一,如图3所示,恢复模块22包括:第一获取单元32,用于获取在指定时刻之前最近一次获取的各个节点的活跃事务列表快照,其中,活跃事务列表快照中记录有在指定时刻与集群管理器连接的一个或多个节点上正在活跃的用于操作数据的事务;查找单元34,与第一获取单元32耦合连接,用于查找活跃事务列表中最先开始的活跃事务的开始时刻;回滚单元36,与查找单元34耦合连接,用于在开始时刻小于物理备份结束时刻时,对活跃事务列表快照中在物理备份结束时刻之前仍活跃的事务进行回滚得到最近一次物理备份结束时刻的数据;第二获取单元38,与回滚单元36耦合连接,用于在开始时刻大于物理备份结束时刻时,获取各个节点在指定时刻之前最近一次物理备份结束时刻的数据。
基于图3中恢复模块22中的单元,本实施例中涉及到的重做模块24,还用于基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做事务日志中事务所指示的各个节点的单机事务操作,以及按照在物理备份结束时刻到指定时刻之间事务日志中的事务的执行时间的顺序重做事务日志中事务所指示的分布式事务操作得到指定时刻各个节点的数据快照
图4是根据本发明实施例的数据快照的恢复装置的可选结构框图二,如图4所示,在分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前,装置还包括:发送模块42,与恢复模块22耦合连接,用于周期性向与集群管理器连接的各个节点发送物理备份指令,其中,物理备份指令包括:全量备份指令和/或增量备份指令。
图5是根据本发明实施例的数据快照的恢复装置的可选结构框图三,如图5所示,在分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前,装置还包括:执行模块52,与恢复模块22耦合连接,用于周期性对各个节点执行快照操作得到活跃事务列表快照。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述模块分别位于多个处理器中。
下面结合本发明的可选实施例对本发明进行举例说明;
本可选实施例采用了基于定期的分布式数据库物理备份(包括全量备份和增量备份)、日常归档的事务日志、按照某种频率抓取的活跃事务列表快照,这3种基础数据来可恢复出任意指定时刻且满足全局事务一致性的数据库快照,并且以上所有过程均对在线业务不产生影响。即本实施例中采用的是在单节点恢复的数据上,做全局一致性的处理。
对于本可选实施例中涉及到的快照时刻非正常结束的分布式事务引发的全局数据一致性问题场景包括:(1)存在部分节点提交成功而部分节点还未提交的分布式事务;(2)存在分布式事务在部分节点中提交成功而部分节点提交失败,且分布式数据库还未将提交成功的节点中该事务回滚;(3)存在所有节点均未提交或提交失败的事务。
此外,在本可选实施例中采用物理热备份的方法获取数据库备份,对结构化查询语言SQL的执行几乎不产生负面影响,并且利用一次全量和一次增量备份数据,可以快速恢复出备份数据。
图6是根据本发明可选实施例的数据库快照恢复系统的示意图,如图6所示,该系统包括:Data Node Cluster:数据节点集群,用于对数据进行存储;SQL Node Cluster:SQL节点集群,用于SQL拆分和解析;全局事务协调器GTM(Global TransactionManager):用于管理全局事务。Cluster Manager:集群管理器,用于管理Data Node Cluster和SQL Node Cluster。
基于图6中该系统的组成部分,图7是根据本发明可选实施例的数据库快照恢复方法的流程图,如图7所示,该方法的步骤包括:
步骤S41,获取活跃事务列表快照;
步骤S42,物理热备份数据库;
步骤S43,定时归档事务日志;
也就说,上述步骤S41至步骤S43是用来生成基础数据,Cluster Manager定期根据备份策略给各个节点下发全量或增量备份命令,Cluster Manager定时(可配置)向GTM获取活跃事务列表快照并持久化到磁盘文件(活跃事务列表文件)中;数据库节点定期归档数据库的事务日志。
该方法还包括:
步骤S44,获取备份数据库文件、日志文件和活跃事务列表文件;
步骤S45,恢复单节点一致性数据;
步骤S46,恢复全局一致性数据;
也就是说,该步骤S44至步骤S46是指恢复到任意指定时刻分布式数据库快照,其中,对每个数据库节点,根据全量+增量备份数据,把单节点数据库恢复到备份结束时刻的数据一致性状态。从活跃事务列表文件中检索到指定时刻的活跃事务列表快照,并取出对应的归档事务日志。根据活跃事务列表快照和事务日志,前滚或回滚从备份时刻到指定时刻的所有数据库事务,使得该快照满足分布式数据库的全局一致性。
通过本可选实施例采用对数据库物理热备份的方式,备份和恢复较逻辑备份都要快很多。除此之外,本可选实施例采取全量加增量的方式备份数据库,恢复的时候只需要一份全量的备份数据和一份增量的备份数据就可快速恢复数据库。本可选实施例采用对数据库物理热备份的方式,在备份过程中只是拷贝数据库文件,对在线业务影响极小。另外,使得数据库快照能够满足全局事务一致性,在该指定时刻的数据库快照,不存在部分数据节点已提交,部分数据节点未提交或提交失败的事务。可以恢复任意指定时刻(以获取活跃事务列表周期为粒度)的数据库快照。
下面结合本发明的具体实施例对本可选实施例进行详细的说明,需要说明的是以下可选实施例都是结合图8进行相应的说明,图8是根据本发明可选实施例的数据库快照恢复的时间图;
可选实施例一:
该可选实施例以以MariaDB分布式系统为例,获得数据库数据一致性快照方法的步骤包括:初始基础数据生成过程包括步骤S201至步骤S203,而基于初始基础数据恢复指定时刻t7的数据库快照的步骤包括步骤S204至步骤S211。
步骤S201,开启分布式数据库和管理程序(ClusterManager,GTM),该时间点为t0,从t0时刻开始,ClusterManager定期向GTM获取活跃事务列表快照,写入文件,并持久化。
步骤S202,在t1时刻,Cluster Manager根据备份策略和上次备份的结果文件,分别向数据库节点发起备份请求,节点1的备份结束时刻为t3,节点2的备份结束时刻为t4,节点3的备份结束时刻为t5。备份结束后各个节点以备份开始时间命名备份数据并返回备份结果,Cluster Manager记入结果文件并持久化。
步骤S203,数据节点日常归档事务日志文件,Cluster Manager归档活跃事务列表快照文件,其中,该归档周期可配置。
步骤S204,获取备份结果文件,并分析结果文件,之后获取t7时刻之前的最近一次备份数据即t1时刻备份的数据文件;
步骤S205,用物理热备份工具分别恢复各个节点备份数据,节点1恢复到时刻t3。
步骤S206,根据活跃事务列表快照文件中的记录匹配出指定时刻t7之前最近一次获取活跃事务列表快照的时刻t6,其中,恢复快照的粒度为获取活跃事务列表快照的周期;
步骤S207,分析t6时刻的活跃事务列表,得到该活跃事务列表中最先开始的事务的开始时间t2;
步骤S208,获取该节点时间为[tmin,tmax]的事务日志;
其中,tmin=min{t2,t3},tmax=t7;
步骤S209,当tmin小于t3时,使用工具生成[tmin,t3]之间的在t6时刻仍活跃的分布式事务的回滚语句;当tmin不小于t3时,忽略该步骤;
步骤S210,使用工具重做[t3,t6]之间所有的单机事务和在集合:{gtid在t6时刻活跃事务列表中不存在}∩{小于t6时刻的next_gtid}中的所有分布式事务;
步骤S211,执行生成的回滚语句。
可选实施例二:
该可选实施例的应用场景为:基于MySQL分布式集群数据库的在线支付系统灾难恢复;
在本可选实施例中,使用物理热备份工具备份单节点数据,ClusterManager定期向GTM获取活跃事务列表数据快照,并且日常归档binlog日志。恢复时,获取单节点备份数据、binlog日志和活跃事务列表快照,进行恢复、回滚和重做的操作,从而得到指定时刻或备份时刻全局事务一致性的数据库快照且不影响大数据量的在线支付系统正常运行,该可选实施例的步骤包括:
步骤S301,开启分布式数据库和管理程序(ClusterManager,GTM),该时间点为t0,从t0时刻开始,ClusterManager定期向GTM获取活跃事务列表快照,写入文件,并持久化。
步骤S302,在t1时刻,Cluster Manager根据备份策略和上次备份的结果文件,分别向数据库节点发起备份请求,节点1的备份结束时刻为t3,节点2的备份结束时刻为t4,节点3的备份结束时刻为t5。备份结束后各个节点以备份开始时间命名备份数据并返回备份结果,Cluster Manager记入结果文件并持久化。
步骤S303,数据节点日常归档事务日志文件,Cluster Manager归档活跃事务列表快照文件,其中,归档周期可以为10分钟。
对于本可选实施例中涉及到的恢复数据库快照,要求在其他生产环境或者中间机器恢复该集群数据库t7时刻快照,该恢复的步骤包括:
步骤S304,获取备份结果文件,并分析结果文件,之后获取t7时刻之前的最近一次备份数据即t1时刻备份的数据文件;
步骤S305,若需要恢复到最近十分钟之内的数据,则还需要手动将还未来得及归档的事务日志拷贝到目标机器;
步骤S306,用物理热备份工具分别恢复各个节点备份数据,新节点1恢复到时刻t3;
步骤S307,根据活跃事务列表快照文件中的记录匹配出指定时刻t7之前最近一次获取活跃事务列表快照的时刻t6。(恢复快照的粒度为获取活跃事务列表快照的周期)
步骤S308,分析t6时刻的活跃事务列表,得到该活跃事务列表中最先开始的事务的开始时间t2。
步骤S309,获取该节点时间为[tmin,tmax]的事务日志;
其中,tmin=min{t2,t3},tmax=t7
步骤S310,当tmin小于t3时,使用工具生成[tmin,t3]之间的在t6时刻仍活跃的分布式事务的回滚语句;当tmin不小于t3时,忽略该步骤。
步骤S311,使用工具重做[t3,t6]之间所有的单机事务和在集合:{gtid在t6时刻活跃事务列表中不存在}∩{小于t6时刻的next_gtid}中的所有分布式事务。
通过本可选实施例的上述步骤可以恢复到数据库当机之前的时刻。
可选实施例三
基于MariaDB分布式集群数据库用户储蓄系统单一数据表恢复
在可选实施例中,使用物理热备份工具备份单节点数据,ClusterManager定期向GTM获取活跃事务列表数据快照,并且日常归档binlog日志。恢复时,获取单节点备份数据、binlog日志和活跃事务列表快照,进行恢复、回滚和重做的操作,从而得到运维人员误删除数据表前时刻全局事务一致性的数据库快照。利用该快照,可以导出误删除数据表,由人工导入在线系统。具体步骤如下所示。
步骤S401,开启分布式数据库和管理程序(ClusterManager,GTM),该时间点为t0,从t0时刻开始,ClusterManager定期向GTM获取活跃事务列表快照,写入文件,并持久化。
步骤S402,在t1时刻,Cluster Manager根据备份策略和上次备份的结果文件,分别向数据库节点发起备份请求,节点1的备份结束时刻为t3,节点2的备份结束时刻为t4,节点3的备份结束时刻为t5。备份结束后各个节点以备份开始时间命名备份数据并返回备份结果,Cluster Manager记入结果文件并持久化。
步骤S403,数据节点日常归档事务日志文件,Cluster Manager归档活跃事务列表快照文件。归档周期为10分钟。
对于本可选实施例中涉及到的要求在其他生产环境或者中间机器恢复该集群数据库t7时刻快照,包括如下步骤:
步骤S404,获取备份结果文件,并分析结果文件,之后获取t7时刻之前的最近一次备份数据即t1时刻备份的数据文件。
步骤S405,若需要恢复到最近十分钟之内的数据,则还需要手动将还未来得及归档的事务日志拷贝到目标机器。
步骤S406,用物理热备份工具分别恢复各个节点备份数据。新节点1恢复到时刻t3。
步骤S407,根据活跃事务列表快照文件中的记录匹配出指定时刻t7之前最近一次获取活跃事务列表快照的时刻t6。(恢复快照的粒度为获取活跃事务列表快照的周期)
步骤S408,分析t6时刻的活跃事务列表,得到该活跃事务列表中最先开始的事务的开始时间t2。
步骤S409,获取该节点时间为[tmin,tmax]的事务日志;
其中,tmin=min{t2,t3},tmax=t7
步骤S410,当tmin小于t3时,使用工具生成[tmin,t3]之间的在t6时刻仍活跃的分布式事务的回滚语句;当tmin不小于t3时,忽略该步骤。
步骤S411,使用工具重做[t3,t6]之间所有的单机事务和在集合:{gtid在t6时刻活跃事务列表中不存在}∩{小于t6时刻的next_gtid}中的所有分布式事务。
通过本可选实施例的上述步骤可以导出被误删除的数据表文件。即可以恢复到数据库误删除之前的时刻。当运维人员误删除某些用户信息的场景中,可利用本可选实施例中的恢复删除信息之前时刻数据库快照。该时刻的数据库快照中被删除的数据表还存在,可以利用数据库工具导出该数据表,重新导入到当前时刻的数据库中。
可选实施例四
基于Oracle分布式集群数据库的在线购物系统
在本可选实施例中使用物理热备份工具备份单节点数据,ClusterManager定期向GTM获取活跃事务列表数据快照,并且日常归档redo日志。恢复时,获取单节点备份数据、redo日志和活跃事务列表快照,进行恢复、回滚和重做的操作,从而得到数据突变前时刻全局事务一致性的数据库快照。利用该快照,可以在改善数据分布后再次测试数据库和机房分别是否合理。该过程的步骤包括:
步骤S501,开启分布式数据库和管理程序(ClusterManager,GTM),该时间点为t0,从t0时刻开始,ClusterManager定期向GTM获取活跃事务列表快照,写入文件,并持久化。
步骤S502,在t1时刻,Cluster Manager根据备份策略和上次备份的结果文件,分别向数据库节点发起备份请求,节点1的备份结束时刻为t3,节点2的备份结束时刻为t4,节点3的备份结束时刻为t5。备份结束后各个节点以备份开始时间命名备份数据并返回备份结果,Cluster Manager记入结果文件并持久化。
步骤S503,数据节点日常归档事务日志文件,Cluster Manager归档活跃事务列表快照文件。归档周期为10分钟。
对于本可选实施例中涉及到的要求在其他生产环境或者中间机器恢复该集群数据库t7时刻快照的步骤包括:
步骤S504,获取备份结果文件,并分析结果文件,之后获取t7时刻之前的最近一次备份数据即t1时刻备份的数据文件。
步骤S505,若需要恢复到最近十分钟之内的数据,则还需要手动将还未来得及归档的事务日志拷贝到目标机器。
步骤S506,用物理热备份工具分别恢复各个节点备份数据。新节点1恢复到时刻t3。
步骤S507,根据活跃事务列表快照文件中的记录匹配出指定时刻t7之前最近一次获取活跃事务列表快照的时刻t6。(恢复快照的粒度为获取活跃事务列表快照的周期)
步骤S508,分析t6时刻的活跃事务列表,得到该活跃事务列表中最先开始的事务的开始时间t2。
步骤S509,获取该节点时间为[tmin,tmax]的事务日志;
其中,tmin=min{t2,t3},tmax=t7
步骤S510,当tmin小于t3时,使用工具生成[tmin,t3]之间的在t6时刻仍活跃的分布式事务的回滚语句;当tmin不小于t3时,忽略该步骤。
步骤S512,使用工具重做[t3,t6]之间所有的单机事务和在集合:{gtid在t6时刻活跃事务列表中不存在}∩{小于t6时刻的next_gtid}中的所有分布式事务。
可选实施例五
基于MySQL分布式集群数据库的交易系统
在本可选实施例中在升级之前使用物理热备份工具备份单节点数据,ClusterManager定期向GTM获取活跃事务列表数据快照,并且日常归档binlog日志。恢复时,获取单节点备份数据、binlog日志和活跃事务列表快照,进行恢复、回滚操作,从而得到升级前时刻全局事务一致性的数据库快照。升级失败的时刻,可以回退到该时刻。该过程的步骤包括:
步骤S601,开启分布式数据库和管理程序(ClusterManager,GTM),该时间点为t0,从t0时刻开始,ClusterManager定期向GTM获取活跃事务列表快照,写入文件,并持久化。
步骤S602,在t1时刻,Cluster Manager根据备份策略和上次备份的结果文件,分别向数据库节点发起备份请求,节点1的备份结束时刻为t3,节点2的备份结束时刻为t4,节点3的备份结束时刻为t5。备份结束后各个节点以备份开始时间命名备份数据并返回备份结果,Cluster Manager记入结果文件并持久化。
步骤S603,数据节点日常归档事务日志文件,Cluster Manager归档活跃事务列表快照文件。归档周期为10分钟。
对于本实施例中涉及到的要求在其他生产环境或者中间机器恢复该集群数据库t7时刻快照的步骤包括:
步骤S604,获取备份结果文件,并分析结果文件,之后获取t7时刻之前的最近一次备份数据即t1时刻备份的数据文件。
步骤S605,若需要恢复到最近十分钟之内的数据,则还需要手动将还未来得及归档的事务日志拷贝到目标机器。
步骤S606,用物理热备份工具分别恢复各个节点备份数据。新节点1恢复到时刻t3。
步骤S607,根据活跃事务列表快照文件中的记录匹配出指定时刻t7之前最近一次获取活跃事务列表快照的时刻t6。(恢复快照的粒度为获取活跃事务列表快照的周期)
步骤S608,分析t6时刻的活跃事务列表,得到该活跃事务列表中最先开始的事务的开始时间t2。
步骤S609,获取该节点时间为[tmin,tmax]的事务日志;
其中,tmin=min{t2,t3},tmax=t7
步骤S610,当tmin小于t3时,使用工具生成[tmin,t3]之间的在t6时刻仍活跃的分布式事务的回滚语句;当tmin不小于t3时,忽略该步骤。
步骤S611,使用工具重做[t3,t6]之间所有的单机事务和在集合:{gtid在t6时刻活跃事务列表中不存在}∩{小于t6时刻的next_gtid}中的所有分布式事务。
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的程序代码:
S1,分布式数据库中的集群管理器将与集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据;
S2,集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做事务日志中的事务所指示的操作得到在指定时刻各个节点的数据快照,其中,事务日志为物理备份结束时刻至指定时刻之间归档的对数据进行的操作。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据快照的恢复方法,其特征在于,包括:
分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据;
所述集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做所述事务日志中的事务所指示的操作得到在所述指定时刻所述各个节点的数据快照,其中,所述事务日志为所述物理备份结束时刻至所述指定时刻之间归档的对数据进行的操作。
2.根据权利要求1所述的方法,其特征在于,所述分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据包括:
所述集群管理器获取在所述指定时刻之前最近一次获取的所述各个节点的活跃事务列表快照,其中,所述活跃事务列表快照中记录有在所述指定时刻与所述集群管理器连接的一个或多个节点上正在活跃的用于操作数据的事务;
所述集群管理器查找所述活跃事务列表中最先开始的活跃事务的开始时刻;
在所述开始时刻小于所述物理备份结束时刻时,所述集群管理器对所述活跃事务列表快照中在所述物理备份结束时刻之前仍活跃的事务进行回滚得到所述最近一次物理备份结束时刻的数据;
在所述开始时刻大于所述物理备份结束时刻时,所述集群管理器获取所述各个节点在指定时刻之前最近一次物理备份结束时刻的数据。
3.根据权利要求2所述的方法,其特征在于,所述集群管理器基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做所述事务日志中的事务所指示的操作得到所述指定时刻所述各个节点的数据快照包括:
所述集群管理器基于所述最近一次物理备份结束时刻的数据按照所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的所述各个节点的单机事务操作,以及按照在所述物理备份结束时刻到所述指定时刻之间所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的分布式事务操作得到所述指定时刻所述各个节点的数据快照。
4.根据权利要求1所述的方法,其特征在于,在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前,所述方法还包括:
所述集群管理器周期性向与所述集群管理器连接的各个节点发送物理备份指令,其中,所述物理备份指令包括:全量备份指令和/或增量备份指令。
5.根据权利要求2所述的方法,其特征在于,在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前,所述方法还包括:
所述集群管理器周期性对所述各个节点执行快照操作得到所述活跃事务列表快照。
6.一种数据快照的恢复装置,应用于分布式数据库中的集群管理器侧,其特征在于,包括:
恢复模块,用于将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据;
重做模块,用于基于最近一次物理备份结束时刻的数据按照事务日志中的事务的执行时间的顺序重做所述事务日志中的事务所指示的操作得到在所述指定时刻所述各个节点的数据快照,其中,所述事务日志为所述物理备份结束时刻至所述指定时刻之间归档的对数据进行的操作。
7.根据权利要求6所述的装置,其特征在于,所述恢复模块包括:
第一获取单元,用于获取在所述指定时刻之前最近一次获取的所述各个节点的活跃事务列表快照,其中,所述活跃事务列表快照中记录有在所述指定时刻与所述集群管理器连接的一个或多个节点上正在活跃的用于操作数据的事务;
查找单元,用于查找所述活跃事务列表中最先开始的活跃事务的开始时刻;
回滚单元,用于在所述开始时刻小于所述物理备份结束时刻时,对所述活跃事务列表快照中在所述物理备份结束时刻之前仍活跃的事务进行回滚得到所述最近一次物理备份结束时刻的数据;
第二获取单元,用于在所述开始时刻大于所述物理备份结束时刻时,获取所述各个节点在指定时刻之前最近一次物理备份结束时刻的数据。
8.根据权利要求7所述的装置,其特征在于,
所述重做模块,还用于基于所述最近一次物理备份结束时刻的数据按照所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的所述各个节点的单机事务操作,以及按照在所述物理备份结束时刻到所述指定时刻之间所述事务日志中的事务的执行时间的顺序重做所述事务日志中事务所指示的分布式事务操作得到所述指定时刻所述各个节点的数据快照。
9.根据权利要求6所述的装置,其特征在于,在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前,所述装置还包括:
发送模块,用于周期性向与所述集群管理器连接的各个节点发送物理备份指令,其中,所述物理备份指令包括:全量备份指令和/或增量备份指令。
10.根据权利要求7所述的装置,其特征在于,在分布式数据库中的集群管理器将与所述集群管理器连接的各个节点的数据恢复到指定时刻之前最近一次物理备份结束时刻的数据之前,所述装置还包括:
执行模块,用于周期性对所述各个节点执行快照操作得到所述活跃事务列表快照。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510698124.6A CN106610876B (zh) | 2015-10-23 | 2015-10-23 | 数据快照的恢复方法及装置 |
PCT/CN2016/079475 WO2016180160A1 (zh) | 2015-10-23 | 2016-04-15 | 数据快照的恢复方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510698124.6A CN106610876B (zh) | 2015-10-23 | 2015-10-23 | 数据快照的恢复方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106610876A true CN106610876A (zh) | 2017-05-03 |
CN106610876B CN106610876B (zh) | 2020-11-03 |
Family
ID=57247762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510698124.6A Active CN106610876B (zh) | 2015-10-23 | 2015-10-23 | 数据快照的恢复方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106610876B (zh) |
WO (1) | WO2016180160A1 (zh) |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107451013A (zh) * | 2017-06-30 | 2017-12-08 | 北京奇虎科技有限公司 | 基于分布式系统的数据恢复方法、装置及系统 |
CN108959547A (zh) * | 2018-07-02 | 2018-12-07 | 山东汇贸电子口岸有限公司 | 一种pv快照分布式数据库集群恢复方法 |
WO2018223262A1 (zh) * | 2017-06-05 | 2018-12-13 | 华为技术有限公司 | 一种事务处理方法、装置及设备 |
CN109144790A (zh) * | 2018-09-30 | 2019-01-04 | 广州鼎甲计算机科技有限公司 | MySQL数据库的合成备份方法和装置 |
CN109144785A (zh) * | 2018-08-27 | 2019-01-04 | 北京百度网讯科技有限公司 | 用于备份数据的方法和装置 |
CN109271398A (zh) * | 2018-10-29 | 2019-01-25 | 东软集团股份有限公司 | 数据库事务处理方法、装置、设备和计算机可读存储介质 |
WO2019109854A1 (zh) * | 2017-12-07 | 2019-06-13 | 中兴通讯股份有限公司 | 分布式数据库数据处理方法、装置、存储介质及电子装置 |
CN109885427A (zh) * | 2019-01-31 | 2019-06-14 | 郑州云海信息技术有限公司 | 一种数据库短期数据保护方法、装置、存储器及设备 |
CN110121712A (zh) * | 2017-12-05 | 2019-08-13 | 华为技术有限公司 | 一种日志管理方法、服务器和数据库系统 |
CN110309227A (zh) * | 2018-05-28 | 2019-10-08 | 腾讯科技(深圳)有限公司 | 分布式数据回档方法、装置和计算机可读存储介质 |
CN110807064A (zh) * | 2019-10-28 | 2020-02-18 | 北京优炫软件股份有限公司 | Rac分布式数据库集群系统中的数据恢复装置 |
CN111124751A (zh) * | 2019-11-12 | 2020-05-08 | 华为技术有限公司 | 数据恢复方法及系统、数据存储节点、数据库管理节点 |
CN111177141A (zh) * | 2018-11-09 | 2020-05-19 | 上海擎感智能科技有限公司 | 利用MySQL并行复制恢复数据方法、设备及系统 |
CN111226200A (zh) * | 2018-03-23 | 2020-06-02 | 华为技术有限公司 | 为分布式应用创建一致性快照的方法、装置和分布式系统 |
CN111338845A (zh) * | 2020-02-16 | 2020-06-26 | 西安奥卡云数据科技有限公司 | 一种细粒度的本地数据保护方法 |
CN111522631A (zh) * | 2020-03-23 | 2020-08-11 | 支付宝(杭州)信息技术有限公司 | 分布式事务处理方法、装置、服务器及介质 |
CN111611108A (zh) * | 2020-05-21 | 2020-09-01 | 云和恩墨(北京)信息技术有限公司 | 虚拟数据库还原的方法及装置 |
CN112000521A (zh) * | 2020-08-24 | 2020-11-27 | 中国银联股份有限公司 | 分布式数据库系统的全量备份方法、装置及计算机可读存储介质 |
CN112286870A (zh) * | 2020-11-02 | 2021-01-29 | 四川长虹电器股份有限公司 | 一种获取数据库一致性快照的方法 |
CN112463447A (zh) * | 2020-11-25 | 2021-03-09 | 浪潮云信息技术股份公司 | 一种基于分布式数据库实现物理备份的优化方法 |
CN112534396A (zh) * | 2019-05-13 | 2021-03-19 | 斯诺弗雷克公司 | 数据库系统中的日记表 |
CN112579613A (zh) * | 2020-12-31 | 2021-03-30 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 数据库集群差异比对与数据同步的方法、系统及介质 |
CN113297230A (zh) * | 2020-07-27 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 数据验证方法及装置 |
CN115658239A (zh) * | 2022-12-23 | 2023-01-31 | 安超云软件有限公司 | 一种快照管理方法、系统及计算机可读介质 |
CN116107807A (zh) * | 2023-01-10 | 2023-05-12 | 北京万里开源软件有限公司 | 数据库中数据备份时获取全局一致性点位的方法及装置 |
CN116541206A (zh) * | 2023-04-10 | 2023-08-04 | 泽拓科技(深圳)有限责任公司 | 分布式数据集群的数据恢复方法、装置和电子设备 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108304527B (zh) * | 2018-01-25 | 2022-02-01 | 杭州哲信信息技术有限公司 | 一种数据提取方法 |
CN109408289A (zh) * | 2018-10-16 | 2019-03-01 | 国网山东省电力公司信息通信公司 | 一种云容灾数据处理方法 |
CN110286732B (zh) * | 2019-06-27 | 2021-01-12 | 华云数据控股集团有限公司 | 高可用集群掉电自动恢复方法、装置、设备及存储介质 |
CN111651303A (zh) * | 2020-07-07 | 2020-09-11 | 南京云信达科技有限公司 | 一种分布式架构的数据库在线备份和恢复方法技术领域 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102708143A (zh) * | 2011-03-18 | 2012-10-03 | 微软公司 | 在页级跟踪重做完成 |
CN103198159A (zh) * | 2013-04-27 | 2013-07-10 | 国家计算机网络与信息安全管理中心 | 一种基于事务重做的异构集群多副本一致性维护方法 |
CN103412803A (zh) * | 2013-08-15 | 2013-11-27 | 华为技术有限公司 | 数据恢复的方法及装置 |
US8949190B2 (en) * | 2011-11-07 | 2015-02-03 | Sap Se | Point-in-time database recovery using log holes |
US20150212906A1 (en) * | 2014-01-24 | 2015-07-30 | International Business Machines Corporation | Using transactional execution for reliability and recovery of transient failures |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110184915A1 (en) * | 2010-01-28 | 2011-07-28 | Microsoft Corporation | Cluster restore and rebuild |
CN102419758A (zh) * | 2010-09-28 | 2012-04-18 | 金蝶软件(中国)有限公司 | 数据处理系统及方法 |
CN102662793A (zh) * | 2012-03-07 | 2012-09-12 | 江苏引跑网络科技有限公司 | 一种可保证数据一致性的分布式数据库热备份与恢复方法 |
CN103699548B (zh) * | 2012-09-27 | 2016-12-21 | 阿里巴巴集团控股有限公司 | 一种通过使用日志恢复数据库数据的方法及设备 |
CN103885856B (zh) * | 2014-03-10 | 2017-01-25 | 北京大学 | 一种基于消息再生机制的图计算容错方法及系统 |
-
2015
- 2015-10-23 CN CN201510698124.6A patent/CN106610876B/zh active Active
-
2016
- 2016-04-15 WO PCT/CN2016/079475 patent/WO2016180160A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102708143A (zh) * | 2011-03-18 | 2012-10-03 | 微软公司 | 在页级跟踪重做完成 |
US8949190B2 (en) * | 2011-11-07 | 2015-02-03 | Sap Se | Point-in-time database recovery using log holes |
CN103198159A (zh) * | 2013-04-27 | 2013-07-10 | 国家计算机网络与信息安全管理中心 | 一种基于事务重做的异构集群多副本一致性维护方法 |
CN103412803A (zh) * | 2013-08-15 | 2013-11-27 | 华为技术有限公司 | 数据恢复的方法及装置 |
US20150212906A1 (en) * | 2014-01-24 | 2015-07-30 | International Business Machines Corporation | Using transactional execution for reliability and recovery of transient failures |
Cited By (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018223262A1 (zh) * | 2017-06-05 | 2018-12-13 | 华为技术有限公司 | 一种事务处理方法、装置及设备 |
CN107451013B (zh) * | 2017-06-30 | 2020-12-25 | 北京奇虎科技有限公司 | 基于分布式系统的数据恢复方法、装置及系统 |
CN107451013A (zh) * | 2017-06-30 | 2017-12-08 | 北京奇虎科技有限公司 | 基于分布式系统的数据恢复方法、装置及系统 |
CN110121712A (zh) * | 2017-12-05 | 2019-08-13 | 华为技术有限公司 | 一种日志管理方法、服务器和数据库系统 |
CN110121712B (zh) * | 2017-12-05 | 2022-04-05 | 华为技术有限公司 | 一种日志管理方法、服务器和数据库系统 |
WO2019109854A1 (zh) * | 2017-12-07 | 2019-06-13 | 中兴通讯股份有限公司 | 分布式数据库数据处理方法、装置、存储介质及电子装置 |
US11928089B2 (en) | 2017-12-07 | 2024-03-12 | Zte Corporation | Data processing method and device for distributed database, storage medium, and electronic device |
CN110019469B (zh) * | 2017-12-07 | 2022-06-21 | 金篆信科有限责任公司 | 分布式数据库数据处理方法、装置、存储介质及电子装置 |
CN110019469A (zh) * | 2017-12-07 | 2019-07-16 | 中兴通讯股份有限公司 | 分布式数据库数据处理方法、装置、存储介质及电子装置 |
CN111226200A (zh) * | 2018-03-23 | 2020-06-02 | 华为技术有限公司 | 为分布式应用创建一致性快照的方法、装置和分布式系统 |
CN111226200B (zh) * | 2018-03-23 | 2023-06-27 | 华为云计算技术有限公司 | 为分布式应用创建一致性快照的方法、装置和分布式系统 |
CN110309227A (zh) * | 2018-05-28 | 2019-10-08 | 腾讯科技(深圳)有限公司 | 分布式数据回档方法、装置和计算机可读存储介质 |
CN110309227B (zh) * | 2018-05-28 | 2022-12-13 | 腾讯科技(深圳)有限公司 | 分布式数据回档方法、装置和计算机可读存储介质 |
CN108959547A (zh) * | 2018-07-02 | 2018-12-07 | 山东汇贸电子口岸有限公司 | 一种pv快照分布式数据库集群恢复方法 |
CN108959547B (zh) * | 2018-07-02 | 2022-02-18 | 上海浪潮云计算服务有限公司 | 一种pv快照分布式数据库集群恢复方法 |
CN109144785B (zh) * | 2018-08-27 | 2020-07-28 | 北京百度网讯科技有限公司 | 用于备份数据的方法和装置 |
CN109144785A (zh) * | 2018-08-27 | 2019-01-04 | 北京百度网讯科技有限公司 | 用于备份数据的方法和装置 |
CN109144790A (zh) * | 2018-09-30 | 2019-01-04 | 广州鼎甲计算机科技有限公司 | MySQL数据库的合成备份方法和装置 |
CN109271398A (zh) * | 2018-10-29 | 2019-01-25 | 东软集团股份有限公司 | 数据库事务处理方法、装置、设备和计算机可读存储介质 |
CN109271398B (zh) * | 2018-10-29 | 2020-06-23 | 东软集团股份有限公司 | 数据库事务处理方法、装置、设备和计算机可读存储介质 |
CN111177141A (zh) * | 2018-11-09 | 2020-05-19 | 上海擎感智能科技有限公司 | 利用MySQL并行复制恢复数据方法、设备及系统 |
CN109885427A (zh) * | 2019-01-31 | 2019-06-14 | 郑州云海信息技术有限公司 | 一种数据库短期数据保护方法、装置、存储器及设备 |
CN112534396A (zh) * | 2019-05-13 | 2021-03-19 | 斯诺弗雷克公司 | 数据库系统中的日记表 |
CN112534396B (zh) * | 2019-05-13 | 2021-11-09 | 斯诺弗雷克公司 | 数据库系统中的日记表 |
CN110807064B (zh) * | 2019-10-28 | 2022-08-26 | 北京优炫软件股份有限公司 | Rac分布式数据库集群系统中的数据恢复装置 |
CN110807064A (zh) * | 2019-10-28 | 2020-02-18 | 北京优炫软件股份有限公司 | Rac分布式数据库集群系统中的数据恢复装置 |
CN111124751B (zh) * | 2019-11-12 | 2023-11-17 | 华为云计算技术有限公司 | 数据恢复方法及系统、数据存储节点、数据库管理节点 |
CN111124751A (zh) * | 2019-11-12 | 2020-05-08 | 华为技术有限公司 | 数据恢复方法及系统、数据存储节点、数据库管理节点 |
CN111338845B (zh) * | 2020-02-16 | 2021-05-07 | 西安奥卡云数据科技有限公司 | 一种细粒度的本地数据保护方法 |
CN111338845A (zh) * | 2020-02-16 | 2020-06-26 | 西安奥卡云数据科技有限公司 | 一种细粒度的本地数据保护方法 |
CN111522631A (zh) * | 2020-03-23 | 2020-08-11 | 支付宝(杭州)信息技术有限公司 | 分布式事务处理方法、装置、服务器及介质 |
CN111522631B (zh) * | 2020-03-23 | 2024-02-06 | 支付宝(杭州)信息技术有限公司 | 分布式事务处理方法、装置、服务器及介质 |
CN111611108A (zh) * | 2020-05-21 | 2020-09-01 | 云和恩墨(北京)信息技术有限公司 | 虚拟数据库还原的方法及装置 |
CN113297230A (zh) * | 2020-07-27 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 数据验证方法及装置 |
CN113297230B (zh) * | 2020-07-27 | 2024-03-08 | 阿里巴巴集团控股有限公司 | 数据验证方法及装置 |
CN112000521A (zh) * | 2020-08-24 | 2020-11-27 | 中国银联股份有限公司 | 分布式数据库系统的全量备份方法、装置及计算机可读存储介质 |
CN112000521B (zh) * | 2020-08-24 | 2021-08-27 | 中国银联股份有限公司 | 分布式数据库系统的全量备份方法、装置及计算机可读存储介质 |
CN112286870A (zh) * | 2020-11-02 | 2021-01-29 | 四川长虹电器股份有限公司 | 一种获取数据库一致性快照的方法 |
CN112463447A (zh) * | 2020-11-25 | 2021-03-09 | 浪潮云信息技术股份公司 | 一种基于分布式数据库实现物理备份的优化方法 |
CN112579613A (zh) * | 2020-12-31 | 2021-03-30 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 数据库集群差异比对与数据同步的方法、系统及介质 |
CN112579613B (zh) * | 2020-12-31 | 2023-02-17 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 数据库集群差异比对与数据同步的方法、系统及介质 |
CN115658239A (zh) * | 2022-12-23 | 2023-01-31 | 安超云软件有限公司 | 一种快照管理方法、系统及计算机可读介质 |
CN116107807B (zh) * | 2023-01-10 | 2023-10-13 | 北京万里开源软件有限公司 | 数据库中数据备份时获取全局一致性点位的方法及装置 |
CN116107807A (zh) * | 2023-01-10 | 2023-05-12 | 北京万里开源软件有限公司 | 数据库中数据备份时获取全局一致性点位的方法及装置 |
CN116541206A (zh) * | 2023-04-10 | 2023-08-04 | 泽拓科技(深圳)有限责任公司 | 分布式数据集群的数据恢复方法、装置和电子设备 |
CN116541206B (zh) * | 2023-04-10 | 2024-05-07 | 泽拓科技(深圳)有限责任公司 | 分布式数据集群的数据恢复方法、装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2016180160A1 (zh) | 2016-11-17 |
CN106610876B (zh) | 2020-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106610876A (zh) | 数据快照的恢复方法及装置 | |
CN101334797B (zh) | 一种分布式文件系统及其数据块一致性管理的方法 | |
WO2019154394A1 (zh) | 分布式数据库集群系统、数据同步方法及存储介质 | |
CN102110121B (zh) | 一种数据处理方法及其系统 | |
CN110019469B (zh) | 分布式数据库数据处理方法、装置、存储介质及电子装置 | |
EP2521037A2 (en) | Geographically distributed clusters | |
CN109643310B (zh) | 用于数据库中数据重分布的系统和方法 | |
JP2017195004A (ja) | モジュール式ブロックおよび関連付けられたログファイルを伴う分散型データベース | |
CN108509462B (zh) | 一种同步活动事务表的方法及装置 | |
CN105574187B (zh) | 一种异构数据库复制事务一致性保障方法及系统 | |
JPH0628043B2 (ja) | データ・ベース・システムの動作を回復する方法 | |
CN106777270A (zh) | 一种基于提交点时间线同步的异构数据库复制并行执行系统及方法 | |
CN104216955A (zh) | 一种操作数据及管理事务的方法、装置及分布式系统 | |
CN111475480B (zh) | 一种日志处理方法及系统 | |
US11436110B2 (en) | Distributed database remote backup | |
CN111930716A (zh) | 一种数据库扩容方法、装置及系统 | |
CN103902405A (zh) | 一种准连续性数据复制方法及装置 | |
CN111291062B (zh) | 数据同步写入方法、装置、计算机设备及存储介质 | |
CN115617571A (zh) | 一种数据备份方法、装置、系统、设备及存储介质 | |
CN113987078B (zh) | 数据同步方法、设备及计算机可读存储介质 | |
CN110196788B (zh) | 一种数据读取方法、装置、系统及存储介质 | |
WO2021082925A1 (zh) | 一种交易处理的方法及装置 | |
Pankowski | Consistency and availability of Data in replicated NoSQL databases | |
CN112818021A (zh) | 数据请求处理方法、装置、计算机设备和存储介质 | |
CN111522688B (zh) | 分布式系统的数据备份方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |