CN112363873A - 一种分布式一致性备份恢复系统及其备份方法 - Google Patents
一种分布式一致性备份恢复系统及其备份方法 Download PDFInfo
- Publication number
- CN112363873A CN112363873A CN202011367400.8A CN202011367400A CN112363873A CN 112363873 A CN112363873 A CN 112363873A CN 202011367400 A CN202011367400 A CN 202011367400A CN 112363873 A CN112363873 A CN 112363873A
- Authority
- CN
- China
- Prior art keywords
- backup
- data
- consistency
- state point
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000013523 data management Methods 0.000 claims abstract description 55
- 238000012544 monitoring process Methods 0.000 claims abstract description 52
- 238000013500 data storage Methods 0.000 claims abstract description 31
- 230000003993 interaction Effects 0.000 claims abstract description 6
- 230000008859 change Effects 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000007726 management method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种分布式一致性备份恢复系统及其备份方法,该系统包括分布式存储单元、一致性状态点识别装置、备份代理端、数据管理服务端、数据库服务端以及数据存储服务端,一致性状态点识别装置用于确定分布式存储单元对应的一致性状态点信息,并将一致性状态点信息传输给数据库服务端进行存储;备份代理端根据数据管理服务端输出的备份任务信息,将分布式存储单元内的数据流传输至数据存储服务端进行备份;数据管理服务端用于输出监控配置信息给一致性状态点识别装置、与数据库服务端之间进行信息交互、接收来自备份代理端的执行进度及状态信息。与现有技术相比,本发明能有效实现分布式系统的数据一致性备份,保证后续恢复数据的即时可用性。
Description
技术领域
本发明涉及分布式备份恢复技术领域,尤其是涉及一种分布式一致性备份恢复系统及其备份方法。
背景技术
数字化趋势为企业带来了巨大的机遇,传统企业通过数据化转型,以打造灵活高效的业务流程、创新的商业模式,能够实现降低人力资本投入、增加营收等目标。随着新技术的不断涌现与应用,使得各行业的业务系统架构发生了颠覆性改变,原本基于单一数据存储组件的单机系统逐步被复杂的多数据存储组件的分布式系统所替代。
这一变化给业务系统的备份和恢复带来了前所未有的挑战,其中之一就是数据一致性保障机制,备份的最基本诉求就是创建一份或多份独立存储的、具有一致性保障的生产数据副本。当前阶段,对于单一数据存储组件构建的单机系统进行备份时,存在着多种成熟的数据一致性保障机制,如:数据库厂商提供的RDBMS(Relational DatabaseManagement System,关系型数据库管理系统)备份恢复接口、操作系统厂商提供的VSS(Volume Shadow Copy Service,卷影复制服务)技术、存储厂商提供的存储快照接口以及虚拟化厂商提供的虚拟机快照接口等。但对分布式系统进行备份时,上述数据一致性保障机制全部失效。
现有分布式系统备份技术方案中,通常出于技术原因,会放弃分布式系统整体的一致性保障,而将分布式系统的备份拆解成针对多个组件互相独立的备份方案,然后基于上述针对单机系统提供的数据一致性保障机制,以分别保障各单个组件的数据一致性。这种方式在后期进行数据恢复时,实际上是逐一恢复分布式系统的各组件,由于分布式系统数据不一致,导致数据恢复后不能直接提供给业务使用,需要借助业务层的容错能力或一致性恢复机制,经历复杂、漫长的一致性修复过程,才有可能完成业务的恢复,更有甚者,无法完成修复直接导致恢复失败,带来灾难性的数据丢失故障,给企业造成重大损失。因此,如何在备份时对分布式系统进行数据一致性处理,保障数据一致性,成了分布式系统备份恢复技术方案中亟待解决的难题。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种分布式一致性备份恢复系统及其备份方法,能够实现分布式系统的数据一致性备份,使得后续恢复数据时无需修复即可提供给业务使用。
本发明的目的可以通过以下技术方案来实现:一种分布式一致性备份恢复系统,包括分布式存储单元、一致性状态点识别装置、备份代理端以及备份恢复集群,所述备份恢复集群包括数据管理服务端,所述数据管理服务端与数据库服务端连接,所述备份恢复集群还包括数据存储服务端,所述分布式存储单元分别与一致性状态点识别装置、备份代理端连接,所述备份代理端分别与数据管理服务端、数据存储服务端连接,所述数据管理服务端分别与一致性状态点识别装置、数据库服务端连接,所述数据库服务端与一致性状态点识别装置连接,所述分布式存储单元用于分布存储不同业务数据;
所述一致性状态点识别装置用于确定分布式存储单元对应的一致性状态点信息,并将一致性状态点信息传输给数据库服务端进行存储;
所述备份代理端根据数据管理服务端输出的备份任务信息,将分布式存储单元内的数据流传输至数据存储服务端进行备份;
所述数据管理服务端用于输出监控配置信息给一致性状态点识别装置、与数据库服务端之间进行信息交互、接收来自备份代理端的执行进度及状态信息。
进一步地,所述分布式存储单元包括多个数据库,所述多个数据库分别对应存储不同业务数据。
进一步地,所述一致性状态点识别装置包括与数据管理服务端连接的配置模块,所述配置模块分别连接至日志解析模块和一致性校验模块,所述日志解析模块与一致性校验模块连接,所述日志解析模块还与分布式存储单元连接,所述一致性校验模块还与数据库服务端连接,所述配置模块用于接收来自数据管理服务端的监控配置信息,并将监控配置信息分别传输给日志解析模块和一致性校验模块,所述监控配置信息包括待监控对象以及一致性校验规则;
所述日志解析模块用于解析待监控对象的事务日志文件,并生成待监控对象关联业务变更数据消息;
所述一致性校验模块根据一致性校验规则对待监控对象关联业务变更数据消息进行校验,得到一致性状态点信息,所述一致性状态点信息包含通过一致性校验规则的所有监控对象标识及对应的LSN(Log Sequence Number,日志序列号)。
进一步地,所述数据管理服务端包括多个管理服务栈,所述管理服务栈设置有Web服务模块、任务编排模块以及数据备份模块,所述Web服务模块用于提供备份恢复集群与用户的交互UI;
所述任务编排模块用于保存备份或恢复任务策略,以及触发备份或恢复任务的执行;
所述数据备份模块用于管理调度备份或恢复任务。
一种分布式一致性备份方法,包括以下步骤:
S1、数据管理服务端将包含待监控对象信息以及一致性校验规则的监控配置信息发送给一致性状态点识别装置;
S2、根据监控配置信息,一致性状态点识别装置从分布式存储单元获取待监控对象的事务日志文件,并进行一致性状态点识别,得到分布式存储单元对应的一致性状态点信息,并将该一致性状态点信息传输给数据库服务端进行存储;
S3、根据用户操作指令,数据管理服务端启动备份任务,并从数据库服务端获取一致性状态点信息、与数据库服务端进行数据管理元数据信息的交互,之后向备份代理端输出备份任务信息;
S4、根据备份任务信息,备份代理端从分布式存储单元获取待备份的数据以及事务日志,并将获取的数据及事务日志传输给数据存储服务端进行备份,同时备份代理端定期返回执行进度及状态信息给数据管理服务端,以完成备份过程。
进一步地,所述待监控对象包括分布式存储单元内待监控的数据库以及关联业务数据信息,所述关联业务数据信息为各数据库之间具有关联关系的数据表或数据表中的特定字段。
进一步地,所述步骤S2具体包括以下步骤:
S21、一致性状态点识别装置从分布式存储单元获取待监控对象的事务日志,当待监控对象发生变化时,实时生成监控对象关联业务变更数据消息;
S22、根据一致性校验规则,一致性状态点识别装置对监控对象关联业务数据变更消息进行实时校验,得到通过一致性校验的一致性状态点信息,所述一致性状态点信息包含通过一致性校验规则的所有监控对象标识及对应的LSN;
S23、一致性状态点识别装置将得到的一致性状态点信息实时传输给数据库服务端进行存储。
进一步地,所述监控对象关联业务变更数据消息包含关联业务数据及关联业务数据所属数据库的事务日志对应的LSN。
进一步地,所述备份任务信息包括备份类型、分布式存储单元内待备份的数据库、该数据库对应上一次备份的一致性状态点信息中的LSN以及该数据库对应最近一次校验通过的一致性状态点信息中的LSN,所述备份类型包括完全备份以及增量备份。
进一步地,所述步骤S4具体包括以下步骤:
若进行完全备份,则备份代理端首先从分布式存储单元获取待备份数据库的基础数据,并将基础数据传输给数据存储服务端进行备份,之后备份代理端从分布式存储单元获取待备份数据库日志文件记录的全备初始LSN,再将待备份数据库从全备初始LSN至最近一次校验通过的一致性状态点信息中LSN之间的事务日志传输给数据存储服务端进行备份;
若进行增量备份,则备份代理端将待备份数据库从上一次备份的一致性状态点信息中LSN至最近一次校验通过的一致性状态点信息中LSN之间的事务日志传输给数据存储服务端进行备份。
与现有技术相比,本发明具有以下优点:
一、本发明通过设置与分布式存储单元、数据管理服务端、数据库服务端分别连接的一致性状态点识别装置,利用一致性状态点识别装置对分布式存储单元进行一致性状态点识别,能够得到分布式存储单元对应的一致性状态点信息,使得后续备份时数据管理服务端能够从数据库服务端查询得到一致性状态点信息、使得备份代理端能够根据一致性状态点信息将分布式存储单元中相应的数据及事务日志传输给数据存储服务端进行备份,从而有效、可靠地保证分布式备份数据的一致性,实现对分布式系统整体一致性备份的目的。
二、本发明利用数据管理服务端输出监控配置信息给一致性状态点识别装置,利用数据库服务端存储一致性状态点信息,结合数据管理服务端与数据库服务端之间的数据信息交互,使得后续恢复数据时能够直接得到具有一致性保障的数据,无需再进行数据修复即可提供给业务使用。
三、本发明基于事务日志的LSN构建一致性状态点信息的组成结构,使得备份代理端能够根据事务日志的LSN方便快速地从分布式存储单元获取待备份的事务日志,以此提高一致性备份的速度和效率。
附图说明
图1为本发明的系统结构示意图;
图2为本发明中一致性状态点识别装置的结构示意图;
图3为本发明中备份恢复集群的结构示意图;
图4为本发明的备份方法流程示意图;
图5为实施例中分布式一致性备份恢复系统工作流程示意图;
图中标记说明:1、分布式存储单元,2、一致性状态点识别装置,21、配置模块,22、日志解析模块,23、一致性校验模块,3、备份代理端,4、备份恢复集群,41、数据管理服务端,42、数据库服务端,43、数据存储服务端。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示,一种分布式一致性备份恢复系统,包括分布式存储单元1、一致性状态点识别装置2、备份代理端3以及备份恢复集群4,备份恢复集群4包括数据管理服务端41,数据管理服务端41与数据库服务端42连接,备份恢复集群4还包括数据存储服务端43,分布式存储单元1分别与一致性状态点识别装置2、备份代理端3连接,备份代理端3分别与数据管理服务端41、数据存储服务端43连接,数据管理服务端41分别与一致性状态点识别装置2、数据库服务端42连接,数据库服务端42与一致性状态点识别装置2连接,分布式存储单元1用于分布存储不同业务数据;
一致性状态点识别装置2用于确定分布式存储单元1对应的一致性状态点信息,并将一致性状态点信息传输给数据库服务端42进行存储;
备份代理端3根据数据管理服务端41输出的备份任务信息,将分布式存储单元1内的数据流传输至数据存储服务端43进行备份;
数据管理服务端41用于输出监控配置信息给一致性状态点识别装置2、与数据库服务端42之间进行信息交互、接收来自备份代理端3的执行进度及状态信息;
数据库服务端42用于存储一致性状态点信息,接收来自数据管理服务端41以监控对象或时间为查询条件的查询请求,以及返回与查询请求对应的一致性状态点信息给数据管理服务端41。
其中,分布式存储单元1包括多个存储组件,存储组件采用数据库形式,多个数据库分别对应存储不同业务数据;
如图2所示,一致性状态点识别装置2包括与数据管理服务端41连接的配置模块21,配置模块21分别连接至日志解析模块22和一致性校验模块23,日志解析模块22与一致性校验模块23连接,日志解析模块22还与分布式存储单元1连接,一致性校验模块23还与数据库服务端42连接,配置模块21用于接收来自数据管理服务端41的监控配置信息,并将监控配置信息分别传输给日志解析模块22和一致性校验模块23,监控配置信息包括待监控对象以及一致性校验规则;
日志解析模块22用于解析待监控对象的事务日志文件,并生成待监控对象关联业务变更数据消息;
一致性校验模块23根据一致性校验规则对待监控对象关联业务变更数据消息进行校验,得到一致性状态点信息,一致性状态点信息包含通过一致性校验规则的所有监控对象标识及对应的LSN;
在实际应用中,配置模块21预先配置好监控对象以及对应监控对象之间的一致性校验规则;
日志解析模块22对监控对象的事务日志文件进行解析,当确定监控对象发生变化时,比如当预置的监控对象来源于同一或不同类型的DBMS(Database Management System,数据库管理系统)的不同数据库时,分别解析各数据库对应监控对象的事务日志文件,当确定所述监控对象在任一数据库对应的事务日志文件中发生变化时,则实时生成监控对象关联业务变更数据消息,向一致性校验模块23发送监控对象关联业务变更数据消息,其中,监控对象关联业务变更数据消息包含对应监控对象的特定业务数据以及对应的LSN;
一致性校验模块23接收日志解析模块22发送的监控对象关联业务变更数据消息,根据监控对象之间的一致性校验规则对监控对象关联业务变更数据消息中包含的待比对业务数据实时进行校验,通过校验结果获得一致性状态点,其中,一致性状态点包含一致性校验通过时对应的所有监控对象标识及其事务日志LSN。
如图3所示,在备份恢复集群4中,数据管理服务端41包括多个管理服务栈,多个管理服务栈均与数据库服务端42连接,采用多个管理服务栈的方式,能够缓解备份恢复集群4的数据处理压力,同时提高数据可用性,一旦管理服务栈设置有Web服务模块、任务编排模块以及数据备份模块,Web服务模块用于提供备份恢复集群与用户的交互UI,包括系统健康状态、日志、告警信息的展示,分布式备份任务及恢复任务的创建,任务编排策略的制定;
任务编排模块用于保存备份或恢复任务策略,以及触发备份或恢复任务的执行;
数据备份模块用于管理调度备份或恢复任务,能够与部署在企业内部应用容器平台的Docker备份代理容器通信,通知其执行具体的应用容器数据备份操作;
此外,数据库服务端42能够用于保存系统自身的配置信息、备份恢复任务的配置信息;
数据存储服务端43在存储应用备份数据时,通过快照技术来实现应用备份数据的历史版本管理,所有快照可通过数据访问框架通过标准的数据访问协议(接口)如:iSCSI、SCSI、FC、NFS、LoopBack对外提供直接访问的能力。
将上述系统应用于实际,其具体的一致性备份流程如图4所示,包括以下步骤:
S1、数据管理服务端将包含待监控对象信息以及一致性校验规则的监控配置信息发送给一致性状态点识别装置,其中,待监控对象包括分布式存储单元内待监控的数据库以及关联业务数据信息,关联业务数据信息为各数据库之间具有关联关系的数据表或数据表中的特定字段;
S2、根据监控配置信息,一致性状态点识别装置从分布式存储单元获取待监控对象的事务日志文件,并进行一致性状态点识别,得到分布式存储单元对应的一致性状态点信息,并将该一致性状态点信息传输给数据库服务端进行存储,具体的:
一致性状态点识别装置首先从分布式存储单元获取待监控对象的事务日志,当待监控对象发生变化时,实时生成监控对象关联业务变更数据消息,其中,监控对象关联业务变更数据消息包含关联业务数据及关联业务数据所属数据库的事务日志对应的LSN;
之后,根据一致性校验规则,一致性状态点识别装置对监控对象关联业务数据变更消息进行实时校验,得到通过一致性校验的一致性状态点信息,一致性状态点信息包含通过一致性校验规则的所有监控对象标识及对应的LSN;
最后,一致性状态点识别装置将得到的一致性状态点信息实时传输给数据库服务端进行存储;
S3、根据用户操作指令,数据管理服务端启动备份任务,并从数据库服务端获取一致性状态点信息、与数据库服务端进行数据管理元数据信息的交互,之后向备份代理端输出备份任务信息,其中,备份任务信息包括备份类型、分布式存储单元内待备份的数据库、该数据库对应上一次备份的一致性状态点信息中的LSN以及该数据库对应最近一次校验通过的一致性状态点信息中的LSN,备份类型包括完全备份以及增量备份;
S4、根据备份任务信息,备份代理端从分布式存储单元获取待备份的数据以及事务日志,并将获取的数据及事务日志传输给数据存储服务端进行备份,同时备份代理端定期返回执行进度及状态信息给数据管理服务端,以完成备份过程,具体的:若进行完全备份,则备份代理端首先从分布式存储单元获取待备份数据库的基础数据,并将基础数据传输给数据存储服务端进行备份,之后备份代理端从分布式存储单元获取待备份数据库日志文件记录的全备初始LSN,再将待备份数据库从全备初始LSN至最近一次校验通过的一致性状态点信息中LSN之间的事务日志传输给数据存储服务端进行备份;
若进行增量备份,则备份代理端将待备份数据库从上一次备份的一致性状态点信息中LSN至最近一次校验通过的一致性状态点信息中LSN之间的事务日志传输给数据存储服务端进行备份。
本实施例中,在分布式存储单元中设置有三个存储组件,如图5所示,分别为数据库A、数据库B和数据库C,在一致性状态点识别装置中,配置模块预先配置监控对象以及对应监控对象之间的一致性校验规则。其中,监控对象包括需要监控的数据库信息和业务数据信息,业务数据信息又可以包括所述数据库中需要监控的数据表或数据表中的特定字段。例如,设置需要监控的对象为数据库A的表1中的字段M对应的业务数据。通常,存在一致性状态点识别诉求的分布式系统会涉及到来自至少两个不同的业务数据库,更进一步的,这些业务数据库可能是采用不同类型的RDBMS或NoSQL数据库。例如,预置的监控对象就可以是数据库A的表1中的字段M对应的业务数据以及数据库B中表2中的字段N对应的业务数据,两个业务数据之间具有关联关系。这种关联关系通常体现在二者是相同类型、相同属性且用于表征同一内涵的业务数据。例如,在一个电商平台中,业务模块A产生了一笔订单业务,同时在进销存模块B中产生了一笔相应的库存消减业务,业务模块A的数据保存在数据库A中,进销存模块B的数据保存在数据库B中,这时,监控对象就可以是数据库A中与业务模块A关联的数据以及数据库B中与进销存模块B关联的数据。监控对象的设置可以根据具体的分布式业务系统业务一致性需求具体设定,对应监控对象之间的一致性校验规则则可以是如何对不同来源的监控对象关联业务变更数据消息进行一致性状态确认的规则,还可以包含:在进行一致性校验之前,对用于校验的字段值的数据类型进行转换的规则或者计算的规则,例如可以使如何将不同来源、不同类型的校验数据转换成同一类型的数据,以方便进行一致性状态校验。
当用户在数据管理服务端发起备份任务时,电商平台的一次订单业务请求涉及到数据库A,数据库B,数据库C,当数据库A中的表1字段x,数据库B中的表2字段y与数据库C中的表3字段z达到某种特定的关系(即满足一致性校验规则)时,则将该分布式系统的存储组件数据库A、数据库B、数据库C备份成此刻的状态,实现一致性备份的目的。
因此,一致性状态点识别装置会预先配置监控对象为A中的表1字段x,数据库B中的表2字段y与数据库C中的表3字段z,配置一致性校验规则即为三者之间的特定关系,通过分别监控、获取并解析数据库A、数据库B、数据库C的事务日志文件,当确定监控对象(即A中的表1字段x,数据库B中的表2字段y与数据库C中的表3字段z)发生变化时,实时生成A中的表1字段x,数据库B中的表2字段y与数据库C中的表3字段z的关联业务变更数据消息,其中,监控对象关联业务变更数据消息包含对应监控对象的特定业务数据以及对应数据库A,数据库B,数据库C的事务日志的LSN;
之后根据监控对象之间的一致性校验规则对监控对象关联业务变更数据消息中包含的待比对业务数据实时进行校验,通过校验结果获得分布式系统一致性状态点,其中,分布式系统一致性状态点包含一致性校验通过时对应的所有监控对象标识及其事务日志LSN,本实施例的一致性状态点采用如下形式标识:{时间戳记,分布式系统M,(数据库A,LSN),(数据库B,LSN),(数据库C,LSN)}。
数据管理服务端在创建相应备份任务时,将会输出备份任务信息给备份代理端,该备份任务消息包括备份类型(完全备份或增量备份)、分布式存储单元中待备份的存储组件(即数据库A、数据库B和数据库C)、以及数据管理服务端从数据库服务端获取的一致性状态点信息(上一次备份对应的一致性状态点信息以及最近一次校验通过对应的一致性状态点信息),当进行完全备份时,需要先备份存储组件基础数据,待所有基础数据备份完成后,再备份存储组件的事务日志,此时,备份代理端会先从分布式存储单元获取各待备份存储组件日志文件的完备初始LSN(即最大数值的LSN),之后将待备份存储组件的事务日志传输给数据存储服务端进行备份,一直备份到最近一次校验通过对应的一致性状态点信息中的LSN为止;
当进行增量备份时,则备份代理端只需将各存储组件在上一次备份对应一致性状态点信息中的LSN至最近一次校验通过对应的一致性状态点信息中的LSN之间的事务日志传输给数据存储服务端进行备份即可;
无论是完全备份还是增量备份,备份代理端均会定期反馈执行进度以及状态信息给数据管理服务端。
采用本发明提出的技术方案,无需对现有的分布式存储单元进行改造,能够以较小成本实现分布式备份数据的一致性处理,获取对业务数据有一致性保障的分布式系统备份时间点,从而可靠地保证分布式系统备份数据的一致性及有效性,也有利于后续恢复数据的准确性与即时可用性。
Claims (10)
1.一种分布式一致性备份恢复系统,其特征在于,包括分布式存储单元(1)、一致性状态点识别装置(2)、备份代理端(3)以及备份恢复集群(4),所述备份恢复集群(4)包括数据管理服务端(41),所述数据管理服务端(41)与数据库服务端(42)连接,所述备份恢复集群(4)还包括数据存储服务端(43),所述分布式存储单元(1)分别与一致性状态点识别装置(2)、备份代理端(3)连接,所述备份代理端(3)分别与数据管理服务端(41)、数据存储服务端(43)连接,所述数据管理服务端(41)分别与一致性状态点识别装置(2)、数据库服务端(42)连接,所述数据库服务端(42)与一致性状态点识别装置(2)连接,所述分布式存储单元(1)用于分布存储不同业务数据;
所述一致性状态点识别装置(2)用于确定分布式存储单元(1)对应的一致性状态点信息,并将一致性状态点信息传输给数据库服务端(42)进行存储;
所述备份代理端(3)根据数据管理服务端(41)输出的备份任务信息,将分布式存储单元(1)内的数据流传输至数据存储服务端(43)进行备份;
所述数据管理服务端(41)用于输出监控配置信息给一致性状态点识别装置(2)、与数据库服务端(42)之间进行信息交互、接收来自备份代理端(3)的执行进度及状态信息。
2.根据权利要求1所述的一种分布式一致性备份恢复系统,其特征在于,所述分布式存储单元(1)包括多个数据库,所述多个数据库分别对应存储不同业务数据。
3.根据权利要求1所述的一种分布式一致性备份恢复系统,其特征在于,所述一致性状态点识别装置(2)包括与数据管理服务端(41)连接的配置模块(21),所述配置模块(21)分别连接至日志解析模块(22)和一致性校验模块(23),所述日志解析模块(22)与一致性校验模块(23)连接,所述日志解析模块(22)还与分布式存储单元(1)连接,所述一致性校验模块(23)还与数据库服务端(42)连接,所述配置模块(21)用于接收来自数据管理服务端(41)的监控配置信息,并将监控配置信息分别传输给日志解析模块(22)和一致性校验模块(23),所述监控配置信息包括待监控对象以及一致性校验规则;
所述日志解析模块(22)用于解析待监控对象的事务日志文件,并生成待监控对象关联业务变更数据消息;
所述一致性校验模块(23)根据一致性校验规则对待监控对象关联业务变更数据消息进行校验,得到一致性状态点信息,所述一致性状态点信息包含通过一致性校验规则的所有监控对象标识及对应的LSN。
4.根据权利要求1所述的一种分布式一致性备份恢复系统,其特征在于,所述数据管理服务端(41)包括多个管理服务栈,所述管理服务栈设置有Web服务模块、任务编排模块以及数据备份模块,所述Web服务模块用于提供备份恢复集群(4)与用户的交互UI;
所述任务编排模块用于保存备份或恢复任务策略,以及触发备份或恢复任务的执行;
所述数据备份模块用于管理调度备份或恢复任务。
5.一种应用权利要求1所述分布式一致性备份恢复系统的分布式一致性备份方法,其特征在于,包括以下步骤:
S1、数据管理服务端将包含待监控对象信息以及一致性校验规则的监控配置信息发送给一致性状态点识别装置;
S2、根据监控配置信息,一致性状态点识别装置从分布式存储单元获取待监控对象的事务日志文件,并进行一致性状态点识别,得到分布式存储单元对应的一致性状态点信息,并将该一致性状态点信息传输给数据库服务端进行存储;
S3、根据用户操作指令,数据管理服务端启动备份任务,并从数据库服务端获取一致性状态点信息、与数据库服务端进行数据管理元数据信息的交互,之后向备份代理端输出备份任务信息;
S4、根据备份任务信息,备份代理端从分布式存储单元获取待备份的数据以及事务日志,并将获取的数据及事务日志传输给数据存储服务端进行备份,同时备份代理端定期返回执行进度及状态信息给数据管理服务端,以完成备份过程。
6.根据权利要求5所述的一种分布式一致性备份方法,其特征在于,所述待监控对象包括分布式存储单元内待监控的数据库以及关联业务数据信息,所述关联业务数据信息为各数据库之间具有关联关系的数据表或数据表中的特定字段。
7.根据权利要求6所述的一种分布式一致性备份方法,其特征在于,所述步骤S2具体包括以下步骤:
S21、一致性状态点识别装置从分布式存储单元获取待监控对象的事务日志,当待监控对象发生变化时,实时生成监控对象关联业务变更数据消息;
S22、根据一致性校验规则,一致性状态点识别装置对监控对象关联业务数据变更消息进行实时校验,得到通过一致性校验的一致性状态点信息,所述一致性状态点信息包含通过一致性校验规则的所有监控对象标识及对应的LSN;
S23、一致性状态点识别装置将得到的一致性状态点信息实时传输给数据库服务端进行存储。
8.根据权利要求7所述的一种分布式一致性备份方法,其特征在于,所述监控对象关联业务变更数据消息包含关联业务数据及关联业务数据所属数据库的事务日志对应的LSN。
9.根据权利要求5所述的一种分布式一致性备份方法,其特征在于,所述备份任务信息包括备份类型、分布式存储单元内待备份的数据库、该数据库对应上一次备份的一致性状态点信息中的LSN以及该数据库对应最近一次校验通过的一致性状态点信息中的LSN,所述备份类型包括完全备份以及增量备份。
10.根据权利要求9所述的一种分布式一致性备份方法,其特征在于,所述步骤S4具体包括以下步骤:
若进行完全备份,则备份代理端首先从分布式存储单元获取待备份数据库的基础数据,并将基础数据传输给数据存储服务端进行备份,之后备份代理端从分布式存储单元获取待备份数据库日志文件记录的全备初始LSN,再将待备份数据库从全备初始LSN至最近一次校验通过的一致性状态点信息中LSN之间的事务日志传输给数据存储服务端进行备份;
若进行增量备份,则备份代理端将待备份数据库从上一次备份的一致性状态点信息中LSN至最近一次校验通过的一致性状态点信息中LSN之间的事务日志传输给数据存储服务端进行备份。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011367400.8A CN112363873A (zh) | 2020-11-27 | 2020-11-27 | 一种分布式一致性备份恢复系统及其备份方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011367400.8A CN112363873A (zh) | 2020-11-27 | 2020-11-27 | 一种分布式一致性备份恢复系统及其备份方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112363873A true CN112363873A (zh) | 2021-02-12 |
Family
ID=74536316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011367400.8A Pending CN112363873A (zh) | 2020-11-27 | 2020-11-27 | 一种分布式一致性备份恢复系统及其备份方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112363873A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023033720A3 (en) * | 2021-08-31 | 2023-04-13 | Lemon Inc. | Data consistency mechanism for hybrid data processing |
US11789936B2 (en) | 2021-08-31 | 2023-10-17 | Lemon Inc. | Storage engine for hybrid data processing |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102662793A (zh) * | 2012-03-07 | 2012-09-12 | 江苏引跑网络科技有限公司 | 一种可保证数据一致性的分布式数据库热备份与恢复方法 |
CN105447046A (zh) * | 2014-09-02 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 一种分布式系统数据一致性处理方法、装置和系统 |
GB201815308D0 (en) * | 2018-05-31 | 2018-11-07 | Warevalley Co Ltd | Data consistency verification method and system minimizing load of original database |
CN109597717A (zh) * | 2018-12-07 | 2019-04-09 | 北京金山云网络技术有限公司 | 一种数据备份、恢复方法、装置、电子设备及存储介质 |
CN110659161A (zh) * | 2019-09-11 | 2020-01-07 | 上海爱数信息技术股份有限公司 | 一种基于Docker的备份数据有效性验证方法及系统 |
CA3108063A1 (en) * | 2018-09-25 | 2020-04-02 | Wandisco, Inc. | Methods, devices and systems for real-time checking of data consistency in a distributed heterogenous storage system |
-
2020
- 2020-11-27 CN CN202011367400.8A patent/CN112363873A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102662793A (zh) * | 2012-03-07 | 2012-09-12 | 江苏引跑网络科技有限公司 | 一种可保证数据一致性的分布式数据库热备份与恢复方法 |
CN105447046A (zh) * | 2014-09-02 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 一种分布式系统数据一致性处理方法、装置和系统 |
GB201815308D0 (en) * | 2018-05-31 | 2018-11-07 | Warevalley Co Ltd | Data consistency verification method and system minimizing load of original database |
CA3108063A1 (en) * | 2018-09-25 | 2020-04-02 | Wandisco, Inc. | Methods, devices and systems for real-time checking of data consistency in a distributed heterogenous storage system |
CN109597717A (zh) * | 2018-12-07 | 2019-04-09 | 北京金山云网络技术有限公司 | 一种数据备份、恢复方法、装置、电子设备及存储介质 |
CN110659161A (zh) * | 2019-09-11 | 2020-01-07 | 上海爱数信息技术股份有限公司 | 一种基于Docker的备份数据有效性验证方法及系统 |
Non-Patent Citations (2)
Title |
---|
吴佳: "备份服务器的关键技术研究和实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 5, 15 May 2010 (2010-05-15), pages 1 - 2 * |
杨建荣, 中国铁道出版社有限公司, pages: 109 - 113 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023033720A3 (en) * | 2021-08-31 | 2023-04-13 | Lemon Inc. | Data consistency mechanism for hybrid data processing |
US11789936B2 (en) | 2021-08-31 | 2023-10-17 | Lemon Inc. | Storage engine for hybrid data processing |
US11841845B2 (en) | 2021-08-31 | 2023-12-12 | Lemon Inc. | Data consistency mechanism for hybrid data processing |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11308092B2 (en) | Stream processing diagnostics | |
JP6254606B2 (ja) | バックアップシステムからのデータベースのストリーミング復元 | |
US8880480B2 (en) | Method and apparatus for data rollback | |
US9384254B2 (en) | System and method for providing intra-process communication for an application programming interface | |
US11860741B2 (en) | Continuous data protection | |
US7552147B2 (en) | System and method for minimizing data outage time and data loss while handling errors detected during recovery | |
CN102902558B (zh) | 项目脚本文件更新系统和方法、脚本文件合并方法和装置 | |
US20170228296A1 (en) | Hierarchical system manager rollback | |
US20070282470A1 (en) | Method and system for capturing and reusing intellectual capital in IT management | |
US9037905B2 (en) | Data processing failure recovery method, system and program | |
CN110569142A (zh) | 一种oracle数据增量同步系统及方法 | |
CN112363873A (zh) | 一种分布式一致性备份恢复系统及其备份方法 | |
US20070220481A1 (en) | Limited source code regeneration based on model modification | |
CN109086216B (zh) | 自动化测试系统 | |
US20060004839A1 (en) | Method and system for data processing with data replication for the same | |
WO2016134639A1 (zh) | 一种数据块处理方法和设备 | |
EP2696297B1 (en) | System and method for generating information file based on parallel processing | |
JP4289056B2 (ja) | 計算機システム間のデータ二重化制御方法 | |
CN107870850A (zh) | 一种高效的互联网应用日志系统 | |
CN113946556A (zh) | 一种MongoDB实例的慢日志采集方法 | |
CN116560893A (zh) | 一种计算机应用程序运行数据故障处理系统 | |
US20220129446A1 (en) | Distributed Ledger Management Method, Distributed Ledger System, And Node | |
CN112668285A (zh) | 结合rpa和ai的资金日报的生成方法、装置及电子设备 | |
CN105205168A (zh) | 一种基于Redis数据库的曝光系统及其操作方法 | |
Fisher et al. | Monitoring of the National Ignition Facility Integrated Computer Control System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210212 |
|
RJ01 | Rejection of invention patent application after publication |