CN112685230A - 一种分布式数据库实现指定时间点备份还原的方法 - Google Patents

Abstract

本发明特别涉及一种分布式数据库实现指定时间点备份还原的方法。该分布式数据库实现指定时间点备份还原的方法，先执行全量备份，随后周期性开始增量备份，同时开启日志信息的收集程序，收集当前分布式数据库所有的实时日志；当用户需要将分布式数据库还原到某个特定时间点时，扫描全量备份，增量备份以及WAL日志，根据用户输入的时间戳对比备份文件和日志文件，找出符合时间戳要求的元数据信息及数据信息进行还原，即可将分布式数据库还原到用户指定时间点。该分布式数据库实现指定时间点备份还原的方法，在数据库发生故障时，可以将数据库还原至指定的时间点，避免数据的丢失，保证了数据的完整性、一致性，提高了数据库规避误操作、故障等风险的能力。

Description

一种分布式数据库实现指定时间点备份还原的方法

技术领域

本发明涉及数据库备份还原技术领域，特别涉及一种分布式数据库实现指定时间点备份还原的方法。

背景技术

对数据库进行备份，按备份的方式进行划分，可以分为全量备份、增量备份和差异备份：

全量备份：一种备份方式，将数据对象的所有定义集合都进行备份，不论数据对象自上次备份之后是否修改过。

增量备份：增量备份是指在一次全备份或上一次增量备份后，以后每次的备份只需备份与前一次相比增加或者被修改的文件。这就意味着，第一次增量备份的对象是进行全备后所产生的增加和修改的文件；第二次增量备份的对象是进行第一次增量备份后所产生的增加和修改的文件，如此类推。

差异备份：差异备份是指在一次全备份后到进行差异备份的这段时间内，对那些增加或者修改文件的备份。

对数据库进行还原，按还原的方式，可以分为两种：

第一种：全量备份加上每一次的增量备份。

第二种：全量备份加最后一次的差异备份。

但这些还原方式只能将数据库还原至最后一次增量/差异备份的时刻，无法还原到指定时间点。将数据库还原至指定时间点，还需在此基础上利用如WAL(预写日志)、BINLOG(二进制日志)等日志来对进行。

为了解决当前分布式数据库在使用时，用户无法按照自己的需求还原到指定时间点的问题，本发明提出了一种分布式数据库实现指定时间点备份还原的方法。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的分布式数据库实现指定时间点备份还原的方法。

本发明是通过如下技术方案实现的：

一种分布式数据库实现指定时间点备份还原的方法，其特征在于：先执行全量备份，随后周期性开始增量备份，同时开启日志信息的收集程序，收集当前分布式数据库所有的实时日志；

当用户需要将分布式数据库还原到某个特定时间点时，扫描全量备份，增量备份以及WAL(预写日志)日志，根据用户输入的时间戳对比备份文件和日志文件，找出符合时间戳要求的元数据信息及数据信息进行还原，即可将分布式数据库还原到用户指定时间点。

包括以下步骤：

步骤1、用户执行备份操作，将指定的分布式数据库(模式、表)备份到指定的节点，分区和/或落盘位置；分布式数据库服务解析SQL(Structured Query Language，结构化查询语言)语句生成语法树，再通过语法树生成执行计划；

步骤2、根据执行计划进行第一次全量备份，并周期性执行增量备份，同时开启日志采集程序，日志采集程序收集分布式数据库生成的实时日志，并将通过分布式数据库的分发层将数据文件分发至分布式数据库的每个节点；

步骤3、用户执行基于特定时间点的还原操作，扫描备份文件，获取备份文件中的元数据描述信息，再解析日志文件到临时的存储引擎中，扫描临时存储引擎，获取日志文件中的元数据描述信息，并对所有元数据描述信息进行排序，去重；

步骤4、根据元数据描述信息中表的索引信息中记录的startkey(起始键)和endkey(终止键)，加载所有的数据信息。

所述步骤1中，具体实现步骤如下：

步骤1.1、用户输入备份语句后，解析器通过词法解析，句法解析和语义解析，将语句生成语法树；

步骤1.2、优化器由语法树生成逻辑计划，再由逻辑计划生成具体执行时的物理计划。

所述步骤2中，具体实现步骤如下：

步骤2.1、执行全量备份，扫描数据库中的元数据(数据库结构，模式，视图等)，生成descriptor(元数据描述)信息，由descriptor信息生成DUMP(转储)文件；扫描数据库中的数据信息并生成SST(Sorted String Table，有序键值对数据)文件；

步骤2.2、周期性的执行增量备份，扫描当前数据库中的元数据信息和数据信息得到结果集1，扫描全量备份路径下的DUMP文件和SST文件得到结果集2，比对结果集1与结果集2得到差异部分，将差异部分持久化生成增量备份文件；

步骤2.3、在后台开启日志采集程序，采集数据库活动产生的实时日志，并将生成的日志文件持久化到指定路径。

所述步骤3中，具体实现步骤如下：

步骤3.1、比对用户输入的时间戳，找出全量备份，增量备份和临时存储的DUMP文件，生成对应的descriptor信息；

步骤3.2、将生成的descriptor信息进行排序和去重，并重写每个数据库对象的对应ID，为采集数据信息做准备。

所述步骤3.1中，具体实现步骤如下：

步骤3.1.1、比对用户输入的时间戳，查出在此时间戳前距离此时间戳最近的一次全量备份，扫描在各个节点，找出此次全量备份中的DUMP文件，生成全量备份对应的descriptor信息；

步骤3.1.2、找到用户输入时间戳与全量备份之间的所有增量备份，扫描分布在各个节点上的增量备份文件中的DUMP文件，生成增量备份对应的descriptor信息；

步骤3.1.3、根据用户输入时间戳和最后一次增量备份所对应的时间戳，扫描日志文件，放入临时存储，扫描临时存储中的DUMP生成日志文件所对应的descriptor信息。

所述步骤3.1中，比对用户输入时间戳时，若用户输入的时间戳小于最早的全量备份时间戳，则提示用户暂不支持还原到此时间戳的时间点。

所述步骤4中，具体实现步骤如下：

步骤4.1、根据表的元数据信息中的索引，查到索引对应的span，根据spanID去查找SST文件或临时存储引擎；

步骤4.2、比对用户输入的时间戳和数据信息对应的startkey与endkey，获取时间戳前的所有数据信息，还原到指定时间点。

本发明的有益效果是：该分布式数据库实现指定时间点备份还原的方法，在数据库发生故障时，可以将数据库还原至指定的时间点，避免数据的丢失，保证了数据的完整性、一致性，提高了数据库规避误操作、故障等风险的能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图1为本发明分布式数据库数据备份流程示意图。

附图2为本发明分布式数据库全量备份流程示意图。

附图3为本发明分布式数据库增量备份流程示意图。

附图4为本发明分布式数据库日志采集流程示意图。

附图5为本发明执行基于特定时间点的还原操作流程示意图。

附图6为本发明收集descriptor信息流程示意图。

附图7为本发明获取时间戳前所有数据信息的流程示意图。

具体实施方式

为了使本技术领域的人员更好的理解本发明中的技术方案，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

该分布式数据库实现指定时间点备份还原的方法，先执行全量备份，随后周期性开始增量备份，同时开启日志信息的收集程序，收集当前分布式数据库所有的实时日志；

当用户需要将分布式数据库还原到某个特定时间点时，扫描全量备份，增量备份以及WAL(预写日志)日志，根据用户输入的时间戳对比备份文件和日志文件，找出符合时间戳要求的元数据信息及数据信息进行还原，即可将分布式数据库还原到用户指定时间点。

包括以下步骤：

步骤1、用户执行备份操作，将指定的分布式数据库(模式、表)备份到指定的节点，分区和/或落盘位置；分布式数据库服务解析SQL(Structured Query Language，结构化查询语言)语句生成语法树，再通过语法树生成执行计划；

步骤2、根据执行计划进行第一次全量备份，并周期性执行增量备份，同时开启日志采集程序，日志采集程序收集分布式数据库生成的实时日志，并将通过分布式数据库的分发层将数据文件分发至分布式数据库的每个节点；

步骤3、用户执行基于特定时间点的还原操作，扫描备份文件，获取备份文件中的元数据描述信息，再解析日志文件到临时的存储引擎中，扫描临时存储引擎，获取日志文件中的元数据描述信息，并对所有元数据描述信息进行排序，去重；

例如：

{

“Name”：<表名>，

“ID”：<表ID>,

“Indexes”：<表对应索引>，

“Columns”：<列名>，

“State”：<表状态>，

…

}

步骤4、根据元数据描述信息中表的索引信息中记录的startkey(起始键)和endkey(终止键)，加载所有的数据信息。

所述步骤1中，具体实现步骤如下：

步骤1.1、用户输入备份语句后，解析器通过词法解析，句法解析和语义解析，将语句生成语法树；

步骤1.2、优化器由语法树生成逻辑计划，再由逻辑计划生成具体执行时的物理计划。

所述步骤2中，具体实现步骤如下：

步骤2.1、执行全量备份，扫描数据库中的元数据(数据库结构，模式，视图等)，生成descriptor(元数据描述)信息，由descriptor信息生成DUMP(转储)文件；扫描数据库中的数据信息并生成SST(Sorted String Table，有序键值对数据)文件；

步骤2.2、周期性的执行增量备份，扫描当前数据库中的元数据信息和数据信息得到结果集1，扫描全量备份路径下的DUMP文件和SST文件得到结果集2，比对结果集1与结果集2得到差异部分，将差异部分持久化生成增量备份文件；

例如：

{

“incrementalFrom”：<增量基于的全量备份与增量备份地址>，

“descriptor”：<元数据描述信息>，

“span”：<每个表对应一个span>，

…

}

步骤2.3、在后台开启日志采集程序，采集数据库活动产生的实时日志，并将生成的日志文件持久化到指定路径。

所述步骤3中，具体实现步骤如下：

步骤3.1、比对用户输入的时间戳，找出全量备份，增量备份和临时存储的DUMP文件，生成对应的descriptor信息；

步骤3.2、将生成的descriptor信息进行排序和去重，并重写每个数据库对象的对应ID，为采集数据信息做准备。

所述步骤3.1中，具体实现步骤如下：

步骤3.1.1、比对用户输入的时间戳，查出在此时间戳前距离此时间戳最近的一次全量备份，扫描在各个节点，找出此次全量备份中的DUMP文件，生成全量备份对应的descriptor信息；

步骤3.1.2、找到用户输入时间戳与全量备份之间的所有增量备份，扫描分布在各个节点上的增量备份文件中的DUMP文件，生成增量备份对应的descriptor信息；

步骤3.1.3、根据用户输入时间戳和最后一次增量备份所对应的时间戳，扫描日志文件，放入临时存储，扫描临时存储中的DUMP生成日志文件所对应的descriptor信息。例如：将数据文件的扫描结果，放入RocksDB存储引擎，等待数据完成落盘，释放临时存储。

所述步骤3.1中，比对用户输入时间戳时，若用户输入的时间戳小于最早的全量备份时间戳，则提示用户暂不支持还原到此时间戳的时间点。

所述步骤4中，具体实现步骤如下：

步骤4.1、根据表的元数据信息中的索引，查到索引对应的span，根据spanID去查找SST文件或临时存储引擎；

步骤4.2、比对用户输入的时间戳和数据信息对应的startkey与endkey，获取时间戳前的所有数据信息，还原到指定时间点。

元数据信息的具体格式，例如

{

“Span”：<每张表对应一个span>，

“Files”：<数据文件位置>，

“NodeID”：<当前节点位置>，

…

}

Files的集体格式，例如：

{

“SpanID”：<文件对应的SpanID>,

“Path”:<文件的具体位置>,

“Sha512”：<数据的校验和>，

“StartTime”,”EndTime”：<时间戳>,

…

}

根据每张表的对应的Span的SpanID扫描对应的SST文件，比对StartTime，EndTime与时间戳，截取时间戳之前的数据信息。

与现有技术相比，该分布式数据库实现指定时间点备份还原的方法，具有以下特点：

(1)在具备分布式数据库优点的同时，提升了分布式数据库高可用、高容灾的能力；

(2)在实现还原方面，对分布式日志的提取、去重、重组并最终实现还原等技术流程方面有所创新，具备高可用、高容错的优势；

(3)无需借助其他工具，节约了操作成本，实现并优化了基于分布式数据库进行指定时间点的还原流程，节约了运营、管理的成本，提高了规避数据丢失的风险的能力。

以上所述的实施例，只是本发明具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (8)

1.一种分布式数据库实现指定时间点备份还原的方法，其特征在于：先执行全量备份，随后周期性开始增量备份，同时开启日志信息的收集程序，收集当前分布式数据库所有的实时日志；

当用户需要将分布式数据库还原到某个特定时间点时，扫描全量备份，增量备份以及WAL日志，根据用户输入的时间戳对比备份文件和日志文件，找出符合时间戳要求的元数据信息及数据信息进行还原，即可将分布式数据库还原到用户指定时间点。

2.根据权利要求1所述的分布式数据库实现指定时间点备份还原的方法，其特征在于：包括以下步骤：

步骤1、用户执行备份操作，将指定的分布式数据库备份到指定的节点，分区和/或落盘位置；分布式数据库服务解析SQL语句生成语法树，再通过语法树生成执行计划；

步骤2、根据执行计划进行第一次全量备份，并周期性执行增量备份，同时开启日志采集程序，日志采集程序收集分布式数据库生成的实时日志，并将通过分布式数据库的分发层将数据文件分发至分布式数据库的每个节点；

步骤3、用户执行基于特定时间点的还原操作，扫描备份文件，获取备份文件中的元数据描述信息，再解析日志文件到临时的存储引擎中，扫描临时存储引擎，获取日志文件中的元数据描述信息，并对所有元数据描述信息进行排序，去重；

步骤4、根据元数据描述信息中表的索引信息中记录的startkey和endkey，加载所有的数据信息。

3.根据权利要求2所述的分布式数据库实现指定时间点备份还原的方法，其特征在于：所述步骤1中，具体实现步骤如下：

步骤1.1、用户输入备份语句后，解析器通过词法解析，句法解析和语义解析，将语句生成语法树；

步骤1.2、优化器由语法树生成逻辑计划，再由逻辑计划生成具体执行时的物理计划。

4.根据权利要求3所述的分布式数据库实现指定时间点备份还原的方法，其特征在于：所述步骤2中，具体实现步骤如下：

步骤2.1、执行全量备份，扫描数据库中的元数据，生成descriptor(描述符号)信息，由descriptor信息生成DUMP文件；扫描数据库中的数据信息并生成SST文件；

步骤2.2、周期性的执行增量备份，扫描当前数据库中的元数据信息和数据信息得到结果集1，扫描全量备份路径下的DUMP文件和SST文件得到结果集2，比对结果集1与结果集2得到差异部分，将差异部分持久化生成增量备份文件；

步骤2.3、在后台开启日志采集程序，采集数据库活动产生的实时日志，并将生成的日志文件持久化到指定路径。

5.根据权利要求4所述的分布式数据库实现指定时间点备份还原的方法，其特征在于：所述步骤3中，具体实现步骤如下：

步骤3.1、比对用户输入的时间戳，找出全量备份，增量备份和临时存储的DUMP文件，生成对应的descriptor信息；

步骤3.2、将生成的descriptor信息进行排序和去重，并重写每个数据库对象的对应ID，为采集数据信息做准备。

6.根据权利要求5所述的分布式数据库实现指定时间点备份还原的方法，其特征在于：所述步骤3.1中，具体实现步骤如下：

步骤3.1.1、比对用户输入的时间戳，查出在此时间戳前距离此时间戳最近的一次全量备份，扫描在各个节点，找出此次全量备份中的DUMP文件，生成全量备份对应的descriptor信息；

步骤3.1.2、找到用户输入时间戳与全量备份之间的所有增量备份，扫描分布在各个节点上的增量备份文件中的DUMP文件，生成增量备份对应的descriptor信息；

步骤3.1.3、根据用户输入时间戳和最后一次增量备份所对应的时间戳，扫描日志文件，放入临时存储，扫描临时存储中的DUMP生成日志文件所对应的descriptor信息。

7.根据权利要求4所述的分布式数据库实现指定时间点备份还原的方法，其特征在于：所述步骤3.1中，比对用户输入时间戳时，若用户输入的时间戳小于最早的全量备份时间戳，则提示用户暂不支持还原到此时间戳的时间点。

8.根据权利要求7所述的分布式数据库实现指定时间点备份还原的方法，其特征在于：所述步骤4中，具体实现步骤如下：

步骤4.1、根据表的元数据信息中的索引，查到索引对应的span，根据spanID去查找SST文件或临时存储引擎；

步骤4.2、比对用户输入的时间戳和数据信息对应的startkey与endkey，获取时间戳前的所有数据信息，还原到指定时间点。

Images