CN101625655B

CN101625655B - 一种内存数据库的并行恢复方法

Info

Publication number: CN101625655B
Application number: CN2009103058446A
Authority: CN
Inventors: 王非; 卢正新; 黄本雄; 王芙蓉; 吴惠君
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2009-08-20
Filing date: 2009-08-20
Publication date: 2011-05-25
Anticipated expiration: 2029-08-20
Also published as: CN101625655A

Abstract

本发明公开了一种内存数据库的并行恢复方法，包括以下步骤：a.日志导入到缓存采用多个任务，通过日志系统并行的读取日志，这些读取日志的任务按照一定的协议，将日志按照原日志文件中的顺序被重新组织在内存中；b.这个日志序列被分配模块按照一个均衡负载的算法分配给多个队列，并且这个分配工作还遵守日志同步的两个规则；c.多个任务并发执行日志恢复，它们从各自对应的队列中取得日志，然后执行日志恢复，多日志恢复任务间也遵守日志同步的两个规则。该方法采用日志导入任务的调度算法、并行恢复任务的调度算法、恢复任务负载均衡算法、日志文件导入任务数与恢复任务数自适应的平衡算法，可以实现内存数据库的快速恢复。

Description

一种内存数据库的并行恢复方法

技术领域

本发明涉及内存数据库备份恢复技术领域，尤其涉及内存数据库的并行恢复技术领域。

背景技术

现有的内存数据库一般采用检查点映像和日志进行恢复，这种方法以检查点映像为恢复基础，在该基础上执行日志恢复对检查点映像进行修正，直至得到数据库崩溃前的完整一致映像。数据库检查点映像是数据库定期的对数据库的内存映像进行备份，形成的备份文件，恢复时就将该备份文件装载到内存作为恢复的基础。日志是数据库记录日常事务操作的序列。多个事务的日志序列可能是交错的，事务并发进行，但是事务的日志串行的记录。在恢复时由于日志串行的恢复使得数据库最终能正确的恢复出数据库映像。该方法速度较慢，进行大量的数据恢复需要耗费大量的时间。

随着计算机配置的内存越来越大和内存数据库数据量的不断增加，内存数据库的体积也越来越大。按照现有的数据库恢复方法恢复出整个数据库所需的时间也越来越长。然而内存数据库应用对数据库恢复时间依旧要求严格，所以内存数据库的快速恢复成为一个亟待解决的问题。

发明内容

本发明所要解决的技术问题是提供一种内存数据库的快速并行恢复方法，可以实现内存数据库的快速恢复。

为解决上述技术问题，本发明包括以下步骤：a.日志导入到缓存采用多个任务，通过日志系统并行的读取日志，采用日志导入任务的调度算法，日志导入部分通过日志系统来读取日志，日志系统提供统一的日志视图，该视图使得通过日志系统来访问日志不必考虑文件是在磁盘上还是在文件缓存中；日志读取部分采用一种分段读取的方法，它可以控制读取的任务数，来达到不同的读取速度的要求；该分段读取方法使用的内存缓存区数据结构使得并行读入的日志在内存重组后仍然保持原来的顺序；b.这个日志序列被分配模块按照一个均衡负载的算法分配给多个队列，并且这个分配工作还遵守日志同步的两个规则：1)连续的一片并行日志可以被并行的执行恢复而不影响恢复后数据库的完整一致，2)串行日志之间只能被串行的执行恢复；c.多个任务并发执行日志恢复，它们从各自对应的队列中取得日志，然后执行日志恢复，多日志恢复任务间也遵守日志同步的两个规则。

按上述方案，所述步骤b采用恢复任务负载均衡算法，将读入到内存缓存的日志按照日志同步的规则分配给日志执行步骤；均衡算法采用堆的调整方法选择日志恢复任务恢复该日志；堆的调整方法是从待处理日志队列中选择剩余日志最少的队列，将待处理的日志插入队列中。

按上述方案，所述步骤c采用并行恢复任务的调度算法，日志并行恢复部分依据两种日志类型总结了两个执行并行恢复的规则，然后依据这两个规则对于不同类型的日志分别执行并行恢复或串行恢复；并行恢复部分将日志分段，依据规则在每段内进行并行恢复，在段间保持串行恢复。

优选地，还包括一种日志文件导入任务数与恢复任务数自适应的平衡算法，该算法使得读取的日志和日志的恢复协调进行，使得内存中日志缓冲区的使用最为有效；它使得缓存待分配日志缓冲区中缓存的日志数量最小但是又不为空，并使得待处理缓冲区中日志数量为空。

按上述方案，所述读取日志的任务一次读取一个日志文件，每个日志文件中存放的是完整的日志序列；日志并行读入部分启动多个日志读入任务，开始时每个任务负责最前面的日志几个日志文件的读入，当这些任务完成自己任务的日志读入任务后再依次读入后面的日志文件；日志读入任务将日志读入到日志缓存区中，该缓存区采用块链的方式组织。每个任务自己分配一块内存存放自己的日志，并将块链入缓存区中，部分操作涉及共享数据需要加互斥锁。

按上述方案，所述平衡算法将日志导入任务数设为m，日志恢复任务数设为n，A代表数据库日志缓冲队列日志量，B代表线程日志缓冲队列日志量；流入A的流量是M，流出B的流量是N，从A流向B的流量是D，ΔI＝M-D，ΔO＝D-N，初始时m＝n＝A＝B＝0。

按上述方案，所述m主要依据A中的变化量ΔI来变化，若ΔI＞0表明数据库日志缓冲队列中日志变多，系统已经来不及将这些日志分配处理，所以减少m的数量；n综合考虑各种因素来调整，若ΔO＞0表明线程日志缓冲队列日志和变大，恢复线程已经来不及处理这些日志了，所以增加n的数量，若ΔI+ΔO＜0表明整个系统的输出能力比输入能力强，n数量过大浪费了系统资源，所以减少n的数量。

该方法采用了日志导入任务的调度算法、并行恢复任务的调度算法、恢复任务负载均衡算法、日志文件导入任务数与恢复任务数自适应的平衡算法，因此可以实现内存数据库的快速恢复。

附图说明

下面结合附图和具体实施方式对本发明的技术方案作进一步具体说明。

图1为恢复模块整体结构示意图。

图2为日志恢复机制主要流程。

图3为日志读入部分流程图。

图4为日志分配部分主要流程图。

图5为分配算法具体流程图。

图6为系统建模图。

图7为日志文件导入任务数与恢复任务数自适应的平衡算法流程图。

具体实施方式

本发明应用在数据库恢复阶段。如图1所示，恢复模块结构包含两个部分：装载映像部分和日志恢复部分。这两个部分按照先后顺序分别完成各自的任务，装载映像部分先从数据库内存映像备份文件中装载映像到数据库内存中，然后日志恢复部分再从日志系统读取日志进行恢复操作，对数据库内存进行修正，直到恢复出数据库故障前的某个完整一致状态。日志恢复部分完成了整个数据库恢复的大部分任务，它涉及到磁盘日志文件访问(通过日志系统)、日志缓冲区队列管理、日志分配算法、日志恢复执行以及系统负荷监控和整个系统的负载均衡算法等许多方面，是整个数据库恢复的核心。

日志恢复部分完成了整个数据库恢复的大部分任务，它涉及到磁盘日志文件访问(通过日志系统)、日志缓冲区队列管理、日志分配算法、日志恢复执行以及系统负荷监控和整个系统的负载均衡算法等许多方面，是整个数据库恢复的核心。日志恢复部分主要步骤如图2所示。日志恢复部分执行日志恢复的过程主要有3个步骤：首先，日志读入模块通过日志系统从磁盘上的日志文件中读取日志，将日志插入内存中的数据库日志缓冲队列。然后，日志分配模块从数据库日志缓冲队列中读取日志并按照一定的算法将日志分配给每个日志恢复线程对应的日志缓冲队列；对于部分特殊日志，日志分配模块将直接对他们进行恢复。接着，日志恢复线程读取其线程日志缓冲队列中的日志，执行恢复。

日志恢复的第一个步骤，即日志并行读入部分，有多个日志读入任务和一些数据结构组成。该部分维护如下数据结构：

1)下一任务位置，用以标识下一个任务从日志系统要读取的文件；

2)最后一个任务号，用以标识当前最后一个任务。

每个日志读取任务自己维护如下几个数据：

1)任务号，用以标识该任务；

2)内存日志缓存区日志插入位置，标识该任务对应的缓冲区位置；

3)该任务的前一任务号和后一任务号，将所有任务串成一个链表。

每个任务一次读取一个日志文件，每个日志文件中存放的是完整的日志序列。日志并行读入部分启动多个日志读入任务，开始时每个任务负责最前面的日志几个日志文件的读入，当这些任务完成自己任务的日志读入任务后再依次读入后面的日志文件。日志读入任务将日志读入到日志缓存区中，该缓存区采用块链的方式组织。每个任务自己分配一块内存存放自己的日志，并将块链如缓存区中。部分操作涉及共享数据需要加互斥锁。日志读入任务的流程如图3所示，具体包括：

步骤310，读取下一任务位置，根据文件记录的日志数量和大小分配缓存块，并将缓存块链入缓存区，调整任务链表和该任务对应的缓存区位置，调整日志读入部分数据结构(下一任务位置和最后一个任务号)。

步骤320，判断是否读完所有日志，若是，则结束；否则继续执行步骤330。

步骤330，判断是否读完日志文件，若是，则转至步骤31；否则继续执行步骤340。

步骤340，读取一条日志。

步骤350，将日志插入日志缓冲区，转至步骤330。

日志恢复的第二个步骤，即日志分配部分，该部分需要保留的数据结构如下：

1)一个并行恢复任务相应队列的描述数组，数组中每个元素包含a)缓存队列id，用来标识该队列；b)队列中剩余的缓存日志数量。

分配模块维护该数组，然后依据数组中每个元素的剩余日志数量采用堆的调整方法得到剩余日志最少的线程日志缓冲队列，将日志分配给该队列。该步骤的基本流程如图4所示，具体包括：

步骤410，从日志文件读取一条日志。

步骤420，判断读取日志是否成功，如果读取不成功，结束本过程；否则执行步骤430。

步骤430，判断日志类型，如果日志为串行日志，那么转至步骤450；如果日志为并行日志，那么转至步骤440。

步骤440，分配日志给相应的日志队列，转至步骤410。

步骤450，等待恢复任务完成对应的队列中的日志的恢复，然后执行串行日志的恢复，转至步骤410。

上述步骤440中分配日志的具体流程如图5所示，具体包括：

步骤441，读取数据库日志缓冲队列的日志，向每个线程日志缓冲队列插入e个日志，计数变量i赋值为e。

步骤442，判断是否是日志缓冲队列的尾，若是，则完成日志分配，否则执行步骤443。

步骤443，判断变量i是否小于等于0，若否，则转至步骤447，否则执行步骤444。

步骤444，读取线程日志缓冲队列剩余日志数量，存到描述数组的对应元素中。

步骤445，对数组按照剩余日志数量进行堆调整，得到剩余日志数量最少的线程日志缓冲队列。

步骤446，读取数据库日志缓冲队列的日志，向剩余日志数量最少的线程日志缓冲队列中插入e个日志。i赋值为e。转至步骤442。

步骤447，读取数据库日志缓冲队列的一条日志，i变量减一。转至步骤442。

上述步骤441中的值e是一个参量，该参量可以根据系统实际情况调整值，缺省经验值为2。

日志恢复的第三个步骤，并行执行的恢复任务各自取得各自对应的队列中的日志执行恢复，根据不同的日志内容执行不同的恢复方案。

为了使系统能在整体上达到平衡的高效运转工作状态，需要根据日志处理的流量动态的调整步骤一和步骤三中的日志导入任务数(设为m)和日志恢复任务数(设为n)。整个系统可以建模如图6。图中结点A代表数据库日志缓冲队列日志量，结点B代表线程日志缓冲队列日志量。流入A的流量是M，流出B的流量是N，从A流向B的流量是D；ΔI＝M-D，ΔO＝D-N。其中ΔI、ΔO、A、B可测量为已知，D由于受日志类型和其他因素的影响为未知。M是m的函数且成正比关系，N是n的函数且成正比关系。初始时m＝n＝A＝B＝0。欲求的m和n的调整算法使得整个系统协调工作(M＝N，M和N尽可能的大，A和B尽可能的小)。

具体算法如图7，包括：

步骤710，判断A＜＝α，若是表明日志文件导入能力不足，执行步骤720，否则转至730。

步骤720，m加一，结束。

步骤730，判断ΔI＞0，若是表明日志文件导入能力过剩，执行步骤740，否则转至750。

步骤740，m减一。

步骤750，判断ΔO＞0，若是表明恢复任务处理能力不足，执行步骤760，否则转至770。

步骤760，n加一，结束。

步骤770，判断ΔI+ΔO＜0，若是表明恢复任务处理能力过剩，执行步骤780，否则结束。

步骤780，n减一，结束。

该算法中，m主要依据A中的变化量ΔI来变化，若ΔI＞0表明数据库日志缓冲队列中日志变多，系统已经来不及将这些日志分配处理，所以减少m的数量；n综合考虑各种因素来调整，若ΔO＞0表明线程日志缓冲队列日志和变大，恢复线程已经来不及处理这些日志了，所以增加n的数量，若ΔI+ΔO＜0表明整个系统的输出能力比输入能力强，n数量过大浪费了系统资源，所以减少n的数量。其中，参数α代表日志文件导入能力门限，与硬件处理能力有关，参考值为1。

该算法的结果会使得A中日志数量收敛于1(表明进入日志分配系统的流量最大)，B中日志数量收敛于0(表明日志恢复的流量最大)，并且仅使用了少量的系统资源(仅A中存放了最少量的日志)。该算法使得系统使用较少的资源得到较大的效率。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种内存数据库的并行恢复方法，装载映像部分先从数据库内存映像备份文件中装载映像到数据库内存中，然后日志恢复部分再从日志系统读取日志进行恢复操作，对数据库内存进行修正，直到恢复出数据库故障前的某个完整一致状态，包括以下步骤：a.日志导入到缓存采用多个任务，通过日志系统并行的读取日志，采用日志导入任务的调度算法，日志导入部分通过日志系统来读取日志，日志系统提供统一的日志视图，该视图使得通过日志系统来访问日志不必考虑文件是在磁盘上还是在文件缓存中；日志读取部分采用一种分段读取的方法，它可以控制读取的任务数，来达到不同的读取速度的要求；该分段读取方法使用的内存缓存区数据结构使得并行读入的日志在内存重组后仍然保持原来的顺序；b.这个日志序列被分配模块按照一个均衡负载的算法分配给多个队列，并且这个分配工作还遵守日志同步的两个规则：1）连续的一片并行日志可以被并行的执行恢复而不影响恢复后数据库的完整一致，2）串行日志之间只能被串行的执行恢复；c.多个任务并发执行日志恢复，它们从各自对应的队列中取得日志，然后执行日志恢复，多日志恢复任务间也遵守日志同步的两个规则。

2、根据权利要求1所述的一种内存数据库的并行恢复方法，其特征在于，所述步骤b采用恢复任务负载均衡算法，将读入到内存缓存的日志按照日志同步的规则分配给日志执行步骤；该均衡算法采用堆的调整方法选择要分配给的日志恢复任务；堆的调整方法调整出待处理日志队列最小的队列，将待处理的日志插入队列中。

3、根据权利要求1所述的一种内存数据库的并行恢复方法，其特征在于，所述步骤c采用并行恢复任务的调度算法，日志并行恢复部分依据两种日志类型总结了两个执行并行恢复的规则，然后依据这两个规则对于不同类型的日志分别执行并行恢复或串行恢复；并行恢复部分将日志分段，依据规则在每段内进行并行恢复，在段间保持串行恢复。

4、根据权利要求1至3任一项所述的一种内存数据库的并行恢复方法，其特征在于，还包括一种日志文件导入任务数与恢复任务数自适应的平衡算法，该算法使得读取的日志和日志的恢复协调进行，使得内存中日志缓冲区的使用最为有效；它使得缓存待分配日志缓冲区中缓存的日志数量最小但是又不为空，并使得待处理缓冲区中日志数量为空。

5、根据权利要求1所述的一种内存数据库的并行恢复方法，其特征在于，所述读取日志的任务一次读取一个日志文件，每个日志文件中存放的是完整的日志序列；日志并行读入部分启动多个日志读入任务，开始时每个任务负责最前面的日志几个日志文件的读入，当这些任务完成自己任务的日志读入任务后再依次读入后面的日志文件；日志读入任务将日志读入到日志缓存区中，该缓存区采用块链的方式组织；每个任务自己分配一块内存存放自己的日志，并将块链入缓存区中，部分操作涉及共享数据需要加互斥锁。

6、根据权利要求4所述的一种内存数据库的并行恢复方法，其特征在于，所述平衡算法将日志导入任务数设为m，日志恢复任务数设为n ，A代表数据库日志缓冲队列日志量，B代表线程日志缓冲队列日志和量；流入A的流量是M，流出B的流量是N，从A流向B的流量是D，ΔI=M-D，ΔO=D-N，初始时m=n=A=B=0。

7、根据权利要求6所述的一种内存数据库的并行恢复方法，其特征在于，所述m主要依据A中的变化量ΔI来变化，若ΔI>0表明数据库日志缓冲队列中日志变多，系统已经来不及将这些日志分配处理，所以减少m的数量；n综合考虑各种因素来调整，若ΔO>0表明线程日志缓冲队列日志和变大，恢复线程已经来不及处理这些日志了，所以增加n的数量，若ΔI+ΔO<0表明整个系统的输出能力比输入能力强，n数量过大浪费了系统资源，所以减少n的数量。