CN102541691A

CN102541691A - 面向内存数据库oltp应用的日志检查点恢复方法

Info

Publication number: CN102541691A
Application number: CN2011104451459A
Authority: CN
Inventors: 耿怡娜; 周烜; 王珊; 冯玉; 覃雄派; 杨经正; 薛忠斌
Original assignee: Beijing Kingbase Information Technologies Co Ltd
Current assignee: Beijing Kingbase Information Technologies Co Ltd
Priority date: 2011-12-27
Filing date: 2011-12-27
Publication date: 2012-07-04
Anticipated expiration: 2031-12-27
Also published as: CN102541691B

Abstract

本发明公开了一种面向内存数据库OLTP应用的日志检查点恢复方法。该方法采取了基于双日志双检查点备份的日志检查点技术，两套备份文件可以轮流使用，保证了数据库无论是在事务处理过程中，执行检查点操作过程中还是在恢复过程中崩溃，都可以恢复到最近的一个一致状态。同时，本发明利用MMAP共享内存机制快速建立从检查点备份文件到内存中的数据库的映射，实现了针对海量数据库的快速恢复。

Description

面向内存数据库OLTP应用的日志检查点恢复方法

技术领域

本发明涉及一种数据库系统恢复方法，尤其涉及一种面向内存数据库OLTP应用的日志检查点恢复方法，属于数据库管理技术领域。

背景技术

随着信息化建设的日益普及，许多行业应用领域对数据库性能的要求越来越高。与此同时，随着内存成本的不断降低，大容量内存已经成为高端服务器的标准配置。因此，对于具有数据量庞大、实时性要求高和高可靠性特点的电信、银行、证券以及军事指挥控制领域来说，可以提高OLTP(联机事务处理系统)应用性能的内存数据库技术越来越受到青睐。

对于响应时间快速和吞吐量要求较高的内存数据库来说，由于所有数据都存放在内存中，因此它比传统的磁盘数据库更加容易崩溃和丢失数据，所以其恢复管理机制就显得格外的重要。与磁盘数据库类似，目前的内存数据库一般都利用日志和检查点备份文件对数据库进行恢复。例如一些内存数据库采用使用物理日志对数据进行恢复的机制，但是与逻辑日志相比，使用物理日志会大大增加数据库系统因持久化日志的需要而进行磁盘I/O的开销，因而影响事务的执行速度。实践证明，一个好的数据库恢复管理机制应该在保证高可靠的同时，减少检查点操作对正常事务处理的影响，并且能够使得数据库在崩溃之后可以对大规模数据进行快速恢复。目前，这方面的技术仍然在进一步探索之中。

在共享内存技术方面，Linux的MMAP共享内存机制使得进程之间通过映射同一个普通文件实现共享内存。MMAP共享内存机制可以将磁盘文件的一部分直接映射到内存，这样文件中的位置直接就有对应的内存地址，对文件的读写可以直接用指针来做而不需要read()/write()函数。文件被映射到进程地址空间后，进程可以像访问普通内存一样对文件进行访问，不必再调用read()、write()等函数。MMAP共享内存机制的好处是处理大文件时速度明显快于标准文件I/O，无论读写，都少了一次用户空间与内核空间之间的复制过程。MMAP共享内存机制特别适合需要对文件进行频繁读写的应用场合，因为利用内存读写取代了I/O读写，可以获得较高的性能。因此，使用MMAP共享内存机制实现的内存数据库在性能方面要优于Posix(可移植操作系统接口)标准中的共享内存及IPC机制。

发明内容

本发明所要解决的技术问题在于提供一种面向内存数据库OLTP应用的日志检查点恢复方法。该方法可以使海量数据库在崩溃之后进行快速恢复。

为实现上述的发明目的，本发明采用下述的技术方案：

一种面向内存数据库OLTP应用的日志检查点恢复方法，假设磁盘中检查点ID文件中的值是X(X取0或1)，当前的内存数据库使用的检查点ID也为X，并且，当前使用的是X版本的检查点备份文件建立的到内存中的MMAP映射，所述恢复方法特征在于包括下述步骤：

11)使用(1-X)版本的检查点备份文件建立从磁盘到内存数据库的MMAP映射，将当前内存数据库的检查点ID设为(1-X)；

12)利用(1-X)版本的日志文件对新建立的内存中的数据库进行redo操作；

13)将内存中的脏页刷到X版本的检查点备份文件中；

14)删除X版本的日志文件中的信息；

15)修改磁盘上的检查点ID文件中的值，即令X＝1-X；

16)将内存中的脏数据通过MMAP共享内存机制刷到磁盘上的检查点ID文件中的值的那个版本的检查点备份文件中；

17)删除磁盘上的检查点ID文件中的值的那个版本的日志文件中的信息。

本发明采用了使用逻辑日志对数据进行恢复的策略，能够减轻因为日志持久化而进行I/O的负担，提高了事务执行的速度。利用本发明，可以保证数据库无论是在事务处理过程中，执行检查点操作过程中还是在恢复过程中崩溃都可以恢复到最近的一个一致状态，同时尽量减小检查点操作对正常事务处理的影响，并且使得数据库在崩溃之后可以对大规模数据进行快速恢复。

附图说明

下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为磁盘上用于恢复的文件情况示意图；

图2为日志文件和检查点备份文件之间的逻辑关系示意图；

图3为恢复算法中日志文件、备份文件和共享内存区的逻辑关系示意图。

具体实施方式

为了使内存数据库在崩溃之后实现快速恢复，本发明采用了一种基于双日志双检查点备份的日志检查点恢复方法。两套日志文件和两套检查点备份文件可以轮流对数据库进行恢复。即使在检查点操作过程中或者是恢复过程中数据库又崩溃了，也可以再次选择正确版本的日志和备份文件进行恢复。下面对本日志检查点恢复方法的具体实现环节进行详细的说明。

如图1所示，磁盘上的日志文件和备份文件一共可以分为三种类型：redo日志文件、检查点ID文件和检查点备份文件。

数据库在工作时，接受客户发来的请求，为每一个成功执行的DDL(数据定义语言)语句和每一个成功提交的DML(数据操作语言)语句生成redo日志文件。在进行数据恢复时，只要在检查点备份文件的基础上，对redo日志中的事务进行redo操作即可。

检查点ID文件中的值必须是从0或者1中选取一个。如果当前的检查点ID为0，那么表示正在运行的数据库使用的是0号版本的检查点备份文件建立的到内存中的MMAP映射。此时所有进程对这块共享内存的修改都将反映到检查点备份文件上，这种共享内存的技术特别适合需要对文件进行频繁读写的应用。另一方面，通过使用MMAP共享内存机制建立了从磁盘的检查点备份文件到内存中的数据库的映射，进程对内存中的数据库所做的更改都会反映到磁盘上的检查点备份文件中，这样可以获得较高的性能。

磁盘上的检查点备份文件一共有两套：0号检查点备份文件和0号日志文件结合在一起用于数据库的恢复，1号检查点备份文件和1号日志文件结合在一起用于数据库的恢复。而具体是选择0号还是1号文件进行恢复取决于磁盘上检查点ID文件中的取值。在本日志检查点恢复方法中，可以保证每次数据库恢复的时候，都可以自动的选择正确的版本进行快速恢复。

1.日志文件的维护过程

在本发明中，始终保持有两套日志文件。每套日志文件与其相对应的检查点备份文件一起用于内存数据库的恢复。图1展示了磁盘上用于恢复的文件情况，其中检查点ID文件相当于一个控制文件，分别控制0号日志文件、0号检查点备份文件和1号日志文件、1号检查点备份文件。数据库利用检查点ID文件来判断选择哪个版本的日志文件和检查点备份文件进行恢复。

日志生成之后只向磁盘写一次，即向数据库当前使用的检查点备份文件版本相反的那个版本的日志文件中写日志。举例来说，假设数据库当前使用1号检查点备份文件，则日志生成后应该向磁盘中的0号日志文件中进行写入。换句话说，如果当前的内存数据库使用的检查点ID为X(X取0或1)，则向(1-X)版本的日志文件中写入日志。

2.检查点备份文件的维护

假设磁盘中检查点ID文件中的值是X(X取0或1)，则当前的内存数据库使用的检查点ID也为X。并且，当前使用的是X版本的检查点备份文件建立的到内存中的MMAP映射。在此基础上，对检查点执行如下的检查点算法：

1)将内存中的脏数据通过MMAP的同步机制刷到X版本的检查点备份文件中；

2)删除X版本的日志文件中的信息；

3)修改磁盘上的检查点ID文件中的值，即令X＝1-X；

4)将内存中的脏页刷到当前磁盘上检查点ID文件中的那个值的版本的检查点备份文件中；

5)删除当前磁盘上检查点ID文件中的那个值的版本的日志文件中的信息；

6)修改磁盘上的检查点ID文件中的值，即令X＝1-X。

在进行检查点操作时，应该保证数据库的状态是一致的。在检查点算法中，本发明采取了只更新内存脏数据的策略，在保证了内存数据库可靠性的同时，大大减小了检查点操作对正常事务处理的影响，并且这种策略使得数据库在崩溃之后可以对大规模数据进行快速恢复，满足了OLTP应用对内存事务恢复管理机制的要求。

在本日志检查点恢复方法中，维护两份检查点备份文件。在一致性检查点操作执行的过程中，脏数据需要向磁盘写两次，分别被写入了两份检查点备份文件中，第一次是利用MMAP共享内存机制将内存中的脏数据写到一个检查点备份文件，第二次是利用内存中的数据库脏页标志将脏页写到磁盘上的另一个检查点备份文件。写操作执行成功之后相应的日志也会被删除。此处的脏数据是指已经发生修改，存在于内存中还未被写入到磁盘中的数据。脏页是指在数据库事务执行中，发生改变的数据库页。在内存中，数据库最终被逻辑的划分成许多页面，每一个页面也有一个脏页标识符来标识这个页面是否为脏页。

在检查点操作执行的过程中，还会改变检查点ID文件的值，保证如果数据库在检查点操作执行的过程中崩溃了，还是可以自动选择正确版本的日志和备份文件进行恢复。具体而言，如果数据库在事务正常执行的过程中发生了崩溃，那么在下次重启时，数据库会使用与崩溃之前使用的检查点备份文件版本相反的那个版本的日志文件和检查点备份文件进行恢复。举例来说，假设数据库在崩溃之前使用1号检查点备份文件，那么在下次重启时使用0号日志文件和检查点备份文件进行恢复。通过这种恢复方式，如果数据库在检查点操作执行的过程中发生了崩溃，那么在下次重启时，可以保证磁盘上的两套日志文件和检查点备份文件中，有一套可以用来实现正确的恢复，并且数据库系统可以正确地判断出哪一套文件是可以用来恢复数据库的。

日志文件和检查点备份文件之间的逻辑关系如图2所示：日志刷新线程负责向日志文件中写日志，检查点备份线程负责向检查点备份文件写脏数据和删除日志操作。在检查点操作执行的过程中，还会改变检查点ID文件的值。这样做的目的是保证如果数据库在检查点操作执行的过程中崩溃了，还是可以自动选择正确版本的日志和备份文件进行恢复。

3.恢复过程

在本日志检查点恢复方法中，使用磁盘上的日志文件和检查点备份文件进行数据恢复。

图3展示了恢复算法中日志文件、备份文件和共享内存区的逻辑关系。恢复过程的输入为日志文件、检查点备份文件和检查点ID文件，经过恢复算法，将某一份备份文件MMAP映射到内存中，然后利用配套的日志进行redo操作，操作结束后向两份备份文件写脏数据，最后删除日志。在这个恢复过程中，还会改变检查点ID文件中的值，以保证如果在恢复过程中数据库发生了崩溃，数据库还可以重新正确的恢复。

假设当前磁盘中检查点ID文件中的值是X(X取0或1)，则恢复过程的具体算法(即恢复算法)如下：

13)将内存中的脏页刷到X版本的检查点备份文件中；

14)删除X版本的日志文件中的信息；

15)修改磁盘上的检查点ID文件中的值，即令X＝1-X；

下面结合具体的数据库崩溃情况对本日志检查点恢复方法的具体操作进行说明。假设当前磁盘上的检查点ID文件中的值为X，则：

1)在事务运行过程中数据库发生崩溃

利用(1-X)版本的日志文件和检查点备份文件即可将数据库恢复到最近的一个一致的状态。

2)在检查点操作过程中崩溃

如果崩溃发生在检查点算法的第3步成功执行之前，可以使用磁盘上(1-X)版本的日志和检查点备份文件进行恢复。

如果崩溃发生在检查点算法的第3步成功执行之后至第6步成功执行之前，可以使用磁盘上(X)版本的日志和检查点备份文件进行恢复。

如果崩溃发生在检查点算法的第6步成功执行之后，可以使用磁盘上的(1-X)版本的日志和检查点备份文件进行恢复。

3)在数据库恢复过程中崩溃

如果崩溃发生在恢复算法的第5步成功执行之前，仍然使用磁盘上(1-X)版本的日志和检查点备份文件进行恢复。

如果崩溃发生在恢复算法的第5步成功执行之后，可以使用磁盘上(X)版本的日志和检查点备份文件进行恢复。

由于每次恢复之后会立即执行检查点操作，这使得数据库上的两份日志(即都被置空)以及检查点备份文件在刚刚恢复之初保持同步。因此，本日志检查点恢复方法可以保证数据库即使在恢复的过程中崩溃，也可以重新自动选择正确版本的日志和检查点备份文件进行恢复。

在本发明中采用了MMAP共享内存机制，即内存中的数据库使用的是MMAP结构，进程在读写内存的同时也会将相应的修改操作映射到磁盘上的检查点备份文件中。这种MMAP共享内存机制除了可以在做检查点的过程中提高性能之外(因为它适合对文件频繁读写的应用)，还因为可以快速建立从磁盘文件到内存数据库的映射，因此可以用来对海量数据库进行快速的恢复。

如上所述，利用本发明所提供的日志检查点恢复方法，可以保证数据库无论是在事务运行过程中，检查点操作执行的过程中还是数据库恢复过程中崩溃，都可以恢复到最近的一个一致的状态。通过MMAP共享内存机制和脏页标识符的使用，保证了每次做检查点操作时，只将内存中的脏数据写到磁盘中，并且MMAP共享内存机制也特别适合对文件有频繁更改的应用，这样就提高了检查点操作的效率，尽量减少了检查点操作对于正常事务执行的干扰。由于日志文件所使用的是逻辑日志，并且日志文件和检查点备份文件可以使用不同的磁盘来存储，既大大减少了日志I/O的负担，又加快了I/O速率。

在实现恢复时，利用MMAP共享内存机制可以快速建立从检查点备份文件到内存中的数据库的映射，实现了针对海量数据库的快速恢复。例如本日志检查点恢复方法可以使上GB大小的数据库文件在几秒之内得到快速恢复，而与此相比，使用Posix系统的共享内存及IPC机制需要几分钟才能够恢复。因此，本发明非常适合于有持久性和快速恢复要求的海量数据库应用。

以上对本发明所提供的面向内存数据库OLTP应用的日志检查点恢复方法进行了详细的说明。对本领域的技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims

1.一种面向内存数据库OLTP应用的日志检查点恢复方法，假设磁盘中检查点ID文件中的值是X，所述X的取值为0或1，当前的内存数据库使用的检查点ID为X，并且当前使用的是X版本的检查点备份文件建立的到内存中的MMAP映射，所述恢复方法特征在于包括下述步骤：

13)将内存中的脏页刷到X版本的检查点备份文件中；

14)删除X版本的日志文件中的信息；

15)修改磁盘上的检查点ID文件中的值，即令X＝1-X；

16)将内存中的脏数据通过MMAP共享内存机制刷到磁盘上的检查点ID文件中的值的该版本的检查点备份文件中；

17)删除磁盘上的检查点ID文件中的值的该版本的日志文件中的信息。

2.如权利要求1所述的面向内存数据库OLTP应用的日志检查点恢复方法，其特征在于：

根据磁盘上检查点ID文件中X的取值为0或1，选择磁盘上的0号检查点备份文件，用于与0号日志文件结合在一起进行数据库的恢复；或者1号检查点备份文件，用于与1号日志文件结合在一起进行数据库的恢复。

3.如权利要求2所述的面向内存数据库OLTP应用的日志检查点恢复方法，其特征在于：

假设当前磁盘上的检查点ID文件中的值为X，在事务运行过程中数据库发生崩溃时，利用(1-X)版本的日志文件和检查点备份文件即可将数据库恢复到最近的一个一致的状态。

4.如权利要求2所述的面向内存数据库OLTP应用的日志检查点恢复方法，其特征在于：

假设当前磁盘上的检查点ID文件中的值为X，

在数据库恢复过程中崩溃时，如果崩溃发生在所述步骤15)成功执行之前，仍然使用磁盘上(1-X)版本的日志和检查点备份文件进行恢复；

如果崩溃发生在所述步骤15)执行之后，可以使用磁盘上(X)版本的日志和检查点备份文件进行恢复。

5.如权利要求2所述的面向内存数据库OLTP应用的日志检查点恢复方法，其特征在于还包括下述检查点操作步骤：

2)删除X版本的日志文件中的信息；

3)修改磁盘上的检查点ID文件中的值，即令X＝1-X；

6)修改磁盘上的检查点ID文件中的值，即令X＝1-X。

6.如权利要求5所述的面向内存数据库OLTP应用的日志检查点恢复方法，其特征在于：

假设当前磁盘上的检查点ID文件中的值为X，

在检查点操作过程中崩溃时，如果崩溃发生在所述步骤3)成功执行之前，可以使用磁盘上(1-X)版本的日志和检查点备份文件进行恢复。

如果崩溃发生在所述步骤3)成功执行之后至所述步骤6)成功执行之前，可以使用磁盘上(X)版本的日志和检查点备份文件进行恢复。

如果崩溃发生在所述步骤6)成功执行之后，可以使用磁盘上的(1-X)版本的日志和检查点备份文件进行恢复。

7.如权利要求6所述的面向内存数据库OLTP应用的日志检查点恢复方法，其特征在于：

在一致性检查点操作执行的过程中，脏数据需要向磁盘写两次，分别被写入了两份检查点备份文件中，第一次是利用MMAP共享内存机制将内存中的脏数据写到一个检查点备份文件，第二次是利用内存中的数据库脏页标志将脏页写到磁盘上的另一个检查点备份文件。