CN103077187A - 日志管理方法和日志管理系统 - Google Patents

Abstract

本发明公开了日志管理方法和日志管理系统，其后，该日志管理方法包括：采用追加写的方式将文件日志记录到数据日志文件中；以及创建索引日志文件，索引日志文件记录每个数据日志文件中的第一个事务的事务号。通过本发明的技术方案，能够保持较高的写性能并快速找到所需事务。

Description

日志管理方法和日志管理系统

技术领域

本发明总的来说涉及日志系统，更具体地，涉及日志管理方法和日志管理系统。

背景技术

为了保证多元数据服务器的一致性和原子性，采用日志系统来完成元数据的数据存储。为了管理日志设备，大部分系统采用了卷积写(其是文件长度固定，写完文件尾再写文件头，循环写文件的方式)。由于卷积写的方式，必须需要记录当前写的位置，因此，必须有头部来进行维护，这样每次写文件，不仅要写数据，还要写文件头。

因此，现有日志系统采用卷积写，每次写均需要写两次文件，而由于文件头都是在磁盘一个固定的位置，而数据部分则在磁盘的不同位置，因此，每次写文件，磁头将需要在磁道上进行来回的寻道，导致降低了写设备的性能。同时，采用卷积写的方式，管理文件比较复杂，例如，出现一个日志事务占用当前日志设备文件尾部和卷积和的设备头的情况，这样极易出现问题。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种日志管理方法和日志管理系统，其能够保持较高的写性能。

根据本发明的一个方面，提供了一种日志管理方法，包括：采用追加写的方式将文件日志记录到数据日志文件中；以及创建索引日志文件，索引日志文件记录每个数据日志文件中的第一个事务的事务号。

优选地，数据日志文件为多个数据日志文件，当一个数据日志文件写满时，再新建一个新的数据日志文件。

更优选地，根据时间来划分多个数据日志文件。

更优选地，根据日志记录长度来划分多个数据日志文件。

优选地，当需要查找一个事务的数据时，根据索引日志文件确定该事务属于哪个数据日志文件，然后顺序读该事务所在的数据日志文件。

优选地，当索引日志文件大于阈值时，创建一个新的索引日志文件，并将原索引日志文件中的有效数据拷入新的索引日志文件中。

更优选地，根据日志系统的系统容量来确定阈值。

根据本发明的另一方面，提供了一种日志管理系统，包括：数据日志文件记录模块，用于采用追加写的方式将文件日志记录到数据日志文件中；以及索引日志文件创建模块，用于创建索引日志文件，索引日志文件记录每个数据日志文件中的第一个事务的事务号。

优选地，数据日志文件为多个数据日志文件，当一个数据日志文件写满时，数据日志文件记录模块再新建一个新的数据日志文件，其中，根据时间或者日志记录长度来划分所述多个数据日志文件。

优选地，当索引日志文件大于阈值时，索引日志文件创建模块创建一个新的索引日志文件，并将原索引日志文件中的有效数据拷入新的索引日志文件中，其中，根据日志系统的系统容量来确定该阈值。

本发明通过采用追加写的方式记录文件日志，保持了较高的写性能，并且通过索引日志文件，能够快速找到所需的事务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的日志管理方法的流程图；

图2是根据本发明实施例的日志管理系统的框图；以及

图3是根据本发明实施例的数据日志文件和索引日志文件的示图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据本发明实施例的日志管理方法的流程图。

参照图1，根据本发明的日志管理方法包括：S102，采用追加写的方式将文件日志记录到数据日志文件中；以及S104，创建索引日志文件，索引日志文件记录每个数据日志文件中的第一个事务的事务号。

这里，数据日志文件可以为多个数据日志文件，当一个数据日志文件写满时，再新建一个新的数据日志文件。优选地，可以根据时间和/或日志记录长度来划分多个数据日志文件。当然，本领域技术人员应该理解，也可以根据其他方式来划分数据日志文件。

当需要查找一个事务的数据时，根据索引日志文件确定该事务属于哪个数据日志文件，然后顺序读该事务所在的数据日志文件。

此外，当索引日志文件大于阈值时，可以创建一个新的索引日志文件，并将原索引日志文件中的有效数据拷入新的索引日志文件中。注意，根据日志系统的系统容量来确定阈值。

图2是根据本发明实施例的日志管理系统的框图。

参照图2，根据本发明的，日志管理系统包括：数据日志文件记录模块22，用于采用追加写的方式将文件日志记录到数据日志文件中；以及索引日志文件创建模块24，用于创建索引日志文件，索引日志文件记录每个数据日志文件中的第一个事务的事务号。

以下参照图3详细描述本发明。

图3是根据本发明实施例的数据日志文件和索引日志文件的示图。

参照图3，本发明的技术方案采用索引日志文件管理的方式。如图所示，将文件日志记录到数据日志文件中，文件可以根据时间和/或日志记录长度来进行划分。并且还采用追加写的方式不断写到数据日志文件的尾部，当该数据日志文件文件写满时，新建一个新的数据日志文件。

同时，还创建索引日志文件，该索引日志文件记录每个数据日志文件的第一个事务的事务号。这样，当需要查找某个事务的数据时，就可以根据索引日志文件查到其属于哪个数据日志文件，然后再顺序读该数据日志文件即可。

此外，当索引日志文件太大时，创建一个新的索引日志文件，将原来的索引日志中的有效数据拷入新创建的索引日志文件中。这样既回收了磁盘空间，同时索引日志文件和数据日志文件仍然是一一对应的关系，此外，由于索引日志文件没有给数据日志的信息，从而也回收了数据日志的空间，这也就是本领域技术人员已知的文件空洞回收方式，即，随着日志文件的增加，有一部分日志文件已经被应用，因此这些日志文件及其相对应的索引日志文件已经没有用，但它们还占用一定的空间，通过创建新的索引日志文件并将原有索引日志中的有效数据拷入新创建的索引日志文件中，使得已经无效的索引日志文件被删除，这样就回收了索引日志文件的一部分空间，并且相应回收了被删除索引日志文件所对应的那些数据日志文件的空间。

注意，本领域技术人员应该明白，这里所说的索引日志文件的大小是相对于日志系统的系统容量来决定的，当系统容量较大时，自然索引日志文件可以较大，而当系统容量较小时，索引日志文件相对也较小。

通过本发明的方法：数据日志文件按顺序追加写入日志设备，这样能够保持较高的写性能。当需要查找某个事务时，根据索引日志文件，快速找到所需事务所在的数据日志文件并读该数据日志文件即可，这样就无需遍历所有的数据日志文件。此外，当索引日志文件太大时，可以采用文件空洞方式进行回收。

综上所述，借助于本发明的上述技术方案，通过采用追加写数据日志文件而使文件号不断递增且索引日志文件仅维护所有数据日志的事务的最小号，可以保持较高的写性能并且能够快速找到所需事务。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种日志管理方法，其特征在于，所述日志管理方法包括：

采用追加写的方式将文件日志记录到数据日志文件中；以及

创建索引日志文件，所述索引日志文件记录每个数据日志文件中的第一个事务的事务号。

2.根据权利要求1所述的日志管理方法，其特征在于，所述数据日志文件为多个数据日志文件，当一个数据日志文件写满时，再新建一个新的数据日志文件。

3.根据权利要求2所述的日志管理方法，其特征在于，根据时间来划分所述多个数据日志文件。

4.根据权利要求2所述的日志管理方法，其特征在于，根据日志记录长度来划分所述多个数据日志文件。

5.根据权利要求1所述的日志管理方法，其特征在于，当需要查找一个事务的数据时，根据所述索引日志文件确定该事务属于哪个数据日志文件，然后顺序读该事务所在的数据日志文件。

6.根据权利要求1所述的日志管理方法，其特征在于，当所述索引日志文件大于阈值时，创建一个新的索引日志文件，并将原索引日志文件中的有效数据拷入所述新的索引日志文件中。

7.根据权利要求6所述的日志管理方法，其特征在于，根据日志系统的系统容量来确定所述阈值。

8.一种日志管理系统，其特征在于，所述日志管理系统包括：

数据日志文件记录模块，用于采用追加写的方式将文件日志记录到数据日志文件中；以及

索引日志文件创建模块，用于创建索引日志文件，所述索引日志文件记录每个数据日志文件中的第一个事务的事务号。

9.根据权利要求7所述的日志管理系统，其特征在于，所述数据日志文件为多个数据日志文件，当一个数据日志文件写满时，所述数据日志文件记录模块再新建一个新的数据日志文件，其中，根据时间或者日志记录长度来划分所述多个数据日志文件。

10.根据权利要求8所述的日志管理系统，其特征在于，当所述索引日志文件大于阈值时，所述索引日志文件创建模块创建一个新的索引日志文件，并将原索引日志文件中的有效数据拷入所述新的索引日志文件中，其中，根据日志系统的系统容量来确定所述阈值。

Images