CN102981944A - 一种基于文件系统的日志存储方法 - Google Patents

Abstract

本发明公开了一种基于文件系统的日志存储方法，该方法设置日志文件，将需要存储的日志以日志记录的形式写入至日志文件中，利用文件系统管理日志文件和存储设备，并将日志文件中的日志存储到存储设备中。本发明通过设置日志文件、将日志以日志记录的形式存储到日志文件中，并借助于文件系统对日志文件进行存储管理，降低了日志管理复杂度，提高了日志的存储速度。

Description

一种基于文件系统的日志存储方法

技术领域

本发明涉及数据处理技术，具体地说，是涉及日志存储方法，更具体地说，是涉及一种基于文件系统的日志存储方法。

背景技术

日志可以记录操作发生的具体时间和相关的信息，以机顶盒为例，可以记录开机的全过程、用户的换台、按键、信号检测、搜台、设置、进入/退出某功能页面等操作。通过日志，可以为系统死机或者崩溃现场保留最后的有效记录，便于开发人员或者维护人员根据相关信息及时快速地分析、定位死机或崩溃的位置和原因，从而大大缩减开发和维护的时间，节省人力资源成本。

现有机顶盒、手机等嵌入式设备中为了存储日志，通常采用Flash方式，该方式需要对硬件Flash进行操作来实现。由于Flash以块或扇区为操作单元，各块或扇区如果要写入数据，首先需要擦除，而擦除的最小单位必须是块或扇区；而且，在块或扇区中存储时，可能会出现跨块或扇区存储的情况，因此，直接操作Flash写入日志过程复杂，写入速度较慢，使用不方便。

发明内容

本发明的目的在于提供一种基于文件系统的日志存储方法，通过设置日志文件、将日志以日志记录的形式存储到日志文件中，并借助于文件系统对日志文件进行存储管理，降低了日志管理复杂度，提高了日志的存储速度。

为实现上述发明目的，本发明采用下述技术方案予以实现：

一种基于文件系统的日志存储方法，其特征在于，设置日志文件，将需要存储的日志以日志记录的形式写入至日志文件中，利用文件系统管理日志文件和存储设备，并将日志文件中的日志存储到存储设备中。

如上所述的方法，为便于日志的使用，所述日志记录包括记录时间字段、记录内容字段和记录结束标志字段。

优选的，所述记录结束标志为回车字符。

如上所述的方法，为避免丢失日志，在所述日志文件中新写入的日志记录大于设定数量时，控制所述文件系统将日志文件中的日志记录写入到所述存储设备中。

如上所述的方法，可以采用下述方法将当前日志记录写入至所述日志文件中：

计算当前日志记录的长度；

判断日志文件剩余空间能否存放当前日志记录；

在剩余空间能存放当前日志记录时，将当前日志记录根据写指针位置写入至剩余空间；否则，将写指针移动到最早写入的日志记录的首地址，将当前日志记录从该首地址开始写入。

如上所述的方法，为提高日志存储的安全性，在将当前日志记录写入到所述日志文件中之后，将写指针保存到独立于日志文件的索引文件中；在下次写入日志记录时，从索引文件中读取写指针。

如上所述的方法，为便于调整日志记录的写入速度、防止因大量无效或重复记录的写入而占用日志文件存储空间及降低Flash读写速度，在写入当前日志记录之前，首先判断日志记录的写入频率是否大于设定的采样频率；若写入频率大于采样频率，则判断当前日志记录是否需要丢弃，若丢弃，放弃当前日志记录的写入，否则，将当前日志记录写入至所述日志文件。

如上所述的方法，日志记录可根据随机数来选择性丢弃、以保证尽可能多地保存有用记录，具体来说，可以采用下述方法判断当前日志记录是否需要丢弃：在设定的随机数取值范围内获取随机数，根据随机数与随机数取值范围及所述设定的采样频率的大小关系判断与随机数相对应的当前日志记录是否需要丢弃。

优选的，在当前日志记录相对应的随机数不小于所述随机数取值范围与所述设定的采样频率之差时，判定当前日志记录需要丢弃。

如上所述的方法，为提高处理速度，在所述日志记录的写入频率大于所述设定的采样频率时，首先设置溢出标志，然后再判断当前日志记录是否需要丢弃。

与现有技术相比，本发明的优点和积极效果是：通过设置日志文件、将日志以日志记录的形式存储到日志文件中，并借助于文件系统对日志文件进行存储管理，降低了日志管理复杂度，提高了日志的存储速度。

结合附图阅读本发明的具体实施方式后，本发明的其他特点和优点将变得更加清楚。

附图说明

图1本发明基于文件系统的日志存储方法一个实施例的流程图；

图2本发明基于文件系统的日志存储方法另一个实施例的流程图；

图3是图2实施例中调整日志记录写入频率的一个具体流程图。 

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步详细的说明。

首先，简要说明本发明的技术思路：现有机顶盒、手机等嵌入式设备一般都采用Linux操作系统，具有虚拟文件系统VFS，支持文件操作，并能够利用VFS对物理存储设备进行统一分配和管理。基于此，本发明提出了设置日志文件、将日志以日志记录的形式写入至日志文件中的日志存储方法。对于日志文件，就可以利用文件系统进行管理，并通过文件系统将日志存储到Flash等存储设备上。如此一来，开发人员只需要指定日志文件、将设备软件运行过程中产生的日志写入到日志文件中，在使用日志时，也仅需要从日志文件中读取即可，无需关心如何从存储设备上如何读和写，这些工作全部通过文件系统来实现，从而能够降低日志管理复杂度，减少软件开发人员的工作量，从软件开发角度来看，有利于提高日志存储速度，降低软件开发成本。

请参考图1，该图1示出了本发明基于文件系统的日志存储方法一个实施例的流程图，该实施例以采用Linux系统的机顶盒存储日志为例，机顶盒操作系统支持文件系统，且根据系统运行性能和Flash存储设备的大小预先设置了一个存储日志的日志文件。

如图1所示，该实施例存储日志的过程如下：

步骤101：流程开始。

步骤102：计算当前日志记录的长度。

在该实施例中，日志将以记录的形式存储到日志文件中。在以记录形式存储时，日志记录包括有依次排列的记录时间字段、记录内容字段和记录结束标志字段。其中，记录时间字段用来标识日志发生的时间。利用该时间字段，一方面便于获知日志何时发生，有利于对日志内容进行时间定位；另一方面，便于判断不同日志发生的先后顺序，以识别日志写入到文件中的顺序。记录内容字段为日志的具体内容，一般以字符串的形式显示日志内容。记录结束标志字段用来标志一条记录的结束，优选为回车字符字段。通过设置记录结束标志，可以直接区分出一条完整的日志记录，不仅便于日志的写入，且在日志导出后，无需做额外的记录与记录之间的区分既可以保证有关人员正确进行的日志浏览。对于包括有上述多个字段的当前日志记录来说，其长度是所有字段的长度总和。在写入日志之前，首先计算当前日志记录的长度，也即记录中所有字段所占的总字节数。

步骤103：判断日志文件的剩余空间是否还足够用来存放当前日志记录。若是，执行步骤106；否则，执行步骤104。

可采用下述方法判断剩余空间是否足够：当前写指针的位置加上要写入的当前日志记录的长度是否大于日志文件的结束地址。若大于，说明剩余空间不足以存储当前日志记录；否则，判定剩余空间足够。

步骤104：在日志文件的剩余空间不足时，将写指针移动到最早写入的日志记录的首地址。

由产品文件管理系统性能及存储设备容量等因素所限，分配来存储日志的文件大小是有限的，为保证在有限存储空间的文件中尽可能写入有用日志，如果存储空间不足，则将当前日志记录覆盖最早写入的记录。具体来说，是将写指针移动到最早写入的日志记录的首地址。而且，可以根据日志记录中的记录时间字段中的时间来判断哪条记录时最早写入的记录。

步骤105：将当前日志记录从该首地址开始写入。然后，转至步骤107。

步骤106：在日志文件的剩余空间足够时，根据写指针将当前日志记录写入至剩余空间。然后，执行步骤107。

步骤107：利用文件系统将日志存储到存储设备中。

该步骤是文件系统自动处理的过程，无需用户参与。

步骤108：流程结束。

在该实施例中，日志以记录形式在日志文件中连续存储，实现了数据的紧缩存储，可以有效利用日志文件的存储空间来保存尽可能多的有效日志信息，为系统开发和维护提供更多、更可靠的现场保护，便于在系统死机或崩溃时为相关人员提供快速定位故障位置及原因的依据。

请参考图2，该图2所示为本发明基于文件系统的日志存储方法另一个实施例的具体流程图。与图1实施例类似，该实施例仍以采用Linux系统的机顶盒存储日志为例，机顶盒操作系统支持文件系统，且根据系统运行性能和Flash存储设备的大小预先设置了一个存储日志的日志文件。

如图2所示，该实施例存储日志的具体过程为：

步骤201：流程开始。

步骤202：计算日志记录的写入频率，并与设定采样频率相比较。

在该实施例中，考虑到某些情况下，可能会大量往日志文件中写入无效或重复的日志记录，因而大量占用日志文件的存储空间，降低日志读写速度。由于日志文件存储空间有限，不能存放大量的日志记录信息，且若过快、过多地写入日志信息，极容易冲掉了本来有用的信息，而存放的是一些重复或无效的信息，从而失去了记录有效信息的目的。基于上述原因，为兼顾信息的存储量和写入的有效性，避免上述情形下系统性能的下降，可在存储日志记录时预设采样频率，用来限定单位时间内可写入的最大记录数。在将日志记录写入在日志文件中之前，先计算记录的写入频率。具体来说，可以采用下述方法来计算写入频率：在系统内部设置一个对应采样周期的定时器，在定时时间内，每写入一条新日志记录，计数器会加1，当到达定时时间后，计数器的计数值即为采样周期内写入的日志记录数量，根据定时时间和日志记录数量可以计算出日志记录的写入频率。然后，将该写入频率与预设的采样频率进行比较。同时，计数器清零，重新开始计数。

步骤203：判断写入频率是否大于采样频率。若是，执行步骤204；否则，转至步骤205。

步骤204：在写入频率大于采样频率时，判断是否要丢弃当前日志记录。若是，转至步骤214，放弃当前日志记录的写入，结束流程；若为否，执行步骤205。

如果写入频率大于采样频率，则需要丢弃部分日志记录，以调整写入频率，也即调整日志记录的写入速度，以确保日志存储的性能。则，首先需要判断当前日志记录是否需要丢弃。调整日志记录写入速度的具体过程可以参考图3流程及下述对图3的描述。

步骤205：若当前日志记录不丢弃，则执行当前日志记录的写入。首先，计算当前日志记录的长度，并从索引文件中读取写指针。

当前日志记录长度的计算方法可以参考上述图1实施例中的方法，在此不作复述。而在该实施例中，为提高日志存储的安全性，除了设置日志文件之外，还设置了一个独立于日志文件的索引文件，在该索引文件中存储写指针。通过设置单独的文件存储写指针的目的在于，如果日志文件出现故障而无法获取其内的写指针时，仍可以从独立的索引文件中获取到写指针，利用该写指针可以执行日志文件的恢复等操作，能保证日志存储的安全性。因此，在设置有索引文件的情况下写入日志记录时，可以从索引文件中读取写指针。

步骤206：判断日志文件的剩余空间是否还足够用来存放当前日志记录。若是，执行步骤209；否则，执行步骤207。

步骤207：在日志文件的剩余空间不足时，将写指针移动到最早写入的日志记录的首地址。

步骤208：将当前日志记录从该首地址开始写入。然后，转至步骤210。

步骤209：在日志文件的剩余空间足够时，根据写指针将当前日志记录写入至剩余空间。然后，执行步骤210。

上述几个步骤的设置原理及具体实现可参考图1实施例中相应步骤的说明。

步骤210：在完成当前日志记录的写入之后，将写指针保存到独立于日志文件的索引文件中，以便于在下次写入日志记录时直接从索引文件中读取写指针来使用。

步骤211：判断新写入日志记录是否大于设定数量。若是，转至步骤213；若否，执行步骤212。

对于基于文件系统的日志存储来说，用户只需将日志写入到日志文件中，此时，日志是存储在产品的内存中。然后，通过产品的文件系统自动将日志从内存写入到Flash存储设备中。文件系统在将日志从内存写入到Flash中时，一般是采用定时存储或者是中断存储的方式，这样就存在一个问题，如果定时时间未到、或者系统一直在运行一个中断级别更高的中断任务而未执行日志记录的转存时，因为断电等原因导致系统关机，则会导致日志因没有写入到Flash中存储而丢失，用户后续就无法获得这些丢失的日志记录。为避免这些情况而导致的日志丢失，该实施例将强制在满足设定条件时产生一个高级中断，使得文件系统能够处理日志记录的转存。具体来说，是在新写入的日志记录达到设定数量时，强制产生高级中断。同样的，可以设置一个计数器，每写入一条记录计数器加1。在计数达到设定数量时，强制产生高级中断，同时将计数器清零，再对后面写入的日志记录计数。因此，这里所说的新写入日志记录，是指计数器清理后、再次开始计数所对应的日志记录。

步骤212：若新写入日志记录数量不大于设定数量，则利用文件系统自动将日志存储到存储设备中，也即不执行强制存储的过程。然后，转至步骤214结束。

步骤213：如果新写入日志记录数量大于设定数量，则控制文件系统将日志文件中的日志记录写入到存储设备中。然后，执行步骤214。

在写入时，文件系统会自动判断之前已经写入的记录，而仅将未写入的记录写入进去。

步骤214：当前日志记录写入流程结束。

请参考图3，该图3示出了图2实施例中调整写入频率的一个具体流程图。该流程图同时示出了如何丢弃日志记录，以保证写入频率满足要求的方法。在该流程执行之前，在存储日志的初始化过程中，预设一个采样频率。

如图3所示，调整写入频率的具体步骤如下：

步骤301：统计写入的日志记录数量。

具体统计过程参考上述图2中的相关步骤的说明。

步骤302：判断写入频率是否大于采样频率。若是，执行步骤303；若否，转至步骤304。

步骤303：在写入频率大于采样频率时，设置溢出标志，以便于根据该标志对写入频率进行相应的调整。

步骤304：判断是否存在溢出标志，并在存在溢出标志时执行步骤305，而不存在溢出标志时执行步骤307。

步骤305：若存在溢出标志，说明写入频率大于采样频率，此时，需要通过丢弃部分记录的手段来减少写入频率。在该实施例中，为保证尽可能多地保存有用记录，采用随机数的选择方式来选择性丢弃记录数据。首先，在一定取值范围内获取一个随机数。例如，获取0-100以内的随机数。

步骤306：判断随机数是否大于等于取值范围减去采样频率。若是，执行步骤308；若否，执行步骤307。

步骤307：若写入频率不大于采样频率，或者虽然写入频率大于采样频率，但待写入的日志记录对应的随机数小于取值范围减去采样频率的值，则直接写入日志记录。

在写入频率大于采样频率时，通过随机数的获取及上述计算，在其所对应的随机数小于取值范围减去采样频率的值时，认为该随机数对应的日志记录不能丢弃，因此将其写入至日志文件中。

步骤308：若待写入的日志记录对应的随机数大于等于取值范围减去采样频率的值，则判定该日志记录不再写入至日志文件中，因此，丢弃该日志记录，从而实现调整写入频率的目的。

当然，除了采样上述通过随机数的选择及计算判断要丢弃的日志记录之外，也还可以采用其他可行的方法来判断，例如，采用固定间隔丢弃一个记录的方式等。

以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。

Claims (10)

1.一种基于文件系统的日志存储方法，其特征在于，设置日志文件，将需要存储的日志以日志记录的形式写入至日志文件中，利用文件系统管理日志文件和存储设备，并将日志文件中的日志存储到存储设备中。

2.根据权利要求1所述的方法，其特征在于，所述日志记录包括记录时间字段、记录内容字段和记录结束标志字段。

3.根据权利要求2所述的方法，其特征在于，所述记录结束标志为回车字符。

4.根据权利要求1所述的方法，其特征在于，在所述日志文件中新写入的日志记录大于设定数量时，控制所述文件系统将日志文件中的日志记录写入到所述存储设备中。

5.根据权利要求1至4中任一项所述的方法，其特征在于，采用下述方法将当前日志记录写入至所述日志文件中：

计算当前日志记录的长度；

判断日志文件剩余空间能否存放当前日志记录；

在剩余空间能存放当前日志记录时，将当前日志记录根据写指针位置写入至剩余空间；否则，将写指针移动到最早写入的日志记录的首地址，将当前日志记录从该首地址开始写入。

6.根据权利要求5所述的方法，其特征在于，在将当前日志记录写入到所述日志文件中之后，将写指针保存到独立于日志文件的索引文件中；在下次写入日志记录时，从索引文件中读取写指针。

7.根据权利要求5所述的方法，其特征在于，在写入当前日志记录之前，判断日志记录的写入频率是否大于设定的采样频率；若写入频率大于采样频率，则判断当前日志记录是否需要丢弃，若丢弃，放弃当前日志记录的写入，否则，将当前日志记录写入至所述日志文件。

8.根据权利要求7所述的方法，其特征在于，采用下述方法判断当前日志记录是否需要丢弃：在设定的随机数取值范围内获取随机数，根据随机数与随机数取值范围及所述设定的采样频率的大小关系判断与随机数相对应的当前日志记录是否需要丢弃。

9.根据权利要求8所述的方法，其特征在于，在当前日志记录相对应的随机数不小于所述随机数取值范围与所述设定的采样频率之差时，判定当前日志记录需要丢弃。

10.根据权利要求7所述的方法，其特征在于，在所述日志记录的写入频率大于所述设定的采样频率时，首先设置溢出标志，然后再判断当前日志记录是否需要丢弃。

Images