CN101620617A - 日志文件的查询和处理的方法及装置 - Google Patents

Abstract

本发明提供一种日志文件的查询和处理的方法及装置，涉及日志管理领域，为解决现有技术中在日志文件中查询记录比较慢的技术问题而发明。所述日志文件的查询方法包括，包括日志文件查询装置获取至少一个类型的待查询索引值；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号，所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号；所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录，所述日志文件包括：至少一个记录、所述记录的序号。本发明能提高在日志文件中查询记录的速度。

Description

日志文件的查询和处理的方法及装置

技术领域

本发明涉及日志管理领域，特别是指一种日志文件的查询和处理的方法及装置。

背景技术

在通用用户数据平台(USPP，Universal Subscriber Profile Platform)双层组网网管系统架构中，网元侧用于收集和存储受理日志，网元层管理系统(EMS，Element Management Systems)用于查询各网元的受理日志。

由于用户多，受理日志的信息量巨大。目前网元侧(OMM)通过数据库系统(例如，Oracle)来存储受理日志信息，Oracle数据库成本较高，无法存储海量的受理日志信息，当数据库受理日志信息达到存储上限时，网元侧会把数据库记录导出为文本文件，一个文本文件大致存放300万条记录，文本文件压缩后存储在网元侧。

EMS从网元侧采集压缩后的日志文件。当对记录进行检索时，首先需要解压，然后逐条解析每条记录，根据用户要求的查询条件找到匹配的记录。这样的查询过程非常耗时，平均每个压缩日志文件的查询耗时50秒左右。

发明内容

本发明要解决的技术问题是提供一种提高查询速度的日志文件的查询和处理的方法及装置。

为解决上述技术问题，本发明的实施例提供技术方案如下：

一方面，提供一种日志文件的查询方法，包括：

日志文件查询装置获取至少一个类型的待查询索引值；

所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号，所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号；

所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录，所述日志文件包括：至少一个记录、所述记录的序号。

其中，所述日志文件还包括：所述记录在所述日志文件中的存储位置信息；

所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录的步骤包括：所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号对应的所述记录的存储位置信息；所述日志文件查询装置根据获取的所述记录的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录。

其中，所述日志文件具体包括：至少一个记录数据块、所述记录数据块的序号以及所述记录数据块在所述日志文件中的存储位置信息，所述记录数据块包括至少一个记录；

所述索引文件具体包括：所述记录数据块的序号和所述记录数据块的序号对应的至少一个类型的索引值的范围；

所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号的步骤具体为：所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录数据块的序号；

所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号对应的所述记录的存储位置信息的步骤具体为：所述日志文件查询装置根据所述日志文件，获取查找到的所述记录数据块的序号对应的存储位置信息；

所述日志文件查询装置根据获取的所述记录的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录的步骤具体为：所述日志文件查询装置根据获取的所述记录数据块的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录数据块；所述日志文件查询装置从获取的所述记录数据块中，获取包含所述待查询索引值对应的记录。

其中，所述记录数据块还包括：所述记录的序号以及所述记录的存储位置信息；

所述索引文件还包括：所述至少一个类型的索引值、所述索引值对应的记录数据块的序号以及所述索引值对应的记录的序号；

所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录数据块的序号的步骤具体为：所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录数据块的序号以及所述待查询索引值对应的至少一个记录的序号；

所述日志文件查询装置从获取的所述记录数据块中，获取包含所述待查询索引值对应的记录的步骤具体为：所述日志文件查询装置根据获取的所述记录数据块，获取所述待查询索引值对应的记录的序号对应的存储位置信息；所述日志文件查询装置根据获取的所述记录的序号的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录。

其中，所述索引文件具体包括：至少一个索引值数据块、所述索引值数据块在所述索引文件中的存储位置信息以及所述索引值数据块对应的索引值的范围；所述索引值数据块包括至少一个索引值、所述索引值对应的记录的序号以及所述索引值对应的记录数据块的序号；

所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录数据块的序号以及所述待查询索引值对应的至少一个记录的序号的步骤包括：

所述日志文件查询装置根据所述索引文件，查找包括所述待查询索引值对应的索引值数据块的存储位置信息；

所述日志文件查询装置根据获取的所述索引值数据块的存储位置信息，获取所述待查询索引值对应的索引值数据块；

所述日志文件查询装置在获取到的所述索引值数据块中，查找所述待查询索引值对应的记录号以及所述待查询索引值对应的记录数据块的序号。

其中，所述记录包含至少两个类型的索引值；

所述索引文件包含所述至少两个类型的索引文件；

所述待查询索引值为所述至少两个类型的待查询索引值；

所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号的步骤包括：

所述日志文件查询装置根据第一类型的所述索引文件，查找第一类型的所述待查询索引值对应的至少一个记录的序号，作为第一集合；

所述日志文件查询装置根据第二类型的索引文件，查找第二类型的所述待查询索引值对应的至少一个记录的序号，作为第二集合；

所述日志文件查询装置获取所述第一集合和所述第二集合的交集，作为查找到的所述记录的序号。

其中，所述记录在所述日志文件中的存储位置信息占用的字节长度固定，所述记录的存储位置信息的存储地址标示所述记录的序号；

所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号对应的所述记录的存储位置信息的步骤包括：

所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号对应的所述记录的存储位置信息的存储地址：所述日志文件查询装置根据所述记录的存储位置信息的存储地址，获取所述记录的存储位置信息。

另一方面，提供一种对日志文件进行处理的方法，包括：

日志文件的生成装置获取原始日志文件，所述原始日志文件包括至少一个记录；

所述日志文件的生成装置获取所述记录的序号；

所述日志文件的生成装置生成新的日志文件，所述新的日志文件包括：所述记录和所述记录的序号；

所述日志文件的生成装置从所述至少一个记录中获取至少一个类型的索引值；

所述日志文件的生成装置获取所述索引值对应的记录的序号；

所述日志文件的生成装置生成索引文件，所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的记录的序号。

其中，所述新的日志文件还包括：所述记录在所述新的日志文件中的存储位置信息。

其中，所述日志文件的生成装置获取所述记录的序号的步骤之前，还包括：所述日志文件的生成装置将所述原始日志文件分成至少一个记录数据块，所述至少一个记录数据块包括第一预定数量的记录；

所述日志文件的生成装置获取所述记录的序号的步骤具体为：所述日志文件的生成装置获取所述记录数据块的序号；

所述日志文件的生成装置生成索引文件的步骤之前，还包括：所述日志文件的生成装置获取所述记录数据块的序号对应的索引值的范围；

所述新的日志文件具体包括：至少一个记录数据块、所述记录数据块的序号以及所述记录数据块在所述新的日志文件中的存储位置信息；

所述索引文件具体包括：所述记录数据块的序号和所述记录数据块的序号对应的索引值的范围。

其中，所述日志文件的生成装置将所述原始日志文件分成至少一个记录数据块的步骤具体为：所述日志文件的生成装置将所述原始日志文件分成至少一个记录组，所述记录组包括第一预定数量的记录，所述日志文件的生成装置获取所述记录的序号以及所述记录在所述新的日志文件中的存储位置信息；所述日志文件的生成装置组成记录数据块，所述记录数据块包括所述至少一个记录、所述记录的序号以及所述记录在所述新的日志文件中的存储位置信息；

所述日志文件的生成装置获取所述索引值对应的记录的序号的步骤具体为：所述日志文件的生成装置获取所述索引值对应的记录数据块的序号以及所述索引值对应的记录的序号；

所述索引文件具体包括：所述至少一个类型的索引值、所述至少一个类型的索引值对应的记录数据块的序号以及所述至少一个类型的索引值对应的记录的序号。

其中，所述日志文件的生成装置生成索引文件的步骤之前，还包括：

所述日志文件的生成装置获取第二预定数量的索引值；所述日志文件的生成装置生成索引值数据块，所述索引值数据块包括至少一个索引值、所述索引值对应的记录数据块的序号以及所述索引值对应的记录的序号；所述日志文件的生成装置获取所述索引值数据块在所述索引文件中的存储位置信息、所述索引值数据块对应的索引值的范围；

所述索引文件具体包括：至少一个索引值数据块、所述索引值数据块在所述索引文件中的存储位置信息以及所述索引值数据块对应的索引值的范围。

其中，所述记录在所述新的日志文件中的存储位置信息占用的字节长度固定，所述记录的存储位置信息的存储地址标示所述记录的序号。

另一方面，提供一种日志文件的查询装置，包括：

第一获取单元，用于获取至少一个类型的待查询索引值；

查找单元，用于根据索引文件，查找所述待查询索引值对应的至少一个记录的序号，所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号；

第二获取单元，用于根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录，所述日志文件包括：至少一个记录、所述记录的序号。

另一方面，提供一种日志文件的生成装置，包括：

第三获取单元，用于获取原始日志文件，所述原始日志文件包括至少一个记录；

第四获取单元，用于获取所述记录的序号；

日志生成单元，用于生成新的日志文件，所述新的日志文件包括：所述记录和所述记录的序号；

第五获取单元，用于从所述至少一个记录中获取至少一个类型的索引值；

第六获取单元，用于获取所述索引值对应的记录的序号；

索引生成单元，用于生成索引文件，所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的记录的序号。

本发明的实施例具有以下有益效果：

上述方案中，所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号；所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录。在查询的时候，不需要逐条解析每条记录，因此加快了查询速度。

附图说明

图1为所述的一种日志文件的查询方法的第一实施例的流程示意图；

图2为所述的一种日志文件的查询方法的第二实施例的流程示意图；

图3为所述的一种日志文件的查询方法的第三实施例的流程示意图；

图4为所述的一种日志文件的查询方法的第四实施例的流程示意图；

图5为所述的一种日志文件的查询方法的第五实施例的流程示意图；

图6为所述的对日志文件进行处理的方法的第一实施例的流程示意图；

图7为所述的对日志文件进行处理的方法的第三实施例的流程示意图；

图8为所述的对日志文件进行处理的方法的第四实施例的流程示意图；

图9为所述的对日志文件进行处理的方法的第五实施例的流程示意图；

图10为本发明所述的日志文件的查询装置的结构示意图；

图11为本发明所述的日志文件的生成装置的结构示意图；

图12为本发明所述的应用场景中对原始压缩的受理日志文件进行处理的流程示意图；

图13是为本发明所述的应用场景中数据查询的流程示意图。

具体实施方式

为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明的实施例针对现有技术中查询速度慢的的问题，提供一种日志文件的查询和处理的方法及装置。

如图1所示，为本发明所述的一种日志文件的查询方法的第一实施例，包括：

步骤11，日志文件查询装置获取至少一个类型的待查询索引值。

步骤12，所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号；所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号。

步骤13，所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录；所述日志文件包括：至少一个记录、所述记录的序号，所述记录包含至少一个类型的索引值。

上述方案中，所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号；所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录，不需要逐条解析每条记录，因此加快了查询速度。

如图2所示，为本发明所述的一种日志文件的查询方法的第二实施例，包括：

步骤21，日志文件查询装置获取至少一个类型的待查询索引值。

步骤22，所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号；所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号。可选的，所述记录包含至少两个类型的索引值；所述索引文件包含所述至少两个类型的索引文件；所述待查询索引值为所述至少两个类型的待查询索引值；所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号的步骤包括：所述日志文件查询装置根据第一类型的所述索引文件，查找第一类型的所述待查询索引值对应的至少一个记录的序号，作为第一集合；所述日志文件查询装置根据第二类型的索引文件，查找第二类型的所述待查询索引值对应的至少一个记录的序号，作为第二集合；所述日志文件查询装置获取所述第一集合和所述第二集合的交集，作为查找到的所述记录的序号。

步骤23，所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号对应的所述记录的存储位置信息；所述日志文件包括：至少一个记录、所述记录的序号以及所述记录在所述日志文件中的存储位置信息；所述记录包含至少一个类型的索引值。所述日志文件中还包括记录的存储位置信息，在后续流程中，能够根据记录的存储位置信息迅速获取记录，提高了查询速度。可选的，所述记录在所述日志文件中的存储位置信息占用的字节长度固定，所述记录的存储位置信息的存储地址标示所述记录的序号。并且，记录在所述日志文件中的存储位置信息占用的存储空间可以为顺序连续的。步骤23包括：所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号对应的所述记录的存储位置信息的存储地址：所述日志文件查询装置根据所述记录的存储位置信息的存储地址，获取所述记录的存储位置信息。因此不需要专门的字段来存放记录的序号，因此节省了存储空间。

步骤24，所述日志文件查询装置根据获取的所述记录的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录。

如图3所示，为本发明所述的一种日志文件的查询方法的第三实施例，包括：

步骤31，日志文件查询装置获取至少一个类型的待查询索引值。

步骤32，所述日志文件查询装置根据索引文件，查找所述待查询索引值对应的至少一个记录数据块的序号；所述索引文件具体包括：所述记录数据块的序号和所述记录数据块的序号对应的至少一个类型的索引值的范围。

步骤33，所述日志文件查询装置根据日志文件，获取查找到的所述记录数据块的序号对应的存储位置信息；所述日志文件具体包括：至少一个记录数据块、所述记录数据块的序号以及所述记录数据块在所述日志文件中的存储位置信息，所述记录数据块包括至少一个记录，使用记录数据块的存储结构，在查找记录的时候，不需要在整个日志文件中查找，只需要在相应序号的记录数据块中查找，节省了查询时间。

步骤34，所述日志文件查询装置根据获取的所述记录数据块的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录数据块。可选的，所述记录数据块可以为压缩记录数据块；当所述记录数据块为压缩记录数据块时，步骤34具体为：所述日志文件查询装置根据获取的所述记录数据块的存储位置信息，从所述日志文件中获取所述待查询索引值对应的压缩记录数据块；所述日志文件查询装置解压所述压缩记录数据块，使用压缩记录数据块的存储结构减少了存储空间。并且，在查找记录时，只需要将相应序号的压缩记录数据块解压出来，不需要解压整个日志文件，节省了查询时间。

步骤35，所述日志文件查询装置从获取的所述记录数据块中，获取包含所述待查询索引值对应的记录。可选的，当所述记录数据块为压缩记录数据块时，步骤35具体为：所述日志文件查询装置从解压的所述记录数据块中，获取包含所述待查询索引值对应的记录。

如图4所示，为本发明所述的一种日志文件的查询方法的第四实施例，包括：

步骤41，日志文件查询装置获取至少一个类型的待查询索引值。

步骤42，所述日志文件查询装置根据索引文件，查找所述待查询索引值对应的至少一个记录数据块的序号以及所述待查询索引值对应的至少一个记录的序号；所述索引文件具体包括：所述记录数据块的序号和所述记录数据块的序号对应的至少一个类型的索引值的范围；所述至少一个类型的索引值、所述索引值对应的记录数据块的序号以及所述索引值对应的记录的序号。

步骤43，所述日志文件查询装置根据日志文件，获取查找到的所述记录数据块的序号对应的存储位置信息；所述日志文件具体包括：至少一个记录数据块、所述记录数据块的序号以及所述记录数据块在所述日志文件中的存储位置信息，所述记录数据块包括至少一个记录、所述记录的序号以及所述记录的存储位置信息。该实施例不仅通过数据块的序号进行查找，而且通过记录的序号进行查找，因此相对于上述实施三的查询速度更快。

步骤44，所述日志文件查询装置根据获取的所述记录数据块的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录数据块。

步骤45，所述日志文件查询装置根据获取的所述记录数据块，获取所述待查询索引值对应的记录的序号对应的存储位置信息。

步骤46，所述日志文件查询装置根据获取的所述记录的序号的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录。

如图5所示，为本发明所述的一种日志文件的查询方法的第五实施例，包括：

步骤51，日志文件查询装置获取至少一个类型的待查询索引值。

步骤52，所述日志文件查询装置根据索引文件，查找包括所述待查询索引值对应的索引值数据块的存储位置信息；所述索引文件具体包括：至少一个索引值数据块、所述索引值数据块在所述索引文件中的存储位置信息以及所述索引值数据块对应的索引值的范围；所述索引值数据块包括至少一个索引值、所述索引值对应的记录的序号以及所述索引值对应的记录数据块的序号。在索引文件中查找时，可以先根据索引值数据块对应的索引值范围，查找到带查询索引值对应的索引值数据块，然后在索引值数据块中查找索引值，不需要在整个索引文件中查找索引值，缩小了查询范围，因此加快了查询速度。

步骤53，所述日志文件查询装置根据获取的所述索引值数据块的存储位置信息，获取所述待查询索引值对应的索引值数据块。

步骤54，所述日志文件查询装置在获取到的所述索引值数据块中，查找所述待查询索引值对应的记录号以及所述待查询索引值对应的记录数据块的序号。可选的，所述索引值数据块为压缩索引值数据块；当所述索引值数据块为压缩索引值数据块时，步骤54包括：所述日志文件查询装置解压获取到的所述索引值数据块；所述日志文件查询装置在解压的所述索引值数据块中，查找所述待查询索引值对应的记录号以及所述述待查询索引值对应的数据块的序号。

步骤55，所述日志文件查询装置根据日志文件，获取查找到的所述记录数据块的序号对应的存储位置信息；所述日志文件具体包括：至少一个记录数据块、所述记录数据块的序号以及所述记录数据块在所述日志文件中的存储位置信息，所述记录数据块包括至少一个记录、所述记录的序号以及所述记录的存储位置信息。其中，所述记录数据块在所述日志文件中的存储位置信息占用的字节长度固定，所述记录数据块的存储位置信息的存储地址标示所述记录的序号。并且，记录数据块在所述日志文件中的存储位置信息占用的存储空间可以为顺序连续的。步骤55具体包括：所述日志文件查询装置根据所述日志文件，获取查找到的所述记录数据块的序号对应的所述记录数据块的存储位置信息的存储地址：所述日志文件查询装置根据所述记录存储块的存储位置信息的存储地址，获取所述记录存储块的存储位置信息。

步骤56，所述日志文件查询装置根据获取的所述记录数据块的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录数据块。

步骤57，所述日志文件查询装置根据获取的所述记录数据块，获取所述待查询索引值对应的记录的序号对应的存储位置信息。

步骤58，所述日志文件查询装置根据获取的所述记录的序号的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录。

上述方案中，同时通过索引值查询到记录数据块的序号和记录在记录数据块中的序号，能够加快查询速度。

如图6所示，为本发明所述的一种对日志文件进行处理的方法的第一实施例，该第一实施例生成的新的日志文件和索引文件与日志文件的查询方法的第一实施例相对应，也就是说，该实施例生成的新的日志文件和索引文件对应于查询过程中使用的索引文件和日志文件。所述对日志文件进行处理的方法包括：

步骤61，日志文件的生成装置获取原始日志文件，所述原始日志文件包括至少一个记录。

步骤62，所述日志文件的生成装置获取所述记录的序号。

步骤63，所述日志文件的生成装置生成新的日志文件，所述新的日志文件包括：所述记录和所述记录的序号；可选的，所述记录在所述新的日志文件中的存储位置信息占用的字节长度固定，所述记录的存储位置信息的存储地址标示所述记录的序号。因此，不需要专门的字段存储记录的序号，节省了存储空间。

步骤64，所述日志文件的生成装置从所述至少一个记录中获取至少一个类型的索引值。

步骤65，所述日志文件的生成装置获取所述索引值对应的记录的序号。

步骤66，所述日志文件的生成装置生成索引文件，所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的记录的序号。

上述方案中，后续的查询过程中，根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号；根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录。不需要逐条解析每条记录，加快了查询速度。

在本发明所述的对日志文件进行处理的方法的第二实施例中，所述新的日志文件还包括：所述记录在所述新的日志文件中的存储位置信息。该方法生成的新的日志文件与日志文件的查询方法的第二实施例相对应。所述日志文件中还包括记录的存储位置信息，在后续查询流程中，能够根据记录的存储位置信息迅速获取记录，提高了查询速度。

如图7所示，为本发明所述的一种对日志文件进行处理的方法的第三实施例，该第三实施例生成的新的日志文件和索引文件与日志文件的查询方法的第三实施例相对应。

步骤71，日志文件的生成装置获取原始日志文件，所述原始日志文件包括至少一个记录。

步骤72，所述日志文件的生成装置将所述原始日志文件分成至少一个记录数据块，所述至少一个记录数据块包括第一预定数量的记录。

步骤73，所述日志文件的生成装置获取所述记录数据块的序号。

步骤74，所述日志文件的生成装置生成新的日志文件，生成的所述新的日志文件具体包括：至少一个压缩记录数据块、所述压缩记录数据块的序号以及所述压缩记录数据块在所述新的日志文件中的存储位置信息。

步骤75，所述日志文件的生成装置从所述至少一个记录中获取至少一个类型的索引值。

步骤76，所述日志文件的生成装置获取所述索引值对应的记录的序号。

步骤77，所述日志文件的生成装置获取所述记录数据块的序号对应的索引值的范围。

步骤78，所述日志文件的生成装置生成索引文件，所述索引文件具体包括：所述记录数据块的序号和所述记录数据块的序号对应的索引值的范围。

使用记录数据块的存储结构，在查找记录的时候，不需要在整个日志文件中查找，只需要在相应序号的记录数据块中查找，节省了查询时间。

上述实施例中，可选的，所述记录数据块为压缩记录数据块，所述日志文件的生成装置生成新的日志文件的步骤之前，还包括：将所述记录数据块进行压缩，生成压缩记录数据块；生成的所述新的日志文件具体包括：至少一个压缩记录数据块、所述压缩记录数据块的序号以及所述压缩记录数据块在所述新的日志文件中的存储位置信息。使用压缩记录数据块的存储结构减少了存储空间。并且，在查找记录时，只需要将相应序号的压缩记录数据块解压出来，不需要解压整个日志文件，节省了查询时间。

可选的，上述实施例中，所述索引值数据块包括至少两个索引值，所述日志文件的生成装置生成索引文件的步骤之前，还包括：所述日志文件的生成装置按照索引值的大小，对所述索引值数据块中的索引值进行排序。所述压缩索引值数据块包括排序后的至少两个索引值、所述两个索引值对应的记录数据块的序号以及所述两个索引值对应的记录的序号。

如图8所示，为本发明所述的一种对日志文件进行处理的方法的第四实施例，该第四实施例生成的新的日志文件和索引文件与日志文件的查询方法的第四实施例相对应。

步骤81，日志文件的生成装置获取原始日志文件，所述原始日志文件包括至少一个记录。

步骤82，所述日志文件的生成装置将所述原始日志文件分成至少一个记录数据块，所述至少一个记录数据块包括第一预定数量的记录。可选的，步骤82具体为：所述日志文件的生成装置将所述原始日志文件分成至少一个记录组，所述记录组包括第一预定数量的记录；所述日志文件的生成装置获取所述记录的序号以及所述记录在所述新的日志文件中的存储位置信息；所述日志文件的生成装置组成记录数据块，所述记录数据块包括所述至少一个记录、所述记录的序号以及所述记录在所述新的日志文件中的存储位置信息。

步骤83，所述日志文件的生成装置获取所述记录数据块的序号。

步骤84，所述日志文件的生成装置生成新的日志文件，所述新的日志文件具体包括：至少一个记录数据块、所述记录数据块的序号以及所述记录数据块在所述新的日志文件中的存储位置信息。

步骤85，所述日志文件的生成装置从所述至少一个记录中获取至少一个类型的索引值。

步骤86，所述日志文件的生成装置获取所述索引值对应的记录数据块的序号以及所述索引值对应的记录的序号。

步骤87，所述日志文件的生成装置获取所述记录数据块的序号对应的索引值的范围。

步骤88，所述日志文件的生成装置生成索引文件，所述索引文件具体包括：所述至少一个类型的索引值、所述至少一个类型的索引值对应的记录数据块的序号以及所述至少一个类型的索引值对应的记录的序号。

该实施例不仅通过数据块的序号进行查找，而且通过记录的序号进行查找，提高了查询速度。

如图9所示，为本发明所述的一种对日志文件进行处理的方法的第五实施例，该第五实施例生成的新的日志文件和索引文件与日志文件的查询方法的第五实施例相对应。

步骤91，日志文件的生成装置获取原始日志文件，所述原始日志文件包括至少一个记录。

步骤92，所述日志文件的生成装置将所述原始日志文件分成至少一个记录数据块，所述至少一个记录数据块包括第一预定数量的记录。步骤92具体为：所述日志文件的生成装置将所述原始日志文件分成至少一个记录组，所述记录组包括第一预定数量的记录；所述日志文件的生成装置获取所述记录的序号以及所述记录在所述新的日志文件中的存储位置信息；所述日志文件的生成装置组成记录数据块，所述记录数据块包括所述至少一个记录、所述记录的序号以及所述记录在所述新的日志文件中的存储位置信息。

步骤93，所述日志文件的生成装置获取所述记录数据块的序号。

步骤94，所述日志文件的生成装置生成新的日志文件，所述新的日志文件具体包括：至少一个记录数据块、所述记录数据块的序号以及所述记录数据块在所述新的日志文件中的存储位置信息。

步骤95，所述日志文件的生成装置从所述至少一个记录中获取至少一个类型的索引值。

步骤96，所述日志文件的生成装置获取所述索引值对应的记录数据块的序号以及所述索引值对应的记录的序号。

步骤97，所述日志文件的生成装置获取所述记录数据块的序号对应的索引值的范围。

步骤98，所述日志文件的生成装置获取第二预定数量的索引值。

步骤99，所述日志文件的生成装置生成索引值数据块，所述索引值数据块包括至少一个索引值、所述索引值对应的记录数据块的序号以及所述索引值对应的记录的序号。

步骤910，所述日志文件的生成装置获取所述索引值数据块在所述索引文件中的存储位置信息、所述索引值数据块对应的索引值的范围。

步骤911，所述日志文件的生成装置生成索引文件，所述索引文件具体包括：至少一个索引值数据块、所述索引值数据块在所述索引文件中的存储位置信息以及所述索引值数据块对应的索引值的范围。

在索引文件中查找时，可以先根据索引值数据块对应的索引值范围，查找到带查询索引值对应的索引值数据块，然后在索引值数据块中查找索引值，不需要在整个索引文件中查找索引值，缩小了查询范围，因此加快了查询速度。

上述实施例中，可选的，所述索引值数据块为压缩索引值数据块；所述日志文件的生成装置生成索引文件的步骤之前，还包括：将所述索引值数据块进行压缩，生成压缩索引值数据块。生成的所述索引文件具体包括：至少一个压缩索引值数据块、所述压缩索引值数据块的在所述索引文件中的存储位置信息以及所述压缩索引值数据块对应的索引值的范围。使用压缩的索引值的数据结构，节省了存储空间。

上述实施例中，可选的，所述新的日志文件包括至少两个索引值数据块；

所述日志文件的生成装置生成索引文件的步骤之前，还包括：所述日志文件的生成装置按照所述索引值数据块对应的索引值的范围的大小，对所述索引值数据块进行排序。生成的所述索引文件具体包括：至少两个排序后的所述索引值数据块、两个排序后的所述索引值数据块在所述索引文件中的存储位置信息以及两个排序后的所述索引值数据块对应的索引值的范围。

可以按照以上对日志文件进行处理的方法，对所述记录中的每个类型的索引值生成一个索引文件。

如图10所示，为本发明所述的一种日志文件的查询装置10，包括：

第一获取单元101，用于获取至少一个类型的待查询索引值；

查找单元102，用于根据索引文件，查找所述待查询索引值对应的至少一个记录的序号，所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号；

第二获取单元103，用于根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录，所述日志文件包括：至少一个记录、所述记录的序号。

上述方案中，所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号；所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录，不需要逐条解析每条记录，因此加快了查询速度。并且，本领域技术人员可以理解，上述日志文件的查询方法的第一实施例至第五实施例与该日志文件的查询装置相对应，日志文件的查询装置能够实现查询方法的功能。

如图11所示，为本发明所述的日志文件的生成装置，包括：

第三获取单元111，用于获取原始日志文件，所述原始日志文件包括至少一个记录；

第四获取单元112，用于获取所述记录的序号；

日志生成单元113，用于生成新的日志文件，所述新的日志文件包括：所述记录和所述记录的序号；

第五获取单元114，用于从所述至少一个记录中获取至少一个类型的索引值；

第六获取单元115，用于获取所述索引值对应的记录的序号；

索引生成单元116，用于生成索引文件，所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的记录的序号。

上述方案中，后续的查询过程中，根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号；根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录。不需要逐条解析每条记录，加快了查询速度。并且，本领域技术人员可以理解，上述对日志文件进行处理的第一实施例至第五实施例与该日志文件的生成装置相对应，日志文件的生成装置能够实现查询方法的功能。

可选的，日志文件的生成装置和日志文件的查询装置可以设置在一个装置上。

以下以EMS为例，说明本发明所述的方案的应用场景。该应用场景中，日志文件的查询装置和日志文件的生成装置都为EMS。包含以下步骤：

步骤一、EMS定期从OMM侧采集原始的压缩的历史受理日志文件，对压缩的历史受理日志文件解压后，按照新的压缩规则进行压缩，生成新的压缩文件。

新的压缩规则为：对原始的压缩的历史受理日志文件中的每100条记录进行压缩，生成一个压缩数据块。然后将多个压缩数据块组成新的压缩文件。

按照新规则压缩后的数据文件存储结构为：

{*头部长度4byte(头部长度代表参数，4byte代表参数占用的字节数，以下类似)

*版本号1byte

*时间戳8byte

*记录总数4byte

*数据压缩块总数4byte

*每个数据压缩块中的记录数量1byte

*第一压缩数据块的起始位置4byte，第一压缩数据块的数据大小4byte}

*第二压缩数据块的起始位置4byte，第二压缩数据块的数据大小4byte

*第一压缩数据块的内容

*第二压缩数据块的内容

...}

其中，每个压缩数据块的存储结构为：

{*本压缩数据块中记录的数量

*第一记录的开始位置4byte，第一记录的字节大小2byte

*第二记录的开始位置4byte，第二记录的字节大小2byte

*第一记录的字节块

*第二记录的字节块

...}

步骤二、在对原始的压缩文件解压并重新压缩的同时，对新的压缩文件分别生成索引文件。该索引文件中，分别以IMSI(国际移动用户标识号，International Mobile Subscriber Identification Number)、MSISDN(移动台国际综合业务数字网号码，MSISDN，Mobile Station international Integrated ServicesDigital Network number)以及时间作为索引值生成三个索引文件。因此，在后续查询过程中，EMS层受理日志能够按照用户信息和时间来查询。

为每个记录建立索引，索引包括：每条记录中包含的索引值，记录所在数据压缩块的序号号、记录的序号。当记录数达到10000条后，根据索引值的大小进行排序，写入临时文件。当为全部记录建立索引后，将所有临时文件进行归并堆排序，形成一个大的索引文件。

其中，索引文件的存储结构为：

{*头部长度4byte

*版本号1byte

*时间戳8byte

*索引压缩块的数量4byte

*索引文件的最小索引值

*索引文件的最大索引值

*每个索引压缩块中的记录数量2byte

*第一索引压缩块的起始位置4byte

*第一索引压缩块首索引值1byte

*第一索引压缩块的字节大小2byte

*第一索引压缩块的最小索引值

*第一索引压缩块的最大索引值

*第二索引压缩块的起始位置4byte

*第二索引压缩块首索引值1byte

*第二索引压缩块的字节大小2byte

*第二索引压缩块的最小索引值

*第二索引压缩块的最大索引值

*第一索引压缩块的压缩数据

*第二索引压缩块的压缩数据

...}

其中，每个索引压缩块的数据结构为：

{*索引块首个索引值---本值不压缩

*本索引块的索引值的数量2byte

*第一索引值对应的记录数据块序号和记录号4byte

*第一索引值字节的开始位置2byte

*第一索引值的字节大小2byte

第二索引值对应的记录数据块的序号和记录号4byte

*第二索引值字节的开始位置2byte

*第二索引值的字节大小2byte

*第一索引值的字节块

*第二索引值的字节块

...}

对原始压缩文件处理后，生成一个压缩后的日志文件和3个索引文件，其中三个索引文件分别是以索引值为IMSI的索引文件，索引值为MSISDN的索引文件和索引值为时间的索引文件。索引文件与数据文件存放在不同目录下，便于查询。

索引文件与数据文件一一对应，在数据量特别大的情况下，可以存在多个索引文件和数据文件。索引是排序的，为了提高效率，一个索引文件前面部分记录了本索引文件中包含的最小索引值和最大索引值，如果需要找到索引值不在最小值和最大索引值的范围之内，则不需要在本索引文件中进行查找。

步骤三、数据查询

对IMSI/MSISDN和时间的组合查询条件，EMS先从IMSI的索引文件中找到匹配记录的数据集合，再从MSISDN索引文件中找到匹配记录的数据集合，再从时间索引文件中找到匹配记录的数据集合。数据集合中记录的是数据文件中记录的位置，将两个数据集合做交集，最后得出的是符合查询条件的记录的位置。

EMS根据符合查询条件的记录的位置从数据文件中获取压缩的记录数据块，对记录数据块解压后获取受理日志记录，返回给用户。使用该方法的查询速度比现有技术的查询速度可以提高10倍以上。

其中，如图12所示，上述步骤一和步骤二中，对原始压缩的受理日志文件的处理流程包括：

步骤121，EMS通过FTP方式从OMM获取原始的历史受理日志压缩文件，OMM生成历史受理日志文件时间不确定，一般每周生成一个，EMS可以选择在晚上业务量不大的时候获取文件并处理。

步骤122，EMS读取压缩受理日志内容，对原始压缩日志进行解压，数据记录一条一条读取。

步骤123，记录每条记录的索引值信息。

步骤124，判断数据记录条数是否达100条，如果是，转步骤125，否则转步骤126。

步骤125，每100条数据记录压缩成一个数据记录块。

步骤126，判断数据记录条数是否读完，如果是，转步骤1210；如果否，转步骤122。

执行步骤123的同时，执行步骤127，判断索引记录条数是否达10000条，如果是，转步骤128，否则，转步骤126。

步骤128，每10000条索引信息按索引值排序。

步骤129，每10000条索引信息形成临时文件，然后转向步骤126。

步骤1210，在压缩数据块的基础上，创建新的压缩数据文件。

步骤1211，临时索引文件归并排序，创建新的压缩的索引文件。

其中，如图13所示，上述步骤三的对数据查询的处理流程包括：

步骤131，根据查询条件中的用户类型和用户号码查询IMSI索引文件，获得符合条件的索引信息集合。

步骤132，根据查询条件中的用户类型和用户号码查询MSISDN索引文件，获得符合条件的索引信息集合。

步骤133，根据查询条件中的时间段查询时间索引文件，获得符合条件的索引信息集合。

步骤134，将步骤131、132、133获得结果集合进行交集处理，获得最终满足条件的索引信息集合

步骤135，索引信息放置的是记录的压缩块号和记录块号，根据这些信息从数据文件中获得数据。

步骤136，解压压缩的记录数控块，获得真实日志信息，返回给用户

以一个索引值进行查询为例，MSISDN号码为1381380000，通过此值与索引值压缩块中的索引值比较，可以从索引文件中找到若干索引值压缩块的序号号和索引值压缩块在索引文件中的的存储位置，每个索引压缩块中有记录号、索引值的开始位置以及索引值的大小。通过索引值开始位置和索引值大小，可以获取到索引值本身的信息，把它与13813800000比较，如果相同，记录下对应的记录号，这个记录号在数据文件中对应一条记录。

然后，通过以上步骤查找的记录号到数据文件中查找具体的记录信息。数据文件最前面的部分是一些常量信息，之后是一个序列表格，表格中一条记录代表一个数据压缩块。假设获取到记录号是32349，每个压缩数据块中可以存放的记录数是固定的，这里设为100，32349除以100，整数为323，余数49。323代表压缩记录块的序号，49代表序号为323的压缩记录块中的记录的序号。通过记录压缩块序号找到记录压缩块的起始位置和大小，解压出记录压缩块，再找到第49条记录的起始位置和大小，然后读取该条记录。

通常，一条受理日志记录最大长度为3K，80％左右的受理日志记录长度在400个字节左右。现有技术中的所有日志压缩比在11％左右，单条日志的压缩比在65％左右，本发明采取每100条记录进行压缩，压缩比在19％左右。新规则压缩后的文件空间比原先的压缩文件大一倍左右，得到的查询效率高出10多倍。。本发明在时间-空间之间达成一种平衡，以牺牲一部分的容量空间，获取最大程度上时间和空间的效率。按照本发明的方法，将原始的海量压缩数据文件重新处理，建立索引和使用新的压缩机制，因此查询受理日志信息的性能大大提高，提高了系统的性能，改进了易用性。

本发明不限于通信领域的日志管理，还可用于各个领域的日志管理。

该实施例中，存储位置可以表示为：起始位置和结束位置，或者起始位置以及字节大小。

第一预定数量可以为固定，也就是说，每个记录数据块包括相同数量的记录数据块，第一预定数量可以不固定，也就是说，每个记录数据块包括不同数量的记录。第二预定数量可以为固定，也就是说，每个索引值数据块包括相同数量的索引值数据块，第二预定数量可以不固定，也就是说，每个索引值数据块包括不同数量的索引值。

所述记录的序号可以为所述记录相对整个日志中的所有记录的总序号，也可以为记录相对整个记录数据块中的所有记录的相对序号。

所述记录的存储位置信息可以为：记录在日志中的存储位置信息，也可以为记录在记录数据块中的相对存储位置信息。

所述方法实施例是与所述装置实施例相对应的，在方法实施例中未详细描述的部分参照装置实施例中相关部分的描述即可，在装置实施例中未详细描述的部分参照方法实施例中相关部分的描述即可。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括如上述方法实施例的步骤，所述的存储介质，如：磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

在本发明各方法实施例中，所述各步骤的序号并不能用于限定各步骤的先后顺序，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，对各步骤的先后变化也在本发明的保护范围之内。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种日志文件的查询方法，其特征在于，包括：

日志文件查询装置获取至少一个类型的待查询索引值；

所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号，所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号；

所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录，所述日志文件包括：至少一个记录、所述记录的序号。

2.根据权利要求1所述的日志文件的查询方法，其特征在于，

所述日志文件还包括：所述记录在所述日志文件中的存储位置信息；

所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录的步骤包括：所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号对应的所述记录的存储位置信息；所述日志文件查询装置根据获取的所述记录的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录。

3.根据权利要求2所述的日志文件的查询方法，其特征在于，

所述日志文件具体包括：至少一个记录数据块、所述记录数据块的序号以及所述记录数据块在所述日志文件中的存储位置信息，所述记录数据块包括至少一个记录；

所述索引文件具体包括：所述记录数据块的序号和所述记录数据块的序号对应的至少一个类型的索引值的范围；

所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号的步骤具体为：所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录数据块的序号；

所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号对应的所述记录的存储位置信息的步骤具体为：所述日志文件查询装置根据所述日志文件，获取查找到的所述记录数据块的序号对应的存储位置信息；

所述日志文件查询装置根据获取的所述记录的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录的步骤具体为：所述日志文件查询装置根据获取的所述记录数据块的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录数据块；所述日志文件查询装置从获取的所述记录数据块中，获取包含所述待查询索引值对应的记录。

4.根据权利要求3所述的日志文件的查询方法，其特征在于，

所述记录数据块还包括：所述记录的序号以及所述记录的存储位置信息；

所述索引文件还包括：所述至少一个类型的索引值、所述索引值对应的记录数据块的序号以及所述索引值对应的记录的序号；

所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录数据块的序号的步骤具体为：所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录数据块的序号以及所述待查询索引值对应的至少一个记录的序号；

所述日志文件查询装置从获取的所述记录数据块中，获取包含所述待查询索引值对应的记录的步骤具体为：所述日志文件查询装置根据获取的所述记录数据块，获取所述待查询索引值对应的记录的序号对应的存储位置信息；所述日志文件查询装置根据获取的所述记录的序号的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录。

5.根据权利要求4所述的日志文件的查询方法，其特征在于，

所述索引文件具体包括：至少一个索引值数据块、所述索引值数据块在所述索引文件中的存储位置信息以及所述索引值数据块对应的索引值的范围；所述索引值数据块包括至少一个索引值、所述索引值对应的记录的序号以及所述索引值对应的记录数据块的序号；

所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录数据块的序号以及所述待查询索引值对应的至少一个记录的序号的步骤包括：

所述日志文件查询装置根据所述索引文件，查找包括所述待查询索引值对应的索引值数据块的存储位置信息；

所述日志文件查询装置根据获取的所述索引值数据块的存储位置信息，获取所述待查询索引值对应的索引值数据块；

所述日志文件查询装置在获取到的所述索引值数据块中，查找所述待查询索引值对应的记录号以及所述待查询索引值对应的记录数据块的序号。

6.根据权利要求1所述的日志文件的查询方法，其特征在于，

所述记录包含至少两个类型的索引值；

所述索引文件包含所述至少两个类型的索引文件；

所述待查询索引值为所述至少两个类型的待查询索引值；

所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号的步骤包括：

所述日志文件查询装置根据第一类型的所述索引文件，查找第一类型的所述待查询索引值对应的至少一个记录的序号，作为第一集合；

所述日志文件查询装置根据第二类型的索引文件，查找第二类型的所述待查询索引值对应的至少一个记录的序号，作为第二集合；

所述日志文件查询装置获取所述第一集合和所述第二集合的交集，作为查找到的所述记录的序号。

7.根据权利要求2所述的日志文件的查询方法，其特征在于，

所述记录在所述日志文件中的存储位置信息占用的字节长度固定，所述记录的存储位置信息的存储地址标示所述记录的序号；

所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号对应的所述记录的存储位置信息的步骤包括：

所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号对应的所述记录的存储位置信息的存储地址：所述日志文件查询装置根据所述记录的存储位置信息的存储地址，获取所述记录的存储位置信息。

8.一种对日志文件进行处理的方法，其特征在于，包括：

日志文件的生成装置获取原始日志文件，所述原始日志文件包括至少一个记录；

所述日志文件的生成装置获取所述记录的序号；

所述日志文件的生成装置生成新的日志文件，所述新的日志文件包括：所述记录和所述记录的序号；

所述日志文件的生成装置从所述至少一个记录中获取至少一个类型的索引值；

所述日志文件的生成装置获取所述索引值对应的记录的序号；

所述日志文件的生成装置生成索引文件，所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的记录的序号。

9.根据权利要求8所述的对日志文件进行处理的方法，其特征在于，

所述新的日志文件还包括：所述记录在所述新的日志文件中的存储位置信息。

10.根据权利要求8所述的对日志文件进行处理的方法，其特征在于，

所述日志文件的生成装置获取所述记录的序号的步骤之前，还包括：所述日志文件的生成装置将所述原始日志文件分成至少一个记录数据块，所述至少一个记录数据块包括第一预定数量的记录；

所述日志文件的生成装置获取所述记录的序号的步骤具体为：所述日志文件的生成装置获取所述记录数据块的序号；

所述日志文件的生成装置生成索引文件的步骤之前，还包括：所述日志文件的生成装置获取所述记录数据块的序号对应的索引值的范围；

所述新的日志文件具体包括：至少一个记录数据块、所述记录数据块的序号以及所述记录数据块在所述新的日志文件中的存储位置信息；

所述索引文件具体包括：所述记录数据块的序号和所述记录数据块的序号对应的索引值的范围。

11.根据权利要求10所述的对日志文件进行处理的方法，其特征在于，

所述日志文件的生成装置将所述原始日志文件分成至少一个记录数据块的步骤具体为：所述日志文件的生成装置将所述原始日志文件分成至少一个记录组，所述记录组包括第一预定数量的记录，所述日志文件的生成装置获取所述记录的序号以及所述记录在所述新的日志文件中的存储位置信息；所述日志文件的生成装置组成记录数据块，所述记录数据块包括所述至少一个记录、所述记录的序号以及所述记录在所述新的日志文件中的存储位置信息；

所述日志文件的生成装置获取所述索引值对应的记录的序号的步骤具体为：所述日志文件的生成装置获取所述索引值对应的记录数据块的序号以及所述索引值对应的记录的序号；

所述索引文件具体包括：所述至少一个类型的索引值、所述至少一个类型的索引值对应的记录数据块的序号以及所述至少一个类型的索引值对应的记录的序号。

12.根据权利要求11所述的对日志文件进行处理的方法，其特征在于，所述日志文件的生成装置生成索引文件的步骤之前，还包括：

所述日志文件的生成装置获取第二预定数量的索引值；所述日志文件的生成装置生成索引值数据块，所述索引值数据块包括至少一个索引值、所述索引值对应的记录数据块的序号以及所述索引值对应的记录的序号；所述日志文件的生成装置获取所述索引值数据块在所述索引文件中的存储位置信息、所述索引值数据块对应的索引值的范围；

所述索引文件具体包括：至少一个索引值数据块、所述索引值数据块在所述索引文件中的存储位置信息以及所述索引值数据块对应的索引值的范围。

13.根据权利要求11所述的对日志文件进行处理的方法，其特征在于，

所述记录在所述新的日志文件中的存储位置信息占用的字节长度固定，所述记录的存储位置信息的存储地址标示所述记录的序号。

14.一种日志文件的查询装置，其特征在于，包括：

第一获取单元，用于获取至少一个类型的待查询索引值；

查找单元，用于根据索引文件，查找所述待查询索引值对应的至少一个记录的序号，所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号；

第二获取单元，用于根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录，所述日志文件包括：至少一个记录、所述记录的序号。

15.一种日志文件的生成装置，其特征在于，包括：

第三获取单元，用于获取原始日志文件，所述原始日志文件包括至少一个记录；

第四获取单元，用于获取所述记录的序号；

日志生成单元，用于生成新的日志文件，所述新的日志文件包括：所述记录和所述记录的序号；

第五获取单元，用于从所述至少一个记录中获取至少一个类型的索引值；

第六获取单元，用于获取所述索引值对应的记录的序号；

索引生成单元，用于生成索引文件，所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的记录的序号。

Images