CN106055621A - 一种日志检索方法及装置 - Google Patents

Abstract

本发明提供了一种日志检索方法及装置，该方法包括：预先确定至少一个日志文件，并获取每一个日志文件对应的关键标志信息；利用获取到的关键标志信息建立该至少一个日志文件的索引文件；在接收到查询请求时，利用索引文件以检索出该查询请求对应的查询结果。由于可以预先建立全部日志文件对应的索引文件，并在接收到查询请求时，可以利用该索引文件来检索出相应查询结果，故无需遍历全部日志文件进行检索。因此，本方案能够提高日志检索的效率。

Description

一种日志检索方法及装置

技术领域

本发明涉及计算机技术领域，特别涉及一种日志检索方法及装置。

背景技术

随着服务器系统的运行，生成的日志文件持续增多，相应的日志信息的总量也越来越大。

目前，当用户请求查询时，系统可以遍历全部日志文件，以检索出该请求的查询结果。

由于需要遍历全部日志文件，这一检索操作通常繁琐且耗时长，尤其当日志文件的数量多、日志信息量大时，这一实现方式会降低日志检索的效率。

发明内容

本发明提供了一种日志检索方法及装置，能够提高日志检索的效率。

为了达到上述目的，本发明是通过如下技术方案实现的：

一方面，本发明提供了一种日志检索方法，预先确定至少一个日志文件，还包括：

获取每一个所述日志文件对应的关键标志信息；

利用所述关键标志信息，建立所述至少一个日志文件的索引文件；

在接收到查询请求时，根据所述索引文件，检索出所述查询请求对应的查询结果。

进一步地，所述关键标志信息包括：主体路径、客体路径、用户名称、日志描述、日志类型和创建时间中的任意一种或多种。

进一步地，所述关键标志信息包括：日志描述；

所述利用所述关键标志信息，建立所述至少一个日志文件的索引文件，包括：

针对每一个所述日志描述，分别利用预先确定的分词器切分所述日志描述，生成至少一个关键词；

查找每一个所述关键词在对应的日志文件中的地址信息；

通过对生成的所述关键词及该关键词的地址信息进行汇总去重，获得所述至少一个日志文件的索引文件。

进一步地，所述在接收到查询请求时，根据所述索引文件，检索出所述查询请求对应的查询结果，包括：

在接收到查询请求时，利用所述分词器切分所述查询请求，生成至少一个目标关键词；

对于每一个所述目标关键词，在检索到所述索引文件中存在该目标关键词时，获取该目标关键词的目标地址信息；

生成包含所述目标地址信息的查询结果。

进一步地，所述获取每一个所述日志文件对应的关键标志信息，包括：

加载classpath的log.properties文件，通过解析所述log.properties文件，获取其中的每一个所述日志文件的关键标志信息。

进一步地，在所述建立所述至少一个日志文件的索引文件之后，还包括：

以预先确定的更新时间间隔为周期，周期性地确定所述至少一个日志文件，并获取每一个所述日志文件对应的当前关键标志信息；

利用所述当前关键标志信息，建立所述至少一个日志文件的当前索引文件，并将所述索引文件更新为所述当前索引文件。

另一方面，本发明提供了一种日志检索装置，包括：

确定单元，用于确定至少一个日志文件；

获取单元，用于获取每一个所述日志文件对应的关键标志信息；

建立单元，用于利用所述关键标志信息，建立所述至少一个日志文件的索引文件；

检索单元，用于在接收到查询请求时，根据所述索引文件，检索出所述查询请求对应的查询结果。

进一步地，所述获取单元，具体用于获取每一个所述日志文件对应的主体路径、客体路径、用户名称、日志描述、日志类型和创建时间中的任意一种或多种关键标志信息。

进一步地，所述关键标志信息包括：日志描述；

所述建立单元，具体用于针对每一个所述日志描述，分别利用预先确定的分词器切分所述日志描述，生成至少一个关键词；查找每一个所述关键词在对应的日志文件中的地址信息；通过对生成的所述关键词及该关键词的地址信息进行汇总去重，获得所述至少一个日志文件的索引文件。

进一步地，所述检索单元，具体用于在接收到查询请求时，利用所述分词器切分所述查询请求，生成至少一个目标关键词；对于每一个所述目标关键词，在检索到所述索引文件中存在该目标关键词时，获取该目标关键词的目标地址信息；生成包含所述目标地址信息的查询结果。

进一步地，所述获取单元，具体用于加载classpath的log.properties文件，通过解析所述log.properties文件，获取其中的每一个所述日志文件的关键标志信息。

进一步地，该日志检索装置还包括：更新单元，用于以预先确定的更新时间间隔为周期，周期性地确定所述至少一个日志文件，并获取每一个所述日志文件对应的当前关键标志信息；利用所述当前关键标志信息，建立所述至少一个日志文件的当前索引文件，并将所述索引文件更新为所述当前索引文件。

本发明提供了一种日志检索方法及装置，预先确定至少一个日志文件，并获取每一个日志文件对应的关键标志信息；利用获取到的关键标志信息建立该至少一个日志文件的索引文件；在接收到查询请求时，利用索引文件以检索出该查询请求对应的查询结果。由于可以预先建立全部日志文件对应的索引文件，并在接收到查询请求时，可以利用该索引文件来检索出相应查询结果，故无需遍历全部日志文件进行检索。因此，本发明能够提高日志检索的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种日志检索方法的流程图；

图2是本发明一实施例提供的另一种日志检索方法的流程图；

图3是本发明一实施例提供的一种日志检索装置的示意图；

图4是本发明一实施例提供的另一种日志检索装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种日志检索方法，可以包括以下步骤：

步骤101：预先确定至少一个日志文件。

步骤102：获取每一个所述日志文件对应的关键标志信息。

步骤103：利用所述关键标志信息，建立所述至少一个日志文件的索引文件。

步骤104：在接收到查询请求时，根据所述索引文件，检索出所述查询请求对应的查询结果。

本发明实施例提供了一种日志检索方法，预先确定至少一个日志文件，并获取每一个日志文件对应的关键标志信息；利用获取到的关键标志信息建立该至少一个日志文件的索引文件；在接收到查询请求时，利用索引文件以检索出该查询请求对应的查询结果。由于可以预先建立全部日志文件对应的索引文件，并在接收到查询请求时，可以利用该索引文件来检索出相应查询结果，故无需遍历全部日志文件进行检索。因此，本发明实施例能够提高日志检索的效率。

在本发明的一个实施例中，为了便于索引文件的建立以及能够对每一个日志文件进行定位，所以，所述关键标志信息可以包括：主体路径、客体路径、用户名称、日志描述、日志类型和创建时间中的任意一种或多种。

在本发明的一个实施例中，为了说明一种建立索引文件的可能实现方式，所以，所述关键标志信息包括：日志描述；

所述利用所述关键标志信息，建立所述至少一个日志文件的索引文件，包括：

针对每一个所述日志描述，分别利用预先确定的分词器切分所述日志描述，生成至少一个关键词；

查找每一个所述关键词在对应的日志文件中的地址信息；

通过对生成的所述关键词及该关键词的地址信息进行汇总去重，获得所述至少一个日志文件的索引文件。

在本发明的一个实施例中，为了说明一种利用索引文件对用户的查询请求进行检索的可能实现方式，所以，所述在接收到查询请求时，根据所述索引文件，检索出所述查询请求对应的查询结果，包括：

在接收到查询请求时，利用所述分词器切分所述查询请求，生成至少一个目标关键词；

对于每一个所述目标关键词，在检索到所述索引文件中存在该目标关键词时，获取该目标关键词的目标地址信息；

生成包含所述目标地址信息的查询结果。

在本发明一个实施例中，为了说明一种获取日志文件的关键标志信息的可能实现方式，所以，所述获取每一个所述日志文件对应的关键标志信息，包括：加载classpath的log.properties文件，通过解析所述log.properties文件，获取其中的每一个所述日志文件的关键标志信息。

在本发明一个实施例中，为了能够针对用户的查询请求进行准确检索，所以，在所述建立所述至少一个日志文件的索引文件之后，进一步包括：

以预先确定的更新时间间隔为周期，周期性地确定所述至少一个日志文件，并获取每一个所述日志文件对应的当前关键标志信息；

利用所述当前关键标志信息，建立所述至少一个日志文件的当前索引文件，并将所述索引文件更新为所述当前索引文件。

如图2所示，本发明一个实施例提供了另一种日志检索方法，该方法以基于Lucene实现日志快速检索为例，具体包括以下步骤：

步骤201：加载并解析classpath的log.properties文件，获取其中的每一个日志文件的关键标志信息。

举例来说，本发明实施例可以在Lucene的基础之上扩充文本分析功能，可以涉及三个模块：用于根据日志文件构建索引文件的索引文件构建模块、用于定时更新索引文件的索引文件定时更新模块，以及用于接收用户查询请求并反馈查询结果的用户交互模块。通过这三个模块的共同作用，可以实现日志的快速检索。

详细地，日志文件的关键标志信息可以包括：主体路径、客体路径、用户名称、日志描述、日志类型和创建时间中的任意一种或多种。

在本实施例中，可以将日志文件的关键标志信息存储在classpath的log.properties文件中。系统启动后，可以自动加载并解析该文件，以获取每一个日志文件的关键标志信息。例如，获取到日志文件的关键标志信息可以如下所述：

#日志1的关键标志

symbol1＝日志描述，日志时间，主体路径

#日志2的关键标志

symbol2＝日志描述，日志时间，客体路径

……

步骤202：针对每一个关键标志信息中的日志描述，利用预先确定的分词器切分日志描述，生成每一个日志描述对应的至少一个关键词。

对于每一个日志文件，在获取到该日志文件的关键标志信息之后，可以对其中的日志描述进行切分处理，以获得至少一个关键词。

详细地，可以利用预先确定的分词器切分日志描述。优选地，可以选用“庖丁解牛”分词器。

例如，当日志文件1的日志描述为“hips的主体进程保护”时，生成的相应关键词可以有4个，分别为hips、主体、进程保护、进程。

步骤203：查找每一个关键词在对应的日志文件中的地址信息。

如上所述，对于上述hips、主体、进程保护、进程这4个关键词，可以查找每一个关键词在日志文件1中的地址信息。

在本发明一个实施例中，关键词的地址信息可以为关键词在磁盘空间中具体地址信息。比如，hips这一关键词的地址信息可以为日志文件1的存储路径，以及日志文件1中出现hips的具体行数。因此，每一个关键词对应的地址信息可以为至少一个。

基于同样的实现方式，可以对生成的每一个关键词的地址信息进行查找，本实施例在此不做赘述。

步骤204：通过对生成的关键词及该关键词的地址信息进行汇总去重，获得全部日志文件的索引文件。

由于同一关键词可以存在于不同的多个日志文件中，故会存在关键词相同，但对应的地址信息不同的情况。为避免同一关键词的重复检索，可以对获取到的全部关键词及关键词对应的地址信息进行汇总去重。比如，对相同的关键词进行去重，将对应的地址信息进行汇总。

将全部关键词及关键词对应的地址信息执行汇总去重操作后，可以得到一个索引结构，通过在文件中保存该索引结构，可以生成一个索引文件。其中，该索引文件通常包含至少一个关键词，以及每一个关键词对应的至少一个地址信息。该索引文件即可以为全部日志文件的索引文件。

在本实施例中，与每一个日志文件对应的关键标志信息，以及对应的关键词、关键词的地址信息等，均可以为该日志文件的倒排索引信息。相应的，生成的索引文件可以为倒排索引文件。

步骤205：存储索引文件，并将索引文件加载到内存中。

为便于索引文件的管理及检索之用，可以将索引文件进行存储，同时将该索引文件加载到内存中。

步骤206：以预先确定的更新时间间隔为周期，周期性地获取每一个日志文件的当前关键标志信息。

步骤207：利用当前关键标志信息，建立全部日志文件的当前索引文件，并将存储的索引文件和内存中加载的索引文件均更新为当前索引文件。

为了能够提高日志检索的准确性，还可以预先确定索引文件的更新时间间隔，比如每天24点整开始进行更新。因此，可以周期性地执行上述步骤201至步骤205，以根据当前的全部日志文件建立最新的索引文件，并对已存储的和已加载在内存中的索引文件进行更新替换。

步骤208：在接收到查询请求时，利用分词器切分查询请求，生成查询请求对应的至少一个目标关键词。

当需要查询日志信息时，工作人员可以输入查询请求。与日志描述相同，系统在接收到输入的查询请求时，也可以利用分词器切分查询请求，得到该查询请求对应的至少一个关键词。

比如，在本实施例中，当输入的查询请求为hips时，得到的目标关键词可以为1个，且同样是hips。

步骤209：对于每一个目标关键词，在检索到内存中加载的索引文件中存在该目标关键词时，获取该目标关键词的目标地址信息。

为了能够对目标关键词进行快速检索，可以查询内存中加载的索引文件中是否存在该目标关键词，若存在，则采集索引文件中该目标关键词的目标地址信息。

步骤210：生成包含目标地址信息的查询结果，输出并显示查询结果。

通过检索索引文件，可以将采集的全部目标地址信息添加到查询结果中。此外，在本发明一个实施例中，查询结果中还可以包含每一个目标地址信息对应的日志信息。

比如，根据hips这一关键词的地址信息，可以得知日志文件1的第50行和第80行存在该关键词，故可以根据地址信息查找到日志文件1，并获取日志文件1中第50行的前后各5行的日志信息，以及第80行的前后各5行的日志信息。

在本实施例中，可以建立全部日志文件所共用的索引文件，并利用该索引文件针对用户的查询请求进行快速准确的检索操作，以及显示相应查询结果。这一实现方式无需遍历全部日志文件，故检索时间短、实时性好、占用资源少、查全率和查准率高、服务器资源消耗少、用户体验效果佳。

由于本发明实施例意于根据工作人员输入的查询请求，以对其所需查看的日志信息进行显示，故显示的各项日志信息可以不存在权重之分，即各项日志信息的先后排序不会对其重要性等产生影响。不过为便于查看，可以将源于同一日志文件的多项日志信息相邻展示。以及可以根据各日志文件的创建时间对日志信息进行排序显示。

在本发明一个实施例中，当工作人员需要获取目标日志文件时，建立的索引文件中可以包括每一个关键词及各关键词在相应日志文件中的出现次数。当工作人员输入查询请求以使系统切分得到目标关键词时，若索引文件中存在该目标关键词，可以根据该目标关键词在相应多个目标日志文件中的出现次数，对该多个目标日志文件进行排序展示。比如，可以将关键词出现次数最高的目标日志文件进行最先展示。详细地，可以展示各目标日志文件的标识、存储路径、链接信息或全文信息。

如图3所示，本发明一个实施例提供了一种日志检索装置，包括：

确定单元301，用于确定至少一个日志文件；

获取单元302，用于获取每一个所述日志文件对应的关键标志信息；

建立单元303，用于利用所述关键标志信息，建立所述至少一个日志文件的索引文件；

检索单元304，用于在接收到查询请求时，根据所述索引文件，检索出所述查询请求对应的查询结果。

在本发明一个实施例中，所述获取单元302，具体用于获取每一个所述日志文件对应的主体路径、客体路径、用户名称、日志描述、日志类型和创建时间中的任意一种或多种关键标志信息。

在本发明一个实施例中，所述关键标志信息包括：日志描述；

所述建立单元303，具体用于针对每一个所述日志描述，分别利用预先确定的分词器切分所述日志描述，生成至少一个关键词；查找每一个所述关键词在对应的日志文件中的地址信息；通过对生成的所述关键词及该关键词的地址信息进行汇总去重，获得所述至少一个日志文件的索引文件。

在本发明一个实施例中，所述检索单元304，具体用于在接收到查询请求时，利用所述分词器切分所述查询请求，生成至少一个目标关键词；对于每一个所述目标关键词，在检索到所述索引文件中存在该目标关键词时，获取该目标关键词的目标地址信息；生成包含所述目标地址信息的查询结果。

在本发明一个实施例中，所述获取单元302，具体用于加载classpath的log.properties文件，通过解析所述log.properties文件，获取其中的每一个所述日志文件的关键标志信息。

在本发明一个实施例中，请参考图4，该日志检索装置还可以包括：

更新单元401，用于以预先确定的更新时间间隔为周期，周期性地确定所述至少一个日志文件，并获取每一个所述日志文件对应的当前关键标志信息；利用所述当前关键标志信息，建立所述至少一个日志文件的当前索引文件，并将所述索引文件更新为所述当前索引文件。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

综上所述，本发明的各个实施例至少具有如下有益效果：

1、本发明实施例中，预先确定至少一个日志文件，并获取每一个日志文件对应的关键标志信息；利用获取到的关键标志信息建立该至少一个日志文件的索引文件；在接收到查询请求时，利用索引文件以检索出该查询请求对应的查询结果。由于可以预先建立全部日志文件对应的索引文件，并在接收到查询请求时，可以利用该索引文件来检索出相应查询结果，故无需遍历全部日志文件进行检索。因此，本发明实施例能够提高日志检索的效率。

2、本发明实施例中，可以建立全部日志文件所共用的索引文件，并利用该索引文件针对用户的查询请求进行快速准确的检索操作，以及显示相应查询结果。这一实现方式无需遍历全部日志文件，故检索时间短、实时性好、占用资源少、查全率和查准率高、服务器资源消耗少、用户体验效果佳。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个〃·····”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种日志检索方法，其特征在于，预先确定至少一个日志文件，还包括：

获取每一个所述日志文件对应的关键标志信息；

利用所述关键标志信息，建立所述至少一个日志文件的索引文件；

在接收到查询请求时，根据所述索引文件，检索出所述查询请求对应的查询结果。

2.根据权利要求1所述的方法，其特征在于，

所述关键标志信息，包括：主体路径、客体路径、用户名称、日志描述、日志类型和创建时间中的任意一种或多种。

3.根据权利要求1所述的方法，其特征在于，

所述关键标志信息包括：日志描述；

所述利用所述关键标志信息，建立所述至少一个日志文件的索引文件，包括：

针对每一个所述日志描述，分别利用预先确定的分词器切分所述日志描述，生成至少一个关键词；

查找每一个所述关键词在对应的日志文件中的地址信息；

通过对生成的所述关键词及该关键词的地址信息进行汇总去重，获得所述至少一个日志文件的索引文件。

4.根据权利要求3所述的方法，其特征在于，

所述在接收到查询请求时，根据所述索引文件，检索出所述查询请求对应的查询结果，包括：

在接收到查询请求时，利用所述分词器切分所述查询请求，生成至少一个目标关键词；

对于每一个所述目标关键词，在检索到所述索引文件中存在该目标关键词时，获取该目标关键词的目标地址信息；

生成包含所述目标地址信息的查询结果。

5.根据权利要求1至4中任一所述的方法，其特征在于，

所述获取每一个所述日志文件对应的关键标志信息，包括：

加载classpath的log.properties文件，通过解析所述log.properties文件，获取其中的每一个所述日志文件的关键标志信息；

和/或，

在所述建立所述至少一个日志文件的索引文件之后，进一步包括：

以预先确定的更新时间间隔为周期，周期性地确定所述至少一个日志文件，并获取每一个所述日志文件对应的当前关键标志信息；

利用所述当前关键标志信息，建立所述至少一个日志文件的当前索引文件，并将所述索引文件更新为所述当前索引文件。

6.一种日志检索装置，其特征在于，包括：

确定单元，用于确定至少一个日志文件；

获取单元，用于获取每一个所述日志文件对应的关键标志信息；

建立单元，用于利用所述关键标志信息，建立所述至少一个日志文件的索引文件；

检索单元，用于在接收到查询请求时，根据所述索引文件，检索出所述查询请求对应的查询结果。

7.根据权利要求6所述的日志检索装置，其特征在于，

所述获取单元，具体用于获取每一个所述日志文件对应的主体路径、客体路径、用户名称、日志描述、日志类型和创建时间中的任意一种或多种关键标志信息。

8.根据权利要求6所述的日志检索装置，其特征在于，

所述关键标志信息包括：日志描述；

所述建立单元，具体用于针对每一个所述日志描述，分别利用预先确定的分词器切分所述日志描述，生成至少一个关键词；查找每一个所述关键词在对应的日志文件中的地址信息；通过对生成的所述关键词及该关键词的地址信息进行汇总去重，获得所述至少一个日志文件的索引文件。

9.根据权利要求8所述的日志检索装置，其特征在于，

所述检索单元，具体用于在接收到查询请求时，利用所述分词器切分所述查询请求，生成至少一个目标关键词；对于每一个所述目标关键词，在检索到所述索引文件中存在该目标关键词时，获取该目标关键词的目标地址信息；生成包含所述目标地址信息的查询结果。

10.根据权利要求6至9中任一所述的日志检索装置，其特征在于，

所述获取单元，具体用于加载classpath的log.properties文件，通过解析所述log.properties文件，获取其中的每一个所述日志文件的关键标志信息；

和/或，

进一步包括：更新单元，用于以预先确定的更新时间间隔为周期，周期性地确定所述至少一个日志文件，并获取每一个所述日志文件对应的当前关键标志信息；利用所述当前关键标志信息，建立所述至少一个日志文件的当前索引文件，并将所述索引文件更新为所述当前索引文件。