CN103544298B - 组件的日志分析方法和分析装置 - Google Patents

Abstract

本发明公开了一种组件的日志分析方法和分析装置。该分析方法包括：接收用户输入的需要调用的分析函数的标识；根据标识，判断该标识所对应的分析函数是否存在于预先配置的分析函数库中，并在判断结果为否的情况下，提示用户输入需要调用的分析函数的语句；将用户输入的分析函数的语句保存至分析函数库中；从分析函数库中调用并执行分析函数，以对组件的日志进行分析。本发明通过用户根据自身需求定制分析函数库，而且，用户只需提供分析函数的标识、和/或参数，系统便可以自动调用并执行该标识所对应的分析函数，完成对日志的分析操作，无需用户参与，提高了组件日志分析工具的智能性和普适性，降低了用户的操作难度和出错概率。

Description

组件的日志分析方法和分析装置

技术领域

本发明涉及计算机领域，并且特别地，涉及一种组件的日志分析方法和分析装置。

背景技术

用户在使用各种组件时，都会产生日志文件，这些日志文件详细记录了该组件的运行信息，如：执行的操作、错误、警告、操作时间等，通过对日志文件的分析，从中提取出各类信息，对于用户分析组件的性能、故障等是非常重要的，但是，想要从大量的日志文件中快速的提取出需要的信息并不是一件容易的事情。

目前，由于web组件的广泛应用，出现了各种针对web组件日志的分析工具，如：Awstats、Webslizer等，这些工具能够很好的分析web组件的日志，从中提取出各种信息，但是对于非web组件产生的日志，目前则没有很好的分析方法，需要用户手动编写脚本组件进行分析处理，对于普通用户来说是难以实现的，并且，无论针对web组件的日志分析工具，还是非web组件的日志分析工具，分析函数的类型都是固定的，用户都无法根据自身需求自己定制分析函数库，导致分析工具的的普适性不高，不便于用户根据自身需求定制分析函数。

Logcheck是用于分析Linux操作系统日志文件的组件，其主体是logcheck.sh脚本文件，由该组件分析日志文件并返回分析结果，通过搜索指定的关键字来提取信息，该组件提供多个配置文件，允许用户实现各种过滤操作，例如：

1.logcheck.hacking：这个文件用于设置在日志文件中过滤的关键字，用户可以在该文件中定制自己的日志文件，增加或删除关键字，搜索风险信息；

2.logcheck.violations：用户可以在该文件中指定搜索系统运行出现异常情况的关键字；

3.logcheck.violations.ignore：如果系统出现异常情况，但是包含设置在该文件中的关键字，则视为正常情况；

4.logcheck.ignore：如果日志文件的记录中包含风险信息，但包含设置在该文件中的关键字，则视为正常，不写入分析结果文件中。

可以看出，虽然用户可以使用Logcheck工具快速的从Linux的操作系统的日志文件中分析出各种风险信息，并可以通过配置文件对过滤条件进行设置，比较方便，但是，Logcheck只能进行某些指定的关键字的过滤，而不能根据自身需求定制合适的分析函数库，并且，该工具主要用来分析Linux的系统日志，从中分析系统的风险信息，并不适用于其他组件的日志的分析，不能满足用户从日志中获取更多信息的需要。

针对相关技术中用户无法根据自身需求定制用于分析组件日志的分析函数，导致日志分析工具的分析功能受到限制的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中用户无法根据自身需求定制用于分析组件日志的分析函数，导致日志分析工具的功能受到限制，智能性和普适性较差的问题，本发明提出一种组件的日志分析方法和分析装置，能够实现用户根据自身需要定制分析函数库，提高了日志分析工具的智能性和普适性。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种组件的日志分析方法，该分析方法包括：

接收用户输入的需要调用的分析函数的标识；

根据标识，判断该标识所对应的分析函数是否存在于预先配置的分析函数库中，并在判断结果为否的情况下，提示用户输入需要调用的分析函数的语句；

将用户输入的分析函数的语句保存至分析函数库中；

从分析函数库中调用并执行分析函数，以对组件的日志进行分析。

其中，接收用户输入的需要调用的分析函数的标识包括：

获取用户输入的配置文件，从配置文件中提取需要调用的分析函数的标识。

此外，配置文件进一步包括执行分析函数所需要的参数；

并且，在调用并执行分析函数时，如果执行分析函数需要参数，则在执行分析函数之前，先将配置文件中的参数代入到分析函数中。

此外，配置文件进一步包括分隔符、和/或分析函数的执行结果的输出格式，其中，分隔符用于指定日志中需要进行分析的域；

并且，调用并执行分析函数包括：

对指定的域进行分析，并根据输出格式，输出分析结果。

其中，组件包括：

非web服务组件、和/或web服务组件。

其中，分析函数包括过滤操作函数。

并且，调用并执行分析函数包括：

生成过滤操作树；

通过过滤操作树，对日志进行过滤操作，包括：从过滤操作树的根节点开始，递归执行操作。

根据本发明的另一方面，提供了一种组件的日志分析装置，该分析装置包括：

接收模块，用于接收用户输入的需要调用的分析函数的标识；

判断模块，用于根据接收模块接收到的标识，判断该标识所对应的分析函数是否存在于预先配置的分析函数库中，并在判断结果为否的情况下，提示用户输入需要调用的分析函数的语句；

保存模块，用于将用户输入的分析函数的语句保存至分析函数库中；

执行模块，用于从分析函数库中调用并执行分析函数，以对组件的日志进行分析。

其中，接收模块还用于获取用户输入的配置文件，从配置文件中提取需要调用的分析函数的标识。

此外，配置文件进一步包括执行分析函数所需要的参数，并且，该分析装置进一步包括：

代入模块，用于在执行模块调用并执行分析函数时，如果执行分析函数需要参数，则在执行分析函数之前，先将配置文件中的参数代入到分析函数中。

本发明通过接收用户输入的需要调用的分析函数的标识，并在该标识所对应的分析函数不存在于预先配置的分析函数库中的情况下，将该分析函数保存至分析函数库中，通过调用并执行分析函数完成对组件日志的分析，使用户可以根据自身需要对分析函数进行自定义，提高了组件日志分析工具的智能性和普适性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的组件的日志分析方法流程图；

图2是根据本发明实施例的组件的日志分析装置框图；

图3是根据本发明一个实施例的日志分析系统实现日志分析过程的流程图；

图4是根据本发明一个实施例的日志分析系统实现日志分析过程中对于过滤操作流形成的过滤操作树的示意图；

图5是根据本发明一个实施例的日志分析系统实现日志分析过程中过滤操作执行流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种组件的日志分析方法。

如图1所示，该分析方法包括：

步骤S101，接收用户输入的需要调用的分析函数的标识；

步骤S103，根据标识，判断该标识所对应的分析函数是否存在于预先配置的分析函数库中，并在判断结果为否的情况下，提示用户输入需要调用的分析函数的语句；

步骤S105，将用户输入的分析函数的语句保存至分析函数库中；

步骤S107，从分析函数库中调用并执行分析函数，以对组件的日志进行分析。

通过预先配置分析函数库，提供各种分析函数，用户只需指定需要调用的分析函数的标识，即可自动完成对日志的分析，避免用户自己编写脚本分析日志，降低用户使用分析工具的难度，并且，用户可以将根据自身需要定制的分析函数保存至该分析函数库中，增强了分析工具使用的灵活性。

其中，接收用户输入的需要调用的分析函数的标识包括：

获取用户输入的配置文件，从配置文件中提取需要调用的分析函数的标识。

其中，配置文件进一步包括执行分析函数所需要的参数；

并且，在调用并执行分析函数时，如果执行分析函数需要参数，则在执行分析函数之前，先将配置文件中的参数代入到分析函数中。

并且，配置文件进一步包括分隔符、和/或分析函数的执行结果的输出格式，其中，分隔符用于指定日志中需要进行分析的域；

并且，调用并执行分析函数包括：

对指定的域进行分析，并根据输出格式，输出分析结果。

其中，组件包括：

非web服务组件、和/或web服务组件。

并且，分析函数包括过滤操作函数。

其中，调用并执行分析函数包括：

生成过滤操作树；

通过过滤操作树，对日志进行过滤操作，包括：从过滤操作树的根节点开始，递归执行操作。

根据本发明的实施例，还提供了一种组件的日志分析装置。

如图2所示，该分析装置包括：

接收模块21，用于接收用户输入的需要调用的分析函数的标识；

判断模块22，用于根据接收模块21接收到的标识，判断该标识所对应的分析函数是否存在于预先配置的分析函数库中，并在判断结果为否的情况下，提示用户输入需要调用的分析函数的语句；

保存模块23，用于将用户输入的分析函数的语句保存至分析函数库中；

执行模块24，用于从分析函数库中调用并执行分析函数，以对组件的日志进行分析。

其中，接收模块21还用于获取用户输入的配置文件，从配置文件中提取需要调用的分析函数的标识。

其中，配置文件进一步包括执行分析函数所需要的参数，并且，该分析装置进一步包括：

代入模块（未示出），用于在执行模块24调用并执行分析函数时，如果执行分析函数需要参数，则在执行分析函数之前，先将配置文件中的参数代入到分析函数中。

例如，在一个实施例中，根据本发明的技术方案，提供了一种日志分析系统。

该系统主要由配置文件解析模块、日志分析模块和条件过滤执行模块组成，如图3所示，具体的日志分析过程如下：

1.解析配置文件，得到用户所要调用的分析函数的标识、和/或执行该分析函数所需要的参数；

2.根据解析得到的分析函数的标识，从预先配置好的分析函数库中调用与之相对应的分析函数，启动日志分析系统，并且，在本步骤中，如果分析函数库中没有该分析函数，则先提示用户将该分析函数添加到分析函数库中，再对其进行调用执行；

3.根据该分析函数，对日志的内容进行条件过滤；

4.判断某部分日志记录是否符合过滤条件，在判断结果为是的情况下，进入步骤5，否则，进入步骤6；

5.按指定的模式输出该部分日志记录；

6.丢弃该部分日志记录；

7.判断是否到达日志结尾，在判断结果为是的情况下，结束该分析过程，在判断结果为否的情况下，返回步骤2。

该系统的核心是配置了分析函数库，其中包含了相关的分析函数，例如过滤操作函数，在日志分析过程中用户经常会指定提取一段时期内的日志记录、或者分析一段时期内出现的某种类型错误的日志记录、或者统计一段时期内某个操作的执行次数等等，从这些操作中提取出常用的过滤操作，如日期过滤操作，字符串过滤操作函数、数值型过滤操作函数、模式匹配过滤操作函数等，分析函数库中的过滤操作函数可以进行各种条件过滤，比如对于日期类型，在日志分析中经常会限定一个时间段，所以日期类型操作函数要支持比较运算，用户在配置文件中写入日期过滤操作函数的标识和具体日期，在启动日志分析系统后，会根据该标识调用日期过滤操作函数，并将具体日期代入到该函数中，并利用比较函数得到用户提供的日期的先后顺序，自动完成对日志内容的过滤；同样对于字符串过滤操作函数，经常进行关键字过滤或者字符串比较，所以字符串过滤操作函数支持字符串比较运算，各类型函数支持的操作是一个不断丰富的过程，允许用户在实际使用的过程中根据实际需要来定制自己的过滤操作函数，以满足日志分析的需要，用户根据自身需要来定制自己的过滤操作函数，可以通过继承的方法实现。

正是由于配置了分析函数库，使用户在使用本系统进行日志分析时不需要进行复杂的编程工作，只需指定分析函数库中相应的分析函数的标识，通过执行特定的分析函数即可完成日志分析任务，同时支持用户实现自己的分析操作，具有一定的定制功能，能够满足用户的特定需求，用户虽然需要进行相应的编程工作，但是相较于获得的方便性，是容易被接受的。

使用本日志分析系统对日志进行分析时，用户只需填写配置文件的相关内容，指定日志记录的分隔符(默认为空格)，指定要对记录的哪些域进行哪些操作(如果不指定，则返回所有日志记录)，指定输出格式，例如：可以指定输出记录中的某几个域，默认输出满足过滤条件的完整记录，也可以指定需要输出的文件的文件名。

配置文件的格式如下：

[Field separator]

Separator=”;”

该语句用于指定的分隔符为“；”；

[Filtering operation]

OPT=<1,Date_opt(...)>and(<3,Str_opt(...)>or<5,Str_opt(...)>)

该语句用于定义各操作在执行过程中的关系，其中，各操作用尖括号包括，第一个数值指定操作的域号:<1,Date_opt(...)>指定对第一个域执行日期过滤操作，<3,Str_opt(...)>和<5,Str_opt(...)>指定对第三或者第五个域进行其他某形式的操作，各操作之间使用逻辑连接符进行连接(and和or)，表明过滤条件。

[Output Format]

Output=(”%s,%d,%f,%s”,1,3,5,8)

该语句用于指定输出的日志记录的格式。

相应地，对应上述日志分析系统中各模块的功能如下：

配置文件解析模块：用于对配置文件进行解析，如确定日志文件中记录域的分隔符、需要执行的过滤操作、输出格式等，如果需要的定义值为空，则采用默认值，其中，对过滤操作进行分析，创建过滤操作树，供条件过滤执行模块使用，例如对于过滤操作流：<1,Date_opt(...)>and(<3,Str_opt(...)>or<5,Str_opt(...)>)其对应的操作树如图4所示。

日志分析模块：用于具体的日志分析功能，打开日志文件，使用配置文件解析模块从配置文件中获得的内容，进行日志分析，步骤如下：

1.打开日志文件，读取一条记录；

2.使用用户指定的记录域分隔符对将记录分割成指定的域；

3.调用条件过滤执行函数，将配置文件解析模块生成的操作树作为参数传递给执行函数，对用户指定的域执行相应的过滤操作，判定是否满足过滤条件；

4.根据条件过滤执行函数返回的结果，如果记录符合过滤条件则按用户指定格式输出记录内容，否则略过记录处理下一条日志记录；

5.重复上述过程，直到日志文件末尾。

过滤操作执行模块：该模块用于根据配置文件解析模块生成的过滤操作树，对记录进行过滤筛选操作，过滤操作执行流程图5所示，其执行过程如下：

1.从操作树的根节点开始，递归执行操作，如果各节点不是逻辑连接符，即根节点为过滤操作，则调用相应的过滤操作函数进行过滤，返回结果；

2.如果根节点是逻辑连接符，判断逻辑连接符，如果连接符为and：递归执行左操作树，如果左操作树结果为真且，则递归执行右操作树，如果右操作树返回结果为真，则整个逻辑单元(and连接的两个过滤操作)结果为真；如果右操作树结果为假，则整个逻辑单元结果为假；如果and连接符的左操作树为假，则整个逻辑单元结果为假，不必执行右操作树；

3.如果根节点逻辑连接符为or,首先递归执行其左操作树，如果返回结果为真，则整个or逻辑单元为真，不必执行右操作树；如果左操作树执行为假，则递归执行右操作树，如果右操作树结果为真，则整个or逻辑单元为真，否则逻辑单元为假。

注意：过滤操作中，各操作的执行可以通过类的多态性来实现，即子类通过实现父类中的虚函数方法。

同时，在本实施例提供的日志分析系统中，为了方便用户使用，还提供了日志搜索工具Log_find.sh，使用shell脚本编程实现，允许用户搜索指定时间内的特定名称的日志文件，如：Log_find.sh–name“Server*.log”则会搜索所有日志文件名词以Server开头的文件。

通过本实施例提供的日志分析系统，可以实现以下功能：

1.支持复杂的过滤条件，简化过滤条件设计过程，通过使用实现的过滤操作函数和逻辑连接符即可便捷的完成复杂过滤条件的设计；

2.支持用户定制自己的过滤操作，用户可以通过继承办法实现自己的操作，甚至可以完全重新定义自己的操作类，使得日志分析更加灵活方便；

3.简化用户进行日志分析的工作，用户在完成配置文件后，启动日志分析系统即可完成日志分析任务，分析过程中不需要用户干预。

4.实现了对过滤条件的解析和自动执行，使用户只需在配置文件中指定需要执行的过滤操作即可完成日志分析，由配置文件解析模块对过滤操作进行解析并生成操作树，而后由过滤操作执行模块自动执行过滤操作，返回过滤结果。

综上所述，借助于本发明的上述技术方案，通过从用户输入的配置文件中获取分析函数的标识、和/或参数，从分析函数库中调用并执行与该标识相对应的分析函数，并在该标识所对应的分析函数未存在于分析函数库中的情况下，进行提示，以便用户对分析函数库重新进行调整或定制，能够使用户可以根据自身需求定制分析函数库，而且，用户只需提供分析函数的标识、和/或参数，系统便可以自动调用并执行该标识所对应的分析函数，完成对日志的分析操作，无需用户参与，提高了组件日志分析工具的智能性和普适性，降低了用户的操作难度和出错概率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种组件的日志分析方法，其特征在于，包括：

接收用户输入的需要调用的分析函数的标识；

根据所述标识，判断该标识所对应的分析函数是否存在于预先配置的分析函数库中，并在判断结果为否的情况下，提示用户输入需要调用的分析函数的语句；

将用户输入的分析函数的语句保存至所述分析函数库中；

从所述分析函数库中调用并执行所述分析函数，以对组件的日志进行分析；

其中，接收用户输入的需要调用的分析函数的标识包括：

获取用户输入的配置文件，从所述配置文件中提取需要调用的所述分析函数的标识；

所述配置文件进一步包括执行所述分析函数所需要的参数；

并且，在调用并执行所述分析函数时，如果执行所述分析函数需要参数，则在执行所述分析函数之前，先将所述配置文件中的所述参数代入到所述分析函数中；

所述配置文件进一步包括分隔符、和/或分析函数的执行结果的输出格式，其中，所述分隔符用于指定所述日志中需要进行分析的域；

并且，调用并执行所述分析函数包括：

对指定的域进行分析，并根据所述输出格式，输出分析结果；

其中，所述组件包括：

非web服务组件、和/或web服务组件；

所述分析函数包括过滤操作函数；

调用并执行所述分析函数包括：

生成过滤操作树；

通过所述过滤操作树，对所述日志进行过滤操作，包括：从所述过滤操作树的根节点开始，递归执行操作。

2.一种组件的日志分析装置，其特征在于，包括：

接收模块，用于接收用户输入的需要调用的分析函数的标识；

判断模块，用于根据所述接收模块接收到的标识，判断该标识所对应的分析函数是否存在于预先配置的分析函数库中，并在判断结果为否的情况下，提示用户输入需要调用的分析函数的语句；

保存模块，用于将用户输入的分析函数的语句保存至所述分析函数库中；

执行模块，用于从所述分析函数库中调用并执行所述分析函数，以对组件的日志进行分析；

其中，所述接收模块用于获取用户输入的配置文件，从所述配置文件中提取需要调用的所述分析函数的标识；

所述配置文件进一步包括执行所述分析函数所需要的参数，并且，所述分析装置进一步包括：

代入模块，用于在所述执行模块调用并执行所述分析函数时，如果执行所述分析函数需要参数，则在执行所述分析函数之前，先将所述配置文件中的所述参数代入到所述分析函数中；

所述配置文件进一步包括分隔符、和/或分析函数的执行结果的输出格式，其中，所述分隔符用于指定所述日志中需要进行分析的域；

并且，所述执行模块包括：

分析输出模块，用于对指定的域进行分析，并根据所述输出格式，输出分析结果；

其中，所述组件包括：

非web服务组件、和/或web服务组件；

所述分析函数包括过滤操作函数；

所述执行模块进一步包括：

生成模块，用于生成过滤操作树；

过滤模块，用于通过所述过滤操作树，对所述日志进行过滤操作，包括：从所述过滤操作树的根节点开始，递归执行操作。