CN104933077A - 基于规则的多文件信息分析方法 - Google Patents

Abstract

本发明提供了一种基于规则的多文件信息分析方法，包括：建立日志格式库、分析条件库以及报告库；在日志格式库中选择日志系统格式模板；判断日志系统格式模板是否存在，若不存在则进入配置日志系统格式模板，否则选择需要分析的日志文件；从分析条件库中选择分析条件模板；判断分析条件模板是否存在，若不存在则配置日志分析条件模板，否则从报告库中选择报告格式模板；判断报告格式模板是否存在，若不存在则配置报告格式模板，否则直接对日志文件进行融合处理；将符合条件的日志文件中的日志内容按照报告格式模板进行输出。本发明提供的分析报告格式可调整，即不同的人员可以根据各自的阅读习惯调整日志分析报告的格式。

Description

基于规则的多文件信息分析方法

技术领域

本发明涉及冶金自动化领域，具体地，涉及一种基于规则的多文件信息分析方法。

背景技术

在冶金自动化领域，随着信息化程度的不断提高，越来越多的应用系统在无人值守的情况下进行着7乘24小时的运行，而由这些应用系统所产生的日志文件也呈现出几何式的增长态势，日志文件的主要目的是为了帮助系统开发人员定位和解决问题，但随着运行时间的增加，日志文件所包含的信息量会越来越多，使用者想要从日志文件中获得有效信息的困难也越来越高。越来越多的系统维护人员正陷入到从这些海量的日志文件中寻找出其关心的内容困境中，并且随着软件系统规模的不断扩展，越来越多的系统为了降低日志规模，将原本连续的日志文件进行了离散化处理，导致往往一个日志事件被按照不同的划分方式记录到多个日志文件中，这就更增加了提取信息所花费的时间。因此如何从日志系统中将原本离散的信息重新整合成连续信息正成为亟待解决的一个课题。

目前通常的做法有以下几种：

1、人工方式：通过人工打开日志文件，搜索需要的内容，并根据需要对搜索到的内容进行二次整理以形成相应的分析报告。这种方式的优点是适用面广，不受限于不同的日志格式；缺点是对人的要求高，需要查询者具备读懂开发者编写的日志内容，查询效率低、查询成本高，并且效率低和成本会随着日志文件的增长呈几何级数的递增。

2、自动化方式：根据不同的日志系统通过编写相应的分析工具来实现，由这些工具来对日志系统中的文件进行搜索，并以搜索出的内容为基础形成分析报告。这种方式的优点是效率高，能大大加快查询速度；缺点是无法匹配不同的日志系统，即对不同格式的日志文件无法做到全覆盖，往往需要对各个不同的日志系统进行定制化的开发；无法对多个日志文件进行融合分析。

经检索，发现如下相关文献。

申请号：200510132486.5，专利名称：一种日志分析方法和系统。该专利文献公开了一种日志分析方法，包括：预置关键词表;对日志记录的统一资源定位器URL按照分隔符切分；判断所述URL是否含有在关键词表中不存在的单词;若不含有,则将所述URL存储至URL维表，并将所述URL在URL维表中的存储地址保存至用户访问情况数据库；如果所述URL含有在关键词表中不存在的单词，则采用统一符号代替该单词后存储至URL维表，并将所述单词及所述URL在URL维表中的存储地址保存至用户访问情况数据库；根据统计条件获取相关数据。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于规则的多文件信息分析方法，能够分析由不同日志系统所产生的日志文件，并能将多个日志文件进行联合分析，以过程化的方式还原应用系统运行的全貌，从而降低系统维护人员的维护复杂度、帮助其提高工作效率、提高用户体验。

根据本发明提供的基于规则的多文件信息分析方法，包括如下步骤：

步骤1：建立日志格式库、分析条件库以及报告库；

步骤2：在日志格式库中选择日志系统格式模板；

步骤3：判断日志系统格式模板是否存在，若不存在则进入步骤4，否则进入步骤5；

步骤4：配置日志系统格式模板；

步骤5：选择需要分析的日志文件；

步骤6：从分析条件库中选择分析条件模板；

步骤7：判断分析条件模板是否存在，若不存在就进入步骤8，否则进入步骤9；

步骤8：配置日志分析条件模板；

步骤9：从报告库中选择报告格式模板；

步骤10：判断报告格式模板是否存在，若不存在就进入步骤11，否则进入步骤12；

步骤11：配置报告格式模板；

步骤12：对日志文件进行融合处理；

步骤13：将符合条件的日志文件中的日志内容按照报告格式模板进行输出。

优选地，所述分析条件模板包括日志级别、日志时间、日志关键字中的任一种或任多种。

优选地，所述报告格式模板包括日志内容和日志输出次序。

优选地，在步骤3之前，还包括如下步骤：

-根据日志系统格式模板搜索日志格式库。

优选地，在步骤4中，还包括如下步骤：

步骤4.1：按照日志文件，配置日志系统格式模板；

步骤4.2：将日志系统格式模版记录到日志格式库中。

优选地，在步骤8中，还包括如下步骤：

步骤8.1：根据目标结果，配置分析条件模板；

步骤8.2：将分析条件模板记录到分析条件库中。

优选地，在步骤11中，还包括如下步骤：

步骤11.1：根据目标内容和输出方式配置报告格式模板；

步骤11.2：将报告格式模板记录到报告库中。

优选地，在步骤12中，还包括如下步骤：

步骤12.1：根据日志系统格式和分析条件模板，将多个离散的日志文件的日志内容通过时间处理器、模块处理器和内容处理器进行融合；

步骤12.2：提取出符合条件的日志内容。

优选地，在步骤7之前，还包括如下步骤：

-根据分析条件模板搜索分析条件库。

与现有技术相比，本发明具有如下的有益效果：

1、本发明能够适配不同的日志系统，即在通过日志格式库可以选择目前主流的日志系统格式模板，当需要选择的日志系统格式模板不存在时，能够进行自定义格式模板操作；

2、本发明能够选择分析策略，当日志分析库中不存在相应分析条件模版时，能够通过自定义的方式添加个性化的分析策略；

3、本发明能够进行多文件的融合分析，在系统中的日志文件离散的情况下，本发明通过选择多个文件，自动根据时间线索，对个多文件内容进行融合，从而还原系统运行的全貌；

4、本发明能够自完善信息库，即会记录所有配置过的日志格式、分析条件、报告格式，从而不断完善信息库；

5、本发明提供的分析报告格式模板可调整，即不同的人员可以根据各自的阅读习惯调整日志分析报告的格式。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的步骤流程图；

图2为本发明的使用流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明针对现有技术中存在的问题，从如下三个方面进行改进：

1、可扩展性，如果日志分析工具要做到少改动甚至不改动就可以应用到不同的日志系统中，日志分析工具就必须具有把一个不可预知的日志格式加进来的功能。因为各个日志系统的格式是千差万别的，而且新的日志格式也正层出不穷，所以一个好的日志分析工具的扩展能力不仅可以满足现有的日志格式，而且要着眼于未来可能出现的新的日志格式；

2、可配置性，所谓可配置性是指可以根据实际情况来调整日志报告需要输出的内容和格式，即可以根据用户习惯来自定义；

3、可融合性，所谓可融合性是指可以将多个日志文件内容根据时间线索进行组合，重现一个系统运行的过程。

在本实施例中，如图1所示，本发明提供的基于规则的多文件信息分析方法，包括如下步骤：

步骤1：建立日志格式库、分析条件库以及报告库，所述日志格式库设置有若干个日志系统格式模板；

步骤2：在日志格式库中选择日志系统格式模板，所述日志系统格式模板包括日志文件的组成元素；

步骤3：判断日志系统格式模板是否存在，若不存在就进入步骤4，否则进入步骤5。

步骤4：配置日志系统格式模板。

步骤5：选择需要分析的日志文件，即选择需要进行融合分析的多个日志文件。

步骤6：从分析条件库中选择分析条件模板，分析条件模板包括日志级别、日志时间、日志关键字中的任一种或任多种。

步骤7：判断分析条件模板是否存在，若不存在就进入步骤8，否则进入步骤9。

步骤8：配置日志分析条件模板。

步骤9：从报告库中选择报告格式模板，报告格式模板包括用户选择的日志内容和日志输出次序。

步骤10：判断报告格式模板是否存在，若不存在就进入步骤11，否则进入步骤12。

步骤11：配置报告格式模板。

步骤12：对日志文件进行融合处理。

步骤13：将符合条件的日志文件中的日志内容按照报告格式模板进行输出。

在步骤3之前，还包括如下步骤：

-根据日志系统格式模板搜索日志格式库

在步骤4中，还包括如下步骤：

步骤4.1：按照日志文件，配置日志系统格式模板；

步骤4.2：将日志系统格式模板记录到日志格式库中。

在步骤8中，还包括如下步骤：

步骤8.1：根据目标结果，配置分析条件模板；

步骤8.2：将分析条件模板记录到分析条件库中。

在步骤11中，还包括如下步骤：

步骤11：根据目标内容和输出方式配置报告格式模板；

步骤11：将报告格式模板记录到报告库中。

在步骤12中，还包括如下步骤：

步骤11.1：根据日志系统格式模板和分析条件模板，将多个离散的日志文件的日志内容通过时间处理器、模块处理器和内容处理器进行融合；

步骤11.2：提取出符合条件的日志内容。

在步骤7之前，还包括如下步骤：

-根据分析条件模板搜索分析条件库。

当使用本发明时，采用如下步骤：

步骤1：在日志格式库中选择日志系统格式模板。

步骤2：判断日志系统格式模板是否存在，如果不存在就进入步骤3，否则进入步骤4。

步骤3：定义日志系统格式模板。

步骤4：选择需要分析的日志文件，即选择需要进行融合分析的多个日志文件。

步骤5：从条件库中选择分析条件模板。

步骤6：判断分析条件模板是否存在，如果不存在就进入步骤7，否则进入步骤8。

步骤7：定义日志分析条件模版。

步骤8：从报告库中选择报告格式模板。

步骤9：判断报告格式模板是否存在，如果不存在就进入步骤10，否则进入步骤11。

步骤10：定义报告格式模板。

步骤11：日志融合处理器，根据日志格式、分析条件，对日志进行梳理，将多个离散的日志文件内容通过时间处理器、模块处理器、内容处理器进行融合，提取出符合条件的日志内容。

步骤12：将符合条件的日志内容按照定义的报告格式进行输出。

本发明从常规的日志分析方法论述了文件分析领域存在的主要问题，从而有针对性的设计了日志格式库、日志条件库以及日志报告库，并对这三个库进行了详细说明，利用本文所提出的方法，可以在匹配不同的日志系统的同时，将原本离散的多文件内容进行有效融合，从而提高日志文件分析的效率并且增加用户体验。本发明适用于所有基于一定格式的日志系统的应用场合。本发明在烧结、连铸等多个项目的过程控制系统中能够成功实施，很好的提高了现场维护人员处理故障效率。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种基于规则的多文件信息分析方法，其特征在于，包括如下步骤：

步骤1：建立日志格式库、分析条件库以及报告库；

步骤2：在日志格式库中选择日志系统格式模板；

步骤3：判断日志系统格式模板是否存在，若不存在则进入步骤4，否则进入步骤5；

步骤4：配置日志系统格式模板；

步骤5：选择需要分析的日志文件；

步骤6：从分析条件库中选择分析条件模板；

步骤7：判断分析条件模板是否存在，若不存在就进入步骤8，否则进入步骤9；

步骤8：配置日志分析条件模板；

步骤9：从报告库中选择报告格式模板；

步骤10：判断报告格式模板是否存在，若不存在就进入步骤11，否则进入步骤12；

步骤11：配置报告格式模板；

步骤12：对日志文件进行融合处理；

步骤13：将符合条件的日志文件中的日志内容按照报告格式模板进行输出。

2.根据权利要求1所述的基于规则的多文件信息分析方法，其特征在于，所述分析条件模板包括日志级别、日志时间、日志关键字中的任一种或任多种。

3.根据权利要求1所述的基于规则的多文件信息分析方法，其特征在于，所述报告格式模板包括日志内容和日志输出次序。

4.根据权利要求1所述的基于规则的多文件信息分析方法，其特征在于，在步骤3之前，还包括如下步骤：

-根据日志系统格式模板搜索日志格式库。

5.根据权利要求1所述的基于规则的多文件信息分析方法，其特征在于，在步骤4中，还包括如下步骤：

步骤4.1：按照日志文件，配置日志系统格式模板；

步骤4.2：将日志系统格式模版记录到日志格式库中。

6.根据权利要求1或3所述的基于规则的多文件信息分析方法，其特征在于，在步骤8中，还包括如下步骤：

步骤8.1：根据目标结果，配置分析条件模板；

步骤8.2：将分析条件模板记录到分析条件库中。

7.根据权利要求3所述的基于规则的多文件信息分析方法，其特征在于，在步骤11中，还包括如下步骤：

步骤11.1：根据目标内容和输出方式配置报告格式模板；

步骤11.2：将报告格式模板记录到报告库中。

8.根据权利要求1所述的基于规则的多文件信息分析方法，其特征在于，在步骤12中，还包括如下步骤：

步骤12.1：根据日志系统格式和分析条件模板，将多个离散的日志文件的日志内容通过时间处理器、模块处理器和内容处理器进行融合；

步骤12.2：提取出符合条件的日志内容。

9.根据权利要求1所述的基于规则的多文件信息分析方法，其特征在于，在步骤7之前，还包括如下步骤：

-根据分析条件模板搜索分析条件库。