CN108334524A - 一种storm日志错误分析方法及装置 - Google Patents

Abstract

本发明公开了一种storm日志错误分析方法，所述方法包括：获取storm日志，为所述storm日志添加对应的级别标识；将添加所述级别标识的所有storm日志存储于设定存储区；根据所述存储区中包含错误信息的第一storm日志的级别标识中的错误级别，在日志知识库中查找与所述第一storm日志的错误级别匹配的第二storm日志，并获取所述第二storm日志所对应的错误分析，将所述错误分析作为所述第一storm日志的错误分析进行输出。本发明还公开了一种storm日志错误分析装置。

Description

一种storm日志错误分析方法及装置

技术领域

本发明涉及日志分析技术，尤其涉及一种storm日志错误分析方法及装置。

背景技术

storm是一种分布式的实时计算系统，可以方便地在一个计算机集群中编写及扩展复杂的实时计算。storm流计算框架具有灵活的处理流程构建、高效的分布式并行以及透明容错等特点，能够有效地提高实时流处理应用的开发效率，成为产业界快速构建实时流计算应用的首选。

工程师在开发基于storm的应用程序时，往往会事先在开发环境中运行业务程序，在业务程序运行无误后再将其提交到流处理平台storm上运行。

现有的日志管理通常将所有日志都打印到同一个日志文件中，在一个日志文件中可能穿插着打印若干个处理单元打印的日志。在出现storm错误时，较难定位错误。

由于开源的原因，storm错误繁多，且未将这些错误标识管理，用户定位问题较为困难，解决问题成本很大。

另外，同一个storm业务单元日志往往分散在不同服务器上，查找日志耗时耗力。

发明内容

为解决上述技术问题，本发明实施例提供一种storm日志错误分析方法及装置，以便于快速准确定位storm错误。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种storm日志错误分析方法，包括：

获取storm日志，为所述storm日志添加对应的级别标识；

将添加所述级别标识的所有storm日志存储于设定存储区；

根据所述存储区中包含错误信息的第一storm日志的级别标识中的错误级别，在日志知识库中查找与所述第一storm日志的错误级别匹配的第二storm日志，并获取所述第二storm日志所对应的错误分析，将所述错误分析作为所述第一storm日志的错误分析进行输出。

上述方案中，所述为所述storm日志添加对应的级别标识前，所述方法还包括：

为所述storm日志设置设定阈值数量的级别，所述设定阈值数量的级别分属于至少四种类型。

上述方案中，所述将添加所述级别标识的所有storm日志存储于设定存储区前，所述方法还包括：

按照所述storm日志的来源为各storm日志添加对应的来源标识；

按照所述storm日志的存储类型为各storm日志添加对应的存储类型标识；

将添加所述级别标识的所有storm日志存储于设定存储区，包括：根据各storm日志的存储类型标识对storm日志进行分类，再对各存储类型的storm日志按所述来源标识进行再次分类，将分类后的storm日志存储于设定存储区。

上述方案中，所述将添加所述级别标识的所有storm日志存储于设定存储区，还包括：

在所述storm日志的错误级别超出第一预设错误级别时向用户发出错误告警。

上述方案中，所述将添加来源标识的所有storm日志存储于设定存储区之后，所述方法还包括：在所述storm日志的存储时长超过预设的存储时长阈值时，删除存储时长超过预设存储时长阈值的storm日志。

上述方案中，所述日志知识库包括错误分析数据，所述错误分析数据中包括包含错误信息的storm日志与其对应的错误分析的对应关系；其中，所述错误分析数据直接输入至所述日志知识库中；和/或，通过外部服务器查找错误分析数据，并将所查找出的错误分析数据存储于所述日志知识库中；和/或，通过外部服务器查找错误分析数据，将所查找出的错误分析数据作为所述日志知识库中的错误分析数据。

本发明实施里提供一种storm日志错误分析装置，所述装置包括：

日志标识单元，用于获取storm日志，为所述storm日志添加对应的级别标识；

日志存储单元，用于将添加所述级别标识的所有storm日志存储；

日志知识库，用于存储错误分析数据，所述错误分析数据中包括包含错误信息的storm日志与其对应的错误分析的对应关系；

日志查询单元，用于根据所述日志存储单元中包含错误信息的第一storm日志的级别标识中的错误级别，在日志知识库中查找与所述第一storm日志的错误级别匹配的第二storm日志，并获取所述第二storm日志所对应的错误分析，将所述错误分析作为所述第一storm日志的错误分析进行输出。

上述方案中，所述日志标识单元还用于：

为所述storm日志设置设定阈值数量的级别，所述设定阈值数量的级别分属于至少四种类型。

上述方案中，所述日志标识单元还用于：按照所述storm日志的来源为所接收的各storm日志添加对应的来源标识；按照所述storm日志的存储类型为所述接收的各storm日志添加对应的存储类型标识；

所述日志存储单元还用于根据各storm日志的存储类型标识对storm日志进行分类，再对各存储类型的storm日志按所述来源标识进行再次分类，将分类后的storm日志存储于设定存储区。

上述方案中，所述日志标识单元还用于：

在所述storm日志的错误级别超出第一预设错误级别时向用户发出错误告警。

上述方案中，所述日志存储单元还用于在所述storm日志的存储时长超过预设的存储时长阈值时，删除存储时长超过预设存储时长阈值的storm日志。

上述方案中，所述日志知识库还用于：

直接导入所述错误分析数据；和/或，通过外部服务器查找错误分析数据，并将所查找出的错误分析数据存储；和/或，通过外部服务器查找错误分析数据，将所查找出的错误分析数据向所述日志查询单元输出。

本发明实施例所提供的storm日志错误分析方法及装置，通过将添加级别标识的所有storm日志存储于设定存储区后，根据存储区中storm日志的错误级别在日志知识库中查找与该错误级别匹配的错误分析，可以快速查找分析storm日志错误。

附图说明

图1为本发明实施例storm日志错误分析方法的实现流程图；

图2为本发明实施例storm日志错误分析装置的组成结构示意图；

图3为本发明实施例中的一种storm日志错误分析方法的具体流程示意图。

具体实施方式

为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。

图1为本发明实施例storm日志错误分析方法的实现流程图，如图1所示，本发明实施例提供的storm日志错误分析方法包括：

步骤101，获取storm日志，为storm日志添加对应的级别标识。

步骤102，将添加级别标识的所有storm日志存储于设定存储区。

步骤103，根据包含错误信息的第一storm日志的级别标识中的错误级别，在日志知识库中查找与第一storm日志的错误级别匹配的第二storm日志，并获取第二storm日志所对应的错误分析，将错误分析作为第一storm日志的错误分析进行输出。

在步骤101中，在storm的进程(worker)中以一个单独的线程运行时，将storm日志内容进行标识并实时输出。

在步骤101中，标识内容包括级别标识，此外，标识内容还包括来源标识和存储类型标识，其添加过程为：

按照storm日志的来源为所接收的各storm日志添加对应的来源标识；

以及，按照storm日志的存储类型为接收的各storm日志添加对应的存储类型标识。

其中，在将日志进行级别标识的过程中，将日志的错误级别按照预设的标准设置之前，需要为storm日志设置设定阈值数量的级别，设定阈值数量的级别分属于至少四种类型。

例如，级别类型可以设置为Debug、Info、Warn、Error，其中，每种类型可以包括至少一个级别。以Error类型为例，可以设置三种级别Error1、Error2、Error3。

另外，在对日志进行标识时，需要标识日志的输出格式，例如log4j和logback。该输出格式可以由用户指定。其中，在对日志进行来源标识时，使用标签对日志来源进行标识，该方案可以定位输出日志的具体处理单元。该标签的格式也可以由用户进行定义。

在步骤102中，将storm日志存储于设定存储区时，根据各storm日志的存储类型标识对storm日志进行分类，再对各存储类型的storm日志按来源标识进行再次分类，将分类后的storm日志存储于设定存储区。按照存储类型标识存储storm日志，具体地，可以将storm日志基于业务(Topology)存储于设定存储区；也可以将storm日志基于运行方式存储于设定存储区。

在基于Topology进行存储时，一个Topology可以对应一个或多个worker，一个worker会对应其中不同的处理单元；在基于运行方式进行存储时，采用一对多的映射关系。一个worker将会对应多个executor源，一个线程源会对应一个或多个处理单元，表示一个worker中会运行多个线程源，而在一个实例中可能有多个处理单元。

在步骤102后，在storm日志的错误级别超出第一预设错误级别时向用户发出错误告警。具体地，在对日志进行切割解析后，按照存在错误的日志级别进行告警，以提醒用户查看错误日志。

在步骤102后，将storm日志进行存储时，可以为日志设定一个存储时长阈值，在storm日志的存储时长超过预设的存储时长阈值时，删除存储时长超过预设存储时长阈值的storm日志。

及时清理过期日志可以节省存储空间，优化系统结构。

在步骤103中，查询存储的日志时，可以按照日志级别查找相关日志，并将优先级最高的错误日志通过前台界面提示用户，以便于快速高效地定位storm错误；查询存储的日志时，可以按照存储日志的不同的存储方式，追溯打印日志的worker中的处理单元的内容；另外，还可以将日志信息批量导出，方便数据备份。

在步骤103中，将storm日志按照级别标识与日志知识库中的错误分析数据进行匹配，以查找与错误类型相对应的错误的处理方式。

日志知识库包括错误分析数据，错误分析数据中包括包含错误信息的storm日志与其对应的错误分析的对应关系；其中，错误分析数据可以直接输入至日志知识库中；也可以通过外部服务器查找错误分析数据，并将所查找出的错误分析数据存储于日志知识库中；还可以通过外部服务器查找错误分析数据，将所查找出的错误分析数据直接作为日志知识库中的错误分析数据。

通过查询日志知识库，可以获取曾出现过相同错误的storm日志，以及该日志相对应的错误分析；用户可以通过日志知识库的扩展接口将出现错误的storm日志以及该storm日志相对应的解决方法等外部资料导入日志知识库；此外，还可以使用日志知识库的外部查询功能通过搜索网站查看相同错误的处理方式。

本发明实施例所提供的storm日志错误分析方法，通过将添加级别标识的所有storm日志存储于设定存储区后，根据存储区中storm日志的错误级别在日志知识库中查找与该错误级别匹配的错误分析，可以快速查找分析storm日志错误。

如图2所示，本发明实施例提供一种storm日志错误分析装置，该装置包括：

日志标识单元201，用于获取storm日志，为storm日志添加对应的级别标识。

日志存储单元202，用于将添加级别标识的所有storm日志存储。

日志知识库203，用于存储错误分析数据，错误分析数据中包括包含错误信息的storm日志与其对应的错误分析的对应关系。

日志查询单元204，用于根据日志存储单元中包含错误信息的第一storm日志的级别标识中的错误级别，在日志知识库中查找与第一storm日志的错误级别匹配的第二storm日志，并获取第二storm日志所对应的错误分析，将错误分析作为第一storm日志的错误分析进行输出。

在storm的进程(worker)中以一个单独的线程运行时，日志标识单元201将storm日志内容进行标识并实时输出。

除级别标识外，标识内容还包括来源标识和存储类型标识，其添加过程为：按照storm日志的来源为所接收的各storm日志添加对应的来源标识；以及，按照storm日志的存储类型为接收的各storm日志添加对应的存储类型标识。

其中，日志标识单元201将日志进行级别标识即将日志的错误级别按照预设的标准设置之前，日志标识单元201需要为storm日志设置设定阈值数量的级别，设定阈值数量的级别分属于至少四种类型。

例如，级别类型可以设置为Debug、Info、Warn、Error，其中，每种类型可以包括至少一个级别。以Error类型为例，可以设置三种级别Error1、Error2、Error3。

另外，在对日志进行标识时，需要标识日志的输出格式，例如log4j和logback。该输出格式可以由用户指定。其中，在对日志进行来源标识时，使用标签对日志来源进行标识，该方式可以定位输出日志的具体处理单元。该标签的格式也可以由用户进行定义。

日志存储单元202将storm日志存储于设定存储区时，根据各storm日志的存储类型标识对storm日志进行分类，再对各存储类型的storm日志按来源标识进行再次分类，将分类后的storm日志存储于设定存储区。按照存储类型标识存储storm日志，可以将storm日志基于Topology存储于设定存储区；也可以将storm日志基于运行方式存储于设定存储区。

日志存储单元202在将日志基于Topology进行存储时，一个Topology可以对应一个或多个worker206，一个worker会对应其中不同的处理单元；日志存储单元202在将日志基于运行方式进行存储时，采用一对多的映射关系。一个worker将会对应多个executor源，一个线程源会对应一个或多个处理单元，表示一个worker中会运行多个线程源，而在一个实例中可能有多个处理单元。

日志标识单元201在storm日志的错误级别超出第一预设错误级别时向用户发出错误告警。

具体地，日志标识单元201在对日志进行切割解析后，按照存在错误的日志级别进行告警，以提醒用户查看错误日志。

可以为存储的日志设定一个存储时长阈值，日志存储单元202在storm日志的存储时长超过预设的存储时长阈值时，删除存储时长超过预设存储时长阈值的storm日志。

及时清理过期日志可以节省存储空间，优化系统结构。

日志查询单元204查询存储的日志时，可以按照日志级别查找相关日志，并将优先级最高的错误日志通过前台界面提示用户，以便于快速高效地定位storm错误；查询日志时，可以按照存储日志的不同的存储方式，追溯打印日志的worker中的处理单元的内容；另外，还可以将日志信息批量导出，方便数据备份。

日志知识库203可以直接导入错误分析数据；也可以通过外部服务器查找错误分析数据，并将所查找出的错误分析数据存储；还可以通过外部服务器查找错误分析数据，将所查找出的错误分析数据向日志查询单元输出。

通过查询日志知识库203，可以获取曾出现过相同错误的storm日志，以及该日志相对应的错误分析；用户可以通过日志知识库的扩展接口将出现错误的storm日志以及该storm日志相对应的解决方法等外部资料导入日志知识库；此外，还可以使用日志知识库的外部查询功能通过搜索网站查看相同错误的处理方式。

如图2所示，本发明实施例storm日志错误分析装置还包括配置单元205，配置单元205用于对日志标识单元201、日志存储单元202、日志知识库203和日志查询单元204进行初始化配置。

如图3所示的一种storm日志错误分析方法的具体流程包括：首先通过配置单元对storm日志错误分析装置进行初始化配置；在日志标识单元加载配置信息后，启动日志标识单元；之后，需获取预设的级别设置标准，并按照该级别设置标准为日志进行级别标识。日志标识单元将日志标识后输出至日志存储单元时，根据配置确定采用基于运行方式存储和基于Topology存储的方式存储日志，并在日志的错误级别超出第一预设错误级别时发出错误信息提醒；日志查询单元判断是否需要日志分析；并在不需要进行日志分析时直接获取查询结果，以及，在需要进行日志分析时通过查询日志知识库获取查询结果；根据获取的查询结果处理storm日志错误。

本发明实施例所提供的storm日志错误分析装置，通过将添加级别标识的所有storm日志存储于设定存储区后，根据存储区中storm日志的错误级别在日志知识库中查找与该错误级别匹配的错误分析，可以快速查找分析storm日志错误。

在实际应用中，日志标识单元201、日志存储单元202、日志知识库203、日志查询单元204及配置单元205均可由位于storm日志错误分析装置上的中央处理器(CPU，CentralProcessing Unit)、微处理器(MPU，Micro Processor Unit)、数字信号处理器(DSP，Digital Signal Processor)、或现场可编程门阵列(FPGA，Field Programmable GateArray)等实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (12)

1.一种storm日志错误分析方法，其特征在于，所述方法包括：

获取storm日志，为所述storm日志添加对应的级别标识；

将添加所述级别标识的所有storm日志存储于设定存储区；

根据所述存储区中包含错误信息的第一storm日志的级别标识中的错误级别，在日志知识库中查找与所述第一storm日志的错误级别匹配的第二storm日志，并获取所述第二storm日志所对应的错误分析，将所述错误分析作为所述第一storm日志的错误分析进行输出。

2.根据权利要求1所述的方法，其特征在于，所述为所述storm日志添加对应的级别标识前，所述方法还包括：

为所述storm日志设置设定阈值数量的级别，所述设定阈值数量的级别分属于至少四种类型。

3.根据权利要求1所述的方法，其特征在于，所述将添加所述级别标识的所有storm日志存储于设定存储区前，所述方法还包括：

按照所述storm日志的来源为各storm日志添加对应的来源标识；

按照所述storm日志的存储类型为各storm日志添加对应的存储类型标识；

将添加所述级别标识的所有storm日志存储于设定存储区，包括：根据各storm日志的存储类型标识对storm日志进行分类，再对各存储类型的storm日志按所述来源标识进行再次分类，将分类后的storm日志存储于设定存储区。

4.根据权利要求3所述的方法，其特征在于，所述将添加所述级别标识的所有storm日志存储于设定存储区，还包括：

在所述storm日志的错误级别超出第一预设错误级别时向用户发出错误告警。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述将添加来源标识的所有storm日志存储于设定存储区之后，所述方法还包括：在所述storm日志的存储时长超过预设的存储时长阈值时，删除存储时长超过预设存储时长阈值的storm日志。

6.根据权利要求1所述的方法，其特征在于，所述日志知识库包括错误分析数据，所述错误分析数据中包括包含错误信息的storm日志与其对应的错误分析的对应关系；其中，所述错误分析数据直接输入至所述日志知识库中；和/或，通过外部服务器查找错误分析数据，并将所查找出的错误分析数据存储于所述日志知识库中；和/或，通过外部服务器查找错误分析数据，将所查找出的错误分析数据作为所述日志知识库中的错误分析数据。

7.一种storm日志错误分析装置，其特征在于，所述装置包括：

日志标识单元，用于获取storm日志，为所述storm日志添加对应的级别标识；

日志存储单元，用于将添加所述级别标识的所有storm日志存储；

日志知识库，用于存储错误分析数据，所述错误分析数据中包括包含错误信息的storm日志与其对应的错误分析的对应关系；

日志查询单元，用于根据所述日志存储单元中包含错误信息的第一storm日志的级别标识中的错误级别，在日志知识库中查找与所述第一storm日志的错误级别匹配的第二storm日志，并获取所述第二storm日志所对应的错误分析，将所述错误分析作为所述第一storm日志的错误分析进行输出。

8.根据权利要求7所述的装置，其特征在于，所述日志标识单元还用于：

为所述storm日志设置设定阈值数量的级别，所述设定阈值数量的级别分属于至少四种类型。

9.根据权利要求7所述的装置，其特征在于，所述日志标识单元还用于：按照所述storm日志的来源为所接收的各storm日志添加对应的来源标识；按照所述storm日志的存储类型为所述接收的各storm日志添加对应的存储类型标识；

所述日志存储单元还用于根据各storm日志的存储类型标识对storm日志进行分类，再对各存储类型的storm日志按所述来源标识进行再次分类，将分类后的storm日志存储于设定存储区。

10.根据权利要求9所述的装置，其特征在于，所述日志标识单元还用于：

在所述storm日志的错误级别超出第一预设错误级别时向用户发出错误告警。

11.根据权利要求7至10任一项所述的装置，其特征在于，所述日志存储单元还用于在所述storm日志的存储时长超过预设的存储时长阈值时，删除存储时长超过预设存储时长阈值的storm日志。

12.根据权利要求11所述的装置，其特征在于，所述日志知识库还用于：

直接导入所述错误分析数据；和/或，通过外部服务器查找错误分析数据，并将所查找出的错误分析数据存储；和/或，通过外部服务器查找错误分析数据，将所查找出的错误分析数据向所述日志查询单元输出。