CN116566873A - 一种基于elk的自动化日志分析方法、系统及存储介质 - Google Patents

Abstract

本申请公开了一种基于ELK的自动化日志分析方法、系统及存储介质。方法包括：在自动化测试系统对待测试交换机进行自动化执行测试的情况下，日志收集模块filebeat基于预设的采集规则，对测试生成的自动化测试日志进行采集并存储；根据预设的日志分析需求，日志过滤模块logstash对自动化测试日志进行过滤，以确定自动化测试日志中的需求分析日志；在需要对日志进行分析的情况下，日志搜索模块elasticsearch根据日志分析需求对应分析规则，对需求分析日志进行搜索传参，以完成分析获得分析结果，并将分析结果发送至展示监控模块kibana进行展示。本申请通过上述解决了现有技术中无法获得待分析模块所有历史日志，并进行统一分析的技术问题。

Description

一种基于ELK的自动化日志分析方法、系统及存储介质

技术领域

本申请涉及自动化测试技术领域，尤其涉及一种基于ELK的自动化日志分析方法、系统及存储介质。

背景技术

虽然经过30多年的发展，交换机已经相对成熟，但是随着新的应用场景的出现，仍然不断的有新需求涌现，这就要求企业不断的投入研发力量。同时也因为交换机有相对完善的解决方案，参与制造的企业非常多，竞争也非常激烈，每个企业都在想法设法的降低成本，每年都要使用一些价格更便宜的器件去替代之前相对昂贵的器件。在替换器件以后，原先稳定的产品可能就会出新的问题，需要投入人力和物力去适配新的硬件，否则如果质最不过关，很难让客户满意。在交换机研发和持续改进过程中，它的功能、性能、可靠性、稳定性等，都需要进行完整的验证，才能保证最终给用户提供合格的产品，从而持续提升企业的质量和口碑。

随着自动化测试在交换机测试领域越来越普及，传统测试过程中对于设备的日志以及自动化脚本日志大多采用测试报告中粗略的分析，仅仅能看到每一次脚本跑完之后的测试结果，以及对应的每一个测试用例的日志。由于无法得到整个模块的测试日志，因此，无法对历史上所有的日志进行统一分析，以得出该模块的历史问题。

发明内容

本申请实施例提供了一种基于ELK的自动化日志分析方法、系统及存储介质，用以解决如下技术问题：如何获得待分析模块所有历史日志，并进行统一分析。

第一方面，本申请实施例提供了一种基于ELK的自动化日志分析方法，其特征在于，应用于自动化日志分析系统，系统包括日志收集模块filebeat、日志过滤模块logstash、日志搜索模块elasticsearch、展示监控模块kibana，方法包括：在自动化测试系统对待测试交换机进行自动化执行测试的情况下，日志收集模块filebeat基于预设的采集规则，对测试生成的自动化测试日志进行采集并存储；根据预设的日志分析需求，日志过滤模块logstash对自动化测试日志进行过滤，以确定自动化测试日志中的需求分析日志；在需要对日志进行分析的情况下，日志搜索模块elasticsearch根据日志分析需求对应分析规则，对需求分析日志进行搜索传参，以完成分析获得分析结果，并将分析结果发送至展示监控模块kibana进行展示。

在本申请的一种实现方式中，在自动化测试系统对待测试交换机进行自动化执行测试之前，方法还包括：确定自动化测试系统、ELK日志收集分析系统及待测试交换机的管理网络及其物理链路；通过预设的网络环境配置设备为自动化测试系统、ELK日志收集分析系统及待测试交换机分配环境配置参数；其中，环境配置参数包括：管理网IP、配置SSH、telnet、SNMP。

在本申请的一种实现方式中，在自动化测试系统对待测试交换机进行自动化执行测试之前，方法还包括：在自动化测试系统中安装日志收集模块filebeat。

在本申请的一种实现方式中，方法还包括：自动化测试系统检测待测试交换机，判断待测试交换机是否生成异常运行dump文件；在确定待测试交换机生成异常运行dump文件的情况下，通过TFTP协议接收待测试交换机上传的异常运行dump文件，并将异常运行dump文件通过日志收集模块filebeat进行收集。

在本申请的一种实现方式中，方法还包括：自动化测试系统通过SNMP接收待测试交换机生成的syslog运行日志，并将syslog运行日志存储至自动化测试系统的syslog服务器；日志收集模块filebeat监听syslog服务器，并在syslog服务器新增syslog运行日志的情况下，收集syslog运行日志。

第二方面，本申请实施例还提供了一种基于ELK的自动化日志分析系统，其特征在于，系统包括：日志收集模块filebeat、日志过滤模块logstash、日志搜索模块elasticsearch、展示监控模块kibana；日志收集模块filebeat，用于在自动化测试系统对待测试交换机进行自动化执行测试的情况下，基于预设的采集规则，对测试生成的自动化测试日志进行采集并存储；日志过滤模块logstash，用于根据预设的日志分析需求，对自动化测试日志进行过滤，以确定自动化测试日志中的需求分析日志；日志搜索模块elasticsearch，用于在需要对日志进行分析的情况下，根据日志分析需求对应分析规则，对需求分析日志进行搜索传参，以完成分析获得分析结果，并将分析结果发送至展示监控模块kibana进行展示。

在本申请的一种实现方式中，系统还包括配置模块；配置模块，用于确定自动化测试系统、ELK日志收集分析系统及待测试交换机的管理网络及其物理链路；通过预设的网络环境配置设备为自动化测试系统、ELK日志收集分析系统及待测试交换机分配环境配置参数；其中，环境配置参数包括：管理网IP、配置SSH、telnet、SNMP；配置模块，还用于在自动化测试系统中安装日志收集模块filebeat。

在本申请的一种实现方式中，自动化测试系统，用于检测待测试交换机，判断待测试交换机是否生成异常运行dump文件；在确定待测试交换机生成异常运行dump文件的情况下，通过TFTP协议接收待测试交换机上传的异常运行dump文件，并将异常运行dump文件通过日志收集模块filebeat进行收集。

在本申请的一种实现方式中，自动化测试系统，还用于通过SNMP接收待测试交换机生成的syslog运行日志，并将syslog运行日志存储至自动化测试系统的syslog服务器；日志收集模块filebeat，还用于监听syslog服务器，并在syslog服务器新增syslog运行日志的情况下，收集syslog运行日志。

第三方面，本申请实施例还提供了一种基于ELK的自动化日志分析的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，应用于自动化日志分析系统，系统包括日志收集模块filebeat、日志过滤模块logstash、日志搜索模块elasticsearch、展示监控模块kibana，计算机可执行指令设置为：在自动化测试系统对待测试交换机进行自动化执行测试的情况下，日志收集模块filebeat基于预设的采集规则，对测试生成的自动化测试日志进行采集并存储；根据预设的日志分析需求，日志过滤模块logstash对自动化测试日志进行过滤，以确定自动化测试日志中的需求分析日志；在需要对日志进行分析的情况下，日志搜索模块elasticsearch根据日志分析需求对应分析规则，对需求分析日志进行搜索传参，以完成分析获得分析结果，并将分析结果发送至展示监控模块kibana进行展示。

本申请实施例提供的一种基于ELK的自动化日志分析方法、系统及存储介质，通过ELK日志分析系统，可以大幅提升自动化测试过程中的日志的利用率；对于设备日志和自动化运行日志可以在一个系统进行全局查找分析；对于历史中的每一次自动化执行记录均能够保存日志。基于上述方案对日志的分析能够提升后续产品质量，方便问题回溯，对于问题定位提供有力抓手。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种基于ELK的自动化日志分析方法流程图；

图2为本申请实施例提供的一种基于ELK的自动化日志分析系统内部结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种基于ELK的自动化日志分析方法、系统及存储介质，用以解决如下技术问题：如何获得待分析模块所有历史日志，并进行统一分析。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

图1为本申请实施例提供的一种基于ELK的自动化日志分析方法流程图。如图1所示，本申请实施例提供的一种基于ELK的自动化日志分析方法，应用于自动化日志分析系统，系统包括日志收集模块filebeat、日志过滤模块logstash、日志搜索模块elasticsearch、展示监控模块kibana，具体包括以下步骤：

步骤101、在自动化测试系统对待测试交换机进行自动化执行测试的情况下，日志收集模块filebeat基于预设的采集规则，对测试生成的自动化测试日志进行采集并存储。

在本申请的一个实施例中，在自动化测试系统对待测试交换机进行自动化执行测试之前，还需要确定自动化测试系统、ELK日志收集分析系统及待测试交换机的管理网络及其物理链路。

进一步地，通过预设的网络环境配置设备为自动化测试系统、ELK日志收集分析系统及待测试交换机分配环境配置参数；其中，环境配置参数包括：管理网IP、配置SSH、telnet、SNMP。

在本申请的一个实施例中，在自动化测试系统对待测试交换机进行自动化执行测试之前，还需要在自动化测试系统中安装日志收集模块filebeat。

在本申请的一个实施例中，在自动化测试系统对待测试交换机进行自动化执行测试的情况下，日志收集模块filebeat基于预设的采集规则，对测试生成的自动化测试日志进行采集并存储。

步骤102、根据预设的日志分析需求，日志过滤模块logstash对自动化测试日志进行过滤，以确定自动化测试日志中的需求分析日志。

步骤103、在需要对日志进行分析的情况下，日志搜索模块elasticsearch根据日志分析需求对应分析规则，对需求分析日志进行搜索传参，以完成分析获得分析结果，并将分析结果发送至展示监控模块kibana进行展示。

在本申请的一个实施例中，方法还包括：自动化测试系统检测待测试交换机，判断待测试交换机是否生成异常运行dump文件；在确定待测试交换机生成异常运行dump文件的情况下，通过TFTP协议接收待测试交换机上传的异常运行dump文件，并将异常运行dump文件通过日志收集模块filebeat进行收集。

在本申请的一个实施例中，方法还包括：自动化测试系统通过SNMP接收待测试交换机生成的syslog运行日志，并将syslog运行日志存储至自动化测试系统的syslog服务器；日志收集模块filebeat监听syslog服务器，并在syslog服务器新增syslog运行日志的情况下，收集syslog运行日志。

以上为本申请提出的方法实施例。基于同样的发明构思，本申请实施例还提供了一种基于ELK的自动化日志分析系统，其结构如图2所示。

图2为本申请实施例提供的一种基于ELK的自动化日志分析系统内部结构示意图。如图2所示，系统200包括：日志收集模块filebeat201、日志过滤模块logstash202、日志搜索模块elasticsearch203、展示监控模块kibana204、配置模块205。

在本申请的一个实施例中，日志收集模块filebeat201，用于在自动化测试系统对待测试交换机进行自动化执行测试的情况下，基于预设的采集规则，对测试生成的自动化测试日志进行采集并存储；日志过滤模块logstash202，用于根据预设的日志分析需求，对自动化测试日志进行过滤，以确定自动化测试日志中的需求分析日志；日志搜索模块elasticsearch203，用于在需要对日志进行分析的情况下，根据日志分析需求对应分析规则，对需求分析日志进行搜索传参，以完成分析获得分析结果，并将分析结果发送至展示监控模块kibana204进行展示。

在本申请的一个实施例中，系统还包括配置模块205；配置模块205，用于确定自动化测试系统、ELK日志收集分析系统及待测试交换机的管理网络及其物理链路；通过预设的网络环境配置设备为自动化测试系统、ELK日志收集分析系统及待测试交换机分配环境配置参数；其中，环境配置参数包括：管理网IP、配置SSH、telnet、SNMP；配置模块205，还用于在自动化测试系统中安装日志收集模块filebeat201。

在本申请的一个实施例中，自动化测试系统，用于检测待测试交换机，判断待测试交换机是否生成异常运行dump文件；在确定待测试交换机生成异常运行dump文件的情况下，通过TFTP协议接收待测试交换机上传的异常运行dump文件，并将异常运行dump文件通过日志收集模块filebeat201进行收集。

在本申请的一个实施例中，自动化测试系统，还用于通过SNMP接收待测试交换机生成的syslog运行日志，并将syslog运行日志存储至自动化测试系统的syslog服务器；日志收集模块filebeat201，还用于监听syslog服务器，并在syslog服务器新增syslog运行日志的情况下，收集syslog运行日志。

本申请的一些实施例提供的对应于图1的一种基于ELK的自动化日志分析的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，应用于自动化日志分析系统，系统包括日志收集模块filebeat、日志过滤模块logstash、日志搜索模块elasticsearch、展示监控模块kibana，计算机可执行指令设置为：

在自动化测试系统对待测试交换机进行自动化执行测试的情况下，日志收集模块filebeat基于预设的采集规则，对测试生成的自动化测试日志进行采集并存储；

根据预设的日志分析需求，日志过滤模块logstash对自动化测试日志进行过滤，以确定自动化测试日志中的需求分析日志；

在需要对日志进行分析的情况下，日志搜索模块elasticsearch根据日志分析需求对应分析规则，对需求分析日志进行搜索传参，以完成分析获得分析结果，并将分析结果发送至展示监控模块kibana进行展示。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于物联网设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的系统和介质与方法是一一对应的，因此，系统和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述系统和介质的有益技术效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于ELK的自动化日志分析方法，其特征在于，应用于自动化日志分析系统，所述系统包括日志收集模块filebeat、日志过滤模块logstash、日志搜索模块elasticsearch、展示监控模块kibana，所述方法包括：

在自动化测试系统对待测试交换机进行自动化执行测试的情况下，所述日志收集模块filebeat基于预设的采集规则，对测试生成的自动化测试日志进行采集并存储；

根据预设的日志分析需求，所述日志过滤模块logstash对所述自动化测试日志进行过滤，以确定所述自动化测试日志中的需求分析日志；

在需要对日志进行分析的情况下，所述日志搜索模块elasticsearch根据所述日志分析需求对应分析规则，对所述需求分析日志进行搜索传参，以完成分析获得分析结果，并将所述分析结果发送至所述展示监控模块kibana进行展示。

2.根据权利要求1所述的一种基于ELK的自动化日志分析方法，其特征在于，在自动化测试系统对待测试交换机进行自动化执行测试之前，所述方法还包括：

确定所述自动化测试系统、所述ELK日志收集分析系统及所述待测试交换机的管理网络及其物理链路；

通过预设的网络环境配置设备为所述自动化测试系统、所述ELK日志收集分析系统及所述待测试交换机分配环境配置参数；其中，所述环境配置参数包括：管理网IP、配置SSH、telnet、SNMP。

3.根据权利要求1所述的一种基于ELK的自动化日志分析方法，其特征在于，在自动化测试系统对待测试交换机进行自动化执行测试之前，所述方法还包括：

在所述自动化测试系统中安装所述日志收集模块filebeat。

4.根据权利要求1所述的一种基于ELK的自动化日志分析方法，其特征在于，所述方法还包括：

所述自动化测试系统检测所述待测试交换机，判断所述待测试交换机是否生成异常运行dump文件；

在确定所述待测试交换机生成异常运行dump文件的情况下，通过TFTP协议接收所述待测试交换机上传的所述异常运行dump文件，并将所述异常运行dump文件通过所述日志收集模块filebeat进行收集。

5.根据权利要求1所述的一种基于ELK的自动化日志分析方法，其特征在于，所述方法还包括：

所述自动化测试系统通过SNMP接收所述待测试交换机生成的syslog运行日志，并将所述syslog运行日志存储至所述自动化测试系统的syslog服务器；

所述日志收集模块filebeat监听所述syslog服务器，并在所述syslog服务器新增所述syslog运行日志的情况下，收集所述syslog运行日志。

6.一种基于ELK的自动化日志分析系统，其特征在于，所述系统包括：日志收集模块filebeat、日志过滤模块logstash、日志搜索模块elasticsearch、展示监控模块kibana；

所述日志收集模块filebeat，用于在自动化测试系统对待测试交换机进行自动化执行测试的情况下，基于预设的采集规则，对测试生成的自动化测试日志进行采集并存储；

所述日志过滤模块logstash，用于根据预设的日志分析需求，对所述自动化测试日志进行过滤，以确定所述自动化测试日志中的需求分析日志；

所述日志搜索模块elasticsearch，用于在需要对日志进行分析的情况下，根据所述日志分析需求对应分析规则，对所述需求分析日志进行搜索传参，以完成分析获得分析结果，并将所述分析结果发送至所述展示监控模块kibana进行展示。

7.根据权利要求1所述的一种基于ELK的自动化日志分析系统，其特征在于，所述系统还包括配置模块；

所述配置模块，用于确定所述自动化测试系统、所述ELK日志收集分析系统及所述待测试交换机的管理网络及其物理链路；

通过预设的网络环境配置设备为所述自动化测试系统、所述ELK日志收集分析系统及所述待测试交换机分配环境配置参数；其中，所述环境配置参数包括：管理网IP、配置SSH、telnet、SNMP；

所述配置模块，还用于在所述自动化测试系统中安装所述日志收集模块filebeat。

8.根据权利要求1所述的一种基于ELK的自动化日志分析系统，其特征在于，

所述自动化测试系统，用于检测所述待测试交换机，判断所述待测试交换机是否生成异常运行dump文件；

在确定所述待测试交换机生成异常运行dump文件的情况下，通过TFTP协议接收所述待测试交换机上传的所述异常运行dump文件，并将所述异常运行dump文件通过所述日志收集模块filebeat进行收集。

9.根据权利要求1所述的一种基于ELK的自动化日志分析系统，其特征在于，

所述自动化测试系统，还用于通过SNMP接收所述待测试交换机生成的syslog运行日志，并将所述syslog运行日志存储至所述自动化测试系统的syslog服务器；

所述日志收集模块filebeat，还用于监听所述syslog服务器，并在所述syslog服务器新增所述syslog运行日志的情况下，收集所述syslog运行日志。

10.一种基于ELK的自动化日志分析的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，应用于自动化日志分析系统，所述系统包括日志收集模块filebeat、日志过滤模块logstash、日志搜索模块elasticsearch、展示监控模块kibana，所述计算机可执行指令设置为：

在自动化测试系统对待测试交换机进行自动化执行测试的情况下，所述日志收集模块filebeat基于预设的采集规则，对测试生成的自动化测试日志进行采集并存储；

根据预设的日志分析需求，所述日志过滤模块logstash对所述自动化测试日志进行过滤，以确定所述自动化测试日志中的需求分析日志；

在需要对日志进行分析的情况下，所述日志搜索模块elasticsearch根据所述日志分析需求对应分析规则，对所述需求分析日志进行搜索传参，以完成分析获得分析结果，并将所述分析结果发送至所述展示监控模块kibana进行展示。