CN107391746A

CN107391746A - 日志分析方法、设备和计算机可读存储介质

Info

Publication number: CN107391746A
Application number: CN201710684810.7A
Authority: CN
Inventors: 卢道和; 杨军; 陈广胜; 陈翼
Original assignee: WeBank Co Ltd
Current assignee: WeBank Co Ltd
Priority date: 2017-08-10
Filing date: 2017-08-10
Publication date: 2017-11-24

Abstract

本发明公开了一种日志分析方法，该方法包括：采集集群中各个终端设备发送的日志；对采集的日志进行过滤归类处理，以得到各个类别的日志；通过预存的统计规则对各个类别的日志进行统计分析，以得到各个类别的日志对应的统计分析结果；采用预存指标对日志的统计分析结果进行校验，在有日志的统计分析结果不符合预存指标时，输出告警信息。本发明还公开了一种日志分析设备和计算机可读存储介质。本发明实现了对海量日志的监控，便于后续对系统作出调整，避免了服务长时间得不到响应而导致的系统崩溃。

Description

日志分析方法、设备和计算机可读存储介质

技术领域

本发明涉及大数据领域，尤其涉及一种日志分析方法、设备和计算机可读存储介质。

背景技术

随着通信技术的发展，集群中各种通信设备产生的数据越来越多，当集群产生大量日志，并上报系统中，若是上报的日志过多，无法及时监控服务是否正常运行，不能及时发现服务存在的问题，不能及时恢复服务。

发明内容

本发明的主要目的在于提供一种日志分析方法、设备和计算机可读存储介质，旨在解决现有的日志分析方式，无法及时监控服务是否正常运行，不能及时发现服务存在的问题，不能及时恢复服务的技术问题。

为实现上述目的，本发明提供一种日志分析方法，所述日志分析方法包括：

采集集群中各个终端设备发送的日志；

对采集的日志进行过滤归类处理，以得到各个类别的日志；

通过预存的统计规则对各个类别的日志进行统计分析，以得到各个类别的日志对应的统计分析结果；

采用预存指标对日志的统计分析结果进行校验，在有日志的统计分析结果不符合预存指标时，输出告警信息。

可选地，所述采集集群中各个终端设备发送的日志的步骤包括：

通过预设的服务接口实时采集集群中各个终端设备发送的日志，其中，通过所述服务接口接收到的日志是预设标准格式的日志。

可选地，所述对采集的日志进行过滤归类处理，以得到各个类别的日志的步骤包括：

定时查询采集到的日志中携带的属性信息；

根据日志中携带的属性信息，对日志进行过滤分类处理，以得到各个类别的日志。

可选地，所述根据日志中携带的属性信息，对日志进行过滤分类处理，以得到各个类别的日志的步骤包括：

确定预设的任务类型中包含的属性信息，根据所述任务类型的属性信息，对采集的日志中不包含所述任务类型的属性信息的日志进行过滤，以得到包含有所述任务类型的属性信息的日志；

对包含有所述任务类型的属性信息的日志，按照属性信息进行分类，以将同一个属性信息的日志归为一类，从而得到各个类别的日志。

可选地，所述通过预存的统计规则对各个类别的日志进行统计分析，以得到各个类别的日志对应的统计分析结果的步骤包括：

按照资源消耗情况对每个类别的日志进行划分，以将每个类别的日志分成多份日志；

确定每个类别的日志对应的任务类型，并获取确定的每个任务类型对应的统计规则；

启动多个进程，由各个进程采用每个任务类型对应的统计规则，对对应的每个类别中的多份日志进行统计分析，以得到每个类别的日志对应的统计分析结果。

可选地，所述采用预存指标对日志的统计分析结果进行校验，在有日志的统计分析结果不符合预存指标时，输出告警信息的步骤包括：

提取各个类别的日志对应的预存指标阈值；

将各个类别的日志对应的统计分析结果与对应的预存指标阈值进行比较；

在有日志的统计分析结果超出该类日志对应的预存指标阈值时，输出告警信息。

可选地，所述通过预存的统计规则对各个类别的日志进行统计分析，以得到各个类别的日志对应的统计分析结果的步骤之后，所述日志分析方法还包括：

将各个类别的日志对应的统计分析结果存储到时间序列数据库中，以便在所述时间序列数据库中进行日志的查询。

可选地，所述日志分析方法应用于日志分析设备中，日志分析设备执行的日志分析的过程同步在备份设备中，以在所述日志分析设备故障时，由所述备份设备提供服务。

此外，为实现上述目的，本发明还提供一种日志分析设备，所述日志分析设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的日志分析程序，所述日志分析程序被所述处理器执行时实现如上文所述的日志分析方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有日志分析程序，所述日志分析程序被处理器执行时实现如上文所述的日志分析方法的步骤。

本发明提出的技术方案，先采集集群中各个终端设备发送的日志，然后对采集的日志进行过滤归类处理，以得到各个类别的日志，再通过预存的统计规则对各个类别的日志进行统计分析，以得到各个类别的日志对应的统计分析结果，采用预存指标对日志的统计分析结果进行校验，在有日志的统计分析结果不符合预存指标时，输出告警信息。本发明通过对海量日志进行分析统计，以得到统计分析结果，再通过预存指标参数对日志的统计分析结果进行校验，以根据校验结果输出相应的告警信息，实现了对海量日志的监控，便于后续对系统作出调整，避免了服务长时间得不到响应而导致的系统崩溃。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的日志分析设备结构示意图；

图2为本发明日志分析方法第一实施例的流程示意图；

图3为本发明日志分析方法第二实施例的流程示意图；

图4为图3中步骤S22的细化流程示意图；

图5为本发明日志分析方法第三实施例的流程示意图；

图6为本发明日志分析方法第四实施例的流程示意图；

图7为本发明日志分析方法第五实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的解决方案主要是：先采集集群中各个终端设备发送的日志，然后对采集的日志进行过滤归类处理，以得到各个类别的日志，再通过预存的统计规则对各个类别的日志进行统计分析，以得到各个类别的日志对应的统计分析结果，采用预存指标对日志的统计分析结果进行校验，在有日志的统计分析结果不符合预存指标时，输出告警信息。以解决现有的日志分析方式，无法及时监控服务是否正常运行，不能及时发现服务存在的问题，不能及时恢复服务的问题。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的日志分析设备结构示意图。

本发明实施例设备可以是PC(personal computer，个人计算机)，也可以是平板电脑、便携计算机或网络设备等具有显示功能的设备。

如图1所示，该日志分析设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口(例如用于连接有线键盘、有线鼠标等)、无线接口(例如用于连接无线键盘、无线鼠标)。网络接口1004可选的可以包括标准的有线接口(用于连接有线网络)、无线接口(如WI-FI接口、蓝牙接口、红外线接口等，用于连接无线网络)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，日志分析设备还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。

本领域技术人员可以理解，图1中示出的日志分析设备结构并不构成对日志分析设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及日志分析程序。其中，操作系统是管理和控制日志分析设备与软件资源的程序，支持网络通信模块、用户接口模块、日志分析程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。

在图1所示的日志分析设备中，网络接口1004主要用于连接备日志分析设备和终端设备，与备日志分析设备和终端设备进行数据通信；用户接口1003主要用于连接显示屏，与显示屏进行数据通信；所述日志分析设备通过处理器1001调用存储器1005中存储的日志分析程序，并执行以下步骤：

采集集群中各个终端设备发送的日志；

对采集的日志进行过滤归类处理，以得到各个类别的日志；

本实施例提出的技术方案，先采集集群中各个终端设备发送的日志，然后对采集的日志进行过滤归类处理，以得到各个类别的日志，再通过预存的统计规则对各个类别的日志进行统计分析，以得到各个类别的日志对应的统计分析结果，采用预存指标对日志的统计分析结果进行校验，在有日志的统计分析结果不符合预存指标时，输出告警信息。本发明通过对海量日志进行分析统计，以得到统计分析结果，再通过预存指标参数对日志的统计分析结果进行校验，以根据校验结果输出相应的告警信息，实现了对海量日志的监控，便于后续对系统作出调整，避免了服务长时间得不到响应而导致的系统崩溃。

进一步地，所述日志分析设备通过处理器1001调用存储器1005中存储的日志分析程序，以实现采集集群中各个终端设备发送的日志的步骤：

进一步地，所述日志分析设备通过处理器1001调用存储器1005中存储的日志分析程序，以实现对采集的日志进行过滤归类处理，以得到各个类别的日志的步骤：

定时查询采集到的日志中携带的属性信息；

进一步地，所述日志分析设备通过处理器1001调用存储器1005中存储的日志分析程序，以实现根据日志中携带的属性信息，对日志进行过滤分类处理，以得到各个类别的日志的步骤：

进一步地，所述日志分析设备通过处理器1001调用存储器1005中存储的日志分析程序，以实现通过预存的统计规则对各个类别的日志进行统计分析，以得到各个类别的日志对应的统计分析结果的步骤：

进一步地，所述日志分析设备通过处理器1001调用存储器1005中存储的日志分析程序，以实现采用预存指标对日志的统计分析结果进行校验，在有日志的统计分析结果不符合预存指标时，输出告警信息的步骤：

提取各个类别的日志对应的预存指标阈值；

进一步地，所述通过预存的统计规则对各个类别的日志进行统计分析，以得到各个类别的日志对应的统计分析结果的步骤之后，所述日志分析设备通过处理器1001调用存储器1005中存储的日志分析程序，以实现以下步骤：

进一步地，所述日志分析方法应用于日志分析设备中，日志分析设备执行的日志分析的过程同步在备份设备中，以在所述日志分析设备故障时，由所述备份设备提供服务。

基于上述日志分析设备的硬件结构，提出本发明日志分析方法的各个实施例。

参照图2，图2为本发明日志分析方法第一实施例的流程示意图。

在本实施例中，所述日志分析方法包括：

步骤S10，采集集群中各个终端设备发送的日志；

步骤S20，对采集的日志进行过滤归类处理，以得到各个类别的日志；

步骤S30，通过预存的统计规则对各个类别的日志进行统计分析，以得到各个类别的日志对应的统计分析结果。

步骤S40，采用预存指标对日志的统计分析结果进行校验，在有日志的统计分析结果不符合预存指标时，输出告警信息。

在本实施例中，所述日志分析方法应用于日志分析设备中，所述日志分析设备可选为图1所述的日志分析设备，即该日志分析设备可以为实体设备，此外，所述日志分析设备还可以是虚拟软件系统，如日志文件系统，具体不做限定。

本发明实施例中，所述日志分析设备包括日志分析引擎(Spark，专为大规模数据处理而设计的快速通用的计算引擎)和时序数据库(OpenTSDB，Open Time Sequence，时间序列数据库，该OpenTSDB是通过hbase(分布式存储系统)存储所有的时序(无须采样)构建的一个分布式、可伸缩的时序数据库)，所述日志分析引擎可以为图1所述的处理器，也可以是图1所述处理器的一个部件，所述时序数据库可以为图1所述的存储器，也可以是图1所述存储器的一个部件，具体不做限定。

本实施例中，所述集群中的各个终端设备包括但不限于包含应用程序的终端、网络设备和/或内置有负载均衡软件的终端。本发明实施例，主要是针对海量日志进行分析。

在本实施例中，日志分析设备采集集群中各个终端设备发送的日志，采集的方式优选采用定时采集。具体地，所述步骤S10包括：

在本实施例中，所述预设的服务接口包括log-api(log-applicationprogramming interface，日志-应用程序编程接口)或syslog(system log，系统日志)服务；所述预设标准格式可选为JSON格式。

所述log-api或syslog服务集成在业务系统中，该业务系统是独立于日志分析设备的系统，日志分析设备通过调用该业务系统的log-api或syslog服务，即可实现日志的采集。也就是说，本发明实施例中，日志分析设备是通过log-api或syslog服务采集集群中各个终端设备发送的日志。此外，由于本发明要实现日志的准实时分析，因此该日志分析设备通过log-api或syslog服务采集日志的方式优选是实时采集。

本发明实施中，还需要说明的是，syslog服务是通过UDP(User DatagramProtocol，用户数据报协议)协议的方式来接收集群中各个终端设备发送的日志，log-api通过TCP协议的方式来接收集群中各个终端设备发送的日志。当业务系统中的log-api在接收到集群中各个终端设备发送的日志时，主动将该日志上报至日志分析设备；同理，业务系统中的syslog服务接收到集群中的各个终端设备发送的日志时，将该日志上报至日志分析设备中。

应当理解的是，通过所述log-api或syslog服务采集日志数据，可以使采集到的数据是统一的标准格式即JSON格式，由于集群中各个终端设备不同，因此，可能导致上报的日志的格式不同，若日志采集设备采集的是不同格式的日志，需要先对日志的格式进行调整再分析，导致日志的分析效率降低，且耗费资源。因此，本实施例中，通过log-api或syslog服务采集日志，由于通过该log-api或syslog服务的日志可以统一转化成JSON格式，且JSON格式是一种轻量级的数据交换格式，任何支持的类型都可以通过JSON来表示，例如字符串、数字、数组等；同时，JSON又易于阅读和编写，也易于解析和生成，并有效提升网络传输效率，因此提升了日志分析设备分析日志的效率，并且降低了网络资源的耗费。

本发明实施例中，由于各个终端设备上报的日志数量较多，因此，各个终端设备优选通过消息队列的方式上报日志，由于消息队列具有先进先出的特点，使得日志的上报过程，是按照顺序依次执行，后续日志分析设备优先处理先接收到的日志，使得日志的分析具有时序性。此外，该消息队列还具有网络容灾的功能，使得上报日志的速度得以控制，不至于同一时刻上报的日志过多导致系统崩溃，从而以保证网络的稳定性。

在日志分析设备通过log-api或syslog服务采集到日志之后，对采集的日志进行过滤归类处理，以得到各个类别的日志。其中，日志分析设备对采集的日志进行过滤归类处理，是基于日志分析引擎实现的。

在得到各个类别的日志之后，再通过预存的统计规则对各个类别的日志进行统计分析，以得到各个类别的日志对应的统计分析结果，在得出各个日志的统计分析分析结果之后，采用预存指标对日志的统计分析结果进行校验，并在检测到在有日志的统计分析结果不符合预存指标时，输出告警信息。

进一步地，基于第一实施例提出本发明日志分析方法的第二实施例。

日志分析方法的第二实施例与日志分析方法的第一实施例的区别在于，参照图3，所述步骤S20包括：

步骤S21，定时查询采集到的日志中携带的属性信息；

步骤S22，根据日志中携带的属性信息，对日志进行过滤分类处理，以得到各个类别的日志。

也就是说，当日志分析设备采集到日志之后，先基于日志分析引擎对采集到的日志进行分析，以查询日志中携带的属性信息，本实施例中，基于日志分析引擎对日志进行分析优选通过定时分析的方式，即日志分析引擎每隔预设时间间隔如1分钟，对采集的日志进行分析，以查看日志中携带的属性信息。本实施例中，所述属性信息可选为特定字段，如“login”字段或其它字段等等。在查询出日志携带的属性信息之后，根据日志中携带的属性信息，对日志进行过滤处理，以得到各个类别的日志。

其中，参照图4，所述步骤S22包括：

步骤S221、确定预设的任务类型中包含的属性信息，根据所述任务类型的属性信息，对采集的日志中不包含所述任务类型的属性信息的日志进行过滤，以得到包含有所述任务类型的属性信息的日志；

步骤S222、对包含有所述任务类型的属性信息的日志，按照属性信息进行分类，以将同一个属性信息的日志归为一类，从而得到各个类别的日志。

本实施例中，相当于是系统事先设置有任务类型，该事先设置的任务类型可以包括一种，也可以包括多种，具体根据实际情况设定，若事先设置的任务类型只有一种，那么对应的属性信息也只有一种，后续对日志进行过滤处理，也只是得到一类日志，若事先设置的任务类型包括多种，那么对应的属性信息也包括多种，后续对日志进行过滤处理，得到多个类别的日志。

在本实施例中，通过日志分析引擎对日志进行过滤分类处理，以得到各个类别的日志，便于后续针对性的对各个类别的日志的进行分析统计，无须全部都进行分析统计，提高日志分析统计的准确性和效率。

进一步地，基于第一或第二实施例提出本发明日志分析方法的第三实施例。

日志分析方法的第三实施例与日志分析方法的第一或第二实施例的区别在于，参照图5，所述步骤S30包括：

步骤S31，按照资源消耗情况对每个类别的日志进行划分，以将每个类别的日志分成多份日志；

在本实施例中，在得到各个类别的日志之后，采用日志分析引擎中的流式计算框架(Spark Streaming)，并按照系统的资源消耗情况对每个类别的日志进行划分，以将每个类别的日志分成多份日志。通过流式计算框架对日志进行划分，使得划分后的日志可类似batch批量处理的方式进行处理，划分后的每份日志的容量都是相等的。

步骤S32，确定每个类别的日志对应的任务类型，并获取确定的每个任务类型对应的统计规则；

上文已经以及，日志类别的划分，是通过任务类型的属性信息进行划分的，因此，与每类日志含有相同属性信息的任务类型，就是每个类别的日志对应的任务类型。

在确定每个类别的日志对应的任务类型之后，获取每个类型对应的统计规则，在本实施例中，所述统计规则包括：求和、求平均值或求最大值。统计规则是事先在日志分析引擎中抽取统计的规则，该统计规则被输出成标准的任务类型；后续有新增类似需求的任务，直接使用标准的统计任务规则，只要配置不同的统计项目和输出指标即可。

步骤S33，启动多个进程，由各个进程采用每个任务类型对应的统计规则，对对应的每个类别中的多份日志进行统计分析，以得到每个类别的日志对应的统计分析结果。

在获取到每个任务类型对应的统计规则之后，在日志分析引擎中启动多个进程(用Executor表示)，再由启动的各个进程采用每个任务类型对应的统计规则对对应的每个类别中的多份日志进行统计分析，也就是说对每个类别中的多份日志进行求和、求平均值或求最大值，最终得到每个类别的日志对应的统计分析结果。

在本实施例中，按照系统的资源消耗情况对每个类别的日志进行划分，以将每个类别的日志分成多份日志，再启动多个进程对各个类别的多份日志进行分析统计，相当于是将大任务分成多个小任务进行统计分析，提高了日志分析统计的效率。

进一步地，基于第一至第三实施例提出本发明日志分析方法的第四实施例。

日志分析方法的第四实施例与日志分析方法的第一至第三实施例的区别在于，参照图6，所述步骤S40包括：

步骤S41，提取各个类别的日志对应的预存指标阈值；

步骤S42，将各个类别的日志对应的统计分析结果与对应的预存指标阈值进行比较；

步骤S43，在有日志的统计分析结果超出该类日志对应的预存指标阈值时，输出告警信息。

在本实施例中，在得出各个日志的统计分析分析结果之后，提取出各个类别的日志对应的预存指标阈值，然后将各个类别的日志对应的统计分析结果与该类日志对应的预存指标阈值进行比较，若检测到有日志的统计分析结果超出对应的预存指标阈值时，输出告警信息，

为更好理解本发明实施，以举例场景进行举例：

例如日志分析设备统计终端中的APP一分钟被登录多少次，只需要监控登录的URL一分钟被访问多少次即可。而每个URL被访问都会产生一条访问日志，业务系统的log-api或syslog服务收集这部分日志，并收集URL访问的时间、访问的耗时、访问的返回状态等信息，组成一个完成、可描述登录动作的JSON字符串，并发往日志分析引擎Log-Analyzer。当日志分析引擎Log-Analyzer采集到日志之后，可以套用求和的标准任务，同时配置该任务指定监控URL包含“login”字段，然后以一分钟的间隔收集并统计日志即可。若事先设置APP一分钟内被登录超时超过两次则输出告警信息，且在根据日志的统计分析结果，发现APP一分钟内被登录超时超过两次时，即可输出告警信息。

本实施例中，通过对各类日志的统计分析结果进行校验，并在校验出问题时，输出告警信息，便于后续对系统进行调整，而不是等到服务长时间得不到响应而导致系统崩溃，本实施提高了日志统计分析的智能性。

进一步地，基于第一至第四实施例提出本发明日志分析方法的第五实施例。

日志分析方法的第五实施例与日志分析方法的第一至第四实施例的区别在于，所述步骤S30之后，参照图7，所述方法还包括：

步骤S50，将各个类别的日志对应的统计分析结果存储到时间序列数据库中，以便在所述时间序列数据库中进行日志的查询。

在本实施例中，所述步骤S50可位于步骤S30之后，步骤S40之前，此外，还可位于步骤S40之后，具体不做限定。

在本实施例中，在得到各个类别的日志对应的统计分析结果之后，将各个类别的日志的统计分析结果存储到时间序列数据库中，优选的，将各个类别的日志的统计分析结果存储到时间序列数据库的各个存储区中，以从各个存储区中进入时间序列数据库中的Hbase中进行存储，以便后续根据查询指标在系统进行查询和监控告警。

由于各个类别的日志的统计分析结果通过时间序列数据库的各个存储区中，以存储到时间序列数据库中的Hbase中，实现的日志的存储同样是通过多进程进行存储，提高了日志存储的效率。需要说明的是，时间序列数据库支持秒级数据采集所有统计分析结果，支持永久存储，可以做容量规划，并很容易的接入到现有的报警系统里。

进一步地，所述步骤S40之后，所述方法还包括：

步骤A，基于系统当前的容量，对系统进行扩容或调整。

例如，可以抽取1年内用户每天访问业务系统的次数，并形成趋势图，这样就可以很方便的评估当前系统的容量，决定何时需要对系统进行扩容；另外，可以实时抽取APP登录使用耗时，来评估系统当前的服务能力，如果登录耗时超过指定阈值，连接告警系统输出告警，提醒系统需要进行性能提升。

在本实施例中，通过日志统计分析结果的存储，便于后续进行日志的查询，而根据统计分析结果，结合系统当前的容量，对系统进行扩容或调整，便于提升系统的性能，提高了日志分析的智能性。

进一步地，基于第一至第五实施例提出本发明日志分析方法的第六实施例。

日志分析方法的第六实施例与日志分析方法的第一至第五实施例的区别在于:

所述日志分析方法应用于日志分析设备中，日志分析设备执行的日志分析的过程同步在备份设备中，以在所述日志分析设备故障时，由所述备份设备提供服务。

在本实施例中，相当于是对海量日志的统计分析过程，由备份设备进行进行备份，该备份设备同样可以为日志分析设备，通过备份设备的备份，实现了日志分析设备故障的情况下，由该备份设备继续提供服务，不影响日志的存储和使用，准确性和智能性更高。

综上所述，本发明实施例中，相当于是通过海量日志准实时分析系统，从大规模的集群(包括集群中的应用程序、网络设备、负载均衡软件)中获取日志，并提交给日志分析引擎进行准实时统计分析，获取相应的统计分析结果并进行存储、索引以及服务，从而使得这些数据更容易让人理解，让业务运营人员更及时的监控集群状态，以便对系统进行调整或扩容。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有日志分析程序，所述日志分析程序被处理器执行时实现如下操作：

采集集群中各个终端设备发送的日志；

对采集的日志进行过滤归类处理，以得到各个类别的日志；

进一步地，所述日志分析程序被处理器执行时，还实现采集集群中各个终端设备发送的日志的操作：

进一步地，所述日志分析程序被处理器执行时，还实现对采集的日志进行过滤归类处理，以得到各个类别的日志的操作：

定时查询采集到的日志中携带的属性信息；

进一步地，所述日志分析程序被处理器执行时，还实现根据日志中携带的属性信息，对日志进行过滤分类处理，以得到各个类别的日志的操作：

进一步地，所述日志分析程序被处理器执行时，还实现通过预存的统计规则对各个类别的日志进行统计分析，以得到各个类别的日志对应的统计分析结果的操作：

进一步地，所述日志分析程序被处理器执行时，还实现采用预存指标对日志的统计分析结果进行校验，在有日志的统计分析结果不符合预存指标时，输出告警信息的操作：

提取各个类别的日志对应的预存指标阈值；

进一步地，所述通过预存的统计规则对各个类别的日志进行统计分析，以得到各个类别的日志对应的统计分析结果的步骤之后，所述日志分析程序被处理器执行时，还实现以下操作：

进一步地，所述日志分析方法应用于日志分析设备中，日志分析设备执行的日志分析的过程同步在备份设备中，以在所述日志分析设备故障时，由所述备份设备提供服务

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种日志分析方法，其特征在于，所述日志分析方法包括以下步骤：

采集集群中各个终端设备发送的日志；

对采集的日志进行过滤归类处理，以得到各个类别的日志；

2.如权利要求1所述的日志分析方法，其特征在于，所述采集集群中各个终端设备发送的日志的步骤包括：

3.如权利要求1所述的日志分析方法，其特征在于，所述对采集的日志进行过滤归类处理，以得到各个类别的日志的步骤包括：

定时查询采集到的日志中携带的属性信息；

4.如权利要求3所述的日志分析方法，其特征在于，所述根据日志中携带的属性信息，对日志进行过滤分类处理，以得到各个类别的日志的步骤包括：

5.如权利要求1所述的日志分析方法，其特征在于，所述通过预存的统计规则对各个类别的日志进行统计分析，以得到各个类别的日志对应的统计分析结果的步骤包括：

6.如权利要求1所述的日志分析方法，其特征在于，所述采用预存指标对日志的统计分析结果进行校验，在有日志的统计分析结果不符合预存指标时，输出告警信息的步骤包括：

提取各个类别的日志对应的预存指标阈值；

7.如权利要求1所述的日志分析方法，其特征在于，所述通过预存的统计规则对各个类别的日志进行统计分析，以得到各个类别的日志对应的统计分析结果的步骤之后，所述日志分析方法还包括：

8.如权利要求1-7任一项所述的日志分析方法，其特征在于，所述日志分析方法应用于日志分析设备中，日志分析设备执行的日志分析的过程同步在备份设备中，以在所述日志分析设备故障时，由所述备份设备提供服务。

9.一种日志分析设备，其特征在于，所述日志分析设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的日志分析程序，所述日志分析程序被所述处理器执行时实现如权利要求1至8中任一项所述的日志分析方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有日志分析程序，所述日志分析程序被处理器执行时实现如权利要求1至8中任一项所述的日志分析方法的步骤。