CN114428715A - 一种日志处理方法、装置、系统及存储介质 - Google Patents

Abstract

本发明实施例公开了一种日志处理方法、装置、系统及存储介质。该方法应用于日志处理系统，可包括：获取待运维软件的日志信息，对日志信息进行格式标准化，根据格式标准化结果更新日志信息，其中，各日志信息来源于待运维软件、和/或与待运维软件关联的终端、服务器和网络中的至少一个；若对日志信息进行处理后得到异常信息，则确定异常信息的异常属性，并根据异常属性判断是否进行异常预警；若是，则根据异常信息和/或日志信息生成预警信息，并基于预警信息进行异常预警。本发明实施例的技术方案，可以主动获取待运维软件的日志信息，对存在异常的日志信息进行异常预警，由此达到了对待运维软件的故障所在进行快速定位的效果。

Description

一种日志处理方法、装置、系统及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种日志处理方法、装置、系统及存储介质。

背景技术

随着计算机技术、网络技术、IT行业的飞速发展，应用软件在人们的日常生活、学习和工作中发挥着越来越大的作用。由于应用软件所带来的便利性，各个领域中存在大量的可以提供多种多样的应用软件的供应商。这些应用软件采用的编程语言、应用的技术架构、实现的业务功能均可能存在差异性，而且单个领域中相关的应用软件也越来越多，并且逐渐呈现出同一领域的、领域间的应用软件间相互关联的趋势，这致使单一应用软件的正常运行不仅仅依赖于自身的功能与组件，更是要依赖于外部的一个或多个应用软件。

大多数的应用软件的供应商，为了便于自己开发的应用软件的运维、以及故障定位和处理，通常会在应用软件运行的服务器或是终端中记录相应的日志。日志中一般会记录与该日志对应的应用软件相关的运行环境信息、异常信息和事件信息。在应用软件运维的过程中，一般的处理过程是在用户报告故障后，由运维工程师先根据故障现象初步定位故障，若定位不准确或是验证错误，再分析该应用软件自身记录的日志来查找原因，并根据查找结果进行故障定位。

随着应用软件的业务功能的增多，日常业务对应用软件的依赖度越来越大，由此随之而来的是应用软件的复杂度越来越高、应用软件间的并联和串联越来越紧密。在这样的大环境下，现有的运维方式难以快速定位出故障所在，这对日常业务的正常运行造成了较大干扰。

发明内容

本发明实施例提供了一种日志处理方法、装置、系统及存储介质，解决了在应用软件的运维过程中难以快速定位出故障所在的问题。

第一方面，本发明实施例提供了一种日志处理方法，应用于日志处理系统，可以包括：

获取待运维软件的日志信息，对日志信息进行格式标准化，根据格式标准化结果更新日志信息，各日志信息来源于待运维软件、和/或与待运维软件关联的终端、服务器和网络中的至少一个；若对日志信息进行处理后得到异常信息，则确定异常信息的异常属性，并根据异常属性判断是否进行异常预警；若是，则根据异常信息和/或日志信息生成预警信息，并基于预警信息进行异常预警。

可选的，获取待运维软件的日志信息，可以包括：

从设置在终端、服务器和/或网络中的日志存储文件中获取待运维软件的日志信息；和/或，基于设置于日志处理系统中的日志收集接口获取日志信息，其中，日志收集接口收集到的日志信息包括待运维软件基于嵌入到待运维软件中的应用程序接口推送到日志收集接口上的信息；和/或在日志处理系统执行测试任务时，获取日志信息。

可选的，若对日志信息进行处理后得到异常信息，则确定异常信息的异常属性，可以包括：

对日志信息进行处理，得到日志信息的日志属性，其中，日志属性包括日志来源、日志级别和/或日志内容；将日志属性和预设属性进行对比，若根据对比结果确定生成异常信息，则确定异常信息的异常属性，其中，预设属性包括预先设置的待进行异常预警的日志信息的属性。

可选的，异常属性包括优先级，根据异常属性判断是否进行异常预警包括：根据优先级和预先设置的异常预警阈值间的数值关系，判断是否进行异常预警；

相应的，基于预警信息进行异常预警，可以包括：

基于与优先级对应的预警方式，发送预警信息以进行异常预警。

可选的，上述日志处理方法，还可以包括：

若未得到异常信息或是根据异常属性判断不进行异常预警，则对日志信息进行缓存，并在预设时间时将已缓存的各日志信息存储至设置于日志处理系统上的日志存储模块中。

在此基础上，上述日志处理方法，还可以包括：

在监测到日志调阅的调阅触发事件时，从存储在日志存储模块中的各日志信息中筛选出与调阅触发事件对应的待调阅日志；对待调阅日志进行显示。

可选的，上述日志处理方法，还可以包括：

在监测到预警处理的处理触发事件时，获取处理触发事件对应的处理操作信息，并将处理操作信息存储至预警处理模块中；在监测到预警分析的分析触发事件时，从存储在预警处理模块中的各处理操作信息中筛选出与分析触发事件对应的待分析信息；对待分析信息进行分析，并将分析结果进行显示。

第二方面，本发明实施例还提供了一种配置于日志处理系统中的日志处理装置，该装置可以包括：

日志信息获取模块，用于获取待运维软件的日志信息，对日志信息进行格式标准化，根据格式标准化结果更新日志信息，其中，各日志信息来源于待运维软件、和/或与待运维软件关联的终端、服务器和网络中的至少一个；

异常预警判断模块，用于若对日志信息进行处理后得到异常信息，则确定异常信息的异常属性，并根据异常属性判断是否进行异常预警；

异常预警执行模块，用于若是，则根据异常信息和/或日志信息生成预警信息，并基于预警信息进行异常预警。

第三方面，本发明实施例还提供了一种日志处理系统，可以包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的日志处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的日志处理方法。

本发明实施例的技术方案，通过对获取到的可能来源于至少一种渠道的待运维软件的日志信息进行格式标准化，得到格式统一的日志信息；若在对日志信息进行处理后得到异常信息，这说明该日志信息对应的待运维软件可能存在故障，此时可以确定该异常信息的异常属性，以便根据该异常属性准确判断出是否需要对该待运维软件的故障进行异常预警；若是，则可以根据异常信息和/或日志信息生成预警信息，并基于该预警信息进行异常预警，这有助于运维工程师根据该预警信息快速定位出待运维软件的故障所在。上述技术方案，可以主动获取待运维软件的日志信息，对存在异常的日志信息进行异常预警，由此达到了对待运维软件的故障所在进行快速定位的效果。

附图说明

图1是本发明实施例一中的一种日志处理方法的流程图；

图2是本发明实施例二中的一种日志处理方法的流程图；

图3是本发明实施例三中的一种日志处理方法的流程图；

图4a是本发明实施例三中的一种日志处理方法中可选示例的架构图；

图4b是本发明实施例三中的一种日志处理方法中可选示例的流程图；

图5是本发明实施例四中的一种日志处理装置的结构框图；

图6是本发明实施例五中的一种日志处理系统的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在介绍本发明实施例之前，先对本发明实施例的应用场景进行示例性说明：一个组织内使用的应用软件越来越多，日常业务运行对应用软件的依赖度越来越大，而且各应用软件间的联系性越来越紧密，因此某应用软件的故障对日常业务的影响越来越大。需要说明的是，随着应用软件的复杂度日益增加，与该应用软件关联的日志信息在应用软件的运维过程中所起到的作用也越来越大。

但是，各应用软件及其运行环境的日志信息相互独立且不成体系，现有的应用软件运维过程只能等用户主动上报故障后，运维工程师才能得知应用软件的故障情况，无法做到主动预警和主动排错，难以避免地导致日常业务的受阻和拖延；而且，运维工程师在对应用软件的日志信息进行分析时，有可能因为该应用软件本身记录的日志信息的不完整致使无法进行故障定位。

为了能够快速地定位出应用软件的故障所在，本发明各实施例提出了一种应用于日志处理系统中的日志处理方法，该日志处理系统中可以收集到各应用软件及其运行环境的日志信息，然后对各日志信息进行分析，在根据分析结果发现异常情况时及时进行异常预警。这样一来，运维工程师在用户上报故障前即可发现故障，而且无需根据故障现象初步定位故障，可以根据该异常预警中关联的日志信息直接定位出故障所在，由此极大地提升了故障的定位效率。

需要说明的是，在下述各实施例的描述中，为了更加贴合本发明各实施例可能涉及到的应用场景，在此以运维工程师为例描述了日志处理系统和运维工程师间的交互过程，当然，运维工程师仅是一个示例性说明，除此之外还可以是界面操作人员、信息分析人员、信息调阅人员等等用户，在此不再一一举例。

实施例一

图1是本发明实施例一中提供的一种日志处理方法的流程图。本实施例可适用于根据待运维软件的日志信息对其在运行过程中的异常情况进行异常预警的情况。该方法可以由本发明实施例提供的日志处理装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在日志处理系统中。

参见图1，本发明实施例的方法具体包括如下步骤：

S110、获取待运维软件的日志信息，对日志信息进行格式标准化，根据格式标准化结果更新日志信息，其中，各日志信息来源于待运维软件、和/或与待运维软件关联的终端、服务器和网络中的至少一个。

其中，待运维软件可以是一个可能涉及到运维过程的应用软件，如某组织正在运行的、根据实际需求进行运行的应用软件等等，这样的应用软件在出现故障时可以经由运维工程师进行故障定位与处理。该待运维软件的数量可以是一个、两个或是多个，它们可能来源于相同或是不同的应用软件供应商，这些待运维软件之间可以通过类似于网状的接口进行交互。因此，该待运维软件的内部、各待运维软件间的接口都有可能出现故障，这些故障均是需要能够快速定位出的故障。

由于日志处理系统可以实时或定时采集到该待运维软件的日志信息，因此在每获取到至少一条日志信息时，可以对其进行格式标准化，即按照预先设置的标准格式对其进行处理，得到格式统一的日志信息，这样的标准格式可以是日志来源、日志级别、日志内容等。这样设置的原因在于，各日志信息可能来源于待运维软件本身，也可能来源于与该待运维软件关联的终端、服务器和网络中的至少一个，等等，因此，各日志信息的格式可能存在差异性，为了保障后续的日志信息处理的有效性，可以先对其进行格式标准化以使格式标准化后的每个日志信息具有统一的格式。

需要说明的是，上述终端可以是部署有待运维软件的终端，具体而言可以是该终端上的硬件或是软件；该服务器可以是部署有该待运维软件的服务器，具体而言可以是该终端上的硬件(如内存、CPU)或软件(如中间件、数据库)；该网络可以是用于在该服务器和该终端之间进行信息传输的网络、或是说其是待运维软件的运行环境。

S120、若对日志信息进行处理后得到异常信息，则确定异常信息的异常属性，并根据异常属性判断是否进行异常预警。

其中，在获取到日志信息之后可以对其进行处理，根据处理结果可以确定与该日志信息关联的待运维软件是否存在故障，比如从日志信息中提取出关键日志信息，并根据该关键日志信息确定与其关联的待运维软件是否存在故障；若是则可以得到与该故障关联的异常信息，该异常信息可以是该日志信息中的部分内容，也可以是根据处理结果生成的信息，等等。实际应用中，由于有些异常信息是需要进行异常预警的信息，而有些异常信息是无需进行异常预警的信息，因此在对日志信息进行处理后得到异常信息时，可以先确定出该异常信息的异常属性，因为根据该异常属性可以确定该异常信息是否是需要进行异常预警的信息。上述异常属性可以反映出该异常信息的属性，例如异常的数量、优先级、程度、出现频率等等。

在此基础上，可选的，上述步骤的一种可选实现过程是：对日志信息进行处理，得到日志信息的日志属性，在实际应用中，各日志属性可以与标准格式中的各部分分别对应。可选的，该日志属性可以包括日志来源、日志级别和/或日志内容，该日志来源可以反映出该日志信息的来源渠道，例如待运维软件本身、服务器、终端、网络等等，该日志级别可以是消息、调试、警告、错误等等，该日志内容可以是该日志信息的具体内容。进一步，将日志属性和预设属性进行对比，由于该预设属性可以是预先设置的待进行异常预警的日志信息的属性，因此根据这样的对比结果可以确定该日志信息中是否存在异常，例如日志属性中的某部分与异常属性相符合，其对应的日志信息很可能存在异常。因此在根据对比结果确定该日志信息存在异常可以生成异常信息。在此基础上，为了提高异常预警的准确性，可以进一步确定该异常信息的异常属性，并根据该异常属性判断是否进行异常预警。

S130、若是，则根据异常信息和/或日志信息生成预警信息，并基于预警信息进行异常预警。

其中，在确定需要进行异常预警时，可以根据异常信息和/或日志信息生成预警信息，如直接将异常信息和/或日志信息作为预警信息，也可以将异常信息和/或日志信息的处理结果作为预警信息，等等，在此未做具体限定。进一步，可以基于该预警信息进行异常预警，如将该预警信息以预设预警形式进行显示和/或发送，如以邮件、短消息、微信消息等多种形式发送给待接收该预警信息的对象，该对象可以是运维工程师，再如将该预警信息直接显示在某显示设备上，该显示设备可以是显示屏幕等等。由于上述预警信息可反映出待运维软件的故障所在，这样一来，运维工程师通过接收到和/或显示出来的预警信息可以在应用软件出现故障前或是故障时快速定位出故障所在。

在此基础上，可选的，异常属性可以包括优先级，该优先级可以反映出该异常属性对应的异常信息的异常级别，需要说明的是，有些异常级别下的异常信息可能需要进行异常预警，而有些异常级别下的异常信息可能无需进行异常预计，此时根据异常属性判断是否进行异常预警可以包括：根据优先级和预先设置的异常预警阈值间的数值关系判断是否进行异常预警，比如可以将大于、大于等于、小于、或是小于等于异常预警阈值的优先级对应的异常信息是需要进行异常预警的信息；在此基础上，基于预警信息进行异常预警可包括：基于与优先级对应的预警方式，发送预警信息以进行异常预警，这样设置的原因是，虽然至少两个优先级下的异常信息可能都需要进行异常预警，但不同的优先级下的异常信息带来的故障大小是不同的，因此可以根据与优先级对应的预警方式进行异常预警，比如可以将与小故障对应的优先级的预警方式设置为发送电子邮件、发送系统消息、发送至在预警大屏上等等，还可以将与大故障对应的优先级的调整方式设置为发送短消息、发送微信消息给相应的运维工程师等等。上述技术方案，可以根据异常信息的优先级确定是否进行异常预警，并在确定进行异常预警时可以通过与该优先级对应的预警方式发送预警信息来进行异常预警，由此达到了在各种情况下分别进行相应的异常预警的效果，提高了异常预警的分辨性。

本发明实施例的技术方案，通过对获取到的可能来源于至少一种渠道的待运维软件的日志信息进行格式标准化，得到格式统一的日志信息；若在对日志信息进行处理后得到异常信息，这说明该日志信息对应的待运维软件可能存在故障，此时可以确定该异常信息的异常属性，以便根据该异常属性准确判断出是否需要对该待运维软件的故障进行异常预警；若是，则可以根据异常信息和/或日志信息生成预警信息，并基于该预警信息进行异常预警，这有助于运维工程师根据该预警信息快速定位出待运维软件的故障所在。上述技术方案，可以主动获取待运维软件的日志信息，对存在异常的日志信息进行异常预警，由此达到了对待运维软件的故障所在进行快速定位的效果。

一种可选的技术方案，运维工程师在接收到异常预警后，可能会对该异常预警进行处理，因此，上述日志处理方法，还可以包括：在监测到预警处理的处理触发事件时，获取处理触发事件对应的处理操作信息，并将处理操作信息存储至预警处理模块中，其中，处理触发事件可以是由运维工程师触发的用于对异常预警进行处理的事件，因此可以获取到该处理触发事件对应的处理操作信息，并将该处理操作信息存储至预警处理模块中，上述处理操作信息可以是运维工程师直接进行处理操作的信息、也可以是日志处理系统根据运维工程师对异常预警的反馈操作自动进行处理操作的信息，等等，在此未做具体限定。在此基础上，运维工程师还可以对某时间段内发生的各种故障进行统计分析，因此在监测到预警分析的分析触发事件时，可以从存储在预警处理模块中的各处理操作信息中筛选出与该分析触发事件对应的待分析信息，后续可以对该待分析信息进行分析，并将并将分析结果进行显示。上述技术方案，可以对异常预警后执行的处理操作信息进行统计分析，这有助于运维工程师对各故障情况进行汇总以便更好地对待运维软件进行改进。

实施例二

图2是本发明实施例二中提供的一种日志处理方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，获取待运维软件的日志信息，具体可包括：从设置在终端、服务器和/或网络中的日志存储文件中获取待运维软件的日志信息；和/或，基于设置于日志处理系统中的日志收集接口获取日志信息，其中，日志收集接口收集到的日志信息包括待运维软件基于嵌入到待运维软件中的应用程序接口推送到日志收集接口上的信息；和/或，在日志处理系统执行测试任务时，获取日志信息。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图2，本实施例的方法具体可以包括如下步骤：

S210、从设置在与待运维软件关联的终端、服务器和/或网络中的日志存储文件中获取待运维软件的日志信息；和/或，基于设置于日志处理系统中的日志收集接口获取日志信息，日志收集接口收集到的日志信息包括待运维软件基于嵌入到待运维软件中的应用程序接口推送到日志收集接口上的信息；和/或，在日志处理系统执行测试任务时，获取日志信息。

其中，日志处理系统可以通过多种方式获取待运维软件的日志信息，比如其可以从设置在与待运维软件关联的终端、服务器和/或网络中的日志存储文件中获取待运维软件的日志信息，该日志存储文件是用于存储日志信息的文件，这是一种主动获取日志信息的方式；再比如基于设置于日志处理系统中的日志收集接口获取日志信息，该日志收集接口收集到的日志信息可以是待运维软件基于嵌入到该待运维软件中的应用程序(API)接口推送到该日志收集接口上的信息，即日志收集接口可以要求待运维软件在进行日志操作时通过API接口向该日志收集接口中传输日志信息，这是一种被动获取日志信息的方式；再比如在日志处理系统执行测试任务时，获取日志信息，这是一种试拨过程，其可以通过编写一个程序来不断调用某功能、模拟某IP地址以判断网络是否通畅等等；当然，还可以通过其余方式获取日志信息，在此未做具体限定。

S220、对日志信息进行格式标准化，根据格式标准化结果更新日志信息。

S230、若对日志信息进行处理后得到异常信息，则确定异常信息的异常属性，并根据异常属性判断是否进行异常预警。

S240、若是，则根据异常信息和/或日志信息生成预警信息，并基于预警信息进行异常预警。

本发明实施例的技术方案，通过多种方式获取到待运维软件的日志信息，由此实现了日志信息的全方位收集的效果，由此保证了日志信息的全面性。

实施例三

图3是本发明实施例三中提供的一种日志处理方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，上述日志处理方法，还可以包括：若未得到异常信息或是根据异常属性判断不进行异常预警，则对日志信息进行缓存，并在预设时间时将已缓存的各日志信息存储至设置于日志处理系统上的日志存储模块中。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

参见图3，本实施例的方法具体可以包括如下步骤：

S310、获取待运维软件的日志信息，对日志信息进行格式标准化，根据格式标准化结果更新日志信息，其中，各日志信息来源于待运维软件、和/或与待运维软件关联的终端、服务器和网络中的至少一个。

S320、若对日志信息进行处理后得到异常信息，则确定异常信息的异常属性，并根据异常属性判断是否进行异常预警。

S330、若是，则根据异常信息和/或日志信息生成预警信息，并基于预警信息进行异常预警。

S340、若未得到异常信息或是根据异常属性判断不进行异常预警，则对日志信息进行缓存，并在预设时间时将已缓存的各日志信息存储至设置于日志处理系统上的日志存储模块中。

其中，在对日志信息进行处理后，除上述阐述的得到异常信息且根据异常信息的异常属性确定需要进行异常预警的情况外，还可能是未得到异常信息，即该日志信息中未存在异常，或者也可能是虽得到异常信息但根据其异常属性确定不进行异常预警，即日志信息虽存在异常但该异常还未达到需要进行异常预警的程度，此时可以先对该日志信息进行缓存，并在预设时间内将已缓存的各日志信息存储至设置于日志处理系统上的日志存储模块中，即按照固定周期将日志信息推送到日志存储模块中进行存储，这种设置方式尤其适用于在信息大量并发的情况，先缓存后批量提交的方式增加了并发量了。

需要说明的是，实际应用中，可以将上文所述的预警处理模块和日志存储模块合并为一个模块，即，日志处理系统中设置有一个大模块，该大模块包括预警处理模块和日志存储模块这两个小模块，它们可分别存储不同类型的信息，而且同一待运维软件的相关信息可以通过某唯一标识符联系在一起，这样设置的好处在于，后续在该大模块中可以调阅到该待运维软件的全部信息，以便从全局角度直接查阅和分析。

示例性的，在此以日志存储模块为例，上述日志处理方法，还可以包括：在监测到日志调阅的调阅触发事件时，从存储在日志存储模块中的各日志信息中筛选出与调阅触发事件对应的待调阅日志；对待调阅日志进行显示。其中，调阅触发事件可以是运维工程师触发的用于对符合某条件的日志信息进行调阅的事件，因此可以从存储在日志存储模块中的各日志信息中筛选出与该调阅触发事件对应的待调阅日志，然后可以对该待调阅日志进行显示，该待调阅日志可以是待调阅的日志信息。再示例性的，在此以预警处理模块为例，在监测到日志调阅的调阅触发事件时，还可从存储在预警处理模块中的各处理操作信息中筛选出与该调阅触发事件对应的待调阅信息，并对该待调阅日志进行显示。

本发明实施例的技术方案，通过在未得到异常信息或是根据异常属性判断不进行异常预警，先对日志信息进行缓存，再在预设时间时将已缓存的各日志信息存储至设置于日志处理系统上的日志存储模块中，这种先缓存后批量提交的方式实现了数据高并发的效果。

为了更好地理解上述步骤的具体实现过程，下面结合具体示例对本实施例的日志处理方法所应用的日志处理系统的架构图和流程图进行示例性的说明。示例性的，如图4a和图4b所示，一种以智能运维为目标的日志处理系统，其可包括以下模块：日志信息收集模块、日志信息传输模块、日志信息处理模块、日志信息分析模块、日志信息存储模块、预警信息通知模块、日志信息调阅模块、预警信息处理模块和统计分析模块，各个模块的具体实现功能如下所示：

1、日志信息收集模块，用于对待运维软件在运行过程中涉及到的各种日志信息进行收集，具体分为：

1)部署有待运维软件的服务器信息收集，采用syslog、WMI、SNMP、LEA、telnet、JMX、SSH和试拨等方式来获取对应的日志信息。

2)部署有待运维软件的终端信息收集，采用syslog、WMI、SNMP、LEA、telnet、JMX、SSH和试拨等方式来获取对应的日志信息。

3)应用有待运维软件的网络信息收集，采用syslog、WMI、SNMP、LEA、telnet、JMX、SSH和试拨等方式来获取对应的日志信息。

4)待运维软件本身的软件信息收集，公布API接口，通过嵌入到该待运维软件中的API接口获取其在运行过程中生成的日志信息。

需要说明的是，Syslog和WMI是典型的已有的日志存储文件；telnet和SSH的试拨是典型的由日志处理系统执行测试任务时获取运行状态；嵌入到待运维软件的API接口可以将待运维软件的运行信息主动推送到日志处理系统中。

2、日志信息传输模块，用于在接收到日志信息收集模块推送的日志信息后，立即将日志信息传输至日志信息处理模块；

3、日志信息处理模块，用于在接收到日志信息传输模块传输的日志信息后，先对日志信息进行格式标准化，再调用日志信息分析模块对格式标准化以后的日志信息进行分析，经分析后根据分析结果可采取两种方式进行处理，分别为：调用预警信息通知模块，用于将预警信息发送给运维工程师；或调用日志信息存储模块，用于将格式标准化后的日志信息进行存储。具体的，

1)日志信息的格式标准化，将各渠道收集到的日志信息按照标准格式进行标准化，得到格式统一的日志信息，如日志来源、日志级别、日志内容等。

2)日志信息的缓存，将格式标准化后的日志信息进行缓存。

3)日志信息的处理调度，调用日志信息分析模块对日志信息进行分析，如分析结果中存在大于用户设置的异常预警阈值的异常信息，立即调用预警信息通知模块发出预警信息；对于分析结果不存在异常或小于用户设置的异常预警阈值的异常信息先进行缓存，并按固定周期推送到日志存储模块中进行存储。

4、日志信息分析模块：供日志信息处理模块调用，用于分析日志信息，并根据分析结果判断日志信息中是否存在异常，若是则确定异常的优先级，具体：

1)日志来源的设置，提供图形化操作界面供用户设置日志信息的来源，如可以划分为硬件、网络、通用待运维软件、业务待运维软件等等。

2)日志级别的设置：提供图形化操作界面供用户设置日志信息的级别，如按日志信息的内容可以划分为消息、调试、警告、错误等等级别，每个等级还可以由用户自定义优先级别进行更细层次的细分。

3)预警规则的设置：提供图形化操作界面供以用户对存在预警需求的日志信息进行设置，如按照日志来源、日志级别、日志内容等等进行设置，并设置对应的预警方式，如邮件、短消息、微信、预警大屏等(即，主动通知和主动展示)，而且对于灾难性的预警信息，还可以设置预警通知人的联系方式等等。

4)日志信息分析引擎，根据已设定的预警规则对日志信息进行逐条分析，如有异常则生成对应的预警信息。

5、日志信息存储模块，供日志信息处理模块调用，用于存储日志信息以供后续调阅。

6、预警信息通知模块，供日志信息处理模块调用，用于将优先级大于用户设置的异常预警阈值的日志信息和相应的异常信息发送到运维工程师。

7、日志信息调阅模块：提供图形操作界面以供运维工程师对日志信息进行查阅，可根据特定条件对日志信息进行过滤和查找，该日志信息调阅模块中可包括待运维软件在运行过程中的全部日志信息，可以从全局视角直接查阅。

8、预警信息处理模块：提供图形操作界面供运维工程师对其接收到的预警信息进行处理，处理方式可包括查看故障详情、确认故障信息、排除故障信息、忽略故障信息、转办故障信息、上报故障信息等等。示例性的，故障A的处理信息：发生时间是2020年10月26日9点25分，确认时间是2020年10月26日9点30分，处理人是张三，处理方式是更新后台数据，故障原因是操作错误导致的后台数据异常，确认修复时间是2020年10月26日9点40分。

9、统计分析模块：提供图形操作界面，供运维部门对指定时间段内发生的待运维软件的异常信息、故障信息、故障处理信息进行统计分析，这是对故障信息和故障处理信息的统计分析，由此可体现出故障率、修复率和维护工程师工作量等等，而且这有助于运维工程师对后续的运维工作的改进。

上述以智能运维为目标的日志处理系统，通过部署有待运维软件的服务器和终端、以及嵌入到该待运维软件中的API接口收集该待运维软件运行环境过程中的日志信息，并对该日志信息进行格式标准化，经由日志信息分析模块对日志信息实时分析，主动发现异常信息并进行异常预警，配合日志信息调阅模块与统计分析模块，实现了日志信息的统一管理标准、统一收集与主动分析、以及异常预警的效果。具体而言，上述当日志信息系统具体如下优点：

1)实现了部署有待运维软件的服务器、终端与待运维软件业务流程中日志信息的全量收集与格式标准化，由此形成了日志信息管理的统一标准。

2)实现了日志信息的统一存储，由此形成了统一的日志信息库，后续可以在海量的日志信息中按条件进行检索，提高了日志信息的检索效率。

3)实现了日志信息的主动分析和主动预警，这使得运维工程师可及时发现甚至提前发现待运维软件本身或运行环境中的异常，由此减少甚至消除了因待运维软件的软件故障而带来的日常业务的停滞。

4)可以将日常运维过程中处理的故障信息与处理方式进行存档，后续可以对其进行统计分析后以指导和优化运维工作。

综上所述，本发明实施例阐述的日志处理系统对待运维软件的日志信息的管理提出了管理标准，并对生成的日志信息进行统一收集、存储和分析，通过提取日志信息中的关键日志信息来及时发现故障、并且给予异常预警。换言之，上述日志处理系统在很大程度上将颠覆现有的运维方式，实现了硬件、软件、网络等日志管理的统一标准、以及日志信息的统一收集、处理及分析，这可以实时且全面掌握IT环境各个资源、设备和待运维软件的运行情况，且围绕故障信息顺序、全面地展示运行软件相关的日志信息，其通过协助运维工程师快速发现异常和辅助排障，由此提高了运维工程师的运维能力，且降低了因待运维软件故障而对日常业务带来的不良影响。

实施例四

图5为本发明实施例四提供的日志处理装置的结构框图，该装置用于执行上述任意实施例所提供的日志处理方法。该装置与上述各实施例的日志处理方法属于同一个发明构思，在日志处理装置的实施例中未详尽描述的细节内容，可以参考上述日志处理方法的实施例。参见图5，该装置配置于日志处理系统，具体可包括：日志信息获取模块410、异常预警判断模块420和异常预警执行模块430。

其中，日志信息获取模块410，用于获取待运维软件的日志信息，对日志信息进行格式标准化，根据格式标准化结果更新日志信息，各日志信息来源于待运维软件、和/或与待运维软件关联的终端、服务器和网络中的至少一个；

异常预警判断模块420，用于若对日志信息进行处理后得到异常信息，则确定异常信息的异常属性，并根据异常属性判断是否进行异常预警；

异常预警执行模块430，用于若是，则根据异常信息和/或日志信息生成预警信息，并基于预警信息进行异常预警。

可选的，日志信息获取模块410，具体可以包括：

日志信息获取单元，用于从设置在终端、服务器和/或网络中的日志存储文件中获取待运维软件的日志信息；和/或，基于设置于日志处理系统中的日志收集接口获取日志信息，其中，日志收集接口收集到的日志信息包括待运维软件基于嵌入到待运维软件中的应用程序接口推送到日志收集接口上的信息；和/或，在日志处理系统执行测试任务时，获取日志信息。

可选的，异常预警判断模块420，具体可以包括：

日志属性得到单元，用于对日志信息进行处理，得到日志信息的日志属性，其中，日志属性包括日志来源、日志级别和/或日志内容；

异常属性确定单元，用于将日志属性和预设属性进行对比，若根据对比结果确定生成异常信息，则确定异常信息的异常属性，其中，预设属性包括预先设置的待进行异常预警的日志信息的属性。

可选的，异常属性包括优先级，异常预警判断模块420，具体可以包括：

异常预警判断单元，用于根据优先级和预先设置的异常预警阈值间的数值关系，判断是否进行异常预警；

相应的，异常预警执行模块430，具体可以包括：

异常预警执行单元，用于基于与优先级对应的预警方式，发送预警信息以进行异常预警。

可选的，上述日志处理装置，还可以包括：

日志信息存储模块，用于若未得到异常信息或是根据异常属性判断不进行异常预警，则对日志信息进行缓存，并在预设时间时将已缓存的各日志信息存储至设置于日志处理系统上的日志存储模块中。

可选的，在上述装置的基础上，该装置还可包括：

待调阅日志筛选模块，用于在监测到日志调阅的调阅触发事件时，从存储在日志存储模块中的各日志信息中筛选出与调阅触发事件对应的待调阅日志；

待调阅日志显示模块，用于对待调阅日志进行显示。

可选的，上述日志处理装置，还可以包括：

处理操作信息存储模块，用于在监测到预警处理的处理触发事件时，获取处理触发事件对应的处理操作信息，并将处理操作信息存储至预警处理模块中；

待分析信息筛选模块，用于在监测到预警分析的分析触发事件时，从存储在预警处理模块中的各处理操作信息中筛选出分析触发事件对应的待分析信息；

分析结果显示模块，用于对待分析信息进行分析，并将分析结果进行显示。

本发明实施例四提供的日志处理装置，通过日志信息获取模块对获取到的可能来源于至少一种渠道的待运维软件的日志信息进行格式标准化，得到格式统一的日志信息；通过异常预警判断模块若在对日志信息进行处理后得到异常信息，这说明该日志信息对应的待运维软件可能存在故障，此时可以确定该异常信息的异常属性，以便根据该异常属性准确判断出是否需要对该待运维软件的故障进行异常预警；通过异常预警执行模块若是，则可以根据异常信息和/或日志信息生成预警信息，并基于该预警信息进行异常预警，这有助于运维工程师根据该预警信息快速定位出待运维软件的故障所在。上述装置，可以主动获取待运维软件的日志信息，对存在异常的日志信息进行异常预警，由此达到了对待运维软件的故障所在进行快速定位的效果。

本发明实施例所提供的日志处理装置可执行本发明任意实施例所提供的日志处理方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述日志处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例五

图6为本发明实施例五提供的一日志处理系统的结构示意图，如图6所示，该日志处理系统包括存储器510、处理器520、输入装置530和输出装置540。日志处理系统中的处理器520的数量可以是一个或多个，图6中以一个处理器520为例；日志处理系统中的存储器510、处理器520、输入装置530和输出装置540可以通过总线或其它方式连接，图6中以通过总线550连接为例。

存储器510作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的日志处理方法对应的程序指令/模块(例如，日志处理装置中的日志信息获取模块410、异常预警判断模块420和异常预警执行模块430)。处理器520通过运行存储在存储器510中的软件程序、指令以及模块，从而执行日志处理系统的各种功能应用以及数据处理，即实现上述的日志处理方法。

存储器510可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据日志处理系统的使用所创建的数据等。此外，存储器510可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器510可进一步包括相对于处理器520远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置530可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。

实施例六

本发明实施例六提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种日志处理方法，该方法应用于日志处理系统，可以包括：

获取待运维软件的日志信息，对日志信息进行格式标准化，根据格式标准化结果更新日志信息，各日志信息来源于待运维软件、和/或与待运维软件关联的终端、服务器和网络中的至少一个；若对日志信息进行处理后得到异常信息，则确定异常信息的异常属性，并根据异常属性判断是否进行异常预警；若是，则根据异常信息和/或日志信息生成预警信息，并基于预警信息进行异常预警。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的日志处理方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种日志处理方法，其特征在于，应用于日志处理系统，所述方法包括：

获取待运维软件的日志信息，对所述日志信息进行格式标准化，根据格式标准化结果更新所述日志信息，其中，各所述日志信息来源于所述待运维软件、和/或与所述待运维软件关联的终端、服务器和网络中的至少一个；

若对所述日志信息进行处理后得到异常信息，则确定所述异常信息的异常属性，并根据所述异常属性判断是否进行异常预警；

若是，则根据所述异常信息和/或所述日志信息生成预警信息，并基于所述预警信息进行异常预警。

2.根据权利要求1所述的方法，其特征在于，所述获取待运维软件的日志信息，包括：

从设置在所述终端、所述服务器和/或所述网络中的日志存储文件中获取待运维软件的日志信息；和/或，

基于设置于所述日志处理系统中的日志收集接口获取所述日志信息，其中，所述日志收集接口收集到的所述日志信息包括所述待运维软件基于嵌入到所述待运维软件中的应用程序接口推送到所述日志收集接口上的信息；和/或，

在所述日志处理系统执行测试任务时，获取所述日志信息。

3.根据权利要求1所述的方法，其特征在于，所述若对所述日志信息进行处理后得到异常信息，则确定所述异常信息的异常属性，包括：

对所述日志信息进行处理，得到所述日志信息的日志属性，其中，所述日志属性包括日志来源、日志级别和/或日志内容；

将所述日志属性和预设属性进行对比，若根据对比结果确定生成异常信息，则确定所述异常信息的异常属性，其中，所述预设属性包括预先设置的待进行异常预警的所述日志信息的属性。

4.根据权利要求1所述的方法，其特征在于，所述异常属性包括优先级，所述根据所述异常属性判断是否进行异常预警，包括：根据所述优先级和预先设置的异常预警阈值间的数值关系，判断是否进行异常预警；

相应的，所述基于所述预警信息进行异常预警，包括：基于与所述优先级对应的预警方式，发送所述预警信息以进行异常预警。

5.根据权利要求1所述的方法，其特征在于，还包括：

若未得到所述异常信息或是根据所述异常属性判断不进行异常预警，则对所述日志信息进行缓存，并在预设时间时将已缓存的各所述日志信息存储至设置于所述日志处理系统上的日志存储模块中。

6.根据权利要求5所述的方法，其特征在于，还包括：

在监测到日志调阅的调阅触发事件时，从存储在所述日志存储模块中的各所述日志信息中筛选出与所述调阅触发事件对应的待调阅日志；

对所述待调阅日志进行显示。

7.根据权利要求1所述的方法，其特征在于，还包括：

在监测到预警处理的处理触发事件时，获取所述处理触发事件对应的处理操作信息，并将所述处理操作信息存储至预警处理模块中；

在监测到预警分析的分析触发事件时，从存储在所述预警处理模块中的各所述处理操作信息中筛选出与所述分析触发事件对应的待分析信息；

对所述待分析信息进行分析，并将分析结果进行显示。

8.一种日志处理装置，其特征在于，配置于日志处理系统，所述装置包括：

日志信息获取模块，用于获取待运维软件的日志信息，对所述日志信息进行格式标准化，根据格式标准化结果更新所述日志信息，其中，各所述日志信息来源于所述待运维软件、和/或与所述待运维软件关联的终端、服务器和网络中的至少一个；

异常预警判断模块，用于若对所述日志信息进行处理后得到异常信息，则确定所述异常信息的异常属性，并根据所述异常属性判断是否进行异常预警；

异常预警执行模块，用于若是，则根据所述异常信息和/或所述日志信息生成预警信息，并基于所述预警信息进行异常预警。

9.一种日志处理系统，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的日志处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的日志处理方法。

Images