CN109002534A - 一种日志分析方法、系统、设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种日志分析方法、系统、设备及计算机可读存储介质，其中该方法包括：获取初始日志集；提取初始日志集中的有效日志，以基于有效日志对初始日志集对应的日志系统的工作性能进行分析；其中，初始日志集中包括有效日志及无效日志，有效日志表示代表初始日志集对应的日志系统的工作性能的日志，无效日志表示不代表初始日志集对应的日志系统的工作性能的日志。本申请公开的一种日志分析方法、系统、设备及计算机可读存储介质，在获取到初始日志集后，提取初始日志集中的有效日志，以基于提取的有效日志对初始日志集对应的日志系统的工作性能进行分析，与现有技术相比，在一定程度上提高了对初始日志集中的有效日志的分析效率。

Description

一种日志分析方法、系统、设备及计算机可读存储介质

技术领域

本申请涉及日志分析技术领域，更具体地说，涉及一种日志分析方法、系统、设备及计算机可读存储介质。

背景技术

在日志的应用过程中，需要借助日志分析客户端对日志进行分析，现有的一种日志分析方法是：获取初始日志集，输入初始日志集至日志分析客户端，获取日志分析客户端对初始日志集的分析结果，以基于分析结果对初始日志集对应的日志系统的工作性能进行分析。

然而，现有的一种日志分析方法中，由于初始日志集中包含众多无效日志，如内网ip的访问日志等，这些无效日志输入日志分析客户端后，会使得日志分析客户端对初始日志集中的有效日志的分析效率降低，无效日志指的是不代表初始日志集对应的日志系统的工作性能的日志，有效日志指的是代表初始日志集对应的日志系统的工作性能的日志。

综上所述，如何提高对初始日志集中的有效日志的分析效率是目前本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种日志分析方法，其能在一定程度上解决如何提高对初始日志集中的有效日志的分析效率的技术问题。本申请还提供了一种日志分析系统、设备及计算机可读存储介质。

为了实现上述目的，本申请提供如下技术方案：

一种日志分析方法，包括：

获取初始日志集；

提取所述初始日志集中的有效日志，以基于所述有效日志对所述初始日志集对应的日志系统的工作性能进行分析；

其中，所述初始日志集中包括有效日志及无效日志，所述有效日志表示代表所述初始日志集对应的日志系统的工作性能的日志，所述无效日志表示不代表所述初始日志集对应的日志系统的工作性能的日志。

优选的，所述提取所述初始日志集中的有效日志，包括：

获取预先设定的所述无效日志的关键字；

对于所述初始日志集中的每一条日志，判断所述日志中是否包含所述关键字，若是，则在所述初始日志集中删除所述日志；

确定最终得到的初始日志集为所述有效日志。

优选的，所述判断所述日志中是否包含所述关键字，包括：

采用字符串匹配算法将所述关键字与所述日志进行匹配，判断是否匹配成功，若是，则判定所述日志中包含所述关键字，若否，则判定所述日志中不包含所述关键字。

优选的，所述提取所述初始日志集中的所述有效日志，包括：

获取策略库，所述策略库中包括预先设定的无效日志；

对于所述初始日志集中的每一条日志，判断所述日志是否属于所述策略库，若是，则在所述初始日志集中删除所述日志；

确定最终得到的所述初始日志集为所述有效日志。

优选的，所述提取所述初始日志集中的所述有效日志之后，还包括：

获取外界设定的与所述日志系统的目标工作性能对应的目标日志分类条件；

对于所述有效日志中的任一日志，判断所述日志是否满足所述目标日志分类条件，若是，则将所述日志作为目标日志，直至得到所有的所述目标日志，以基于所述目标日志对所述日志系统的所述目标工作性能进行分析。

优选的，所述获取外界设定的与所述日志系统的目标工作性能对应的目标日志分类条件，包括：

获取外界设定的与所述日志系统的预设数量的目标工作性能对应的目标日志分类条件；

所述对于所述有效日志中的任一日志，判断所述日志是否满足所述目标日志分类条件，若是，则将所述日志作为目标日志，直至得到所有的所述目标日志，包括：

将预设数量的所述目标日志分类条件及所述有效日志输入至预设的日志分析模型中；

获取所述日志分析模型输出的，满足所述目标日志分类条件的所述有效日志，并将获取的所述有效日志作为目标日志。

优选的，所述直至得到所有的所述目标日志之后，还包括：

存储所有的所述目标日志。

一种日志分析系统，包括：

第一获取模块，用于获取初始日志集；

提取模块，用于提取所述初始日志集中的有效日志，以基于所述有效日志对所述初始日志集对应的日志系统的工作性能进行分析；

其中，所述初始日志集中包括有效日志及无效日志，所述有效日志表示代表所述初始日志集对应的日志系统的工作性能的日志，所述无效日志表示不代表所述初始日志集对应的日志系统的工作性能的日志。

一种日志分析设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任一所述的日志分析方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述的日志分析方法的步骤。

本申请提供的一种日志分析方法，在获取到初始日志集后，并不是直接基于初始日志集对日志系统的工作性能进行分析，而是提取初始日志集中的有效日志，以基于提取的有效日志对初始日志集对应的日志系统的工作性能进行分析，与现有技术相比，避免了初始日志集中无效日志对分析日志系统的工作性能的影响，在一定程度上提高了对初始日志集中的有效日志的分析效率。本申请提供的一种日志分析系统、设备及计算机可读存储介质也解决了相应问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种日志分析方法的第一流程图；

图2为本申请实施例提供的一种日志分析方法的第二流程图；

图3为本申请实施例提供的一种日志分析系统的结构示意图；

图4为本申请实施例提供的一种日志分析设备的结构示意图；

图5为本申请实施例提供的一种日志分析设备的另一结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的一种日志分析方法中各个步骤的动作执行主体可以为本申请实施例提供的一种日志分析系统，而该系统可以内置于计算机、服务器等，所以本申请实施例提供的一种日志分析方法中各个步骤的动作执行主体还可以为内置了该系统的计算机、服务器等。为了描述方便，这里将本申请实施例提供的一种日志分析方法中各个步骤的动作执行主体设为本申请实施例提供的一种日志分析系统，简称为日志分析系统。

请参阅图1，图1为本申请实施例提供的一种日志分析方法的第一流程图。

本申请实施例提供的一种日志分析方法，可以包括以下步骤：

步骤S101：获取初始日志集。

初始日志集为日志系统生成的日志的集合，初始日志集中包括有效日志及无效日志，有效日志表示代表初始日志集对应的日志系统的工作性能的日志，无效日志表示不代表初始日志集对应的日志系统的工作性能的日志，也即初始日志集中包含日志系统生成的每一条记录。实际应用中，日志分析系统可以在日志系统存储初始日志集的存储位置主动读取初始日志集，在读取时，可以按照预设的时间间隔读取；还可以是日志系统主动发送生成的初始日志集至日志分析系统，具体的，日志分析系统可以在初始日志集中包含的日志达到预设数量时，便将初始日志集发送至日志分析系统。

步骤S102：提取初始日志集中的有效日志，以基于有效日志对初始日志集对应的日志系统的工作性能进行分析。

日志分析系统在获取到初始日志集后，便可以提取初始日志集中的有效日志，以基于提取的有效日志对日志系统的工作性能进行分析。具体的，日志分析系统可以将提取的有效日志输入至日志分析客户端，然后接收日志分析客户端发送的对有效日志的分析结果。相应的，日志分析系统可以将分析结果显示至外界，还可以将分析结果发送至用户客户端，以便用户根据分析结果对日志系统的工作性能进行分析。

可选的，步骤S102提取初始日志集中的有效日志，具体可以为：获取预先设定的无效日志的关键字；对于初始日志集中的每一条日志，判断日志中是否包含关键字，若是，则在初始日志集中删除日志；确定最终得到的初始日志集为有效日志。实际应用中，日志中一般包含关键字，所述的关键字指的是能够表明该日志所记录的信息类型的字符串，比如以记录内网ip的访问日志为例，该日志中一般包含“127.”的字符串，该字符串也即记录内网ip的访问日志的关键字，因此，可以预先将无效日志的关键字统一起来，然后对于初始日志集中的每一条日志，判断日志中是否包含无效日志的关键字，若是，则该日志属于无效日志，在初始日志集中删除该日志；在对初始日志集中的每一条日志均进行上述处理后，最终得到的初始日志集中便只有有效日志。具体应用场景中，在判定日志中不包含无效日志的关键字后，便可以确定该日志属于有效日志，则可以将该日志从初始日志集中提取出来作为有效日志，在对初始日志集中的每一条日志均进行上述处理后，提取出的日志便均为有效日志。可选的，判断日志中是否包含关键字，具体可以为：采用字符串匹配算法将关键字与日志进行匹配，判断是否匹配成功，若是，则判定日志中包含关键字，若否，则判定日志中不包含关键字。这里所述的字符串匹配算法可以为Sunday算法等。

本申请提供的一种日志分析方法，获取初始日志集；提取初始日志集中的有效日志，以基于有效日志对初始日志集对应的日志系统的工作性能进行分析；其中，初始日志集中包括有效日志及无效日志，有效日志表示代表初始日志集对应的日志系统的工作性能的日志，无效日志表示不代表初始日志集对应的日志系统的工作性能的日志。本申请提供的一种日志分析方法，在获取到初始日志集后，并不是直接基于初始日志集对日志系统的工作性能进行分析，而是提取初始日志集中的有效日志，以基于提取的有效日志对初始日志集对应的日志系统的工作性能进行分析，与现有技术相比，避免了初始日志集中无效日志对分析日志系统的工作性能的影响，在一定程度上提高了对初始日志集中的有效日志的分析效率。

本申请实施例提供的一种日志分析方法，步骤S102提取初始日志集中的有效日志，具体可以为：

获取策略库，策略库中包括预先设定的无效日志；

对于初始日志集中的每一条日志，判断日志是否属于策略库，若是，则在初始日志集中删除日志；

确定最终得到的初始日志集为有效日志。

实际应用中，每个日志系统生成的日志的数量不一致，对于生成的日志的数量不多的日志系统，如最多生成100条日志的日志系统，可以预先将该日志系统生成的无效日志整合成策略库，则对于初始日志集中的每一条日志，判断该日志是否属于策略库，这里所述的属于与数学集合中的属于的概念一致，如果策略库中存在与初始日志集中的日志一样的日志，则初始日志集中的日志属于策略库；如果初始日志集中的日志属于策略库，则该日志属于无效日志，如果该日志不属于策略库，则该日志为有效日志，相应的，可以将初始日志集中不属于策略库的日志提取出来作为有效日志，当然，也可以将初始日志集中属于策略库的日志删除，将最终得到的初始日志集作为有效日志。

请参阅图2，图2为本申请实施例提供的一种日志分析方法的第二流程图。

为了进一步提高对初始日志集中的有效日志的分析效率，本申请实施例提供的一种日志分析方法，具体可以包括：

步骤S201：获取初始日志集。

步骤S202：提取初始日志集中的有效日志。

步骤S203：获取外界设定的与日志系统的目标工作性能对应的目标日志分类条件。

步骤S204：对于有效日志中的任一日志，判断日志是否满足目标日志分类条件，若是，则执行步骤S205：将日志作为目标日志，直至得到所有的目标日志，以基于目标日志对日志系统的目标工作性能进行分析。

目标日志分类条件可以根据实际情况灵活确定，其可以为处理日志前得到的日志分析线索，如被植入后门的文件名称等。具体应用场景中，可以将与日志系统的某一项工作性能，如日志系统的IO处理速率，对应的日志作为目标日志，相应的，可以将是否包含目标日志的关键字作为目标日志分类条件，则对于有效日志中的任一日志，判断日志是否满足目标日志分类条件，可以为判断日志的关键字是否属于目标日志的关键字，若是，则判定满足目标日志分类条件，若否，则判定不满足目标日志分类条件。在得到目标日志后，便可以根据目标日志对日志系统的目标工作性能进行分析，以目标工作性能为日志系统的IO处理速率为例，目标日志均为只与日志系统的IO处理速率相关的日志，而不会为与日志系统的IO处理速率之外的其他工作性能，如读延时，相关的日志，也即借助目标日志可以单独对日志系统的某一工作性能进行分析，可以在一定程度上提高对初始日志集中的有效日志的分析效率。此外，为了便于下一次对目标日志进行分析，或者便于外界追溯目标日志，在得到所有的目标日志之后，还可以存储所有的目标日志。

在目标工作性能有多个的情况下，也即在目标工作性能有多类的情况下，为了准确对每类目标工作性能进行分析，可以借助日志分析模型来得到每类目标工作性能对应的目标日志。日志分析模型中包含多个分析模型，每个分析模型可与根据一类工作性能的目标日志分类条件，来从有效日志中提取出满足该目标日志分类条件的目标日志。可选的，获取外界设定的与日志系统的工作性能对应的目标日志分类条件，具体可以为：获取外界设定的与日志系统的预设数量的工作性能对应的目标日志分类条件；相应的，对于有效日志中的任一日志，判断日志是否满足目标日志分类条件，若是，则将日志作为目标日志，直至得到所有的目标日志，可以具体为：将预设数量的目标日志分类条件及有效日志输入至预设的日志分析模型中；获取日志分析模型输出的，满足目标日志分类条件的有效日志，并将获取的有效日志作为目标日志。

本申请还提供了一种日志分析系统，其具有本申请实施例提供的一种日志分析方法具有的对应效果。请参阅图3，图3为本申请实施例提供的一种日志分析系统的结构示意图。

本申请实施例提供的一种日志分析系统，可以包括：

第一获取模块101，用于获取初始日志集；

提取模块102，用于提取初始日志集中的有效日志，以基于有效日志对初始日志集对应的日志系统的工作性能进行分析；

其中，初始日志集中包括有效日志及无效日志，有效日志表示代表初始日志集对应的日志系统的工作性能的日志，无效日志表示不代表初始日志集对应的日志系统的工作性能的日志。

本申请实施例提供的一种日志分析系统，提取模块可以包括：

第一获取单元，用于获取预先设定的无效日志的关键字；

第一判断单元，用于对于初始日志集中的每一条日志，判断日志中是否包含关键字，若是，则在初始日志集中删除日志；

第一确定单元，用于确定最终得到的初始日志集为有效日志。

本申请实施例提供的一种日志分析系统，第一判断单元可以包括：

第一判断子单元，用于采用字符串匹配算法将关键字与日志进行匹配，判断是否匹配成功，若是，则判定日志中包含关键字，若否，则判定日志中不包含关键字。

本申请实施例提供的一种日志分析系统，提取模块可以包括：

第二获取单元，用于获取策略库，策略库中包括预先设定的无效日志；

第二判断单元，用于对于初始日志集中的每一条日志，判断日志是否属于策略库，若是，则在初始日志集中删除日志；

第二确定单元，用于确定最终得到的初始日志集为有效日志。

本申请实施例提供的一种日志分析系统，还可以包括：

第二获取模块，用于提取模块提取初始日志集中的有效日志之后，获取外界设定的与日志系统的目标工作性能对应的目标日志分类条件；

判断模块，用于对于有效日志中的任一日志，判断日志是否满足目标日志分类条件，若是，则将日志作为目标日志，直至得到所有的目标日志，以基于目标日志对日志系统的目标工作性能进行分析。

本申请实施例提供的一种日志分析系统，第二获取模块可以包括：

第三获取单元，用于获取外界设定的与日志系统的预设数量的工作性能对应的目标日志分类条件；

相应的，判断模块可以包括：

输入单元，用于将预设数量的目标日志分类条件及有效日志输入至预设的日志分析模型中；

第四获取单元，用于获取日志分析模型输出的，满足目标日志分类条件的有效日志，并将获取的有效日志作为目标日志。

本申请实施例提供的一种日志分析系统，还可以包括：

存储模块，用于判断模块直至得到所有的目标日志之后，存储所有的目标日志。

本申请还提供了一种日志分析设备及计算机可读存储介质，其均具有本申请实施例提供的一种日志分析方法具有的对应效果。请参阅图4，图4为本申请实施例提供的一种日志分析设备的结构示意图。

本申请实施例提供的一种日志分析设备，可以包括：

存储器201，用于存储计算机程序；

处理器202，用于执行计算机程序时实现如上任一实施例所描述的日志分析方法的步骤。

请参阅图5，本申请实施例提供的另一种日志分析设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现日志分析设备与外界的通信。显示单元202可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。

本申请实施例提供的一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如上任一实施例所描述的日志分析方法的步骤。

本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。

本申请实施例提供的一种日志分析系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的一种日志分析方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种日志分析方法，其特征在于，包括：

获取初始日志集；

提取所述初始日志集中的有效日志，以基于所述有效日志对所述初始日志集对应的日志系统的工作性能进行分析；

其中，所述初始日志集中包括有效日志及无效日志，所述有效日志表示代表所述初始日志集对应的日志系统的工作性能的日志，所述无效日志表示不代表所述初始日志集对应的日志系统的工作性能的日志。

2.根据权利要求1所述的方法，其特征在于，所述提取所述初始日志集中的有效日志，包括：

获取预先设定的所述无效日志的关键字；

对于所述初始日志集中的每一条日志，判断所述日志中是否包含所述关键字，若是，则在所述初始日志集中删除所述日志；

确定最终得到的初始日志集为所述有效日志。

3.根据权利要求2所述的方法，其特征在于，所述判断所述日志中是否包含所述关键字，包括：

采用字符串匹配算法将所述关键字与所述日志进行匹配，判断是否匹配成功，若是，则判定所述日志中包含所述关键字，若否，则判定所述日志中不包含所述关键字。

4.根据权利要求1所述的方法，其特征在于，所述提取所述初始日志集中的所述有效日志，包括：

获取策略库，所述策略库中包括预先设定的无效日志；

对于所述初始日志集中的每一条日志，判断所述日志是否属于所述策略库，若是，则在所述初始日志集中删除所述日志；

确定最终得到的所述初始日志集为所述有效日志。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述提取所述初始日志集中的所述有效日志之后，还包括：

获取外界设定的与所述日志系统的目标工作性能对应的目标日志分类条件；

对于所述有效日志中的任一日志，判断所述日志是否满足所述目标日志分类条件，若是，则将所述日志作为目标日志，直至得到所有的所述目标日志，以基于所述目标日志对所述日志系统的所述目标工作性能进行分析。

6.根据权利要求5所述的方法，其特征在于，所述获取外界设定的与所述日志系统的目标工作性能对应的目标日志分类条件，包括：

获取外界设定的与所述日志系统的预设数量的目标工作性能对应的目标日志分类条件；

所述对于所述有效日志中的任一日志，判断所述日志是否满足所述目标日志分类条件，若是，则将所述日志作为目标日志，直至得到所有的所述目标日志，包括：

将预设数量的所述目标日志分类条件及所述有效日志输入至预设的日志分析模型中；

获取所述日志分析模型输出的，满足所述目标日志分类条件的所述有效日志，并将获取的所述有效日志作为目标日志。

7.根据权利要求5所述的方法，其特征在于，所述直至得到所有的所述目标日志之后，还包括：

存储所有的所述目标日志。

8.一种日志分析系统，其特征在于，包括：

第一获取模块，用于获取初始日志集；

提取模块，用于提取所述初始日志集中的有效日志，以基于所述有效日志对所述初始日志集对应的日志系统的工作性能进行分析；

其中，所述初始日志集中包括有效日志及无效日志，所述有效日志表示代表所述初始日志集对应的日志系统的工作性能的日志，所述无效日志表示不代表所述初始日志集对应的日志系统的工作性能的日志。

9.一种日志分析设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的日志分析方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的日志分析方法的步骤。