CN108710670A

CN108710670A - 一种日志分析方法、装置、电子设备及可读存储介质

Info

Publication number: CN108710670A
Application number: CN201810469593.4A
Authority: CN
Inventors: 沈文策
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-05-16
Filing date: 2018-05-16
Publication date: 2018-10-26

Abstract

本发明实施例提供了一种日志分析方法、装置、电子设备及可读存储介质，应用于互联网技术领域，所述方法包括：针对从服务器中获取的每个日志信息，提取该日志信息中的关键信息，将提取的每个关键信息和该日志信息的对应关系存储至日志数据库中；在对日志进行分析时，根据待分析信息，从日志数据库中提取与待分析信息对应的所有日志信息。本发明实施例中，将网站的日志信息导入数据库，之后通过数据库对数据进行分类查询，可以使网站运维人员高效地对网站用户的使用情况进行分析管理。

Description

一种日志分析方法、装置、电子设备及可读存储介质

技术领域

本发明涉及互联网技术领域，特别是涉及一种日志分析方法、装置、电子设备及可读存储介质。

背景技术

在互联网应用中，当用户访问网站时，服务器可以自动记录用户的日志信息，包括：用户请求的网站地址、请求时间、请求的IP(Internet Protocol，互联网协议)地址和cookie等。网站运维人员通过对用户的日志信息进行分析，可以更加详细、清楚地了解用户的行为习惯。然而，由于用户的日志信息以文本的形式记录在服务器上，网站运维人员难以进行查看与分析，导致日志的分析效率较低。

发明内容

本发明实施例的目的在于提供一种日志分析方法、装置、电子设备及可读存储介质，以提高日志的分析效率。具体技术方案如下：

本发明实施例提供了一种日志分析方法，所述方法包括：

针对从服务器中获取的每个日志信息，提取该日志信息中的关键信息，将提取的每个关键信息和该日志信息的对应关系存储至日志数据库中；

在对日志进行分析时，根据待分析信息，从所述日志数据库中提取与所述待分析信息对应的所有日志信息。

可选的，若从服务器中获取的日志信息是周期性获取的，

在所述将提取的每个关键信息和该日志信息的对应关系存储至日志数据库中之后，所述方法还包括：

在每个周期之后，若所述服务器中的日志信息增加，获取增加的日志信息；

提取所述增加的日志信息中的关键信息，将所述增加的日志信息中的每个关键信息和所述增加的日志信息的对应关系更新至所述日志数据库中。

可选的，所述提取该日志信息中的关键信息，包括：

根据预设提取规则，提取该日志信息中的关键信息。

可选的，若所述待分析信息包含敏感信息，

在所述从所述日志数据库中提取与所述待分析信息对应的所有日志信息之后，所述方法还包括：

若所述所有日志信息中同一用户的日志信息的个数大于预设阈值，发送告警消息，所述告警消息包含该用户的标识信息。

本发明实施例提供了一种日志分析装置，所述装置包括：

数据库建立模块，用于针对从服务器中获取的每个日志信息，提取该日志信息中的关键信息，将提取的每个关键信息和该日志信息的对应关系存储至日志数据库中；

日志分析模块，用于在对日志进行分析时，根据待分析信息，从所述日志数据库中提取与所述待分析信息对应的所有日志信息。

可选的，若从服务器中获取的日志信息是周期性获取的，

所述装置还包括：

更新模块，用于在每个周期之后，若所述服务器中的日志信息增加，获取增加的日志信息；提取所述增加的日志信息中的关键信息，将所述增加的日志信息中的每个关键信息和所述增加的日志信息的对应关系更新至所述日志数据库中。

可选的，所述日志数据库建立模块包括：

关键信息提取子模块，用于根据预设提取规则，提取该日志信息中的关键信息。

可选的，若所述待分析信息包含敏感信息，

所述装置还包括：

告警消息发送模块，用于若所述所有日志信息中同一用户的日志信息的个数大于预设阈值，发送告警消息，所述告警消息包含该用户的标识信息。

本发明实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现上述任一所述的日志分析方法的步骤。

本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一所述的日志分析方法的步骤。

本发明实施例提供的日志分析方法、装置、电子设备及可读存储介质，针对从服务器中获取的每个日志信息，提取该日志信息中的关键信息，将提取的每个关键信息和该日志信息的对应关系存储至日志数据库中；在对日志进行分析时，根据待分析信息，从日志数据库中提取与待分析信息对应的所有日志信息。本发明实施例中，通过将网站的日志信息导入数据库，之后通过数据库对数据进行分类查询，可以使网站运维人员高效地对网站用户的使用情况进行分析管理。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的日志分析方法的一种流程图；

图2为本发明实施例的日志分析方法的另一种流程图；

图3为本发明实施例的日志分析装置的一种结构图；

图4为本发明实施例的电子设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

用户在访问网站时，用户的请求信息通常以文本的形式记录在服务器上，网站运维人员难以进行查看与分析。为了解决该问题，本发明实施例提供了一种日志分析方法、装置、电子设备及可读存储介质，以提高日志的分析效率。

下面首先对本发明实施例所提供的日志分析方法进行详细介绍。

参见图1，图1为本发明实施例的日志分析方法的一种流程图，包括以下步骤：

S101，针对从服务器中获取的每个日志信息，提取该日志信息中的关键信息，将提取的每个关键信息和该日志信息的对应关系存储至日志数据库中。

S102，在对日志进行分析时，根据待分析信息，从日志数据库中提取与待分析信息对应的所有日志信息。

图1所示实施例的有益效果在于，通过将网站的日志信息导入数据库，之后通过数据库对数据进行分类查询，可以使网站运维人员高效地对网站用户的使用情况进行分析管理。

参见图2，图2为本发明实施例的日志分析方法的另一种流程图，包括以下步骤：

S201，针对从服务器中获取的每个日志信息，提取该日志信息中的关键信息，将提取的每个关键信息和该日志信息的对应关系存储至日志数据库中。

本发明实施例中，用户在访问网站时生成的日志信息，通常以文本的形式存储在服务器中，其中，日志信息包括：用户请求的网站地址、请求时间、请求的IP地址等。可以提取每个日志信息中的关键信息(用户请求的IP地址、用户的IP地址、用户请求的网站地址等)，这样，可以建立关键信息和日志信息的对应关系，例如，IP地址和该日志信息的对应关系，用户标识和该日志信息的对应关系等，并将得到的对应关系存储至日志数据库中。

S202，若从服务器中获取的日志信息是周期性获取的，在每个周期之后，若服务器中的日志信息增加，获取增加的日志信息，提取增加的日志信息中的关键信息，将增加的日志信息中的每个关键信息和增加的日志信息的对应关系更新至日志数据库中。

具体的，由于服务器中的日志信息是随着时间增加的，本发明实施例中，可以周期性获取服务器中的日志信息。在通过S201初次获取服务器中的日志信息之后，可以每过一个周期，获取服务器中增加的日志信息，提取增加的日志信息中的关键信息，将增加的日志信息中的每个关键信息和增加的日志信息的对应关系更新至日志数据库中。这样，不用对服务器中已经存储的日志信息进行重复处理，从而减小数据处理的压力。

S203，在对日志进行分析时，根据待分析信息，从日志数据库中提取与待分析信息对应的所有日志信息。

本发明实施例中，可以通过建立的日志数据库对日志信息进行分析。即，根据待分析信息，从日志数据库中提取与待分析信息对应的所有日志信息。例如，若待分析信息为特定时间段，可以查询特定时间段内的日志信息；若待分析信息为IP地址，可以查询来自同一个IP地址(即源IP地址相同)的日志信息等。另外，还可以将来自同一个IP地址的日志信息按照时间顺序进行排列，进而分析用户在浏览网站时的操作流程。

S204，若待分析信息包含敏感信息，且所有日志信息中同一用户的日志信息的个数大于预设阈值，发送告警消息，告警消息包含该用户的标识信息。

本发明实施例中，对于具有某些特征的行为，可以设置监视规则，例如，对于某一敏感的网站接口，若同一IP地址在一段时间内的请求次数过于频繁，可以将这种行为视为恶意攻击。此时，该IP地址对应的用户的日志信息中将包含敏感信息，若该用户的日志信息中包含敏感信息的日志信息的个数大于预设阈值，可以向网站运维发出告警消息，这样，网站运维人员可以对该用户的访问权限进行限制。其中，预设阈值可以根据实际应用进行设置，在此不做限定。

本发明实施例的日志分析方法，针对从服务器中获取的每个日志信息，提取该日志信息中的关键信息，将提取的每个关键信息和该日志信息的对应关系存储至日志数据库中；若对日志信息进行周期性提取，可以在每个周期之后，获取增加的日志信息，提取增加的日志信息中的关键信息，将增加的日志信息中的每个关键信息和增加的日志信息的对应关系更新至日志数据库中。在对日志进行分析时，根据待分析信息，从日志数据库中提取与待分析信息对应的所有日志信息。若待分析信息包含敏感信息，且所有日志信息中同一用户的日志信息的个数大于预设阈值，发送告警消息。本发明实施例中，可以周期性将服务器中增加的日志信息导入数据库，之后通过数据库对数据进行分类查询，从而使网站运维人员高效地对网站用户的使用情况进行分析管理。并且，在用户对敏感网络接口的访问次数较频繁时，发送告警消息。

本发明的一种实现方式中，图1实施例S101和图2实施例S201中，提取该日志信息中的关键信息，包括：

根据预设提取规则，提取该日志信息中的关键信息。

本发明实施例中，关键信息可以包括：用户的IP地址、用户请求的网站地址等。相应地，预设提取规则可以为提取日志信息中的源IP地址和目的IP地址，预设提取规则还可以为提取日志信息中的网站地址等。对日志分析的需求不同，预设提取规则将不同，在此不对预设提取规则做限定。

相应于上述方法实施例，本发明实施例还提供了一种日志分析装置，参见图3，图3为本发明实施例的日志分析装置的一种结构图，包括：

数据库建立模块301，用于针对从服务器中获取的每个日志信息，提取该日志信息中的关键信息，将提取的每个关键信息和该日志信息的对应关系存储至日志数据库中；

日志分析模块302，用于在对日志进行分析时，根据待分析信息，从日志数据库中提取与待分析信息对应的所有日志信息。

本发明实施例的日志分析装置，针对从服务器中获取的每个日志信息，提取该日志信息中的关键信息，将提取的每个关键信息和该日志信息的对应关系存储至日志数据库中；在对日志进行分析时，根据待分析信息，从日志数据库中提取与待分析信息对应的所有日志信息。本发明实施例中，通过将网站的日志信息导入数据库，之后通过数据库对数据进行分类查询，可以使网站运维人员高效地对网站用户的使用情况进行分析管理。

需要说明的是，本发明实施例的装置是应用上述日志分析方法的装置，则上述日志分析方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。

本发明的一种实现方式中，若从服务器中获取的日志信息是周期性获取的，

上述日志分析装置还包括：

更新模块，用于在每个周期之后，若服务器中的日志信息增加，获取增加的日志信息；提取增加的日志信息中的关键信息，将增加的日志信息中的每个关键信息和增加的日志信息的对应关系更新至日志数据库中。

本发明的一种实现方式中，日志数据库建立模块包括：

本发明的一种实现方式中，若待分析信息包含敏感信息，

上述日志分析装置还包括：

告警消息发送模块，用于若所有日志信息中同一用户的日志信息的个数大于预设阈值，发送告警消息，告警消息包含该用户的标识信息。

本发明实施例还提供了一种电子设备，参见图4，图4为本发明实施例的电子设备的结构图，包括：处理器401、通信接口402、存储器403和通信总线404，其中，处理器401、通信接口402、存储器403通过通信总线404完成相互间的通信；

存储器403，用于存放计算机程序；

处理器401，用于执行存储器403上所存放的程序时，实现上述任一日志分析方法的步骤。

需要说明的是，上述电子设备提到的通信总线404可以是PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线404可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口402用于上述电子设备与其他设备之间的通信。

存储器403可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器401可以是通用处理器，包括：CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital SignalProcessing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明实施例的电子设备中，处理器通过执行存储器上所存放的程序，针对从服务器中获取的每个日志信息，提取该日志信息中的关键信息，将提取的每个关键信息和该日志信息的对应关系存储至日志数据库中；在对日志进行分析时，根据待分析信息，从日志数据库中提取与待分析信息对应的所有日志信息。本发明实施例中，通过将网站的日志信息导入数据库，之后通过数据库对数据进行分类查询，可以使网站运维人员高效地对网站用户的使用情况进行分析管理。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时，实现上述任一日志分析方法的步骤。

本发明实施例的计算机可读存储介质中存储的指令在计算机上运行时，针对从服务器中获取的每个日志信息，提取该日志信息中的关键信息，将提取的每个关键信息和该日志信息的对应关系存储至日志数据库中；在对日志进行分析时，根据待分析信息，从日志数据库中提取与待分析信息对应的所有日志信息。本发明实施例中，通过将网站的日志信息导入数据库，之后通过数据库对数据进行分类查询，可以使网站运维人员高效地对网站用户的使用情况进行分析管理。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于日志分析装置、电子设备及可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种日志分析方法，其特征在于，所述方法包括：

2.根据权利要求1所述的日志分析方法，其特征在于，若从服务器中获取的日志信息是周期性获取的，

3.根据权利要求1所述的日志分析方法，其特征在于，所述提取该日志信息中的关键信息，包括：

根据预设提取规则，提取该日志信息中的关键信息。

4.根据权利要求1所述的日志分析方法，其特征在于，若所述待分析信息包含敏感信息，

5.一种日志分析装置，其特征在于，所述装置包括：

6.根据权利要求5所述的日志分析装置，其特征在于，若从服务器中获取的日志信息是周期性获取的，

所述装置还包括：

7.根据权利要求5所述的日志分析装置，其特征在于，所述日志数据库建立模块包括：

8.根据权利要求5所述的日志分析装置，其特征在于，若所述待分析信息包含敏感信息，

所述装置还包括：

9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-4任一所述的日志分析方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-4任一所述的日志分析方法的步骤。