CN107315779A

CN107315779A - 日志分析方法和系统

Info

Publication number: CN107315779A
Application number: CN201710414377.5A
Authority: CN
Inventors: 胡嵩
Original assignee: Marine Network Technology (beijing) Co Ltd
Current assignee: Beijing wisdom Technology Co., Ltd.
Priority date: 2017-06-05
Filing date: 2017-06-05
Publication date: 2017-11-03

Abstract

本发明的目的是提供一种日志分析方法、系统以及计算机设备、计算机可读存储介质与计算机程序产品。日志分析系统获取待分析的日志信息，所述日志信息包括多个日志行；根据时间信息，将所述日志信息划分为多条日志记录，其中每条日志记录对应于一个时间信息；按照所述每条日志记录的结构信息，提取其中的关键词；将具有相同结构信息和关键词的日志记录进行分类及展示，并在展示时将其他字符转换为特殊符号。本发明从日志的结构特征着手，将具有相同结构信息和关键词的日志记录进行归类展示，从而可以有效地将具有同一句代码输出的日志记录归为同一类，当输出各个类型日志的模式信息，可以清晰、直观地展示日志，方便用户查看和分析日志。

Description

日志分析方法和系统

技术领域

本发明涉及计算机技术领域，具体涉及一种对日志进行分析的技术。

背景技术

日志是记录计算机系统运行状态和事件的重要载体，如何更好地分析日志是查看系统运行状态和追查问题的关键，而随着计算机系统的应用场景不断增多，各个系统产生的日志数量和种类开始超过人脑处理能力的上线。目前日志分析的技术通常用关键字搜索实现，搜索结果中可能包含多种不同类型的日志，观察和分析难度很大。

发明内容

本发明的目的是提供一种日志分析方法、系统以及计算机设备、计算机可读存储介质与计算机程序产品。

根据本发明的一个方面，提供了一种日志分析方法，其中，该方法包括以下步骤：

a获取待分析的日志信息，所述日志信息包括多个日志行；

b根据时间信息，将所述日志信息划分为多条日志记录，其中每条日志记录对应于一个时间信息；

c按照所述每条日志记录的结构信息，提取其中的关键词；

d将具有相同结构信息和关键词的日志记录进行分类及展示，并在展示时将其他字符转换为特殊符号。

根据本发明的一个方面，还提供了一种日志分析系统，其中，该系统包括：

日志获取装置，用于获取待分析的日志信息，所述日志信息包括多个日志行；

日志划分装置，用于根据时间信息，将所述日志信息划分为多条日志记录，其中每条日志记录对应于一个时间信息；

结构解析装置，用于按照所述每条日志记录的结构信息，提取其中的关键词；

分类展示装置，用于将具有相同结构信息和关键词的日志记录进行分类及展示，并在展示时将其他字符转换为特殊符号。

根据本发明的一个方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现根据本发明的一个方面的一种日志分析方法。

根据本发明的一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现根据本发明的一个方面的一种日志分析方法。

根据本发明的一个方面，还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时实现根据本发明的一个方面的一种日志分析方法。

与现有技术相比，本发明从日志的结构特征着手，将具有相同结构信息和关键词的日志记录进行归类展示，从而可以有效地将具有同一句代码输出的日志记录归为同一类，当输出各个类型日志的模式信息，可以清晰、直观地展示日志，方便用户查看和分析日志。这在故障定位也是有效的。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图；

图2示出根据本发明一个实施例的一种对日志进行分析的方法流程图；

图3示出根据本发明一个实施例的一种日志分析系统的装置示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的程序指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人计算机(PC)、笔记本电脑、平板电脑、智能手机等。

所述计算机设备例如包括用户设备与网络设备。其中，所述用户设备包括但不限于个人计算机(PC)、笔记本电脑、移动终端等，所述移动终端包括但不限于智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。

需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。

本文后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

下面结合附图对本发明作进一步详细描述。

图1示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图1显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图1所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图1未示出，通常称为“硬盘驱动器”)。尽管图1中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图1中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理。

例如，存储器28中存储有用于执行本发明的各项功能和处理的计算机程序，处理单元16执行相应计算机程序时，本发明的日志分析方法被实现。

以下将详细描述本发明实现对日志分析的具体功能/步骤。

图2示出根据本发明的一个实施例，其中具体示出一种对日志进行分析的方法流程图。

该日志分析方法由日志分析系统来执行。日志分析系统典型地位于网络侧，例如布置于一台或多台服务器。

如图2所示，在步骤S1中，日志分析系统获取待分析的日志信息，所述日志信息包括多个日志行；在步骤S2中，日志分析系统根据时间信息，将所述日志信息划分为多条日志记录，其中每条日志记录对应于一个时间信息；在步骤S3中，日志分析系统按照所述每条日志记录的结构信息，提取其中的关键词；在步骤S4中，日志分析系统将具有相同结构信息和关键词的日志记录进行分类及展示，并在展示时将其他字符转换为特殊符号。

具体地，在步骤S1中，日志分析系统获取待分析的日志信息，日志信息包括多个日志行。

通常日志信息数量庞大，各种计算机系统在运行时会产生大量的日志信息。因此，日志分析系统获取待分析的日志信息，其中当然包括多行日志，每行日志被称为一个日志行。

一个多行日志的实例可以如下所示：

[2017-04-06 11:00:14] [ERROR] [1a912c61293a]

[Traceback(most recent call last):

File"/src/handler/base/base_handler.py",line 67,in run

在步骤S2中，日志分析系统根据时间信息，将所获取的日志信息划分为多条日志记录，其中每条日志记录对应于一个时间信息。

在此，日志分析系统根据预设的时间规则表达式，提取日志行中的时间信息。

例如，各种时间信息对应的时间规则表达式如下：

日志分析系统可利用上述时间规则表达式，匹配出每一行日志中的时间信息，如果某行日志不匹配任何预设的时间格式，则该行日志的时间信息为空。

据此，日志分析系统可以查找到包含时间信息的日志行，并将其标记为首行。

随后，日志分析系统可以将每个首行之后的日志行进行前向合并，即将不具有时间信息的日志行与其之前的首行合并为一条日志记录，从而每条日志记录对应于其首行的时间信息。

在一些日志中，一条日志记录可能包括连续的多行日志，如果某一行日志的时间信息为空，则与前一行合并为一条日志。

例如，仍参照上述多行日志的实例，其中，第一个日志行中包括时间信息，因此为首行。其后的两个日志行不包含时间信息，因此与该首行合并为一条日志记录。该条日志记录的时间信息为首行日志的时间信息。

在步骤S3中，日志分析系统按照每条日志记录的结构信息，提取其中的关键词。

在此，日志分析系统提取每条日志记录中的特定字符作为结构信息。例如，日志分析系统提取每条日志记录中的空格、制表符、括号、竖线、&等特定字符作为日志记录的结构信息。

日志分析系统将上述结构信息作为分隔符，对每条日志记录进行提词，并将所提取的词频超过阈值的词作为关键词。例如，日志分析系统统计所提取的每一个词的词频，根据预设的词频阈值，将词频超过该词频阈值的词作为关键词，每条日志记录中可能包含多个关键词，也可能不包含任何关键词。

例如，仍参照上述多行日志的实例，日志分析系统从中所提取的词例如handler和base，其中handler的词频超过词频阈值，而base的词频未超过词频阈值，从而handler成为关键词。

在步骤S4中，日志分析系统将具有相同结构信息和关键词的日志记录进行分类及展示，并在展示时将其他字符转换为特殊符号。

在此，日志分析系统可以将结构信息和关键词作为特征信息，进而将具有相同特征信息的日志记录分为一类，并对相同类型的日志记录进行展示。当对同一类的日志记录进行展示时，日志分析系统将其所具有的相同结构信息和关键词以外的其他字符转换为特殊符号，如星号＊，进行展示，以作为该类日志记录的模式。

图3示出根据本发明的一个实施例，其中具体示出一种日志分析系统的装置示意图。该日志分析系统典型地位于网络侧，例如布置于一台或多台服务器。

如图3所示，日志分析系统30包括日志获取装置31、日志划分装置32、结构解析装置33和分类展示装置34。

其中，日志获取装置31用于获取待分析的日志信息，所述日志信息包括多个日志行；日志划分装置32用于根据时间信息，将所述日志信息划分为多条日志记录，其中每条日志记录对应于一个时间信息；结构解析装置33用于按照所述每条日志记录的结构信息，提取其中的关键词；分类展示装置34用于将具有相同结构信息和关键词的日志记录进行分类及展示，并在展示时将其他字符转换为特殊符号。

具体地，日志获取装置31获取待分析的日志信息，日志信息包括多个日志行。

通常日志信息数量庞大，各种计算机系统在运行时会产生大量的日志信息。因此，日志获取装置31获取待分析的日志信息，其中当然包括多行日志，每行日志被称为一个日志行。

一个多行日志的实例可以如下所示：

[2017-04-06 11:00:14] [ERROR] [1a912c61293a]

[Traceback(most recent call last):

File"/src/handler/base/base_handler.py",line 67,in run

日志划分装置32根据时间信息，将所获取的日志信息划分为多条日志记录，其中每条日志记录对应于一个时间信息。

在此，日志划分装置32根据预设的时间规则表达式，提取日志行中的时间信息。

例如，各种时间信息对应的时间规则表达式如下：

日志划分装置32可利用上述时间规则表达式，匹配出每一行日志中的时间信息，如果某行日志不匹配任何预设的时间格式，则该行日志的时间信息为空。

据此，日志划分装置32可以查找到包含时间信息的日志行，并将其标记为首行。

随后，日志划分装置32可以将每个首行之后的日志行进行前向合并，即将不具有时间信息的日志行与其之前的首行合并为一条日志记录，从而每条日志记录对应于其首行的时间信息。

结构解析装置33按照每条日志记录的结构信息，提取其中的关键词。

在此，结构解析装置33提取每条日志记录中的特定字符作为结构信息。例如，结构解析装置33提取每条日志记录中的空格、制表符、括号、竖线、&等特定字符作为日志记录的结构信息。

结构解析装置33将上述结构信息作为分隔符，对每条日志记录进行提词，并将所提取的词频超过阈值的词作为关键词。例如，结构解析装置33统计所提取的每一个词的词频，根据预设的词频阈值，将词频超过该词频阈值的词作为关键词，每条日志记录中可能包含多个关键词，也可能不包含任何关键词。

例如，仍参照上述多行日志的实例，结构解析装置33从中所提取的词例如handler和base，其中handler的词频超过词频阈值，而base的词频未超过词频阈值，从而handler成为关键词。

分类展示装置34将具有相同结构信息和关键词的日志记录进行分类及展示，并在展示时将其他字符转换为特殊符号。

在此，分类展示装置34可以将结构信息和关键词作为特征信息，进而将具有相同特征信息的日志记录分为一类，并对相同类型的日志记录进行展示。当对同一类的日志记录进行展示时，分类展示装置34将其所具有的相同结构信息和关键词以外的其他字符转换为特殊符号，如星号＊，进行展示，以作为该类日志记录的模式。

本发明可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，本发明的各个装置可采用专用集成电路(ASIC)或任何其他类似硬件设备来实现。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。

Claims

1.一种日志分析方法，其中，该方法包括以下步骤：

a获取待分析的日志信息，所述日志信息包括多个日志行；

c按照所述每条日志记录的结构信息，提取其中的关键词；

2.根据权利要求1所述的方法，其中，所述步骤b具体包括：

-查找包含时间信息的日志行，并将其标记为首行；

-将每个首行之后的日志行与相应首行合并为一条日志记录，从而每条日志记录对应于其首行的时间信息。

3.根据权利要求2所述的方法，其中，所述查找步骤具体包括：

-根据预设的时间规则表达式，提取日志行中的时间信息，以查找到所述首行。

4.根据权利要求1至3中任一项所述的方法，其中，所述步骤c具体包括：

-提取所述每条日志记录中的特定字符作为结构信息；

-将所述结构信息作为分隔符，对所述每条日志记录进行提词；

-将所提取的词频超过阈值的词作为所述关键词。

5.根据权利要求1至4中任一项所述的方法，其中，所述步骤d具体包括：

-根据相同结构信息和关键词对所述多条日志记录进行分类；

-对同一类的日志记录进行展示时，将所述相同结构信息和关键词以外的其他字符转换为特殊符号进行展示。

6.一种日志分析系统，其中，该系统包括：

7.根据权利要求6所述的系统，其中，所述日志划分装置具体用于：

-查找包含时间信息的日志行，并将其标记为首行；

8.根据权利要求7所述的系统，其中，所述查找操作具体包括：

9.根据权利要求6至8中任一项所述的系统，其中，所述结构解析装置具体用于：

-提取所述每条日志记录中的特定字符作为结构信息；

-将所提取的词频超过阈值的词作为所述关键词。

10.根据权利要求6至9中任一项所述的系统，其中，所述分类展示装置具体用于：

-根据相同结构信息和关键词对所述多条日志记录进行分类；

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法。

13.一种计算机程序产品，当所述计算机程序产品被计算机设备执行时实现如权利要求1至5中任一项所述的方法。