CN103713987A - 基于关键词的日志处理 - Google Patents

Abstract

一种基于关键词的日志处理。可通过识别日志文件中的共同关键词来比较日志文件。所述关键词识别日志文件内的相似数据，即使当相似数据位于日志文件不同行中。之后可生成日志文件的图形比较，其可包括基于日志文件中相似数据的计算。使用关键词来识别日志文件中的相似数据可允许用单个线性通路执行日志文件的比较。

Description

基于关键词的日志处理

技术领域

本即时公开涉及分析日志文件。更具体而言，本公开涉及基于日志文件中的关键词比较日志文件和基线日志文件而分析日志文件。

背景技术

如今计算机系统具有大量的可用存储空间。存储空间存储用于执行的代码并存储由代码生成或由用户生成的数据。由于存储空间的高度可用性，许多应用程序开发者和用户把存储空间视为无限。也就是说，关于应用程序和用户存储的数据，存在非常不足的详细检查(scrutiny)。

由计算机系统生成日志文件，用于保持关于计算机系统执行的任务信息。具体而言，日志文件利于跟踪由计算机系统或计算机系统上执行的应用程序生成的警告和/或错误。尽可能多的信息经常被堆放到日志文件中，因为有关错误或警告信息只在错误或警告时可用，而可用存储空间几乎是无限的。虽然这种记录尽可能多的数据的常规做法导致诊断警告和/或错误的海量信息，但是所述信息难于处理。

具体而言，来自两个不同日志的数据难于比较。可需要大量的处理时间来分析日志文件。即使当处理时间可用来分析一个日志文件，经常比较来自两个或多个日志文件的数据以获得所需的诊断信息。例如，事件可以在计算机系统上首次发生，类似事件可以在计算机系统上第二次发生。比较来自第一和第二个事件的日志文件可有利于诊断计算机系统以识别和解决事件中创建的错误或警告。然而，常规的日志通过常规的加工方法比较是冗长和耗时的。

发明内容

通过基于关键词的比较可改善日志文件的分析，特别是日志文件的比较。可识别日志文件中的关键词，那些关键词可位于其他日志文件中，识别合适日志文件的部分而用于比较。识别关键词并比较来自两个或多个日志文件的信息后，可将所述信息图形地显示给用户。图形显示可包括基于日志文件信息的计算，例如性能的提高或降低。

根据一个实施例，一种方法包括打开第一日志文件。所述方法还包括打开第二日志文件。所述方法还包括：通过共同的关键词，通过识别第一日志文件和第二日志文件中的相似线而比较第一日志文件和第二日志文件。所述方法还包括图形地显示所述比较。

根据另一个实施例中，一种计算机程序产品包括具有代码来打开目标日志文件的非暂时性计算机可读介质。所述介质还包括代码以打开基线日志文件。所述介质还包括代码，用以通过共同的关键词、通过识别目标日志文件和基线日志文件中的相似行而比较目标日志文件和基线日志文件。所述介质还包括代码以图形地显示所述比较。

根据本发明的又一实施例，一种装置包括存储第一日志文件和第二日志文件的存储器。所述装置还包括耦合到存储器和显示适配器的处理器。所述处理器被配置为打开第一日志文件。所述处理器还被配置为打开第二日志文件。所述处理器进一步被配置为：通过共同的关键词、通过识别第一日志文件和第二日志文件中的相似行而比较第一日志文件和第二日志文件。所述处理器还被配置为通过显示适配器图形地显示所述比较。

上面已经相当广泛地概述了本发明的特征和技术优点，以便更好地理解如下本发明的详细描述。本发明的附加特征和优点将在下文描述，其形成了本发明的权利要求的主题。本领域技术人员应当理解：公开的概念和具体实施例可以容易地用作修改或设计实施本发明相同目的的其他结构的基础。本领域技术人员还应当认识到：这种等价结构没有偏离在所附权利要求中提出的本发明的精神和范围。当结合附图考虑时，从以下说明中将更好地理解被认为是本发明特点的新颖特征，既关于其组织和操作方法，也连同进一步的目的和优点。然而将清楚地理解的是：仅仅是出于图示和描述的目的而提供每个图中，并不打算作为本发明的限制定义。

附图说明

为了更全面地理解所公开的系统和方法，现在结合附图对下列说明做出参考。

图1例示了根据本公开的一个实施例，基于关键词分析日志文件的方法流程图。

图2例示了根据本公开一个实施例的分析日志文件的框图。

图3是根据本公开一介实施例的两个日志文件的列表。

图4A例示了根据本公开一个实施例的比较两个日志文件的图形显示的屏幕。

图4B例示了根据本公开一个实施例的比较两个日志文件中不同错误和警告的图形显示的屏幕。

图4C例示了根据本公开一个实施例的比较两个日志文件中相似错误和警告的图形显示的屏幕。

图5例示了根据本公开一个实施例的计算机网络的框图。

图6例示了根据本公开一个实施例的计算机系统的框图。

图7A例示了根据本公开一个实施例的用于虚拟化的托管模拟软件环境的服务器的框图。

图7B例示了根据本公开一个实施例的托管模拟硬件环境的服务器的框图。

具体实施方式

图1例示了根据本公开的一个实施例、基于关键词分析日志文件的方法流程图。方法100以打开第一日志文件(例如目标日志文件)开始于块102。所述方法100可继续块104，打开例如基线日志文件的第二日志文件。块102和104的第一日志文件和第二日志文件可来自应用程序(例如Agile Business(AB)Suite)的日志文件。

打开第一和第二日志文件后，可处理所述日志文件。图2例示了根据本公开一个实施例的分析日志文件的框图。第一日志文件202和第二日志文件204可输入到一个或多个解析器(parser)中，例如构建日志解析器212，验证日志解析器214，导入日志解析器216，导出日志解析器218和系统建模日志解析器220。解析器212-220可读取日志文件，并通过删除某些信息来提取相关信息。例如，解析器212-220可以消除来自日志文件202和204的日期和时间。可选择解析器212-220中的一个或多个，用于自动解析日志文件202和204，例如通过读取日志文件202和204的标题。当指定日志文件202和204进行比较时，可由用户通过用户界面手动选择解析器212-220中的一个或多个。日志文件202和204可以包括一种以上的类型的信息，以便日志文件202和204的部分由不同的解析器212-220解析。解析日志文件202和204后，将信息传递到比较引擎230。根据一个实施例，解析日志文件202和204包括在日志文件202和204的特定行之前添加关键词。无论解析之前或解析期间添加而出现在日志文件202和204中，比较日志文件202和204期间可使用关键词。

返回来参见图1的块106，可根据共同关键词通过识别相似行来比较第一日志文件和第二日志文件。可比较对应于关键词的日志文件202的行和对应于同一关键词的日志文件204的行。可通过比较关键词的相应行来计算日志文件202和204之间的差异。

图3是根扰本公开一个实施例的两个日志文件的列表。第一日志文件的列表300可包括关键词：关键词1，关键词2，关键词3，......关键词N。第二日志文件的列表310可包含和列表300相同的关键词。列表300中，日志行1，2和3可对应于关键词1。列表310中，日志行5，7和8可对应于关键词1。通过使用关键词1将列表300的行1，2和3识别为对应于列表310的行5，7和8，降低了文件的处理时间。也就是说，确定列表310的行5对应于列表300的行1之前，可立即比较列表310的行5和列表300的行1，而不是比较列表300的行1和列表310的行1-4。同样，关键词2可对应于列表300的日志行4-5和列表310的日志行12和14，而关键词3可对应于列表300的日志行6-7和列表310的日志行16-17。

返回来参见图1的块108，可将第一日志文件和第二日志文件的图形比较呈现给用户。图形比较可包括：在块106处由共同关键词链接的日志文件的逐行比较。例如，用户能够从第一日志选择行，可自动选择第二日志文件的对应行。在另一个例子中，比较期间可从第一日志文件和第二日志文件中提取统计信息，用于计算结果。例如，当第一日志文件包括关于时间量的信息用以处理来自第一运行的任务时，以及当第二日志文件包括关于时间量的信息用以处理来自第二运行的任务时，统计信息可包括值，表示从第一运行到第二运行的处理时间的减少。

图4A例示了根据本公开一个实施例的两个日志文件比较的图形显示屏幕。显示器400包括文本框402，用于识别诸如目标日志的第一日志文件，以及文本框404，用于识别诸如基线日志文件的第二日志文件。基线日志文件可包括计算机系统上应用程序执行的结果。目标日志文件可包括指示目标性能的计算机系统上的应用程序的执行结果。文本框402的日志文件可显示在窗口406中，文本框404的日志文件可显示在窗口408中。第一和第二日志文件的相应行可分别一起显示在窗口406和408中。窗口406和408的行也可以是彩色编码，用以协助用户分析包含在第一和第二日志中的信息。例如，可用相同的颜色彩色编码相应行。在另一实例中，依赖于对应日志文件的特定行的值，可将窗口406和408中的行彩色编码为红色或绿色。也就是说，如果窗口406中的值较低，则窗口406中日志文件的行可以彩色编码为绿色，而窗口408中日志文件的行可以彩色编码为红色。计算窗口410可以显示来自窗口406的值以及来自窗口408的值的结果，例如目标对基线的百分比改善。

图4B例示了根据本公开一个实施例的两个日志文件中不同错误和警告比较的图形显示屏幕。显示器420可包括列举了目标日志文件中和基线日志文件中不同条目的窗口422。窗口422中的文本被分成在目标记录为新的行列表以及存在于基线日志中的行列表。

图4C例示了根据本公开一个实施例、两个日志文件中相似错误和警告比较的图形显示屏幕。显示器440可包括窗口442，列举了目标日志文件和基线日志文件中相似和/或相同的错误和警告。

只有当每个日志文件的关键词匹配时，基于关键词的日志比较可用于图形地呈现来自两个日志文件的一组线。当比较和传统处理技术相比较的日志文件时，基于关键词的日志比较提高了性能，降低了处理时间。可通过线性操作在单一通路中比较日志文件，而不是在日志文件中寻找的传统模式匹配。和匹配整个日志行相比，匹配关键词减少了处理时间。通过减少应所述比较的日志行数，只将日志文件和匹配关键词比较减少了处理时间。日志文件的解析可用于减少日志行中的不相关数据，提供了性能的进一步提高。通过调整特定类型日志文件的比较引擎和解析器，也可以提高性能。

图5例示了用于信息系统的系统500的一个实施例，包括处理日志文件的系统。系统500可包括服务器502、数据存储设备506、网络508以及用户接口设备510。服务器502可以是专用服务器或在云计算系统中的一台服务器。服务器502也可以是执行一个或多个游客分区的基于管理程序的系统。在进一步实施例中，系统500可包括存储控制器504，或者被配置为管理数据存储装置506和服务器502之间数据通信的存储服务器，或者与网络508通信的其他组件。在一个可替换实施例中，存储控制器504可以耦合到网络508。数据存储装置506可存储第一和第二日志文件，用于由服务器502和/或用户接口设备510分析。

在一个实施例中，用户接口设备510大体上是指并期望包含合适的基于处理器的设备，如台式计算机，膝上型计算机，个人数字助理(PDA)或平板计算机，智能电话或有权访问网络508的其他移动通信装置。当设备510是移动设备时，诸如相机或加速度计的传感器(未示出)可嵌入到设备510中。当设备510是台式计算机时，传感器可以嵌入到装置510的附件中(未示出)。在进一步实施例中，用户接口设备510可访问互联网或其他广域网或局域网，用以访问由服务器50托管的Web应用程序或Web服务，并提供用户界面，用于使得用户能够输入或接收信息。例如，用户可提供第一和第二日志文件的选择以用于分析。

网络508可便于数据通信，例如在服务器502和用户接口设备510之间部署包。所述网络508可以包括任意类型的通信网络，包括但不限于：直接的PC到PC连接，局域网(LAN)，广域网(WAN)，调制解调器-调制解调器连接，互联网，上述组合，或者现在公知或之后开发的、允许两个或多台计算机通信的网络技术之内的其他任意通信网络。

在一个实施例中，用户接口设备510通过中间服务器(未示出)访问服务器502。例如在云应用程序中，用户接口设备510可以访问应用程序服务器。通过访问数据库管理系统(DBMS)，应用程序服务器可实现来自用户接口设备510的请求。在本实施例中，用户接口设备510可以是执行Java应用程序的计算机或电话，所述Java应用程序向Linux服务器上执行的JBOSS服务器发出请求，通过访问大型机服务器上相关的数据库管理系统(RDMS)而满足了请求。

图6例示了适于根据服务器502和/或用户接口设备510的某些实施例的计算机系统600。中央处理单元(“CPU”)602被耦合到系统总线604。CPU 602可以是通用CPU或微处理器、图形处理单元(“GPU”)和/或微控制器，本实施例并不受CPU 602体系结构的限制，无论是直接地还是间接地，只要CPU 602支持本文所述的操作。CPU 602可执行根据本实施例的各种逻辑指令。

计算机系统600还可包括随机存取存储器(RAM)608，其可以是同步RAM(SRAM)，动态RAM(DRAM)，同步动态RAM(SDRAM)等。计算机系统600可使用RAM 608存储由软件应用程序使用的各种数据结构。计算机系统600还可包括只读存储器(ROM)606，其可以是PROM，EPROM，EEPROM，光存储器等。ROM可存储启动计算机系统600的配置信息。RAM 608和ROM606保持用户和系统数据，可以随机访问RAM 608和ROM 606。

计算机系统600还可包括输入/输出(I/O)适配器610，通信适配器614，用户接口适配器616和显示适配器622。在某些实施例中，I/O适配器610和/或用户接口适配器616可使得用户能够与计算机系统600交互。在进一步实施例中，显示适配器622可显示与显示装置624(例如监视器或触摸屏)上软件或基于网络的应用程序相关的图形用户界面(GUI)。

I/O适配器610可以将一个或多个存储设备612，例如一个或多个硬盘驱动器，固态存储装置，闪速驱动器，光盘(CD)驱动器，软盘驱动器以及磁带驱动器，耦合到计算机系统600上。根据一个实施例中，数据存储器612可以是通过网络连接到I/O适配器610而耦合到计算机系统600的分离服务器。通信适配器614适于将计算机系统600耦合到网络508，其可以是LAN、WAN和/或因特网中的一个或多个。通信适配器614也可适于将计算机系统600耦合到其它网络，例如全球定位系统(GPS)或蓝牙网络。用户接口适配器616将用户输入设备(例如键盘620，指示设备618和/或触摸屏(未示出))耦合到计算机系统600。键盘620可以是触摸面板上显示的屏上键盘。诸如摄像头、麦克风、摄像机、加速度计、指南针和或陀螺仪的额外设备(未示出)可耦合到用户接口适配器616。显示适配器622可由CPU 602驱动，用以控制显示设备624上的显示。设备602-622中的任何一个可以是物理的和/或逻辑的。

本公开的应用并不限于计算机系统600的体系结构。相反，提供计算机系统600作为：适于执行服务器502和/或用户接口设备510功能的一种计算设备的例子。例如可以使用任何合适的基于处理器的装置，包括但不限于：个人数据助理(PDA)，平板计算机，智能手机，计算机游戏控制台和多处理器服务器。此外，可以在专用集成电路(ASIC)、超大规模集成(VLSI)电路或其它电路上实现本公开的系统和方法。实际上，根据所述实施例，本技术领域普通技术人员可以利用能够执行逻辑操作的任意数量的合适结构。例如，计算机系统500可由多个用户和/或应用程序虚拟化访问。

可以在诸如图7A-B的那些模拟软件环境中执行比较日志文件的应用程序。图7A是根据本公开的一个实施例、例示了用于虚拟化的托管模拟软件环境的服务器框图。在服务器上执行的操作系统702包括访问硬件组件的驱动程序，例如用于访问通信适配器614的网络层704。操作系统702例如可以是Linux。操作系统702中的模拟环境708执行程序710，例如CPCommOS。通过非模拟界面706，例如XNIOP，程序710访问操作系统702的联网层704。非模拟界面706转换请求，来自模拟环境708中执行的程序710，用于操作系统702的网络层704。

在另一个实施例中，可通过管理程序虚拟化计算机系统中的硬件。图7B例示了根据本公开一介实施例、托管模拟硬件环境的服务器框图。用户752、754、756可通过管理程序758访问硬件760。管理程序758可与硬件760集成，用以提供硬件760的虚拟化而无需操作系统，例如在图7A中示出的配置。管理程序758可提供访问硬件760，包括CPU 602和通信适配器614。

如果在固件和/或软件上实现，上述功能可被存储为计算机可读介质上的一个或多个指令或代码。实例包括用数据结构编码的非临时性计算机可读介质用计算机程序编码的计算机可读介质。计算机可读介质包括物理的计算机存储介质。存储介质可以是能够由计算机访问的任意可用介质。通过示例而非限制，这种计算机可读介质可以包括RAM，ROM，EEPROM，CD-ROM或其它光盘存储器，磁盘存储器或其他磁性存储设备，或者可用于以指令或数据结构的形式存储想要的程序代码并且可由计算机访问的其它任何介质。磁盘和光盘包括致密光盘(CD)、激光盘、光学盘、数字通用光盘(DVD)、软盘和蓝光光碟。通常，磁盘磁性地复制数据，而光盘光学地复制数据。以上的组合也应包括在计算机可读介质的范围之内。

除了在计算机可读介质上的存储之外，可提供指令和/或数据作为包括在通信装置中的传输介质上的信号。例如，通信装置可包括具有指示指令和数据信号的收发机。指令和数据被配置为使得一个或多个处理器实现权利要求中概述的功能。

虽然已经详细描述了本公开及其优点，但应当理解：在不脱离所附权利要求限定的本公开精神和范围的情况下，此处可做出各种改变、替换和变更。此外，本申请的范围并不打算限定于过程、机器、制造、物质成分、装置、方法和说明书中所述涉骤的特定实施例。本领域普通技术人员将易于从本发明中理解：根据本公开，可使用目前已有或以后将开发的、和此处所述对应实施例一样执行实质上相同功能或获得实质上相同结果的公开、机器、制造、物质成分、装置、方法或步骤。因此所附权利要求书旨在包括在这种过程、机器、制造、物质成分、装置、方法或步骤的范围内。

Claims (19)

1.一种方法，包括：

打开第一日志文件；

打开第二日志文件；

通过共同的关键词，通过识别第一日志文件和第二日志文件中的相似行而比较第一日志文件和第二日志文件；以及

图形地显示所述比较。

2.如权利要求1的方法，其中第一日志文件是目标日志文件，而第二日志文件是基线日志文件。

3.如权利要求2的方法，还包括：

解析目标日志文件；以及

解析基线日志文件，

其中比较步骤包括：比较解析的目标日志文件和解析的基线日志文件。

4.如权利要求3的方法，其中解析目标日志文件的步骤包括：从目标日志文件中去除日期。

5.如权利要求2的方法，还包括：显示比较目标日志文件值和基线日志文件值的数值结果。

6.如权利要求2的方法，其中比较目标日志文件和基线日志文件的步骤包括：只比较具有第一关键词的基线日志文件的行和具有第一关键词的目标日志文件的行。

7.如权利要求2的方法，其中共同关键词识别目标日志文件中的第一组行，且所述共同关键词识别基线日志文件中的第二组行。

8.一种计算机程序产品，包括：

非暂时性计算机可读介质，包括：

打开第一日志文件的代码；

打开第二日志文件的代码；

通过共同的关键词，通过识别第一日志文件和第二日志文件中的相似行而比较目标日志文件和基线日志文件的代码；以及

图形地显示所述比较的代码。

9.如权利要求8的计算机程序产品，其中第一日志文件是目标日志文件，第二日志文件是基线日志文件。

10.如权利要求9的计算机程序产品，其中介质还包括：

解析目标日志文件的代码；

解析基线日志文件的代码；以及

比较解析的目标日志文件和解析的基线日志文件的代码。

11.如权利要求10的计算机程序产品，其中所述介质还包括从目标日志文件中去除日期的代码。

12.如权利要求9的计算机程序产品，其中介质还包括：显示比较目标日志文件值和基线日志文件值的数值结果的代码。

13.如权利要求9的计算机程序产品，其中介质还包括：只比较具有第一关键词的基线日志文件的行和具有第一关键词的目标日志文件的行的代码。

14.一种装置，包括：

存储器，用于存储第一日志文件和第二日志文件；

显示适配器；以及

处理器，耦合到存储器和显示适配器，其中所述处理器被配置为；

打开第一日志文件；

打开第二日志文件；

通过共同的关键词，通过识别第一日志文件和第二日志文件中的相似行而比较第一日志文件和第二日志文件；以及

通过显示适配器图形地显示所述比较。

15.如权利要求14的装置，其中第一日志文件是目标日志文件，以及第二日志文件是基线日志文件。

16.如权利要求15的装置，其中所述处理器进一步被配置为：

解析目标日志文件；

解析基线日志文件；以及

比较解析的目标日志文件和解析的基线日志文件。

17.如权利要求16的装置，其中所述处理器进一步被配置为：从目标日志文件中去除日期。

18.如权利要求15的装置，其中所述处理器进一步被配置为：显示比较目标日志文件值和基线日志文件值的数值结果。

19.如权利要求15的装置，其中所述处理器进一步被配置为：只比较具有第一关键词的基线日志文件的行和具有第一关键词的目标日志文件的行。

Images