CN104239158A - 用于自动分析和链接错误日志的分析引擎 - Google Patents

Abstract

本发明提供一种用于分析错误日志的方法。可以使用自动化的系统来分析并链接测试结果。在第一实施例中，可以接收包括与错误关联的日志数据的错误日志。可以解析日志数据以将它转换为标准化的格式，从而允许更容易的搜索和比较。一旦被标准化，可以在解析的日志数据和从错误日志获得的先前错误之间进行自动比较。如果在解析的日志数据和先前错误之间找到匹配，那么可以将解析的日志数据链接到先前错误，以便在二者之间生成关系。

Description

用于自动分析和链接错误日志的分析引擎

技术领域

本发明涉及用于分析错误日志的方法。

背景技术

开发新应用可能包括用于确保满足应用目标的强度测试（intensive test）。例如，应用设计者一般会进行必须要考虑到的质量考虑。为了测试应用，应用设计者撰写特定的测试用例，进行可用性研究，并且执行时间集中的特设的测试以确保满足设计目标。为了提高效率，可以创建模仿人类与应用交互的自动化测试，诸如自动选择按钮、菜单项等等。基于测试，一般会生成错误日志。错误日志可以包括测试结果，和关于错误的信息的各种字段。可以分析错误日志来确定错误原因，使得可以对应用进行修正。

当前，错误日志的分析消耗大量的时间和金钱。应用设计者分析错误的原因，并且对如何实施修正行为进行确定。相同的错误可以多次重现，如果查看错误日志的人想不起该错误的原因，则他或她必须重新确定原因和解决方案。

发明内容

可以使用自动化的系统来分析并链接错误日志。在第一实施例中，可以接收包括与错误关联的日志数据的错误日志。可以解析日志数据以将它转换为标准化的格式，以允许更容易的搜索和比较。一旦被标准化，可以在解析的日志数据和从错误日志获得的先前错误之间进行自动比较。如果在解析的日志数据和先前错误之间找到匹配，那么可以将解析的日志数据链接到先前错误，以便在它们之间生成关系。

在另一实施例中，用户可以改变存储的链接信息。通过接收用户提供的修正的链接信息，系统可以被教育如何处理将来的情形，以使得链接可以更精确。从而，随着获得更多的结果，自学机制允许精确度提高。最终，随着系统继续将结果链接起来，可以获得测试故障与根原因（root cause）的更精确的匹配。

在另一实施例中，可以实现一组规则以便定制是否出现匹配。例如，匹配器可以基于错误类型、错误消息、踪迹数据、源代码中的位置等等来过滤结果。通过定制在找到匹配之前满足哪些这样的匹配标准或满足多少这样的匹配标准，允许用户配置匹配的结果的范围。从而，用户可以通过要求匹配更少标准来增加该范围。可替换地，用户可以通过要求匹配更多标准来减小该范围（更少匹配）。

提供此发明内容来用简化的形式介绍构思的选择，其将在下面的详细描述中进一步描述。此发明内容不是旨在指示要求的主题的关键特征或实质特征，其也不是意在被用来限制要求的主题的范围。

从下面参照附图进行的详细描述中，本发明的上述和其他目标、特征和优点将变得更加清楚。

附图说明

图1是用于自动分析错误日志的根据一个实施例的系统图。

图2是用于自动分析错误日志的根据另一实施例的系统图。

图3是根据另一实施例的用于自动分析错误日志的方法的流程图。

图4是根据另一实施例的用于自动分析错误日志的方法的流程图。

图5是示出匹配标准的不同层的流程图。

图6是可用于在此描述的任何实施例的示范性计算环境。

具体实施方式

图1是用于自动分析错误日志的根据一个实施例的系统100。如在此使用地，错误日志是用作测试结果、例外、错误消息、或应用日志的任何机器生成的文件或消息。从而，错误日志可以是用于识别故障的、由处于测试下的应用自动生成的任何事物。应用110可以由应用测试器112来分析。在一个特定的例子中，应用110可以具有可由用户选择的、包括按钮、菜单项、滑动块等的用户接口元素。应用测试器112可以自动模仿用户接口元素的选择，并且将应用110的反应与预定结果比较。如果存在差异，那么生成错误，并且可以在错误日志114中存储错误。错误日志可以被输入到解析器120中，解析器120以第一格式从错误日志接收日志数据，并且以第二格式输出日志数据。日志数据可以包括提供关于错误的信息的多个字段。在一个例子中，解析器可以搜索日志数据以找出错误类型，并且将错误类型作为第一字段放在要存储在库（library）130中的错误日志中。可以类似地搜索并重组其它字段，以便在库130中以一致的格式存储日志数据。作为变换的一部分，解析器可以生成要被包括在错误日志中的新字段，诸如唯一标识符。

解析器的示例输出可以包括与错误关联的以下字段：

事件标识符-解析器可以生成每个错误的唯一标识符，以用于库130中的存储和标识。

错误类型-错误类型可以是与发生的错误相关联的标识符，并且可以是数字、文本、字母数字等。

错误消息-错误消息可以是发生的错误的文本描述。

踪迹（trace）-踪迹可以包括被运行直到促使错误的触发事件发生的一系列代码语句。

源上下文（source context）-上下文可以是与发生的错误关联的、在源代码中的位置。

原始内容-原始内容可以由应用来提供。

链接类型-错误可以具有三种链接类型之一：

a.基本链接类型-尚未见过的新错误生成基本链接类型。

b.匹配链接类型-如果找到匹配，那么链接类型被匹配。多个匹配链接类型可以链接到同一基本链接类型。

c.根链接类型-如果用户更新链接类型使得匹配链接类型需要转换为基本链接类型，那么被替换的链接类型成为根链接类型。

应该理解，某些以上字段可以被排除而添加其它字段。一旦解析器120在库130中存储转换的错误日志（包括以上标识的字段），则调用匹配器140。匹配器140可以读取配置文件142，其中，可以由用户诸如通过用户接口150动态地配置配置文件142。配置文件142可以指令匹配器140如何定制匹配。例如，匹配器140可以基于如下的上述字段的一个或多个来过滤结果：错误类型、错误消息、踪迹数据、在源代码中的位置等。通过在找到匹配之前定制满足哪些这样的匹配标准或多少这样的匹配标准，允许用户配置匹配结果的范围。从而，用户可以通过要求匹配更少的标准来增加该范围。可替换地，用户可以通过要求匹配更多的标准来减小该范围。

在一个例子中，匹配器140可以匹配错误类型和错误消息。存储在库130中的错误消息可以包括用来识别单个错误类型的可能错误表达的列表。不同的用户可以不同地描述错误，并且该错误表达列表允许可以用于识别同一错误的替换表达。在下面示出示例列表。

String[]regex=new String[8];

regex[0]="Element.*not(present|found)";

regex[1]=".*?[t,T]ext.*not(present|found)";

regex[2]="Text.*?did not disappear from the page within the specifiedtimeout";

regex[3]="Selenium object was

null.*?expected:.*?(true|false).*?but\\was.*?(true|false).*?";

regex[4]="Expected to find the text\"Company Id:\"on the applicationlogin page but didn't.*?";

regex[5]=".*?expected.*?(true|false).*?but\\was.*?(true|false).*?";

regex[6]=".*?fails:Cannot locate element with:.*?";

regex[7]="Expected mail.*?Please be advised that the document.*?forruntimeAdded.*?has been created";

如果匹配器140匹配列表中任何一种表达，那么可以将错误消息认为是匹配的。从而，匹配器140可以有方法地将解析的日志数据与库130中多个候选错误比较。首先，可以比较错误类型，并且如果在解析的日志数据的错误类型和候选错误之间存在匹配，那么可以执行进一步的分析。例如，可以将解析的日志数据的错误消息与候选错误的错误消息比较。如果解析的日志数据匹配错误类型和错误消息这两者，那么依赖于配置文件，要么出现匹配，要么可以比较额外的数据。例如，匹配器可以继续确定踪迹和/或源上下文的一个或两者是否是匹配的。无论如何，如果找到匹配，则候选错误的链接类型可以用作解析的日志数据的链接类型。从而，可以在解析的日志数据和候选错误之间建立关系。

结果获取器（fetcher）160可以响应于用户接口150以便在库130中搜索需要的结果。例如，可以使用用户接口150来与结果获取器160通信，请求所存储的某种类型的错误。这可以允许用户识别在过去已发生的错误。可以在任何与错误关联的字段上执行搜索。

图2示出用于自动分析测试结果的根据另一实施例的系统200。分析引擎210可以包括库或数据库212，其以标准化格式存储具有合并在其中的链接信息的多个错误日志项（entry），以将通用错误日志项链接在一起。API214允许用户与分析引擎210通信以更新或搜索库212。API214可以通过结果入口220访问，其中，结果入口220与API通信，并且可以报告已接收的新错误日志230。通过结果入口220还可以向分析引擎210传达用户活动240。用户活动240可以与用于搜索库212的请求关联，或者可以是使用链接信息来更新库的请求，其将如下面进一步描述。如果用户活动240是用于搜索库212的请求，则通过结果入口220向API214发送用户请求。API然后向结果获取器模块250发送请求，其搜索库212，获得搜索结果，并通过API向用户返回结果。搜索可以基于在库中存储的、与错误关联的任何字段，包括事件标识符、错误类型、错误消息等。如果用户活动240是请求更新库212，那么API向更新器252发送请求，更新器252可以访问库212，并且根据用户的指令改变存储在库212中的链接类型。

当接收到新的错误日志230时，结果入口220以文本格式在日志事件供给器（feeder）260中存储错误日志230（包括之前描述的字段）。然后日志事件供给器260可以向解析器262传递错误日志。解析器262可以读遍错误日志以识别各个字段，并且将错误日志转换为标准化格式，以用于库212中的存储。标准化格式可以是依赖特定实现的各种格式的任何一种。例如，可以对错误日志中的字段重排、格式化和/或截短等等，使得库具有适于搜索的标准化的数据库。取决于由用户提供的定制信息，解析器262还可以经由源索引器268来访问源代码266。使用源索引器268，可以识别与错误日志关联的源代码中的位置，并且将其与解析的错误日志一起存储在库212中。另外，在库212中存储错误日志之后，解析器可以生成与错误日志关联的唯一标识符（事件标识符）。一旦解析器262完成了转换，则可以向匹配器270通知已经存储新的错误日志。这个通知可以包括事件标识符，其使得匹配器可以识别错误日志。然后匹配器270可以访问库212，并且执行搜索以自动比较解析的日志数据（新错误日志）与存储在库212中的一个或多个先前错误。具体地，先前错误已经将以类似格式存储的错误日志与新错误日志关联，并且匹配器270可以根据用户提供的定制选项来比较错误日志。如果在解析的日志数据和先前错误之间找到匹配，那么匹配器270可以使用匹配的先前错误的链接类型，以用于将这两个错误关联起来。从而，匹配器270可以评定解析的日志数据的链接类型，并且基于与关联于错误日志的先前错误的比较，来插入合适的链接类型。存储在库212中的错误日志可以包括描述错误为什么发生的字段。可以由用户提供这个字段以记录关于对于估计类似的将来的错误有用的错误的信息。

图3是用于分析错误日志的方法的流程图。在处理框310中，可以接收包括日志数据的错误日志。日志数据可以包括与错误关联的错误类型、错误消息、和踪迹信息。在处理框320中，解析器可以解析日志数据，并且将其转换为标准化形式。当错误日志被存储在库中时，解析器可以进一步创建唯一地标识错误日志的事件标识符。另外，解析器可以搜遍与被测试的应用关联的源代码，以便确定在其中发生错误的源代码中的位置。在处理框330中，可以在解析的日志数据和先前错误之间自动进行比较，其中，先前错误与存储在库中的日志数据关联。比较可以基于一个或多个字段。例如，如果解析的日志数据的错误类型与候选错误的错误类型相同，那么可以在其它字段上执行进一步的比较。如果根据定制标准而匹配相应的字段，那么可以认为找到匹配。在处理框340中，如果找到匹配，那么将解析的日志数据链接到匹配的先前错误，以便将这两个关联起来。以这种方法，用户可以使用自动化技术来确定对于解析的日志数据为什么发生错误。

图4是根据另一实施例的流程图。在处理框410中，可以接收到错误日志，错误日志通过自动测试应用而获得。例如，可以使用诸如脚本的应用测试器来自动测试按钮、菜单项、滚动条等。可以类似地测试其它UI或非UI特征。应用测试器可以生成错误日志。在处理框420中，可以在日志事件的库中存储错误日志。在处理框430中，可以在存储的错误日志和先前存储的错误日志之间进行比较。从而，进行比较以确定当前错误是否与先前错误日志关联。在处理框440中，如果找到匹配，那么将当前错误链接至先前接收的错误日志。然后，通过由错误日志获得的错误信息的系统的转换和存储，用户可以在库中搜索各种参数，以通过与先前错误的比较而快速地确定错误的原因。如果没找到匹配，那么存储错误日志并将错误日志标识为尚未见过的新错误。

图5是用于在当前错误和候选错误之间执行匹配的方法的流程图。在处理框510中，将日志数据中的错误类型与候选错误中的错误类型比较。对于错误类型，可以执行文本上的比较来确定两个错误是否是相同的。通常，这样的顶层（top level）匹配不足以匹配错误。然而，基于定制参数，可以判断顶层匹配是充分的，或者需要匹配额外层以便确定错误是相同的。如果需要额外层，那么在处理框520中，可以在日志数据中的错误消息和候选错误中的错误消息之间进行比较。如前所述，错误消息可以包括与同一错误关联的可能的替换格式的列表。可以将日志数据中的错误消息与任何替换格式之间的匹配解释为匹配。如果基于定制选项还需要进一步的分析的层，那么在处理框530中，可以在日志数据的踪迹与候选错误的踪迹之间进行比较。踪迹指示导致错误的发生的、在应用中执行的指令。对于踪迹，可以在当前错误的踪迹和先前错误的踪迹之间进行文本上的比较。如果踪迹相同或者如果踪迹的某一百分比相同（例如，80%），那么可以认为踪迹匹配。如果还需要又一层的分析，那么在处理框540中，可以将用于当前日志数据的源代码中的位置与候选错误的源代码中的位置比较。如果通过文本上的比较找到匹配，那么可以认为当前错误和候选错误是匹配的。在这种情况下，可以将当前错误链接至候选错误，使得在结果中包括错误中的一个的未来搜索也将包括链接的错误。

图6描绘在其中可以实现所述创新的合适的计算环境600的通用例子。计算环境600没有意欲表示对于使用或功能的范围的任何限制，因为可以在各种通用或专用的计算系统中实现本创新。例如，计算环境600可以是各种计算设备的任何一种（例如，台式计算机、膝上型计算机、服务器计算机、平板计算机、媒体播放器、游戏系统、移动设备等等）。

参照图6，计算环境600包括一个或多个处理单元610、615和存储器620、625。在图6中，此基本配置630包括在虚线之内。处理单元610、615执行计算机可执行指令。处理单元可以是通用中央处理单元（CPU）、在专用集成电路（ASIC）中的处理器、或任何其它类型的处理器。在多进程系统中，多个处理单元执行计算机可执行的指令以提高处理能力。例如，图6示出中央处理单元610以及图形处理单元或共处理单元615。真实的存储器620、625可以是可由处理单元存取的易失性存储器（例如，寄存器、高速缓存、RAM）、非易失性存储器（例如，ROM、EEPROM、闪存等等）、或者这两种的某种组合。存储器620、625以适合于处理单元执行的计算机可执行指令形式来存储用于实现在此描述的一种或多种创新的软件680。

计算系统可以具有额外的特征。例如，计算环境600包括贮存器640、一个或多个输入设备650、一个或多个输出设备660、和一个或多个通信连接670。诸如总线、控制器、或网络的互连机制（未示出）将计算环境600的部件互连。通常，操作系统软件（未示出）为在计算环境600中运行的其它软件提供操作环境，并且协调计算环境600的部件的活动。

真实的贮存器640可以是可移除的或固定的，并且包括可以用来以非瞬时性方式存储信息并且在计算环境600之内可以被存取的磁盘、磁带或卡带、CD-ROM、DVD或任何其它介质。贮存器640存储用于实现在此描述的一种或多种创新的软件680的指令。

输入设备650可以是触摸输入设备，诸如键盘、鼠标、笔、或轨迹球、语音输入设备、扫描设备、或者向计算环境600提供输入的另一设备。对于视频编码，输入设备650可以是相机、视频卡、电视调谐卡、或者接受模拟或数字形式的视频输入的类似设备、或者将视频样本读到计算环境600中的CD-ROM或CD-RW。输出设备660可以是显示器、打印机、扬声器、CD刻录机、或者从计算环境600提供输出的其他设备。

通信连接670使能通过通信介质与另一计算实体的通信。通信介质在调制的数据信号中传递诸如计算机可执行指令、音频或视频输入或输出、或其它数据的信息。调制的数据信号是具有为了用于将信息编码在信号中而设置或者变化的其特征的一个或多个的信号中。作为例子而不是限制，通信介质可以使用电的、光的、RF、或其它载波。

虽然为了方便陈述，以特定的、顺序的次序描述了一些公开的方法的操作，但是应该理解，这种描述方式涵盖了重排，除非通过下面阐述的特定语言要求特定的排序。例如，一些情况下可以重排或者同时执行顺序描述的操作。此外，为了简单起见，附图可能没有示出可以结合其它方法来使用所公开的方法的各种方式。

任何所公开的方法可以被实现为计算机可执行指令，其存储在一个或多个计算机可读存储介质（例如，一个或多个光介质磁盘、易失性存储部件（诸如DRAM或SRAM）、或者非易失性存储部件（诸如闪存或硬盘驱动））上，并且在计算机（例如，任何市场上可买到的计算机，包括智能手机或包括计算硬件的其它移动设备）上运行。术语计算机可读存储介质不包括诸如信号和载波的通信连接。用于实现所公开的技术的任何计算机可执行指令，及在所公开的实施例的实现期间创建和使用的任何数据都可以被存储在一个或多个计算机可读存储介质上。例如，计算机可执行指令可以是专门的软件应用或经由网络浏览器访问或下载的软件应用或者其它软件应用（诸如远程计算应用）的一部分。例如，可以在单个本地计算机（例如，任何合适的市场上可买到的计算机）上或者在使用一个或多个网络计算机的网络环境中（例如，经由因特网、广域网、局域网、客户端-服务器网络（诸如云计算网络）或者其它这样的网络）运行这样的软件。

为了清楚，仅描述了基于软件的实现的选择的某些方面。省略了在本领域中公知的其它细节。例如，应该理解所公开的技术不限于任何特定的计算机语言或程序。例如，所公开的技术可以通过用C++、Java、Perl、JavaScript、Adobe Flash或者任何其它合适的编程语言写的软件来实现。同样地，所公开的技术不限于任何特定的计算机或者硬件类型。合适的计算机和硬件的某些细节是公知的，不需要在此公开中详细阐述。

还应该理解，替代软件，可以通过一个或多个硬件逻辑部件来至少部分地执行在此描述的任何功能。例如，并且不限于，可以使用的说明类型的硬件逻辑部件包括现场可编程门阵列（FPGA）、程序专用集成电路（ASIC）、程序专用标准产品（ASSP）、片上系统的系统（SOC）、复杂可编程逻辑器件（CPLD）等等。

此外，可以上传、下载或通过合适的通信手段远程访问任何基于软件的实施例（例如，包括用于使得计算机执行任何所公开的方法的计算机可执行指令）。例如，这种合适的通信手段包括因特网、万维网、内联网、软件应用、线缆（包括光纤电缆）、磁性通信、电磁波通信（包括RF、微波、和红外通信）、电子通信或其它这样的通信手段。

所公开的方法、装置和系统不应该以任何方式被解释为限制性的。而是，本公开的目的在于各种公开实施例单独的所有新颖进和非显而易见的特征和方面，以及其彼此的各种组合及其子组合。所公开的方法、装置和系统不限于任何特定方面或特征或其组合，所公开的实施例也不要求呈现任何一个或多个特定优点或解决一个或多个问题。

例如，虽然在此描述的实施例涉及应用测试，但是可以同样地将实施例应用于通过自动化测试所生成的任何类型的错误日志。

考虑到可以将所公开发明的原理应用到很多可能的实施例，应该了解，说明的实施例仅是本发明的优选例子，而不应该被当作限制本发明的范围。此外，通过下面的权利要求来定义本发明的范围。因此我们要求本发明包括归入这些权利要求的范围之内的所有范围。

Claims (20)

1.一种分析错误日志的方法，包括：

接收包括与错误关联的日志数据的错误日志；

解析日志数据以将日志数据转换为标准化的格式；

自动地将解析的日志数据与从错误日志获得的一个或多个先前错误比较；以及

如果在解析的日志数据和一个或多个先前错误之间找到匹配，那么将解析的日志数据链接到至少一个匹配的先前错误上。

2.如权利要求1所述的方法，进一步包括接收用户输入以改变解析的日志数据的链接。

3.如权利要求1所述的方法，其中自动比较包括将日志数据中的错误类型与一个或多个先前错误当中的候选错误的错误类型比较，并且如果错误类型匹配，则将与日志数据关联的错误消息与候选错误中的错误消息比较。

4.如权利要求3所述的方法，进一步包括比较日志数据的踪迹与候选错误的踪迹，其中，所述踪迹包括在错误发生之间执行的多个指令。

5.如权利要求4所述的方法，进一步包括比较错误发生所在的、与日志数据关联的源代码中的位置和与候选错误关联的源代码的位置。

6.如权利要求1所述的方法，其中通过测试应用中的用户接口按钮或应用的非用户接口功能的脚本，来生成错误日志。

7.如权利要求1所述的方法，其中通过应用编程接口来接收错误日志。

8.如权利要求1所述的方法，其中解析日志数据包括接收第一格式的错误日志，并且将错误日志转换为不同于第一格式的第二格式。

9.如权利要求1所述的方法，其中自动将解析的日志数据与一个或多个先前错误比较包括：搜遍数据库，并且如果没找到匹配则生成基本链接类型。

10.如权利要求9所述的方法，其中将解析的日志数据链接到至少一个匹配的先前错误包括将解析的日志数据匹配到先前生成的链接类型。

11.用于执行分析错误日志的方法的一种或多种计算机可读存储介质，其中，所述方法包括：

接收作为自动测试应用的结果而获得的错误日志；

在日志事件的库中存储错误日志；

将错误日志与先前接收的错误日志比较；以及

如果在错误日志和先前接收的错误日志之间找到匹配，那么将错误日志链接到匹配的先前接收的错误日志。

12.如权利要求11所述的一种或多种计算机可读存储介质，进一步包括解析错误日志以便将其从第一格式转换为第二格式，从而使得在库中存储的错误日志一致地处于第二格式。

13.如权利要求11所述的一种或多种计算机可读存储介质，其中链接包括转换链接类型以匹配所匹配的先前接收的错误日志的链接类型。

14.如权利要求11所述的一种或多种计算机可读存储介质，其中找到匹配包括在错误日志和先前接收的错误日志之间匹配错误日志类型和错误消息。

15.如权利要求14所述的一种或多种计算机可读存储介质，其中找到匹配进一步包括在错误日志和先前接收的错误日志之间匹配导致错误的代码踪迹。

16.如权利要求11所述的一种或多种计算机可读存储介质，进一步包括用于接收改变链接的用户输入，并且响应于其修改在库中的链接信息。

17.如权利要求11所述的一种或多种计算机可读存储介质，进一步包括读取应用的源代码以确定与错误日志关联的源代码中的第一位置，并且比较所确定的第一位置和与先前接收的错误日志关联的源代码中的第二位置。

18.一种用于分析错误日志的系统，包括：

包括存储的先前发生的错误的数据库；

解析器，用于接收包括当前错误的错误日志，并且将错误日志转换为预定的标准格式，以用于数据库中的存储；及

匹配器，用于搜索数据库，并且比较错误日志中的信息与先前错误，以便确定先前错误是否与当前错误关联。

19.如权利要求18所述的系统，进一步包括耦接到数据库的更新器，更新器用于改变当前错误和先前错误之间的链接信息。

20.如权利要求18所述的系统，进一步包括结果获取器，用于接收在数据库中搜索错误的用户请求，并用于向用户接口提供可显示的结果。