CN101556550A - 一种自动化测试日志分析方法和装置 - Google Patents

Abstract

本发明提供了一种自动化测试日志分析方法和装置。所述方法包括：步骤S1，获取自动化测试结果为测试失败的当前测试日志，将所述当前测试日志与测试日志数据库中的参考测试日志进行比较，并根据比较结果判断测试失败的原因类型；步骤S2，根据自动化测试执行后判断为合格的当前测试日志来更新测试日志数据库中的参考测试日志。本发明可以自动识别各种测试失败原因类型的测试日志，解决测试日志的人工分析存在的测试失败原因类型判断不准确问题，使得测试人员可以有针对性地分析测试日志。

Description

一种自动化测试日志分析方法和装置

技术领域

本发明涉及一种自动化测试日志分析方法和装置，属于数据通信技术领域。

背景技术

在数据通信技术领域的测试中，每次对软件缺陷修改后都需要进行回归测试，回归测试是通过重复测试以确保软件中新组件和新应用的引进或者解决产品缺陷，不会破坏原有的工作功能。在回归测试中，由于测试用例需要多次重复执行，若使用手工测试就会存在测试效率低、工作量大、测试结果可能会因测试人员的不同而导致测试结果数据不一致等问题。而使用自动化测试方法能够解决上述问题，能够更好执行较为繁琐、困难的测试，更好地利用测试资源、提高测试效率，并且能够使同一测试用例在回归测试中重复执行后测试日志数据具有一致性。因此目前在数据通信技术领域中越来越多地使用自动化测试，通过自动化测试软件可以批量执行自动化测试脚本，而不需要测试人员的干预，极大地提高了测试的执行效率。

自动化测试软件在执行过程中无需测试人员干预，自动执行用户指定的测试脚本，自动对测试步骤的实测数据和预期数据进行判断，输出各个测试脚本的测试日志和测试结果，测试结果可以分为测试通过(PASS)或测试失败(FAIL)。

测试日志是自动化测试软件输出测试脚本执行过程的详细信息，测试人员通过它来分析、定位出导致测试失败的原因类型。测试日志由测试全局信息、测试过程信息两部分组成的。测试全局信息包含测试脚本编号信息、测试项目信息、测试产品信息、产品指标信息、测试拓扑信息等。测试过程信息包含测试脚本每个测试步骤的信息，每个测试步骤里又包含步骤编号信息、测试描述信息、测试配置信息、预期数据信息、实测数据信息、测试结论信息、缺陷编号信息等。其中缺陷编号信息默认值为空，测试人员在分析测试日志时，如果该测试步骤存在产品缺陷，就把缺陷系统上对应编号写上去。

自动化测试软件输出的每一类信息都带有一个区别其它类信息的关键字，如上述几类信息对应的关键字分别是脚本编号、测试项目、测试产品、产品指标、测试拓扑、测试步骤、测试描述、测试配置、预期数据、实测数据、测试结论、缺陷编号等。测试日志是采用可扩展标记语言(Extensible Markup Language，简称XML)文件格式保存，XML文件格式节点和测试日志信息关键字是对应的。自动化测试软件输出每一类信息时，把信息关键字作为XML文件的节点，信息内容作为节点的内容，保存到XML文件中。测试日志的XML文件保存格式如图1所示。

测试结果是测试脚本总的测试情况，测试结果分为PASS和FAIL。如果测试脚本的每个测试步骤的实测数据和预期数据都一致，测试结果就是PASS，否则只要有一个测试步骤的实测数据和预期数据不一致，测试结果就是FAIL。

在测试项目时，由于自动化测试需要执行的测试脚本数量非常多，在自动化测试执行完成后，自动化测试软件将会输出各个测试脚本的测试日志和测试结果，测试结果有PASS，也有FAIL。而导致测试失败的原因类型一般是以下几种：

1)测试脚本异常问题，测试脚本异常问题是指测试脚本执行过程中，有脚本语法错误问题，导致测试脚本执行中断。

2)测试脚本产品指标值错误问题，测试脚本产品指标值错误问题是指各个被测产品的一些指标值不一样，测试人员在开始自动化执行时，对被测产品的指标设置不对。

3)测试脚本兼容性问题，测试脚本兼容性问题是指测试脚本的某个测试步骤的测试结果在被测产品之间存在差异性的问题，而又没有及时地对测试脚本做兼容性的修改。

4)测试环境问题，测试环境问题是指自动化执行过程中测试环境被破坏掉，导致测试环境不能正常通信。

5)已知产品缺陷问题，已知产品缺陷问题是指产品缺陷还没有修改完或者在当前测试项目中暂时不进行修改的问题。

6)新产品缺陷问题，新产品缺陷问题是指产品引进新组件和新应用或者解决产品缺陷时产生的新产品缺陷问题。

在项目重复性的回归测试中，测试失败的原因类型很多是测试脚本异常问题、测试脚本产品指标值错误问题、测试脚本兼容性问题、测试环境问题、已知产品缺陷问题导致的，例如，一个已知缺陷问题可能使得多个测试脚本的测试失败，产品的某个差异性可能因为测试脚本不兼容而使得多个测试脚本的测试失败。如果测试人员依次对这些测试失败原因类型的测试日志进行分析，由于不同的测试人员对相同测试日志进行分析时可能会得到不同的测试失败原因类型，相同的测试人员也会因为分析的测试日志量过大或主观判断标准的变化而出现对测试失败原因类型判断不一致，因此对测试日志的人工分析存在测试失败原因类型判断不准确的问题。此外人工分析测试日志还会因为测试人员分析效率低而且还浪费很多分析时间，新产品缺陷也不能及时发现。实际上上述这些测试失败原因类型的测试日志是不需要测试人员分析的，测试人员只需要分析测试失败的原因类型为可能是新产品缺陷问题的测试日志即可。

在现有的自动化测试技术中，在测试脚本中能够自动识别筛选出测试失败的原因类型为测试脚本异常问题、测试环境问题的测试日志，如测试脚本异常问题可以通过自动化测试软件里用脚本语言的捕获异常错误的语句来捕获测试脚本执行过程中异常问题，测试环境问题可以通过自动化测试软件对测试拓扑的每个链路通过发送报文来判断链路的互通情况。其它测试失败的原因类型为测试脚本产品指标值错误问题、测试脚本兼容性问题、已知产品缺陷问题的测试日志不能自动识别筛选出来，测试人员还需要对这些测试日志依次进行分析。这样在现有的技术中还是不能有效减少测试人员分析测试失败的测试日志数量，仍然存在对测试失败原因类型判断不准确的问题。

发明内容

本发明的目的是提供一种自动化测试日志分析方法和装置，自动识别各种测试失败原因类型的测试日志，解决测试日志的人工分析存在的测试失败原因类型判断不准确问题，使得测试人员可以有针对性地分析测试日志。

为实现上述目的，本发明提供了一种自动化测试日志分析方法，所述方法包括：

步骤S1，获取自动化测试结果为测试失败的当前测试日志，将所述当前测试日志与测试日志数据库中的参考测试日志进行比较，并根据比较结果判断测试失败的原因类型；

步骤S2，根据自动化测试执行后判断为合格的当前测试日志来更新测试日志数据库中的参考测试日志。

为了实现上述目的，本发明还提供了一种自动化测试日志分析装置，所述装置包括测试日志数据库、测试日志分析模块和数据库管理模块；

所述测试日志数据库用于存储参考测试日志；

所述测试日志分析模块与测试日志数据库连接，用于获取自动化测试结果为测试失败的当前测试日志，将所述当前测试日志与测试日志数据库中的参考测试日志进行比较，并根据比较结果判断测试失败的原因类型；

所述数据库管理模块与测试日志数据库连接，用于根据自动化测试执行后判断为合格的当前测试日志来更新测试日志数据库中的参考测试日志。

本发明通过将自动化测试结果为测试失败的当前测试日志与测试日志数据库中的参考测试日志进行比较，并根据比较结果判断测试失败的原因类型，可以识别出各种测试失败原因类型的测试日志，从而可以筛选出需要测试人员重点分析的测试失败原因类型的测试日志给测试人员进行分析，解决了测试日志的人工分析存在的测试失败原因类型判断不准确问题，使得测试人员可以有针对性地分析测试日志。

附图说明

图1为测试日志保存格式示意图

图2为本发明一种自动化测试日志分析方法实施例一示意图

图3为本发明一种自动化测试日志分析方法实施例二示意图

图4为本发明一种自动化测试日志分析方法实施例三示意图

图5为本发明一种自动化测试日志分析方法实施例四示意图

图6为本发明一种自动化测试日志分析方法实施例五示意图

图7为本发明一种自动化测试日志分析方法实施例六示意图

图8为本发明一种自动化测试日志分析装置实施例一示意图

图9为本发明一种自动化测试日志分析装置实施例二示意图

图10为本发明一种自动化测试日志分析装置实施例三示意图

图11为本发明一种自动化测试日志分析装置实施例四示意图

图12为本发明一种自动化测试日志分析装置实施例五示意图

图13为本发明一种自动化测试日志分析装置实施例六示意图

具体实施方式

下面结合附图对本发明进行说明，本发明提供了一种自动化测试日志分析方法，图2给出了本发明一种自动化测试日志分析方法实施例一示意图，所述方法包括：

步骤S1，获取自动化测试结果为测试失败的当前测试日志，将所述当前测试日志与测试日志数据库中的参考测试日志进行比较，并根据比较结果判断测试失败的原因类型。所述获取自动化测试结果为测试失败的当前测试日志具体可以为：获取自动化测试结果为测试失败且没有测试脚本异常问题和测试环境问题的当前测试日志，可以根据背景技术中的现有自动化测试技术来判断当前测试日志是否存在测试脚本异常问题或测试环境问题。

测试日志数据库可以是用于存储没有测试脚本异常问题、测试脚本产品指标值错误问题、测试环境问题合格且正确的测试日志集合。测试日志数据库初始时可以选择被测产品的某个版本的测试日志为基准，一般可以选择初始版本作为测试日志的基准。

测试日志数据库中的测试日志可以包含测试脚本编号、测试脚本测试产品指标值信息、测试步骤编号、测试步骤的实测数据和测试结论等信息，这些信息是对测试失败的测试日志进行分析时的参照对比数据。

测试日志数据库中可以包含多个项目，每个项目对应一个文件夹，每个项目的文件夹下又包含了各个被测产品的文件夹，每个被测产品的文件夹下包含各个测试脚本的测试日志文件，日志文件可以采用XML格式文件，文件以测试脚本编号的名字命名的，测试日志的XML文件保存格式如图1所示。

例如通过将当前测试日志与测试日志数据库中的参考测试日志进行比较分析，识别出测试失败的原因类型的方法可以为：

1)、如果当前测试日志的产品指标值和参考测试日志的产品指标值不一样，则可以识别出测试失败的原因类型为测试脚本产品指标值错误问题。

2)、如果当前测试日志的每个测试步骤的测试结论、实测数据和参考测试日志对应测试步骤的测试结论、实测数据都一致，且在参考测试日志中，测试结论为实测数据和预期数据不一致的测试步骤都存在已知产品缺陷的编号，则可以识别出测试失败的原因类型为已知产品缺陷问题。

3)、如果当前测试日志的每个测试步骤的测试结论、实测数据和参考测试日志对应测试步骤的测试结论、实测数据都一致，且在参考测试日志中，只要有一个测试结论为实测数据和预期数据不一致的测试步骤没有已知产品缺陷编号，则可以识别出测试失败的原因类型为测试脚本兼容性问题。

4)、如果测试日志数据库没有找到与当前测试日志对应的参考测试日志，或者当前测试日志的每个测试步骤的测试结论、实测数据与参考测试日志对应测试步骤的测试结论、实测数据只要有一个地方不一致，则可以判断测试失败的原因类型为新产品缺陷问题或其它测试问题，只有该类型的测试日志才需要测试人员进行分析。

步骤S2，根据自动化测试执行后判断为合格的当前测试日志来更新测试日志数据库中的参考测试日志；

所述判断为合格的当前测试日志具体可以为：没有测试脚本异常问题、测试脚本产品指标值错误问题和测试环境问题的当前测试日志。可以根据背景技术中的现有自动化测试技术来判断当前测试日志是否存在测试脚本异常问题或测试环境问题，可以根据本发明的方法来判断当前测试日志是否存在测试脚本产品指标值错误问题。

所述步骤S2在具体操作时可以执行如下步骤：在测试日志数据库中根据自动化测试执行后判断为合格的当前测试日志的项目名称、产品名称和测试脚本编号查找是否存在与当前测试日志对应的参考测试日志，如果不存在则将当前测试日志添加到测试日志数据库中，如果存在则对每个测试步骤的测试结论进行判断，如果当前测试日志中所述测试步骤的测试结论为实测数据与预期数据一致，而参考测试日志中所述测试步骤的测试结论为实测数据与预期数据不一致，则使用当前测试日志来更新参考测试日志。

本发明通过将自动化测试结果为测试失败的当前测试日志与测试日志数据库中的参考测试日志进行比较，并根据比较结果判断测试失败的原因类型，可以识别出各种测试失败原因类型的测试日志，从而可以筛选出需要测试人员重点分析的测试失败原因类型的测试日志给测试人员进行分析，解决了测试日志的人工分析存在的测试失败原因类型判断不准确问题，使得测试人员可以有针对性地分析测试日志。

图3给出了本发明一种自动化测试日志分析方法实施例二示意图，本实施例除了包括方法实施例一的步骤外，还将步骤S1具体扩展为：

步骤S11，获取自动化测试结果为测试失败的当前测试日志；

步骤S12，在测试日志数据库中查找是否存在与当前测试日志对应的参考测试日志，如果存在则执行步骤S13，如果不存在则执行步骤S14；

所述查找是否存在与当前测试日志对应的参考测试日志具体可以为：根据当前测试日志的项目名称、产品名称和测试脚本编号查找是否存在与当前测试日志对应的参考测试日志。

步骤S13，查找当前测试日志中测试结论为实测数据与预期数据不一致的测试步骤，判断所述测试步骤的测试结论、实测数据是否与参考测试日志中对应测试步骤的测试结论、实测数据相同，如果不相同则执行步骤S14；

步骤S14，判断测试失败的原因类型为新产品缺陷问题或其它测试问题，并结束操作。

本发明通过将自动化测试结果为测试失败的当前测试日志与测试日志数据库中的参考测试日志进行比较，并根据比较结果判断测试失败的原因类型，可以识别并筛选出测试失败原因类型为新产品缺陷问题或其它测试问题的测试日志给测试人员进行分析，解决了测试日志的人工分析存在的测试失败原因类型判断不准确问题，使得测试人员可以有针对性地分析测试日志。

图4给出了本发明一种自动化测试日志分析方法实施例三示意图，本实施例除了包括方法实施例二的步骤外，步骤S12中在所述执行步骤S13之前还包括执行步骤S15：判断当前测试日志的产品指标值与参考测试日志的产品指标值是否相同，如果不相同则判断测试失败的原因类型为测试脚本产品指标值错误问题，并结束操作，如果相同则执行步骤S13。

图5给出了本发明一种自动化测试日志分析方法实施例四示意图，本实施例除了包括方法实施例二的步骤外，步骤S13中所述判断所述测试步骤的测试结论、实测数据是否与参考测试日志中对应测试步骤的测试结论、实测数据相同，如果相同则执行步骤S16：判断在所述参考测试日志中对应测试步骤是否存在缺陷编号，如果不存在则标识当前测试日志存在测试脚本兼容性问题。

本实施例除了可以在方法实施例二的基础上进行上述扩展外，还可以在方法实施例三的基础上进行上述扩展。

图6给出了本发明一种自动化测试日志分析方法实施例五示意图，本实施例除了包括方法实施例四的步骤外，所述步骤S16之后还包括步骤S17：判断所述测试步骤是否结束，如果未结束则执行步骤S13，如果已结束则判断当前测试日志是否已经被标识为存在测试脚本兼容性问题，如果是则判断测试失败的原因类型为测试脚本兼容性问题，并结束操作，否则判断测试失败的原因类型为已知产品缺陷问题，并结束操作。

本发明通过将自动化测试结果为测试失败的当前测试日志与测试日志数据库中的参考测试日志进行比较，并根据比较结果判断测试失败的原因类型，可以识别出测试失败的原因类型是测试脚本产品指标值错误问题、测试脚本兼容性问题、已知产品缺陷问题的测试日志，可以筛选出测试失败原因类型为新产品缺陷问题或其它测试问题的测试日志给测试人员分析，解决了测试日志的人工分析存在的测试失败原因类型判断不准确问题，使得测试人员可以有针对性地分析测试日志，及时发现新产品缺陷问题。

图7给出了本发明一种自动化测试日志分析方法实施例六示意图，本实施例为本发明的一种较优实施例，给出了获取自动化测试结果为测试失败的当前测试日志，将所述当前测试日志与测试日志数据库中的参考测试日志进行比较，并根据比较结果判断测试失败的原因类型的过程。

步骤101，接收一个测试失败的测试日志的XML文件，根据背景技术中的现有自动化测试技术判断此测试日志没有测试脚本异常问题和测试环境问题后，读取XML文件的测试日志数据，把XML文件的测试日志数据保存在数组中，测试日志数组是以XML节点的关键字为索引的数据结构。

步骤102，根据项目名称、产品名称、测试脚本编号的关键字从测试日志数组里获取查找数据库的查找信息，查找信息由“项目名称+产品名称+测试脚本编号”组成。根据查找信息的“项目名称+产品名称+测试脚本编号”找到测试日志数据库里对应的参考测试日志的XML文件，如果不存在对应的参考测试日志，则判断测试失败的原因类型为新产品缺陷问题或其它测试问题。否则执行步骤103。

步骤103，对参考测试日志的产品指标值与当前测试日志的产品指标值进行对比，如果有产品指标值不一样，则判断测试失败的原因类型为测试脚本产品指标值错误问题，否则执行步骤104。产品指标值保存在测试日志XML文件中对应变量名的节点上，上述判断可以通过获取XML节点的对应的节点的值来进行判断。

步骤104，在当前测试日志中按顺序搜索测试结论为实测数据和预期数据不一致的测试步骤，如果搜索到，就根据测试步骤的编号去获取参考测试日志中该测试步骤的数据，并执行步骤105。

步骤105，判断当前测试日志与参考测试日志中对应测试步骤的测试结论是否相同，如果不同则判断测试失败的原因为新产品缺陷问题或其它测试问题。如果相同则执行步骤106。

步骤106，判断当前测试日志与参考测试日志中对应测试步骤的实测数据是否相同，如果不同判断测试失败的原因类型为新产品缺陷问题或其它测试问题，如果相同则执行步骤107。

步骤107，判断参考测试日志中的对应测试步骤否存在缺陷编号，如果不存在则标识当前测试日志存在测试脚本兼容性问题，否则不进行标识；执行步骤108。缺陷编号是对应缺陷系统上的编号，默认值为空，测试人员最初对测试日志分析时，发现有产品缺陷问题就把缺陷系统上对应的编号写到测试日志的XML文件对应缺陷编号的节点上。

步骤108，判断测试步骤是否结束，如果未结束则执行步骤104，如果已结束则执行步骤109。对所有实测数据和预期数据不一致的测试步骤进行对比分析，直至所有测试步骤都对比较分析完成。

步骤109，判断当前测试日志是否已经被标识为存在测试脚本兼容性问题，如果是则判断测试失败的原因类型为测试脚本兼容性问题，否则判断测试失败的原因类型为已知产品缺陷问题。即只要有一个测试结论为实测数据和预期数据不一致的测试步骤没有已知产品缺陷编号，则判断测试失败的原因类型为测试脚本兼容性问题。否则判断测试失败的原因类型为已知产品缺陷问题。

对测试失败的测试日志分析完后，然后对测试失败的测试日志和测试结果都加上测试失败的原因类型标记，以方便对测试日志进行自动筛选，测试人员只需要分析测试失败的原因类型为新产品缺陷问题或其它测试问题的测试日志即可。

本发明通过将自动化测试结果为测试失败的当前测试日志与测试日志数据库中的参考测试日志进行比较，并根据比较结果判断测试失败的原因类型，可以识别出测试失败的原因类型是测试脚本产品指标值错误问题、测试脚本兼容性问题、已知产品缺陷问题的测试日志，筛选出测试失败原因类型为新产品缺陷问题或其它测试问题的测试日志给测试人员分析，解决了测试日志的人工分析存在的测试失败原因类型判断不准确问题，使得测试人员可以有针对性地分析测试日志，及时发现新产品缺陷问题。

此外本发明通过对测试日志加上测试失败原因类型标记，方便了对测试日志进行自动筛选，测试人员只需要分析测试失败的原因类型为新产品缺陷问题或其它测试问题的测试日志即可。本发明使用XML文件保存测试日志，对每类信息指定一个唯一关键字，让关键字作为XML文件格式对应的节点，可以方便地对测试日志进行自动地对比分析。

本发明又提供了一种自动化测试日志分析装置，图8给出了本发明一种自动化测试日志分析装置实施一示意图，所述装置包括测试日志数据库M1、测试日志分析模块M2和数据库管理模块M3；

所述测试日志数据库M1用于存储参考测试日志；

测试日志数据库可以是用于存储没有测试脚本异常问题、测试脚本产品指标值错误问题、测试环境问题合格且正确的测试日志集合。测试日志数据库初始时可以选择被测产品的某个版本的测试日志为基准，一般可以选择初始版本作为测试日志的基准。

测试日志数据库中的测试日志可以包含测试脚本编号、测试脚本测试产品指标值信息、测试步骤编号、测试步骤的实测数据和测试结论等信息，这些信息是对测试失败的测试日志进行分析时的参照对比数据。

测试日志数据库中可以包含多个项目，每个项目对应一个文件夹，每个项目的文件夹下又包含了各个被测产品的文件夹，每个被测产品的文件夹下包含各个测试脚本的测试日志文件，日志文件可以采用XML格式文件，文件以测试脚本编号的名字命名的，测试日志的XML文件保存格式如图1所示。

所述测试日志分析模块M2与测试日志数据库M1连接，用于获取自动化测试结果为测试失败的当前测试日志，将所述当前测试日志与测试日志数据库中的参考测试日志进行比较，并根据比较结果判断测试失败的原因类型。

使用测试日志分析模块识别测试失败的原因类型的方法可以为：

1)、如果当前测试日志的产品指标值和参考测试日志的产品指标值不一样，则可以识别出测试失败的原因类型为测试脚本产品指标值错误问题。

2)、如果当前测试日志的每个测试步骤的测试结论、实测数据和参考测试日志对应测试步骤的测试结论、实测数据都一致，且在参考测试日志中，测试结论为实测数据和预期数据不一致的测试步骤都存在已知产品缺陷的编号，则可以识别出测试失败的原因类型为已知产品缺陷问题。

3)、如果当前测试日志的每个测试步骤的测试结论、实测数据和参考测试日志对应测试步骤的测试结论、实测数据都一致，且在参考测试日志中，只要有一个测试结论为实测数据和预期数据不一致的测试步骤没有已知产品缺陷编号，则可以识别出测试失败的原因类型为测试脚本兼容性问题。

4)、如果测试日志数据库没有找到与当前测试日志对应的参考测试日志，或者当前测试日志的每个测试步骤的测试结论、实测数据与参考测试日志对应测试步骤的测试结论、实测数据只要有一个地方不一致，则可以判断测试失败的原因类型为新产品缺陷问题或其它测试问题，只有该类型的测试日志才需要测试人员进行分析。

所述数据库管理模块M3与测试日志数据库M1连接，用于根据自动化测试执行后判断为合格的当前测试日志来更新测试日志数据库中的参考测试日志；

所述数据库管理模块具体可以用于根据自动化测试执行后没有测试脚本异常问题、测试脚本产品指标值错误问题和测试环境问题的当前测试日志来更新测试日志数据库中的参考测试日志。

数据库管理模块是用于对测试日志数据库的测试日志进行添加、更新的操作。

数据库管理模块对测试日志数据库的测试日志进行添加、更新操作的实现方法可以为：根据当前测试日志的“项目名称+产品名称+测试脚本编号”，到数据库相应的目录下查找对应的测试日志，如果没有查找到，则把当前测试日志添加到数据库相应的目录下。否则，就对当前测试日志和参考测试日志的每个测试步骤的测试结论进行判断，如果当前测试日志某个测试步骤的测试结论是实测数据和预期数据一致，而参考测试日志对应测试步骤的测试结论是实测数据和预期数据不一致，则对参考测试日志该测试步骤的数据进行更新，否则，其它情况都不进行更新。

通常在下面的两种情况下，数据库管理模块需要对测试日志数据库的测试日志进行添加、更新的操作。

1)、某个项目的参考测试日志为空时，则通过数据库管理模块把初版本上执行的测试日志经过分析后，没有测试脚本异常问题、测试脚本产品指标值错误问题、测试环境问题合格且正确的测试日志添加到测试日志数据库项目对应的目录下。其中测试脚本异常问题和测试环境问题可以通过现有自动化测试技术自动识别筛选出来，对于初始版本的测试日志，可以通过人工分析判断出测试脚本产品指标值错误问题，而对于非初始版本的测试日志，则可以通过本发明一种自动化测试日志分析方法实施例三中所述步骤S24的来判断测试脚本产品指标值错误问题。

2)、某次自动化执行后的测试日志经过测试人员分析后，把需要添加或更新的测试日志，例如软件缺陷被修订后的输出的测试日志和新增测试脚本输出的测试日志，通过数据库管理模块添加或更新到测试日志数据库中，这样测试日志数据库在每次测试脚本执行后，测试日志都是最新的，可以保证测试日志分析模块下次对测试失败的测试日志进行分析时能够得到正确的分析结果。

图9给出了本发明一种自动化测试日志分析装置实施二示意图，本实施例除了包括装置实施例一的结构特征外，所述测试日志分析模块M2还包括测试日志获取单元M21、第一查询单元M22、第一判断单元M23和第一原因判定单元M24；

所述测试日志获取单元M21用于获取自动化测试结果为测试失败的当前测试日志；

所述第一查询单元M22与测试日志获取单元M21连接，用于在测试日志数据库中查找是否存在与当前测试日志对应的参考测试日志，如果存在则调用第一判断单元M23，如果不存在则调用第一原因判定单元M24；

所述第一判断单元M23与测试日志获取单元M21和第一查询单元M22连接，用于查找当前测试日志中测试结论为实测数据与预期数据不一致的测试步骤，判断所述测试步骤的测试结论、实测数据是否与参考测试日志中对应测试步骤的测试结论、实测数据相同，如果不相同则调用第一原因判定单元M24；

所述第一原因判定单元M24与第一查询单元M22和第一判断单元M23连接，用于判断测试失败的原因类型为新产品缺陷问题或其它测试问题，并结束操作。

图10给出了本发明一种自动化测试日志分析装置实施三示意图，本实施例除了包括装置实施例二的结构特征外，所述测试日志分析模块M2还包括第二判断单元M25和第二原因判定单元M26；

所述第二判断单元M25与测试日志获取单元M21、第一查询单元M22和第一判断单元M23连接，用于判断当前测试日志的产品指标值与参考测试日志的产品指标值是否相同，如果不相同则调用第二原因判定单元M26，如果相同则调用第一判断单元M23；

所述第二原因判定单元M26与第二判断单元M25连接，用于判断测试失败的原因类型为测试脚本产品指标值错误问题，并结束操作；

所述第一查询单元M22还用于在调用第一判断单元M23之前调用第二判断单元M25。

图11给出了本发明一种自动化测试日志分析装置实施四示意图，本实施例除了包括装置实施例二的结构特征外，所述测试日志分析模块M2还包括第三判断单元M27，与第一判断单元M23连接，用于判断在所述参考测试日志中是否存在缺陷编号，如果不存在则标识测试失败的原因类型为测试脚本兼容性问题；

所述第一判断单元M23还用于在判断所述测试步骤的测试结论、实测数据是否与参考测试日志中对应测试步骤的测试结论、实测数据相同时调用第三判断单元M27。

本实施例除了可以在装置实施例二的基础上进行上述扩展外，还可以在装置实施例三的基础上进行上述扩展。

图12给出了本发明一种自动化测试日志分析装置实施五示意图，本实施例除了包括装置实施例四的结构特征外，所述测试日志分析模块M2还包括第四判断单元M28、第三原因判定单元M29和第四原因判定单元M210；

所述第四判断单元M28与测试日志获取单元M21、第三判断单元M27和第一判断单元M23连接，用于判断所述测试步骤是否结束，如果未结束则调用第一判断单元M23，如果已结束则判断当前测试日志是否已经被标识为测试脚本兼容性问题，如果是则调用第三原因判定单元M29，否则调用第四原因判定单元M210；

所述第三原因判定单元M29与第四判断单元M28连接，用于判断测试失败的原因类型为测试脚本兼容性问题，并结束操作；

所述第四原因判定单元M210与第四判断单元M28连接，用于判断测试失败的原因类型为已知产品缺陷问题，并结束操作；

所述第三判断单元M27还用于调用第四判断单元M28。

图13给出了本发明一种自动化测试日志分析装置实施六示意图，本实施例除了包括装置实施例一的结构特征外，所述数据库管理模块M3包括第二查询单元M31、数据库添加单元M32、第五判断单元M33和数据库更新单元M34；

所述第二查询单元M31用于在测试日志数据库中根据自动化测试执行后判断为合格的当前测试日志的项目名称、产品名称和测试脚本编号查找是否存在与当前测试日志对应的参考测试日志，如果不存在则调用数据库添加单元M32，如果存在则调用第五判断单元M33；

所述数据库添加单元M32与第二查询单元连接M31，用于将当前测试日志添加到测试日志数据库中；

所述第五判断单元M33与第二查询单元M31连接，用于对每个测试步骤的测试结论进行判断，如果当前测试日志中所述测试步骤的测试结论为实测数据与预期数据一致，而参考测试日志中所述测试步骤的测试结论为实测数据与预期数据不一致，则调用数据库更新单元M34；

所述数据库更新单元M34与第五判断单元M33连接，用于使用当前测试日志来更新参考测试日志。

本实施例除了可以在装置实施例一的基础上进行扩展外，还可以在装置实施例二至装置实施例五中的任一实施例基础上进行上述扩展。

本发明通过将自动化测试结果为测试失败的当前测试日志与测试日志数据库中的参考测试日志进行比较，并根据比较结果判断测试失败的原因类型，可以识别出测试失败的原因类型是测试脚本产品指标值错误问题、测试脚本兼容性问题、已知产品缺陷问题的测试日志，筛选出测试失败原因类型为新产品缺陷问题或其它测试问题的测试日志给测试人员分析，解决了测试日志的人工分析存在的测试失败原因类型判断不准确问题，使得测试人员可以有针对性地分析测试日志，及时发现新产品缺陷问题。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种自动化测试日志分析方法，其特征在于，所述方法包括：

步骤S1，获取自动化测试结果为测试失败的当前测试日志，将所述当前测试日志与测试日志数据库中的参考测试日志进行比较，并根据比较结果判断测试失败的原因类型；

步骤S2，根据自动化测试执行后判断为合格的当前测试日志来更新测试日志数据库中的参考测试日志。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1具体包括：

步骤S11，获取自动化测试结果为测试失败的当前测试日志；

步骤S12，在测试日志数据库中查找是否存在与当前测试日志对应的参考测试日志，如果存在则执行步骤S13，如果不存在则执行步骤S14；

步骤S13，查找当前测试日志中测试结论为实测数据与预期数据不一致的测试步骤，判断所述测试步骤的测试结论、实测数据是否与参考测试日志中对应测试步骤的测试结论、实测数据相同，如果不相同则执行步骤S14；

步骤S14，判断测试失败的原因类型为新产品缺陷问题或其它测试问题，并结束操作。

3.根据权利要求2所述的方法，其特征在于，步骤S12中在所述执行步骤S13之前还包括执行步骤S15：判断当前测试日志的产品指标值与参考测试日志的产品指标值是否相同，如果不相同则判断测试失败的原因类型为测试脚本产品指标值错误问题，并结束操作，如果相同则执行步骤S13。

4.根据权利要求2或3所述的方法，其特征在于，步骤S13中所述判断所述测试步骤的测试结论、实测数据是否与参考测试日志中对应测试步骤的测试结论、实测数据相同，如果相同则执行步骤S16：判断在所述参考测试日志中对应测试步骤是否存在缺陷编号，如果不存在则标识当前测试日志存在测试脚本兼容性问题。

5.根据权利要求4所述的方法，其特征在于，所述步骤S16之后还包括步骤S17：判断所述测试步骤是否结束，如果未结束则执行步骤S13，如果已结束则判断当前测试日志是否已经被标识为存在测试脚本兼容性问题，如果是则判断测试失败的原因类型为测试脚本兼容性问题，并结束操作，否则判断测试失败的原因类型为已知产品缺陷问题，并结束操作。

6.根据权利要求2所述的方法，其特征在于，步骤S12中所述查找是否存在与当前测试日志对应的参考测试日志具体为：根据当前测试日志的项目名称、产品名称和测试脚本编号查找是否存在与当前测试日志对应的参考测试日志。

7.根据权利要求1所述的方法，其特征在于，步骤S2中所述判断为合格的当前测试日志具体为：没有测试脚本异常问题、测试脚本产品指标值错误问题和测试环境问题的当前测试日志。

8.根据权利要求1所述的方法，其特征在于，所述步骤S2具体为：在测试日志数据库中根据自动化测试执行后判断为合格的当前测试日志的项目名称、产品名称和测试脚本编号查找是否存在与当前测试日志对应的参考测试日志，如果不存在则将当前测试日志添加到测试日志数据库中，如果存在则对每个测试步骤的测试结论进行判断，如果当前测试日志中所述测试步骤的测试结论为实测数据与预期数据一致，而参考测试日志中所述测试步骤的测试结论为实测数据与预期数据不一致，则使用当前测试日志来更新参考测试日志。

9.根据权利要求1所述的方法，其特征在于，所述获取自动化测试结果为测试失败的当前测试日志具体为：获取自动化测试结果为测试失败且没有测试脚本异常问题和测试环境问题的当前测试日志。

10.一种自动化测试日志分析装置，其特征在于，包括测试日志数据库、测试日志分析模块和数据库管理模块；

所述测试日志数据库用于存储参考测试日志；

所述测试日志分析模块与测试日志数据库连接，用于获取自动化测试结果为测试失败的当前测试日志，将所述当前测试日志与测试日志数据库中的参考测试日志进行比较，并根据比较结果判断测试失败的原因类型；

所述数据库管理模块与测试日志数据库连接，用于根据自动化测试执行后判断为合格的当前测试日志来更新测试日志数据库中的参考测试日志。

11.根据权利要求10所述的装置，其特征在于，所述测试日志分析模块包括测试日志获取单元、第一查询单元、第一判断单元和第一原因判定单元；

所述测试日志获取单元用于获取自动化测试结果为测试失败的当前测试日志；

所述第一查询单元与测试日志获取单元连接，用于在测试日志数据库中查找是否存在与当前测试日志对应的参考测试日志，如果存在则调用第一判断单元，如果不存在则调用第一原因判定单元；

所述第一判断单元与测试日志获取单元和第一查询单元连接，用于查找当前测试日志中测试结论为实测数据与预期数据不一致的测试步骤，判断所述测试步骤的测试结论、实测数据是否与参考测试日志中对应测试步骤的测试结论、实测数据相同，如果不相同则调用第一原因判定单元；

所述第一原因判定单元与第一查询单元和第一判断单元连接，用于判断测试失败的原因类型为新产品缺陷问题或其它测试问题，并结束操作。

12.根据权利要求11所述的装置，其特征在于，所述测试日志分析模块还包括第二判断单元和第二原因判定单元；

所述第二判断单元与测试日志获取单元、第一查询单元和第一判断单元连接，用于判断当前测试日志的产品指标值与参考测试日志的产品指标值是否相同，如果不相同则调用第二原因判定单元，如果相同则调用第一判断单元；

所述第二原因判定单元与第二判断单元连接，用于判断测试失败的原因类型为测试脚本产品指标值错误问题，并结束操作；

所述第一查询单元还用于在调用第一判断单元之前调用第二判断单元。

13.根据权利要求11或12所述的装置，其特征在于，所述测试日志分析模块还包括第三判断单元，与第一判断单元连接，用于判断在所述参考测试日志中是否存在缺陷编号，如果不存在则标识测试失败的原因类型为测试脚本兼容性问题；

所述第一判断单元还用于在判断所述测试步骤的测试结论、实测数据是否与参考测试日志中对应测试步骤的测试结论、实测数据相同时调用第三判断单元。

14.根据权利要求11所述的装置，其特征在于，所述测试日志分析模块还包括第四判断单元、第三原因判定单元和第四原因判定单元；

所述第四判断单元与测试日志获取单元、第三判断单元和第一判断单元连接，用于判断所述测试步骤是否结束，如果未结束则调用第一判断单元，如果已结束则判断当前测试日志是否已经被标识为测试脚本兼容性问题，如果是则调用第三原因判定单元，否则调用第四原因判定单元；

所述第三原因判定单元与第四判断单元连接，用于判断测试失败的原因类型为测试脚本兼容性问题，并结束操作；

所述第四原因判定单元与第四判断单元连接，用于判断测试失败的原因类型为已知产品缺陷问题，并结束操作；

所述第三判断单元还用于调用第四判断单元。

15.根据权利要求10所述的装置，其特征在于，所述数据库管理模块具体用于根据自动化测试执行后没有测试脚本异常问题、测试脚本产品指标值错误问题和测试环境问题的当前测试日志来更新测试日志数据库中的参考测试日志。

16.根据权利要求10所述的装置，其特征在于，所述数据库管理模块包括第二查询单元、数据库添加单元、第五判断单元和数据库更新单元；

所述第二查询单元用于在测试日志数据库中根据自动化测试执行后判断为合格的当前测试日志的项目名称、产品名称和测试脚本编号查找是否存在与当前测试日志对应的参考测试日志，如果不存在则调用数据库添加单元，如果存在则调用第五判断单元；

所述数据库添加单元与第二查询单元连接，用于将当前测试日志添加到测试日志数据库中；

所述第五判断单元与第二查询单元连接，用于对每个测试步骤的测试结论进行判断，如果当前测试日志中所述测试步骤的测试结论为实测数据与预期数据一致，而参考测试日志中所述测试步骤的测试结论为实测数据与预期数据不一致，则调用数据库更新单元；

所述数据库更新单元与第五判断单元连接，用于使用当前测试日志来更新参考测试日志。

Images