CN115129593A - 一种自动化统计分析装置及方法 - Google Patents

Abstract

本发明涉及一种自动化统计分析装置及方法，其中，自动化统计分析装置用于在测试系统测试用例时对已执行的用例进行自动统计分析。所述自动化统计分析装置包括：拦截模块，用于在测试系统测试用例时，拦截该测试系统的用例报告信息；用例报告模块，用于对拦截模块拦截的用例报告信息进行归一化；统计分析模块，用于对归一化并存储的用例报告信息进行统计分析并按照存储策略进行存储；功能健壮性报告展示模块，用于对统计分析的信息进行展示。有效的利用了测试用例报告的内容和数据，通过图表的形式直观的展示，增加了可读性，减少了阅读量和人工统计量，减少了测开人员的工作量，提高了效率。

Description

一种自动化统计分析装置及方法

技术领域

本发明涉及自动化统计分析技术领域，尤其涉及一种自动化统计分析装置及方法。

背景技术

自动化测试能够提高测试效率，节省时间和人力成本；robotframework框架工具以关键字(keyword)的形式通过简单易懂的表格式的“语言”来开发自动化测试用例，测开人员可以通过关键字定义灵活且容易理解的测试用例(包括初始化和清除环境)，同时测试用例执行完后，形成日志和报告供测试人员进行查看。

但是由于测试用例执行频繁，生成大量的日志和报告，因此在阅览报告和日志时往往存在阅读量巨大、统计工作繁杂、统计时间长的缺陷。

发明内容

(一)要解决的技术问题

鉴于现有技术的上述缺点、不足，本发明提供一种自动化统计分析装置及方法，其解决了测开人员浏览用例报告时，阅读量巨大、统计工作繁杂、浪费时间的技术问题。

(二)技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

第一方面，本申请提供了一种自动化统计分析装置，所述自动化统计分析装置用于在测试系统测试用例时对已执行的用例进行自动统计分析，所述自动化统计分析装置包括：

拦截模块，用于在测试系统测试用例时，拦截该测试系统的用例报告信息；

用例报告模块，用于对拦截模块拦截的用例报告信息进行归一化；

统计分析模块，用于对归一化并存储的用例报告信息进行统计分析并按照存储策略进行存储；

功能健壮性报告展示模块，用于对统计分析的信息进行展示。

可选地，所述拦截模块，具体用于

拦截测试系统在用例执行后生成的测试日志信息，所述测试日志信息作为用例报告信息；

所述拦截模块为预先设置在测试系统中的插件。

可选地，自动化统计分析装置还包括：

用例报告导入模块，用于响应用户的操作指令在自动化统计分析装置中导入用例报告信息。

可选地，所述插件通过Socket连接方式连接测试系统。

可选地，所述拦截模块与用例报告模块通过rest接口交互。

第二方面，本申请提供了一种自动化统计分析装置的使用方法包括：

对自动化统计分析装置进行初始化；所述自动化统计分析装置为第一方面任一所述的自动化统计分析装置；

初始化后的自动化统计分析装置的拦截模块拦截到用例报告信息；

初始化后的自动化统计分析装置的用例报告存储模块对用例报告信息进行归一化，并通过统计分析模块进行分析并展示。

第三方面，本申请提供了一种自动化统计分析方法，包括以下步骤：

S1、拦截获取测试系统测试至少一轮测试用例运行生成的用例报告信息；一轮测试用例至少执行一条用例；

S2、将所述用例报告信息，进行归一化；

S3、对所述用例报告信息进行统计分析，按照存储策略进行存储；

S4、对统计分析的信息进行展示。

可选地，所述S3，对所述用例报告信息进行统计分析具体包括：

S3-1、解析所述用例报告信息的stat节点数据，获取用例总的执行次数、每一用例的用例名称、用例执行状态和/或用例运行时长；用例执行状态包括true和false；

S3-2、依据相邻两次用例执行状态，判断系统的功能健壮性状态；

针对一个用例，若相邻两次用例执行状态均为true，则判断系统的功能健壮性状态为是，表示为1，否则判断系统的健壮性状态为否，标识为0；

S3-3、依据用例运行时长与预先获取的用例手动执行时长，计算节约时长。

可选地，所述存储策略，具体为：

提取用例总的执行次数，存储在预先构建的用例总的执行次数数据库表中；

提取待存储用例的用例名称，在预先构建的用例执行状态数据库表中查找与待存储的用例名称一致的用例，

若存在用例名称一致的用例，将待存储用例的用例执行状态，以覆盖已存储用例的用例执行状态的形式，写入用例执行状态数据库表；

若不存在用例名称一致的用例，将待存储用例的用例名称、用例执行状态和/或用例运行时长写入用例执行状态数据库表；

提取待存储用例的用例名称，在预先构建的系统健壮性数据库表中查找与待存储的用例名称一致的用例，

若存在用例名称一致的用例，将待存储用例依据用例执行状态判断的功能健壮性状态写入所述系统健壮性数据库表中；

若不存在用例名称一致的用例，将待存储用例的用例名称写入系统健壮性数据库表，所述用例的功能健壮性状态为是写入系统健壮性数据库表。

可选地，所述S4，对统计分析的信息进行展示，具体包括：

生成html格式的系统功能健壮性报告将统计分析的数据进行展示；

所述数据包括：

用例名称、用例执行状态、节约时长和/或功能健壮性状态。

(三)有益效果

本发明提供了一种自动化统计分析装置，设置拦截模块、用例报告模块、统计分析模块和功能健壮性报告展示模块，通过对测试用例报告的分析和展示，减少了测开人员的人工统计工作量，增加了用例报告的可读性。

本发明提供了一种自动化统计分析方法，通过拦截器拦截获取自动化测试用例运行生成的用例报告，通过解析用例报告获取每一个用例的名称、用例执行状态、用例执行时间，通过对比用例执行状态判断功能健壮性，生成系统功能健壮性测试报告并展示，有效的利用了测试用例报告的内容和数据，通过图表的形式直观的展示，增加了可读性，减少了阅读量和人工统计量，测开人员通过最终的报告就能够了解系统的稳定性和健壮性，减少了测开人员的工作量，提高了效率。

附图说明

图1为本申请一实施例提供的一种自动化统计分析装置结构示意图；

图2为本申请另一实施例提供的一种自动化统计分析装置架构示意图；

图3为本申请一实施例提供的一种自动化统计分析方法流程示意图；

图4(a)(b)(c)(d)分别为本申请一实施例提供的用例手动执行时长表、用例总的执行次数表、用例执行状态表、系统健壮性表示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

在基于现有开源框架robotframework自动化测试用例的过程中，会形成日志和报告供测试人员进行查看，测开人员需要对日志报告中的大量信息进行统计后，耗时耗力。本申请提供了一种自动化统计分析装置，能够自主拦截并分析用例测试报告，用于在测试系统测试用例时对已执行的用例进行自动统计分析，减少测开人员工作量。

图1为本申请一实施例提供的自动化统计分析装置结构示意图，如图1所示，所述自动化统计分析装置包括：

拦截模块，用于在测试系统测试用例时，拦截该测试系统的用例报告信息。

在本实施例中，拦截模块，为预先设置在测试系统中的插件，具体用于拦截测试系统在用例执行后生成的测试日志信息，所述测试日志信息作为用例报告信息。

在实际的应用中，拦截模块插件可以通过Socket连接方式连接到测试系统。

用例报告模块，用于对拦截模块拦截的用例报告信息进行归一化；

一实施例中，用例报告模块还可用于确定所述用例报告信息的真实脚本存储点和存储的文件系统。

统计分析模块，用于对归一化并存储的用例报告信息进行统计分析并按照存储策略进行存储；

功能健壮性报告展示模块，用于对统计分析的信息进行展示。

本申请实施例提供的一种自动化统计分析装置，通过拦截模块直接拦截捕捉测试用例报告，并读取其中的数据做统计分析并展示，能够有效减少测开人员的人工统计工作量，同时一次性集成多张用例报告的统计结果，也增加了用例报告的可读性。

在一些实施例中，自动化统计分析装置还可包括用例报告导入模块，用于响应用户的操作指令在自动化统计分析装置中导入用例报告信息。如响应用户的操作指令，获取到需要数量的用例报告或指定时间后再导入到自动化统计分析装置中，增加数据的准确性和有效性。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图2示出了本申请一实施例给出的装置架构示意图，如图2所示，本实施例中给出的自动化统计分析装置示意图，拦截模块通过rest接口与用例报告模块交互。在一些实施例中，用户与统计分析装置的交互所用的接口均为rest接口形式。自动化统计分析装置中各模块之间可为通信连接。

所述用例报告模块，对拦截模块拦截的用例报告信息进行归一化，所述用例报告模块又称为用例报告存储模块，通过存储连接器，将用例报告信息存储在本地文件、JDBC数据库和/或远程方等，所述远程方可包括云数据库等。

本实施例中，统计分析模块，主要负责对用例报告信息进行解析，解析出本次用例的执行时长、用例的执行状态失败、成功进行存储，同时和相同用例的历史执行情况进行比对，将比对出的功能健壮性情况是、否进行储存，可包括三个单元：

用例报告解析单元，负责对用例报告页中的元素进行解析，获取其中的用例运行时长、用例名称和用例的执行状态等。

用例报告元素存储单元，将上述信息存储在预先构建的数据库表中。

用例报告比对单元，解析出的本次用例的执行状态和用例历史的执行状态进行比对，判断功能健壮性状态并更新到对应的数据库表内。

功能健壮性报告展示模块可将所述统计分析模块统计分析出的数据以报告的形式展示。

如图2所示的自动化统计分析装置的使用方法具体为：

在单台服务器上部署自动化统计分析装置，对自动化统计分析装置进行初始化；所述自动化统计分析装置为上述任一所述的自动化统计分析装置；

初始化后的自动化统计分析装置的拦截模块拦截到用例报告信息；

初始化后的自动化统计分析装置的用例报告存储模块对用例报告信息进行归一化，并通过统计分析模块进行分析并展示。

具体地，在一实施例中，对自动化统计分析装置进行初始化，启动自动化统计分析装置的核心模块用例报告模块、统计分析模块、功能健壮性报告生成模块等等，用于提供用例报告存储服务、用例报告解析服务、用例报告比对服务等等。

初始化后的自动化统计分析装置的拦截模块拦截到用例报告信息，对所述用例报告信息进行存储，在本实施例中，所述用例报告信息包括：output.xml、log.html和/或report.html等，存储在了本地文件系统中，所述用例报告模块创建文件系统用例报告存储目录如下所示：

F:\autotest\testReport\output.xml；

F:\autotest\testReport\log.html；

F:\autotest\testReport\report.html。

上述存储目录仅为本实施例中的设置，在实际应用中，所述存储目录依据实际需求和用户习惯自行设置，此处不做为限制。

如图3所示，图3是本申请的一实施例提供的自动化统计分析方法示意图，自动化统计分析方法可包括以下步骤：

S1、拦截获取测试系统测试至少一轮测试用例运行生成的用例报告信息；一轮测试用例至少执行一条用例；

S2、将所述用例报告信息，进行归一化；

S3、对所述用例报告信息进行统计分析，按照存储策略进行存储；

S4、对统计分析的信息进行展示。

具体地，所述S3，对所述用例报告信息进行统计分析具体可包括：

S3-1、解析所述用例报告信息的stat节点数据，获取用例总的执行次数、每一用例的用例名称、用例执行状态和/或用例运行时长；用例执行状态可包括true和false；

S3-2、依据相邻两次用例执行状态，判断系统的功能健壮性状态；

针对一个用例，若相邻两次用例执行状态均为true，则判断系统的功能健壮性状态为是，标识可为1，否则判断系统的健壮性状态为否，标识可为0；

S3-3、依据用例运行时长与预先获取的用例手动执行时长，计算节约时长。

所述存储策略，具体为：

提取用例总的执行次数，存储在预先构建的用例总的执行次数数据库表中；

提取待存储用例的用例名称，在预先构建的用例执行状态数据库表中查找与待存储的用例名称一致的用例，

若存在用例名称一致的用例，将待存储用例的用例执行状态，以覆盖已存储用例的用例执行状态的形式，写入用例执行状态数据库表；

若不存在用例名称一致的用例，将待存储用例的用例名称、用例执行状态和/或用例运行时长写入用例执行状态数据库表；

提取待存储用例的用例名称，在预先构建的系统健壮性数据库表中查找与待存储的用例名称一致的用例；

若存在用例名称一致的用例，将待存储用例依据用例执行状态判断的功能健壮性状态写入所述系统健壮性数据库表中；

若不存在用例名称一致的用例，将待存储用例的用例名称写入系统健壮性数据库表，所述用例的功能健壮性状态为“是”写入系统健壮性数据库表。

一实施例中，所述S4，对统计分析的信息进行展示，可用的一种具体方式为：生成html格式的系统功能健壮性报告将统计分析的数据进行展示。

所述数据包括：

用例名称、用例执行状态、节约时长和/或功能健壮性状态等等。

为了更好地展示本申请提供的一种自动化统计分析装置，接下来将结合装置、装置的使用方法以及自动化统计分析方法进行详细的说明。

一具体实施例中，运行拦截模块，即执行报告拦截器，对测试系统测试用例生成的用例报告信息进行拦截。用例报告模块，进行用例报告服务的初始化，接收所述用例报告信息进行归一化处理，并存储在本地文件系统中。

所述用例报告模块预先构建用例总的执行次数表、用例执行状态表、系统健壮性表等并存储在mysql数据库中，如图4(b)(c)(d)所示，为一实施例中构建的数据库表示意图。

如图4(b)为预先构建的用例总的执行次数数据库表，可命名为：totalNumbers，包括ID列和totalNumbers列，即用例总的执行次数。在测试系统执行测试用例的过程中每执行一次测试用例，则用例总的执行次数依次递增加一；

如图4(c)为预先构建的用例执行状态数据库表，可命名为UseCase，包括的数据有ID列，caseName即用例名称列、和runtime即用例运行时长列，caseTag[true/false]即用例运行状态列。

本实施例中，用例开始执行时设置初次开始执行时间为获取当前系统时间starttime，直到用例执行结束获取当前系统时间endtime，endtime-starttime得出自动化脚本的运行时长写入runtime字段内。

如图4(d)为预先构建的系统健壮性表，可命名为：systemRobustness，包括的数据有ID列、caseName列和systemRobustnessTag[true/false]即系统健壮性状态列。

在其他一些实施例中，还构建了用例手动执行时长表，可命名为：manuallyPerform，如图4(a)所示，包括ID列、caseName列和testTime列，用于统计手动测试和自动化测试同一组用例能够节约的时间长。

用例手动执行时长表、用例总的执行次数数据库表、用例执行状态数据库表和系统健壮性数据库表均包括ID，所述ID可为数据库自增序。

上述数据库表的构建仅为一种可使用的形式，在实际应用中，所述数据库表的构建格式依据实际需要求或习惯自行构建即可，此处不做限制。

在本实施例中，统计分析模块，具体包括通过python的pyh模块对报告信息中的stat结点数据进行解析，获取总的执行次数写入用例总的执行次数表内；获取用例名称、用例执行状态成功或者失败、用例执行时长写入用例运行状态表内；通过对比当次用例运行状态和历史用例运行状态，判断功能健壮性状态写入系统功能健壮性表内。

在本实施例中，所述用例运行状态设置有成功和失败两种状态，即true和false，本次用例运行状态与上一次历史用例运行状态一致，且均为true，就判断系统功能健壮性为是，本次用例运行状态与上一次历史用例运行状态不一致或均为false，判断系统功能健壮性为否，在一些实施例中，是，可标识为1，否，可标识为0。

具体地，首次解析报告时，用例名称、用例运行时长、用例执行状态和/或功能健壮性状态等直接写入预先构建的数据库表中；其中，功能健壮性状态记为是，即默认功能健壮性好。

非首次解析报告时，从用例执行状态表中查找和本次执行的用例名称相同的用例信息，本次执行状态和上次执行状态不一致，则系统健壮性表中功能健壮性的状态为0，同时更新用例执行状态表中的用例执行状态信息为本次执行用例后的状态信息；

本次执行状态和上次执行状态一致，则系统健壮性表中功能健壮性的状态为1，同时更新用例执行状态表中的用例执行状态信息为本次执行用例后的执行状态信息；

从用例执行状态表中未查询到和本次执行的用例名称相同的用例信息，则新增一条用例名称状态至用例执行状态表中，同时系统健壮性表中caseName直接存入用例名称，功能健壮性标志systemRobustnessTag设置为是。

当然，上述状态标识依据实际需求自行确定，不局限于“是否”“1or 0”，依据实际自行决定，此处不做限制。

具体地，在本实施例中，功能健壮性报告生成模块通过python的django.db模块读取用例总的执行次数；通过python的django.db模块读取数据库表用例执行状态表中的runtime，将所有的用例的runtime时间相加，得出整个系统功能总的运行时长automatedTestTime；通过python的django.db模块读取数据库用例手动执行时长表中的testTime，将所有的用例的testTime手动测试时间相加，得出整个系统功能手动测试时长ManualTestTime。

自动化测试节约时长＝自动化手动测试时长ManualTestTime-自动化测试的时长automatedTestTime。

通过python的django.db模块读取数据库表系统健壮性表，将读取出来的用例名称、用例健壮性状态等信息逐条进行展示。

本实施例中，通过python的pyh模块生成带表格样式的html系统功能健壮性报告展示上述信息。

本发明提供了一种自动化统计分析装置，设置拦截模块、用例报告模块、统计分析模块和功能健壮性报告展示模块，能够协助测试人员统计在系统测试过程中，自动化测试用例共被执行了多少轮，每轮用例运行所花费的时间，共执行了多少条用例，每轮通过了多少条，失败了多少条，根据执行的情况，分析执行数据，最终给出一份系统健壮性的测试报告。通过对测试用例报告的分析和展示，减少了测开人员的人工统计工作量，增加用例报告的可读性。

本发明提供了一种自动化统计分析方法，通过拦截器拦截获取自动化测试用例运行生成的用例报告，通过解析用例报告获取每一个用例的名称、用例执行状态、用例执行时间，通过对比用例执行状态判断功能健壮性，生成系统功能健壮性测试报告并展示，有效的利用了测试用例报告的内容和数据，通过图表的形式直观的展示，增加了可读性，减少了阅读量和人工统计量，测开人员通过最终的报告就能够了系统的稳定性和健壮性，减少了测开人员的工作量，提高了效率。

本发明提供了一种自动化统计分析方法，通过分析自动化脚本运行后的日志和报告信息，统计出自动化脚本总的运行次数和总的运行时长，节省了测试人员手动统计运行次数和运行时长的时间，同时通过分析自动化脚本运行后的日志，分析出系统功能的健壮性，结合运行次数、运行时长，给出系统功能健壮性测试报告，让项目组人员可以直观的看到整个系统功能的稳定性和健壮性；提升系统功能的稳定性。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行改动、修改、替换和变型。

Claims (10)

1.一种自动化统计分析装置，其特征在于，所述自动化统计分析装置用于在测试系统测试用例时对已执行的用例进行自动统计分析，所述自动化统计分析装置包括：

拦截模块，用于在测试系统测试用例时，拦截该测试系统的用例报告信息；

用例报告模块，用于对拦截模块拦截的用例报告信息进行归一化；

统计分析模块，用于对归一化并存储的用例报告信息进行统计分析并按照存储策略进行存储；

功能健壮性报告展示模块，用于对统计分析的信息进行展示。

2.根据权利要求1所述的自动化统计分析装置，其特征在于，所述拦截模块，具体用于

拦截测试系统在用例执行后生成的测试日志信息，所述测试日志信息作为用例报告信息；

所述拦截模块为预先设置在测试系统中的插件。

3.根据权利要求1所述的自动化统计分析装置，其特征在于，自动化统计分析装置还包括：

用例报告导入模块，用于响应用户的操作指令在自动化统计分析装置中导入用例报告信息。

4.根据权利要求2所述的自动化统计分析装置，其特征在于，

所述插件通过Socket连接方式连接测试系统。

5.根据权利要求1所述的自动化统计分析装置，其特征在于，

所述拦截模块与用例报告模块通过rest接口交互。

6.一种自动化统计分析装置的使用方法，其特征在于，包括：

对自动化统计分析装置进行初始化；所述自动化统计分析装置为权利要求1至5任一所述的自动化统计分析装置；

初始化后的自动化统计分析装置的拦截模块拦截到用例报告信息；

初始化后的自动化统计分析装置的用例报告存储模块对用例报告信息进行归一化，并通过统计分析模块进行分析并展示。

7.一种自动化统计分析方法，其特征在于，包括以下步骤：

S1、拦截获取测试系统测试至少一轮测试用例运行生成的用例报告信息；一轮测试用例至少执行一条用例；

S2、将所述用例报告信息，进行归一化；

S3、对所述用例报告信息进行统计分析，按照存储策略进行存储；

S4、对统计分析的信息进行展示。

8.根据权利要求7所述的自动化统计分析方法，其特征在于，

所述S3，对所述用例报告信息进行统计分析具体包括：

S3-1、解析所述用例报告信息的stat节点数据，获取用例总的执行次数、每一用例的用例名称、用例执行状态和/或用例运行时长；用例执行状态包括true和false；

S3-2、依据相邻两次用例执行状态，判断系统的功能健壮性状态；

针对一个用例，若相邻两次用例执行状态均为true，则判断系统的功能健壮性状态为是，标识为1，否则判断系统的健壮性状态为否，表示为0；

S3-3、依据用例运行时长与预先获取的用例手动执行时长，计算节约时长。

9.根据权利要求8所述的自动化统计分析方法，其特征在于，

所述存储策略，具体为：

提取用例总的执行次数，存储在预先构建的用例总的执行次数数据库表中；

提取待存储用例的用例名称，在预先构建的用例执行状态数据库表中查找与待存储的用例名称一致的用例，

若存在用例名称一致的用例，将待存储用例的用例执行状态，以覆盖已存储用例的用例执行状态的形式，写入用例执行状态数据库表；

若不存在用例名称一致的用例，将待存储用例的用例名称、用例执行状态和/或用例运行时长写入用例执行状态数据库表；

提取待存储用例的用例名称，在预先构建的系统健壮性数据库表中查找与待存储的用例名称一致的用例，

若存在用例名称一致的用例，将待存储用例依据用例执行状态判断的功能健壮性状态写入所述系统健壮性数据库表中；

若不存在用例名称一致的用例，将待存储用例的用例名称写入系统健壮性数据库表，所述用例的功能健壮性状态为是写入系统健壮性数据库表。

10.根据权利要求8所述的自动化统计分析方法，其特征在于，

所述S4，对统计分析的信息进行展示，具体包括：

生成html格式的系统功能健壮性报告将统计分析的数据进行展示；

所述数据包括：

用例名称、用例执行状态、节约时长和/或功能健壮性状态。

Images