CN112214412A - 一种测试报告的生成方法和装置 - Google Patents

Abstract

本申请公开了一种测试报告的生成方法和装置，该方法包括：获取用于进行软件测试的测试用例，测试用例基于预先开发的测试报告SDK中定义的编码格式编写得到；在测试框架中执行测试用例，测试框架中预先引入测试报告SDK，测试报告SDK中编写有自定义逻辑和回调逻辑，自定义逻辑用于对测试报告中的内容进行自定义，回调逻辑用于回调自定义逻辑定义的内容；在执行测试用例的过程中，将回调逻辑作为参数传递给测试脚本，由测试脚本基于回调逻辑获取自定义逻辑定义的内容；在执行结束测试用例的情况下，基于获取到的内容生成测试报告。本申请实施例可以将测试报告中的内容完全交给开发人员进行自定义，使得测试报告中的内容更加表意。

Description

一种测试报告的生成方法和装置

技术领域

本申请涉及软件测试领域，尤其涉及一种测试报告的生成方法和装置。

背景技术

目前，在软件开发中，通常会对软件进行测试，以确定软件是否异常。具体地，可以在软件开发项目中引入测试框架，开发人员可以按照测试框架的编码要求编写测试用例，执行该测试用例后生成测试报告，根据测试报告定位出软件中的哪些模块正常，哪些模块不正常。

然而，在实际应用中，测试报告通常包含较多的代码信息，不容易被非开发人员理解，且测试报告中的内容也比较简单，无法详细描述测试用例的执行情况，导致测试报告不能满足实际需求，而目前还缺少一种有效的方案可以解决上述技术问题。

发明内容

本申请实施例提供一种测试报告的生成方法和装置，用于解决目前的软件开发中，测试报告中的内容简单，且不易理解的问题。

为解决上述技术问题，本申请实施例是这样实现的：

第一方面，提出一种测试报告的生成方法，包括：

获取用于进行软件测试的测试用例，所述测试用例基于预先开发的测试报告SDK中定义的编码格式编写得到，所述测试报告SDK用于确定得到包含自定义内容的测试报告；

在测试框架中执行所述测试用例，所述测试框架中预先引入所述测试报告SDK，所述测试报告SDK中编写有自定义逻辑和回调逻辑，所述自定义逻辑用于对测试报告中的内容进行自定义，所述回调逻辑用于回调所述自定义逻辑定义的内容；

在执行所述测试用例的过程中，将所述回调逻辑作为参数传递给所述测试框架中执行所述测试用例的测试脚本，由所述测试脚本基于所述回调逻辑获取所述自定义逻辑定义的内容；

在执行结束所述测试用例的情况下，基于获取到的内容生成测试报告，所述测试报告中包含所述获取到的内容。

第二方面，提出一种测试报告的生成装置，包括：

获取单元，获取用于进行软件测试的测试用例，所述测试用例基于预先开发的测试报告SDK中定义的编码格式编写得到，所述测试报告SDK用于确定得到包含自定义内容的测试报告；

用例执行单元，在测试框架中执行所述测试用例，所述测试框架中预先引入所述测试报告SDK，所述测试报告SDK中编写有自定义逻辑和回调逻辑，所述自定义逻辑用于对测试报告中的内容进行自定义，所述回调逻辑用于回调所述自定义逻辑定义的内容；

回调单元，在执行所述测试用例的过程中，将所述回调逻辑作为参数传递给所述测试框架中执行所述测试用例的测试脚本，由所述测试脚本基于所述回调逻辑获取所述自定义逻辑定义的内容；

测试报告生成单元，在执行结束所述测试用例的情况下，基于获取到的内容生成测试报告，所述测试报告中包含所述获取到的内容。

第三方面，提出一种电子设备，该电子设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，该可执行指令在被执行时使该处理器执行以下操作：

获取用于进行软件测试的测试用例，所述测试用例基于预先开发的测试报告SDK中定义的编码格式编写得到，所述测试报告SDK用于确定得到包含自定义内容的测试报告；

在测试框架中执行所述测试用例，所述测试框架中预先引入所述测试报告SDK，所述测试报告SDK中编写有自定义逻辑和回调逻辑，所述自定义逻辑用于对测试报告中的内容进行自定义，所述回调逻辑用于回调所述自定义逻辑定义的内容；

在执行所述测试用例的过程中，将所述回调逻辑作为参数传递给所述测试框架中执行所述测试用例的测试脚本，由所述测试脚本基于所述回调逻辑获取所述自定义逻辑定义的内容；

在执行结束所述测试用例的情况下，基于获取到的内容生成测试报告，所述测试报告中包含所述获取到的内容。

第四方面，提出一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下方法：

获取用于进行软件测试的测试用例，所述测试用例基于预先开发的测试报告SDK中定义的编码格式编写得到，所述测试报告SDK用于确定得到包含自定义内容的测试报告；

在测试框架中执行所述测试用例，所述测试框架中预先引入所述测试报告SDK，所述测试报告SDK中编写有自定义逻辑和回调逻辑，所述自定义逻辑用于对测试报告中的内容进行自定义，所述回调逻辑用于回调所述自定义逻辑定义的内容；

在执行所述测试用例的过程中，将所述回调逻辑作为参数传递给所述测试框架中执行所述测试用例的测试脚本，由所述测试脚本基于所述回调逻辑获取所述自定义逻辑定义的内容；

在执行结束所述测试用例的情况下，基于获取到的内容生成测试报告，所述测试报告中包含所述获取到的内容。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

在进行软件测试之前，开发人员可以预先编写测试报告SDK，在测试报告SDK中开发人员可以编写自定义逻辑来自定义测试报告中的内容，编写回调逻辑回调自定义的内容，并定义测试用例的编写规范，在进行软件测试时，可以将测试报告SDK引入测试框架中，并按照测试报告SDK定义的编码规范编写测试用例，这样，在测试框架中执行测试用例时，测试框架中的测试脚本可以将测试报告SDK中的回调逻辑作为参数，并基于回调逻辑获取测试报告SDK中自定义逻辑定义的内容，在执行结束测试用例后，就可以得到具有自定义内容的测试报告。由于测试报告中的内容完全交给了开发人员进行自定义，因此，可以使得测试报告中的内容更加表意，容易被非开发人员读懂且内容可以更加丰富，从而满足实际需求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的一个实施例基于安卓系统进行软件测试的结构示意图；

图2是本申请的一个实施例测试报告的生成方法的流程示意图；

图3是本申请的一个实施例测试报告的生成方法的流程示意图；

图4是本申请的一个实施例测试报告的示意图；

图5是本申请的一个实施例测试报告的示意图；

图6是本申请的一个实施例电子设备的结构示意图；

图7是本申请的一个实施例测试报告的生成装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

目前，在软件开发过程中，软件开发项目都会引入测试框架，开发人员可以按照测试框架的编码要求编写测试用例，编写完成后可以通过系统提供的脚本执行测试用例，执行结束会生成测试报告，测试报告中会列出测试用例的耗时、执行情况、是否通过等一系列信息，开发人员可以通过该测试报告定位出哪些模块正常，哪些模块有问题。

然而，测试报告通常只针对被测模块的开发人员或者编写测试用例的开发人员，使得测试报告中包含很多代码信息，这就导致除了被测模块的开发人员或者编写测试用例的开发人员外，其它模块的开发人员或测试人员想要看懂测试报告中的代码信息，就需要对被测模块的功能、业务、代码都有一定的了解，否则就会感觉晦涩难懂，不知所以。此外，测试报告中的内容也比较简单，无法详细描述测试用例的执行情况，比如，如果测试用例测试通过，测试报告中通常只会简单显示测试通过的状态，并不会显示具备什么条件才算测试通过，这样的测试报告交给第三方人员(比如非开发人员)的话，毫无说服力；再比如，如果测试用例测试未通过(即测试失败)，测试报告中通常也只显示错误的堆栈信息，不显示为什么会测试失败或者测试失败的日志信息，导致开发人员不能相对快速的定位出问题。

由此可见，目前的软件开发中，测试报告的内容比较简单且不易理解，导致不能满足对测试报告的实际需求。

有鉴于此，本申请实施例提出一种测试报告的生成方法和装置，在进行软件测试之前，开发人员可以预先编写测试报告SDK，在测试报告SDK中开发人员可以编写自定义逻辑来自定义测试报告中的内容，编写回调逻辑回调自定义的内容，并定义测试用例的编写规范，在进行软件测试时，可以将测试报告SDK引入测试框架中，并按照测试报告SDK定义的编码规范编写测试用例，这样，在测试框架中执行测试用例时，测试框架中的测试脚本可以将测试报告SDK中的回调逻辑作为参数，并基于回调逻辑获取测试报告SDK中自定义逻辑定义的内容，在执行结束测试用例后，就可以得到具有自定义内容的测试报告。由于测试报告中的内容完全交给了开发人员进行自定义，因此，可以使得测试报告中的内容更加表意，容易被非开发人员读懂且内容可以更加丰富，从而满足实际需求。

需要说明的是，本申请实施例的技术方案在实施时需依赖安卓系统，且在进行软件测试时，需要基于安卓系统提供的测试框架进行软件测试，该测试框架可以是junit、Android runner、Android espresso、Android uiautomator等，其中，安卓系统和测试框架均可以由安卓官方提供。

为了便于理解，可以参见图1。图1是本申请的一个实施例基于安卓系统进行软件测试的结构示意图。

图1中包括测试用例、测试报告SDK(软件开发工具包，Software DevelopmentKit)、测试框架和安卓系统，其中，安卓系统中可以包括安卓系统自带的安卓SDK和安卓adb工具，可以用于执行测试用例；测试框架可以是junit、Android runner、Androidespresso、Android uiautomator中的任一个测试框架(图1中将4个测试框架全部示出)；测试报告SDK为开发人员编写的用于确定得到包含自定义内容的测试报告，测试报告SDK中包括自定义逻辑和回调逻辑；测试用例可以基于测试报告SDK中定义的测试用例的编写规范编写得到。在进行软件测试时，可以将测试报告SDK引入测试框架中，并在测试框架中执行测试用例，测试用例执行结束后，就可以得到包含自定义内容的测试报告。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图2是本申请的一个实施例测试报告的生成方法的流程示意图。所述方法如下所述。

S202：获取用于进行软件测试的测试用例，所述测试用例基于预先开发的测试报告SDK中定义的编码格式编写得到，所述测试报告SDK用于确定得到包含自定义内容的测试报告。

在S202中，在软件测试人员进行软件测试之前，开发人员可以预先开发测试报告SDK，该测试报告SDK可以用于确定得到包含自定义内容的测试报告，其中，为了便于软件测试时得到具有自定义内容的测试报告，测试报告SDK中可以规定测试用例的编码格式。

在测试报告SDK中规定测试用例的编码格式时，具体地，可以在测试报告SDK中编写自定义注解代码，通过该自定义注解代码可以定义一种规范的编码格式，这样，测试人员在编写测试用例时，可以按照这种编码格式对编写测试用例，进而实现对测试报告中的内容的自定义。也就是说，软件测试人员和测试报告SDK的开发人员可以通过测试报告SDK中的自定义注解代码约定测试用例的编码格式。

开发人员在测试报告SDK中规定测试用例的编码格式后，软件测试人员在进行软件测试时，可以基于该编码格式编码得到测试用例，并在软件测试时获取编码得到的测试用例。其中，测试用例的个数可以是一个，也可以是多个，具体可以根据实际情况确定。

需要说明的是，上述开发人员在开发测试报告SDK时，除了在测试报告SDK中规定测试用例的编码格式外，还会在测试报告SDK中编写用于实现自定义测试报告内容的其他逻辑，具体可以参见后续S204至S208中记载的相应内容，这里不再详细说明。

S204：在测试框架中执行所述测试用例，所述测试框架中预先引入所述测试报告SDK，所述测试报告SDK中编写有自定义逻辑和回调逻辑，所述自定义逻辑用于对测试报告中的内容进行自定义，所述回调逻辑用于回调所述自定义逻辑定义的内容。

本实施例中的测试框架为安卓系统官方提供的测试框架，具体可以是图1所示的4中测试框架中的任一种。

为了便于生成包含自定义内容的测试报告，在基于该测试框架执行测试用例之前，需要将上述测试报告SDK预先引入到测试框架中，这样，在获取到测试用例后，可以在已引入测试报告SDK的测试框架中执行测试用例，进而可以生成包含自定义内容的测试报告。

本实施例中，为了实现生成包含自定义内容的测试报告的目的，测试报告SDK中需要编写有自定义逻辑和回调逻辑，即开发人员需要在测试报告SDK中编写自定义逻辑和回调逻辑，其中，自定义逻辑可以用于对测试报告中的内容进行自定义，回调逻辑可以用于在测试用例执行过程中回调自定义逻辑定义的内容。

本实施例中，自定义逻辑可以包括自定义注解代码、断言类和日志收集逻辑中的至少一种。以下将分别对这三种自定义逻辑进行详细说明。

自定义注解代码可以理解为上述S202中记载的自定义注解代码，该自定义注解代码用于定义表征被测软件模块是否具备指定功能的注解信息，即通过该自定义注解代码可以定义测试报告中包括表征被测软件模块是否具备指定功能的注解信息。

本实施例中，自定义注解代码可以由Java提供，java提供的注解可以理解为代码里的特殊标记，这些标记可以在编译，类加载，运行时被读取，并执行相应的处理。开发人员通过编写自定义注解代码，可以在不改变测试用例源代码和逻辑的情况下在该源代码中嵌入补充信息，即开发人员编写测试用例的方式可以与现有的方式一致，只需要在被测软件模块的类和方法上通过注解的方式添加要输出的内容即可。

在一种实现方式中，自定义注解代码可以基于注解类EspOutputInfo编写得到，注解类EspOutputInfo中包含name字段，name字段用于在被测软件模块包含的类和测试用例方法上定义注解信息，即开发人员可以在name字段中定义测试报告中的内容。

以对云控模块进行测试为例，云控模块中包含n个类，每个类又包含n个测试用例方法，开发人员可以在每个类的上方用注解标记要验证的模块，比如@EspOutputInfo(name＝“云控模块”)，表示要验证的是云控模块，此外，也可以在每个测试用例方法上同样添加注解，比如@EspOutputInfo(name＝“验证云控文件是否下发”)，表示要验证云控文件是否有下发功能。

断言类可以用于定义表征测试用例测试通过的断言信息，其中，断言类可以是EspAssert，断言信息可以是测试用例测试成功后要输出的信息，也可以是重点标记的信息。

本实施例中，断言是编程术语，表示为一些布尔表达式，若开发人员相信在程序中的某个特定点该表达式值为真，则可以使用assertEqual、assertContain等断言方法判断程序执行的结果和预期结果是否相符，以判断测试用例是否通过。然而，在现有技术中，这些断言方法本身并没有提供测试通过后要对外输出的信息，因此，本实施例为了输出这些信息，需要对现有的断言类进行扩展，使得扩展后的断言类(即本实施例提供的断言类)可以在测试用例测试通过后对外输出断言信息，即可以在原有断言类的基础上额外输入测试用例测试成功信息和重点标记信息。

本实施例中，断言信息在断言类中可以以key-value的形式缓存，其中，key表征测试用例的方法名，value表征断言信息。这样，在后续通过回调逻辑获取断言信息时，可以按照key-value的形式获取不同测试用例方法的断言信息，以及在后续生成测试报告时，可以按照key-value的形式在测试报告中输出显示断言信息，便于软件测试人员或其他人员可以确定该断言信息是基于哪个测试用例的方法得到的。

日志收集逻辑可以用于定义测试用例执行前后的日志信息。基于该日志收集逻辑，可以通过以下方式收集测试用例执行前后的日志信息：

本实施例中，在测试框架中执行测试用例时，测试框架可以打印出固定的测试用例的方法日志信息，通过测试框架提供的TestRule类，可以捕捉到测试用例执行失败时的回调，在该回调里编写日志收集逻辑，可以将收集的日志信息和测试框架打印的信息进行合并，进而可以收集到测试用例执行前后的日志信息。

本实施例中，可以通过日志收集类EspLogRule编写日志收集逻辑，该日志收集类EspLogRule可以捕捉测试进程中的日志信息。

本实施例中，在自定义逻辑包括定义注解代码、断言类和日志收集逻辑中的至少一种的情况下，自定义逻辑用于定义测试报告中的内容包括定义注解代码定义的注解信息、断言类定义的断言信息和日志收集逻辑定义的日志信息中的至少一种。

需要说明的是，在实际应用中，开发人员可以根据测试报告的实际需求确定上述自定义逻辑中包括的具体逻辑，比如，若需要测试报告中包括被测软件模块是否具备指定功能和断言信息，则自定义逻辑中可以包括自定义注解代码和断言类，不包括日志收集逻辑，若需要测试报告中包括被测软件模块是否具备指定功能、断言信息和日志信息，则自定义逻辑中可以包括自定义注解代码、断言类和日志收集逻辑。优选地，自定义逻辑中可以包括自定义注解代码、断言类和日志收集逻辑这三种逻辑。

测试报告SDK中的回调逻辑，在将测试报告SDK引入到测试框架后，可以继承测试框架提供的InstrumentationRunListener类，这样，在基于测试框架执行测试用例的过程中，回调逻辑监听到执行过程中的各个状态(比如测试开始前、测试结束后、每一个测试用例开始前、每一个测试用例结束后)，并回调自定义逻辑定义的内容。

比如，可以通过Description类获取自定义注解代码定义的注解信息；在测试用例执行成功的情况下，可以基于当前执行的测试用例的方法名，获取测试用例执行成功后由断言类定义的断言信息；在测试用例执行失败的情况下，可以通过Failure类获取日志收集逻辑定义的日志信息。

本实施例中，在自定义逻辑包括自定义注解代码、断言类和日志收集逻辑中的至少一种的情况下，回调逻辑回调的内容具体可以包括定义注解代码定义的注解信息、断言类定义的断言信息和日志收集逻辑定义的日志信息中的至少一种。可选地，由于测试框架本身具备记录测试用例耗时的功能，因此，将测试报告SDK引入测试框架并在测试框架中执行测试用例后，回调逻辑还可以回调测试用例的耗时。

需要说明的是，本实施例中的测试框架本身会提供一个断言类，该断言类在测试用例测试通过后并不会对外输出信息，因此，在测试报告SDK中的自定义逻辑包括断言类的情况下，在使用测试框架执行测试用例之前，为了便于测试用例测试通过后输出断言信息，需要测试框架中的断言类替换为自定义逻辑中包括的断言类，这样，可以便于在替换后的断言类中传入断言信息，进而在测试用例测试通过后输出断言信息。

S206：在执行所述测试用例的过程中，将所述回调逻辑作为参数传递给所述测试框架中执行所述测试用例的测试脚本，由所述测试脚本基于所述回调逻辑获取所述自定义逻辑定义的内容。

本实施例中，在基于测试框架执行测试用例时，可以通过安卓系统自带的adb命令(即图1所示的安卓adb工具，可以理解为测试脚本)执行测试用例，只需要执行一条adb命令即可。此外，为了获取到测试报告SDK中由自定义逻辑定义的内容，可以将测试报告SDK中的回调逻辑作为参数传递给测试框架中执行测试用例的测试脚本(即上述adb命令)，由测试脚本基于回调逻辑获取自定义逻辑定义的内容，这样，在执行结束测试用例后，可以按照自定义的内容生成包含自定义内容的测试报告。

可选地，本实施例中的测试报告SDK中还可以编写有持久化数据逻辑，这样，在基于回调逻辑获取到自定义逻辑定义的内容后，可以基于持久化数据逻辑对获取到的内容进行存储。具体地，可以以被测软件模块为单位，以测试该模块的每个测试用例为最小单元，并以xml的形式对获取到的内容进行持久化存储。

S208：在执行结束所述测试用例的情况下，基于获取到的内容生成测试报告，所述测试报告中包含获取到的所述内容。

在S208中，在执行结束测试用例后，由于在执行测试用例的过程中，已获取到自定义的内容，因此，可以生成包含自定义内容的测试报告。

需要说明的是，测试用例的测试结果可以包括两种，一种是测试用例执行失败，一种是测试用例执行成功。以自定义逻辑中包括自定义注解代码、断言类和日志收集逻辑这三种逻辑为例，若测试用例执行成功，则测试报告中可以包括注解信息、断言信息和日志信息；若测试用例执行失败，则测试报告中可以包括注解信息和日志信息，此外，还可以包括执行失败的异常信息，该异常信息可以由测试框架本身生成。

本实施例中，测试框架具备在测试用例执行失败的情况下输出异常信息的功能，在此基础上，若测试用例执行失败，则可以获取由测试框架生成的测试用例执行失败时的异常信息，其中，测试框架在生成异常信息时，可以按照key-value的格式生成，即将异常信息与测试用例的方法名进行映射，在获取异常信息时，可以基于测试用例的方法名获取对应的异常信息；在获取到异常信息后，可以将异常信息和基于回调逻辑获取到的日志信息(与异常信息对应同一个测试用例方法名)进行合并，合并的方式可以是抛异常的方式；在将异常信息和日志信息进行合并后，可以基于合并后的信息生成测试报告，即测试报告中包括日志信息和异常信息合并后的信息。其中，该合并后的信息用于定位测试用例执行失败的原因，也就是说，软件测试人员或其他人员可以通过该合并后的信息分析测试用例执行失败的原因。

可选地，本实施例中的测试报告SDK中还可以编写有数据渲染逻辑，这样，在基于获取到的内容生成测试报告时，可以基于数据渲染逻辑对获取到的内容进行渲染，生成html标签内容，基于html标签内容生成可视化的测试报告。在一种实现方式中，若在对回调逻辑获取到的内容进行存储时，是基于上述S206中的持久化数据逻辑并以xml的格式进行的存储，则在生成测试报告时，可以以被测软件模块为单位、以每个测试用例为最小单元遍历上述xml文件，进而生成html标签内容，得到可视化的测试报告。

为了便于理解本申请实施例提供的技术方案，可以参见图3。图3为本申请的一个实施例测试报告的生成方法的流程示意图，图3所示的实施例可以包括以下步骤。

S301：在测试报告SDK中编写自定义注解代码。

通过自定义注解代码可以定义表征被测软件模块是否具备指定功能的注解信息，还可以定义一种用于编写测试用例的编码格式，以便按照这种编码格式对测试用例的输出结果进行自定义。

在一个具体的实现方式中，自定义注解代码可以通过自定义注解类EspOutputInfo编写得到，自定义注解类EspOutputInfo中包含name字段，name字段用于自定义输出结果。

S302：在测试报告SDK中编写断言类。

断言类用于定义表征测试用例测试通过的断言信息，在编写断言类时，可以在原有的断言类的基础上进行扩展，以便在原有断言类的基础上可以额外输入成功信息和标记信息(即断言信息)。

在一个具体的实现方式中，断言类可以是EspAssert。

S303：在测试报告SDK中编写日志收集逻辑。

日志收集逻辑用于定义测试用例执行前后的日志信息。在一个具体的实现方式中，日志收集逻辑可以是日志收集类EspLogRule，用于捕捉测试进程中的日志信息，进而得到测试用例执行前后的日志信息。

S304：在测试报告SDK中编写监听测试用例执行过程中的回调逻辑。

回调逻辑用于回调上述自定义注解代码定义的注解信息、断言类定义的断言信息和日志收集逻辑定义的日志信息。可选地，回调逻辑还可以回调测试用例的耗时。

在一个具体的实现方式中，回调逻辑可以是回调类XmlRunListener，该回调类可以监听测试用例的执行状态，并在执行回调中解析上述EspOutputInfo、EspAssert、EspLogRule中定义的输出信息。

S305：在测试报告SDK中编写持久化数据逻辑。

持久化数据逻辑可以用于将回调逻辑获取到的信息以xml的形式保存。

S306：在测试报告SDK中编写数据渲染逻辑。

数据渲染逻辑用于对回调逻辑获取到的信息进行渲染，并生成html文件，以得到可视化的测试报告。在一个具体的实现方式中，数据渲染逻辑可以是RenderHtml类，RenderHtml类可以用于解析xml文件中的数据，用于生成html文件，进而生成可视化的测试报告。

需要说明的是，上述S301至S306可以由测试报告SDK的开发人员执行，且，开发人员可以根据实际需求选择执行上述S301至S306中的部分或全部，这里以执行S301至S306为例进行说明。

S307：将测试报告SDK引入测试框架中，并将测试框架的断言类替换为测试报告SDK内置的断言类。

S308：获取测试用例，测试用例基于测试报告SDK中定义的编码格式编写得到。

测试用例可以由软件测试人员编写得到，具体地，可以在模块的类和方法上添加EspOutputInfo注解，添加输出自定义输出内容。

S309：在测试框架中执行测试用例，在执行测试用例的过程中，将回调逻辑作为参数传递给测试框架中执行测试用例的测试脚本，由测试脚本基于回调逻辑获取自定义内容。

测试脚本可以是安卓系统自带的adb命令，这里可以将S304中的回调类作为参数传给adb，这样就可以获取到自定义的内容。其中，获取到的内容包括自定义注解代码定义的注解信息、断言类定义的断言信息和日志收集逻辑定义的日志信息。

S310：基于测试报告SDK中的持久化数据逻辑，以xml的形式对获取到的内容进行存储。

S311：基于测试报告SDK中的数据渲染逻辑对获取到的内容进行渲染，生成html标签内容，并基于html标签内容生成可视化的测试报告。

为了便于理解测试报告，可以参见图4和图5。

图4是本申请的一个实施例测试报告的示意图。从图4可以看出，在对候选产品进行测试时，使用了15个测试用例(tests)，这15个测试用例均执行成功，0个执行失败，且15个测试用例总用时为4m27.90s，测试用例执行成功的比例为100％。

此外，从图4还可以看出，在进行软件测试时，测试了5个模块，分别是激活、打点、云控、保活和更新，这5个模块均测试通过(passed)，其中，激活模块使用了3个测试用例，打点模块使用了1个测试用例，云控模块使用了6个测试用例，保活模块使用了3个测试用例，更新模块使用了2个测试用例，均测试通过，5个模块的测试用例用时分别为1m32.39s、14.573s、1m24.77s、45.278s和30.890s，测试用例的通过比例均为100％。

图4下方的“Succeed tests”为更新模块的详细测试信息，其中，第一列的Devices表示测试所用的设备型号，第二列表示被测软件为候选产品，第三列表示候选产品的版本号，第四列为被测模块名更新，最后一列表示自定义的注解信息。

更详细的测试报告可以参见图5。图5是对图4中云控模块的测试报告的详细信息。结合图4和图5可知，图5所示的“Test”部分是用于测试云控模块的6个测试用例测试的具体功能，图5所示的“Succeed tests”部分是“Test”部分中“检查云控属性接口URL是否正常”和“验证云控属性通道是否正常”的详细日志信息。

本申请的上述实施例可以实现以下有益效果：

在进行软件测试之前，开发人员可以预先编写测试报告SDK，在测试报告SDK中开发人员可以编写自定义逻辑来自定义测试报告中的内容，编写回调逻辑回调自定义的内容，并定义测试用例的编写规范，在进行软件测试时，可以将测试报告SDK引入测试框架中，并按照测试报告SDK定义的编码规范编写测试用例，这样，在测试框架中执行测试用例时，测试框架中的测试脚本可以将测试报告SDK中的回调逻辑作为参数，并基于回调逻辑获取测试报告SDK中自定义逻辑定义的内容，在执行结束测试用例后，就可以得到具有自定义内容的测试报告。由于测试报告中的内容完全交给了开发人员进行自定义，因此，可以使得测试报告中的内容更加表意，容易被非开发人员读懂且内容可以更加丰富，从而满足实际需求。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

图6是本申请的一个实施例电子设备的结构示意图。请参考图6，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成测试报告的生成装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

获取用于进行软件测试的测试用例，所述测试用例基于预先开发的测试报告SDK中定义的编码格式编写得到，所述测试报告SDK用于确定得到包含自定义内容的测试报告；

在测试框架中执行所述测试用例，所述测试框架中预先引入所述测试报告SDK，所述测试报告SDK中编写有自定义逻辑和回调逻辑，所述自定义逻辑用于对测试报告中的内容进行自定义，所述回调逻辑用于回调所述自定义逻辑定义的内容；

在执行所述测试用例的过程中，将所述回调逻辑作为参数传递给所述测试框架中执行所述测试用例的测试脚本，由所述测试脚本基于所述回调逻辑获取所述自定义逻辑定义的内容；

在执行结束所述测试用例的情况下，基于获取到的内容生成测试报告，所述测试报告中包含所述获取到的内容。

上述如本申请图6所示实施例揭示的测试报告的生成装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图2和图3的方法，并实现测试报告的生成装置在图2和图3所示实施例中的功能，本申请实施例在此不再赘述。

当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图2和图3所示实施例的方法，并具体用于执行以下操作：

获取用于进行软件测试的测试用例，所述测试用例基于预先开发的测试报告SDK中定义的编码格式编写得到，所述测试报告SDK用于确定得到包含自定义内容的测试报告；

在测试框架中执行所述测试用例，所述测试框架中预先引入所述测试报告SDK，所述测试报告SDK中编写有自定义逻辑和回调逻辑，所述自定义逻辑用于对测试报告中的内容进行自定义，所述回调逻辑用于回调所述自定义逻辑定义的内容；

在执行所述测试用例的过程中，将所述回调逻辑作为参数传递给所述测试框架中执行所述测试用例的测试脚本，由所述测试脚本基于所述回调逻辑获取所述自定义逻辑定义的内容；

在执行结束所述测试用例的情况下，基于获取到的内容生成测试报告，所述测试报告中包含所述获取到的内容。

图7是本申请的一个实施例测试报告的生成装置70的结构示意图。请参考图7，在一种软件实施方式中，所述测试报告的生成装置70可包括：获取单元71、用例执行单元72、回调单元73和测试报告生成单元74，其中：

获取单元71，获取用于进行软件测试的测试用例，所述测试用例基于预先开发的测试报告SDK中定义的编码格式编写得到，所述测试报告SDK用于确定得到包含自定义内容的测试报告；

用例执行单元72，在测试框架中执行所述测试用例，所述测试框架中预先引入所述测试报告SDK，所述测试报告SDK中编写有自定义逻辑和回调逻辑，所述自定义逻辑用于对测试报告中的内容进行自定义，所述回调逻辑用于回调所述自定义逻辑定义的内容；

回调单元73，在执行所述测试用例的过程中，将所述回调逻辑作为参数传递给所述测试框架中执行所述测试用例的测试脚本，由所述测试脚本基于所述回调逻辑获取所述自定义逻辑定义的内容；

测试报告生成单元74，在执行结束所述测试用例的情况下，基于获取到的内容生成测试报告，所述测试报告中包含所述获取到的内容。

可选地，所述自定义逻辑包括自定义注解代码、断言类和日志收集逻辑中的至少一种，其中：

所述自定义注解代码用于定义表征被测软件模块是否具备指定功能的注解信息，所述断言类用于定义表征所述测试用例测试通过的断言信息，所述日志收集逻辑用于定义所述测试用例执行前后的日志信息；

所述自定义逻辑用于定义所述测试报告中的内容包括所述注解信息、所述断言信息和所述日志信息中的至少一种。

可选地，所述自定义注解代码基于自定义注解类EspOutputInfo编写得到，所述EspOutputInfo中包括name字段，所述name字段用于在所述被测软件模块包含的类和测试用例方法上定义所述注解信息。

可选地，在所述测试框架和所述自定义逻辑中均包括断言类的情况下，所述用例执行单元72在所述测试框架中执行所述测试用例之前，将所述测试框架中的断言类替换为所述自定义逻辑中包括的断言类，以便在所述测试框架替换后的断言类中传入所述断言信息，所述断言信息在所述断言类中以key-value的形式缓存，所述key表征所述测试用例的方法名，所述value表征所述断言信息。

可选地，所述测试框架具备在测试用例执行失败的情况下输出异常信息的功能；

其中，测试报告生成单元74，在执行结束所述测试用例的情况下，若所述测试用例执行失败，则获取由所述测试框架输出的所述测试用例执行失败时的异常信息；

将所述异常信息和所述日志信息进行合并，并基于合并后的信息生成所述测试报告，所述合并后的信息用于定位所述测试用例执行失败的原因。

可选地，所述测试报告SDK中还编写有持久化数据逻辑；

其中，在所述回调单元73基于所述回调逻辑获取所述自定义逻辑定义的内容后，所述测试报告生成单元74基于所述持久化数据逻辑，以xml的形式对获取到的内容进行存储。

可选地，所述测试报告SDK中还编写有数据渲染逻辑；

其中，所述测试报告生成单元74，基于获取到的内容生成测试报告，包括：

基于所述数据渲染逻辑对所述获取到的内容进行渲染，生成html标签内容；

基于所述html标签内容生成可视化的测试报告。

本申请实施例提供的测试报告的生成装置70还可执行图2和图3的方法，并实现测试报告的生成装置在图2和图3所示实施例的功能，本申请实施例在此不再赘述。

总之，以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种测试报告的生成方法，其特征在于，包括：

获取用于进行软件测试的测试用例，所述测试用例基于预先开发的测试报告SDK中定义的编码格式编写得到，所述测试报告SDK用于确定得到包含自定义内容的测试报告；

在测试框架中执行所述测试用例，所述测试框架中预先引入所述测试报告SDK，所述测试报告SDK中编写有自定义逻辑和回调逻辑，所述自定义逻辑用于对测试报告中的内容进行自定义，所述回调逻辑用于回调所述自定义逻辑定义的内容；

在执行所述测试用例的过程中，将所述回调逻辑作为参数传递给所述测试框架中执行所述测试用例的测试脚本，由所述测试脚本基于所述回调逻辑获取所述自定义逻辑定义的内容；

在执行结束所述测试用例的情况下，基于获取到的内容生成测试报告，所述测试报告中包含所述获取到的内容。

2.如权利要求1所述的方法，其特征在于，所述自定义逻辑包括自定义注解代码、断言类和日志收集逻辑中的至少一种，其中：

所述自定义注解代码用于定义表征被测软件模块是否具备指定功能的注解信息，所述断言类用于定义表征所述测试用例测试通过的断言信息，所述日志收集逻辑用于定义所述测试用例执行前后的日志信息；

所述自定义逻辑用于定义所述测试报告中的内容包括所述注解信息、所述断言信息和所述日志信息中的至少一种。

3.如权利要求2所述的方法，其特征在于，

所述自定义注解代码基于自定义注解类EspOutputInfo编写得到，所述EspOutputInfo中包括name字段，所述name字段用于在所述被测软件模块包含的类和测试用例方法上定义所述注解信息。

4.如权利要求2所述的方法，其特征在于，在所述测试框架和所述自定义逻辑中均包括断言类的情况下，在所述测试框架中执行所述测试用例之前，所述方法还包括：

将所述测试框架中的断言类替换为所述自定义逻辑中包括的断言类，以便在所述测试框架替换后的断言类中传入所述断言信息，所述断言信息在所述断言类中以key-value的形式缓存，所述key表征所述测试用例的方法名，所述value表征所述断言信息。

5.如权利要求2所述的方法，其特征在于，所述测试框架具备在测试用例执行失败的情况下输出异常信息的功能；

其中，在执行结束所述测试用例的情况下，所述方法还包括：

若所述测试用例执行失败，则获取由所述测试框架输出的所述测试用例执行失败时的异常信息；

将所述异常信息和所述日志信息进行合并，并基于合并后的信息生成所述测试报告，所述合并后的信息用于定位所述测试用例执行失败的原因。

6.如权利要求1所述的方法，其特征在于，所述测试报告SDK中还编写有持久化数据逻辑；

其中，在基于所述回调逻辑获取所述自定义逻辑定义的内容后，所述方法还包括：

基于所述持久化数据逻辑，以xml的形式对获取到的内容进行存储。

7.如权利要求1所述的方法，其特征在于，所述测试报告SDK中还编写有数据渲染逻辑；

其中，基于获取到的内容生成测试报告，包括：

基于所述数据渲染逻辑对所述获取到的内容进行渲染，生成html标签内容；

基于所述html标签内容生成可视化的测试报告。

8.一种测试报告的生成装置，其特征在于，包括：

获取单元，获取用于进行软件测试的测试用例，所述测试用例基于预先开发的测试报告SDK中定义的编码格式编写得到，所述测试报告SDK用于确定得到包含自定义内容的测试报告；

用例执行单元，在测试框架中执行所述测试用例，所述测试框架中预先引入所述测试报告SDK，所述测试报告SDK中编写有自定义逻辑和回调逻辑，所述自定义逻辑用于对测试报告中的内容进行自定义，所述回调逻辑用于回调所述自定义逻辑定义的内容；

回调单元，在执行所述测试用例的过程中，将所述回调逻辑作为参数传递给所述测试框架中执行所述测试用例的测试脚本，由所述测试脚本基于所述回调逻辑获取所述自定义逻辑定义的内容；

测试报告生成单元，在执行结束所述测试用例的情况下，基于获取到的内容生成测试报告，所述测试报告中包含所述获取到的内容。

9.一种电子设备，其特征在于，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，该可执行指令在被执行时使该处理器执行以下操作：

获取用于进行软件测试的测试用例，所述测试用例基于预先开发的测试报告SDK中定义的编码格式编写得到，所述测试报告SDK用于确定得到包含自定义内容的测试报告；

在测试框架中执行所述测试用例，所述测试框架中预先引入所述测试报告SDK，所述测试报告SDK中编写有自定义逻辑和回调逻辑，所述自定义逻辑用于对测试报告中的内容进行自定义，所述回调逻辑用于回调所述自定义逻辑定义的内容；

在执行所述测试用例的过程中，将所述回调逻辑作为参数传递给所述测试框架中执行所述测试用例的测试脚本，由所述测试脚本基于所述回调逻辑获取所述自定义逻辑定义的内容；

在执行结束所述测试用例的情况下，基于获取到的内容生成测试报告，所述测试报告中包含所述获取到的内容。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下方法：

获取用于进行软件测试的测试用例，所述测试用例基于预先开发的测试报告SDK中定义的编码格式编写得到，所述测试报告SDK用于确定得到包含自定义内容的测试报告；

在测试框架中执行所述测试用例，所述测试框架中预先引入所述测试报告SDK，所述测试报告SDK中编写有自定义逻辑和回调逻辑，所述自定义逻辑用于对测试报告中的内容进行自定义，所述回调逻辑用于回调所述自定义逻辑定义的内容；

在执行所述测试用例的过程中，将所述回调逻辑作为参数传递给所述测试框架中执行所述测试用例的测试脚本，由所述测试脚本基于所述回调逻辑获取所述自定义逻辑定义的内容；

在执行结束所述测试用例的情况下，基于获取到的内容生成测试报告，所述测试报告中包含所述获取到的内容。

Images