CN106201810A - 一种测试方法、装置 - Google Patents

Abstract

本发明实施例属于终端设备技术领域，涉及一种测试方法、装置及系统，其中测试方法包括步骤：接收测试指令；根据所述测试指令调用测试代码进行测试，所述测试代码中携带有性能监测代码；接收性能监测指令，调用所述性能监测代码来监测性能指标；测试结束后输出测试结果。测试装置包括指令接收模块、测试指令执行模块、性能监测指令执行模块和反馈模块。通过本发明实施例提供的测试方法、装置和系统，可将多种测试代码和监测指令代码集成于一体，并封装的测试代码中，从而可以在测试代码的任意节点插入监测指令代码，做到可以监测任意测试操作对终端设备性能的影响，使各项测试能够做到有的放矢，更精细更准确，同时也有效提高了测试效率。

Description

一种测试方法、装置

技术领域

本发明实施例属于终端设备技术领域，尤其涉及一种测试方法及装置。

背景技术

终端产品测试包括硬件测试和软件测试，其中软件测试是为了发现错误而执行程序的过程，是在软件投入运行前对软件需求分析、设计规格说明和编码的最终复审，以达到保证软件的质量目的。软件测试包括的种类很多，比如功能测试、性能测试等。

功能测试(Functional testing)，也称为行为测试(Behavioral testing)，功能测试是为了确保程序以期望的方式运行而按功能要求对软件进行的测试，通过对一个系统的所有的特性和功能都进行测试确保符合需求和规范，具体为根据产品特性、操作描述和用户方案，测试一个产品的特性和可操作行为以确定它们满足设计需求。功能测试通常采用黑盒测试。

性能测试(Performance Testing)，通常验证软件的性能在正常环境和系统条件下重复使用是否还能满足性能指标，或者执行同样任务时新版本与旧版本性能的对比，此外一般还检查系统记忆容量在运行程序时会不会流失。性能测试是为了验证系统是否达到用户提出的性能指标，同时发现系统中存在的性能瓶颈，起到优化系统的目的。

在实现本发明实施例的过程中，发明实施例人发现现有技术至少存在以下问题：目前手机测试行业内的性能测试工具与功能测试工具大部分都是分离的，如果在执行功能测试的同时需要监测性能，需要运行两个工具，这样相对会比较麻烦，不能任意的将性能测试操作插入到功能测试操作过程当中，扩展性不强。

发明内容

为了解决上述问题，本发明实施例提供一种测试方法及装置，以解决性能测试工具和功能测试工具分离导致测试过程麻烦，不能任意的将性能测试操作插入到功能测试操作过程当中，扩展性不强，测试结果不精准的问题。

一方面，本发明实施例提供一种测试方法，包括：

接收测试指令；

根据所述测试指令调用测试代码进行测试，所述测试代码中携带有性能监测代码；

接收性能监测指令，调用所述性能监测代码来监测性能指标；

测试结束后输出测试结果。

另一方面，本发明实施例还提供一种测试装置，具体包括：

指令接收模块，用于接收测试指令；

测试指令执行模块，用于根据所述测试指令调用测试代码进行测试，所述测试代码中携带有性能监测代码；

性能监测指令执行模块，用于接收性能监测指令，调用所述性能监测代码来监测性能指标；

反馈模块，用于测试结束后输出测试结果。

通过本发明实施例提供的终端测试方法和装置，集功能测试与性能测试与一体，可以在测试指令的任意节点插入性能监测指令，测试扩展性强，做到可以监测任意测试操作对终端设备性能的影响，使性能测试能够做到有的放矢，更精细更准确，同时也有效提高了测试效率。

附图说明

图1为本发明实施例一提供的测试方法流程图。

图2为本发明实施例二提供的性能监测时序图的示意图。

图3为本发明实施例三提供的测试装置的结构框图。

图4为本发明实施例四提供的测试装置的另一结构框图。

具体实施方式

为了便于理解本发明实施例，下面将参照相关附图对本发明实施例进行全面的描述。但是，本发明实施例也可以采用其他多种不同的形式来实现，并不限于本文所描述的实施例。

除非另有定义，本文使用的技术术语与本领域技术人员通常理解的含义相同。

实施例一

由于各种测试工具大都是分离的，因此在执行多个测试实例时，需要运行多个工具，这样相对会比较麻烦。如果在测试中需对整个测试过程进行监测，虽然可以额外再运行一个监测工具来监测测试过程，但是这并不能任意的插入在某个或某些操作当中，也就是说扩展性不够强。

因此本实施例提供一种可行的实时监测测试过程的方案，参见说明书附图1提供的测试方法流程图，包括：

S11：接收测试指令；

由被测终端接收测试指令以进行相关测试，被测终端具体以智能手机为例，本领域技术人员可以清楚地知道，本实施例的技术方案同样适用于PC、智能家居设备等终端的测试。在智能手机软件的测试过程中需借助测试设备，在测试设备上运行测试工具，目前在手机测试行业内的大部分的测试工具都是分离的，比如在执行功能测试的同时如果需要监测性能，则需要运行性能监测工具与功能测试工具，然而运行两个工具会带来操作上的一些麻烦，比如在两个工具间的来回切换，一定程度上降低了测试效率。虽然在功能测试工具执行时启动性能监测工具，可以做到在测试过程中监测手机终端的性能，但并不能任意的插入在某个或某些操作当中，也就是扩展性不够强。

具体的，测试设备发送的测试指令由智能手机来接收，测试设备与智能手机通过USB或者无线的方式连接，无线连接方式可以是蓝牙连接，测试设备可以是智能移动终端，也可以是传统的PC机(即个人电脑)，也可以是智能电视、智能冰箱等各类智能家居。

测试指令可以是测试脚本、测试用例、操作命令等。可选的，测试指令具体地指功能测试指令。本实施例的优选方案中，功能测试指令更多地指测试用例，功能测试也可称为数据驱动测试，一般采用黑盒测试，只需考虑需要测试的各个功能，不需要考虑整个软件的内部结构及代码，一般从软件产品的界面、架构出发，按照需求编写出来的测试用例，输入数据在预期结果和实际结果之间进行评测。

S12：根据所述测试指令调用测试代码进行测试，所述测试代码中携带有性能监测代码；具体的，在被测终端上执行具体的测试操作。性能监测代码整体封装，可灵活地插入测试代码中的任意节点，达到实时监测的目的。性能监测代码更多地指获取系统性能状态的操作命令，不同的系统有不同的操作命令，同一个操作系统的不同性能指标也对应的操作命令，比如在Windows系统利用GetSystemInfo返回关于当前系统的信息；Linux系统利用cpuinfo(获取处理器信息)、meminfo(获取物理内存信息)、vnsta(获取虚拟内存信息)。同样的，对于各类移动终端的嵌入式操作系统，通过不同的操作命令，我们可以获取更多的系统性能状态信息。

S13：接收性能监测指令，调用所述性能监测代码来监测性能指标；

具体的，性能监测指令的触发基于测试指令的触发，当被测终端接收到测试指令时，性能监测指令相应的开始运行，调用性能监测代码对测试过程进行性能指标监控。通过监测系统运行的状态，获取测试过程中系统运行的各项参数，以反映测试中各项操作对终端设备的系统所带来的影响。

S14：测试结束后输出测试结果。

输出的测试数据包括测试数据和监测数据。获得这些数据后，通过对测试数据和监测数据的分析，即可确认被测终端的软硬件是否满足原始设计的各项指标。

通过本发明实施例提供的测试方法，可将多种测试代码和监测指令代码集成于一体，并封装的测试代码中，从而可以在测试代码的任意节点插入监测指令代码，做到可以监测任意测试操作对终端设备性能的影响，使各项测试能够做到有的放矢，更精细更准确，同时也有效提高了测试效率。

实施例二

在本实施例中，所述测试指令与性能监测指令同步执行，当测试指令调用测试代码进行测试时，性能监测指令同步调用性能监测代码监测性能指标。性能监测指令的触发基于测试指令的触发，当被测终端接收到测试指令时，性能监测指令相应的开始运行，调用性能监测代码对测试过程进行性能指标监控。

以智能手机为例，智能手机接收测试指令后，同时触发性能监控指令，测试指令和性能监测指令在被测智能手机上同步执行，性能监测指令实时采集功能测试中的系统性能状态，以实时反映功能测试指令的各项操作对被测手机终端的系统性能所带来的影响。

在本实施例中，所述性能监测代码整体封装在测试代码中，封装好的性能监测代码提供一个调用接口。当接收性能监控指令后，通过该调用接口调用封装在测试代码中的性能监测代码。

在本实施例中，所述测试结果包括测试数据、性能监测数据和性能监测时序图。其中功能测试数据和性能监测数据属于原始数据，由于这些原始数据并非都能够直观反映被测终端是否满足原始设计时的性能指标，对这些不能直观判断是否符合测试目的的数据，需进行进一步的数据分析处理，根据本实施例的优选方案，被测终端根据性能监测数据生成性能监测时序图并输出，如此，数据的直观性体现在时序图上。

本实施例中的时序图分为两种，一种是单一功能测试的性能监测时序图，基被测终端测试中的某一具体操作，对操作前、操作中、操作后的设备性能状态实时监测，以反映这个具体操作对被测终端的性能影响。

另一种是基于整个测试过程的性能监测时序图，在整个测试过程中包含多个具体操作，时序图中各时间点对应于被测终端不同测试阶段的具体操作对被测终端的性能状态，通过对测试中不同测试阶段的性能状态的对比，以反映不同操作对被测的性能影响，图2所示为性能监测时序图的一种示意图。

通过本发明实施例提供的测试方法，由于同步执行测试操作和监控操作，可实时获得被测终端在测试中的性能状态，同时通过生成直观的性能监测时序图，可快速查看功能测试过程中不同操作节点的被测终端系统性能状态。

实施例三

参见图3所示的一种测试装置的结构框图，系统包括指令接收模块11、测试指令执行模块12、性能监测指令执行模块13、反馈模块14，其中：

指令接收模块11用于接收测试指令；具体的，对于指定测试事件由被测终端接收测试设备发送的测试指令，测试指令可以是测试脚本、测试用例、操作命令等，本实施例的优选方案中，测试指令指功能测试指令，功能测试指令更多地指测试用例，功能测试也可称为数据驱动测试，一般采用黑盒测试，故只需考虑需要测试的各个功能，不需要考虑整个软件的内部结构及代码，一般从软件产品的界面、架构出发，按照需求编写出来的测试用例，输入数据在预期结果和实际结果之间进行评测。

测试指令执行模块12用于根据所述测试指令调用测试代码进行测试，所述测试代码中携带有性能监测代码。具体的，在被测终端上执行具体的测试操作。

性能监测指令执行模块13用于接收性能监测指令，调用所述性能监测代码来监测性能指标；

反馈模块14用于在测试结束后输出测试结果，可通过测试设备接收测试结果，以进行进一步操作，通过对测试数据和监测数据的分析，即可确认被测终端的软硬件是否满足原始设计的各项指标。

通过本发明实施例提供的测试装置，可将多种测试代码和监测指令代码集成于一体，并封装的测试代码中，从而可以在测试代码的任意节点插入监测指令代码，做到可以监测任意测试操作对终端设备性能的影响，使各项测试能够做到有的放矢，更精细更准确，同时也有效提高了测试效率。

实施例四

在本实施例中，所述测试指令执行模块12和所述性能监测指令执行模块13在测试过程中同步运行，当测试指令调用测试代码进行测试时，性能监测指令同步调用性能监测代码监测性能指标。性能监测指令的触发基于测试指令的触发，当被测终端接收到测试指令时，性能监测指令相应的开始运行，调用性能监测代码对测试过程进行性能指标监控。

在本实施例中，所述性能监测代码整体封装在测试代码中，封装好的性能监测代码提供一个调用接口。当性能监测指令执行模块13接收性能监控指令后，通过该调用接口调用封装在测试代码中的性能监测代码。

在本实施例中，所述测试结果包括测试数据、性能监测数据和性能监测时序图。其中功能测试数据和性能监测数据属于原始数据，由于这些原始数据并非都能够直观反映被测终端是否满足原始设计时的性能指标，对这些不能直观判断是否符合测试目的的数据，需进行进一步的数据分析处理。可选的，测试装置还包括图表生成模块15，图表生成模块15根据性能监测数据生成性能监测时序图，图标生成模块15优选与反馈模块14相连接，参见图4系统框图。图标生成模块15生成的性能监测时序图分为两种，一种是单一功能测试的性能监测时序图，基于某一操作，图标生成模块15根据操作前、操作中、操作后的设备性能状态实时监测结果生成性能监测时序图，以反映此操作对终端设备的性能影响。

另一种是基于整个测试过程的性能监测时序图，图标生成模块15根据不同测试阶段中被测终端的性能状态实时监测结果生成性能监测时序图，在时序图中可对比不同测试阶段的测试中被测终端系统的性能状态，反映出不同操作对终端设备的性能影响。

通过本发明实施例提供的测试装置，由于同步执行测试操作和监控操作，可实时获得被测终端在测试中的性能状态，同时通过生成直观的性能监测时序图，可快速查看功能测试过程中不同操作节点的被测终端系统性能状态。

以上仅为本发明的实施例，但并不限制本发明的专利范围，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本发明说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本发明专利保护范围之内。

Claims (8)

1.一种测试方法，其特征在于，包括：

接收测试指令；

根据所述测试指令调用测试代码进行测试，所述测试代码中携带有性能监测代码；

接收性能监测指令，调用所述性能监测代码来监测性能指标；

测试结束后输出测试结果。

2.根据权利要求1所述的测试方法，其特征在于，所述测试指令与所述性能监测指令同步执行，当调用测试代码进行测试时，同步调用性能监测代码监测性能指标。

3.根据权利要求1所述的测试方法，其特征在于，所述性能监测代码整体封装在所述测试代码中，封装好的所述性能监测代码包含调用接口。

4.根据权利要求1所述的测试方法，其特征在于，所述测试结果包括功能测试数据、性能监测数据和性能监测时序图。

5.一种测试装置，其特征在于，包括：

指令接收模块，用于接收测试指令；

测试指令执行模块，用于根据所述测试指令调用测试代码进行测试，所述测试代码中携带有性能监测代码；

性能监测指令执行模块，用于接收性能监测指令，调用所述性能监测代码来监测性能指标；

反馈模块，用于在测试结束后输出测试结果。

6.根据权利要求5所述的测试装置，其特征在于，所述测试指令执行模块和所述性能监测指令执行模块在测试过程中同步运行，当调用测试代码进行测试时，同步调用性能监测代码监测性能指标。

7.根据权利要求5所述的测试装置，其特征在于，性能监测代码整体封装在测试代码中，封装好的性能监测代码包含调用接口。

8.根据权利要求5所述的测试装置，其特征在于，所述反馈模块输出的测试结果包括功能测试数据、性能监测数据和性能监测时序图。