CN102075789A

CN102075789A - 快速测试机顶盒的方法和系统

Info

Publication number: CN102075789A
Application number: CN 201010618506
Authority: CN
Inventors: 孙宏明
Original assignee: SHANGHAI DIGIVISION TECHNOLOGY Co Ltd
Current assignee: SHANGHAI DIGIVISION TECHNOLOGY Co Ltd
Priority date: 2010-12-31
Filing date: 2010-12-31
Publication date: 2011-05-25
Anticipated expiration: 2030-12-31
Also published as: CN102075789B

Abstract

本发明涉及一种快速测试机顶盒的方法和系统，系统包括服务器控制端和信息控制端。服务器控制端包括：指令单元，用以根据测试步骤发出第一测试指令；测试脚本单元，用以响应指令单元的第一测试指令，调用测试脚本，根据测试脚本所记录的步骤向机顶盒发送第二测试指令；监控单元用以监控第一测试指令和测试脚本的执行情况，并向指令单元报告异常。信息控制端上布置待测试的机顶盒，该机顶盒通过端口连接服务器控制端。信息控制端包括：信息收集单元，用以收集机顶盒返回的测试数据；信息处理单元，用以处理该机顶盒返回的测试数据，当发现测试异常时，该信息处理单元记录与测试异常对应的测试步骤和测试脚本；信息反馈单元，用以记录测试数据。

Description

快速测试机顶盒的方法和系统

技术领域

本发明数字电视开发及测试领域，尤其是涉及一种快速测试机顶盒的方法和系统。

背景技术

近年来，中国数字电视产业获得了新发展，用户数量进一步扩大，使数字机顶盒产业规模化成为可能，数字机顶盒的市场潜力巨大。各大厂商纷纷切入数字机顶盒市场，同时产业的竞争也日益激烈，对开发及测试效率和产品质量的要求也愈加强烈。

目前，针对机顶盒功能和性能的测试，没有一个科学及系统的测试方法，以至于不能及时发现产品的Bug(错误)或者发现Bug不能得到及时的处理和解决。具体而言，传统的对机顶盒功能和性能的方法，还是基于手工作业及简单模块化测试，基本上是用一个输出端口发送数据并测试其返回的信息。很显然，这种传统的测试方法存在它的局限性：

第一，传统的测试方法已经不能满足目前大批量和快速响应的需求；

第二，传统的测试方法在实际测试中效率和质量受到客户的严重质疑和挑战。

因此，数字电视产业的加速发展，对数字机顶盒的质量和的快速的供应需求提出了要求。一种快速检测和及时有效定位Bug的测试方法，成为测试领域攻坚的难题，也自然成为产业发展必须克服和解决的问题。

发明内容

本发明的目的是提出一种快速测试机顶盒的方法和系统，以解决现有技术存在的上述问题。

本发明为解决上述技术问题而采用的技术方案是提出一种快速测试机顶盒的系统，包括服务器控制端和信息控制端。服务器控制端包括：指令单元，用以根据测试步骤发出第一测试指令；测试脚本单元，连接该指令单元，用以响应指令单元的第一测试指令，调用测试脚本，根据测试脚本所记录的步骤向机顶盒发送第二测试指令；监控单元，连接该指令单元，用以监控第一测试指令和测试脚本的执行情况，并向指令单元报告异常。信息控制端上布置待测试的机顶盒，该机顶盒通过端口连接该服务器控制端的测试脚本单元和监控单元。该信息控制端包括：信息收集单元，连接该机顶盒，用以收集该机顶盒返回的测试数据；信息处理单元，连接该信息收集单元，用以处理该机顶盒返回的测试数据，当发现测试异常时，该信息处理单元记录与测试异常对应的测试步骤和测试脚本；信息反馈单元，连接该信息处理单元，用以记录测试数据。

在本发明的一实施例中，该信息反馈单元在出现测试异常时，将测试异常数据反馈给服务器控制端的监控单元。

在本发明的一实施例中，该指令单元根据该监控单元所报告的异常，以一设定循环次数，循环执行对应的测试步骤和测试脚本。

在本发明的一实施例中，该监控单元还用于依据来自该机顶盒的测试数据判断异常。

在本发明的一实施例中，该信息处理单元还用于记录循环执行对应的测试步骤和测试脚本时，测试异常的复现率。

本发明提出一种快速测试机顶盒的方法，利用上述的测试系统来测试机顶盒，该方法包括如下步骤：建立服务器端和信息控制端的连接；由指令单元根据测试步骤向测试脚本单元发出第一测试指令；由测试脚本单元调用和执行测试脚本，以根据测试脚本所记录的步骤向机顶盒发送第二测试指令；开启监控单元，以监控第一测试指令和测试脚本的执行情况；在信息收集单元收集机顶盒返回的测试数据；在信息处理单元根据测试数据搜索测试异常，当出现测试异常时，信息处理单元记录测试异常对应的测试步骤和测试脚本；当未出现测试异常时，流程结束；在信息反馈单元记录测试数据，并在出现测试异常时，将测试异常数据反馈给服务器控制端的监控单元；在监控单元向指令单元报告测试异常及其对应的测试步骤和测试脚本；在指令单元设定循环测试次数，且重新执行出现测试异常的测试步骤和对应的测试脚本，进行持续性和循环性能测试；以及在信息反馈单元监控和统计重复出现的测试异常。

在本发明的一实施例中，所述指令单元列出所有测试项目以及测试方式和测试流程，按每一步骤执行第一测试指令。

在本发明的一实施例中，在重新执行出现测试异常的测试步骤和对应的测试脚本之前还包括初始化。

在本发明的一实施例中，该机顶盒返回的数据包括日志。

在本发明的一实施例中，在信息处理单元根据测试数据搜索测试异常包括，在测试数据中搜索是否存在与测试异常有关的关键字。

与传统测试技术相比，本发明的方法和系统有效的提升了测试效率，实现了开发测试过程中快速响应的要求，其具体表现在以下几个方面：

1、系统的测试方法大大缩短了测试时间；

2、自动化的测试工具去除了繁琐的手工测试及有效的控制了人力资源成本；

3、能够快速检测过程中的Bug并精确定位；

4、针对过程中出现的Bug实现了科学的统计和管理；

5、测试统计数据为程序更新和软件版本提供准确依据。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1是本发明一实施例的测试系统结构图。

图2和图3是本发明一实施例的测试方法流程图。

具体实施方式

概要地说，本发明下面要描述的实施例以服务器端和信息控制端两大系统为基础，集成所需功能和性能测试模块，进行自动化程序测试管理，同时创建监控系统和Bug反馈流程，准确定位出现Bug并及时处理和解决，对所发生的Bug进行统计列表，得出Bug故障率和复现情况并及时加入案例管理系统。

图1是本发明一实施例的测试系统结构图。首先，请参阅图1，测试系统包括服务器控制端100和信息控制端200。服务器控制端200是由服务器和程序控制组成，其内部配置指令单元110、测试脚本单元120和监控单元130。信息控制端200上连接有被测单元10，即机顶盒。信息控制端200还配置有信息收集单元210、信息处理单元220和信息反馈单元230。在组建系统时，首先建立服务器控制端100和信息控制端200之间的连接。服务器控制端100提供测试硬件和测试端口，通过串口线或网线连接测试端口(COM/LAN)和机顶盒10，具体测试端口可视机顶盒实际配置。然后，设置测试端口接收和发送参数，开启服务器和机顶盒。

在一实施例中，服务器控制端100和信息控制端200的连接为服务器控制端100与机顶盒10的数据交换。服务器控制端100以通信控制指令和信息控制端200的信息反馈单元进行信息交换。

指令单元110用于产生测试指令并输出给测试脚本单元120。指令单元110可列出所有测试项目以及测试方式和测试流程，按每一步骤(Vector)执行测试，来发出测试指令给机顶盒10。在一实施例中，指令单元110可利用指令控制程序“testplan”来列出测试项目以及测试方式和测试流程。

根据所发出指令单元110的测试指令，测试脚本单元120调用测试脚本并根据脚本所记录的步骤逐一发出多个测试指令，这些测试指令用于对机顶盒进行测试。测试可模拟机顶盒在客户端进行的所有按键操作，编写机顶盒输入指令，按照测试要求划分测试模块并储存。

在本发明的上下文中，为了区分的方便，将由指令单元110发出的测试指令称为“第一测试指令”，将由测试脚本单元120所发出的测试指令称为“第二测试指令”。

监控单元130监控第一测试指令和测试脚本的执行情况并记录，例如监控单元130监控第一测试指令和测试脚本是否被正确执行。指令单元110每发出一条第一测试指令，测试脚本单元120每执行一条脚本，都必须由监控单元130判断是否符合测试条件，如果符合测试条件，再由服务器控制端发送给机顶盒，运行测试。

在一实施例中，每一第一测试指令可与固定的测试脚本相关联，因此，当执行单元130执行了一特定的第一指令，测试脚本单元120就可执行关联的测试脚本。

机顶盒10会按照测试步骤逐一接受第二测试指令，对每一测试步骤提供测试响应，并返回测试数据，例如日志。一方面，测试数据由通信端口返回服务器控制端100。另一方面，机顶盒的测试数据在信息控制端200内接受处理。

针对机顶盒10返回的测试完成后数据，例如日志，监控单元130可以进行初步的处理，例如搜索部分关键字，并判断是否有Bug，并将结果返回至指令单元110。

在信息控制端200，测试数据由信息收集单元210指定数据保存路径并保存。信息处理单元220根据访问路径进行信息访问，针对测试数据中具体特定关键字进行搜索，并根据关键字搜索情况判断是否为Bug。

信息反馈单元220可将有Bug测试列出，并将其归类到相应的测试步骤、执行脚本。例如，根据不同测试脚本执行的不同关键字进行判断，判断是否符合功能测试要求(如VOD点播过程出现Error信息为非法信息，判断为Bug)，如判断为Bug，就列出Bug测试数据并调出与之相应的测试步骤和测试脚本，作为测试异常数据。信息反馈单元230可将异常数据保存并返回服务器控制端210的监控单元130。

监控单元130可根据信息反馈单元返回的异常数据，调用相应的测试操作步骤，并提交给指令单元110执行。

在一实施例中，监控单元130根据机顶盒正常时返回的信息数据作为参照，对测试后机顶盒返回信息数据进行逐行扫描，如发现非法字段或数字即为Bug，将有Bug的测试数据保存并返回给服务器指令单元。

指令单元110会根据反馈要求重新调用循环测试程序，对有Bug的模块进行持续循环测试，重新调用异常数据中记录的导致异常的测试步骤和测试脚本，并设定循环程序和脚本执行次数。同时，由于性能测试通常是基于多次测试的结果，因此在此过程中，可以一并进行其他性能相关测试，由指令单元110执行和调用相应脚本。

重新执行的程序为单独数据保存，测试后，信息控制端200的各单元仅记录测试数据，而不返回服务器控制端100。对测试数据，由信息处理单元210检索和判断是否依然为Bug，以此类推。当循环测试指令单元设定次数后，信息处理单元210统计测试结果，计算此类现象出现的频率和复现的次数，为机顶盒程序修改和软件升级提供开发依据。

图2和图3是本发明一实施例的测试方法流程图。参照图2和图3所示，流程包括以下步骤：

在预备的步骤S01，S02，先建立整体指令测试程序，并且建立单元测试脚本。

在步骤S03，连接各测试单元，连接服务器控制端100和信息控制端200。

流程开始时，步骤S 10，进行初始化。

初始化还可以完成所有功能测试脚本后对有Bug(例如步骤S12、S14导致的Bug)的测试和性能测试初始化，将有Bug测试的脚本重新归类到性能测试中进行重复测试，并将测试步骤一并到性能测试中进行循环测试。

步骤S11，发出第一测试指令。具体地说，启动指令单元110，发出第一测试指令。启动监控单元130，对指令执行情况和后续的脚本调用步骤进行监控。

步骤S12，监控单元130监控第一指令是否执行，若是，流程进入步骤S13，否则，流程返回步骤S01。

步骤S13，测试脚本单元120执行测试脚本。具体地说，测试脚本单元120调用测试脚本并执行。

步骤S14，监控单元130监控脚本是否执行，若是，流程进入步骤S15，否则，流程返回步骤S01。

每执行完一个脚本，测试脚本单元120记录并反馈测试数据，针对测试Bug的脚本，记录执行步骤及测试响应指令，测试数据由监控单元130返回指令单元110。

在执行脚本的过程中，被测单元，即机顶盒接受测试指令。机顶盒按照测试步骤逐一接受测试指令，对每一测试步骤提供测试响应，并打印日志，由通信端口返回服务器控制端100，再在信息控制端200接受处理。

在步骤S15，进行机顶盒测试后信息数据收集。机顶盒按测试步骤逐一测试脚本，测试后机顶盒通信端口返回测试数据，由信息收集单元210指定数据保存路径并保存。

在步骤S16，如果信息顺利收集，流程进入步骤S17。如果信息无法收集，流程返回步骤S03。

步骤S17，信息处理。机顶盒返回测试数据后，由信息收集单元210保存并指定路径，信息处理单元220根据访问路径进行信息访问，针对测试日志中具体特定关键字进行搜索，并根据关键字搜索情况判断是否为Bug。

在步骤S18，根据测试是否异常，决定结束流程或者进入步骤S19。

步骤S19，如果这种异常是首次出现，进入步骤S21，进行测试信息反馈。信息反馈单元210根据经步骤S17判断后的测试数据，将Bug进行归类，调用相应的测试步骤和执行脚本并记录，然后作为测试异常数据返回服务器控制端100。

步骤S22，监控单元130得到异常的测试数据后，将从中找出非法字段，并调用对应的测试步骤和测试脚本，以提交给指令单元110执行。

步骤S23，指令单元110根据监控单元130的要求重新调用循环测试程序，对有Bug的模块进行持续循环测试，重新调用之前记录的导致错误的测试步骤和测试脚本。指令单元110需设定循环程序和脚本执行次数。同时，可以一并进行性能测试，执行和调用相应脚本测试。

在步骤S24，当测试次数未到达循环次数，流程回到步骤S11，重新开始执行。否则，流程于步骤S30结束。

另外，流程监控循环测试复现率。如果在步骤S 19发现异常时在循环测试后复现，则进入步骤S20，导出复现问题并统计保存。重新执行的程序为单独数据保存，测试后仅记录测试数据不反馈服务器控制端。流程由步骤S20进入步骤S23。当循环次数达到后，统计测试结果，计算此类现象出现的频率和复现的次数，为机顶盒程序修改和软件升级提供开发依据。

统计复现率的意义在于，在检测机顶盒功能和性能测试中，会产生一些误测，可能不是因为机顶盒本身质量产生的，而是由外界原因产生。比如说数字电视信号的强弱，环境磁场短时间的干扰，电源供电的不稳定性等等，这些现象都会影响测试结果。所以通过持续的多次的循环测试，计算复现的次数，可以准确的判断Bug的根本原因，及时快速的定位Bug，减少了人工排除时间，提升了测试效率。

在检测机顶盒功能和性能测试中，长时间的或者批量测试会占用大量的人力资源和时间，由本发明测试方法的统计保存可以在无人值守情况下测试，测试人员只要通过访问测试日志即可对整个测试情况及Bug发生的流程直接掌控。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims

1.一种快速测试机顶盒的系统，包括：

服务器控制端，包括：

指令单元，用以根据测试步骤发出第一测试指令；

测试脚本单元，连接该指令单元，用以响应指令单元的第一测试指令，调用测试脚本，根据测试脚本所记录的步骤向机顶盒发送第二测试指令；

监控单元，连接该指令单元，用以监控第一测试指令和测试脚本的执行情况，并向指令单元报告异常；

信息控制端，其上布置待测试的机顶盒，该机顶盒通过端口连接该服务器控制端的测试脚本单元和监控单元，该信息控制端包括：

信息收集单元，连接该机顶盒，用以收集该机顶盒返回的测试数据；

信息处理单元，连接该信息收集单元，用以处理该机顶盒返回的测试数据，当发现测试异常时，该信息处理单元记录与测试异常对应的测试步骤和测试脚本；

信息反馈单元，连接该信息处理单元，用以记录测试数据。

2.如权利要求1所述的系统，其特征在于，该信息反馈单元在出现测试异常时，将测试异常数据反馈给服务器控制端的监控单元。

3.如权利要求1或2所述的系统，其特征在于，该指令单元根据该监控单元所报告的异常，以一设定循环次数，循环执行对应的测试步骤和测试脚本。

4.如权利要求1所述的系统，其特征在于，该监控单元还用于依据来自该机顶盒的测试数据判断异常。

5.如权利要求3所述的系统，其特征在于，该信息处理单元还用于记录循环执行对应的测试步骤和测试脚本时，测试异常的复现率。

6.一种快速测试机顶盒的方法，利用如权利要求1所述的系统来测试机顶盒，该方法包括如下步骤：

建立服务器端和信息控制端的连接；

由指令单元根据测试步骤向测试脚本单元发出第一测试指令；

由测试脚本单元调用和执行测试脚本，以根据测试脚本所记录的步骤向机顶盒发送第二测试指令；

开启监控单元，以监控第一测试指令和测试脚本的执行情况；

在信息收集单元收集机顶盒返回的测试数据；

在信息处理单元根据测试数据搜索测试异常，当出现测试异常时，信息处理单元记录测试异常对应的测试步骤和测试脚本；当未出现测试异常时，流程结束；

在信息反馈单元记录测试数据，并在出现测试异常时，将测试异常数据反馈给服务器控制端的监控单元；

在监控单元向指令单元报告测试异常及其对应的测试步骤和测试脚本；

在指令单元设定循环测试次数，且重新执行出现测试异常的测试步骤和对应的测试脚本，进行持续性和循环性能测试；以及

在信息反馈单元监控和统计重复出现的测试异常。

7.如权利要求6所述的方法，其特征在于，所述指令单元列出所有测试项目以及测试方式和测试流程，按每一步骤执行第一测试指令。

8.如权利要求6所述的方法，其特征在于，在重新执行出现测试异常的测试步骤和对应的测试脚本之前还包括初始化。

9.如权利要求6所述的方法，其特征在于，该机顶盒返回的数据包括日志。

10.如权利要求6所述的方法，其特征在于，在信息处理单元根据测试数据搜索测试异常包括，在测试数据中搜索是否存在与测试异常有关的关键字。