CN101175285A - 手机软件的自动测试方法及系统 - Google Patents

Abstract

手机软件的自动测试方法及系统，主要包括：通过程控切换开关模拟手机按键操作；通过手机综测仪模拟基站与手机通讯；通过摄像头实时采集被测手机显示屏的图像；工控计算机根据测试任务控制程控切换开关、手机综测仪统一工作，并通过工控计算机收集来自手机串口的信息和摄像头采集的手机显示屏的实时图像，并将所采集的实时图像与对应的预设模板图像进行对比；工控计算机根据来自手机串口的信息和图像对比结果判断手机软件的运行状态。本发明能较为精确地模拟人真实操作手机的过程，使测试结果更加精确；并且能提高测试效率，保证测试用例的全面遍历。

Description

手机软件的自动测试方法及系统

技术领域

本发明涉及软件测试方法及系统，具体地说是指手机软件的自动测试方法及系统。

背景技术

手机研发过程中，手机的软件要经过严格的测试。目前手机软件功能测试，主要依靠测试工程师纯手工对手机的功能进行逐项测试，效率始终无法提高。人工测试方法是针对每个机型的不同软件版本进行软件测试用例遍历测试。在产品研发及量产过程中，一般会产生30到50个软件版本，全面的测试用例有6000条左右，如果由一名工程师进行一个软件版本的全面测试，至少需要一周的时间，如果进行压力测试的话，将需要更长的时间。目前，人工测试的工作模式应付手机软件功能遍历尚可，但对于人力投入较大的软件压力测试就显得力不从心了。

也有公司开发出了串口控制工具，半自动化地进行手机软件功能测试。

例如，中国专利200410059782.2号公开了“一种自动化手机测试系统及方法”，以自动化测试取代传统的人工操作。测试系统包括一基地台仿真器及一测试计算机，测试计算机提供一种自动转换机制，将基地台仿真器输出的动作信息转成测试命令。测试方法操作过程先由测试计算机的一自动测试程序从一对照表中找出动作信息所对应的测试命令，并将测试命令输出至一测试用手机，最后由基地台仿真器验证手机执行结果的正确性。

再如，中国专利200410009308.9号公开了“一种CDMA手机软件自动测试的方法及装置”，其中该方法包括如下步骤：根据各项测试用例通过电脑模拟CDMA手机按键，同时在电脑中生成相应的测试脚本文件；对所述脚本文件进行解释，将其翻译成CDMA手机的各条控制命令；利用计算机串口将所述控制命令传递给CDMA手机，所述手机响应相应的按键动作；所述手机向所述电脑反馈相应的响应消息；根据所述响应消息判断是否出现故障。

上述测试方法都是通过手机串口返回的TRACE信息实时判断手机的工作状态，但由于TRACE信息无法完全的反映手机的所有状态细节，因而可实施的测试用例较少，而且过于繁忙的TRACE信息处理机制会影响手机软件本身的稳定性，此种工作模式并不是完全真实的模拟人的使用方式。

发明内容

本发明提供一种手机软件的自动测试方法及系统，其主要目的在于克服现有手机测试方法效率低下、无法完全模拟人真实使用手机的过程等缺点。

本发明采用如下技术方案：

手机软件的自动测试方法，包括以下步骤：1)通过程控切换开关模拟手机按键操作；2)通过手机综测仪模拟基站与手机通讯；3)通过摄像头实时采集被测手机显示屏的图像；4)工控计算机根据测试任务控制程控切换开关、手机综测仪统一工作，并通过工控计算机收集来自手机串口的信息和摄像头采集的手机显示屏的实时图像，并将所采集的实时图像与对应的预设模板图像进行对比；5)工控计算机根据来自手机串口的信息和图像对比结果判断手机软件的运行状态。

前述手机软件的自动测试方法，进一步包括：通过计算机自动测试系统，根据需要的手机按键序列，编辑包括手机按键序列的测试脚本，截取测试关键判断点的手机屏幕图像作为模板图像，根据测试脚本编辑测试任务供工控计算机执行。

前述手机软件的自动测试方法，进一步包括：通过受工控计算机控制的程控电源为被测手机提供电源。

所述工控计算机通过GPIB数据格式与程控切换开关、程控电源、手机综测仪进行数据交换，工控计算机进行硬件初始化时，首先查询存在的GPIB卡及其卡号，再遍历查询每一块GPIB卡上的GPIB地址，根据查询得到的GPIB地址分辨对应的GPIB设备，得到GPIB设备的型号后对相应的GPIB设备进行初始化设置。

所述工控计算机通过GPIB数据格式与控制程控切换开关、程控电源、手机综测仪进行数据交换，使手机和串口、测试仪器确定对应关系的方法为：1)确定各GPIB设备通信正常，确定手机使用的串口没有被其它被测手机占用；2)假定手机和某一串口以及某一GPIB卡上的仪器相连接；3)工控计算机向手机以及GPIB设备发出有关指令，如果成功连接，那么表明连接正确，如果连接不能成功，表明连接不正确，使用另一串口，直到成功连接；4)成功连接后，将当前GPIB设备、手机和串口的对应关系保存。

前述手机软件的自动测试方法，进一步包括：将测试结果进行存储、统计和分析，并通过计算机网络以网页的形式发布。

手机软件的自动测试系统，包括：程控切换开关，通过键盘控制线与手机键盘控制夹具连接，模拟按键操作；程控电源，通过电源线与手机相连，为手机提供电源；手机综测仪，通过射频电缆与手机相连，模拟基站和手机通讯；摄像头，用于实时拍摄手机屏幕显示的图像；工控计算机，通过数据线与程控切换开关、程控电源、手机综测仪相连，根据测试任务统一控制各设备协调工作；通过串口数据线与手机相连，接收手机TRACE信息，通过摄像头获取手机屏幕实时显示的图像，与对应的预设模板图像对比；根据手机TRACE信息和图像对比结果判断手机软件的运行状态。

前述手机软件的自动测试系统，其工控计算机通过GPIB卡、GPIB数据线与程控切换开关、程控电源、手机综测仪相连。

前述手机软件的自动测试系统，其工控计算机进一步包括：仪器控制模块，用于对程控切换开关、程控电源、手机综测仪进行初始化和控制；测试任务编辑及执行模块，用于编辑包含手机按键序列的测试任务，根据测试任务控制程控切换开关执行手机按键操作；图像采集及处理模块，通过摄像头实时采集被测手机屏幕的显示图像，并将采集到的图像与测试任务确定的标准模板图像进行比对，根据相似度的量值判定手机软件运行是状态否正常；手机信息收集模块，用于收集由手机串口返回的TRACE信息，并对TRACE信息进行分析，辅助判断手机软件运行状态。

前述手机软件的自动测试系统，其工控计算机连接到一计算机网络，该计算机网络包括若干终端及至少一数据库及WEB服务器，该数据库及WEB服务器包括一测试数据管理模块，该测试数据管理模块包括：测试数据收集模块，用于从所述工控计算机接收测试数据；测试数据统计模块，用于对测试数据进行保存、整理和统计，形成报表；测试数据发布模块，将报表以网页方式发布到计算机网络上。

由上述对本发明的描述可知，和现有技术相比，本发明具有如下优点：一，由于采用摄像头采集测试过程中被测手机屏幕实时显示的图像，并与模板图像对比来对手机运行是否正常作出判断，而手机的TRACE信息仅用作辅助判断，因此能较为精确地模拟人真实操作手机的过程，使测试结果更加精确；二，测试人员仅需编辑测试脚本和测试任务，测试过程及测试数据的存储、整理、生成报表完全由系统自动进行，从而使测试效率大大提高，缩短软件测试时间，减少测试人力投入，缩短产品研发周期，降低产品研发成本；三，可以增强测试力度，保证测试用例的全面遍历，特别是能提高压力测试的覆盖和频度；四，保证了软件测试的一致性，不会因人为原因影响测试序列，严格保证了各个版本测试的一致性，提高测试结果的可比性；五，提高了软件测试的精准度，获得全面、详细的测试报告和测试跟踪信息，为手机软件开发人员提供调试的可靠依据，为质控人员提供真实数据。

附图说明

图1为本发明硬件系统结构示意图；

图2为本发明软件系统结构示意图；

图3为本发明工作流程图。

具体实施方式

下面参照图1至图3说明本发明的具体实施方式。

参照图1，该手机软件的自动测试系统的硬件包括程控切换开关4、程控电源3、手机综测仪2、摄像头5、工控计算机1。其中，程控切换开关4通过键盘控制线41与手机6的键盘控制夹具61连接，以模拟手机的按键操作；程控电源3通过电源线31与手机6相连，为手机6提供电源；手机综测仪2采用德国R/S公司的CMU200综测仪，手机综测仪2通过射频电缆21与手机6相连，模拟基站和手机6通讯；摄像头5用于实时拍摄手机6的屏幕显示的图像；工控计算机1通过安装于工控计算机1内的GPIB卡和GPIB数据线数据线10分别与程控切换开关4、程控电源3、手机综测仪2相连，根据测试任务统一控制各设备协调工作；手机综测仪2通过串口数据线11与手机6相连，接收手机6的TRACE信息，通过摄像头5获取手机6的屏幕实时显示的图像，与对应的预设模板图像对比，最后根据手机6的TRACE信息和图像对比结果判断手机软件的运行状态。

参照图2，该手机软件的自动测试系统的软件部分主要包括软件自动测试模块10和测试数据管理模块80。软件自动测试模块10安装于所述工控制计算机1，主要包括仪器控制模块11、测试任务编辑及执行模块12、图像采集及处理模块13、手机信息收集模块14。

仪器控制模块11用于对程控切换开关、程控电源、手机综测仪进行初始化和控制。仪器控制模块11负责对各GPIB设备进行初始化和控制。在以往的测试中，在测试软件中首先要手动指定GPIB地址，如果有两台手机同时测试，手机、综测仪、电源以及串口等需要事先指定好，否则无法进行测试。本系统首先查询工控制计算机1上存在的GPIB卡及其卡号，再遍历查询每一块GPIB卡上的GPIB地址，根据查询得到的GPIB地址去分辨各种GPIB设备，一旦得到设备的型号，对设备进行相应的初始化设置，这样就解决了以往需要事先指定GPIB地址的缺陷，使得操作人员在操作的时候无需考虑GPIB地址的问题，仪器的GPIB地址可以任意设置，不会对测试造成任何影响。

另外，以往多台手机测试的时候需要将其串口和测试仪器一一对应，否则测试无法进行下去。在本系统中采取了试错法，开始的时候先假定手机是和某一串口以及某一GPIB卡上的GPIB设备相连接，向手机以及GPIB设备发出有关指令，如果成功连接，那么表明假设正确，如果连接不能成功，说明连接不正确，尝试着用另一串口直到成功连接。为了保证最终连接失败一定是因为串口号的设置不对，本系统采取了相应的处理方法，即先判别GPIB设备通信正常并判别手机使用的串口没有被其它被测手机占用。一旦成功连接，将当前GPIB设备、手机和串口的对应方式存储起来，此后只要系统硬件没有改动，这一设置永远有效。因此，每次使用该系统时，只有在第一台手机测试的时候需要辨别GPIB设备、串口和手机的对应关系。在批量测试中，这一时间可以忽略不计，带来的好处是简化了操作难度，避免了系统设置错误给工厂操作人员以及研发人员带来的麻烦，使得系统更加智能化。

测试任务编辑及执行模块12用于编辑包含手机按键序列的测试任务，根据测试任务控制程控切换开关执行手机按键操作。所述测试任务由两级文件构成。首先测试工程师制定测试脚本，测试脚本中保存的是与测试用例相对应的手机按键序列，测试脚本是系统中第一级的测试文件单元，一般只保存较为单一的测试用例的按键序列，然后，测试工程师可根据不同的测试任务需要将测试脚本文件组合形成测试任务文件，测试任务文件是第二级的测试文件单元，代表了一个较为完整的测试任务。系统在执行测试任务的时候，测试任务执行模块调入相应的测试脚本文件，按照用户设定的次数、延时等参数控制切换开关执行测试脚本中的手机按键操作。

图像采集及处理模块13通过摄像头实时采集被测手机屏幕的显示图像，并将采集到的图像与测试任务确定的标准模板图像进行比对，根据相似度的量值判定手机软件运行是状态否正常。本系统采用美国NI公司提供的图形处理软硬件，可进行每秒5帧图像的采集、处理，并预存20秒的手机屏幕图像作为异常判断依据。

手机信息收集模块14用于收集由手机串口返回的TRACE信息，并对TRACE信息进行分析，辅助判断手机软件运行状态。例如，当手机出现异常情况，如死机，通话无法建立等，可以自动从电流和Trace上进行判断。

参照图1，工控计算机1连接到一计算机网络7，该计算机网络7通常为一内部局域网。该计算机网络7包括终端91、92及一数据库及WEB服务器8。测试数据管理模块80安装于该数据库及WEB服务器8。

该测试数据管理模块80包括测试数据收集模块81、测试数据管理模块82、测试数据发布模块83。测试数据收集模块81用于从所述工控计算机1接收测试数据，测试所形成的结果报表保存在工控计算机1上，并不直接上传到数据库及WEB服务器8中，这种做法可降低系统对网络状况的依赖程度。测试结果报表的上传工作由测试数据收集模块81来完成，该测试数据收集模块81会定期的监测本地数据库中是否有新的测试数据，然后察看网络状况和数据库服务器工作状况，如果有新的测试数据并且网络环境和数据库服务器正常工作，则上传本地的新测试数据到数据库服务器中。

测试数据统计模块82用于对测试数据进行保存、整理和统计，形成报表。当有新的测试数据被上传到数据库服务器中后，测试数据统计模块82会对测试数据进行整理，按照手机型号将测试数据分类保存，并统计各项测试的通过率、失败原因分布等指标，形成统计报表。

测试数据发布模块83将报表以网页方式发布到计算机网络7上。测试数据发布模块83为局域网用户提供一个方便快捷的手机测试数据查询、统计、管理途径，将数据库服务器中保存的测试结果、统计报表呈现给相关工程师。

参照图3，本系统的工作流程可归结为如下步骤：首先，测试人员在工控计算机1端编辑测试脚本(步骤1)，该测试脚本包括与测试用例对应的手机按键序列。接着，截取关键判断点的手机屏幕显示图像，作为模板图像(步骤2)。然后通过测试脚本和模板图像编辑测试任务(步骤S3)，并由系统自动执行测试任务(步骤S4)。程控切换开关4受控于工控计算机1，模拟手机按键操作(步骤S5)，手机6的屏幕显示相应的图像。工控计算机1通过摄像头5采集手机屏幕显示的实时图像(步骤S6)，并将实时图像与模板图像进行对比(步骤S7)，然后将对比结果与一预设有阈值进行比较，判断手机屏幕显示的实时图像是否正常(步骤S8)，如果正常，则判断测试任务是否结束(步骤S10)，如果不正常，则进行异常处理(步骤S9)。进行异常处理后，转到步骤S10继续执行，如果任务已经结束，则结束整个工作流程，如果任务尚未结束，则转到步骤S5循环执行。

上述仅为本发明的一个具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。

Claims (10)

1.手机软件的自动测试方法，包括以下步骤：

1)通过程控切换开关模拟手机按键操作；

2)通过手机综测仪模拟基站与手机通讯；

3)通过摄像头实时采集被测手机显示屏的图像；

4)工控计算机根据测试任务控制程控切换开关、手机综测仪统一工作，并通过工控计算机收集来自手机串口的信息和摄像头采集的手机显示屏的实时图像，并将所采集的实时图像与对应的预设模板图像进行对比；

5)工控计算机根据来自手机串口的信息和图像对比结果判断手机软件的运行状态。

2.如权利要求1所述的手机软件的自动测试方法，其特征在于进一步包括：通过计算机自动测试系统，根据需要的手机按键序列，编辑包括手机按键序列的测试脚本，截取测试关键判断点的手机屏幕图像作为模板图像，根据测试脚本编辑测试任务供工控计算机执行。

3.如权利要求1所述的手机软件的自动测试方法，其特征在于进一步包括：通过受工控计算机控制的程控电源为被测手机提供电源。

4.如权利要求3所述的手机软件的自动测试方法，其特征在于进一步包括：工控计算机通过GPIB数据格式与程控切换开关、程控电源、手机综测仪进行数据交换，工控计算机进行硬件初始化时，首先查询存在的GPIB卡及其卡号，再遍历查询每一块GPIB卡上的GPIB地址，根据查询得到的GPIB地址分辨对应的GPIB设备，得到GPIB设备的型号后对相应的GPIB设备进行初始化设置。

5.如权利要求3所述的手机软件的自动测试方法，其特征在于：工控计算机通过GPIB数据格式与控制程控切换开关、程控电源、手机综测仪进行数据交换，使手机和串口、测试仪器确定对应关系的方法为：

1)确定各GPIB设备通信正常，确定手机使用的串口没有被其它被测手机占用；

2)假定手机和某一串口以及某一GPIB卡上的仪器相连接；

3)工控计算机向手机以及GPIB设备发出有关指令，如果成功连接，那么表明连接正确，如果连接不能成功，表明连接不正确，使用另一串口，直到成功连接；

4)成功连接后，将当前GPIB设备、手机和串口的对应关系保存。

6.如权利要求1所述的手机软件的自动测试方法，其特征在于进一步包括：将测试结果进行存储、统计和分析，并通过计算机网络以网页的形式发布。

7.手机软件的自动测试系统，包括：

程控切换开关，通过键盘控制线与手机键盘控制夹具连接，模拟按键操作；

程控电源，通过电源线与手机相连，为手机提供电源；

手机综测仪，通过射频电缆与手机相连，模拟基站和手机通讯；

摄像头，用于实时拍摄手机屏幕显示的图像；

工控计算机，通过数据线与程控切换开关、程控电源、手机综测仪相连，根据测试任务统一控制各设备协调工作；通过串口数据线与手机相连，接收手机TRACE信息，通过摄像头获取手机屏幕实时显示的图像，与对应的预设模板图像对比；根据手机TRACE信息和图像对比结果判断手机软件的运行状态。

8.如权利要求7所述的手机软件的自动测试系统，其特征在于：所述工控计算机通过GPIB卡、GPIB数据线与程控切换开关、程控电源、手机综测仪相连。

9.如权利要求7所述的手机软件的自动测试系统，其特征在于所述工控计算机进一步包括：

仪器控制模块，用于对程控切换开关、程控电源、手机综测仪进行初始化和控制；

测试任务编辑及执行模块，用于编辑包含手机按键序列的测试任务，根据测试任务控制程控切换开关执行手机按键操作；

图像采集及处理模块，通过摄像头实时采集被测手机屏幕的显示图像，并将采集到的图像与测试任务确定的标准模板图像进行比对，根据相似度的量值判定手机软件运行是状态否正常；

手机信息收集模块，用于收集由手机串口返回的TRACE信息，并对TRACE信息进行分析，辅助判断手机软件运行状态。

10.如权利要求7所述的手机软件的自动测试系统，其特征在于所述工控计算机连接到一计算机网络，该计算机网络包括若干终端及至少一数据库及WEB服务器，该数据库及WEB服务器包括一测试数据管理模块，该测试数据管理模块包括：

测试数据收集模块，用于从所述工控计算机接收测试数据；

测试数据统计模块，用于对测试数据进行保存、整理和统计，形成报表；

测试数据发布模块，将报表以网页方式发布到计算机网络上。

Images