CN105786679A - 一种自动化测试监控系统及方法以及移动终端 - Google Patents

Abstract

本发明公开了一种自动化测试监控系统及方法以及移动终端，属于自动化测试技术领域；系统包括第一监控单元、第二监控单元和控制单元；方法包括：对第一类监控项目进行监控，若所有第一类监控项目均能正常工作，则启动自动化测试；在测试过程中对第二类监控项目进行监控，并在存在有出现异常的第二类监控项目时记录下相应的监控日志并告警；在测试完毕后对测试结果以及监控日志进行分析，以找到测试过程中的异常点并进行相应处理；上述技术方案的有益效果是：实现移动终端的自动化测试中各个阶段的监控和分析覆盖，保证自动化测试的有效性，提升自动化测试的测试效率。

Description

一种自动化测试监控系统及方法以及移动终端

技术领域

本发明涉及自动化测试技术领域，尤其涉及一种自动化测试监控系统及方法以及移动终端。

背景技术

现有技术中，对移动终端进行自动化测试操作的监控和分析，通常在自动化测试结束后通过计算机端的工具进行，或者将测试日志实时保存在移动终端上，并通过一些后处理工具进行解析以得到移动终端在测试过程中出现的一些异常信息。但是，现有技术中通过测后分析发现测试异常的方法可能会漏掉一些测试前的异常情况，并且对于测试中产生的一些异常情况无法及时处理，因此会影响到自动化测试的测试效率。

发明内容

根据现有技术中存在的问题，现提供一种自动化测试监控系统及方法以及移动终端的技术方案，旨在保证移动终端自动化测试各个阶段的测试有效性。

上述技术方案具体包括：

一种自动化测试监控系统，适用于需要执行自动化测试操作的移动终端；其中，包括：

第一监控单元，其中预设有关联于所述移动终端的多个第一类监控项目，用于在所述移动终端进行所述自动化测试操作前监控所述第一类监控项目能否正常工作，输出相应的第一监控结果；

第二监控单元，其中预设有关联于所述移动终端的多个第二类监控项目，用于在所述移动终端进行所述自动化测试操作时监控所述第二类监控项目是否出现异常，输出相应的第二监控结果；

控制单元，连接所述第一监控单元，用于在所述第一监控结果表示所述第一类监控项目均能正常工作时启动所述自动化测试操作。

优选的，该自动化测试监控系统，其中，还包括：

日志记录单元，连接所述第二监控单元，用于在所述第二监控结果表示所述第二类监控项目发生异常时记录相应的监控日志；

告警单元，连接所述第二监控单元，用于在所述第二监控结果表示所述第二类监控项目发生异常时输出相应的告警提示。

优选的，该自动化测试监控系统，其中，还包括：

分析单元，用于获取所述移动终端执行所述自动化测试操作后得到的测试结果，并对所述测试结果进行分析；

显示单元，连接所述分析单元，用于显示所述分析单元对所述测试结果进行分析后得到的分析结果。

优选的，该自动化测试监控系统，其中，还包括：

分析单元，连接所述日志记录单元，用于获取所述移动终端执行所述自动化测试操作后得到的测试结果，以及所述监控日志，并进行分析；

显示单元，连接所述分析单元，用于显示所述分析单元进行分析后得到的分析结果。

优选的，该自动化测试监控系统，其中，所述第一监控单元包括：

第一监控模块，用于在所述自动化测试操作开始前监控所述移动终端的各功能模块能否正常工作；

第二监控模块，用于在所述自动化测试操作开始前监控所述移动终端的各硬件部分能否正常工作；

所述第一类监控项目包括所述移动终端的各功能模块能否正常工作，以及所述移动终端的各硬件部分能否正常工作。

优选的，该自动化测试监控系统，其中，所述第二监控单元包括：

第三监控模块，用于在所述自动化测试操作进行过程中监控所述移动终端的各功能模块是否出现异常；

所述第二类监控项目包括所述移动终端的各功能模块是否出现异常。

一种自动化测试监控方法，适用于需要执行自动化测试操作的移动终端；其中，包括：

步骤S1，对所述移动终端的第一类监控项目进行监控，根据相应的第一监控结果判断是否存在无法正常工作的所述第一类监控项目：

若存在有所述第一类监控项目无法正常工作，则退出；

步骤S2，所述移动终端执行所述自动化测试操作；

步骤S3，对所述移动终端的第二类监控项目进行监控，根据相应的第二监控结果判断是否存在出现异常的所述第二类监控项目：

若存在有所述第二类监控项目出现异常，则记录相应的监控日志；

步骤S4，所述自动化测试操作结束后，分析所述自动化测试操作对应的测试结果，以及所述监控日志，并输出相应的分析结果，随后退出。

优选的，该自动化测试监控方法，其中，所述步骤S1中，所述第一类监控项目包括：

监控所述移动终端的各功能模块能否正常工作；以及

监控所述移动终端的各硬件部分能否正常工作。

优选的，该自动化测试监控方法，其中，所述步骤S3中，所述第二类监控项目包括：

监控所述移动终端的各功能模块是否出现异常。

优选的，该自动化测试监控方法，其中，所述步骤S3中，若存在有所述第二类监控项目出现异常，则输出相应的告警提示。

优选的，该自动化测试监控方法，其中，所述步骤S4中，显示分析所述测试结果以及所述监控日志后得到的所述分析结果。

一种移动终端，其中，包括上述的自动化测试监控系统。

一种移动终端，其中，采用上述的自动化测试监控方法。

上述技术方案的有益效果是：实现移动终端的自动化测试中各个阶段的监控和分析覆盖，保证自动化测试的有效性，提升自动化测试的测试效率。

附图说明

图1是本发明的较佳的实施例中，一种自动化测试监控系统的结构示意图；

图2是本发明的较佳的实施例中，一种自动化测试监控方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

现有技术中，对移动终端进行自动化测试，通常在测试完成后才通过一些分析工具，例如PC端工具或者移动终端的后处理工具对测试结果以及测试日志进行解析，从而发现一些移动终端在自动化测试时出现的异常情况。

但是，现有技术中的这种做法通常使测试过程中出现的异常情况不能及时被发现以及处理，在测试完成后才发现异常情况，可能异常情况出现的场景就无法得到保存，从而不能恢复或者进行进一步分析等。同时，在自动化测试开始之前，若移动终端的某些软件或者硬件无法正常工作，同样会导致本次自动化测试得出的测试结果不能使用。而这些测试前出现的故障在现有技术中无法通过监控得到。

基于现有技术中存在的上述问题，本发明的较佳的实施例中，提供一种自动化测试系统，适用于需要执行自动化测试操作的移动终端。本发明的较佳的实施例中，上述自动化测试系统A的结构如图1所示，具体包括：

第一监控单元1。本发明的较佳的实施例中，第一监控单元1用于在移动终端执行自动化测试操作之前监控移动终端中的第一类监控项目能否正常工作。换言之，本发明的较佳的实施例中，第一监控单元1用于监控移动终端中是否存在无法正常工作的第一类监控项目，并输出相应的第一监控结果。

本发明的较佳的实施例中，上述第一监控单元1具体包括：

第一监控模块11。本发明的较佳的实施例中，第一监控模块11用于在移动终端执行自动化测试操作之前，监控移动终端内的各功能模块是否能够正常工作。具体地，本发明的较佳的实施例中，监控移动终端的各功能模块可以为监控移动终端的软件基本业务能力。例如，监控通话模块，检测能否成功拨号；监控短信模块，检测短信发送能否成功；监控数据流量模块，检测能否正常上网；监控其他应用模块，检测是否能够正常工作等。

第二监控模块12。本发明的较佳的实施例中，第二监控模块12用于在移动终端执行自动化测试操作之前，监控移动终端内的各硬件部分是否能够正常工作。具体地，本发明的较佳的实施例中，监控移动终端的各硬件部分可以为监控移动终端的硬件基本业务能力。例如，监控移动终端的基带芯片能否正常工作；监控移动终端的物理按键、摄像头以及各类型的传感器是否可用；监控移动终端的SIM卡是否可用、余额是否充足；监控移动终端的存储卡是否可用、存储容量是否充足；监控移动终端的显示屏是否能够正常显示，是否有花屏现象等。

综上所述，本发明的较佳的实施例中，上述第一类监控项目可以包括监控移动终端的各功能模块是否能够正常工作，以及监控移动终端的各硬件部分是否能够正常工作。换言之，本发明的较佳的实施例中，上述第一类监控项目可以包括监控移动终端的软件基本业务能力以及硬件基本业务能力。

本发明的较佳的实施例中，上述第一监控单元1采用的监控方式可以为利用移动终端自身的系统消息进行，和/或利用移动终端的关键进程的实时通信进行，和/或实时读取移动终端的系统日志进行，和/或运行自编写的测试程序进行。

本发明的较佳的实施例中，只有上述第一监控结果显示所有第一类监控项目均能够正常工作，才开始执行移动终端的自动化测试操作。

本发明的较佳的实施例中，上述自动化测试系统A中还包括：

控制单元2，连接上述第一监控单元1。本发明的较佳的实施例中，控制单元2用于根据上述第一监控单元1输出的第一监控结果，判断是否存在有无法正常工作的第一类监控项目。并在所有第一类监控项目均能正常工作时启动移动终端的自动化测试操作。

本发明的较佳的实施例中，由于第一监控单元1监控的第一类监控项目为测试前必须保证正常运行的监控项目。因此当第一类监控项目中存在无法正常工作的项目时，则表示本次自动化测试可能无法顺利进行。例如若拨号功能失灵，则在进行自动化测试时，无法实现通话功能的测试；或者若基带芯片无法正常工作，则同样会影响到自动化测试的效果。因此，本发明的较佳的实施例中，在第一类监控项目中存在有无法正常工作的监控项目时，控制单元2不启动移动终端的自动化测试操作。

本发明的较佳的实施例中，当第一类监控项目中存在有无法正常工作的项目，则向使用者显示该项目的出错详情，和/或向使用者发出告警信息，以提醒使用者对出错项目进行处理，尽快修整以执行自动化测试操作。

换言之，本发明的较佳的实施例中，上述对第一类监控项目进行监控的过程可以被称为测前监控。

本发明的较佳的实施例中，上述自动化测试监控系统A中还包括：

第二监控单元3。本发明的较佳的实施例中，第二监控单元3用于在移动终端执行自动化测试操作过程中，监控移动终端的第二类监控项目，并输出相应的第二监控结果。

进一步地，本发明的较佳的实施例中，上述第二监控单元3包括：

第三监控模块31。本发明的较佳的实施例中，第三监控模块31用于在移动终端执行自动化测试操作的过程中，对移动终端的各功能模块进行监控，具体为监控移动终端的各功能模块是否出现异常。因此，本发明的较佳的实施例中，上述第二类监控项目即包括监控移动终端的各功能模块是否出现异常。

本发明的较佳的实施例中，上述第二类监控项目主要为监控移动终端的软件模块是否发生异常。例如，移动终端是否发生定屏或者重启现象；移动终端是否出现进程无响应、进程意外终止的现象；移动终端是否出现内存泄露、低内存杀进程的现象；移动终端是否出现广播超时或者通信侧崩溃的现象等。

本发明的较佳的实施例中，第二类监控项目与第一类监控项目中监控软件基本业务能力的不同点在于：第一类监控项目中，主要监控功能模块是否能够正常工作，即利用系统消息、关键进程的实时通信、实时系统日志或者自编写的测试程序事先运行移动终端内部各功能模块进行工作，并判断各功能模块是否能够正常工作；而在第二类监控项目中，由于处于自动化测试过程中，因此移动终端的各功能模块均处于工作状态，则第二类监控项目中，只需要监控这些功能模块在正常工作中是否会出现异常情况即可。因此，本发明的较佳的实施例中，可以利用系统消息、关键进程的实时通信以及实时的系统日志等监控方式实现对第二类监控项目的监控，并输出相应的第二监控结果。

换言之，本发明的较佳的实施例中，上述对第二类监控项目进行监控可以被称为测中监控。

本发明的较佳的实施例中，上述自动化测试系统A中还包括：

日志记录单元4，连接上述第二监控单元3。本发明的较佳的实施例中，当第二监控单元3输出的第二监控结果表示存在有出现异常的第二类监控项目时，日志记录单元4记录下相应的监控日志并保存，以供后续查看和处理。本发明的较佳的实施例中，日志记录单元4记录下发生异常的监控日志后，移动终端恢复测试场景并继续测试，而不是因为出现测试异常而停止自动化测试。

告警单元5，连接上述第二监控单元3。本发明的较佳的实施例中，同样当第二监控单元3输出的第二监控结果表示存在有出现异常的第二类监控项目时，告警单元5输出相应的告警提示，以提醒使用者注意。

分析单元6。本发明的较佳的实施例中，分析单元6用于对自动化测试后得到的测试结果进行分析并输出相应的分析结果。

本发明的一个较佳的实施例中，分析单元6连接上述日志记录单元4。该实施例中，分析单元6在分析测试结果的同时，还提取日志记录单元4中保存的、关联于本次自动化测试的监控日志，通过分析监控日志找到测试过程中的每个异常点，包括测试过程中的潜在问题点。例如，会引起进程无响应的异常点：包括在输入过程中意外到达文件或数据流的末尾时发生异常的异常点、抛出异常的异常点、按键分发失败的异常点以及输入输出操作异常的异常点等；和/或会引起重启的异常点：包括数据库越界的异常点、虚拟机运行异常的异常点、安全异常发生的异常点、内存溢出的异常点以及加载窗口失败的异常点等。

本发明的较佳的实施例中，通过分析单元6分析监控日志以找到相应的异常点后，可以根据这些异常点对移动终端的软硬件进行及时调整和处理。同时由于监控日志被记录和保存，因此可以很轻易地恢复出现异常时的测试场景，有利于对异常情况的恢复和分析。

本发明的较佳的实施例中，上述分析单元6的功能可以被称为测后分析。

本发明的较佳的实施例中，上述自动化测试监控系统A中还包括：

显示单元7，连接上述分析单元6。本发明的较佳的实施例中，显示单元7用于显示分析单元6分析得到的相应的分析结果。即显示分析测试结果以及监控日志后得到的结果。

综上所述，本发明技术方案中，对移动终端的自动化测试操作过程执行测前监控(对移动终端的软硬件基本业务能力进行监控)、测中监控(监控移动终端的软件类运行是否出现异常)以及测后分析(分析测试结果以及出现异常的监控日志以得到分析结果)，实现对自动化测试过程的全覆盖，保证测前软硬件正常工作以支持正常的自动化测试过程的执行；以及保证测中异常点的日志记录和保存，保证测中出现异常情况时的测试场景能够恢复、异常点容易查找；以及保证测后对自动化测试的全面分析，找到异常点并还原测试场景，更易于发现自动化测试中出现的问题。

本发明的较佳的实施例中，基于上述自动化测试监控系统，现提供一种自动化测试监控方法，其步骤如图2所示，具体包括：

步骤S1，对移动终端的第一类监控项目进行监控，根据相应的第一监控结果判断是否存在有不能正常工作的第一类监控项目：

若存在有第一类监控项目无法正常工作，则退出；

本发明的较佳的实施例中，如上文中所述，上述第一类监控项目可以包括监控移动终端的各功能模块能否正常工作，以及监控移动终端的各硬件部分能否正常工作。

本发明的较佳的实施例中，若存在有无法正常工作的第一类监控项目，则不启动相应的自动化测试方法。同时，向使用者提出警示，以告知使用者对移动终端进行相应调试和修整。

本发明的较佳的实施例中，若所有第一类监控项目均能够正常工作，则开始执行相应的自动化测试操作。

步骤S2，移动终端执行自动化测试操作；

步骤S3，对移动终端的第二类监控项目进行监控，根据相应的第二监控结果判断是否存在有出现异常的第二类监控项目：

若存在有第二类监控项目出现异常，则记录相应的监控日志；

本发明的较佳的实施例中，如上文中所述，上述第二类监控项目可以为在测试过程中监控移动终端的各功能模块是否出现异常，即在测试过程中，移动终端的各功能模块处于工作状态中，监控其在工作状态下是否会出现异常，并输出相应的第二监控结果。

本发明的较佳的实施例中，根据第二监控结果判断：若第二监控结果表示存在有出现异常的第二类监控项目，则记录下出现异常时的监控日志；此时移动终端恢复测试场景并继续进行自动化测试，即不会因为出现异常而影响自动化测试的正常进行。

步骤S4，自动化测试操作结束后，分析自动化测试操作对应的测试结果，以及监控日志，并输出相应的分析结果，随后退出。

本发明的较佳的实施例中，测试完成后的分析过程，除了分析测试结果外，还需要提取记录并保存的监控日志，并根据监控日志分析得到测试过程中出现的异常点，包括一些潜在问题点。本发明的较佳的实施例中，分析完毕后，向使用者显示分析结果。

本发明的较佳的实施例中，还提供一种移动终端，其中包括上述自动化测试监控系统。

本发明的较佳的实施例中，还提供一种移动终端，其中包括上述自动化测试监控方法。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (13)

1.一种自动化测试监控系统，适用于需要执行自动化测试操作的移动终端；其特征在于，包括：

第一监控单元，其中预设有关联于所述移动终端的多个第一类监控项目，用于在所述移动终端进行所述自动化测试操作前监控所述第一类监控项目能否正常工作，输出相应的第一监控结果；

第二监控单元，其中预设有关联于所述移动终端的多个第二类监控项目，用于在所述移动终端进行所述自动化测试操作时监控所述第二类监控项目是否出现异常，输出相应的第二监控结果；

控制单元，连接所述第一监控单元，用于在所述第一监控结果表示所述第一类监控项目均能正常工作时启动所述自动化测试操作。

2.如权利要求1所述的自动化测试监控系统，其特征在于，还包括：

日志记录单元，连接所述第二监控单元，用于在所述第二监控结果表示所述第二类监控项目发生异常时记录相应的监控日志；

告警单元，连接所述第二监控单元，用于在所述第二监控结果表示所述第二类监控项目发生异常时输出相应的告警提示。

3.如权利要求1所述的自动化测试监控系统，其特征在于，还包括：

分析单元，用于获取所述移动终端执行所述自动化测试操作后得到的测试结果，并对所述测试结果进行分析；

显示单元，连接所述分析单元，用于显示所述分析单元对所述测试结果进行分析后得到的分析结果。

4.如权利要求2所述的自动化测试监控系统，其特征在于，还包括：

分析单元，连接所述日志记录单元，用于获取所述移动终端执行所述自动化测试操作后得到的测试结果，以及所述监控日志，并进行分析；

显示单元，连接所述分析单元，用于显示所述分析单元进行分析后得到的分析结果。

5.如权利要求1所述的自动化测试监控系统，其特征在于，所述第一监控单元包括：

第一监控模块，用于在所述自动化测试操作开始前监控所述移动终端的各功能模块能否正常工作；

第二监控模块，用于在所述自动化测试操作开始前监控所述移动终端的各硬件部分能否正常工作；

所述第一类监控项目包括所述移动终端的各功能模块能否正常工作，以及所述移动终端的各硬件部分能否正常工作。

6.如权利要求1所述的自动化测试监控系统，其特征在于，所述第二监控单元包括：

第三监控模块，用于在所述自动化测试操作进行过程中监控所述移动终端的各功能模块是否出现异常；

所述第二类监控项目包括所述移动终端的各功能模块是否出现异常。

7.一种自动化测试监控方法，适用于需要执行自动化测试操作的移动终端；其特征在于，包括：

步骤S1，对所述移动终端的第一类监控项目进行监控，根据相应的第一监控结果判断是否存在有不能正常工作的所述第一类监控项目：

若存在有所述第一类监控项目无法正常工作，则退出；

步骤S2，所述移动终端执行所述自动化测试操作；

步骤S3，对所述移动终端的第二类监控项目进行监控，根据相应的第二监控结果判断是否存在有出现异常的所述第二类监控项目：

若存在有所述第二类监控项目出现异常，则记录相应的监控日志；

步骤S4，所述自动化测试操作结束后，分析所述自动化测试操作对应的测试结果，以及所述监控日志，并输出相应的分析结果，随后退出。

8.如权利要求7所述的自动化测试监控方法，其特征在于，所述步骤S1中，所述第一类监控项目包括：

监控所述移动终端的各功能模块能否正常工作；以及

监控所述移动终端的各硬件部分能否正常工作。

9.如权利要求7所述的自动化测试监控方法，其特征在于，所述步骤S3中，所述第二类监控项目包括：

监控所述移动终端的各功能模块是否出现异常。

10.如权利要求7所述的自动化测试监控方法，其特征在于，所述步骤S3中，若存在有所述第二类监控项目出现异常，则输出相应的告警提示。

11.如权利要求7所述的自动化测试监控方法，其特征在于，所述步骤S4中，显示分析所述测试结果以及所述监控日志后得到的所述分析结果。

12.一种移动终端，其特征在于，包括如权利要求1-6所述的自动化测试监控系统。

13.一种移动终端，其特征在于，采用如权利要求7-11所述的自动化测试监控方法。