CN103249069B - 移动终端的测试方法及测试设备、移动终端的测试系统 - Google Patents

Abstract

一种移动终端的测试方法及测试设备、移动终端的测试系统，其中所述移动终端的测试方法包括：运行测试用例以生成控制命令和测试命令；将所述控制命令发送至基站模拟器，指示所述基站模拟器配置网络环境；将所述测试命令以及待测试消息发送至待测移动终端，其中所述测试用例中包含所述待测试消息；基于所述待测试消息验证所述待测移动终端在所述网络环境下执行所述测试命令的过程。本技术方案可以实现对移动终端的全面测试，既验证待测移动终端与基站模拟器之间的空口消息传输，也实时地验证待测移动终端的内部消息；并且在发生错误或异常时能够快速定位以进行问题修复，从而提高了测试效率。

Description

移动终端的测试方法及测试设备、移动终端的测试系统

技术领域

本发明涉及通信测试技术领域，特别涉及移动终端的测试方法及测试设备、移动终端的测试系统。

背景技术

随着移动通信技术的发展，移动终端产品越来越丰富，功能越来越复杂，推出的频率越来越快，导致研发周期缩短。在研发过程中，需要通过对移动终端的测试来保证产品的质量和性能，同时又必须提高移动终端的测试效率、控制测试成本，为此需要不断地积累测试技术，提高测试水平。

手机测试包括硬件测试、软件测试以及结构测试，我们通常所说的手机测试是指手机软件测试。而在手机软件测试中，协议栈软件测试是最主要的测试项目之一，覆盖了手机最复杂的通信协议逻辑。随着手机产品的不断升级，手机的形态越来越多，手机协议栈的复杂度也越来越高。为了保证手机协议栈的稳定性，需要模拟各种复杂的网络环境来测试手机协议栈，以确定手机协议栈始终能和网络保持正常的通信，并始终按照预期的结果处理网络各种复杂的配置。

以第三代移动通信系统为例，第三代移动通信系统与以往的移动通信系统相比，最明显的特征就是它能提供丰富的多媒体业务，这些业务既有高实时性、低吞吐量的语音业务，又有高吞吐量、低实时性的数据业务，还有对实时性和吞吐量要求都很高的视频点播业务。而这些灵活、多样的功能是由复杂的3GPP和3GPP2协议栈实现的。可以说，协议栈是整个系统的重要组成部分。协议栈需要始终兼顾通信的高效和稳定，并适应各种不同的网络环境，需要经过严格规范的测试。

现有的手机软件测试中，测试人员大都只关注手机接收到(来自基站)的空口消息以及空口流程，而不关注手机的内部流程；但对研发人员而言，他们还必须要确保手机内部每个流程的正确性。例如，当前手机在2G网络中处理分组交换(packetswitch，PS)业务，这时要求手机切换到3G网络，通常手机有两种方式转到3G网络：切换或重选；从网络侧或者从手机用户角度看，这两种方式没有任何区别，即手机无论切换或重选后都能到达3G网络，但手机内部的实现流程却截然不同。也就是说，即使手机在两种方式下都能成功到达3G网络，对于研发人员而言，还需要关注这两种方式下手机内部的每条消息甚至每个消息中每个信元的处理流程。因此，如果通过运行测试用例能够实时监控到手机内部流程，对研发人员处理手机测试中发生的异常情形将大有裨益。

进一步地，现如今手机测试都是采用自动化测试工具，这无疑节省了大量的人力和物力，然而当手机进行自动化测试出现严重错误情形下，现有通常只能报告这个测试用例测试失败，或者保存相关的日志文件(log)。然后，研发人员只能根据这些日志文件重新定位问题，这样就会降低研发人员处理手机测试问题的效率。

更多关于移动终端的测试方案可以参考公开号为US2004210665A1的发明名称为“ProtocolTestingSystemandProtocolTestingMethod(协议测试系统及方法)”的美国专利申请文件，但仍旧没有解决上述问题。

发明内容

本发明解决的问题是现有对移动终端的测试无法实时监控移动终端的内部消息流程，且在测试中发生异常无法快速定位。

为解决上述问题，本发明实施例提供一种移动终端的测试方法，包括：运行测试用例以生成控制命令和测试命令；将所述控制命令发送至基站模拟器，指示所述基站模拟器配置网络环境；将所述测试命令以及待测试消息发送至待测移动终端，其中所述测试用例中包含所述待测试消息；基于所述待测试消息验证所述待测移动终端在所述网络环境下执行所述测试命令的过程。

可选地，还包括：在所述待测移动终端执行所述测试命令发生严重错误情形下，保存所述待测移动终端中已运行的协议栈代码的执行逻辑和日志文件。

可选地，所述严重错误情形包括assert错误；所述待测移动终端在执行所述测试命令发生assert错误时，基于所述待测移动终端的内存地址来保存在发生所述assert错误前已运行的协议栈代码的执行逻辑和日志文件。

可选地，所述基于所述待测试消息验证所述待测移动终端在所述网络环境下执行所述测试命令的过程包括：若在预定时间未接收到所述待测移动终端发送的所述待测试消息，则确定所述待测移动终端执行所述测试命令发生异常，并保存与所述测试用例对应的日志文件。

可选地，所述将所述控制命令发送至基站模拟器包括：建立所述测试设备与所述基站模拟器之间的第一连接通道，并通过所述第一连接通道启动所述基站模拟器运行；建立所述测试设备与所述基站模拟器之间的第二连接通道，通过所述第二连接通道将所述控制命令发送至所述基站模拟器。

可选地，所述控制命令包括空口参数，所述空口参数包括物理层参数和数据链路层参数；指示所述基站模拟器配置网络环境包括：指示所述基站模拟器基于所述物理层参数和所述数据链路层参数配置网络环境。

可选地，所述数据链路层参数包括：RLC层参数和MAC层参数。

可选地，所述将所述测试命令以及待测试消息发送至待测移动终端包括：建立所述测试设备与所述待测移动终端之间的第三连接通道；通过所述第三连接通道将所述测试命令以及待测试消息发送至待测移动终端。

可选地，还包括：验证所述基站模拟器与待测移动终端在所述网络环境下的空口消息传输。

本发明实施例还提供了一种测试设备，包括：测试用例执行单元，用于运行测试用例以生成控制命令和测试命令；控制单元，用于将所述测试用例执行单元生成的控制命令发送至基站模拟器，指示所述基站模拟器配置网络环境；还用于将所述测试用例执行单元生成的测试命令以及待测试消息发送至待测移动终端，其中所述测试用例中包含所述待测试消息；验证单元，用于基于所述待测试消息验证所述待测移动终端在所述网络环境下执行所述测试命令的过程。

可选地，还包括：日志文件处理单元，用于在所述待测移动终端执行所述测试命令发生严重错误情形下，保存所述待测移动终端中已运行的协议栈代码的执行逻辑和日志文件。

可选地，所述严重错误情形包括assert错误；所述待测移动终端在执行所述测试命令发生assert错误时，所述日志文件处理单元基于所述待测移动终端的内存地址来保存在发生所述assert错误前已运行的协议栈代码的执行逻辑和日志文件。

可选地，所述验证单元用于：若在预定时间未接收到所述待测移动终端发送的所述待测试消息，则确定所述待测移动终端执行所述测试命令发生异常，指示所述日志文件处理单元保存与所述测试用例对应的日志文件。

可选地，所述测试设备还包括第一端口；所述测试设备通过所述第一端口建立与所述基站模拟器之间的第一连接通道以及通过所述第一端口建立与所述基站模拟器之间的第二连接通道。

可选地，所述控制命令包括空口参数，所述空口参数包括物理层参数和数据链路层参数；所述控制单元用于指示所述基站模拟器基于所述物理层参数和所述数据链路层参数配置网络环境。

可选地，所述数据链路层参数包括：RLC层参数和MAC层参数。

可选地，所述测试设备还包括端口通讯单元和第二端口；所述测试设备通过所述端口通讯单元和所述第二端口建立与所述待测移动终端之间的第三连接通道。

可选地，所述验证单元还用于监控所述基站模拟器与待测移动终端在所述网络环境下的空口消息传输。

可选地，所述控制单元还用于对所述测试用例执行单元中的测试用例进行自动化批处理。

本发明实施例还提供了一种移动终端的测试系统，包括上述测试设备、以及与所述测试设备通讯的待测移动终端和基站模拟器。

与现有技术相比，本发明技术方案具有以下有益效果：

基于控制命令配置网络环境，利用测试用例中的待测试消息验证所述待测移动终端在所述网络环境下执行测试命令的过程，解决了现有技术无法实时监控移动终端内部消息流程的问题。

具体地，若在预定时间未接收到待测试移动终端发送的待测试消息或包含待测试信元的消息，则确定所述待测试移动终端内部发生异常，保存相应的日志文件以快速地定位，查找发生异常的原因。

进一步地，在所述待测移动终端执行所述测试命令发生严重错误情形下，保存所述待测移动终端中已运行的协议栈代码的执行逻辑和日志文件以快速地定位，查找发生错误的原因。

综上，本发明技术方案可以实现对移动终端的全面测试，既验证待测移动终端与基站模拟器之间的空口消息传输，也实时地验证待测移动终端的内部消息；并且在发生错误或异常时能够快速定位以进行问题修复，从而提高了测试效率。

附图说明

图1是本发明的一种移动终端的测试系统的具体实施例的结构示意图；

图2是图1中所述移动终端的测试系统中测试设备的具体实施例的结构示意图；

图3是本发明的一种移动终端的测试方法的具体实施方式的流程示意图；

图4是本发明的一种移动终端的测试方法的具体实施例的流程示意图。

具体实施方式

针对现有技术的问题，发明人经过研究，提供了一种移动终端的测试方法以及测试设备、移动终端的测试系统。测试设备运行测试用例生成控制命令和测试命令，将控制命令发送至基站模拟器，指示所述基站模拟器根据所述控制命令配置所需的网络环境，并将测试命令以及待测试消息发送至待测移动终端，其中所述测试用例中包含所述待测试消息；然后，所述待测移动终端在所述网络环境下执行测试命令，所述测试设备基于所述测试用例中的待测试消息验证所述待测移动终端执行所述测试命令的过程，包括：验证所述待测移动终端的协议栈在执行测试命令中的待测试消息或者待测试信元以及所述待测移动终端在所述网络环境下执行测试命令与基站模拟器的空口消息传输。本技术方案在对移动终端测试时，不仅关注待测移动终端与基站模拟器之间的空口消息传输，也实时地监控并验证待测移动终端中各个模块间的交互消息(或者说内部消息)，从而当内部消息发生异常时，使得研发人员能够快速地定位问题，提高测试效率。

进一步地，在所述待测移动终端执行所述测试命令发生严重错误情形下，测试设备还将保存所述待测移动终端中已运行的协议栈代码的执行逻辑和日志文件。在具体实施例中，所述严重错误情形包括assert错误，所述待测移动终端在执行所述测试命令发生assert错误时，基于待测移动终端的内存地址来保存在发生所述assert错误前已运行的协议栈代码的执行逻辑和日志文件。这样可以使得研发人员快速、准确的定位并修复问题，进一步提高测试效率。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

如图1所示的本发明的一种移动终端的测试系统的具体实施例的结构示意图。参考图1，所述移动终端的测试系统1包括：测试设备11、与所述测试设备11通讯的基站模拟器12和待测移动终端13。

在本实施例中，所述测试设备11用于对所述待测移动终端13进行测试。具体地，所述测试设备11可以是计算机或者服务器，在所述测试设备11上运行测试用例以生成控制命令和测试命令。本领域技术人员知晓，所述测试用例是指用于对待测移动终端进行测试的一系列指令，这些指令可以被测试设备读取并运行。通常所述测试用例可以被创建，或使用测试自动化工具自动生成，或通过脚本编程语言编程来完成。进一步地，在本实施例中，由于是通过所述基站模拟器12来模拟测试所需的网络环境，因此所述测试用例中除了包含测试所述待测移动终端13所需的测试命令外，还包括指示所述基站模拟器12配置网络环境的控制命令。其中，所述控制命令还包括根据所述测试用例指示所述基站模拟器12向所述待测移动终端13发送的空口消息。所述测试设备11通过第一连接通道14启动所述基站模拟器12运行，并通过第二连接通道(未示出)将所述控制命令发送至所述基站模拟器12；所述测试设备11还通过第三连接通道15将所述测试命令发送至所述待测移动终端13。

更为具体地，结合图2所示的图1中所述移动终端的测试系统中测试设备的具体实施例的结构示意图。参考图2，所述测试设备11包括：测试用例执行单元111，用于运行测试用例以生成控制命令和测试命令；控制单元112，用于将所述测试用例执行单元111生成的控制命令发送至基站模拟器12，指示所述基站模拟器12配置网络环境，并且指示所述基站模拟器12向所述待测移动终端13发送空口消息；还用于将所述测试用例执行单元111生成的测试命令以及待测试消息发送至待测移动终端13；验证单元113，用于基于所述测试用例与所述待测试消息，验证所述待测移动终端13在所述网络环境下执行所述测试命令的过程。需要说明的是，在实际应用中，所述验证单元113可以设置于所述测试用例执行单元111的内部，或者说所述测试用例执行单元111本身具备所述验证单元113的功能：基于所述测试用例与所述待测试消息，验证所述待测移动终端13在所述网络环境执行所述测试命令的过程。

进一步地，所述测试设备11还包括第一端口115；所述测试设备11通过所述第一端口115建立与所述基站模拟器12之间的第一连接通道14以及通过所述第一端口115建立与所述基站模拟器12之间的第二连接通道(未示出)。所述测试设备11还包括端口通讯单元116和第二端口117；所述测试设备11通过所述端口通讯单元116和所述第二端口117建立与所述待测移动终端13之间的第三连接通道15。其中，所述端口通讯单元116用于将所述测试用例执行单元111运行测试用例生成的测试命令转换成适于所述待测移动终端13处理的指令，并将该指令发送到所述待测移动终端13。

需要说明的是，由于不同的待测移动终端其内部对于接收到的待测试消息的数据结构以及数据格式都不相同，因此所述测试用例执行单元执行测试用例生成的测试指令需要根据不同的待测移动终端转化成适于该待测移动终端接收的测试指令。换句话说，所述测试设备需要将生成的测试指令转化成适于待测移动终端接收的数据结构和数据格式。

继续参考图1，所述基站模拟器12包括第三端口122以及带有第四端口1211的参数配置单元121。其中，所述测试设备11通过所述第三端口122(即通过所述第一连接通道14)启动所述基站模拟器12；然后，所述参数配置单元121通过所述第四端口1211与所述第二连接通道(未示出)连通后可以接收来自所述测试设备11中所述测试用例执行单元111发送的控制命令，所述参数配置单元121则通过所述第四端口1211接收到所述控制命令。可选地，其中所述第一连接通道14和所述第二连接通道可以使用非屏蔽双绞线(UnshieldedTwistedPaired，UTP)，在本实施例中，所述第一连接通道14和所述第二连接通道使用同一根非屏蔽双绞线，但实际应用中不限于此。

相应地，所述参数配置单元121将根据所述控制命令配置网络环境，并根据所述控制命令指示所述基站模拟器12向所述待测移动终端13发送空口消息。其中，所述控制命令包括空口参数，所述空口参数是指从空口消息中提取的参数。本实施例中，通过所述参数配置单元121可以配置物理层(L1)和数据链路层(L2)的通信参数(即空口参数)。其中，所述数据链路层(L2)参数包括：介质接入控制层(MediumAccessControl，MAC)参数和无线链路控制层(RadioLinkControl，RLC)参数。

所述待测移动终端13包括第五端口134，所述第五端口134与所述第三连接通道15连通后可以接收来自所述测试设备11中所述测试用例执行单元111发送的测试命令。可选地，所述第三连接通道15可以是USB(UniversalSerialBUS，通用串行总线)，但实际应用中不限于此。所述第五端口134将接收到的所述测试命令发送至待测试协议栈单元131，由所述待测试协议栈单元131基于所述测试命令和网络环境运行协议栈代码。

进一步地，在所述待测试协议栈单元131运行协议栈代码的过程中，通过消息监督单元132监控所述待测移动终端13的内部消息，即所述待测移动终端13中各个模块间交互的消息。具体地，所述测试设备11在向所述待测移动终端13发送测试命令时，还将向所述消息监督单元132发送待测试消息，其中所述待测试消息是指所述待测移动终端13在执行所述测试命令过程中各个模块间交互的消息。

本实施例中，由于所述消息监督单元132可以实时地监控所述待测试协议栈单元131运行协议栈代码的所有内部消息，因此所述消息监督单元132可以监控所述待测试协议栈单元131在运行协议栈代码的过程中是否发送了所述待测试消息，并且当所述待测试协议栈单元131在预定时间发送了所述待测试消息时，捕获并保存所述待测试消息。

然后，当所述测试设备11在预定时间接收所述待测试消息时，所述消息监督单元132将所述捕获并保存的待测试消息反馈至所述测试设备11的验证单元113，通过所述验证单元113验证所述消息监督单元132反馈的待测试消息是否符合测试用例的设计流程。进一步地，如上述实施例所述，所述验证单元113可以设置于所述测试用例执行单元111中，或者所述测试用例执行单元111本身也具备验证功能，因此，所述消息监督单元132也可以将所述捕获并保存的待测试消息反馈至所述测试用例执行单元111，通过所述测试用例执行单元111验证所述消息监督单元132反馈的待测试消息是否符合测试用例的设计流程。

如果所述测试设备11在预定时间没有接收到所述待测试消息，则确定所述待测移动终端13执行所述测试命令发生异常。继续参考图2，所述测试设备11还包括日志文件处理单元114，此时所述测试设备11将指示所述日志文件处理单元114获取并保存所述待测移动终端13中与所述测试用例对应的日志文件。其中，所述日志文件是用于记录所述待测试协议栈单元131运行协议栈代码(即执行所述测试命令)的过程中，所述待测移动终端13的系统内所有操作事件的信息文件集合。所述测试设备11通过所述日志文件处理单元114保存所述日志文件可以供研发人员快速地定位问题，从而快速地确定所述待测试协议栈单元131在预定时间没有发送所述待测试消息的问题。

相类似地，在本实施例中，所述消息监督单元132还用于在所述待测试协议栈单元132在运行协议栈代码的过程中监控所述待测试信元，并将监控到的所述待测试信元通过所述第三连接通道15反馈至所述测试设备11。若所述测试设备11在预定时间未接收到所述待测移动终端13发送的包含所述待测试信元的消息，则确定所述待测移动终端13执行所述测试命令发生异常，并通过所述日志文件处理单元114保存与所述测试用例对应的日志文件。具体过程可以参考上述监控待测试消息的实施例，在此不再赘述。也就是说，所述消息监督单元132不仅可以监控所述待测试协议栈单元131在运行协议栈代码时，所述待测移动终端13中各模块间的交互消息(即待测试消息)是否正确，也可以监控所述交互消息中的每个信元是否正确。

进一步地，由于所述待测移动终端13是在所述基站模拟器12配置的网络环境下执行所述测试命令的，因此所述待测试协议栈单元132在运行协议栈代码时，还包括与所述基站模拟器12之间的空口消息传输。具体地，所述空口消息是指所述待测移动终端13和基站模拟器12之间的接口(例如Um接口、Uu接口等)消息。当所述待测移动终端13在执行测试命令时，需要通过与基站模拟器12之间的接口执行空口消息的收发来完成测试命令，即所述基站模拟器12将根据控制命令的指示向所述待测移动终端13发送空口消息，同时接收来自所述待测移动终端13反馈的空口消息。进一步地，所述基站模拟器13将接收到来自所述待测移动终端13反馈的空口消息再通过所述第二连接通道发送至所述测试设备11中验证单元113或测试用例执行单元113进行验证。

所述待测试移动终端13在所述测试命令和网络环境下运行协议栈代码，通过消息监督单元132监控待测移动终端13内部的各个模块间的交互消息。同时，测试设备11在预定时间内接收所述待测试消息MSG1，如果在预定时间内没有收到所述消息监督单元132监控到的该待测试消息MSG1，则认为待测移动终端13没有满足该测试用例所设计的流程，即测试用例执行失败。而如果在预定时间内收到所述消息监督单元132监控到的该待测试消息MSG1，则检测该待测试消息MSG1中的待测试信元cause，如果该待测试信元cause指示为“切换过程”，则确定待测移动终端13满足所述测试用例所设计的流程，否则认为待测移动终端13没有满足该测试用例所设计的流程。

举例来说，以分组交换(packetswitch，PS)业务为例：假设当前所述待测移动终端13在2G网络中处理PS业务，这时要求所述待测移动终端13切换到3G网络，通常所述待测移动终端13有两种方式转到3G网络，即切换或重选。这两种方式中从空口消息的层面(即网络侧)看都是一样的，这时研发人员就需要通过接收所述待测移动终端13内部的模块间的某一条消息(即待测试消息)，或从该消息包含的信元(即待测试信元)来判断所述待测移动终端13内部是否执行了预期的过程(即测试用例的设计流程)，在这两个过程中，所述待测移动终端13中的一个模块(设为M1)都要发送一条内部消息(设为MSG1)给另一个模块(设为M2)，并且该内部消息MSG1中包含一个信元(cause)指示是使用哪种方式到3G网络。

如果测试用例设计的流程是要测试“切换过程”，则在编写测试用例的过程中，需要配置相应的网络环境，具体来说，将运行所述测试用例后生成的控制命令通过第二连接通道发送至所述基站模拟器12，所述基站模拟器12中的参数配置单元121根据所述控制命令中包含的空口参数配置网络环境，如：先要让所述待测移动终端13在2G网络中做PS业务；接着，所述测试设备11将测试命令和待测试消息MSG1通过第三连接通道15通知所述待测移动终端13，并通过控制命令指示所述基站模拟器12修改网络配置使待测移动终端13能够满足“切换过程”的条件。

进一步地，在测试用例执行失败时，即通所述待测移动终端13执行所述测试命令发生异常，通过所述测试设备11中的日志文件处理单元114保存所述待测移动终端13中与所述测试用例对应的日志文件，供研发人员快速地定位问题。

进一步地，在所述待测试协议栈单元131在运行协议栈代码并执行所述测试命令发生严重错误情形下，所述测试设备11中的所述日志文件处理单元114将保存所述待测移动终端13中已运行的协议栈代码的执行逻辑和日志文件。在本实施例中，所述严重错误情形包括assert错误。在所述待测试协议栈单元131运行的协议栈代码中都会包含一些假设(例如条件判断语句if)，而assert就是用于在所述协议栈代码中捕捉这些假设。通常，assert表示为一些布尔表达式，如assert(表达式)，当表达式为真时，程序继续运行；如果表达式为假，那程序就会停止运行，并提示错误信息。本领域技术人员知晓，在实际应用中，根据所述协议栈代码中使用的不同指针参数以及不同函数，所述assert错误也有多种情形，而这并不影响本发明的实质，在此不一一列举。

因此，在本实施例中，所述待测移动终端13还包括异常处理单元133，当所述待测试协议栈单元131在基于所述测试命令和网络环境运行协议栈代码时发生assert错误，所述协议栈代码将停止运行，此时所述待测试协议栈单元131将发生所述assert错误的信息通知所述异常处理单元133。然后，所述异常处理单元133将通过所述第三连接通道15将该assert错误的信息发送至所述日志文件处理单元114；在所述日志文件处理单元114中将基于所述assert错误的信息读取预先配置的命令并将该命令再发送至所述异常处理单元133；所述异常处理单元133将根据不同的命令将所述待测移动终端13中已运行的协议栈代码所占用的内存地址发送至所述日志文件处理单元114，而所述日志文件处理单元将基于所述内存来地址保存在发生所述assert错误前已运行的协议栈代码的执行逻辑和日志文件。

例如，在所述日志文件处理单元114中可以预先设置一张所述测试设备11的内存地址与所述待测移动终端13的内存地址之间的映射关系表。通过所述映射关系表，所述日志文件处理单元114可以根据所述异常处理单元133发送内存地址(即已运行协议栈代码所占用的内存地址)，将所述待测移动终端13中的待测试协议栈单元131在基于所述测试命令和网络环境运行协议栈代码发生assert错误前已运行的协议栈代码的执行逻辑和日志文件保存至所述日志文件处理单元114中。根据本发明的实施例，当所述待测移动终端13执行所述测试命令发生严重错误情形下，研发人员可以从所述测试设备11的日志文件处理单元114中获取到发生严重错误情形前所述待测移动终端13中已运行的协议栈代码的执行逻辑和相应的日志文件，因此可以帮助研发人员快速、准确地定位并修复该错误问题，从而节省了测试人员复现该错误问题的时间，提高了测试效率。

继续参考图2，在本实施例中，所述测试用例执行单元111中通常存储有多个测试用例，因此所述控制单元112还用于对所述测试用例执行单元111中的测试用例进行自动化批处理。也就是说，通过所述控制单元112可以自动选取所述测试用例执行单元111中的一个或者多个测试用例，指示所述测试用例执行单元111进行自动化运行测试用例。在实际应用中，在所述测试设备11开始/停止测试时，所述控制单元112还用于启动/关闭所述测试设备11中的所述测试用例执行单元111、所述日志文件处理单元114以及端口通讯单元116；还用于通过所述第一连接通道14启动/关闭所述基站模拟器12，在所述基站模拟器12中则通过所述第三端口122与所述第四端口1211相连接开启/关闭所述参数配置单元121。

进一步地，所述测试设备11中还包括测试用例开发单元(未示出)，通过测试用例开发单元可以将各种真实的网络环境以测试用例的形式模拟出来，当测试人员在外场进行测试出现问题时，测试人员只要将外场测试过程中的日志文件保存下来并传送至测试用例开发单元中，其他的测试人员或研发人员就可以在该测试用例开发单元上以测试用例的形式复现；而且，通过所述测试用例开发单元可以便于测试人员或研发人员及时地修改更新现有的测试用例，进一步提高测试效率，并降低了测试成本。

基于上述实施例所述的移动终端的测试系统以及测试设备，本发明实施例还提供了一种移动终端的测试方法。如图3所示的本发明的一种移动终端的测试方法的具体实施方式的流程示意图。参考图3，所述测试方法包括：

步骤S1：运行测试用例以生成控制命令和测试命令；

步骤S2：将所述控制命令发送至基站模拟器，指示所述基站模拟器配置网络环境；

步骤S3：将所述测试命令以及待测试消息发送至待测移动终端，其中所述测试用例中包含所述待测试消息；

步骤S4：基于所述待测试消息验证所述待测移动终端在所述网络环境下执行所述测试命令的过程。

下面结合上述图1所述移动终端的测试系统以及图2所述的测试设备来描述本发明实施例所述的移动终端的测试方法。

在本实施例中，通过所述测试设备11中的测试用例执行单元111运行测试用例以生成控制命令和测试命令(即步骤S1)。

然后，所述测试设备11将所述控制命令发送至基站模拟器12，指示所述基站模拟器12配置网络环境(即步骤S2)。具体地，首先，建立所述测试设备11与所述基站模拟器12之间的第一连接通道14，即在所述第一端口115和所述第三端口122之间建立所述第一连接通道14，所述测试设备11通过所述第一连接通道14启动所述基站模拟器12运行；然后，建立所述测试设备11与所述基站模拟器12之间的第二连接通道，通过所述第二连接通道将所述控制命令发送至所述基站模拟器12。其中，所述第一连接通道14和所述第二连接通道可以都是非屏蔽双绞线(UnshieldedTwistedPaired，UTP)，本实施例，所述一连接通道14和所述第二连接通道共用同一根非屏蔽双绞线，但实际应用中不限于此。

本实施例中，所述控制命令包括空口参数以及指示所述基站模拟器12向所述待测移动终端13发送的空口消息。其中，所述空口参数是指从空口消息中提取的参数，所述空口参数包括物理层参数和数据链路层参数，其中所述数据链路层参数包括：RLC层参数和MAC层参数。指示所述基站模拟器12配置网络环境包括：指示所述基站模拟器12基于所述物理层参数和所述数据链路层参数配置网络环境。

接着，所述测试设备11将所述测试命令以及待测试消息发送至待测移动终端，其中所述测试用例中包含所述待测试消息(即步骤S3)。具体地，首先，建立所述测试设备11与所述待测移动终端13之间的第三连接通道15，即通过在所述端口通讯单元116和所述第二端口117与所述第五端口134之间建立所述第三连接通道15，其中所述第三连接通道15可以是USB(UniversalSerialBUS，通用串行总线)，但实际应用中不限于此。

进一步地，所述待测移动终端13的待测试协议栈单元131将执行所述测试命令，即基于所述测试命令和配置的网络环境运行协议栈代码，所述测试设备11将基于所述待测试消息，验证所述待测移动终端在所述网络环境下执行所述测试命令的过程(即步骤S4)。

具体地，在所述待测移动终端13中通过所述消息监督单元132监控所述待测试协议栈单元131在执行所述测试命令过程中所述待测移动终端13中各个模块间所有的交互消息(包括待测试消息)，捕获并保存待测试消息。当所述测试设备11在预定时间接收所述待测移动终端13中各个模块间的所述待测试消息时，所述消息监督单元132将保存的所述待测试消息通过所述第三连接通道15反馈至所述测试设备11的验证单元113，通过所述验证单元113验证所述消息监督单元132反馈的待测试消息是否符合测试用例的设计流程。在实际应用中，通常所述验证单元113可以设置于所述测试用例执行单元111中，或者所述测试用例执行单元111本身具有验证功能。因此所述消息监督单元132将保存的所述待测试消息通过所述第三连接通道15反馈至所述测试设备11的所述测试用例执行单元111，通过所述测试用例执行单元111验证所述消息监督单元132反馈的待测试消息是否符合测试用例的设计流程。

若在预定时间所述测试设备11未接收到所述待测移动终端13发送的所述待测试消息，则确定所述待测移动终端13执行所述测试命令发生异常，并通过所述日志文件处理单元114保存与所述测试用例对应的日志文件。

本实施例中，所述待测试消息还包含待测试信元。若在预定时间所述测试设备11未接收到所述待测移动终端13发送的包含所述待测试信元的消息，则确定所述待测移动终端13执行所述测试命令发生异常，并保存与所述测试用例对应的日志文件。

进一步地，由于所述待测移动终端13是在所述基站模拟器12配置的网络环境下执行所述测试命令的，所述待测试协议栈单元132在运行协议栈代码并执行测试命令时，还包括与所述基站模拟器12之间的空口消息传输。因此，本实施例还包括如下步骤：所述测试设备11验证所述基站模拟器12与待测移动终端13在所述网络环境下的空口消息传输。

更进一步地，本实施例还包括如下步骤：在所述待测移动终端13执行所述测试命令发生严重错误情形下，所述测试设备11的日志文件处理单元114还将保存所述待测移动终端13中已运行的协议栈代码的执行逻辑和日志文件。本实施例中，所述严重错误情形包括assert错误。也就是说，所述待测移动终端13在执行所述测试命令发生assert错误时，所述日志文件处理单元114基于所述待测移动终端13的内存地址来保存在发生所述assert错误前已运行的协议栈代码的执行逻辑和日志文件。

具体来说，当所述待测试协议栈单元131在运行协议栈代码时发生assert错误，所述协议栈代码将停止运行，此时所述待测试协议栈单元131将所述assert错误的信息通知所述异常处理单元133。然后，所述异常处理单元133将通过所述第三连接通道15将该assert错误的信息发送至所述日志文件处理单元114；所述日志文件处理单元114将基于所述assert错误的信息读取预先配置的命令并将该命令再发送至所述异常处理单元133；所述异常处理单元133将根据不同的命令将所述待测移动终端13中已运行的协议栈代码所占用的内存地址发送至所述日志文件处理单元114，而所述日志文件处理单元114将基于所述内存地址来保存在发生所述assert错误前已运行的协议栈代码的执行逻辑和日志文件。

这里列举一个具体实施例描述本发明所述移动终端的测试方法。如图4所示的是本发明的移动终端的测试方法的具体实施例的流程示意图。具体结合参考图1所示的移动终端的测试系统的具体实施例的结构示意图以及图2所示的图1中所述测试设备的具体实施例的结构示意图。假设在所述测试用例执行单元111中包含N(N＞1)个测试用例，本具体实施例包括：

步骤1.1，启动所述测试设备11中的控制单元112，并在测试用例执行单元111中选取N个测试用例，选择第i个(初始化时i＝1)测试用例。

步骤1.2，判断i是否小于或等于N，即判断是否已运行完所有测试用例。若判断结果为是，则继续执行步骤1.3；若判断结果为否，则表示已运行完所有测试用例。

步骤1.3，所述控制单元112通过所述第一连接通道14启动第三端口122以使所述基站模拟器12开始运行。

步骤1.4，所述控制单元112启动测试用例执行单元111，所述测试用例执行单元111通过第二连接通道连接至带有第四端口1211的参数配置单元121；所述测试用例执行单元11开始运行第i个测试用例以生成控制命令和测试命令，并通过所述第二连接通道向所述参数配置单元121发送控制命令，指示其根据控制命令配置网络环境，并指示所述基站模拟器12向所述待测移动终端13发送空口消息；所述控制单元112同时还启动所述测试设备11中的日志文件处理单元114和端口通讯单元116。

步骤1.5，所述控制单元112将第i个测试用例中需要捕获的待测试消息通过所述第三连接通道15发送至所述待测移动终端13中的消息监督单元132，并通过第三连接通道15将测试命令发送至待测试协议栈单元131。在所述待测试协议栈单元131运行协议栈的过程中，分别进行步骤1.6和步骤1.6’的判断过程。

步骤1.6，第i个测试用例运行结束，运行过程中判断所述测试设备11中的测试用例执行单元111是否在预定时间接收到待测试消息。若判断结果为是，则返回至步骤1.2；若判断结果为否，则继续执行步骤1.7。

步骤1.6’，第i个测试用例在运行过程中，所述异常处理单元133是否监控到严重错误情形(这里指assert错误)。若判断结果为是，则继续执行步骤1.9；若判断结果为否，则返回至步骤1.2。

步骤1.7，若在第i个测试用例运行过程中，所述测试用例执行单元111在预定时间没有接收到待测试消息，则确定所述待测试协议栈单元131发生异常，所述测试设备11将通过所述日志文件处理单元114保存所述待测移动终端13中的日志文件。

步骤1.8，所述控制单元112将关闭所述基站模拟器12中的第三端口122，第i个测试用例运行结束，继续下一个测试用例，即i++；返回至步骤1.2。

步骤1.9，所述测试设备11将通过所述日志文件处理单元114保存所述待测移动终端13的内存中已运行的协议栈代码的执行逻辑和日志文件；所述控制单元112将关闭所述基站模拟器12中的第三端口122，第i个测试用例运行结束，继续下一个测试用例，即i++；返回至步骤1.2。

综上所述，本发明技术方案可以实现对移动终端的全面测试，测试设备既验证待测移动终端与基站模拟器之间的空口消息传输，也实时地验证待测移动终端的内部消息；并且在发生错误或异常时能够快速定位以进行问题修复，从而提高了测试效率。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (24)

1.一种移动终端的测试方法，其特征在于，对移动终端的协议栈软件进行测试，包括：

运行测试用例以生成控制命令和测试命令，所述测试用例中包含待测试消息，所述待测试消息是指所述待测移动终端在执行所述测试命令过程中各个模块间交互的消息；

将所述控制命令发送至基站模拟器，指示所述基站模拟器配置网络环境；

将所述测试命令以及待测试消息发送至待测移动终端；

基于所述待测试消息验证所述待测移动终端在所述网络环境下执行所述测试命令的过程，测试系统在运行协议栈代码的过程中，监控所述待测移动终端中各个模块间交互的消息并反馈，验证反馈的待测试消息是否符合测试用例的设计流程。

2.根据权利要求1所述的移动终端的测试方法，其特征在于，还包括：在所述待测移动终端执行所述测试命令发生严重错误情形下，保存所述待测移动终端中已运行的协议栈代码的执行逻辑和日志文件。

3.根据权利要求2所述的移动终端的测试方法，其特征在于，所述严重错误情形包括assert错误；

所述待测移动终端在执行所述测试命令发生assert错误时，基于所述待测移动终端的内存地址来保存在发生所述assert错误前已运行的协议栈代码的执行逻辑和日志文件。

4.根据权利要求1所述的移动终端的测试方法，其特征在于，所述基于所述待测试消息验证所述待测移动终端在所述网络环境下执行所述测试命令的过程包括：

若在预定时间未接收到所述待测移动终端发送的所述待测试消息，则确定所述待测移动终端执行所述测试命令发生异常，并保存与所述测试用例对应的日志文件。

5.根据权利要求1所述的移动终端的测试方法，其特征在于，所述将所述控制命令发送至基站模拟器包括：

建立所述测试设备与所述基站模拟器之间的第一连接通道，并通过所述第一连接通道启动所述基站模拟器运行；

建立所述测试设备与所述基站模拟器之间的第二连接通道，通过所述第二连接通道将所述控制命令发送至所述基站模拟器。

6.根据权利要求1所述的移动终端的测试方法，其特征在于，所述控制命令包括空口参数，所述空口参数包括物理层参数和数据链路层参数；指示所述基站模拟器配置网络环境包括：指示所述基站模拟器基于所述物理层参数和所述数据链路层参数配置网络环境。

7.根据权利要求6所述的移动终端的测试方法，其特征在于，所述数据链路层参数包括：RLC层参数和MAC层参数。

8.根据权利要求1所述的移动终端的测试方法，其特征在于，所述将所述测试命令以及待测试消息发送至待测移动终端包括：

建立所述测试设备与所述待测移动终端之间的第三连接通道；

通过所述第三连接通道将所述测试命令以及待测试消息发送至待测移动终端。

9.根据权利要求1所述的移动终端的测试方法，其特征在于，还包括：验证所述基站模拟器与待测移动终端在所述网络环境下的空口消息传输。

10.一种测试设备，其特征在于，对移动终端的协议栈软件进行测试，包括：

测试用例执行单元，用于运行测试用例以生成控制命令和测试命令，所述测试用例中包含待测试消息，所述待测试消息是指所述待测移动终端在执行所述测试命令过程中各个模块间交互的消息；

控制单元，用于将所述测试用例执行单元生成的控制命令发送至基站模拟器，指示所述基站模拟器配置网络环境；还用于将所述测试用例执行单元生成的测试命令以及待测试消息发送至待测移动终端，其中所述测试用例中包含所述待测试消息；

验证单元，用于基于所述待测试消息验证所述待测移动终端在所述网络环境下执行所述测试命令的过程，测试系统在运行协议栈代码的过程中，监控所述待测移动终端中各个模块间交互的消息并反馈，验证反馈的待测试消息是否符合测试用例的设计流程。

11.根据权利要求10所述的测试设备，其特征在于，还包括：日志文件处理单元，用于在所述待测移动终端执行所述测试命令发生严重错误情形下，保存所述待测移动终端中已运行的协议栈代码的执行逻辑和日志文件。

12.根据权利要求11所述的测试设备，其特征在于，所述严重错误情形包括assert错误；

所述待测移动终端在执行所述测试命令发生assert错误时，所述日志文件处理单元基于所述待测移动终端的内存地址来保存在发生所述assert错误前已运行的协议栈代码的执行逻辑和日志文件。

13.根据权利要求11所述的测试设备，其特征在于，所述验证单元用于：若在预定时间未接收到所述待测移动终端发送的所述待测试消息，则确定所述待测移动终端执行所述测试命令发生异常，指示所述日志文件处理单元保存与所述测试用例对应的日志文件。

14.根据权利要求10所述的测试设备，其特征在于，所述测试设备还包括第一端口；所述测试设备通过所述第一端口建立与所述基站模拟器之间的第一连接通道以及通过所述第一端口建立与所述基站模拟器之间的第二连接通道。

15.根据权利要求10所述的测试设备，其特征在于，所述控制命令包括空口参数，所述空口参数包括物理层参数和数据链路层参数；所述控制单元用于指示所述基站模拟器基于所述物理层参数和所述数据链路层参数配置网络环境。

16.根据权利要求15所述的测试设备，其特征在于，所述数据链路层参数包括：RLC层参数和MAC层参数。

17.根据权利要求10所述的测试设备，其特征在于，所述测试设备还包括端口通讯单元和第二端口；所述测试设备通过所述端口通讯单元和所述第二端口建立与所述待测移动终端之间的第三连接通道。

18.根据权利要求10所述的测试设备，其特征在于，所述验证单元还用于监控所述基站模拟器与待测移动终端在所述网络环境下的空口消息传输。

19.根据权利要求10所述的测试设备，其特征在于，所述控制单元还用于对所述测试用例执行单元中的测试用例进行自动化批处理。

20.一种移动终端的测试系统，其特征在于，包括：权利要求10至19中任一项所述的测试设备、与所述测试设备通讯的待测移动终端和基站模拟器。

21.根据权利要求20所述的移动终端的测试系统，其特征在于，所述基站模拟器包括第三端口以及带有第四端口的参数配置单元；所述测试设备通过所述第三端口启动所述基站模拟器；所述参数配置单元通过所述第四端口接收来自所述测试设备发送的控制命令并基于所述控制命令配置网络环境。

22.根据权利要求20所述的移动终端的测试系统，其特征在于，所述待测移动终端包括：第五端口、用于接收来自所述测试设备发送的测试命令；待测试协议栈单元，用于基于所述测试命令和网络环境运行协议栈代码；消息监督单元，用于在所述待测试协议栈单元运行协议栈代码的过程中监控待测试消息，并将监控到的所述待测试消息通过所述第五端口反馈至所述测试设备。

23.根据权利要求20所述的移动终端的测试系统，其特征在于，所述待测移动终端还包括：异常处理单元，用于在所述待测试协议栈单元运行协议栈代码发生严重错误情形下，保存所述待测移动终端中已运行的协议栈代码的执行逻辑和日志文件。

24.根据权利要求23所述的移动终端的测试系统，其特征在于，所述严重错误情形包括assert错误。