CN103024790B - 网络通信质量自动化测试方法及系统 - Google Patents

Abstract

本发明提供了一种网络通信质量自动化测试方法，包括以下步骤：接收测试指令；从预存的配置信息中获取待测试对象的预置信息；从网元中获取待测试对象的实时信息；比较所述待测试对象的实时信息和预置信息，得到测试结果。本发明还提供了一种实现前述方法的网络通信质量自动化测试系统。本发明的网络通信质量自动化测试方法及系统，能够实现网络通信质量的自动测试，提高测试效率，降低测试成本。

Description

网络通信质量自动化测试方法及系统

技术领域

本发明涉及通信领域，特别是涉及一种网络通信质量自动化测试方法及系统。

背景技术

随着3G网络的日趋成熟，移动用户对用户感知度的要求越来越高，这使得运用商更加关注网络通信质量情况。在室内测试中，分析网元设备的信令可作为衡量网络通信质量的方法之一。通过信令分析可计算出业务面和信令面的网络时延，也可获取网元设备性能统计信息，对业务算法、终端互操作功能测试和评价网络质量起到非常重要的作用。

在室内测试中，业务的时效性通常是以信令间的延时作为判断的。操作过程中需要用户控制装置或仪表发起业务，在RNC（Radio NetworkController，无线网络控制器）上利用工具抓取信令，通过信令的准确性和时效性判断测试用例是否执行成功。目前常见的测试多采用人工测试的方法，因为通过人工操作，测试效率较低，且大量人力浪费在简单的体力劳动中，造成资源浪费，增加了测试成本。

虽然在有些改进的测试方法中，其中部分步骤，例如执行拨打过程可由程序执行，但是拨打过程仅占全部操作流程中小部分，局部的自动化对整体执行效率影响程度有限，大量重复的体力劳动还需要人为操作。因此，其还是存在因为人工操作而出现的测试效率低、测试成本高、工作重复性高的问题。

发明内容

本发明提供一种网络通信质量自动化测试方法及系统，能够解决因为人工操作测试而出现的测试效率低和测试成本高的问题。

为了解决上述问题，本发明公开了一种网络通信质量自动化测试方法，包括以下步骤：

接收测试指令；

从预存的配置信息中获取待测试对象的预置信息；

从网元中获取待测试对象的实时信息；

比较所述待测试对象的实时信息和预置信息，得到测试结果。

进一步地，测试由测试模型完成，在接收测试指令之前还包括：

控制装置接收测试请求，根据所述测试请求选择对应的测试模型，并将测试指令发送给选中的测试模型。

进一步地，所述方法为采用不同的测试模型或测试模型组合对不同的待测试对象进行测试，包括以下一种或多种情况：

采用信令间延时测试模型对信令间延时进行测试；

采用网元统计信息测试模型对网元统计信息进行测试；

采用信令准确性测试模型对信令准确性进行测试。

进一步地，所述采用信令间延时测试模型对信令间延时进行测试包括：

发送指令给待测试的移动终端，记录移动终端发起呼叫的起始时间；

从配置信息中读取需要跟踪的信令消息和预期延迟值；

从网元中获取信令消息；

判断所述从网元中获取的信令消息是否是需要跟踪的信令消息，若是，则计算当前时间与所述起始时间的时间差；

比较所述时间差与预期延迟值，若时间差在预期延迟值的范围内，则确定测试结果正常，反之，则确定测试结果异常。

进一步地，所述采用网元统计信息测试模型对网元统计信息进行测试包括：

从配置信息中读取需要获取的网元信息计数器和预期值；

从网元中查询网元信息计数器的实时计数值；

判断该实时计数值与预期值是否相同，若是，则确定测试结果正常，反之，则确定测试结果异常。

进一步地，所述采用信令间延时测试模型对信令间延时进行测试包括：

从配置信息中读取需要跟踪的信令消息；

从网元中获取信令消息；

判断所述从网元中获取的信令消息是否是需要跟踪的信令消息，若是，则确定测试结果正常，若否，则进行下一步；

判断本次业务是否完成，若是，则确定测试结果为异常，反之，则返回从网元中获取信令消息，并重复前一步骤。

进一步地，所述方法还包括建立测试模型，所述建立测试模型包括：

确定测试模型中的固化接口和可设置的接口；

采用固化的测试脚本对测试模型进行描述，将固化的接口转化为脚本语言规范模板，将可设置的接口转化为参数接收接口。

本发明还公开了一种网络通信质量自动化测试系统，包括：

测试指令接收模块，用于接收测试指令；

预置信息获取模块，用于从预存的配置信息中获取待测试对象的预置信息；

实时信息获取模块，用于从网元中获取待测试对象的实时信息；

判断模块，用于比较所述待测试对象的实时信息和预置信息，得到测试结果。

进一步地，所述测试指令接收模块、预置信息获取模块、实时信息获取模块和判断模块置于测试模型中，所述系统还包括：

控制装置，用于接收测试请求，并根据所述测试请求选择对应的测试模型，并将测试指令发送给选中的测试模型。

进一步地，所述系统采用不同的测试模型或测试模型组合对不同的待测试对象进行测试，包括以下一种测试模型或多种测试模型的组合：

信令间延时测试模型，用于对信令间延时进行测试；

网元统计信息测试模型，用于对网元统计信息进行测试；

信令准确性测试模型，用于对信令准确性进行测试。

进一步地，所述系统还包括测试模型建立模块，用于建立测试模型，包括：

确定测试模型中的固化接口和可设置的接口；

采用固化的测试脚本对测试模型进行描述，将固化的接口转化为脚本语言规范模板，将可设置的接口转化为参数接收接口。

与现有技术相比，本发明包括以下优点：

本发明的网络通信质量自动化测试方法及系统中，预先配置测试过程中需要的信息，在测试时，直接获取该配置信息，并与实时获取的信息进行比较，通过此种方式来完成测试，无需人工参与，从而提高了测试时间、降低了测试成本。

在具体实现时，通过建立测试模型的方式来实现网络通信质量自动化的测试，当需要进行测试时，只需要发送相应的测试指令给对应的测试模型，然后测试模型通过固化的测试脚本执行对应的测试步骤，获取测试过程中需要的信息，然后进行相应的处理，即可以完成测试，并得到测试结果。在这个过程中，因为无需人工参与，从而提高了测试效率，并且降低了测试成本。

当测试场景较为复杂时，例如需要多种情况进行测试时，可以通过控制装置选择多个测试模型的组合，从而完成复杂测试场景的测试，无需为每一种测试场景都一一人为的设置测试用例或者测试模型，从而提高了自动化测试的范围以及效率。

当然，实施本发明的任一产品不一定需要同时达到以上所述的所有优点。

附图说明

图1是本发明的网络通信质量自动化测试方法实施例一的流程图；

图2是本发明的网络通信质量自动化测试方法实施例二的流程图；

图3是本发明的网络通信质量自动化测试方法实例一的流程图；

图4是本发明的网络通信质量自动化测试方法实例二的流程图；

图5是本发明的网络通信质量自动化测试方法实例三的流程图；

图6是本发明的网络通信质量自动化测试系统实施例一的结构示意图；

图7是本发明的网络通信质量自动化测试系统实施例二的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出本发明的一种网络通信质量自动化测试方法实施例一，包括以下步骤：

步骤101，接收测试指令。

步骤102，从预存的配置信息中获取待测试对象的预置信息。

待测试对象的预置信息根据本次测试指令所需要的待测试对象确定，例如，待测试对象是信令延时，待测试对象的预置信息包括：需要跟踪的信令消息和预期延迟值。又如，待测试对象则是网元统计信息，那么待测试对象的预置信息包括：网元信息计数器和预期值。同样的，可以根据不同的待测试对象得到不同的预置信息。

配置信息是根据经验或者实验分析得到的参考信息，作为自动化测试的比较参数预先进行存储，具体的存储形式并不限定，例如可以存储在独立配置文件或者记录表中，以便于修改。

其中，待测试对象可以根据测试指令确定。优选地，本实施例可以通过测试模型来实现，可以存在多个测试模型来分别对不同的待测试对象进行测试，每个测试模型可以设置对应的配置信息。也即，如果测试模型确定后，待测试对象就已经确定，当测试模型接收到测试指令后，便会从配置信息中读取指定的信息，该指定的信息即是指待测试对象的预置信息。

步骤103，从网元中获取待测试对象的实时信息。

待测试对象的实时信息可以根据确定的待测试对象来决定。例如，测试指令是对信令间延时进行测试，待测试对象为信令延时，那么待测试对象的实时信息则是：信令消息、该信令消息的起始和接收时间。又如，测试指令是对网元统计信息进行测试，待测试对象为网元统计信息，待测试对象的实时信息则包括：网元信息计数器的实时计数。同样的，可以根据不同的待测试对象得到不同的实时信息。

测试模型通过向网元发送指令的方式进行数据交互，当获取到待测试对象的预置信息后，则根据待测试对象向网元中对应的接口发送指令，并从该接口中获取到待测试对象的实时信息。其中，测试模型中可以设置相应的数据接口，并与网元中的接口相对应，从而实现数据的收发来获取对应的实时信息。

步骤104，比较所述待测试对象的实时信息和预置信息，得到测试结果。

比较待测试对象的实时信息和预置信息的具体过程根据待测试对象来确定。例如，待测试对象为信令延时，那么比较过程为：计算实时获取的信令消息的起始和接收时间之间的时间差，并与从配置信息中获取的预期延迟值，若时间差在预期延迟值的范围内，则得到测试结果为正常，若在范围之外，则得到测试结果为异常。又如，待测试对象为网元统计信息，那么比较过程为：网元信息计数器的实时计数值与预期值，若实时计数值在预期值范围内（预期值为一个数值范围），或者实时计数值与预期值相同或二者差值在预定范围内（预期值为一个具体数值），则得到测试结果为正常，反之，则得到测试结果为异常。

同样的，具体的比较过程也是需要根据待测试对象来确定，可能会因为待测试对象的不同而发生改变，在此并未一一列举。

优选地，在得到测试结果后，还可以将测试结果输出或者自动记录，以供后续使用或者处理。

可以理解，前述方法实施例是在确定测试模型的基础上执行，即直接将测试指令发送给对应的测试模型，可以理解为单一测试场景的自动化测试。当测试场景较为复杂时，例如需要多种情况进行测试时，可以通过控制装置选择多个测试模型的组合，从而完成复杂测试场景的测试，无需重新准备测试用例或者测试模型。

参照图2，示出本发明的一种网络通信质量自动化测试方法实施例二，在实施例一的步骤101之前还包括以下步骤：

步骤201，控制装置接收测试请求，根据所述测试请求选择对应的测试模型，并将测试指令发送给选中的测试模型。

控制装置根据测试请求选择对应的测试模型，可以通过如下方式来实现：获取测试请求中的测试模型标识符；根据所述标识符选择对应的测试模型。其中，测试模型标识符可以是模型ID，或者模型名称等等。

控制装置选择的测试模型可以是一个，两个或者多个，具体根据测试请求来确定。并根据选择的测试模型生成对应的测试指令，例如，一共有三个测试模型，分别是信令间延时测试模型、网元统计信息测试模型、信令准确性测试模型，如果测试请求中指出需要对信令间延时、网元统计信息以及信令准确性都进行测试，那么控制装置则需要选择该三个测试模型，并分别生成测试指令发送给三个测试模型。

如此，即使有多种测试场景需要自动化测试，也可以通过控制装置直接根据测试请求来选择能够完成当前测试场景的测试模型或者测试模型的组合，从而可以快速的实现测试。

可以理解，在前述实施例一或实施二的基础上，还可以包括测试模型的建立过程。在建立测试模型的过程中需要根据具体的测试过程来确定各测试模型中需要固化的参数以及可设置的参数，从而确定测试模型中固化的接口和可设置的接口，并采用固化的测试脚本来对测试模型进行描述，将固化的内容转化为脚本语言规范模板，将可设置的内容转化为可控制接口，以参数方式传入，即参数接收接口，从而完成测试模型的建立。

通过建立测试模型的方式来实现网络通信质量自动化的测试，当需要进行测试时，只需要发送相应的测试指令给对应的测试模型，然后测试模型通过固化的测试脚本执行对应的测试步骤，获取测试过程中需要的信息，然后进行相应的处理，即可以完成测试，并得到测试结果。在这个过程中，因为无需人工参与，从而提高了测试效率，并且降低了测试成本。

当测试场景较为复杂时，例如需要多种情况进行测试时，可以通过控制装置选择多个测试模型的组合，从而完成复杂测试场景的测试，无需为每一种测试场景都一一人为的设置测试用例或者测试模型，从而提高了自动化测试的范围以及效率。

下面结合具体的实例对前述方法实施例进行详细的说明。在目前的网络通信质量测试时，常见的信令分析包括信令间延时统计、网元统计信息以及信令准确性，其中，可能是单一的信令分析，也可能是二者或者三者组合的信令分析。为此，根据前述的几种信令分析分别建立三个测试模型：信令间延时统计测试模型、网元统计信息测试模型和信令准确性测试模型。

信令间延时统计测试模型

根据实际处理情况，可以确定信令间延时统计测试模型需要固化的接口包括：固定的测试网元、固定的信令跟踪接口、固定的延时计算方法、固定的测试参数接口、固定的结果判断方法。可设置的接口包括：被测消息和预期延时范围接口。

网元统计信息测试模型

采用前述相同的方法，确定网元统计信息测试模型需要固化的接口包括固定的被测网元、固定的网元操作接口、固定的测试参数接口、固定的结果判断方法。可设置的接口包括：需要获取的网元信息和预期信息值域。

信令准确性测试模型

信令准确性测试模型与信令间延时统计测试模型需要固化的接口类似，区别在于信令准确性测试模型关注点是信令是否到达，信令内容是否准确。在此不再赘述。

在确定了各测试模型的需要固化的内容和可设置内容后，可以根据确定的需要固化的内容和可设置的内容，通过脚本语言进行过程描述，将固化的内容转化为脚本语言规范模板，将可设置的内容转化为可控制接口，以参数方式传入，即参数接收接口，从而实现各测试模型的建立。

下面对三个测试模型实现自动化测试的过程进行详细描述。

参照图3，示出信令间延时统计测试模型实现自动化测试的过程。

在接收到对信令间延时进行测试的测试指令后，发送指令给待测试的移动终端，控制移动终端发起呼叫，此时，测试模型记录下起始时间。

从配置信息，例如配置文件中读取需要跟踪的信令消息和预期延迟值；

发送指令给网元，通知网元打开信令跟踪接口；然后从信令跟踪接口获取信令消息；

在获取信令消息后，与从配置文件中读取的需要跟踪的信令消息进行比较，若确定是需要跟踪的信令消息，则进行下一步；若不是需要跟踪的信令消息，则重新从信令跟踪获取信令消息，并重新比较，直到获取到的信令消息是需要跟踪的信令消息为止，再进行下一步；

记录当前时间，并统计当前时间和起始时间的时间差；

判断时间差是否在预期延迟值的范围之内，若是，则确定测试结果正常，反之，则确定测试结果异常。

参照图4，示出网元统计信息测试模型实现自动化测试的过程。

在接收到对网元统计信息进行测试的测试指令后，发送指令给待测试的移动终端，控制移动终端发起呼叫；

从配置文件中读取需要获取的网元信息计数器和预期值；

发送指令给网元，通知网元打开操作维护接口；然后从操作维护接口查询网元信息计数器的实时计数值；

判断该实时计数值与预期值是否相同，若是，则确定测试结果正常，反之，则确定测试结果异常。

参照图5，示出信令准确性测试模型实现自动化测试的过程。

在接收到对信令准确性进行测试的测试指令后，发送指令给待测试的移动终端，控制移动终端发起呼叫；

从配置文件中读取需要跟踪的信令消息；

发送指令给网元，通知网元打开信令跟踪接口；然后从信令跟踪接口获取信令消息；

在获取信令消息后，与从配置文件中读取的需要跟踪的信令消息进行比较，若确定是需要跟踪的信令消息，则确定测试结果为正常；若不是需要跟踪的信令消息，则先判断本次业务是否完成，若是，则确定测试结果为异常，反之，则返回重新从信令跟踪接口获取信令消息，并重新比较。

也即，在前述过程中，若获取到的信令消息不是需要跟踪的消息，则需要先判断本次业务是否完成，只有在本次业务未完成的情况下才会重新获取信令消息，并重复比较过程，若本次业务完成，则说明测试出现了异常。其中，本次业务是否完成，可以通过预先设定的判断条件来执行，判断条件可以是本次业务处理时间是否超过预期设定值，或者本次业务处理是否接收或者发出某个指令等等，本发明对比并不限制，可以根据实际情况确定。

可以理解，当某个测试场景为需要同时对信令间延时、网元统计信息和信令准确性进行测试的复杂测试场景时，则控制装置可以同时选择信令间延时测试模型、网元统计信息测试模型和信令准确性测试模型的组合来实现该测试场景的测试。该三个测试模型的具体测试过程如前所述，可以理解，三个测试模型可以同时进行测试，也可以逐个进行测试，例如可以在信令间延时测试模型完成测试后，网元统计信息测试模型再进行测试，接下来信令准确性测试模型再测试。具体的测试过程可以在测试指令中限定或者按照实际情况处理。

参照图6，示出本发明的一种网络通信质量自动化测试系统实施例一，包括测试指令接收模块10、预置信息获取模块30、实时信息获取模块40和判断模块50。

测试指令接收模块10，用于接收测试指令。

预置信息获取模块30，用于从预存的配置信息中获取待测试对象的预置信息。

实时信息获取模块40，用于从网元中获取待测试对象的实时信息。

判断模块50，用于比较所述待测试对象的实时信息和预置信息，得到测试结果。

参照图7，示出本发明的一种网络通信质量自动化测试系统实施例二，该测试指令接收模块10、待测试对象确定模块20、预置信息获取模块30、实时信息获取模块40和判断模块50置于测试模型中，该系统还包括控制装置70，用于接收测试请求，并根据所述测试请求选择对应的测试模型，并将测试指令发送给选中的测试模型。

优选地，该系统采用不同的测试模型或测试模型组合对不同的待测试对象进行测试，包括以下一种测试模型或多种测试模型的组合：

信令间延时测试模型，用于对信令间延时进行测试；

网元统计信息测试模型，用于对网元统计信息进行测试；

信令准确性测试模型，用于对信令准确性进行测试。

其中，每个测试模型在进行测试时，其中的各功能模块所获取到的信息根据每个测试模型所需要完成的测试来确定，即根据每个测试模型的测试对象来确定。具体的信息在前述方法实施例中已经进行了描述，在此不再赘述。

可以理解，该系统还包括测试模型建立模块，用于建立测试模型，包括：确定测试模型中的固化接口和可设置的接口；采用固化的测试脚本对测试模型进行描述，将固化的接口转化为脚本语言规范模板，将可设置的接口转化为参数接收接口。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的网络通信质量自动化测试方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种网络通信质量自动化测试方法，其特征在于，包括以下步骤：

接收测试指令；

从预存的配置信息中获取待测试对象的预置信息；其中，所述待测试对象根据测试指令确定；

根据待测试对象向网元中对应的接口发送指令，并从该接口中获取待测试对象的实时信息；所述待测试对象的实时信息包括：信令消息、该信令消息的起始和接收时间、网元信息计数器的实时计数；

比较所述待测试对象的实时信息和预置信息，得到测试结果。

2.如权利要求1所述的网络通信质量自动化测试方法，其特征在于，测试由测试模型完成，在接收测试指令之前还包括：

控制装置接收测试请求，根据所述测试请求选择对应的测试模型，并将测试指令发送给选中的测试模型。

3.如权利要求1或2所述的网络通信质量自动化测试方法，其特征在于，所述方法为采用不同的测试模型或测试模型组合对不同的待测试对象进行测试，包括以下一种或多种情况：

采用信令间延时测试模型对信令间延时进行测试；

采用网元统计信息测试模型对网元统计信息进行测试；

采用信令准确性测试模型对信令准确性进行测试。

4.如权利要求3所述的网络通信质量自动化测试方法，其特征在于，所述采用信令间延时测试模型对信令间延时进行测试包括：

发送指令给待测试的移动终端，记录移动终端发起呼叫的起始时间；

从配置信息中读取需要跟踪的信令消息和预期延迟值；

从网元中获取信令消息；

判断所述从网元中获取的信令消息是否是需要跟踪的信令消息，若是，则计算当前时间与所述起始时间的时间差；

比较所述时间差与预期延迟值，若时间差在预期延迟值的范围内，则确定测试结果正常，反之，则确定测试结果异常。

5.如权利要求3所述的网络通信质量自动化测试方法，其特征在于，所述采用网元统计信息测试模型对网元统计信息进行测试包括：

在接收到对网元统计信息进行测试的测试指令后，发送指令给待测试的移动终端，控制移动终端发起呼叫，从配置信息中读取需要获取的网元信息计数器和预期值；

从网元中查询网元信息计数器的实时计数值；

判断该实时计数值与预期值是否相同，若是，则确定测试结果正常，反之，则确定测试结果异常。

6.如权利要求3所述的网络通信质量自动化测试方法，其特征在于，所述采用信令准确性测试模型对信令准确性进行测试包括：

在接收到对信令准确性进行测试的测试指令后，发送指令给待测试的移动终端，控制移动终端发起呼叫，从配置信息中读取需要跟踪的信令消息；

从网元中获取信令消息；

判断所述从网元中获取的信令消息是否是需要跟踪的信令消息，若是，则确定测试结果正常，若否，则进行下一步；

判断本次业务是否完成，若是，则确定测试结果为异常，反之，则返回从网元中获取信令消息，并重复前一步骤。

7.如权利要求1或2所述的网络通信质量自动化测试方法，其特征在于，所述方法还包括建立测试模型，所述建立测试模型包括：

确定测试模型中的固化接口和可设置的接口；

采用固化的测试脚本对测试模型进行描述，将固化的接口转化为脚本语言规范模板，将可设置的接口转化为参数接收接口。

8.一种网络通信质量自动化测试系统，其特征在于，包括：

测试指令接收模块，用于接收测试指令；

预置信息获取模块，用于从预存的配置信息中获取待测试对象的预置信息；其中，所述待测试对象根据测试指令确定；

实时信息获取模块，用于根据待测试对象向网元中对应的接口发送指令，并从该接口中获取待测试对象的实时信息；所述待测试对象的实时信息包括：信令消息、该信令消息的起始和接收时间、网元信息计数器的实时计数；

判断模块，用于比较所述待测试对象的实时信息和预置信息，得到测试结果。

9.如权利要求8所述的网络通信质量自动化测试系统，其特征在于，所述测试指令接收模块、预置信息获取模块、实时信息获取模块和判断模块置于测试模型中，所述系统还包括：

控制装置，用于接收测试请求，并根据所述测试请求选择对应的测试模型，并将测试指令发送给选中的测试模型。

10.如权利要求8或9所述的网络通信质量自动化测试系统，其特征在于，所述系统采用不同的测试模型或测试模型组合对不同的待测试对象进行测试，包括以下一种测试模型或多种测试模型的组合：

信令间延时测试模型，用于对信令间延时进行测试；

网元统计信息测试模型，用于对网元统计信息进行测试；

信令准确性测试模型，用于对信令准确性进行测试。

11.如权利要求9所述的网络通信质量自动化测试系统，其特征在于，所述系统还包括测试模型建立模块，用于建立测试模型，包括：

确定测试模型中的固化接口和可设置的接口；

采用固化的测试脚本对测试模型进行描述，将固化的接口转化为脚本语言规范模板，将可设置的接口转化为参数接收接口。