CN1464651A

CN1464651A - 一种对无线通信产品进行性能测试的方法

Info

Publication number: CN1464651A
Application number: CN02124989A
Authority: CN
Inventors: 魏春轩
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2002-06-26
Filing date: 2002-06-26
Publication date: 2003-12-31
Anticipated expiration: 2022-06-26
Also published as: CN100372269C

Abstract

本发明涉及对无线通信产品进行性能测试的方法。包括以下步骤：(1)据测试需求和被测对象的特性选择符合要求的测试工具；(2)编制性能测试组网图及说明；(3)确定话务模型；(4)编写测试套并(按编写好的测试套)进行调试；(5)对被测对象进行综合性能测试。可通过并发多个请求的方法从不同层面来测试交换子系统的业务处理能力、容量或在负荷背景下制造异常来测试系统的性能，因此能够达到测试完善的效果，另外，由于采用了规范性的话务模型，使得测试结果具有标准性和可比性。

Description

一种对无线通信产品进行性能测试的方法

技术领域

本发明涉及对无线通信产品进行性能测试的方法。

现有技术

无线通信系统往往要宏观上为多个移动用户提供多种呼叫业务，同时处理多个业务或进程，因此，为了保证无线通信系统的正常运行，需要有效的方法来检测系统在并行处理方面的能力，包括系统的容量、系统在一定负荷下的稳定性等。

近年来我国在GSM，CDMA移动通信系统所试用的交换子系统都制定有相应的技术标准和根据这些标准制定的测试规范，其中有用于测试交换子系统性能的测试项如《800MHz CDMA数字蜂窝移动通信网设备总测试规范：交换子系统部分》，但由于其中的测试方法仅仅是用模拟呼叫器进行重复和累计呼叫，所以测试方法具有测试不够完善，测试结果不具有标准性和可比性的缺点，另外，对于对系统性能的衡量和对比也不充分，且其中的处理能力测试并非真正测试了被测系统的实际运行情况。

发明内容

本发明要解决的是现有的对无线通信产品进行性能测试的方法测试不够完善、测试结果不具有标准性和可比性的技术问题。

为了解决以上技术问题，本发明采取的技术方案是：

一种对无线通信产品进行性能测试的方法，其特征是，包括以下步骤：

一、据测试需求和被测对象的特性选择符合要求的测试工具；

二、编制性能测试组网图及说明；

三、确定话务模型；

四、编写测试套并按编写好的测试套进行调试；

五、对被测对象进行综合性能测试。

所述的步骤五中的综合性能测试包括性能指标测试、稳定性测试、可靠性测试、边界值测试、系统功能测试和可维护及可测试性测试六个方面。

所述的性能指标测试包括

a.网上常见多种话务模型，多种组网方式的的正常模拟测试；

b.整个系统的和各子系统的极限容量和极限性能测试；

所述的稳定性测包括试长时间稳定运行测试和长期性能指标测试；

所述的可靠性测试包括负荷背景下的系统故障测试和负荷背景下的异常流程测试；

所述的边界值测试为通过数据配置等手段达到配置的边界条件，在此边界条件的条件下进行的负荷测试；

所述的系统功能测试包括话务背景下路由选择、动态资源分配、负荷分担等最优算法的实现的测试和话务背景下系统的优化保护措施和其他需要在负荷下才能测试的功能的测试；

所述的可维护及可测试性测试包括

a)数据配置、维护、告警等方面的测试；

b)调试信息和软件参数等测试平台的测试；

c)数据的恢复和版本升级的测试；

d)主要单流程测试。

所述的步骤一包括以下步骤：

(一)、根据测试需求的特性选择好能满足测试需求的特性的测试工具，测试工具必须能实现客户端的主要流程和能统计成功和失败的数目；

(二)、计算被测对象和被测对象周边节点的容量，从能满足测试需求的特性的测试工具中选择能满足被测对象容量的测试工具，配置满足被测对象容量的周边节点设备。

所述的步骤二包括以下步骤：(1)确定局向个数、大小，进行各局向或网络节点的信令点编号和电路，号段，话路路径，链路等资源的分配；(2)绘制出测试组网图、标明由测试工具模拟的网络节点；(3)在测试工具的数据配置中实现测试组网图设计的内容，与被测试设备的数据配置匹配，为对接测试做好准备。

所述的步骤三中确定话务模型的方法为：总呼叫次数L＝W×T1；总位置更新次数M＝W×T2；总切换次数N＝W×T3；话务流量分配中固定打移动忙时呼叫尝试次数＝L×E1/(E1+E2+2×E3)；移动打固定忙时呼叫尝试次数＝L×E1/(E1+E2+2×E3)；移动打移动忙时呼叫尝试次数＝L×E1/(E1+E2+2×E3)，其中，W为系统用户容量，T1为移动用户忙时平均试次数，T2为位置更新次数，T3为BSC间切换次数，E1为固定打移动话务量分配的比例，E2为移动打固定话务量分配的比例，E3为移动打移动话务量分配的比例。

所述的步骤三在确定话务模型时，移动用户平均忙时负荷为：0.018-0.03Erl/用户；移动用户忙时平均试呼次数T1一般范围为1-3.6，位置更新次数T2一般范围为2-6，BSC间切换次数T3一般范围为0.5-1；话务量分配比中固定打移动E1一般范围为一般范围25％-40％，移动打固定E2一般范围为30％-50％，移动打移动E3为10％-45％。

在采用了上述技术方案后，可通过并发多个请求的方法从不同层面来测试交换子系统的业务处理能力、容量或在负荷背景下制造异常来测试系统的性能，因此能够达到测试完善的效果，另外，由于采用了规范性的话务模型，使得测试结果具有标准性和可比性。

附图说明：

图1是本发明具体实施方式的整体流程图。

图2是利用本发明对某个产品的详细测试项目。

具体实施方式本文用到的缩略语含义：

BHCA Busy Hour Call Attempts 忙时呼叫尝试

ERL 爱尔兰

3G 3rd Generation 第三代移动通信系统简称本文同WCDMA

2G 2rd Generation 第二代移动通信系统简称本文同GSM

CDMA Code Division Multiple Addressing 码分多址移动通信系统

BSC BaseStationController 2G的基站控制器

MSC A second generation Mobile Services Switching Centre that only supportsthe A interface 2G移动交换中心

RNC Radio Network Controller 3G无线网络控制器

Iu Interface between the RNS and the core network Iu接口

VMSC Visit Mobile Switching Centre 拜访移动交换中心

GMSC Gateway Mobile Switching Centre网关移动业务交换中心

HLR Home Location Register 归属位置寄存器

SCP Service Contral Point 业务控制点

MAP Mobile Application Part 移动应用部分

TUP Telephone User Part 电话用户部分

BAM Back Administration Module后管理模块

BAU Bill Administration Unit 话单管理单元

一、根据测试需求和被测对象的特性选择符合要求的测试工具

1、分析和选择能满足测试需求工具的特性

性能测试工具能模拟各种客户端实体并发多个业务，也就是消息收发仪。测试工具必须能实现客户端的主要流程，支持相应的协议。应该可以定制流程，能实现对各流程数据的配置。能实现对各种流程比例的灵活配置。能实现对各负荷流程的各个检查点的统计，至少能统计失败成功数目。对指定进程或用户可以跟踪和对异常可以记录。还有负荷测试仪本身性能和容量至少要超过被测实体预计容量的三倍以上，负荷工具必须有很强的稳定性，能处理异常情况，收发消息遵循标准协议。其装置则是越紧凑越好，人机界面也要友好。目前能够使用的商用测试仪有MGTS(TEKELEC公司)，呼叫器(AMERITEC公司)，8610(ACTERNA公司)。为了降低成本还可以自行开发测试工具，其基本功能必须实现模拟真实的交换网络节点进行大量消息收发，在这方面有很多成果。

2、计算被测对象和被测对象周边节点的容量，从能满足测试需求的特性的测试工具中能满足被测对象和被测对象周边节点的容量要求的测试工具。

在无线网络中交换节点都不是独立的，要与其他节点如BSC、VMSC、GMSC、HLR、SCP等相连，严格地说测试仪如果能够完全模拟这些节点并且呼叫量能满足被测对象设计容量三倍以上的呼叫量，那么用测试仪是最佳。但是大多数情况下测试仪都不能完全代替其它节点，因为有时呼叫量会不够，链路不够，配置不够等，所以测试时要另外建周边环境。那么就一定要预先考虑这些环境的性能能否满足测试需要。计算方法是各节点支持的用户数是否与被测对象匹配，或者其配置能否满足最大的消息流量。如在测试智能业务时会遇到这种情况，测试仪有可能无法提供满足测试容量的SCP节点，SCP必须用真实的。智能业务的用户数据都放在SCP服务器里，负荷测试时SCP得提供批开户功能，否则无法测试。类似的还有HLR，在用数据库类真实设备组网之前，都要预估其性能，到底能支持多少用户，多大的呼叫强度(BHCA)。测试时经常关注其CPU的变化，以免由于性能问题影响测试。如果由于周边节点容量小而成为测试瓶颈，应立即采取措施扩大节点设备容量。

二、编制性能测试组网图及说明

组网的原则是尽量接近实际开局情况。设备在网上会遇到各种复杂组网，在实验室里不可能完全与网上一致，而且数据过于复杂会给编写测试例，维护数据带来麻烦。这时要尽量分析网上数据的特点，有针对性地模拟网上情况。在局向个数，大小，尤其容量上要大于或等于网上开局最大配置。有时还要考虑工程上初期、一期和二期的变化，比如初期开局时传输电路不可能一步到位，一般所有局向只开在前三个模块，再一部分一部分电路加上去。组网时也不能为了编写测试套(测试仪的数据)方便将数据做得很均匀，而实际中几乎碰不到，并且在执行极限测试时也需要大容量的局向和小局向。因此绘制性能测试组网图并编号要完成以下工作：A、确定局向个数、大小，进行各局向或网络节点的信令点编号和电路，号段，话路路径，链路等资源的分配；B、绘制出测试组网图、标明由测试工具模拟的网络节点；C、在测试工具的数据配置中实现测试组网图设计的内容，与被测试设备的数据配置匹配，为对接测试做好准备。

三、确定话务模型

话务模型来源于网上的话统数据，长期的对用户行为的统计才能真正表征一个局用户的特点。对于实验室我们基本采用技术规范中提供的标准用户模型，如一个24万用户的端局VMSC1的话务模型如下，移动用户平均时负荷：0.03Erl/用户

平均通话时长：60秒

平均试呼：1.8次/忙时

位置更新：2次/忙时

切换(BSC间)：0.5次/忙时话务流量分配：固定打移动40％移动打固定50％移动打移动10％

移动用户长市话比例：1∶3

根据实际的电信网上运行经验，在不同国家，不同地区，不同发展阶段，不同用途的移动网络中，话务模型是有区别的。各种特征会在一定范围内变化，常用的移动用户平均忙时负荷一般为0.018-0.03Erl/用户，该指标仅仅指呼叫的指标，与平均试呼有如下关系：

移动用户平均忙时负荷＝平均试呼×平均通话时长(秒)/3600.

如果该系统用户容量是W，移动用户忙时平均试呼为T1，位置更新为T2，切换(BSC间)为T3，话务量分配的比例中固定打移动为E1，移动打固定为E2，移动打移动为E3。那么具体到测试时我们应该如何将这个话务模型实现呢？

首先移动用户数量决定了交换子系统的容量，如果该系统用户容量是W用户，就是指有以上标准特征的移动用户有W个，该标准特征由移动网络正常忙时发生的主要用户业务来决定，该业务在忙时发生的次数远大于别的业务就应计算在内。实现时要转化成BSC和PSTN各局向不同呼叫类型的呼叫BHCA数。先计算总的BHCA，计算公式如下：

总呼叫BHCA令为L，L＝W×T1

总位置更新BHCA令为M，M＝W×T2

总切换BHCA令为N，N＝W×T3

以端局VMSC1为例，计算结果为

总呼叫BHCA为L＝240000×1.8＝432000

总位置更新BHDA为M＝240000×2＝480000

总切换BHCA为N＝240000×0.5＝12000

由于呼叫业务下存在不同的呼叫情况，L是按话务流量比例分配的，计算公式如下，

固定打移动BHCA＝L×E1/(E1+E2+2×E3)

移动打固定BHCA＝L×E1/(E1+E2+2×E3)

移动打移动BHCA＝L×E1/(E1+E2+2×E3)

以端局VMSC1为例，计算结果为：

固定打移动BHCA＝432000×4/11＝157091

移动打固定BHCA＝432000×5/11＝196364

移动打固定BHCA＝432000×1/11＝39273

然后根据各BSC所占呼叫中继(GSM、CDMA)或RNC所占呼叫资源(WCDMA)的比例将M，N，L×1/11，L×5/11分配成各自的呼叫量；将L×4/11按各PSTN局向中继的比例分配呼叫量。如果要求有长市话的比例，则长市话的局向资源分配也要按比例，以保证资源够用。计算话务量模型时需要注意两点：

1、在不同地区，不同阶段，不同用途的移动网络中，业务是有很大区别的，未来新业务也在不断增加，有可能T1，T2，T3并不完全能表征主要用户业务，还会出现T4，T5等，而在移动关口局的测试中T2，T3并不存在，只需要计算呼叫业务T1.T1一般范围1-3.6，T2一般范围2-6，T3一般范围0.5-1。

2、表示总呼叫BHCA的L是指所有移动用户，包括主叫用户和被叫用户，只要当移动打移动时就将产生两个移动用户的呼叫，这样才可以保证所有移动用户的呼叫总BHCA是L.如是没有移动打移动的情况就直接按比例分。E1一般范围25-40％，E2-50％，E3一般范围10-45％。

经过以上方法计算的话务模型是标准话务模型，也就是在设备网上运行正常忙时的一般情况，具有代表性和产品之间的可比性，对于性能测试具有重要意义。

四、编写测试套和调试

负荷测试工作展开后，应先定系统测试计划预计花费的时间，如果没有一个可以稳定呼叫的网络，那么准备环境物料、数据和测试仪测试数据的编制要占整个测试进程至少1/5时间。测试仪测试数据也叫测试套，测试套决定了负荷呼叫的模型，呼叫类型，呼叫量，应该在测试计划里清楚地描述测试套。测试套的细节全应该记录下来。调试编写好的测试套应从单流程开始，调通后再调试负荷流程，也要一个一个局向调试，而且要把测试数据全部跑一遍直到没有问题，这时才可以呼叫全局。

五、对被测对象进行综合性能测试

综合性能测试包括以下六个方面，根据不同产品的特点，具体操作有不同。性能指标测试、稳定性测试、可靠性测试、边界值测试、系统功能测试、可维护性和可测试性测试这六类测试方法的执行顺序可以依照实际需要而定，作为完整的测试应该都必须执行一遍。下面分别描述了各类测试方法的测试目的，检查点，帮助理解测试方法。并用测试子项目举例说明具体内容，如图2所示就是对某个产品的详细测试项目。1、性能指标测试1)网上常见多种话务模型，多种组网方式的的正常模拟测试。目的：

考察系统检测系统能否支持正常话务业务，能否正常分配管理各种资源。能否在多种话务模型下正常工作，其性能是否达标。考察系统在多种模型和组网结构方式下的性能差异，从而分析系统缺陷，给出系统优化组网和数据配置建议。检查点：

资源占用释放情况、性能指标、通信流量、以及负荷下产生的监控和结果信息如话单，告警，常用话统。内部消息收发统计。测试子项目：

标准话务模型测试、组网方式测试2)整个系统的和各子系统的极限容量和极限性能测试。目的：

考察子系统通讯配合问题，通信协议是否合理。

整体性地测试系统，发现系统瓶颈。

考察系统进程调度和其他调度算法的效率。

考察循环控制问题，排序，搜查算法的实现问题。

考察资源管理的效率比如速度和空间冗余度。在负荷冲击的情况下，系统资源是否会异常。

考察系统的自我保护能力，如拥塞控制是否正常，资源检查等问题。

考察缓冲区(内存、定时器等可回收反复利用的资源)的释放泄露问题。

考察并发处理有误，比如临界资源访问互斥，同步问题。

加大某些随机问题出现的概率。检查点：

资源占用释放情况、内存占用情况、性能指标、通信流量速度、传送数据的正确率、告警、话统、话单的重大异常。BAM和BAU等的CPU和空间占用。测试子项目：

业务处理极限测试、信令处理极限测试、通信流量测试、资源框极限测试、表资源极限测试、用户面极限测试、交换能力极限测试、全局极限测试、流量控制测试2、稳定性测试1)长时间稳定运行。

建议可按网上统计的话务规律进行测试，话务曲线有高峰和低谷，或者按标准忙时话务负荷，时间＞72小时。目的：

考察系统长时间运行的稳定性，即通过时间和负荷来积累小概率事件。检查点：

资源占用释放情况、呼损指标、接通率、失败过程及原因。测试子项目：

长时间测试、组合呼叫测试2)长期性能指标测试。目的：

一是系统在标准话务模型下的呼损等重要指标如何，与同类产品相比较。二是系统在超大话务模型下的性能稳定性指标如何。检查点：

呼损，链路负荷，子系统CPU占用率，接续时延，话单流量。测试子项目：

性能指标测试3、可靠性测试1)负荷背景下的系统故障测试。目的：

考察系统的抗异常特性和自愈能力。检测软件系统在出现各种硬件故障时是否能进行容错处理，把故障带来的损失减少到最小。检测系统防灾难性事故的能力，如备份速度容量，倒换速度，恢复能力等问题。检查点：

资源占用释放情况、性能下降或改善程度、恢复时间、重大异常告警。测试子项目：

系统故障和倒换、话务量倒换测试2)负荷背景下的异常流程测试。目的：

考察缓冲区如内存、定时器等可回收反复利用的资源的释放泄露。

循环控制问题。

考察流程并发性问题，比如是否会对正常流程造成影响。1检查点：

资源释放、性能下降或改善程度、内存占用情况、重大异常。测试子项目：

TUP消息异常流程、MAP消息异常流程、Iu接口消息异常流程、RNC异常4、边界测试1)通过数据配置等手段达到配置的边界条件，或者减小边界值，在此条件下进行负荷测试。目的：

暴露循环控制问题。

考察资源分配的大小是否合理等问题。

边界值的验证。检查点：

与边界相关功能的实现、搜查速度、资源、性能下降或改善程度、重大异常。测试子项目：

IU-CS接口主要设计指标5、系统功能的测试1)话务背景下路由选择，动态资源分配，负荷分担等最优算法的实现的测试。目的：

考察系统的各种优化算法的合理性和无错性，结合异常情况测试，比如选路由。检查点：

功能实现情况、性能改善程度、资源、异常数据配置处理。测试子项目：

信令负荷分担2)话务背景下系统的优化保护措施和其他需要在负荷下才能测试的功能的测试，如校验，语音质量，回声抑制等。测试子项目：

资源校验、语音质量、回声抑制6、系统可维护性和可测试性的测试1)数据配置、维护、告警等方面的测试

由于性能测试环境往往是实验环境中最完整，最接近网上运行配置的，利用这个特点可以发现在搭建环境和运维过程中的数据配置，维护，告警等方面的问题，但是这些问题的发现要靠测试人员对数据配置，维护，告警基本原理的掌握和对问题的敏感程度。测试子项目：

查询资源CPU占用率2)调试信息和软件参数等测试平台的测试

系统提供给用户的测试手段是有限的，同时给测试人员还提供了较深入的测试手段，比如调试信息和软件参数，但是这些手段本身的正确性和是否实用也需要进行测试。测试子项目：

跟踪3)数据的恢复和版本升级的测试目的：

性能环境数据配置量大涉及面多，能够全面考察系统版本升级和数据恢复功能。检查点：

功能实现情况，异常数据配置处理。测试子项目：

数据和升级4)主要单流程测试

测试项目能否正确执行的前提是测试仪的单流程是否正确，这部分工作是不可省略的，该测试项总是在最先执行，对于不同的测试仪分别进行调试。测试子项目：

性能测试仪单流程

只要按照操作步骤，测试人员即可进行完整的仿真测试。以上一套完整方法的描述使本技术领域的普通技术人员(尤其是对于测试人员)能够使用本发明。

Claims

1、一种对无线通信产品进行性能测试的方法，其特征是，包括以下步骤：

一、根据测试需求和被测对象的特性选择符合要求的测试工具；

二、编制性能测试组网图及说明；

三、确定话务模型；

四、编写测试套并按编写好的测试套进行调试；

五、对被测对象进行综合性能测试。

2、如权利要求1所述的对无线通信产品进行性能测试的方法，其特征是，所述的步骤五中的综合性能测试包括性能指标测试、稳定性测试、可靠性测试、边界值测试、系统功能测试和可维护及可测试性测试六个方面。

3、如权利要求2所述的对无线通信产品进行性能测试的方法，其特征是，

所述的性能指标测试包括a.网上常见多种话务模型，多种组网方式的的正常模拟测试；b.整个系统的和各子系统的极限容量和极限性能测试；

所述的可维护及可测试性测试包括a)数据配置、维护、告警等方面的测试，b)调试信息和软件参数等测试平台的测试，c)数据的恢复和版本升级的测试，d)主要单流程测试。

4、如权利要求1或2或3所述的对无线通信产品进行性能测试的方法，其特征是所述的步骤一包括以下步骤：

5、如权利要求1或2或3所述的对无线通信产品进行性能测试的方法，其特征是所述的步骤二包括以下步骤：(1)确定局向个数、大小，进行各局向或网络节点的信令点编号和电路，号段，话路路径，链路等资源的分配；(2)绘制出测试组网图、标明由测试工具模拟的网络节点；(3)在测试工具的数据配置中实现测试组网图设计的内容，与被测试设备的数据配置匹配，为对接测试做好准备。

6、如权利要求4所述的对无线通信产品进行性能测试的方法，其特征是所述的步骤二包括以下步骤：A、确定局向个数、大小，进行各局向或网络节点的信令点编号和电路，号段，话路路径，链路等资源的分配，B、绘制出测试组网图、标明由测试工具模拟的网络节点；C、在测试工具的数据配置中实现测试组网图设计的内容，与被测试设备的数据配置匹配，为对接测试做好准备。

7、如权利要求1或2或3所述的对无线通信产品进行性能测试的方法，其特征是，所述的步骤三中确定话务模型的方法为：总呼叫次数L＝W×T1；总位置更新次数M＝W×T2；总切换次数N＝W×T3；话务流量分配中固定打移动忙时呼叫尝试次数＝L×E1/(E1+E2+2×E3)；移动打固定忙时呼叫尝试次数＝L×E1/(E1+E2+2×E3)；移动打移动忙时呼叫尝试次数＝L×E1/(E1+E2+2×E3)，其中，W为系统用户容量，T1为移动用户忙时平均试次数，T2为位置更新次数，T3为BSC间切换次数，E1为固定打移动话务量分配的比例，E2为移动打固定话务量分配的比例，E3为移动打移动话务量分配的比例。

8、如权利要求7所述的对无线通信产品进行性能测试的方法，其特征是，所述的步骤三在确定话务模型时，移动用户平均忙时负荷为：0.018-0.03Erl/用户；移动用户忙时平均试呼次数T1一般范围为1-3.6，位置更新次数T2一般范围为2-6，BSC间切换次数T3一般范围为0.5-1；话务量分配比中固定打移动E1一般范围为一般范围25％-40％，移动打固定E2一般范围为30％-50％，移动打移动E3为10％-45％。