CN101272575B

CN101272575B - 业务支撑能力的测试方法

Info

Publication number: CN101272575B
Application number: CN2007100647416A
Authority: CN
Inventors: 张炎; 王敬宇; 王南掬; 杨若望
Original assignee: China Mobile Communications Group Co Ltd
Current assignee: China Mobile Communications Group Co Ltd
Priority date: 2007-03-23
Filing date: 2007-03-23
Publication date: 2011-12-07
Anticipated expiration: 2027-03-23
Also published as: CN101272575A

Abstract

本发明涉及一种业务支撑能力的测试方法，其包括：获得当前网络中各网元的实际服务质量参数；根据体验质量与服务质量的参数映射模型将所述实际服务质量参数映射为体验质量参数；判断所述体验质量参数是否符合测试业务必需的体验质量参数水平，是则输出所述当前网络适合开展该测试业务的结果，否则输出不适合开展该测试业务的结果。本发明建立了不同网络层次、不同逻辑网元之间的映射关系，构成了二维逻辑体系，并根据二维逻辑体系建立数学模型，以分析QoS和QoE参数之间的量化映射关系，在选择QoE参数时，根据用户调查和市场研究中的关键因素通过大样本的测试和统计分析进行选取，从而可以量化性能指标之间的关系。

Description

业务支撑能力的测试方法

技术领域

本发明涉及移动通信网络中的业务支撑能力的测试方法，尤其是一种移动通信网络中网络对端对端业务的支撑能力进行测试的方法。

背景技术

随着通讯技术的进步，端对端业务也逐渐的发展起来，对于运营商、服务提供商和设备供应商等移动通信的参与各方来说，端到端业务性能的测试十分重要。对于运营商来说，端对端业务性能测试对进一步的网络部署以及开展新型业务的支撑能力测试有很重要的意义。在现阶段，还缺少标准组织在此领域有针对性地输入权威的规范，虽然也存在一些相关的技术内容，但是通常都从工程技术的角度入手，对业务服务的技术关键点进行研究和分析，例如，仅对承载网络的可测量性能指标进行量化，并作为标准来评价底层网络所提供的业务的好坏；或者只对应用层中的关键技术进行研究分析，例如多媒体业务音视频编解码的性能衡量参数指标。

以上提到的性能测试往往是仅对技术关键点进行研究和分析，具有一定的缺陷：首先是在端对端业务性能评估中，各种性能参数都处于一个平面，或者仅按照一些简单的规则进行分层，性能参数之间缺乏一定的映射关系；其次，性能参数指标的选取以及测量往往凭借研究经验，忽略了用户和市场中可能的一些决定性因素；另外，现在这种业务性能评估还没有完整、系统的数学模型，指标间也没有一定的量化映射关系，因此使得性能评价孤立，难以获得准确的评价结果，从而无法根据这些评价结果判断现有网络对端到端业务的支撑情况如何。

发明内容

本发明的目的是针对通过现有端对端业务的评价体系无法准确的判断现有网络能够支撑一些业务的问题，提出一种业务支撑能力的测试方法，能够根据网络中各个网元的服务质量(Quality of Service，简称QoS)获得与业务相关的用户体验质量(Quality of Experiece，简称QoE)，并根据体验质量的水平进行评估。

为实现上述目的，本发明提供了一种业务支撑能力的测试方法，其包括以下步骤：

将服务质量参数根据开放系统互连标准按网络层次和网元进行划分，获得服务质量层次模型；

获得当前网络中各网元的实际服务质量参数；

根据体验质量与服务质量的参数映射模型将所述实际服务质量参数映射为体验质量参数；

判断所述体验质量参数是否符合测试业务必需的体验质量参数水平，是则输出所述当前网络适合开展该测试业务的结果，否则输出不适合开展该测试业务的结果；

其中，判断所述体验质量参数是否符合测试业务必需的体验质量参数水平的操作具体为：

判断所述体验质量参数是否小于预定阈值，是则忽略该体验质量参数，否则利用所述体验质量参数计算效用函数值，将所述计算获得的效用函数值与所述测试业务必需的体验质量参数水平所属的数值区间进行对比，判断该效用函数值是否属于所述数值区间。

进一步地，所述根据体验质量与服务质量的参数映射模型将所述实际服务质量参数映射为体验质量参数的操作具体为：

根据所述实际服务质量参数所属的网元选择与该网元相关的体验质量与服务质量的参数映射模型；

根据所述相关的体验质量与服务质量的参数映射模型将所述实际服务质量参数映射为体验质量参数。

进一步地，在所述获得当前网络中各网元的实际服务质量参数的操作之前，还包括获得与预定业务相关的体验质量参数及权重的步骤，具体为：对所述预定业务的所有相关体验质量参数进行独立或组合大样本测试，获得所有相关体验质量参数中影响程度超过预定阈值的体验质量参数以及该体验质量参数的权重。

进一步地，所述利用所述体验质量参数计算效用函数值的操作具体为：将所述体验质量参数乘以该体验质量参数的权重的结果作和，获得效用函数值。

上述技术方案中如果预定业务为流媒体业务，则需要对流媒体业务的所有相关体验质量参数进行独立或组合大样本测试，以获取相关的体验质量参数及权重，所述体验质量参数包括服务不可接入率、初始连接时间、重缓冲频率、重缓冲时间、音频质量、视频质量、音视频同步差错率、音视频同步时间和服务失败率中组合的部分或全部。

基于上述的技术方案，本发明建立了不同层次、不同逻辑网元之间的映射关系，构成了二维逻辑体系，并根据二维逻辑体系建立数学模型，用以分析服务质量和体验质量参数之间的量化映射关系。本发明将当前网络中网元的服务质量映射为体验质量，并根据该业务的用户体验质量来评估当前网络是否可实现该种业务，因此这种测试方法业务针对性强，且便于理解。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明服务质量层次模型的示意图。

图2为本发明体验质量与服务质量的参数映射模型的示意图。

图3为本发明业务支撑能力的测试方法的一实施例的流程示意图。

图4为本发明业务支撑能力的测试方法的另一实施例的流程示意图。

具体实施方式

本发明按照网络层次和不同网元对QoS参数进行纵向和横向的分层，并将表示用户体验感受的QoE参数与分层后的QoS参数进行一定规则的映射，并建立映射模型。在现有网络中开展一项新的业务时，能够从网络中各个网元的服务质量对应的用户体验的角度出发，以用户体验的程度来测试现有网络是否能够支撑该业务的实现。

如图1所示，为发明服务质量层次模型的示意图，在图中纵向代表网络层次，这里的网络层次是指OSI网络模型中规定的层次，包括应用层、传输层以及传输层以下的数据链路层和物理层。在图中横向代表该业务所涉及的网元。对于某项业务QoS参数来说，可以通过以上的横纵分层获得服务质量的层次模型。以流媒体业务为例，涉及该业务的QoS参数很多，包括：帧大小(Framesize)、帧率(Frame rate)、帧丢失率(Frame lossratio)、帧差错率(Frame error ratio)、帧差错率(Frame error ratio)、传输率(Transaction rate)、传输延迟(Transaction delay)、带宽(Bandwidth)、传输延迟(Transfer delay)、抖动(Jitter)、包丢失率(Packet loss ratio)、包差错率(Packet error ratio)、帧丢弃率(Frame disca rdratio)、剩余比特率(Residual bit ratio)、基站功率(Base station power)、接入延迟(Access delay)、阻塞率(Block ratio)、软掉话率(Soft handoff rate)。

按照网络层次进行划分，应用层所涉及的QoS参数有：帧大小、帧率、帧丢失率、帧差错率、帧差错率、传输率和传输延迟。传输层所涉及的QoS参数有：带宽、传输延迟、抖动、包丢失率和包差错率。传输层以下层次 (数据链路层和物理层)所涉及的QoS参数有：帧丢失率、帧差错率、帧丢弃率、剩余比特率、基站功率、接入延迟、阻塞率和软掉话率。

按照网元划分QoS参数是指根据端到端网络中的不同网段，终端或者客户端、无线网络传送、无线接入及其控制、固定网络传送和服务器等各自涉及的QoS参数进行划分。其中固定网络传送包括核心网和业务承载网。

如图2所示，为本发明体验质量与服务质量的参数映射模型的示意图。体验质量与业务类型有关，同样以流媒体业务为例，QoE参数包括：服务不可接入率(Service non-Accessbility)、初始连接时间(Initial Connectiontime)、初始缓冲时间(Initial buffering time)、重缓冲频率(Rebufferingfrequency)、冲缓冲时间(Rebuffering time)、音频质量(Audio quality)、视频质量(Video quality)、音视频同步差错率(Audio/Video Synchronizeerror frequency)、音视频同步时间(Audio/Video Synchronize time)、服务失败率(Service failure ratio)等。

在图2的QoE参数与服务质量层次模型构成了体验质量与服务质量的参数映射模型，在参数映射模型中QoE参数与QoS参数可以一一对应，也可一对多或多对多的对应，QoE参数和QoS参数之间的量化映射关系通过该参数映射模型体现出来。

对于本发明业务支撑能力的测试方法来讲，其基础是选取影响该业务性能的QoE参数，需要根据业务种类和用户对该业务的性能要求进行测试来获得QoE参数。在网络中可能运行有多种业务类型，而对于不同的具体业务来讲，对QoE的要求并不相同，例如有些业务对时延要求较高，有些业务队丢包率比较敏感，因此在选取QoE参数的时候需要考察具体的业务。

以具体业务(流媒体业务)举例来说，有哪些QoE参数由业务本身决定，而QoE参数的权重则是根据独立或组合大样本测试获得的。对于每个QoE参数都要进行独立或组合设计样本，例如独立参数样本可以设计为一种唇齿不同步的情况，而组合参数样本则可以设计为一种视频马赛克+视频信号抖动的情况，将以上的样本进行测试来检验用户在不同情况下对于QoE参数的体验，并由测试者进行打分。

通过大样本测试，可以将测试者的个体特例因素降到很低的程度，并得出相对准确的QoE优先级，而这种方法是一种通过统计学和概率理论来研究非确定课题的通用研究方法。

对大样本测试结果进行统计分析，得出QoE参数对业务实现的影响程度大小，从而最终得出QoE参数对业务实现的优先级和权重。对QoE参数按影响业务体验的优先级进行排序，并按各个参数的评分结果按比例对应成权重值。例如对于视频流业务来说，音视频不同步的样本评分均值为2.7(5分制)，视频马赛克的样本均值为0.5(5分制)，从而可以把音视频不同步参数的权重定义为2.7/5＝0.54，视频马赛克的权重定义为0.5/5＝0.1。当把各个QoE参数的权重作和时，可以获得效用函数值U＝∑Ki*Pi，其中Ki为各个QoE的权值，Pi取值为1或0，当网络中的业务性能受到该QoE参数影响时，Pi为1，否则为0。

如图3所示，为本发明业务支撑能力的测试方法的一实施例的流程示意图，包括以下步骤：

步骤101、获得当前网络中各网元的实际QoS参数；

步骤102、根据QoE与QoS的参数映射模型将所述实际QoS参数映射为QoE参数；

步骤103、判断所述QoE参数是否符合测试业务必需的QoE参数水平，是则执行步骤104，否则执行步骤105；

步骤104、输出所述当前网络适合开展该测试业务的结果，并结束操作；

步骤105、输出不适合开展该测试业务的结果。

在判断QoE参数是否符合测试业务必需的QoE参数水平时，由于有些QoE参数对业务影响很小，因此可以通过设定阈值来排除一些不重要的QoE 参数的影响。例如对于启动时延，如果小于3s就可忽略该QoE参数带来的影响。如果QoE参数大于该阈值，则利用QoE参数计算效用函数值，将计算获得的效用函数值与测试业务必需的QoE参数水平所属的数值区间进行对比，判断该效用函数值是否属于数值区间，如果在数值区间内，则认为可以开展该测试业务，如果不在数值区间，则认为不适合开展该测试业务。

以视频流业务举例进行说明，对于QoS参数带宽，该QoS参数相关联的网元有各自的带宽值，而从用户体验的角度上讲主要是在图像清晰程度、图像画面被破坏程度对用户体验有较大的影响，而这些视频质量的参数则是由各个网元的带宽最小值决定的。这种对应关系就体现在QoE参数与QoS参数的映射模型中。当计算出的视频质量参数在规定范围内，则表示适合开展该业务，从而方便的为运营商提供指导。

如图4所示，为本发明业务支撑能力的测试方法的另一实施例的流程示意图，包括以下步骤：

步骤101、获得当前网络中各网元的实际QoS参数，对于各种网元设备，其获取QoS参数的方式各有不同，且采用各种特定设备获取该QoS参数，这里就不进行详述了；

步骤102a、根据QoS层次模型选择与QoE参数相关的网元，QoS层次模型在水平上划分为多个网元，需要选择与该QoE参数相关的某些网元；

步骤102b、在QoE与QoS的参数映射模型中，查找与相关网元对应的映射模型，然后将实际QoS参数映射为QoE参数；

步骤103、判断QoE参数是否符合测试业务必需的QoE参数水平，是则执行步骤104，否则执行步骤105；

步骤104、输出当前网络适合开展该测试业务的结果，并结束操作；

步骤105、输出不适合开展该测试业务的结果。

这里举例进行说明QoS参数与QoE参数映射模型，以QoS层的参数时延为例，所谓时延是指传输层数据包到达间隔时间，QoS层各网元时延总和即为QoE层的参数启动延迟的值，而启动延迟的含义是指电机播放到开始播放视频的时间。在某业务(例如视频流)开展前，求出现有网络中QoS参数对应的QoE参数值，就可以方便的比较出该业务是否适合在现有网络中实施。

综上所述，本发明建立了不同网络层次、不同逻辑网元之间的映射关系，构成了二维逻辑体系，并根据二维逻辑体系建立数学模型，以分析QoS和噢QoE参数之间的量化映射关系，在选择QoE参数时，根据用户调查和市场研究中的关键因素通过大样本的测试和统计分析进行选取，从而可以量化性能指标之间的关系。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims

1.一种业务支撑能力的测试方法，其包括以下步骤：

获得当前网络中各网元的实际服务质量参数；

2.根据权利要求1所述的测试方法，其中所述根据体验质量与服务质量的参数映射模型将所述实际服务质量参数映射为体验质量参数的操作具体为：

3.根据权利要求1所述的测试方法，其中在所述获得当前网络中各网元的实际服务质量参数的操作之前，还包括获得与预定业务相关的体验质量参数及权重的步骤，具体为：对所述预定业务的所有相关体验质量参数进行独立或组合大样本测试，获得所有相关体验质量参数中影响程度超过预定阈值的体验质量参数以及该体验质量参数的权重。

4.根据权利要求3所述的测试方法，其中所述利用所述体验质量参数计算效用函数值的操作具体为：将所述体验质量参数的权重作和，获得效用函数值。