CN102904773B - 一种网络业务质量的测量方法和装置 - Google Patents

Abstract

本发明公开了一种网络业务质量的测量方法和装置，能够快速准确地得到对网络业务质量的测量结果，且所得到的测量结果与用户实际的主观评估值具有较高的一致性。本发明实施例提供的一种网络业务质量的测量方法包括：选取网络性能参数作为用于测量网络业务质量的测量指标，并获取数据流的各网络性能参数数据与质量估计值的对应关系式，提取目标数据流的网络性能参数数据；根据所述提取到的网络性能参数数据选择所采用的对应关系式，并由所选择的对应关系式计算得到所述目标数据流的质量估计值。

Description

一种网络业务质量的测量方法和装置

技术领域

本发明涉及网络业务开发技术领域，特别涉及一种网络业务质量的测量方法和装置。

背景技术

随着网络业务的不断拓展，诸如IPTV(网络电视)、3G视频的视频业务已经深入人们的生活。但是网络传输信道受网络带宽的限制、丢包和延迟等因素都会影响网络业务质量。因此保障网络QoS(Quality of Servic，服务质量)、提升QoE(Quality of Experience，用户感知)是非常重要的。而良好的网络业务质量评估方法，是保证业务质量的重要手段。

网络业务质量评估分为主观评估方法和客观评估方法，主观评估方法依赖人为的参与，评估结果可靠，但是由于主观评估受到环境、人员的影响，实施难度大成本高，难以普遍应用，特别是在评估有实时性要求的应用环境中，更不适于应用。客观评估方法是在不需要人为参与的情况下，直接对网络业务的质量进行评估，其具有成本较低且能够对网络业务进行实时评估的优点。

然而，目前并没有对网络业务的客观评估方法提出一种有效的解决方案，亟待一种简单、高效且符合人对网络业务评估主观感受的网络业务的客观评估方法。

发明内容

本发明提供了一种网络业务质量的测量方法和装置，以解决现有技术中不存在对网络业务的客观评估方法的有效解决方案的问题。

为达到上述目的，本发明实施例采用了如下技术方案：

本发明实施例提供的一种网络业务质量的测量方法，选取网络性能参数作为用于测量网络业务质量的测量指标，并获取数据流的各网络性能参数数据与质量估计值的对应关系式，所述方法包括：

提取目标数据流的网络性能参数数据；

根据所述提取到的网络性能参数数据选择所采用的对应关系式，并由所选择的对应关系式计算得到所述目标数据流的质量估计值。

本发明实施例还提供了一种网络业务质量的测量装置，所述装置包括：

对应关系式获取单元，用于选取网络性能参数作为用于测量网络业务质量的测量指标，并获取数据流的各网络性能参数数据与质量估计值的对应关系式；

网络性能参数数据提取单元，用于提取目标数据流的网络性能参数数据；

计算单元，用于根据所述提取到的网络性能参数数据选择所采用的对应关系式，并由所选择的对应关系式计算得到所述目标数据流的质量估计值。

本发明实施例的有益效果是：

本发明实施例提出一种利用网络性能参数来测量网络业务质量的新方案，通过预先获取网络性能参数与质量估计值的对应关系式，执行测量时由提取出的数据流的网络性能参数和对应关系式计算得到质量估计值的技术手段，能够快速准确地得到对网络业务质量的测量结果，适用于对实时性要求较高的场景。

本发明实施例的方案成本较小，操作简单，测量结果准确率高。经过实验验证，本方案测量得到的质量估计值与用户实际的主观评估值具有较高的一致性。

附图说明

图1为本发明实施例一提供的一种网络业务质量的测量方法流程图；

图2为本发明实施例二提供的一种网络业务质量的测量方法流程图；

图3为本发明实施例三提供的一种网络结构示意图；

图4为本发明实施例三提供的对样本数据流1的劈分过程示意图；

图5为本发明实施例三提供的一种网络业务质量的测量装置结构图；

图6为三种视频对应的主观评估值和客观测量值的关系示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

本发明实施例将网络性能参数选取为用于测量网络业务质量的测量指标。网络性能参数为反映数据流在网络中性能的参数，例如，该参数可以为数据流所使用的带宽、数据流的丢包率、数据流的传输时延等参数。本发明实施例把网络性能参数作为样本集，采用M5’模型树算法建立与网络业务QoE的相关性模型，得到网络性能参数与测量结果(质量估计值)的对应关系从而，实现网络业务QoE的无参考评估。本发明能够有效地评测网络性能对于网络业务的影响，显著提高客观测量网络业务质量所得到的测量结果的准确性。

参见图1，为本发明实施例一提供的一种网络业务质量的测量方法，包括：

11：将网络性能参数选取为用于测量网络业务质量的测量指标，并获取数据流的各网络性能参数数据与质量估计值的对应关系式。该质量估计值即为测量得到的结果。本实施例中不同取值范围的网络性能参数可以具有不同的对应关系式。

12：提取目标数据流的网络性能参数数据。该目标数据流是作为测量对象的网络业务的数据流，即需要被测量的网络业务的数据流。

13：根据所述提取到的网络性能参数数据选择所采用的对应关系式，并由所选择的对应关系式计算得到所述目标数据流的质量估计值。

上述网络性能参数可以为数据流所使用的带宽、数据流的丢包率、数据流的传输时延等参数。示例性的，上述网络性能参数选取为MDI(MediaDelivery Index，媒体流传输指标)数据。

由上所述，本发明实施例提出一种利用网络性能参数来测量网络业务质量的新方案，通过预先获取网络性能参数与质量估计值的对应关系式，执行测量时由提取出的数据流的网络性能参数和对应关系式计算得到质量估计值的技术手段，能够快速准确地得到对网络业务质量的测量结果，适用于对实时性要求较高的场景。

本发明实施例的方案成本较小，操作简单，测量结果准确率高。经过实验验证，本方案测量得到的质量估计值与用户实际的主观评估值具有较高的一致性。

在图1所示实施例的基础上，进一步的，上述步骤11中利用如下方式，获取数据流的各网络性能参数数据与质量估计值的对应关系式：

获取样本数据流在多种网络环境下的网络性能参数数据，得到样本集；

按照M5’模型树，根据所确定的劈分条件和劈分终止条件对样本集中的数据进行劈分，生成所述样本集的树结构并得到所述树结构的叶子结点，其中，所述树结构中的每个结点包括符合相应劈分条件的网络性能参数数据，所述叶子结点为符合劈分终止条件的结点；

根据所述各叶子结点中网络性能参数数据对应的主观评估值，拟合出每个叶子结点的网络性能参数数据相对于主观评估值的线性关系式，选取各叶子结点的线性关系式作为所述数据流的各网络性能参数数据与质量估计值的对应关系式。

进一步的，所述网络性能参数包括第一参数和第二参数，上述按照M5’模型树，根据所确定的劈分条件和劈分终止条件对样本集中的数据进行劈分包括：

S1:分别计算所述样本集中各第一参数数据和各第二参数数据的目标属性标准差，得到最大目标属性标准差；

S2:将最大目标属性标准差所对应的第一参数值或者第二参数值作为劈分点，并利用由所述劈分点确定的劈分条件将所述样本集劈分成两个结点；

S3:对所述劈分出的两个结点进行劈分，判断劈分出的结点是否满足劈分终止条件，若是，结束对该结点的劈分，将该结点作为叶子结点；若否，对不满足劈分终止条件的结点，执行与上述S1和S2中相同的操作，分别计算该结点中各第一参数数据和各第二参数数据的目标属性标准差，得到该结点的最大目标属性标准差，并将该结点的最大目标属性标准差所对应的第一参数值或者第二参数值作为该结点的劈分点，利用该结点的劈分点对该结点中的网络性能参数数据进行劈分，形成两个新的结点，返回S3，继续对该两个新的结点进行劈分；

其中，当所述劈分点为第一参数值时，所述劈分条件为将第一参数值大于所述劈分点的网络性能参数数据划分至同一结点，将第一参数值不大于所述劈分点的网络性能参数数据划分至同一结点；当所述劈分点为第二参数值时，所述劈分条件为将第二参数值大于所述劈分点的网络性能参数数据划分至同一结点，将第二参数值不大于所述劈分点的网络性能参数数据划分至同一结点；

所述劈分终止条件为结点中所包括的网络性能参数数据的数目不小于预定数值。

进一步的，通过如下方式计算当前被劈分的各第一参数数据的目标属性标准差：

将所述被劈分的第一参数数据中除去最大值和最小值的第一参数数据都作为划分点数据；

利用每一个划分点数据将所述被劈分的第一参数数据划分为两个集合，通过如下公式计算每个划分点数据的目标属性标准差，得到所述各第一参数数据的目标属性标准差：

$S_{{\mathrm{DR}}_{\mathrm{kj}}}=\mathrm{sd}\left(T_{\mathrm{kj}}\right)-\frac{\left|T_{\mathrm{kj}}^1\right|}{\left|T_{\mathrm{kj}}\right|}\mathrm{sd}\left(T_{\mathrm{kj}}^1\right)-\frac{\left|T_{\mathrm{kj}}^2\right|}{\left|T_{\mathrm{kj}}\right|}\mathrm{sd}\left(T_{\mathrm{kj}}^2\right),$

其中，表示划分点数据x_kj的目标属性标准差，和为利用划分点数据x_kj划分第一参数数据得到的两个集合，sd(·)表示计算标准差，||表示取集合中元素的数目，T_kj表示被劈分的第一参数数据组成的集合；

通过如下方式计算当前被劈分的各第二参数数据的目标属性标准差：

将所述被劈分的第二参数数据中除去最大值和最小值的第二参数数据都作为划分点数据；

利用每一个划分点数据将所述被劈分的第二参数数据划分为两个集合，通过如下公式计算每个划分点数据的目标属性标准差，得到所述各第二参数数据的目标属性标准差：

$S_{{\mathrm{DR}}_{\mathrm{kj}}}=\mathrm{sd}\left(T_{\mathrm{kj}}\right)-\frac{\left|T_{\mathrm{kj}}^1\right|}{\left|T_{\mathrm{kj}}\right|}\mathrm{sd}\left(T_{\mathrm{kj}}^1\right)-\frac{\left|T_{\mathrm{kj}}^2\right|}{\left|T_{\mathrm{kj}}\right|}\mathrm{sd}\left(T_{\mathrm{kj}}^2\right),$

其中，表示划分点数据x_kj的目标属性标准差，和为利用划分点数据x_kj划分第二参数数据得到的两个集合，sd(·)表示计算标准差，||表示取集合中元素的数目，T_kj表示被劈分的第二参数数据组成的集合。

进一步的，在上述选取各叶子结点的线性关系式作为所述数据流的各网络性能参数数据与质量估计值的对应关系式之前，本实施例还包括：

遍历树结构中的叶子结点，判断遍历到的叶子结点的母结点是否符合剪切条件，若否，保持遍历到的叶子结点及母结点，若是，删除遍历到的叶子结点，并将该叶子结点的母结点转换为叶子结点；

其中，所述剪切条件为叶子结点的母结点的预测误差不大于剪切阈值，所述母结点的预测误差可以表示如下：

E_R＝|N|R_MSE-|N_l|R_MSEl-|N_r|R_MSEr

其中，E_R表示预测误差，R_MSE为由叶子结点的母结点的预测值与主观评估值的均方根误差，R_MSEl为母结点的左叶子结点的预测值与主观评估值的均方根误差，R_MSEr为母结点的右叶子结点的预测值与主观评估值的均方根误差，所述预测值由结点的网络性能参数数据相对于主观评估值的线性关系式得到；N为母结点上所有网络性能参数数据的集合，N_l为左叶子结点上所有网络性能参数数据的集合，N_r为右叶子结点上所有网络性能参数数据的集合，||表示取集合中网络性能参数数据的数目。

进一步的，在选取各叶子结点的线性关系式作为所述数据流的各网络性能参数数据与质量估计值的对应关系式之前，本实施例还包括：

当树结构中的所有叶子结点都不满足剪切条件时，遍历叶子结点，利用拟合出的叶子结点的母结点的线性关系式对叶子结点的线性关系式进行更新，利用更新后的线性关系式判断叶子结点是否符合平滑条件，若否，选取更新前的叶子结点的线性关系式作为所使用的该叶子结点的线性关系式，若是，选取更新后的叶子结点的线性关系式作为所使用的该叶子结点的线性关系式，

其中，所述平滑条件为叶子结点更新后的线性关系式的预测值与主观评估值的均方根误差小于预定阈值。

进一步的，上述步骤13中根据所述提取到的网络性能参数数据选择所采用的对应关系式，并由所选择的对应关系式计算得到所述目标数据流的质量估计值具体为：当提取到的网络性能参数数据的取值范围与叶子结点中的网络性能参数的取值范围一致时，选择该叶子结点的对应关系式作为所使用的对应关系式。

本发明实施例中的网络业务可以为移动网络、固定网络中的业务，可以为局域网、城域网、广域网中的业务，可以为接入网、核心网、传输网中的业务，也可以为P2P(点对点)网络、C/S(客户机/服务器)网络中的业务等。

下面对本发明实施例二提供的网络业务质量的测量方法进行说明，包括如下步骤：

101：获取样本数据流在多种网络环境下的网络性能参数数据，得到样本集。

本发明实施例二中以选取的网络性能参数为MDI数据为例来说明本技术方案，然而本方案并不将可用的网络性能参数局限于MDI数据

首先对MDI(Media Delivery Index，媒体流传输指标)进行如下说明：MDI在现有技术中仅是一种从媒体流传输的角度提出的指标，现有方案中还未出现引入MDI来进行数据流QoE测量的方法。本发明实施例提出一种采用反映网络性能的MDI来测量网络业务质量，而避免由于采用数据流(如视频流)本身的特征参数执行测量时带来的测量结果不准确的问题等。

本发明实施例采用的MDI有两个参数：DF(Delay Factor，延迟因素)以及MLR(Media Loss Rate，媒体丢包率)，DF可以称为第一参数，MLR可以称为第二参数。DF是一个时间值，表明数据流的延迟和抖动状况。MLR是一个比率，表明在采样周期内丢失的或非正常的数据包数量，MLR反映了数据流在网络中特性，不会受到数据流本身的格式(如编码方式)的影响。

IP数据包在网络中传输时，会被各种网络设备进行排序、存储和转发处理，由于各种原因(例如大量P2P流量、文件下载和VoIP通话)会引起网络瞬时拥塞，从而导致数据通过网络的时延变化，即产生时延抖动。DF是一个时间值，数值单位是毫秒(ms)，它表示缓冲器必须包含多少毫秒的数据才能消除时延抖动。通过比较流入设备的DF值与流出设备的DF值，可确定该设备是否注入过多的抖动以至于影响数据流传输。对于视频流，DF可以反映视频是否会出现图像失真，还可以确定每个网元在视频流传输路径中的影响，DF将视频流抖动的变化换算为视频传输和解码设备缓冲的需求。被测视频流的时延抖动越大，DF值越大，DF的计算公式如下：

VB(i,pre)＝sum(S_j)-MR*T_i；j＝1,2,...,i-1

VB(i,post)＝VB(i,pre)+S_i

DF＝[VB(Max)-VB(Min)]/MR

其中，S_j是第j个数据包的数据载荷大小，T_i是数据包i在时间间隔中的相对到达时间，MR是给定的数据流传输速度。VB表示虚拟缓存大小，VB(i,pre)是接收到来自网络的数据包i之前的虚拟缓存大小；VB(i,post)是接收到来自网络的数据包i之后的虚拟缓存大小，在测试间隔中，如果收到k个数据包，那么就有2×k+1个VB值来计算VB(max)和VB(min)，VB(max)表示计算出的VB值中的最大值，VB(min)表示计算出的VB值中的最小值。

MLR对非正常数据包的检测非常重要，因为许多设备往往不对接收到的数据包重新排序，而直接将其发送到解码器。任何数据包丢失，都会对数据流质量带来不利影响，如对于视频流，数据包的丢失会造成视觉失真或异常，以及不均匀的视频回放。媒体丢失率是一个比率，可以指示丢失的重要信息，例如IP数据包的丢失是连续的或是非连续的。MLR的计算公式如下所示：

$\mathrm{MLR}=\frac{p\_\mathrm{expected}-p\_\mathrm{received}}{\mathrm{sample}}$

其中P_expected表示期望收到的数据包数目，P_received表示实际收到的数据包数目，sample表示测试周期。

通过在M种网络环境下(如M种不同大小的网络带宽下)进行网络测试，获得N组集合，每组集合有M个元素，该集合表示为T＝{x_ij(i＝1...M；j＝1...N)}，其中，由于选取的MDI数据中包括DF和MLR两种类型的数据，所以本实施例中N取值为2，共有两组集合，其中，M个DF数据构成一组集合，M个MLR数据构成一组集合。

102、按照M5’模型树，分别将每组集合中的元素按照从小到大进行排序，得到A_j＝{x_1j,x_2j,...x_Mj}(j＝1…N)，即x_1j≤x_2j≤...≤x_Mj；

103、依次对A_j中的x_2j，x_3j…x_(M-1)j进行两分(共有N-2种分法)，即此时取出x_{kj(k＝2…M-1)}，比较A_j中所有的元素，得到集合集合 $T_{\mathrm{kj}}^2={\{\∀x_{\mathrm{ij}},x_{\mathrm{ij}}\≤x_{\mathrm{kj}}\}}_{(i=1...M)},$ 总的集合 $T_{\mathrm{kj}}=\{T_{\mathrm{kj}}^1,T_{\mathrm{kj}}^2\}.$

由上，对M组集合中的每组集合，本实施例将该集合中除去最大值和最小值的数据都作为划分点数据，利用每一个划分点数据将本组集合中的数据划分为两个集合(即进行两分)。

通过如下公式计算每个划分点数据的目标属性标准差：

计算 $S_{{\mathrm{DR}}_{\mathrm{kj}}}=\mathrm{sd}\left(T_{\mathrm{kj}}\right)-\frac{\left|T_{\mathrm{kj}}^1\right|}{\left|T_{\mathrm{kj}}\right|}\mathrm{sd}\left(T_{\mathrm{kj}}^1\right)-\frac{\left|T_{\mathrm{kj}}^2\right|}{\left|T_{\mathrm{kj}}\right|}\mathrm{sd}\left(T_{\mathrm{kj}}^2\right)$

其中，表示划分点数据x_kj的目标属性标准差，和为利用划分点数据x_kj划分被劈分的数据得到的两个集合，sd(·)表示计算标准差，||表示取集合中元素的数目，T_kj表示被劈分的数据组成的集合。当划分点数据为DF数据时,T_kj为当前被劈分的所有DF数据构成的集合，当划分点数据为MLR数据时,T_kj为当前被劈分的所有MLR数据构成的集合。

按照上述步骤依次求解A_j中所有元素的目标属性标准差，能够得到DF数据的最大目标属性标准差S_DRmax(DF)以及MLR数据的最大目标属性标准差S_DRmax(MLR)，将S_DRmax(DF)与S_DRmax(MLR)中的较大值作为得到的A_j的最大的目标属性标准差即分别计算所述样本集中各DF数据和各MLR数据的目标属性标准差，得到最大目标属性标准差

104、利用A_j的最大的目标属性标准差对样本集T进行劈分，得到两个集合T₁和T₂。

找出对应的x_kj(x_kj为DF数据或者MLR数据)，x_kj定位劈分点，遍历样本T中x_ij(i＝1..M)，求出所有符合x_i1j＞x_kj的i₁，所有符合x_i2j≤x_kj的i₂，则T可以劈分为T₁＝{x_ij,j＝1…N；},T₂＝{x_ij,j＝1…N；}，这样就形成了以x_kj为劈分点的二叉树。

即本实施例采用的劈分条件为：当所述劈分点为DF数据时，将DF数据大于所述劈分点的MDI数据划分至同一结点，将DF数据不大于所述劈分点的MDI数据划分至同一结点；当所述劈分点为MLR数据时，所述劈分条件为将MLR数据大于所述劈分点的MDI数据划分至同一结点，将MLR数据不大于所述劈分点的MDI数据划分至同一结点。

105、对劈分出的集合再次执行劈分，直至劈分出的结点都满足劈分终止条件，形成树结构。

对T₁和T₂重复步骤102-104，则T₁和T₂就会被再次劈分，直到被劈分的集合中元素数不小于Z(根据不同情况设定Z的取值，如设定为Z＝4)，进行完劈分后，形成了一个树形结构图，每个结点对应符合劈分条件的集合。

由上，本实施例所采用的劈分终止条件为结点中所包括的MDI数据的数目不小于预定数值(Z)。对满足劈分终止条件的结点不再进行劈分，即树结构在该结点停止生长，将树结构停止生长的结点称为叶子结点，即该叶子结点为符合劈分终止条件的结点。

本实施例在执行结点劈分时，判断劈分出的结点是否满足劈分终止条件，若是，结束对该结点劈分，将该结点作为叶子结点；若否，对不满足劈分终止条件的结点，分别计算该结点中各DF数据和各MLR数据的目标属性标准差，得到该结点的最大目标属性标准差，并将该结点的最大目标属性标准差所对应的DF数据或者MLR数据作为该结点的劈分点，利用该结点的劈分点对该结点中的MDI数据进行劈分，形成两个新的结点，对这两个新的结点执行上述相同的结点劈分操作。

通过上述步骤101至105，按照M5’模型树，根据所确定的劈分条件和劈分终止条件对样本集中的数据进行劈分，完成了基本的树结构，得到了树结构的叶子结点。

本实施例获取测试者对样本数据流在各网络环境下的主观评估值，即每个MDI数据(其包括DF和MLR)都对应一个主观评估值，则根据所述各叶子结点中MDI数据对应的主观评估值，采用线性回归方式可以拟合出每个叶子结点的MDI数据相对于主观评估值的线性关系式，本实施例选取各叶子结点的线性关系式作为数据流的各MDI数据与质量估计值的对应关系式，在测量数据流的质量时，提取数据的MDI数据并代入相应的对应关系式即可得到数据的质量。

进一步的，本实施还包括对树结构的剪切和平滑操作，以完善树结构，使树结构更加简洁和紧凑，从而有助于提高测量效率，具体包括如下步骤106-108：

106、对树形结构中每个结点中的数据，加入对应的主观评估值，即在T_i中每行MDI元素加入对应的主观估值Y_i，每个结点上的数据集合变成[Y_i,T_i]；

107、树结构的剪切。

遍历树结构的每个结点，用线性回归方法拟合每个结点的多元线性方程，每个结点对应一个多元线性方程，该多元线性方程即为该结点上MDI数据与质量估计值的对应关系式。

将样本集所在的结点作为树结构的顶部，则在剪切时，从树结构的底部开始，计算每个叶子结点的母结点E_R＝|N|R_MSE-|N_l|R_MSEl-|N_r|R_MSEr，

其中，E_R表示预测误差，R_MSE为由叶子结点的母结点的预测值与主观评估值的均方根误差，R_MSEl为母结点的左叶子结点的预测值与主观评估值的均方根误差，R_MSEr为母结点的右叶子结点的预测值与主观评估值的均方根误差。所述预测值由结点的MDI数据相对于主观评估值的线性关系式得到，即上述叶子结点的母结点的预测值为由将MDI数据代入该母结点的多元线性方程计算得到的数值(对主观评估值的预测数值)，上述左叶子结点的预测值为将MDI数据代入该左叶子结点的多元线性方程计算得到的数值，上述右叶子结点的预测值为将MDI数据代入该右叶子结点的多元线性方程计算得到的数值。

N为母结点上所有MDI数据的集合，N_l为左叶子结点上所有MDI数据的集合，N_r为右叶子结点上所有MDI数据的集合，||表示取集合中MDI数据的数目。

本实施例所采用的剪切条件为叶子结点的母结点的预测误差不大于剪切阈值，示例性的，该剪切阈值取值为0。

当E_R大于0时，该子树(母结点及左右叶子结点)保留，否则，将该子树转变成为一个叶子结点，即去除该母结点的叶子结点，仅保留该母结点，该母结点转换为叶子结点，对这个叶子结点的母结点执行相同的剪切操作，循环遍历该树结构，直到所有的E_R均大于0。

注：本实施采用了先计算出树结构中所有结点的多元线性方程的方式，以便于在剪切时利用结点的多元线性方程执行剪切，然而，由于对树结构的剪切采用从底部向顶部处理的方式，会存在对一些不需剪切操作的结点，则这些结点的多元线性方程就不会被利用到了，可以理解，本实施例也可以在剪切操作时实时计算出所需使用的结点的多元线性方程。

108、树结构的平滑。

当树结构中的所有叶子结点都不满足剪切条件时，即剪切结束后，遍历叶子结点，利用拟合出的叶子结点的母结点的线性关系式对叶子结点的线性关系式进行更新，利用更新后的线性关系式判断叶子结点是否符合平滑条件，若否，选取更新前的叶子结点的线性关系式作为所使用的该叶子结点的线性关系式，若是，选取更新后的叶子结点的线性关系式作为所使用的该叶子结点的线性关系式，

其中，所述平滑条件为叶子结点更新后的线性关系式的预测值与主观评估值的均方根误差小于预定阈值。

具体的，剪切后，对树的每个叶子结点进行平滑，将叶子结点与其母结点的2个多元线性方程合并为1个新的线性方程，即：f_parent为叶子结点的上级父结点多元线性方程，f_child为叶子结点的多元线性方程，n为到达本叶子结点的训练样本数(该叶子结点上MDI数据的数目)，k为一常数，f_new为更新后叶子结点的多元线性方程，即更新后叶子结点的线性关系式。若子结点采用新线性方程后的R_MSE变化小于一定的阈值，则将新的线性方程将取代子结点的线性方程，否则不进行平滑处理，保留叶子结点的原有的线性方程。

本实施例将执行完剪切和平滑操作后，得到的树结构的叶子结点的线性关系式作为测量网络业务质量时使用的MDI数据与质量估计值的对应关系式。

本发明实施例三以测量视频业务质量的场景为例进行说明。选用的样本数据流为标清视频的数据流(如分辨率为640*480的视频流)，采集样本数据流在不同带宽下的MDI数据，并获取测试者对样本数据流在不同带宽下的主观估计值。

参见图3，示出了本实施例的网络结构示意图。视频服务器(Video Server)通过千兆以太网接口(GE)接入网络，可以以单播或组播的方式向网络中发送视频流。核心交换机(Switch)用以调节网络带宽。通过AP(无线路由器)在802.11n模式下以多播的形式发送视频到Client(客户端)PC，在Client PC端提取视频流的MDI数据。

本实施例，根据视频流的平均比特率，调节交换机，在不同带宽下测试样本视频流的MDI。同时安排了多名未受过专业训练的测试者，按照ITU-TBT.500给出的主观评估方法评估视频质量，给出主观评估值，本实施例采用的主观评估值为MOS(Mean Opinion Score，均值评价结果)。

在提取样本视频流的MDI数据时，本实施例在一种带宽条件下采集一段时间内的多个MDI数据，如在某带宽条件下在2分钟内采集120个MDI数据，将该段时间内的MDI数据加权平均处理后，作为该带宽条件下样本视频流的MDI数据，从而避免了随机误差对测量结果的影响，提高测量结果的准确度。

表1示出了样本数据流1(视频1)、样本数据流2(视频2)和样本数据流3(视频3)的相关数据，其中，对样本数据流1所得到的MDI数据包括DF₁和MLR_1、主观评估值为MOS₁。样本数据流2(视频2)和样本数据流3(视频3)为高清视频，分辨率分别为1280*720、1920*1080。

表1

利用M5’算法训练上述样本数据流1的数据，具体步骤如下：

1)、M5’模型树算法，对输入的样本数据流的MDI数据进行排序，可以得到下述集合①：

2)计算各DF数据和各MLR数据的目标属性标准差S_DR，得到S_DRmax(MLR)＞S_DRmax(DF)，则本次劈分的劈分点为MLR数据(该MLR数据为8.3)，按照MLR进行劈分，同时MLR>8.3作为劈分条件，可以得到两个叶子结点②③：

3)、按照步骤2重新计算叶子结点②③的S_DR，查找最大的S_DRmax，然后进行劈分，直到劈分出的叶子结点中的MDI数据的数目不小于4。参见图4，示出了对样本数据流1的劈分过程，劈分结束后得到叶子结点LM1-LM4：

4)、分别对叶子结点LM1-LM4计算MDI数据与质量估计值的对应关系式，在此质量估计值为MOS值。

在本步骤中，在MDI数据中加入相应的主观评估值拟合出树结构各结点的对应关系式，为了便于清楚显示主观评估值和MDI的对应关系，在上述步骤1)至3)中同时在集合中给出了主观评估值(MOS)和对应的MDI数据，然而在对样本数据流进行劈分建立树结构的过程中无需利用MOS数据。

通过得出上述叶子结点LM1-LM4中网络性能参数(DF和MLR)的数值的取值范围，得到如下结果：

当MLR>17.1，520.9>DF>402.9时，选用叶子结点LM1的对应关系式，

叶子结点LM1的对应关系式为:MOS＝-1.185MLR+0.0712DF+0.065；

当MLR≤17.1，349.8>DF>250.3时，选用叶子结点LM2的对应关系式，

叶子结点LM2的对应关系式为：LM2:MOS＝0.294MLR-0.008DF；

当MLR>0.04，202.4>DF>130.2时，选用叶子结点LM3的对应关系式，叶子结点LM3的对应关系式为LM3:MOS＝-0.4769MLR+0.0176DF+3.1765；

当MLR≤0.04,123.1>DF>120.4时，选用叶子结点LM4的对应关系式，

叶子结点LM4的对应关系式为LM4:MOS＝5。

5)树结构的剪切和平滑。

计算上述叶子结点的母结点的E_R均大于0，不满足剪切条件，不进行剪切。在平滑处理时，计算出的更新后的叶子结点的线性关系式的预测值与主观评估值的均方根误差均不小于预定阈值，不满足平滑条件，不进行平滑处理。即上述得到的叶子结点LM1至LM4的对应关系式已经具有较高的精度，将这些关系式作为测量网络业务的质量时所使用的对应关系式。

本发明实施例三还提供了一种网络业务质量的测量装置，参见图5，所述装置包括：

对应关系式获取单元51，用于选取网络性能参数作为用于测量网络业务质量的测量指标，并获取数据流的各网络性能参数数据与质量估计值的对应关系式；

网络性能参数数据提取单元52，用于提取目标数据流的网络性能参数数据；

计算单元53，用于根据所述提取到的网络性能参数数据选择所采用的对应关系式，并由所选择的对应关系式计算得到所述目标数据流的质量估计值。

进一步的，所述对应关系式获取单元51，具体用于获取样本数据流在多种网络环境下的网络性能参数数据，得到样本集；按照M5’模型树，根据所确定的劈分条件和劈分终止条件对样本集中的数据进行劈分，生成所述样本集的树结构并得到所述树结构的叶子结点，其中，所述树结构中的每个结点包括符合相应劈分条件的网络性能参数数据，所述叶子结点为符合劈分终止条件的结点；根据所述各叶子结点中网络性能参数数据对应的主观评估值，拟合出每个叶子结点的网络性能参数数据相对于主观评估值的线性关系式，选取各叶子结点的线性关系式作为所述数据流的各网络性能参数数据与质量估计值的对应关系式。

进一步的，所述网络性能参数包括第一参数和第二参数，所述对应关系式获取单元51包括劈分模块，用于分别计算所述样本集中各第一参数数据和各第二参数数据的目标属性标准差，得到最大目标属性标准差；将最大目标属性标准差所对应的第一参数数据或者第二参数数据作为劈分点，并利用由所述劈分点确定的劈分条件将所述样本集劈分成两个结点；对所述劈分出的两个结点进行劈分，判断结点是否满足劈分终止条件，若是，结束对该结点劈分，将该结点作为叶子结点；若否，对不满足劈分终止条件的结点，分别计算该结点中各第一参数数据和各第二参数数据的目标属性标准差，得到该结点的最大目标属性标准差，并将该结点的最大目标属性标准差所对应的第一参数数据或者第二参数数据作为该结点的劈分点，利用该结点的劈分点对该结点中的网络性能参数数据进行劈分，劈分出两个新的结点，并继续对该两个新的结点进行劈分；

其中，当所述劈分点为第一参数数据时，所述劈分条件为将第一参数数据大于所述劈分点的网络性能参数数据划分至同一结点，将第一参数数据不大于所述劈分点的网络性能参数数据划分至同一结点；当所述劈分点为第二参数数据时，所述劈分条件为将第二参数数据大于所述劈分点的网络性能参数数据划分至同一结点，将第二参数数据不大于所述劈分点的网络性能参数数据划分至同一结点；

所述劈分终止条件为结点中所包括的网络性能参数数据的数目不小于预定数值。

进一步的，所述对应关系式获取单元51还包括剪切模块和平滑模块，

所述剪切模块，用于在选取各叶子结点的线性关系式作为所述数据流的各网络性能参数数据与质量估计值的对应关系式之前，遍历树结构中的叶子结点，判断遍历到的叶子结点的母结点是否符合剪切条件，若否，保持遍历到的叶子结点及母结点，若是，删除遍历到的叶子结点，并将该叶子结点的母结点转换为叶子结点；

其中，所述剪切条件为叶子结点的母结点的预测误差不大于剪切阈值，所述母结点的预测误差可以表示如下：

E_R＝|N|R_MSE-|N_l|R_MSEl-|N_r|R_MSEr

其中，E_R表示预测误差，R_MSE为由叶子结点的母结点的预测值与主观评估值的均方根误差，R_MSEl为母结点的左叶子结点的预测值与主观评估值的均方根误差，R_MSEr为母结点的右叶子结点的预测值与主观评估值的均方根误差，所述预测值由结点的网络性能参数数据相对于主观评估值的线性关系式得到；N为母结点上所有网络性能参数数据的集合，N_l为左叶子结点上所有网络性能参数数据的集合，N_r为右叶子结点上所有网络性能参数数据的集合，||表示取集合中网络性能参数数据的数目；

所述平滑模块，用于在选取各叶子结点的线性关系式作为所述数据流的各网络性能参数数据与质量估计值的对应关系式之前，当树结构中的所有叶子结点都不满足剪切条件时，遍历叶子结点，利用拟合出的叶子结点的母结点的线性关系式对叶子结点的线性关系式进行更新，利用更新后的线性关系式判断叶子结点是否符合平滑条件，若否，选取更新前的叶子结点的线性关系式作为所使用的该叶子结点的线性关系式，若是，选取更新后的叶子结点的线性关系式作为所使用的该叶子结点的线性关系式，

其中，所述平滑条件为叶子结点更新后的线性关系式的预测值与主观评估值的均方根误差小于预定阈值。

进一步的，上述计算单元53用于当提取到的网络性能参数数据的取值范围与叶子结点中的网络性能参数的取值范围一致时，选择该叶子结点的对应关系式作为所使用的对应关系式。

由上所述，本发明实施例提出一种利用网络性能参数来测量网络业务质量的新方案，通过预先获取网络性能参数与质量估计值的对应关系式，执行测量时由提取出的数据流的网络性能参数和对应关系式计算得到质量估计值的技术手段，能够快速准确地得到对网络业务质量的测量结果，适用于对实时性要求较高的场景。

本发明实施例的方案成本较小，操作简单，测量结果准确率高。经过实验验证，本方案测量得到的质量估计值与用户实际的主观评估值具有较高的一致性。

为了进一步说明本发明实施例所达到的有益效果，在此计算Spearman秩相关系数和Pearson积矩相关系数指标，以衡量本方案的测量结果与主观评估的一致性。

Pearson积矩相关系数的计算公式可以表示如下：

$\mathrm{Pearson}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left(\frac{X_i-\stackrel{\‾}{X}}{D_{\mathrm{Xi}}}\right)\left(\frac{Y_i-\stackrel{\‾}{Y}}{D_{\mathrm{Yi}}}\right)$

上式中，X表示采用本方案得到的测量结果的集合，Y表示主观评估值的集合，和D_Xi分别表示X的均值和标准差，和D_Yi分别表示Y的均值和标准差，i表示集合中元素的序号，N表示集合中元素的数目。

Spearman秩相关系数的计算公式可以表示如下：

$\mathrm{Spearman}=\frac{\mathrm{\Σ}(X_i-\stackrel{\‾}{X})(Y_i-\stackrel{\‾}{Y})}{\sqrt{\mathrm{\Σ}{(X_i-\stackrel{\‾}{X})}^2\mathrm{\Σ}{(Y_i-\stackrel{\‾}{y})}^2}}$

上式中，X表示采用本方案得到的测量结果的集合，Y表示主观评估值的集合，表示X的均值，表示Y的均值。

经过计算得到样本视频流1的Spearman秩相关系数和Pearson积矩相关系数分别是0.9878和0.9842。同理，可以计算上述表1中视频2和视频3的Spearman秩相关系数和Pearson积矩相关系数，经过计算三个视频的Spearman秩相关系数和Pearson积矩相关系数都在0.98以上。

进一步的，如图6所示，示出了上述三种视频对应的主观评估值和客观测量值的关系，从图6中可以看出，主客观相似度非常接近，从而验证了本方案所计算的客观测量值的准确度高。其中，图6中横坐标为根据获取到的叶子结点的对应关系式计算得到的质量估计值(即客观测量值)，纵坐标值为主观估计值(即主观评估值)。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种网络业务质量的测量方法，其特征在于，选取网络性能参数作为用于测量网络业务质量的测量指标，获取数据流在各网络环境下的主观评估值，并获取数据流的各网络性能参数数据与质量估计值的对应关系式，不同取值范围的网络性能参数具有不同的对应关系式，所述方法包括：

提取目标数据流的网络性能参数数据；

根据所述提取到的网络性能参数数据选择所采用的对应关系式，并由所选择的对应关系式计算得到所述目标数据流的质量估计值；

其中，所述获取所述数据流的各网络性能参数数据与质量估计值的对应关系式包括：

获取样本数据流在多种网络环境下的网络性能参数数据，得到样本集；

按照M5’模型树，根据所确定的劈分条件和劈分终止条件对样本集中的数据进行劈分，生成所述样本集的树结构并得到所述树结构的叶子结点，其中，所述树结构中的每个结点包括符合相应劈分条件的网络性能参数数据，所述叶子结点为符合劈分终止条件的结点；

根据所述各叶子结点中网络性能参数数据对应的主观评估值，拟合出每个叶子结点的网络性能参数数据相对于主观评估值的线性关系式，选取各叶子结点的线性关系式作为所述数据流的各网络性能参数数据与质量估计值的对应关系式。

2.根据权利要求1所述的方法，其特征在于，所述网络性能参数包括第一参数和第二参数，

所述按照M5’模型树，根据所确定的劈分条件和劈分终止条件对样本集中的数据进行劈分包括：

分别计算所述样本集中各第一参数数据和各第二参数数据的目标属性标准差，得到最大目标属性标准差；

将最大目标属性标准差所对应的第一参数数据或者第二参数数据作为劈分点，并利用由所述劈分点确定的劈分条件将所述样本集劈分成两个结点；

对所述劈分出的两个结点进行劈分，判断结点是否满足劈分终止条件，若是，结束对该结点的劈分，将该结点作为叶子结点；若否，对不满足劈分终止条件的结点，分别计算该结点中各第一参数数据和各第二参数数据的目标属性标准差，得到该结点的最大目标属性标准差，并将该结点的最大目标属性标准差所对应的第一参数数据或者第二参数数据作为该结点的劈分点，利用该结点的劈分点对该结点中的网络性能参数数据进行劈分，劈分出两个新的结点，并继续对该两个新的结点进行劈分；

其中，当所述劈分点为第一参数数据时，所述劈分条件为将第一参数数据大于所述劈分点的网络性能参数数据划分至同一结点，将第一参数数据不大于所述劈分点的网络性能参数数据划分至同一结点；当所述劈分点为第二参数数据时，所述劈分条件为将第二参数数据大于所述劈分点的网络性能参数数据划分至同一结点，将第二参数数据不大于所述劈分点的网络性能参数数据划分至同一结点；

所述劈分终止条件为结点中所包括的网络性能参数数据的数目不小于预定数值。

3.根据权利要求1所述的方法，其特征在于，

通过如下方式计算当前被劈分的各第一参数数据的目标属性标准差：

将所述被劈分的第一参数数据中除去最大值和最小值的第一参数数据都作为划分点数据；

利用每一个划分点数据将所述被劈分的第一参数数据划分为两个集合，通过如下公式计算每个划分点数据的目标属性标准差，得到所述各第一参数数据的目标属性标准差：

$S_{{\mathrm{DR}}_{\mathrm{kj}}}=\mathrm{sd}\left(T_{\mathrm{kj}}\right)-\frac{\left|T_{\mathrm{kj}}^1\right|}{\left|T_{\mathrm{kj}}\right|}\mathrm{sd}\left(T_{\mathrm{kj}}^1\right)-\frac{\left|T_{\mathrm{kj}}^2\right|}{\left|T_{\mathrm{kj}}\right|}\mathrm{sd}\left(T_{\mathrm{kj}}^2\right),$

其中，表示划分点数据x_kj的目标属性标准差，和为利用划分点数据x_kj划分第一参数数据得到的两个集合，sd(·)表示计算标准差，||表示取集合中元素的数目，T_kj表示被劈分的第一参数数据组成的集合；

通过如下方式计算当前被劈分的各第二参数数据的目标属性标准差：

将所述被劈分的第二参数数据中除去最大值和最小值的第二参数数据都作为划分点数据；

利用每一个划分点数据将所述被劈分的第二参数数据划分为两个集合，通过如下公式计算每个划分点数据的目标属性标准差，得到所述各第二参数数据的目标属性标准差：

$S_{{\mathrm{DR}}_{\mathrm{kj}}}=\mathrm{sd}\left(T_{\mathrm{kj}}\right)-\frac{\left|T_{\mathrm{kj}}^1\right|}{\left|T_{\mathrm{kj}}\right|}\mathrm{sd}\left(T_{\mathrm{kj}}^1\right)-\frac{\left|T_{\mathrm{kj}}^2\right|}{\left|T_{\mathrm{kj}}\right|}\mathrm{sd}\left(T_{\mathrm{kj}}^2\right),$

其中，表示划分点数据x_kj的目标属性标准差，和为利用划分点数据x_kj划分第二参数数据得到的两个集合，sd(·)表示计算标准差，||表示取集合中元素的数目，T_kj表示被劈分的第二参数数据组成的集合。

4.根据权利要求1至3任一项所述的方法，其特征在于，在选取各叶子结点的线性关系式作为所述数据流的各网络性能参数数据与质量估计值的对应关系式之前，所述方法还包括：

遍历树结构中的叶子结点，判断遍历到的叶子结点的母结点是否符合剪切条件，若否，保持遍历到的叶子结点及母结点，若是，删除遍历到的叶子结点，并将该叶子结点的母结点转换为叶子结点；

其中，所述剪切条件为叶子结点的母结点的预测误差不大于剪切阈值，所述母结点的预测误差可以表示如下：

E_R＝|N|R_MSE-|N_l|R_MSEl-|N_r|R_MSEr

其中，E_R表示预测误差，R_MSE为由叶子结点的母结点的预测值与主观评估值的均方根误差，R_MSEl为母结点的左叶子结点的预测值与主观评估值的均方根误差，R_MSEr为母结点的右叶子结点的预测值与主观评估值的均方根误差，所述预测值由结点的网络性能参数数据相对于主观评估值的线性关系式得到；N为母结点上所有网络性能参数数据的集合，N_l为左叶子结点上所有网络性能参数数据的集合，N_r为右叶子结点上所有网络性能参数数据的集合，||表示取集合中网络性能参数数据的数目。

5.根据权利要求4所述的方法，其特征在于，在选取各叶子结点的线性关系式作为所述数据流的各网络性能参数数据与质量估计值的对应关系式之前，所述方法还包括：

当树结构中的所有叶子结点都不满足剪切条件时，遍历叶子结点，利用拟合出的叶子结点的母结点的线性关系式对叶子结点的线性关系式进行更新，利用更新后的线性关系式判断叶子结点是否符合平滑条件，若否，选取更新前的叶子结点的线性关系式作为所使用的该叶子结点的线性关系式，若是，选取更新后的叶子结点的线性关系式作为所使用的该叶子结点的线性关系式，

其中，所述平滑条件为叶子结点更新后的线性关系式的预测值与主观评估值的均方根误差小于预定阈值。

6.一种网络业务质量的测量装置，其特征在于，所述装置包括：

对应关系式获取单元，用于选取网络性能参数作为用于测量网络业务质量的测量指标，获取数据流在各网络环境下的主观评估值，并获取数据流的各网络性能参数数据与质量估计值的对应关系式；

网络性能参数数据提取单元，用于提取目标数据流的网络性能参数数据；

计算单元，用于根据所述提取到的网络性能参数数据选择所采用的对应关系式，并由所选择的对应关系式计算得到所述目标数据流的质量估计值；

其中，所述对应关系式获取单元，具体用于获取样本数据流在多种网络环境下的网络性能参数数据，得到样本集；

按照M5’模型树，根据所确定的劈分条件和劈分终止条件对样本集中的数据进行劈分，生成所述样本集的树结构并得到所述树结构的叶子结点，其中，所述树结构中的每个结点包括符合相应劈分条件的网络性能参数数据，所述叶子结点为符合劈分终止条件的结点；

根据所述各叶子结点中网络性能参数数据对应的主观评估值，拟合出每个叶子结点的网络性能参数数据相对于主观评估值的线性关系式，选取各叶子结点的线性关系式作为所述数据流的各网络性能参数数据与质量估计值的对应关系式。

7.根据权利要求6所述的装置，其特征在于，所述网络性能参数包括第一参数和第二参数，所述对应关系式获取单元包括劈分模块，

所述劈分模块，用于分别计算所述样本集中各第一参数数据和各第二参数数据的目标属性标准差，得到最大目标属性标准差；

将最大目标属性标准差所对应的第一参数数据或者第二参数数据作为劈分点，并利用由所述劈分点确定的劈分条件将所述样本集劈分成两个结点；

对所述劈分出的两个结点进行劈分，判断结点是否满足劈分终止条件，若是，结束对该结点劈分，将该结点作为叶子结点；若否，对不满足劈分终止条件的结点，分别计算该结点中各第一参数数据和各第二参数数据的目标属性标准差，得到该结点的最大目标属性标准差，并将该结点的最大目标属性标准差所对应的第一参数数据或者第二参数数据作为该结点的劈分点，利用该结点的劈分点对该结点中的网络性能参数数据进行劈分，劈分出两个新的结点，并继续对该两个新的结点进行劈分；

其中，当所述劈分点为第一参数数据时，所述劈分条件为将第一参数数据大于所述劈分点的网络性能参数数据划分至同一结点，将第一参数数据不大于所述劈分点的网络性能参数数据划分至同一结点；当所述劈分点为第二参数数据时，所述劈分条件为将第二参数数据大于所述劈分点的网络性能参数数据划分至同一结点，将第二参数数据不大于所述劈分点的网络性能参数数据划分至同一结点；

所述劈分终止条件为结点中所包括的网络性能参数数据的数目不小于预定数值。

8.根据权利要求6或7所述的装置，其特征在于，所述对应关系式获取单元还包括剪切模块和平滑模块，

所述剪切模块，用于在选取各叶子结点的线性关系式作为所述数据流的各网络性能参数数据与质量估计值的对应关系式之前，遍历树结构中的叶子结点，判断遍历到的叶子结点的母结点是否符合剪切条件，若否，保持遍历到的叶子结点及母结点，若是，删除遍历到的叶子结点，并将该叶子结点的母结点转换为叶子结点；

其中，所述剪切条件为叶子结点的母结点的预测误差不大于剪切阈值，所述母结点的预测误差可以表示如下：

E_R＝|N|R_MSE-|N_l|R_MSEl-|N_r|R_MSEr

其中，E_R表示预测误差，R_MSE为由叶子结点的母结点的预测值与主观评估值的均方根误差，R_MSEl为母结点的左叶子结点的预测值与主观评估值的均方根误差，R_MSEr为母结点的右叶子结点的预测值与主观评估值的均方根误差，所述预测值由结点的网络性能参数数据相对于主观评估值的线性关系式得到；N为母结点上所有网络性能参数数据的集合，N_l为左叶子结点上所有网络性能参数数据的集合，N_r为右叶子结点上所有网络性能参数数据的集合，||表示取集合中网络性能参数数据的数目；

所述平滑模块，用于在选取各叶子结点的线性关系式作为所述数据流的各网络性能参数数据与质量估计值的对应关系式之前，当树结构中的所有叶子结点都不满足剪切条件时，遍历叶子结点，利用拟合出的叶子结点的母结点的线性关系式对叶子结点的线性关系式进行更新，利用更新后的线性关系式判断叶子结点是否符合平滑条件，若否，选取更新前的叶子结点的线性关系式作为所使用的该叶子结点的线性关系式，若是，选取更新后的叶子结点的线性关系式作为所使用的该叶子结点的线性关系式，

其中，所述平滑条件为叶子结点更新后的线性关系式的预测值与主观评估值的均方根误差小于预定阈值。