CN101815002B - 一种基于多测度离差最大化的网络整体性能评价方法 - Google Patents

Abstract

本发明的一种基于多测度离差最大化的网络整体性能评价方法，针对目前无法对网络整体性能进行科学定量分析评价的问题，提出了一种基于网络性能矩阵的网络性能评价模型，利用不确定多测度离差最大化的方法对网络整体性能进行量化评价，从而能够促进因特网服务提供商公平竞争并激励它们改善网络性能的热情。本发明具有以严格的数学理论为依据、评价方法科学合理和计算复杂性较低的特点。

Description

一种基于多测度离差最大化的网络整体性能评价方法

技术领域

本发明属于网络数据通信领域，具体地说是提出一种基于网络性能矩阵的多测度离差最大化理论对网络整体性能进行评价的方法。 

背景技术

随着因特网规模的日益庞大和网络业务日趋多样化，人们对网络服务质量(QoS)的要求也在不断提高，计算机网络的可靠性、稳定性以及高效性等诸多性能方面的表现也被越来越多的网络用户和因特网服务提供商(ISP)所关注。网络用户在支付费用后，希望所使用的网络呈现出所要求的性能；而一个实力强大的ISP则希望它的网络被承认比其他ISP的网络有更好的网络性能。尽管对网络性能评价方法的研究一直是国内外网络界研究的热点，并取得了一定成果，但到目前为止，只有一些评价网络节点或网络路径性能的方法，还没有看到一种评价网络整体性能优劣的公认方法，因为网络的某些节点或路径的性能并不能完全代表该网络的整体性能。不解决评价网络整体性能这个问题，将无法科学地定量评价网络的性能，因而不能促进ISP公平竞争并激励它们改善网络性能的热情。 

所谓网络性能是指由用户所见的电信网络的服务质量的等级。因为不同的网络在性质和设计方法有差异，通过测量手段获取某已有网络的性能有多种不同的途径，并可能得到不同的结论。而网络性能的测度通常包括时延、丢包率和可用带宽等。不过，这些分析方法仅能使用这些测度分析某个节点或单条路径，无法将网络作为一个整体对其性能进行分析评价，因而无法评 价某个网络性能优于另一个网络的性能。然而，这种对网络的整体评价在许多情况下却是非常需要的。 

ITU-T和IETF对IP网络性能参数，分别制定了各自的标准。ITU-T SG13工作组在建议Y.1540^[1]中定义了IP分组传输时延、时延变化、误差率、丢包率、虚假率、吞吐量和可用性等参数。IETF的IPPM(IP Performance Metrics)工作组定义了连接性测度(RFC 2678)单向时延测度(RFC 2679)、单向分组丢包测度(RFC 2680)、往返时延测度(RFC 2681)。流量矩阵^[2][3]是通过描述全网所有边界路由器间流量值对全网络性能的一种表示方法，但它具有流量值测量开销大和难以准确获取等困难，且无法基于矩阵中的众多数据得到直观的结论。我们则希望网络性能更加便于测量和评价结论更加全面，并且能够与往返时延、丢包率和可用带宽这三个基本的性能测度相关联。^[4]针对现有的性能评测方法中没有综合的网络性能评价指标的问题，提出了多指标主要路径综合评价方法来评价路径及不同网络的性能状况，该方法用主要路径虽然能够更为全面地反应出网络整体性能，但主要路径毕竟不是网络的全部。有一些研究从网络拓扑分析角度来评价网络性能，利用的测度有节点度分布^[5]、延伸性、抗毁性、失真性和等级性^[6]，然而它们对网络评价是静态的，不能反映网络承载流量时网络整体的特性。^[7]从多个角度定义了网络性能测度用以评价网络，如基于重力模型定义了重载流量条件下最大吞吐量，其特点是利用重力模型来度量带宽分配的公平性，不足是需要知道每个端路由器的流量需求，而这通常是难以准确获知的。通过将网络系统等效为排队网络，从理论上分析得到网络系统的性能^[8]，但随着网络规模变大，这种方法变得复杂且低效。分析局域网性能的方法则采用先建立对应的模型，再根据局域网采用的协议内容，运用数学和概率手段直接分析^[9]，这种方法需要考虑不同局域网采用的技术和使用的协议内容，不具有普遍性和典型性。 

发明内容

本发明的目的是针对目前的分析方法无法对网络整体性能进行分析评价 的问题，提出一种基于网络性能矩阵的多测度离差最大化的网络性能评价方法，利用不确定多测度决策理论中离差最大化的方法对网络整体性能进行评价的方法。 

本发明的技术方案是： 

一种基于多测度离差最大化的网络整体性能评价方法NetPerfEval-1用于评价不同网络的整体性能，其特征在于，包括下列步骤： 

A.网络测量步骤：设被评价的网络区域有s个边界路由器，若以一定的时间间隔(周期)连续按序测量每一对边界路由器之间的端到端性能测度包括往返时延、丢包率和可用带宽值等，并将每个时刻的测量值按序排列成的一行，就得到了该网络多测度描述的一个实例，对应为网络性能评价矩阵中的一行。在相同的网络负载下，将某一个网络的多测度描述的一个实例作为性能评价矩阵的一行，将被比较的其他网络的多测度描述的实例作为该矩阵的其他行，这就构成了不同网络在相同负载下的性能评价矩阵X，X＝(a_ij)_n×m，(i＝1，2，...n；j＝1，2，...m)，n为被评网络的数量，m为网络的不同属性个数，m在数值上满足：m＝s(s-1)d；s为网络端口数量，d为性能测度的数量； 

B.性能评价矩阵归一化处理步骤：对成本型性能测度包括往返时延和丢包率等，用(1)式对评价矩阵进行规范化处理： 

$r_{\mathrm{ij}}=\frac{\min \left(a_{\mathrm{ij}}\right)}{a_{\mathrm{ij}}},i\∈n---\left(1\right)$

对效益型性能测度包括可用带宽等，用(2)式将评价矩阵进行规范化处理： 

$r_{\mathrm{ij}}=\frac{a_{\mathrm{ij}}}{\max \left(a_{\mathrm{ij}}\right)},i\∈n---\left(2\right)$

从而得到规范化矩阵R＝(r_ij)_n×m； 

C.计算最优权重向量步骤：按(3)式计算权重向量w； 

$w_j=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{k=1}{\overset{n}{\mathrm{\Σ}}}|r_{\mathrm{ij}}-r_{\mathrm{kj}}|}{\stackrel{m}{\underset{j=1}{\mathrm{\Σ}}}\stackrel{n}{\underset{i=1}{\mathrm{\Σ}}}\stackrel{n}{\underset{k=1}{\mathrm{\Σ}}}|r_{\mathrm{ij}}-r_{\mathrm{kj}}|},j\∈m---\left(3\right)$

D.计算各对象的综合评价值步骤：按(4)式计算，得到各网络性能的综合评价值。 

$z_i\left(w\right)=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{r}_{\mathrm{ij}}{w}_j---\left(4\right)$

一种基于多测度离差最大化的网络整体性能评价方法NetPerfEval-2用于评价同一网络在不同流量下的整体性能，其特征在于，包括下列步骤： 

A.网络测量步骤：设被评价的网络区域有s个边界路由器，若以一定的时间间隔(周期)连续按序测量每一对边界路由器之间的端到端性能测度包括往返时延、丢包率和可用带宽值等，并将每个时刻的测量值按序排列成的一行，就得到了该网络多测度描述的一个实例，对应为网络性能评价矩阵中的一行。再将该网络在其他负载情况下的网络多测度描述实例作为矩阵的其他行，构成该网络在不同负载下的性能评价矩阵X’，X’＝(a’_ij)_n′×m，(i＝1，2，...n′；j＝1，2，...m)，n′为该网络不同流量负载场景数量，m为网络的不同属性个数，m在数值上满足：m＝s(s-1)d；s为网络端口数量，d为性能测度的数量； 

B.性能评价矩阵归一化处理步骤：对成本型性能测度包括网络测度往返时延和丢包率等，用(1)式对评价矩阵进行规范化处理： 

$r_{\mathrm{ij}}^{\′}=\frac{\min \left(a_{\mathrm{ij}}^{\′}\right)}{a_{\mathrm{ij}}^{\′}},i\∈n^{\′}---\left(1\right)$

对效益型性能测度包括可用带宽等，用(2)式将评价矩阵进行规范化处理： 

$r_{\mathrm{ij}}^{\′}=\frac{a_{\mathrm{ij}}^{\′}}{\max \left(a_{\mathrm{ij}}^{\′}\right)},i\∈n^{\′}---\left(2\right)$

从而得到规范化矩阵R’＝(r’_ij)_n′×m； 

C.计算最优权重向量步骤：按(3)式计算权重向量w’； 

$w_j=\frac{\underset{i=1}{\overset{n^{\′}}{\mathrm{\Σ}}}\underset{k=1}{\overset{n^{\′}}{\mathrm{\Σ}}}\left|r_{\mathrm{ij}-}^{\′}{r}_{\mathrm{kj}}^{\′}\right|}{\stackrel{m}{\underset{j=1}{\mathrm{\Σ}}}\stackrel{n^{\′}}{\underset{i=1}{\mathrm{\Σ}}}\stackrel{n^{\′}}{\underset{k=1}{\mathrm{\Σ}}}|r_{\mathrm{ij}}^{\′}-r_{\mathrm{kj}}^{\′}|},j\∈m---\left(3\right)$

D.计算各对象的综合评价值步骤：按(4)式计算，得到各网络性能的综合 评价值。 $z_i^{\′}\left(w\right)=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{r}_{\mathrm{ij}}^{\′}{w}_j^{\′}---\left(4\right)$

本发明相对于现有技术具有以下优点： 

本发明解决了现有分析方法仍无法评价网络整体性能的难题。到目前为止，只有一些评价网络节点或路径性能的方法，还没有一种评价网络整体性能优劣的科学方法。不解决评价网络整体性能这个问题，就无法科学地定量评价ISP的网络性能，因而不能促进ISP公平竞争并激励它们改善网络性能的热情。 

本发明评价方法以严格的数学理论为依据，评价方法科学合理，即利用不确定多测度决策理论离差最大化的方法，能够对网络性能矩阵表示的网络整体性能进行科学的量化评价。 

本发明的计算复杂性较低。 

附图说明

图1为本发明实施例运行的环境。 

图2为本发明的网络性能评价方法的流程图。 

图3为本发明实施例的结构示意图。 

具体实施方式

下边结合附图和具体实施方式对本发明作进一步地说明。 

首先给出本发明评价方法通过网络测量手段获得网络性能评价矩阵所需要的环境，我们以图1中右侧一个具有5个边界路由器的自治系统AS为例。位于AS的每个边界路由器中的测量进程(或位于路由器附近的每台测量主机)将以每5分钟一次的周期向其他边界路由器测量它们之间的若干个测度指标，如：IP分组传输时延、时延变化、误差率、丢包率、虚假率、吞吐量和可用性等，并将这些测量值按左侧矩阵的规律排列成一行。若对不同网络进行评 价，则要对每个参与评价的网络多个测度指标，本例中以往返时延、带宽和丢包率等测度值为例，按上述方法形成网络性能评价矩阵的一行；若对同一个网络的不同时刻进行评价，则要对该网络不同条件(如流量大小)的多个测度指标，本例中以往返时延、带宽和丢包率等测度值为例，按上述方法形成网络性能评价矩阵的一行，从而得到网络性能评价矩阵。 

图2给出了本发明网络性能评价方法NetPerfEval-1和NetPerfEval-2的工作流程图。该流程开始于初始化步骤S101，然后进入网络测量步骤S102，根据评估任务的不同，即是对不同的网络进行评估还是对同一个网络的不同情况进行评估，建立不同的网络性能评估矩阵。接下来进入性能评价矩阵归一化处理步骤S103，若网络性能矩阵的测度是成本型测度，则采用式(1)进行规范化处理；若网络性能矩阵的测度是效益型测度，则采用式(2)进行规范化处理。然后进入步骤S104计算最优权重向量步骤，按(3)式计算权重向量w。最后，进入计算各对象的综合评价值步骤S105，按(4)式来计算各网络性能的综合评价值，综合评价值高者则网络性能优越。评价过程在S106结束。 

成本型测度是指数值越小越好的测度。测度指标中属于成本型测度的指标包括往返时延、丢包率和时延抖动等。 

效益型测度是指数值越大越好的测度。测度指标中属于效益型测度的指标包括可用带宽、容量等。 

实施例一 

本实施例给出了对如图3所示三个网络a、b和c进行性能评价的详细过程。网络a采用星形拓扑结构，网络b、c采用网状拓扑，其中网络a、b中的链路带宽都为100Mbps，网络c的链路带宽为200Mbps。模拟试验时，内部节点采用RED的丢包策略，选路协议采用由分布式Bellman-Ford方法实现的动态路由策略。 

在网络测量步骤中，网络中每个边界路由器分别向其他的边界路由器发送流量，流量速率逐渐增加。具体地，3个网络加载相同的流量强度逐渐增大的自相似背景流量，其中自相似流量由100个Pareto流量发生器组成。在网 络的每个边界路由器附件布署性能测量代理如Ping和PathChirp，从而实现对网络往返时延、丢包率和可用带宽的测量，并将结果保存在性能矩阵中。 

接下来，我们采用NetPerfEval-1方法对这3个不同网络进行整体性能评价。 

在性能评价矩阵归一化处理步骤中，以每个边界路由器流量速率为8.877Mbps为例，网络的边界路由器分别向其他边界路由器发送此速率流量，用性能测量代理测量得到此时的网络性能，性能数据如所表1、表2和表3所示。表中为测量得到的往返时延和可用带宽数据，在测量中网络流量较小没有引起网络拥塞，测量得到的丢包率都为0，所以被忽略。 

表1网络a的性能数据 

表2网络b的性能数据 

表3网络c的性能数据 

将三个表的数据分别作为评价矩阵的一行构成不同网络评价矩阵，并将做矩阵归一化处理，该矩阵为3行60列；n＝3，s＝6，d＝2； 

根据上述测量结果，我们能够得到性能评价矩阵X，它的第一行是： 

(9.0394，11.77，7.9713，4.9354，6.5588，9.0122，9.429，5.6252，8.1623，9.7401，11.762，9.4458，8.3637，10.856，12.448，7.933，5.6255，8.3639，7.0484，8.6658，4.913，8.1203，10.886，7.0819，5.6187，6.5364，9.7401，12.45，8.6508，5.6185，18.57743，19.11768，19.55442，46.67759，42.59751，16.21604，46.01754，44.34444，16.40152，15.81616，21.0293，46.15851，49.77412，17.39101，21.995，21.65883，46.51212，48.99651，18.98842，21.13398，47.7888，22.01814，22.45687，23.67833，64.2365，58.15922，18.85972，19.6912，19.2256，49.12056) 

X的第二行是： 

(3.216503，4.566437，7.903286，4.908615，0.478896，3.216222，1.345831，5.587728，8.126702，3.714712，4.56187，1.348668，2.801589，6.445454，8.731628，7.895608，5.593166，2.801699，3.639839，8.362809，4.905065，8.1239，6.445878，3.643295，4.723949，0.478404，3.710072，8.720662，8.361519，4.728558，55.07648，59.83493，70.31247，85.87812，93.60456，71.92696，84.59728，84.68621，62.77528，63.9554，64.2365，98.40675，88.91671，75.95751，84.60999，74.33846，95.62453，93.75702，79.64685，70.98219，81.68802，57.92581，82.73612，78.02286，94.44304，92.53741，55.05068，57.82783，70.94259，94.48115) 

X的第三行是： 

(3.204208，4.545433，7.872121，4.886849，0.469337，3.202824，1.335341，5.572684，8.094518，3.678579，4.537393，1.337676，2.79545，6.426326，8.685202，7.874636，5.574389，2.794961，3.628973，8.345393，4.884825，8.08913，6.425388，3.632151，4.715571，0.468497，3.673885，8.686704，8.343805，4.716854，171.4265，164.5887，188.7066，190.2536，195.2132，174.7986，187.8876，186.0069，165.294，169.2525，175.8501，195.3952，195.1222，194.8795，186.5226，181.2445，193.469，194.8492，186.5226，184.839，184.0327，160.0091，174.3739，183.7774，193.742，194.2274，175.8198，166.0195，180.6985，193.1353) 

经过评价矩阵规范化处理后，得到的矩阵R，它的第一行是： 

(0.35447，0.38619，0.98756，0.99016，0.071558，0.35539，0.14162，0.99066， 0.9917，0.37767，0.38577，0.14162，0.33424，0.59196，0.69772，0.99264，0.99091，0.33417，0.51486，0.96303，0.99427，0.99616，0.59024，0.51288，0.83926，0.071675，0.37719，0.69773，0.96451，0.83952，0.10837，0.11615，0.10362，0.24534，0.21821，0.09277，0.24492，0.2384，0.099226，0.093447，0.11959，0.23623，0.25509，0.08924，0.11792，0.1195，0.24041，0.25146，0.1018，0.11434，0.25968，0.13761，0.12879，0.12884，0.33156，0.29944，0.10727，0.11861，0.1064，0.25433) 

R的第二行是： 

(0.99618，0.9954，0.99606，0.99557，0.98004，0.99583，0.99221，0.99731，0.99604，0.99027，0.99463，0.99185，0.99781，0.99703，0.99468，0.99734，0.99664，0.9976，0.99701，0.99792，0.99587，0.99572，0.99682，0.99694，0.99823，0.97929，0.99025，0.99611，0.99788，0.99752，0.32128，0.36354，0.3726，0.45139，0.4795，0.41148，0.45025，0.45529，0.37978，0.37787，0.36529，0.50363，0.4557，0.38977，0.45362，0.41016，0.49426，0.48118，0.42701，0.38402，0.44388，0.36202，0.47448，0.42455，0.48747，0.47644，0.31311，0.34832，0.3926，0.4892) 

R的第三行是： 

(1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000，1.0000) 

在计算最优权重向量步骤中，计算出最优权重向量w＝(0.0177，0.0168，0.0003，0.0003，0.0255，0.0177，0.0236，0.0003，0.0002，0.0171，0.0169，0.0236，0.0183，0.0112，0.0083，0.0002，0.0002，0.0183，0.0133，0.0010，0.0002，0.0001，0.0112，0.0134，0.0044，0.0255，0.0171，0.0083，0.0010，0.0044，0.0245，0.0243，0.0246，0.0207，0.0215，0.0249，0.0207，0.0209，0.0247，0.0249，0.0242，0.0210，0.0204，0.0250，0.0242，0.0242，0.0208，0.0205，0.0246，0.0243，0.0203，0.0237， 0.0239，0.0239，0.0183，0.0192，0.0245，0.0242，0.0245，0.0205)。 

由此，我们计算出综合评价值，从而得到网络评价值(0.2219，0.5994，1.0000)，从而得出网络评价为：网络c性能最优，网络b性能次之，网络c性能最差。 

对于同一网络不同流量下的性能评价也可以用类似步骤完成。 

参考文献 

[1]IP Performance Metrics(ippm)[EB/OL].2004.http://www.ietf.org/html.charters/ippm-charter.html 

[2]A.Medina，N.Taft，K.Salamatian，S.Bhattacharyya，and C.Diot.Traffic Matrix Estimation：Existing Techniques and New Directions.In ACM SIGCOMM，Pittsburgh，August 2002. 

[3]A.Nucci，R.Cruz，N.Taft，and C.Diot.Design of IGP Link Weight Changes for TrafficMatrix Estimation.In IEEE INFOCOM，Hong Kong，April 2004. 

[4]张冬艳，胡铭曾，张宏莉.基于测量的网络性能评价方法研究.通信学报，2006，27(10)：74-79. 

[5]T.Bu and D.Towsley.On distinguishing Between Internet Power Law Topology Generators，IEEE INFOCOM 2002. 

[6]H.Tangmunarunkit，R.Govindan，S.Jamin，S.Shenker，and W.Willinger.NetworkTopology Generators：Degree-Based vs.Structural，In Proc.ACM SIGCOMM 2002. 

[7]L.Li，D.Alderson，W.Willinger，and J.Doyle，“A first-principles approach to understandingthe Internets router-level topology”，ACM SIGCOMM，2004. 

[8]SCHWARTZ M.宽带网络性能分析[M].北京：清华大学出版社，1998. 

[9]甘泉.计算机网络性能的数学分析[D].成都：中国科学院成都计算机应用研究所，2004. 

Claims (2)

1.一种基于多测度离差最大化的网络整体性能评价方法NetPerfEval-1，用于评价不同网络的整体性能，其特征在于，包括下列步骤：

A.网络测量步骤：设被评价的网络区域有s个边界路由器，以一定的时间间隔即周期连续按序测量每一对边界路由器之间的端到端性能测度，包括往返时延、丢包率和可用带宽值，并将每个时刻的测量值按序排列成的一行，就得到了该网络多测度描述的一个实例，对应为网络性能评价矩阵中的一行；在相同的网络负载下，将某一个网络的多测度描述的一个实例作为性能评价矩阵的一行，将被比较的其他网络的多测度描述的实例作为该矩阵的其他行，构成不同网络在相同负载下的性能评价矩阵X，X＝(a_ij)_n×m，i＝1，2，...n；j＝1，2，...m，n为被评网络的数量，m为网络的不同属性个数，m在数值上满足：m＝s(s-1)d；s为网络端口数量即边界路由器数量，d为性能测度的数量；

B.性能评价矩阵归一化处理步骤：对成本型性能测度，包括往返时延和丢包率，用(1)式对评价矩阵进行规范化处理：

i＝1，2，…，n；(1)

对效益型性能测度包括可用带宽，用(2)式将评价矩阵进行规范化处理：

i＝1，2，…，n；(2)

从而得到规范化矩阵R＝(r_ij)_n×m；

C.计算最优权重向量步骤：按(3)式计算权重向量w；

j＝1，2，…，m；(3) 

D.计算各对象的综合评价值步骤：按(4)式计算，得到各网络性能的综合评价值。

2.一种基于多测度离差最大化的网络整体性能评价方法NetPerfEval-2，用于评价同一网络在不同流量下的整体性能，其特征在于，包括下列步骤：

A.网络测量步骤：设被评价的网络区域有s个边界路由器，以一定的时间间隔即周期连续按序测量每一对边界路由器之间的端到端性能测度，包括往返时延、丢包率和可用带宽值，并将每个时刻的测量值按序排列成的一行，就得到了该网络多测度描述的一个实例，对应为网络性能评价矩阵中的一行；再将该网络在其他负载情况下的网络多测度描述实例作为矩阵的其他行，构成该网络在不同负载下的性能评价矩阵X’，X’＝(a’_ij)_n’×m，i＝1，2，...n’；j＝1，2，...m，n’为该网络不同流量负载场景数量，m为网络的不同属性个数，m在数值上满足：m＝s(s-1)d；s为网络端口数量即边界路由器数量，d为性能测度的数量；

B.性能评价矩阵归一化处理步骤：对成本型性能测度，包括往返时延和丢包率，用(1)式对评价矩阵进行规范化处理：

i＝2，…，n′；(1)

对效益型性能测度，包括可用带宽，用(2)式将评价矩阵进行规范化处理：

i＝2，…，n′；(2)

从而得到规范化矩阵R’＝(r’_ij)_n’×m；

C.计算最优权重向量步骤：按(3)式计算权重向量w’；

j＝1，2，…，m；(3) 

D.计算各对象的综合评价值步骤：按(4)式计算，得到各网络性能的综合评价值。

Images