CN106899448B

CN106899448B - 适用于网络状态及性能测量的一体化动态赋权评估方法

Info

Publication number: CN106899448B
Application number: CN201710045997.6A
Authority: CN
Inventors: 卜佑军; 张震; 韩伟涛; 伊鹏; 张建辉; 陈鸿昶; 李向涛; 陈博
Original assignee: PLA Information Engineering University
Current assignee: PLA Information Engineering University
Priority date: 2017-01-22
Filing date: 2017-01-22
Publication date: 2019-06-28
Anticipated expiration: 2037-01-22
Also published as: CN106899448A

Abstract

本发明涉及一种适用于网络状态及性能测量的一体化动态赋权评估方法，包含：分别对当前评估周期中网络目标主机状态、用户体验质量及网络链路流量变化进行测量，获取指标测量数据；分别对网络目标主机状态、用户体验质量及网络链路流量变化对应的指标测量数据进行归一化处理，获取对应的评估值；对评估值进行层次化动态赋权，通过评估模型完成当前评估周期中网络状态及性能的一体化评估，确定网络目标主机状态、用户体验质量及网络链路流量变化的三项权值，进入下一评估周期。本发明综合考虑网络目标主机状态，链路流量变化和网络用户体验质量因素，采取层次化动态赋权的方法，对网络状态及性能进行一体化评估，实时性好、评价全面准确、扩展性强。

Description

适用于网络状态及性能测量的一体化动态赋权评估方法

技术领域

本发明属于计算机网络性能技术领域，特别涉及一种适用于网络状态及性能测量的一体化动态赋权评估方法。

背景技术

随着信息化的发展，网络信息化逐渐遍布生活的每一个角落，人们对于网络的需求日益增长，网络逐渐变得越来越复杂，导致网络出现故障或性能不好时，无法很好的对网络进行维护、管理和配置。网络性能是对于一系列用于系统设计、配置、操作和维护的参数进行测量所得到的结果，是一个定性的量，它与终端性能以及用户的操作无关，是网络本身特性的体现，可以由一系列的性能参数来测量和描述，因此网络性能评价显得比较含糊。网络性能评价主要从背景流量、网络时延、时延抖动情况和网络丢包率等考虑，从而给出一个较好的评估，使得用户根据评估结果，合理的维护和配置管理网络。网络性能综合评估适用性较广，能够通过网络评估输出结果，较好的作为网络管理人员和网络运营商的一个参考值，为它们提供较好的科学依据和决策，从而更好的去管理网络，配置网络和维护网络。由于网络性能指标较抽象，因此提取网络性能指标的数据较困难，确定各指标权重也较困难。目前，针对基于网络性能的综合评估，常用的算法有BP算法、线性加权算法、客观权重评估方法、主成分分析方法、模糊综合评价方法、支持向量机方法等等。通常主成分分析方法，常常在提取主要因子时，会造成评价结果失真，主成分因子去除了部分影响较小的因子，然而这些因子往往对网络性能评估中是不可或缺的，而主观分析法和客观权重分析法、标准差法、离差最大法等方法对于网络性能评估，前者较多的取决于有经验的人提供的数据，后者则通过波动不是很大的网络性能指标数据而言，计算参考值常常不明显，因此在网络性能评估中较多的避免使用。

为了进一步提高网络的使用率，对网络问题的分析和网络性能的改良变得极为重要。其中网络状态及性能评估的目的是为了优化网络配置，并且更加有效地进行性能的管理。由于评估体系的输入(各性能指标)和输出(网络性能)之间的关系并不是按照一定简单线性关系形成的，在评估网络性能时，往往有很多不确定因素，会给评估带来一定的困难，所以寻求评估体系中的内在关系，建立一个合理的、适应的模型和方法，将对网络的性能评估有着前所未有的帮助。

发明内容

针对现有技术中的不足，本发明提供一种适用于网络状态及性能测量的一体化动态赋权评估方法，综合考虑网络目标主机状态，链路流量变化和网络用户体验质量三个主要因素，采取层次化动态赋权的方法，对网络状态及性能进行一体化评估，有效改善网络性能，提高网络使用率，保证网络配置的进一步优化处理，能够更加有效地进行网络性能管理。

按照本发明所提供的设计方案，一种适用于网络状态及性能测量的一体化动态赋权评估方法，包含如下步骤：

步骤1、分别对当前评估周期中的网络目标主机状态、用户体验质量及网络链路流量变化进行测量，获取指标测量数据；

步骤2、分别对网络目标主机状态、用户体验质量及网络链路流量变化对应的指标测量数据进行归一化处理，获取对应的评估值；

步骤3、对网络目标主机状态、用户体验质量及网络链路流量变化的评估值进行层次化动态赋权，通过评估模型完成当前评估周期中网络状态及性能的一体化评估，确定网络目标主机状态、用户体验质量及网络链路流量变化的三项权值，返回步骤1进入下一评估周期。

上述的，步骤1中：通过主动测量方法对网络目标主机状态、用户体验质量进行测量；通过被动测量方法对网络链路流量变化进行测量。

优选的，所述的主动测量方法是指：通过向网络中注入流量来检测指定端点之间的性能；所述的被动测量方法是指：通过网络中路由器或交换机或独立探针设备被动地检测网络链路流量。

优选的，对网络目标主机状态进行测量是指：测量网络目标主机状态的性能指标，包含：往返时延、丢包率、TCP连接建立时间、往返时延抖动、排队时延、排队字节、双向链路容量、带宽；对用户体验质量进行测量是指：通过测量相邻两次采样点指标值，计算单位时间传输的用户体验质量性能指标，包含：用户包吞吐率p、用户字节吞吐率b、icmp包吞吐率m、syn包吞吐率s及fin包吞吐率f；对网络链路流量变化进行测量是指：被动测量网络链路吞吐量在设定范围内的链路状态参数，链路状态参数包含：测量前后网络链路流量的变化值、链路带宽、链路流量变化阈值。

上述的，步骤2中对网络目标主机状态的指标测量数据进行归一化处理，获取评估值，包含内容如下：通过网络目标主机状态性能指标评估模型，计算得到各性能指标的评估结果，对各项性能指标进行动态赋权获取对应的权值，通过各项性能指标的加权系数对性能指标进行加权求和，得到网络目标主机状态评估值。

上述的，步骤2中对用户体验质量的指标测量数据进行归一化处理，获取评估值，包含如下内容：通过相邻测量采样点时间，计算用户体验质量各性能指标吞吐率及性能指标对应的用户体验值，对各性能指标进行加权处理，并通过用户体验质量评估模型，得到用户体验质量评估值。

上述的，步骤2中对网络链路流量变化的指标测量数据进行归一化处理，通过层次化动态赋权获取评估值，包含如下内容：通过网络链路流量变化评估模型对链路状态进行性能评估，得到网络链路流量变化评估值。

上述的，层次化动态赋权，包含如下内容：读取预设的判断矩阵，通过层次化分析获取各项性能指标使用权值，通过该使用权值对性能指标输入进行模型评估计算，获取一体化评估结果；将该一体化评估结果与预期结果进行误差判定，修正判断矩阵，并进入下一评估周期。

上述的，层次化动态赋权，包含如下内容：构建判断矩阵，其中，判断矩阵中的元素通过Santy的1-9标度方法给出各性能指标间两两重要性比较结果；计算判断矩阵的最大特征值以及对应的特征向量，通过一致性指标、随机一致性指标和一致性比率做一致性检验，确定权向量；根据输入的性能指标与预期结果进行比较，确定误差范围；根据误差范围调整判断矩阵中各项元素，并通过两项性能指标产生的变化率，调节其相互间的标度值。

优选的，通过一致性指标、随机一致性指标和一致性比率做一致性检验，确定权向量，具体包含如下内容：

一致性指标：CI＝λ-n/n-1，其中λ为最大特征根，n为唯一的非零特征根；

随机一致性指标：其中，CI_i为随机构造的500个判断矩阵；

一致性比率：CR＝CI/RI；

当CR<0.1时，判定该判断矩阵不一致程度在容许范围之内，将其归一化特征向量作为权向量。

本发明的有益效果：

本发明综合考虑网络目标主机状态，链路流量变化和网络用户体验质量三个主要因素，采取层次化动态赋权的方法，对网络状态及性能进行一体化评估；在有效的测量时间间隔内，根据网络目标状态、骨干链路流量分布和用户体验质量的测量值，采取层次化动态赋权值的方法，能够实时反映当前的网络性能及状态；针对网络性能的评价，参考多方面因素，不仅考虑采用被动测量手段得到的网络骨干链路流量及业务分布情况，也采纳了主动测量方法得到的目标主机状态的多项性能指标，同时考虑了用户对网络的体验质量，避免了评价指标的单一性；在一体化网络性能评估的框架下，可以容易的扩展到其他的评价指标，采用层次化赋权值的方法，引入到评价体系中来，实时性好、评价全面准确、扩展性强。

附图说明：

图1为本发明的流程示意图；

图2为网络目标主机状态测量流程示意图；

图3为网络目标主机状态各因素动态赋权流程示意图；

图4为用户体验质量流程图；

图5为用户体验质量各因素动态赋权流程示意图；

图6为网络链路流量分布测量流程示意图；

图7为网络链路流量分布各因素动态赋权示意图；

图8为层次化动态赋权流程示意图；

图9为性能指标两两重要性比较结果示意图。

具体实施方式：

下面结合附图和技术方案对本发明作进一步详细的说明，并通过优选的实施例详细说明本发明的实施方式，但本发明的实施方式并不限于此。

实施例一，参见图1所示，一种适用于网络状态及性能测量的一体化动态赋权评估方法，包含如下步骤：

综合考虑网络目标主机状态，链路流量变化和网络用户体验质量三个主要因素，采取层次化动态赋权的方法，对网络状态及性能进行一体化评估，实时性好、评价全面准确、扩展性强。

实施例二，参见图1～8所示，一种适用于网络状态及性能测量的一体化动态赋权评估方法，包含如下内容：

A)、通过主动测量方法对网络目标主机状态、用户体验质量进行测量；通过被动测量方法对网络链路流量变化进行测量，获取对应的指标测量数据。其中，主动测量方法是指：通过向网络中注入流量来检测指定端点之间的性能；所述的被动测量方法是指：通过网络中路由器或交换机或独立探针设备被动地检测网络链路流量。针对网络目标状态的评估属于主动测量的范畴，主动测量方法是为了检测两指定端点之间的性能而向网络中注入流量的方法。主动测量产生的附加流量，会引起网络部件的特殊响应，也可以用于观测网络的性能。例如：为了测量IP网络中平静链路的带宽，需要定期地向网络发送巨大的TCP传输。用户体验质量(Quality of Experience，QoE)综合了业务应用、传输环境、终端用户的影响因素，直接反映了终端用户对所使用的业务的主观可接受程度。虽然用户主观因素对于QoE的影响不便于量化，但可以通过统计方式，输出用户在业务体验时的平均主观感受水平。针对链路流量的评估属于被动测量的范畴，被动测量方法是从网络中某点收集流量信息，如使用路由器或交换机收集数据，或者使用一个独立的探针设备被动地检测网络链路的流量。被动测量可以用来进行各种流量分析，例如：总体流量中各种业务所占比重、业务分组的大小分布、分组的时间间隔和详细的流量矩阵信息等。

B)、分别对网络目标主机状态、用户体验质量及网络链路流量变化对应的指标测量数据进行归一化处理，获取对应的评估值，具体内容如下：

对网络目标主机状态的指标测量数据进行归一化处理，获取评估值，包含内容如下：通过网络目标主机状态性能指标评估模型，计算得到各性能指标的评估结果，对各项性能指标进行动态赋权获取对应的权值，通过各项性能指标的加权系数对性能指标进行加权求和，得到网络目标主机状态评估值。

对用户体验质量的指标测量数据进行归一化处理，获取评估值，包含如下内容：通过相邻测量采样点时间，计算用户体验质量各性能指标吞吐率及性能指标对应的用户体验值，对各性能指标进行加权处理，并通过用户体验质量评估模型，得到用户体验质量评估值。

对网络链路流量变化的指标测量数据进行归一化处理，通过层次化动态赋权获取评估值，包含如下内容：通过网络链路流量变化评估模型对链路状态进行性能评估，得到网络链路流量变化评估值。

C)、对网络目标主机状态、用户体验质量及网络链路流量变化的评估值进行层次化动态赋权，通过评估模型完成当前评估周期中网络状态及性能的一体化评估，确定网络目标主机状态、用户体验质量及网络链路流量变化的三项权值，返回A)进入下一评估周期。其中，层次化动态赋权，包含如下内容：读取预设的判断矩阵，通过层次化分析获取各项性能指标使用权值，通过该使用权值对性能指标输入进行模型评估计算，获取一体化评估结果；将该一体化评估结果与预期结果进行误差判定，修正判断矩阵，并进入下一评估周期。

层次化动态赋权具体流程为：构建判断矩阵，判断矩阵中的元素通过Santy的1-9标度方法给出各性能指标间两两重要性比较结果；计算判断矩阵的最大特征值以及对应的特征向量，通过一致性指标、随机一致性指标和一致性比率做一致性检验，确定权向量；根据输入的性能指标与预期结果进行比较，确定误差范围；根据误差范围调整判断矩阵中各项元素，并通过两项性能指标产生的变化率，调节其相互间的标度值。其中，通过一致性指标、随机一致性指标和一致性比率做一致性检验，确定权向量，具体包含如下内容：

随机一致性指标：其中，CI_i为随机构造的500个判断矩阵；

一致性比率：CR＝CI/RI；

对于网络目标主机状态测量得到的各项指标中，往返时延、丢包率、TCP连接建立时间、往返时延抖动、排队时延、排队字节等，这类指标测量得到的值越大，所反应的目标主机性能越差。当指标小于下界时，主机性能基本不受影响；而当指标大于上界时，主机性能已达到最差，性能也不会再继续降低。对目标主机测量得到的各项指标进行归一化处理。与上述趋势相反，对于双向链路容量、双向链路带宽这些指标来说，值越大所反应的目标主机性能越好，通过此评估模型对主动测量得到的性能指标进行计算，得到各项指标的评估结果h_i。如图3所示：通过动态赋权得到各项指标所对应的权值，采用公式其中为各指标的加权系数对指标进行加权求和计算，作为该主机的状态评估值H。由此可知，对于t₁和t₂时刻针对目标网络进行状态评估，若且变化值比较大，说明主机当前状态变差，本次反制战术实施较为成功；相反，ΔH值越小，主机状态较好。

用户体验质量评估用户体验质量评估通过测量相邻两次采样点的指标值，并计算出单位时间传输的用户包数、用户字节数、icmp包数、syn包数和fin包数，即用户包吞吐率p、用户字节吞吐率b、icmp包吞吐率m、syn包吞吐率s和fin包吞吐率f。首先，对于相邻测量采样点时间Δt＝t_i-t_i-1，通过公式：

计算出各指标吞吐率；同时计算各个指标的用户体验值U_p,U_b,U_m,U_s,U_f，如图5所示，对各指标的变化值进行加权计算得到最后以公式U＝β₁U_p+β₂U_b+β₃U_m+β₄U_s+β₅U_f的结果作为用户体验质量评估模型U的评估值，其中，计算结果中U∈[0,1]，并且U值越大，说明该用户在当前时间的体验效果较好。对于t1和t2时刻针对某一目标进行测量，若且变化值比较大，说明用户体验状态变差，；相反，ΔU值越小，说明用户体验。

针对链路流量的评估属于被动测量的范畴，被动测量方法是从网络中某点收集流量信息，如使用路由器或交换机收集数据，或者使用一个独立的探针设备被动地检测网络链路的流量。被动测量可以用来进行各种流量分析，例如：总体流量中各种业务所占比重、业务分组的大小分布、分组的时间间隔和详细的流量矩阵信息等等。一般情况下，实际骨干链路中链路吞吐量在某个范围内波动，而在某种异常情况下，例如链路中多个主机受到UDPFlood攻击，则在攻击时刻，链路吞吐量将会突增。如图6所示，采用公式作为链路流量变化的评估模型，其中，L_Δ为测量前后链路流量的变化值，W为链路带宽，值m为链路流量变化的阈值，一般为链路带宽的1％，即在变化不超过m时，可看作链路在正常范围内波动，而当变化率大于1时，表明链路流量突变较大。图7是流量测量中各因素的动态赋权过程。

目前,网络性能评价中广泛使用“固定定权”作为指标权值，即无论指标值如何变化，权值始终为常数，然而在实际评价过程中常会出现这类情况：若某个单项指标超出了允许阈值，则它对网络性能下降的“促进”程度会明显上升，即使其他指标仍属正常，但整个网络性能却已被认为“恶化”了。此时若仍按照定权进行计算,必将影响到评价结果的合理性和准确性。为此，本发明将“动态赋权”理论引入网络性能综合评价中,提出一种“定权+变权”的综合赋权方法。图8所示为层次化分析和反馈方法的工作流程图，系统初始时，读入预设定的判断矩阵，经过层次化分析得到各项指标的使用权值，之后使用该组权值，对一组指标输入进行模型计算、评估，得到一体化评估结果。之后，将该结果与预期结果进行误差判断，修正判断矩阵，并进行下一轮评估。层次化动态赋权流程如下：

(1)构造判断矩阵。判断矩阵是表示本层所有因素相对上一层某个因素相对重要性的比较。判断矩阵的元素a_ij的值用Santy的1-9标度方法给出，是指标间两两重要性相比较的结果，如图9所示。举例说明，对于目标状态评估中的链路往返时延和丢包率两项指标来说，由于这两项指标对目标状态的而言，其重要性基本相同，此时的标度值可为1或2。另外，由于测量方法的限制，往返时延相较于双向链路带宽较为重要，其标度可在6-9之间浮动。

(2)一致性检验。计算判断矩阵的最大特征值以及对应的特征向量，利用一致性指标、随机一致性指标和一致性比率做一致性检验，如若通过，则将归一化后的特征向量作为权向量。其中，

一致性指标：CI＝λ-n/n-1，其中λ为最大特征根，n为唯一的非零特征根。

随机一致性指标：其中CI_i为随机构造的500个判断矩阵。

一致性比率：CR＝CI/RI。当CR<0.1时认为该判断矩阵不一致程度在容许范围之内，可将其归一化特征向量作为权向量。

(3)判断矩阵修正。根据输入的指标和预期结果范围进行比较，根据误差情况调整判断矩阵中各项元素的值。调节过程中，根据两项指标对结果产生影响的变化率，调节其相互间的标度值。

当评估结果偏大时，则减小正向变化率较快的指标的标度值。例如，目标状态评估模型中，TCP建立连接时间的计算模型与丢包率相比，值的变化率较大。因此，当计算值与预期值相比较大时，减小TCP建立连接时间对于丢包率的标度值。

一体化评估过程中，用户体验和目标状态评估中的各项指标，对评估结果的重要性各不相同，因此需要为其赋予不同的权值。然而，在所选取的各项指标中，由于网络环境中的流量分布、测量方法的限制等不确定性因素，难以使用统一的较为精确的定量标准。采用层次化分析方法，根据各层指标对上层因素的影响，决定该层指标的权值；通过反馈的方式对分层权值进行动态调整。对一体化评估产生影响的指标包括目标状态评估、链路流量变化、用户体验质量，因此通过层次化分析和反馈的方法，确定三项权值，进行下一周期的网络状态及性能评估计算，在有效的测量时间间隔内，根据网络目标状态、骨干链路流量分布和用户体验质量的测量值，采取层次化动态赋权值的方法，能够实时反映当前的网络性能及状态；针对网络性能的评价，参考多方面因素，不仅考虑采用被动测量手段得到的网络骨干链路流量及业务分布情况，也采纳了主动测量方法得到的目标主机状态的多项性能指标，同时考虑了用户对网络的体验质量，避免了评价指标的单一性；在一体化网络性能评估的框架下，可以容易的扩展到其他的评价指标，采用层次化赋权值的方法，引入到评价体系中来。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种适用于网络状态及性能测量的一体化动态赋权评估方法，其特征在于，包含如下步骤：

步骤3、对网络目标主机状态、用户体验质量及网络链路流量变化的评估值进行层次化动态赋权，通过评估模型完成当前评估周期中网络状态及性能的一体化评估，确定网络目标主机状态、用户体验质量及网络链路流量变化的三项权值，返回步骤1进入下一评估周期；

层次化动态赋权，包含如下内容：构建判断矩阵，其中，判断矩阵中的元素通过Santy的1-9标度方法给出各性能指标间两两重要性比较结果；计算判断矩阵的最大特征值以及对应的特征向量，通过一致性指标、随机一致性指标和一致性比率做一致性检验，确定权向量；根据输入的性能指标与预期结果进行比较，确定误差范围；根据误差范围调整判断矩阵中各项元素，并通过两项性能指标产生的变化率，调节其相互间的标度值；通过一致性指标、随机一致性指标和一致性比率做一致性检验，确定权向量，具体包含如下内容：

一致性指标：CI＝(λ-n)/(n-1)，其中λ为最大特征根，n为唯一的非零特征根；

随机一致性指标：其中，CI_i为随机构造的500个判断矩阵中的第i个判断矩阵；

一致性比率：CR＝CI/RI；

当CR＜0.1时，判定该判断矩阵不一致程度在容许范围之内，将其归一化特征向量作为权向量。

2.根据权利要求1所述的适用于网络状态及性能测量的一体化动态赋权评估方法，其特征在于，步骤1中：通过主动测量方法对网络目标主机状态、用户体验质量进行测量；通过被动测量方法对网络链路流量变化进行测量。

3.根据权利要求2所述的适用于网络状态及性能测量的一体化动态赋权评估方法，其特征在于，所述的主动测量方法是指：通过向网络中注入流量来检测指定端点之间的性能；所述的被动测量方法是指：通过网络中路由器或交换机或独立探针设备被动地检测网络链路流量。

4.根据权利要求2或3任一项所述的适用于网络状态及性能测量的一体化动态赋权评估方法，其特征在于，对网络目标主机状态进行测量是指：测量网络目标主机状态的性能指标，包含：往返时延、丢包率、TCP连接建立时间、往返时延抖动、排队时延、排队字节、双向链路容量和带宽；对用户体验质量进行测量是指：通过测量相邻两次采样点指标值，计算单位时间传输的用户体验质量性能指标，包含：用户包吞吐率p、用户字节吞吐率b、icmp包吞吐率m、syn包吞吐率s及fin包吞吐率f；对网络链路流量变化进行测量是指：被动测量网络链路吞吐量在设定范围内的链路状态参数，链路状态参数包含：测量前后网络链路流量的变化值、链路带宽和链路流量变化阈值。

5.根据权利要求4所述的适用于网络状态及性能测量的一体化动态赋权评估方法，其特征在于，步骤2中对网络目标主机状态的指标测量数据进行归一化处理，获取评估值，包含内容如下：通过网络目标主机状态性能指标评估模型，计算得到各性能指标的评估结果，对各项性能指标进行动态赋权获取对应的权值，通过各项性能指标的加权系数对性能指标进行加权求和，得到网络目标主机状态评估值。

6.根据权利要求4所述的适用于网络状态及性能测量的一体化动态赋权评估方法，其特征在于，步骤2中对用户体验质量的指标测量数据进行归一化处理，获取评估值，包含如下内容：通过相邻测量采样点时间，计算用户体验质量各性能指标吞吐率及性能指标对应的用户体验值，对各性能指标进行加权处理，并通过用户体验质量评估模型，得到用户体验质量评估值。

7.根据权利要求4所述的适用于网络状态及性能测量的一体化动态赋权评估方法，其特征在于，步骤2中对网络链路流量变化的指标测量数据进行归一化处理，通过层次化动态赋权获取评估值，包含如下内容：通过网络链路流量变化评估模型对链路状态进行性能评估，得到网络链路流量变化评估值。

8.根据权利要求1所述的适用于网络状态及性能测量的一体化动态赋权评估方法，其特征在于，层次化动态赋权，包含如下内容：读取预设的判断矩阵，通过层次化分析获取各项性能指标使用权值，通过该使用权值对性能指标输入进行模型评估计算，获取一体化评估结果；将该一体化评估结果与预期结果进行误差判定，修正判断矩阵，并进入下一评估周期。