CN102546220A - 一种基于业务特征的关键质量指标构成方法 - Google Patents

一种基于业务特征的关键质量指标构成方法 Download PDF

Info

Publication number
CN102546220A
CN102546220A CN2010106244514A CN201010624451A CN102546220A CN 102546220 A CN102546220 A CN 102546220A CN 2010106244514 A CN2010106244514 A CN 2010106244514A CN 201010624451 A CN201010624451 A CN 201010624451A CN 102546220 A CN102546220 A CN 102546220A
Authority
CN
China
Prior art keywords
kqi
information
professional
interconnects
packet loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010106244514A
Other languages
English (en)
Other versions
CN102546220B (zh
Inventor
李建新
林文周
黄海辉
倪志刚
方津
李宁
廖维
石海旭
刘靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NOKIA SIEMENS NETWORKS NETWORK TECHNOLOGY SERVICES Ltd
China Mobile Group Fujian Co Ltd
Original Assignee
NOKIA SIEMENS NETWORKS NETWORK TECHNOLOGY SERVICES Ltd
China Mobile Group Fujian Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NOKIA SIEMENS NETWORKS NETWORK TECHNOLOGY SERVICES Ltd, China Mobile Group Fujian Co Ltd filed Critical NOKIA SIEMENS NETWORKS NETWORK TECHNOLOGY SERVICES Ltd
Priority to CN201010624451.4A priority Critical patent/CN102546220B/zh
Publication of CN102546220A publication Critical patent/CN102546220A/zh
Application granted granted Critical
Publication of CN102546220B publication Critical patent/CN102546220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种基于业务特征的关键质量指标构成方法。该方法包括:对业务进行分类,根据分类业务内容以及应用场景创建分类业务模型;根据分类业务模型提取分类业务模型中业务KQI对应的产品KQI视角及产品KQI视角对应的业务KQI视角;提取构成业务KQI视角的网络关键性能指标KPI参数并确定权重系数;根据上述确定的业务KQI对应的网络KPI参数,获取业务KQI构成公式。应用本发明,可以避免网络KPI指标的局限性和业务KQI定义的不明确性,提高KQI可靠性。

Description

一种基于业务特征的关键质量指标构成方法
技术领域
本发明涉及网管技术,特别涉及一种基于业务特征的关键质量指标(KQI,Key Quality Indicator)构成方法。
背景技术
随着3G技术的推广,越来越多的电信和网络新业务伴随着新技术出现,这些新业务注重用户的感受或感知,并通过KQI来表征业务质量,根据KQI评估用户的感知。
目前通过KQI表征业务质量的研究主要还停留在理论层面,世界电信管理论坛(TMF)组织在GB917、GB923对KQI的描述是“业务在某个方面的质量的直接量度”,并且提出KQI是“由多个关键性能指标(KPI,KeyPerformance Indicator)的度量因子决定,这些KPI度量因子是支撑该业务的资源(网络的或非网络的)和下层业务的性能量度”,但TMF并没有给出KQI的构成方法和示例。
基于TMF的上述描述,现有技术中,从理论角度提出了一种KQI通用性构成方法,其通用性的KQI构成公式如下:
KQI = F ( Σ i = 1 n KPI i * W i )
式中,
F为映射算法,表示映射到KQI的算法;
i,n为自然数;
W为权重系数。
KQI的构成步骤为:
首先,确定KQI,明确影响KQI的KPI范围;
其次,寻求KPI和KQI的映射关系,即函数F的描述;
然后,确定根据KPI对KQI的影响程度来确定该KPI在整个KQI计算过程中的权重系数W并进行量化。
以互联网接入业务的丢包率指标为例,按照上述通用的KQI构成方法,先统计接入层至核心层之间的时延大小,抽样统计5个测试点,取时延大小平均值,再通过在核心层上,对专线地址进行100次100字节的ping包测试,取平均值得到丢包率的KQI。该通用的KQI构成方法存在如下不足:当用户由于自身业务造成带宽占满时,采用ping包方式测试丢包显然不合理;同时,采用平均计算方法不能反映网络闲忙的真实情况;进一步地,该构成方法没有考虑到互联互通问题;而且,没有考虑到互联网接入的无源光网络(PON,Passive Optical Network)接入方式时,光网络单元(ONU,Optical Network Unit)收敛到一个光纤线路终端(OLT,Optical Line Terminal)时带宽不足的情况。
由上述可见,现有技术中,用户感知以业务质量为基础,但由于业务质量并不是业务所承载的网络质量的简单相加,因此,在实际应用中,常常会出现网络多项KPI优秀,但总体业务KQI质量不佳、客户感知较差的情况。也就是说,现有的网络KPI考核体系(KQI通用性构成方法),考虑的参数少,不能全面衡量业务质量水平,并缺乏对具体业务KQI的构成研究,而不同业务的KQI,显然不能采用同一方法进行计算,因而,无法对业务维护和优化起到实际作用,存在如下缺陷:
一、KQI的定义方向不明确:不同的业务,业务质量的表征差别较大,现有通用性的KQI构成方法,不同业务采用相同计算方法,导致KQI的定义笼统,不具有针对性,在实际操作中,常常会陷入现有KPI的设计模式中,无法起到衡量业务质量的作用;
二、缺乏对KPI和KQI映射关系的描述:现有的KQI构成方法,没有明确具体的映射算法,不能反映KPI与KQI间的关联关系,造成KQI函数关系失效,缺乏具体实施的可行性;
三、指标构成范围过窄:现有的KQI构成方法,在指标构成范围上定义过窄,例如,对于互联网接入业务的丢包率指标,仅考虑时延大小以及ping包测试参数的影响,仅对网络KPI进行约束,没有考虑网络告警类、日志类、信令类等指标范围,因而,不能真实快速反映业务质量要求、KQI可靠性较低。
发明内容
有鉴于此,本发明的主要目的在于提出一种基于业务特征的关键质量指标构成方法,基于业务特征构建KQI,避免网络KPI指标的局限性和业务KQI定义的不明确性,提高KQI可靠性。
为达到上述目的,本发明提供了一种基于业务特征的关键质量指标构成方法,该方法包括:
对业务进行分类,根据分类业务内容以及应用场景创建分类业务模型;
根据分类业务模型提取分类业务模型中业务KQI对应的产品KQI视角及产品KQI视角对应的业务KQI视角;
提取构成业务KQI视角的网络关键性能指标KPI参数并确定权重系数;
根据上述确定的业务KQI对应的网络KPI参数,获取业务KQI构成公式。
所述对业务进行分类具体包括:
根据用户需求将业务分类为:互联网专线业务、互联网接入业务、语音专线业务、数据专线业务以及短信业务。
所述分类业务为互联网接入业务,所述分类业务模型为互联网接入业务模型,包括依序相连的用户端设备、末端接入设备、接入层用户设备CE、汇聚层CE、核心层CE以及因特网出口设备。
所述产品KQI视角包括:业务可用性指标、业务完整性指标、业务及时性指标、业务准确性指标、业务稳定性指标、模拟用户感知指标中的一种或其任意组合。
所述业务可用性指标对应的业务KQI视角为业务不可用告警信息;
所述业务完整性指标对应的业务KQI视角为端到端丢包率信息;
所述业务及时性指标对应的业务KQI视角为端到端时延信息以及互联互通速率信息;
所述业务稳定性指标对应的业务KQI视角为互联互通流量信息;
所述模拟用户感知指标对应的业务KQI视角为用户应用速率信息。
所述业务KQI视角为业务不可用告警,所述网络关键性能指标KPI参数包括:地市离线告警信息、专线离线告警信息、数据设备不可用告警信息以及传输设备不可用告警信息。
所述业务KQI视角为端到端丢包率,所述网络关键性能指标KPI参数包括:流量繁忙度信息、连接繁忙度信息、市侧丢包率信息、互联互通忙时丢包率信息、全程丢包率信息、省侧丢包率信息、互联互通丢包率信息以及互联互通闲时丢包率信息。
所述提取网络关键性能指标KPI参数并确定权重系数具体包括:
A1、按照预先设置的周期获取用户端设备的流量繁忙度;
A2、判断流量繁忙度是否大于预先设定的流量繁忙度阈值,如果是,执行步骤A7,否则,执行步骤A3;
A3、按照预先设置的周期获取用户端设备的连接繁忙度;
A4、判断连接繁忙度是否大于预先设定的连接繁忙度阈值,如果是,执行步骤A7,否则,执行步骤A5;
A5、统计市侧丢包率;
A6、统计获取全程丢包率,执行步骤A8;
A7、不进行丢包率统计;
A8、分别统计获取市侧忙闲时丢包率、省侧丢包率以及互联互通丢包率;
A9、确定各网络KPI参数的权重系数。
所述业务KQI视角为端到端时延,所述网络关键性能指标KPI参数包括:流量繁忙度信息、连接繁忙度信息、全程时延信息、省侧时延信息、市侧时延信息、互联互通忙时时延信息、互联互通时延信息以及互联互通闲时时延信息。
所述业务KQI视角为互联互通速率,所述网络关键性能指标KPI参数包括:互联互通峰值带宽利用率信息、互联互通平均速率信息、互联互通平均带宽利用率信息以及互联互通峰值速率信息。
所述业务KQI视角为互联互通流量,所述网络关键性能指标KPI参数包括:互联互通下行端口流量信息、互联互通端口总流量信息以及互联互通上行端口流量信息。
所述业务KQI视角为用户应用速率,所述网络关键性能指标KPI参数包括:互联互通下载速率信息以及互联互通页面打开速率信息。
所述获取业务KQI构成公式具体包括:
端到端闲时丢包率I的计算公式为:
I=0.4C+0.6(D+H+F)
端到端忙时丢包率J的计算公式为:
J=0.3C+0.7(D+G+F)
端到端日均丢包率K的计算公式为:
K=0.3∑I+0.7∑J
式中,
C为全程丢包率;
D为省侧丢包率;
H为互联互通闲时丢包率;
F为互联互通丢包率;
G为互联互通忙时丢包率。
所述获取业务KQI构成公式进一步包括:
端到端闲时时延I′的计算公式为:
I′=0.4C′+0.6(D′+H′+F′)
端到端忙时时延J′的计算公式为:
J′=0.3C′+0.7(D′+G′+F′)
端到端日均时延K′的计算公式为:
K′=0.3∑I′+0.7∑J′
式中,
C′为全程时延;
D′为省侧时延;
H′为互联互通闲时时延;
F′为互联互通时延;
G′为互联互通忙时时延。
所述获取业务KQI构成公式进一步包括:
互联互通速率E1的计算公式为:
E1=0.6A1+0.4B1
互联互通日均速率L的计算公式为:
L = Σ E 1 24
式中,
A1为互联互通峰值速率;
B1为互联互通平均速率。
所述获取业务KQI构成公式进一步包括:
互联互通流量D2的计算公式为:
D2=∑(0.4A2+0.6B2)
互联互通日均流量M的计算公式为:
M=∑D2
式中,
A2为互联互通上行端口流量;
B2为互联互通下行端口流量。
所述获取业务KQI构成公式进一步包括:
业务不可用告警N的计算公式为:
N=A3∪B3∪C3∪D3
式中,
A3为地市离线告警;
B3为专线离线告警;
C3为数据设备不可用告警;
D3为传输设备不可用告警。
所述获取业务KQI构成公式进一步包括:
忙时用户应用速率C4的计算公式为:
C 4 = Σ ( 0.7 A 4 + 0.3 B 4 ) 4
闲时用户应用速率D4的计算公式为:
D 4 = Σ ( 0 . 5 A 4 + 0 . 5 B 4 ) 4
日均用户应用速率P的计算公式为:
P = Σ C 4 + Σ D 4 4
式中,
A4为互联互通页面打开速率;
B4为互联互通下载速率。
进一步包括:
根据获取的业务KQI构成公式,统计、分析所述互联网接入业务KQI构成公式涉及的各管理对象间关系结构信息。
管理对象间关系结构包括:集客客户、地理信息、机房信息、互联网业务、接入端设备、协转设备、局端设备、传输设备、设备信息以及端口信息,其中,
互联网业务分别与集团客户、地理信息、机房信息、接入端设备、协转设备、局端设备、传输设备相连,接入端设备分别与协转设备、设备信息以及端口信息相连,协转设备分别与局端设备、设备信息以及端口信息相连,局端设备分别与传输设备、设备信息以及端口信息相连,传输设备分别与设备信息以及端口信息相连,设备信息与端口信息相连。
由上述的技术方案可见,本发明提供的一种基于业务特征的关键质量指标构成方法,对业务进行分类,根据分类业务内容以及应用场景创建分类业务模型;根据分类业务模型提取分类业务模型中业务KQI对应的产品KQI视角及产品KQI视角对应的业务KQI视角;提取构成业务KQI视角的网络关键性能指标KPI参数并确定权重系数;根据上述确定的业务KQI对应的网络KPI参数,获取业务KQI构成公式。这样,基于业务特征构建KQI,避免了网络KPI指标的局限性和业务KQI定义的不明确性,提高了KQI可靠性。
附图说明
图1为本发明实施例的基于业务特征的关键质量指标构成方法流程示意图。
图2为本发明实施例建立的互联网接入业务模型结构示意图。
图3为本发明实施例针对互联网接入业务模型提取的网络KPI参数结构示意图。
图4为本发明实施例端到端丢包率中确定网络KPI及其权重系数的流程示意图。
图5为本发明实施例互联网接入业务的管理对象间关系结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图及具体实施例对本发明作进一步地详细描述。
现有技术中,按照通用的KQI构成方法,计算得到的KQI可靠性不高,例如,针对互联网接入业务构成的KQI与网络KPI区别不大,不能满足全面衡量互联网接入业务质量的需求。本发明实施例中,通过对业务进行分类,构建分类业务模型,基于分类业务模型提取业务特征,基于业务特征挖掘并扩充新的指标,进而构成业务KQI体系,以便更好地描述网络和业务状况,贴近客户感知,有针对性地开展网络和具体业务的维护与优化工作。主要解决的技术问题如下:
一、提出基于业务特征的KQI构成方法,解决现有的KQI构成方法中的KQI定义方向不明、缺乏具体映射关系描述、指标构成范围定义过窄等问题;
二、通过互联网接入业务的KQI体系构建本发明实施例的基于业务特征的KQI构成方法:由于互联网接入业务相对复杂,不仅接入方式多样,并且涉及到传输和数据专业,本发明实施例建立互联网接入业务的模型和KQI体系,并推导出互联网接入业务的管理对象间关系。
图1为本发明实施例的基于业务特征的关键质量指标构成方法流程示意图。参见图1,该流程包括:
步骤101,分类业务,根据分类业务内容以及应用场景创建分类业务模型;
本步骤中,由于不同具体业务涉及的参数不同,各参数对该业务KQI的影响也不一样,因而,每一具体业务,具有相应的业务KQI计算公式。
本发明实施例中,根据用户需求对业务进行分类,例如,可以分类为:互联网专线业务、互联网接入业务、语音专线业务、数据专线业务以及短信业务等,并针对互联网接入业务内容以及应用场景创建互联网接入业务模型。对于其他分类业务,可以依据与互联网接入业务相类似的方法,构建相应业务模型,并基于业务模块提出相应KQI公式,后续不再赘述。
互联网接入业务内容涉及用户端设备、末端接入设备、接入层用户设备(CE,Customer Equipment)、汇聚层CE、核心层CE以及因特网出口设备。
在接入层CE与用户端设备之间,应用场景可分为协转、基于SDH的多业务传输平台(MSTP,Multi-Service Transfer Platform)、PON三种应用场景。
本发明实施例中,在用户端接入侧,考虑汇聚层侧以及核心层侧CE,即传输设备的影响,通过梳理互联网接入业务应用场景,建立互联网接入业务模型。
图2为本发明实施例建立的互联网接入业务模型结构示意图。参见图2,该业务模型包括:因特网出口设备、核心层CE、汇聚层CE、接入层CE、末端接入设备以及用户侧设备,其中,
因特网出口设备包括与因特网相连的双备份的因特网路由器,双备份的因特网路由器之间相互连接;
核心层CE包括双备份的核心路由器,分别与双备份的因特网路由器相连,双备份的核心路由器之间相互连接;
汇聚层CE包括双备份的分公司核心路由器,分别与双备份的核心路由器相连,双备份的分公司核心路由器之间相互连接;
汇聚层及汇聚层以上的设备为传输设备。
接入层CE包括县市汇聚交换机以及协议转换器,县市汇聚交换机与双备份的分公司核心路由器相连,可以通过协转、MSTP、PON三种应用场景进行传输;
末端接入设备包括接入端设备、光电转换器、OLT以及无源分光器,对于协转应用场景传输方式,多个接入端设备形成MSTP/SDH环,分别与光电转换器以及接入层CE的协议转换器相连;对于MSTP应用场景传输方式,多个接入端设备形成MSTP环,与接入层CE的县市汇聚交换机相连;对于PON应用场景传输方式,OLT与接入层CE的县市汇聚交换机相连,输出至无源分光器;
用户侧设备包括光电转换器、协议转换器、路由器、交换机、用户侧应用、MSTP客户端设备以及ONU,对于协转应用场景传输方式,末端接入设备的光电转换器通过单链路传输至用户侧设备的光电转换器,经协议转换器、路由器、交换机传输至用户侧应用;对于MSTP应用场景传输方式,末端接入设备的接入端设备通过单链路传输至MSTP客户端设备,经路由器、交换机传输至用户侧应用;对于PON应用场景传输方式,ONU与末端接入设备的无源分光器相连,经路由器、交换机传输至用户侧应用。
步骤102,根据分类业务模型提取分类业务模型中业务KQI对应的产品KQI视角及产品KQI视角对应的业务KQI视角;
本步骤中,针对目前KQI通用构成方法中,KQI定义方向不明确的问题,本发明实施例将现有业务KQI一网络KPI延展到产品KQI一业务KQI一网络KPI,提出从产品KQI视角来定义业务KQI视角。
针对互联网接入业务模型,进行统计、分析以及分类,提取并确定的产品KQI视角及其对应的业务KQI视角如表1所示。
表1
  产品KQI视角   业务KQI视角
  业务可用性   业务通断情况
  业务完整性   丢包、丢包率
  业务及时性   时延、速率
  业务准确性   抖动、误码
  业务稳定性   带宽利用率、流量
  模拟用户感知   页面打开速率、下载速率
由表1可见,产品KQI视角(被考核任务)包括:
业务可用性,对应业务KQI视角的业务通断情况,即业务不可用告警,也就是说,产品KQI视角的业务可用性指标可以用业务KQI视角的业务通断情况指标进行表征;
业务完整性,对应业务KQI视角的丢包、丢包率,即端到端丢包率;
业务及时性,对应业务KQI视角的时延、速率,即端到端时延;
业务准确性,对应业务KQI视角的抖动、误码;
业务稳定性,对应业务KQI视角的带宽利用率、流量,即互联互通流量;以及,
模拟用户感知,对应业务KQI视角的页面打开速率、下载速率,即用户应用速率。
根据定义的业务KQI视觉,可以从四个方面确定业务KQI的构成,如表2所示。
表2
 方式1  对现有KQI进行分析,寻找其不合理地方,进行修订
 方式2  将现有KQI进行端到端分解,按时间、空间细化KQI
 方式3  将现有分散的网络KPI进行加权组合,形成端到端的考核指标
 方式4  从业务视角增加新的KQI
表2中,如果现有技术中存在KQI计算公式(构成方法),则可以对其进行分析,寻找其不合理地方,进行修订;或者,对业务进行分类,按照分类的具体业务对KQI进行端到端分解,按时间、空间细化KQI;或者,按照分类的具体业务将现有分散的网络KPI进行加权组合,形成端到端的考核指标(KQI);或者,按照分类的具体业务,从业务KQI视角增加新的业务KQI视角以提高KQI可靠性。
步骤103、提取构成业务KQI视角的网络KPI参数;
本步骤中,根据业务KQI的视角和构成方向,即构成业务KQI的业务KQI视角,从互联网接入业务模型中,确定端到端的网络KPI参数,也就是业务特征参数,并明确网络KPI参数的所属业务、统计周期、计算方法、数据源系统、数据获取起点、数据获取终点、获取方式、获取周期、对获取点影响、该网络KPI对KQI的作用等内容。
图3为本发明实施例针对互联网接入业务模型提取的网络KPI参数结构示意图。参见图3,依据层次关系,分为:产品KQI视角、业务KQI视角以及KPI参数,其中,
产品KQI视角包括:业务可用性、业务完整性、业务及时性、业务准确性、业务稳定性以及模拟用户感知,其中,
业务可用性,通过业务KQI视角的业务不可用告警来表征,对应的KPI参数(业务不可用告警)包括:地市离线告警、专线离线告警、数据设备不可用告警以及传输设备不可用告警;
业务完整性,通过端到端丢包率来表征,网络KPI参数包括:流量繁忙度、连接繁忙度、市侧丢包率、互联互通忙时丢包率、全程丢包率、省侧丢包率、互联互通丢包率以及互联互通闲时丢包率;
业务及时性,通过端到端时延以及互联互通速率来表征,其中,端到端时延包括:流量繁忙度、连接繁忙度、全程时延、省侧时延、市侧时延、互联互通忙时时延、互联互通时延以及互联互通闲时时延;互联互通速率包括:互联互通峰值带宽利用率、互联互通平均速率、互联互通平均带宽利用率以及互联互通峰值速率;
业务稳定性,以互联互通流量进行表征,网络KPI参数包括:互联互通下行端口流量、互联互通端口总流量以及互联互通上行端口流量;
模拟用户感知,以用户应用速率进行表征,网络KPI参数包括:互联互通下载速率以及互联互通页面打开速率。
实际应用中,对于提取的业务KQI视角对应的网络KPI参数,可以根据实际需要确定,例如,对于业务不可用告警对应的网络KPI参数,可以是地市离线告警、专线离线告警、数据设备不可用告警以及传输设备不可用告警中的一个或其任意组合。
步骤104,确定提取的各网络KPI参数的权重系数;
本步骤中,采用径向基函数(RBF,Radial Basis Function)神经元网络的数据处理方法来确定KQI的各网络KPI参数的权重系数,即以各网络KPI参数为输入、业务KQI为输出,采用径向基函数为
Figure BSA00000416485600131
Figure BSA00000416485600141
构建网络模型,获取各网络KPI参数的权重系数,其中输入样本可以选择1周每小时粒度的网络KPI参数数据。构建的网络模型如下:
net=SerKQI(P,T,0,1,MN,DF)
其中:
P为输入矢量,为RXQ矩阵,其中R为各网络KPI参数数量,Q为样本矢量,即168(=7×24,1周每小时粒度)个矢量;
T为输出矢量,包含Q(=168)个矢量,数值根据业务经验和模拟客户感知获得;
MN为隐层神经元个数最大值,本网络模型缺省为Q;
DF为网络每次迭代时隐层神经元个数递增量,本网络模型缺省为25。
以RBF神经训练数据为基础,根据业务经营综合考虑并微调获得业务KQI的各网络KPI参数的权重系数。
以下以互联网接入业务的业务KQI视角“端到端丢包率”为例,对确定其所属的网络KPI参数的权重系数进行说明,其他业务KQI视角所属的网络KPI参数的权重系数可根据相类似的方法进行确定,后续不再赘述。
图4为本发明实施例端到端丢包率中确定网络KPI及其权重系数的流程示意图。参见图4,该流程包括:
步骤401,开始互联网接入业务KQI,进行端到端丢包率中各网络KPI权重系数确定流程;
步骤402,按照预先设置的周期获取用户端设备的流量繁忙度;
本步骤中,每15分钟获取用户端设备的流量繁忙度,当然,也可以每隔10分钟,或每隔20分钟。
流量繁忙度计算公式为:
η = φ B
式中,
η为流量繁忙度;
φ为单位时间内总IP流量,本发明实施例中,单位时间为1分钟;
B为分配带宽。获取单位时间内总IP流量以及分配带宽属于现有技术,具体可参见相关技术文献,在此不再赘述。以下计算获取连接繁忙度、市侧丢包率、互联互通忙时丢包率、全程丢包率、省侧丢包率、互联互通丢包率以及互联互通闲时丢包率中各参数的方法与获取单位时间内总IP流量以及分配带宽的方法相同,都属于现有技术。
步骤403,判断流量繁忙度是否大于预先设定的流量繁忙度阈值,如果是,执行步骤408,否则,执行步骤404;
本步骤中,预先设定的流量繁忙度阈值为0.6,依据经验以及同即确定。进行判断的目的是去除用户侧行为影响。
步骤404,按照预先设置的周期获取用户端设备的连接繁忙度;
本步骤中,预先设置的周期与步骤402中相同。
连接繁忙度计算公式为:
Figure BSA00000416485600151
式中,
α为连接繁忙度;
Figure BSA00000416485600152
为当前连接数;
Figure BSA00000416485600153
为最大连接数,与用户侧设备有关,可根据统计以及经验确定。
步骤405,判断连接繁忙度是否大于预先设定的连接繁忙度阈值,如果是,执行步骤408,否则,执行步骤406;
本步骤中,预先设定的连接繁忙度阈值为0.9。进行判断的目的是去除用户侧行为影响。
步骤406,统计市侧丢包率;
本步骤中,通过在市端,即汇聚层CE上ping专线地址,统计市侧丢包率。
步骤407,统计获取全程丢包率;
本步骤中,通过在省端,即核心层CE上ping专线地址,统计全程丢包率。
步骤408,不进行丢包率统计;
本步骤中,当流量繁忙度大于预先设定的流量繁忙度阈值时,不进行丢包率统计,即在计算业务KQI的端到端丢包率时,不考虑流量繁忙度、连接繁忙度、市侧丢包率以及全程丢包率的影响。
步骤409,统计获取市侧忙闲时丢包率;
本步骤中,在获取的市侧丢包率信息中,统计并区分市侧在忙闲时的丢包率。
步骤410,针对PON接入方式,标识上下行带宽;
本步骤中,标识ONU收敛到一个OLT时带宽汇总情况信息。
步骤411,统计获取省侧丢包率;
本步骤中,统计并区分省侧丢包情况:通过在核心层CE上ping汇聚层CE,统计省侧丢包率。
步骤412,统计获取互联互通丢包率;
本步骤中,通过在核心层CE上ping特定因特网地址,统计计算互联互通丢包率以及闲时、忙时互联互通丢包率。
这样,通过以上步骤,就获取了基于业务特征的互联网接入业务模型中端到端的各网络KPI参数。
步骤413,确定各网络KPI参数的权重系数。
本步骤中,根据业务KQI,依据统计及经验,分别确定其对应的网络KPI参数的权重系数。
步骤105,根据上述确定的业务KQI对应的网络KPI参数,获取业务KQI构成公式。
本步骤中,在确定业务KQI各关联KPI权重系数的基础上,确定业务KQI构成公式。
针对互联网接入业务,部分业务KQI构成公式(计算公式)如表3所示。
表3
Figure BSA00000416485600171
Figure BSA00000416485600181
由表3可见,本发明实施例中,业务KQI计算公式包括六大部分。
一、端到端丢包率:
包括:端到端闲时丢包率、端到端忙时丢包率以及端到端日均丢包率,涉及的网络KPI参数包括:省侧丢包率、全程丢包率、互联互通丢包率、互联互通忙时丢包率以及互联互通闲时丢包率。
端到端闲时丢包率I的计算公式为:
I=0.4C+0.6(D+H+F)
端到端忙时丢包率J的计算公式为:
J=0.3C+0.7(D+G+F)
端到端日均丢包率K的计算公式为:
K=0.3∑I+0.7∑J
式中,
C为全程丢包率;
D为省侧丢包率;
H为互联互通闲时丢包率;
F为互联互通丢包率;
G为互联互通忙时丢包率。
二、端到端时延:
包括:端到端闲时时延、端到端忙时时延以及端到端日均时延,涉及的网络KPI参数包括:全程时延、省侧时延、互联互通时延、互联互通忙时时延以及互联互通闲时时延。
端到端闲时时延I′的计算公式为:
I′=0.4C′+0.6(D′+H′+F′)
端到端忙时时延J′的计算公式为:
J′=0.3C′+0.7(D′+G′+F′)
端到端日均时延K′的计算公式为:
K′=0.3∑I′+0.7∑J′
式中,
C′为全程时延;
D′为省侧时延;
H′为互联互通闲时时延;
F′为互联互通时延;
G′为互联互通忙时时延。
三、互联互通速率E1的计算公式为:
E1=0.6A1+0.4B1
互联互通日均速率L的计算公式为:
L = Σ E 1 24
式中,
A1为互联互通峰值速率;
B1为互联互通平均速率。
四、互联互通流量D2的计算公式为:
D2=∑(0.4A2+0.6B2)
互联互通日均流量M的计算公式为:
M=∑D2
式中,
A2为互联互通上行端口流量;
B2为互联互通下行端口流量。
五、业务不可用告警N的计算公式为:
N=A3∪B3∪C3∪D3
式中,
A3为地市离线告警;
B3为专线离线告警;
C3为数据设备不可用告警;
D3为传输设备不可用告警。
实际应用中,可以以天为单位记录业务不可用告警次数,其中,剔除用户端设备用户自行停电行为,建议考核时段为8:00-22:00。
六、忙时用户应用速率C4的计算公式为:
C 4 = Σ ( 0.7 A 4 + 0.3 B 4 ) 4
闲时用户应用速率D4的计算公式为:
D 4 = Σ ( 0 . 5 A 4 + 0 . 5 B 4 ) 4
日均用户应用速率P的计算公式为:
P = Σ C 4 + Σ D 4 4
式中,
A4为互联互通页面打开速率;
B4为互联互通下载速率。
至此,基于业务特征的关键质量指标构成方法流程结束。
进一步地,在互联网接入业务的KQI体系基础上,结合各网络KPI参数,可以统计、分析并推导出互联网接入业务KQI构成方法涉及的各管理对象间关系。
图5为本发明实施例互联网接入业务的管理对象间关系结构示意图。参见图5,该管理对象间关系结构包括:集客客户、地理信息、机房信息、互联网业务、接入端设备、协转设备、局端设备、传输设备、设备信息以及端口信息,其中,
互联网业务分别与集团客户、地理信息、机房信息、接入端设备、协转设备、局端设备、传输设备相连,接入端设备分别与协转设备、设备信息以及端口信息相连,协转设备分别与局端设备、设备信息以及端口信息相连,局端设备分别与传输设备、设备信息以及端口信息相连,传输设备分别与设备信息以及端口信息相连,设备信息与端口信息相连。
集团客户管理对象包括:名称、编号、类别、星级、联系人、地址等;
地理信息管理对象包括:市县、区镇、街道、经度、纬度、环境特点等;
机房信息管理对象包括:市县、区镇、街道、经度、纬度、环境特点等;
互联网业务管理对象包括:客户、开通带宽、开通时间、业务状态、接入方式、IP地址及掩码、局端设备、接入设备、设备安装位置、其他限制等;
接入端设备管理对象包括:设备名称、设备编号、设备类型、设备厂家、设备位置、业务类型、客户编号、接入方式、端口编号、端口类型、IP地址及掩码、VLAN ID、设备序列号、协转编号、对端设备编号、对端设备端口编号、上下行带宽限制等;
协转设备管理对象包括:设备名称、设备编号、设备类型、设备厂家、设备位置、业务类型、客户编号、协转端口类型、协转端口编号、局端设备编号、局端设备端口编号、接入端设备编号、接入端设备端口编号、对端协转设备编号、对端协转端口编号等;
局端设备管理对象包括:设备名称、设备编号、设备类型、设备厂家、设备位置、业务类型、客户编号、接入方式、端口编号、端口类型、IP地址及掩码、VLAN ID、协转编号、接入端设备编号、接入端设备端口编号、传输设备网元编号、传输设备端口编号等;
传输设备管理对象包括:设备名称、设备编号、设备类型、设备厂家、设备位置、业务类型、客户编号、连接方式、拓扑位置、端口编号、端口类型、协转编号、接入端设备编号、接入端设备端口编号、局端设备编号、局端设备端口编号、电路编号等;
设备信息管理对象包括:设备名称、设备编号、设备类型、设备厂家、设备位置等;
端口信息管理对象包括:设备名称、端口编号、端口类型、接入方式等。
由上述可见,本发明实施例的基于业务特征的关键质量指标构成方法,分类业务,根据分类业务内容以及应用场景创建分类业务模型;根据分类业务模型提取分类业务模型中业务KQI对应的产品KQI视角及产品KQI视角对应的业务KQI视角;提取构成业务KQI视角的网络KPI参数;确定提取的各网络KPI参数的权重系数;根据上述确定的业务KQI对应的网络KPI参数,获取业务KQI构成公式。这样,弥补了现有的KQI构成方法的KQI定义方向不明、缺乏映射关系描述、指标构成范围定义过窄等不足,基于业务特征构建KQI,避免了网络KPI指标的局限性和业务KQI定义的不明确性,提高了KQI可靠性,具体来说,具有如下技术效果:
1、面向具体业务,指导性更强,更具有针对性,易于方法使用和操作;
2、基于业务特征,从产品KQI视角入手,按照“产品KQI一业务KQI一网络KPI”的方法构建业务KQI体系,避免网络KPI指标的局限性和业务KQI指标定义的不明确性;
3、归纳网络接入业务模型,并采用径向基函数神经元网络的数据处理方法来确定KQI的各KPI参数的权重系数,将网络接入业务所涉及的专业和指标统筹考虑,实现真正的业务端到端的质量评估;
4、在业务KQI体系基础上,推导业务管理对象间关系,完善业务KQI体系,对支撑平台建设提供指导,将业务KQI进行落地,更有利于业务KQI的应用。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换以及改进等,均应包含在本发明的保护范围之内。

Claims (20)

1.一种基于业务特征的关键质量指标KQI构成方法,其特征在于,该方法包括:
对业务进行分类,根据分类业务内容以及应用场景创建分类业务模型;
根据分类业务模型提取分类业务模型中业务KQI对应的产品KQI视角及产品KQI视角对应的业务KQI视角;
提取构成业务KQI视角的网络关键性能指标KPI参数并确定权重系数;
根据上述确定的业务KQI对应的网络KPI参数,获取业务KQI构成公式。
2.如权利要求1所述的方法,其特征在于,所述对业务进行分类具体包括:
根据用户需求将业务分类为:互联网专线业务、互联网接入业务、语音专线业务、数据专线业务以及短信业务。
3.如权利要求1所述的方法,其特征在于,所述分类业务为互联网接入业务,所述分类业务模型为互联网接入业务模型,包括依序相连的用户端设备、末端接入设备、接入层用户设备CE、汇聚层CE、核心层CE以及因特网出口设备。
4.如权利要求3所述的方法,其特征在于,所述产品KQI视角包括:业务可用性指标、业务完整性指标、业务及时性指标、业务准确性指标、业务稳定性指标、模拟用户感知指标中的一种或其任意组合。
5.如权利要求4所述的方法,其特征在于,
所述业务可用性指标对应的业务KQI视角为业务不可用告警信息;
所述业务完整性指标对应的业务KQI视角为端到端丢包率信息;
所述业务及时性指标对应的业务KQI视角为端到端时延信息以及互联互通速率信息;
所述业务稳定性指标对应的业务KQI视角为互联互通流量信息;
所述模拟用户感知指标对应的业务KQI视角为用户应用速率信息。
6.如权利要求5所述的方法,其特征在于,所述业务KQI视角为业务不可用告警,所述网络关键性能指标KPI参数包括:地市离线告警信息、专线离线告警信息、数据设备不可用告警信息以及传输设备不可用告警信息。
7.如权利要求5所述的方法,其特征在于,所述业务KQI视角为端到端丢包率,所述网络关键性能指标KPI参数包括:流量繁忙度信息、连接繁忙度信息、市侧丢包率信息、互联互通忙时丢包率信息、全程丢包率信息、省侧丢包率信息、互联互通丢包率信息以及互联互通闲时丢包率信息。
8.如权利要求7所述的方法,其特征在于,所述提取组成网络关键性能指标KPI参数并确定权重系数具体包括:
A1、按照预先设置的周期获取用户端设备的流量繁忙度;
A2、判断流量繁忙度是否大于预先设定的流量繁忙度阈值,如果是,执行步骤A7,否则,执行步骤A3;
A3、按照预先设置的周期获取用户端设备的连接繁忙度;
A4、判断连接繁忙度是否大于预先设定的连接繁忙度阈值,如果是,执行步骤A7,否则,执行步骤A5;
A5、统计市侧丢包率;
A6、统计获取全程丢包率,执行步骤A8;
A7、不进行丢包率统计;
A8、分别统计获取市侧忙闲时丢包率、省侧丢包率以及互联互通丢包率;
A9、确定各网络KPI参数的权重系数。
9.如权利要求5所述的方法,其特征在于,所述业务KQI视角为端到端时延,所述网络关键性能指标KPI参数包括:流量繁忙度信息、连接繁忙度信息、全程时延信息、省侧时延信息、市侧时延信息、互联互通忙时时延信息、互联互通时延信息以及互联互通闲时时延信息。
10.如权利要求5所述的方法,其特征在于,所述业务KQI视角为互联互通速率,所述网络关键性能指标KPI参数包括:互联互通峰值带宽利用率信息、互联互通平均速率信息、互联互通平均带宽利用率信息以及互联互通峰值速率信息。
11.如权利要求5所述的方法,其特征在于,所述业务KQI视角为互联互通流量,所述网络关键性能指标KPI参数包括:互联互通下行端口流量信息、互联互通端口总流量信息以及互联互通上行端口流量信息。
12.如权利要求5所述的方法,其特征在于,所述业务KQI视角为用户应用速率,所述网络关键性能指标KPI参数包括:互联互通下载速率信息以及互联互通页面打开速率信息。
13.如权利要求5所述的方法,其特征在于,所述获取业务KQI构成公式具体包括:
端到端闲时丢包率I的计算公式为:
I=0.4C+0.6(D+H+F)
端到端忙时丢包率J的计算公式为:
J=0.3C+0.7(D+G+F)
端到端日均丢包率K的计算公式为:
K=0.3∑I+0.7∑J
式中,
C为全程丢包率;
D为省侧丢包率;
H为互联互通闲时丢包率;
F为互联互通丢包率;
G为互联互通忙时丢包率。
14.如权利要求13所述的方法,其特征在于,所述获取业务KQI构成公式进一步包括:
端到端闲时时延I′的计算公式为:
I′=0.4C′+0.6(D′+H′+F′)
端到端忙时时延J′的计算公式为:
J′=0.3C′+0.7(D′+G′+F′)
端到端日均时延K′的计算公式为:
K′=0.3∑I′+0.7∑J′
式中,
C′为全程时延;
D′为省侧时延;
H′为互联互通闲时时延;
F′为互联互通时延;
G′为互联互通忙时时延。
15.如权利要求14所述的方法,其特征在于,所述获取业务KQI构成公式进一步包括:
互联互通速率E1的计算公式为:
E1=0.6A1+0.4B1
互联互通日均速率L的计算公式为:
L = Σ E 1 24
式中,
A1为互联互通峰值速率;
B1为互联互通平均速率。
16.如权利要求15所述的方法,其特征在于,所述获取业务KQI构成公式进一步包括:
互联互通流量D2的计算公式为:
D2=∑(0.4A2+0.6B2)
互联互通日均流量M的计算公式为:
M=∑D2
式中,
A2为互联互通上行端口流量;
B2为互联互通下行端口流量。
17.如权利要求16所述的方法,其特征在于,所述获取业务KQI构成公式进一步包括:
业务不可用告警N的计算公式为:
N=A3∪B3∪C3∪D3
式中,
A3为地市离线告警;
B3为专线离线告警;
C3为数据设备不可用告警;
D3为传输设备不可用告警。
18.如权利要求17所述的方法,其特征在于,所述获取业务KQI构成公式进一步包括:
忙时用户应用速率C4的计算公式为:
C 4 = Σ ( 0.7 A 4 + 0.3 B 4 ) 4
闲时用户应用速率D4的计算公式为:
D 4 = Σ ( 0 . 5 A 4 + 0 . 5 B 4 ) 4
日均用户应用速率P的计算公式为:
P = Σ C 4 + Σ D 4 4
式中,
A4为互联互通页面打开速率;
B4为互联互通下载速率。
19.如权利要求3所述的方法,其特征在于,进一步包括:
根据获取的业务KQI构成公式,统计、分析所述互联网接入业务KQI构成公式涉及的各管理对象间关系结构信息。
20.如权利要求19所述的方法,其特征在于,管理对象间关系结构包括:集客客户、地理信息、机房信息、互联网业务、接入端设备、协转设备、局端设备、传输设备、设备信息以及端口信息,其中,
互联网业务分别与集团客户、地理信息、机房信息、接入端设备、协转设备、局端设备、传输设备相连,接入端设备分别与协转设备、设备信息以及端口信息相连,协转设备分别与局端设备、设备信息以及端口信息相连,局端设备分别与传输设备、设备信息以及端口信息相连,传输设备分别与设备信息以及端口信息相连,设备信息与端口信息相连。
CN201010624451.4A 2010-12-31 2010-12-31 一种基于业务特征的关键质量指标构成方法 Active CN102546220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010624451.4A CN102546220B (zh) 2010-12-31 2010-12-31 一种基于业务特征的关键质量指标构成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010624451.4A CN102546220B (zh) 2010-12-31 2010-12-31 一种基于业务特征的关键质量指标构成方法

Publications (2)

Publication Number Publication Date
CN102546220A true CN102546220A (zh) 2012-07-04
CN102546220B CN102546220B (zh) 2014-09-03

Family

ID=46352229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010624451.4A Active CN102546220B (zh) 2010-12-31 2010-12-31 一种基于业务特征的关键质量指标构成方法

Country Status (1)

Country Link
CN (1) CN102546220B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414958A (zh) * 2013-08-21 2013-11-27 中广有线信息网络有限公司 一种有线电视网络宽带用户体验评价系统
WO2015096408A1 (zh) * 2013-12-25 2015-07-02 中兴通讯股份有限公司 用户感知评估方法及系统
WO2016172848A1 (zh) * 2015-04-28 2016-11-03 华为技术有限公司 一种调整云计算中虚拟资源的方法及装置
CN106685750A (zh) * 2015-11-11 2017-05-17 华为技术有限公司 系统异常检测方法和装置
CN106792876A (zh) * 2016-12-26 2017-05-31 浙江省公众信息产业有限公司 端到端网络感知评估方法和系统
CN107294747A (zh) * 2016-03-31 2017-10-24 华为技术有限公司 一种用于电信网络系统的kpi/kqi模式发掘方法及装置
CN107666403A (zh) * 2016-07-29 2018-02-06 中兴通讯股份有限公司 一种指标数据的获取方法及装置
CN108093427A (zh) * 2016-11-23 2018-05-29 中国移动通信集团公司 一种VoLTE业务质量评估方法及系统
CN111753023A (zh) * 2020-06-23 2020-10-09 中国联合网络通信集团有限公司 一种互联网专线类型确定方法和装置
CN113422690A (zh) * 2020-03-02 2021-09-21 烽火通信科技股份有限公司 一种业务质量劣化预测方法及系统
WO2023208343A1 (en) 2022-04-27 2023-11-02 Telefonaktiebolaget Lm Ericsson (Publ) Quality of service monitoring

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101505237A (zh) * 2009-03-11 2009-08-12 华为技术有限公司 网络质量确定方法、装置及通信系统
CN101562830A (zh) * 2009-04-20 2009-10-21 深圳市优网科技有限公司 一种客户感知评估方法及系统
CN101562832A (zh) * 2009-04-20 2009-10-21 深圳市优网科技有限公司 一种用于通信测试的关键质量指标测算方法及系统
CN101867496A (zh) * 2009-04-14 2010-10-20 西门子(中国)有限公司 一种安全服务的服务质量的检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101505237A (zh) * 2009-03-11 2009-08-12 华为技术有限公司 网络质量确定方法、装置及通信系统
CN101867496A (zh) * 2009-04-14 2010-10-20 西门子(中国)有限公司 一种安全服务的服务质量的检测方法
CN101562830A (zh) * 2009-04-20 2009-10-21 深圳市优网科技有限公司 一种客户感知评估方法及系统
CN101562832A (zh) * 2009-04-20 2009-10-21 深圳市优网科技有限公司 一种用于通信测试的关键质量指标测算方法及系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103414958A (zh) * 2013-08-21 2013-11-27 中广有线信息网络有限公司 一种有线电视网络宽带用户体验评价系统
WO2015096408A1 (zh) * 2013-12-25 2015-07-02 中兴通讯股份有限公司 用户感知评估方法及系统
WO2016172848A1 (zh) * 2015-04-28 2016-11-03 华为技术有限公司 一种调整云计算中虚拟资源的方法及装置
CN106685750A (zh) * 2015-11-11 2017-05-17 华为技术有限公司 系统异常检测方法和装置
CN106685750B (zh) * 2015-11-11 2019-12-24 华为技术有限公司 系统异常检测方法和装置
CN107294747A (zh) * 2016-03-31 2017-10-24 华为技术有限公司 一种用于电信网络系统的kpi/kqi模式发掘方法及装置
CN107666403A (zh) * 2016-07-29 2018-02-06 中兴通讯股份有限公司 一种指标数据的获取方法及装置
CN107666403B (zh) * 2016-07-29 2022-01-28 中兴通讯股份有限公司 一种指标数据的获取方法及装置
CN108093427A (zh) * 2016-11-23 2018-05-29 中国移动通信集团公司 一种VoLTE业务质量评估方法及系统
CN106792876A (zh) * 2016-12-26 2017-05-31 浙江省公众信息产业有限公司 端到端网络感知评估方法和系统
CN113422690A (zh) * 2020-03-02 2021-09-21 烽火通信科技股份有限公司 一种业务质量劣化预测方法及系统
CN111753023A (zh) * 2020-06-23 2020-10-09 中国联合网络通信集团有限公司 一种互联网专线类型确定方法和装置
CN111753023B (zh) * 2020-06-23 2023-06-06 中国联合网络通信集团有限公司 一种互联网专线类型确定方法和装置
WO2023208343A1 (en) 2022-04-27 2023-11-02 Telefonaktiebolaget Lm Ericsson (Publ) Quality of service monitoring

Also Published As

Publication number Publication date
CN102546220B (zh) 2014-09-03

Similar Documents

Publication Publication Date Title
CN102546220B (zh) 一种基于业务特征的关键质量指标构成方法
CN101572623B (zh) 基于主客观组合评价的网络性能综合评价方法
CN102379102B (zh) 网络成本分析
CN106302012B (zh) 一种ptn网络优化仿真方法及系统
CN107896160A (zh) 一种基于分布式系统的数据中心网络流量建模方法
CN106161102B (zh) 一种ip ran网络优化仿真方法及系统
CN104065398B (zh) 一种电力信息通信网络融合测试平台的设计方法与系统
CN114629802B (zh) 一种基于业务感知的电力通信骨干网络质量评估方法
CN109495317A (zh) 数据网流量预测方法及装置
CN105120486B (zh) 一种通信网络效能的评价方法及装置
CN101741641A (zh) 基于链路的通信网络业务可靠性试验方法
CN105187273A (zh) 一种用于电力通信专网业务监测的探针部署方法和装置
CN104518899A (zh) 网络路由流量仿真方法和装置
CN111082995A (zh) 一种以太坊网络行为分析方法及相应存储介质与电子装置
CN101610246A (zh) 局域网链路层的源-目的流量分量推断方法
CN104376220B (zh) 一种多维度的电力通信接入网业务建模和需求分析方法
CN109104307A (zh) 一种动态数据链网络的关键节点感知方法
CN107819596A (zh) Sdn网络故障的诊断方法、装置及系统
CN102801580B (zh) 一种智能变电站通信网络信息流计算评估系统及方法
CN105553787B (zh) 基于Hadoop的边缘网出口网络流量异常检测方法
CN102550070A (zh) 分组化网络中丢失率的估计方法
CN105959368A (zh) 一种社交云热点资源预测与部署的方法
Naim et al. Analysis of wireless and cable network quality-of-service performance at Telkom University landmark tower using network development life cycle (ndlc) method
CN206100015U (zh) 一种铁路数据网网络资源管理平台
Su et al. Simulation study of Internet based inter control center data exchange for complete network modeling

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant