CN101707559A - 一种诊断和定量保障端到端服务质量的系统和方法 - Google Patents
一种诊断和定量保障端到端服务质量的系统和方法 Download PDFInfo
- Publication number
- CN101707559A CN101707559A CN 200910236791 CN200910236791A CN101707559A CN 101707559 A CN101707559 A CN 101707559A CN 200910236791 CN200910236791 CN 200910236791 CN 200910236791 A CN200910236791 A CN 200910236791A CN 101707559 A CN101707559 A CN 101707559A
- Authority
- CN
- China
- Prior art keywords
- context
- service
- service quality
- qos
- quantitatively
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种诊断和定量保障端到端服务质量的系统和方法,该系统主要包括上下文离散化子系统、服务质量(QoS)诊断子系统和QoS保障子系统;该方法将某业务运行时的上下文综合考虑,通过上下文数据的离散化处理过程、QoS诊断过程和QoS定量保障处理过程,得到离散化的上下文及该业务所需的格式,通过挖掘所述离散上下文及该业务的某项服务质量指标间的因果联系,以使用贝叶斯网络定性和定量建模,以诊断出某项服务质量指标的原因上下文,再使用贝叶斯网络推理计算出该项业务服务质量指标与其原因上下文间的因果联系定量值,利用该定量值定量地保障该项服务质量指标。通过使用本发明能够面向普通用户定量地保障某项业务的服务质量。
Description
技术领域
本发明涉及互联网和电信网服务质量(QoS)应用技术,尤其涉及一种诊断和定量保障端到端服务质量的系统和方法,属于人工智能的贝叶斯网络在信息和通信技术领域的应用。
背景技术
目前,随着互联网技术的进一步发展,用户对于计算机协作、电子商务和信息共享等特别是多媒体业务的服务需求越来越紧迫,而传统的互联网是一个尽力而为的网络,现有的服务质量体系和模型已经不能满足这一紧迫的需求。相关的国际标准化组织已经提出多种相关草案和标准的服务体系和模型来满足各种服务质量需求,譬如,公认并影响深远的主要有:Internet工程任务组(IETF,Internet Engineering Task Force)的集成服务(InterServ)标准和区分服务(DiffServ)标准、资源预留协议(RSVP,Resources reSerVation Protocol)、多协议标签交换协议(MPLS,MultiProtocol Label Switching)、约束路由(CBR,Constraint-Based Routing)、子网带宽管理(SBM,Subnet Bandwidth Manager)和流量工程(Traffic Engineering)。而这些体系和模型在不同的网络层面试图保障服务质量。
图1所示为现有互联网服务质量(QoS)体系示意图。这些体系和模型的优点是通过规定严格的标准、信令和协议在某个网络层面上保障服务质量,得到设备商、运营商和内容提供商的广泛支持。然而,它们的缺点也是不容忽视的,基于图1所示的体系和模型难于实现对服务质量的广泛支持和实施,也无法提供面向普通用户的服务质量的真正部署,因此,这些保障服务质量的体系和模型并没有实现当初的愿望和目标。
鉴于互联网可以看作是一个尽力而为的设施,在上述提到的服务质量的体系和模型的约束下,目前的互联网也只能尽力而为地提供和保障有限的服务质量,另外,现有通过互联网提供通信业务还存在如下不足:
第一,互联网是一个全球性的基础设施,其内容、拓扑和表现形式千变万化。在这样一个易变的环境里,当某个业务的服务质量违背了用户要求时,在现有的体系和部署运营方式下,难于追踪、定位和标识出导致这一违背用户要求的现象的原因、位置及严重程度,因此也就难以适时地作出针对性的定量参数调整以恢复用户要求的服务质量;
第二,所述服务质量的体系和模型工作于应用层以下,对服务质量的分类粒度较大,难以满足应用层对服务质量的细粒度的多种多样的、随时随地的需求。即使通过调整参数使用粗粒度的服务质量来满足细粒度的服务质量需求,其成本和消耗的资源也是难以承受的,现有的有限资源也难以满足大规模的服务质量需求,因此,面向普通用户的广泛的服务质量难以得到保障和实施;
第三,即使这个难题可以在技术上得以解决,还有其它问题需要考虑.目前,由于网络设施主要由少数运营商所有,出于商业秘密、安全,节约人/物力和运营成本的考虑,运营商在主观上不情愿向普通用户和其他运营商开放用来追踪、定位和标识违背服务质量的原因等的网络接口,更不用说调整参数保障服务质量了;
第四,由于上面提到的服务质量的体系和模型工作于应用层以下,对它们的支持需要改造现有互联网的核心设备,这将势必增加核心设备的复杂性和工作负载,增加了对数据包的处理过程,从而降低了核心设备乃至整个互联网的工作效率。
发明内容
有鉴于此,本发明的主要目的在于提供一种诊断和定量保障端到端服务质量的系统和方法,以克服现有服务质量体系和模型存在的缺陷,通过利用贝叶斯网络推理计算出某项服务质量指标与其原因上下文之间的因果联系的定量值,并以此定量值量化地保障面向普通用户的通信业务的服务质量。
为达到上述目的,本发明的技术方案是这样实现的:
一种诊断和定量保障端到端服务质量的系统,该系统包括用于收集来自不同领域、不同业务运行时的上下文以及同一业务的多种上下文信息的上下文环境子系统,该系统还包括上下文离散化子系统、服务质量QoS诊断子系统以及QoS保障子系统;其中,
上下文离散化子系统,用于将所述上下文环境子系统送来的符合该业务需要的上下文离散化为对应的离散值;
QoS诊断子系统,用于发掘某业务的服务质量和上下文之间的因果联系以及通过遍历过程得到的贝叶斯网络的拓扑,确定服务质量指标的原因上下文;
QoS保障子系统,用于通过使用贝叶斯网络推理计算出该项业务服务质量指标与其原因上下文间的因果联系定量值,利用该定量值定量地保障该项服务质量指标。
其中,所述上下文环境子系统进一步包括用于收集来自不同领域互联网/电信网络上下文信息的上下文获取模块。
所述上下文离散化子系统进一步包括上下文离散化模块及上下文持久库;其中,
所述上下文离散化模块,用于将所述上下文环境子系统的上下文获取模块送来的符合某业务所需要的上下文数据通过所述上下文离散化模块的作用离散化为对应的离散值;
上下文持久库,用于为所述上下文离散化模块提供每一种对应上下文信息的模糊成员函数和离散化模式,以及用于提高访问效率的同时保证数据的持久化。
所述QoS诊断子系统进一步包括结构学习模块和QoS诊断模块;其中,
结构学习模块,用于使用贝叶斯网络的结构学习算法对离散化后的上下文进行学习,以得到某业务服务质量和上下文之间的因果联系;
QoS诊断模块,用于通过遍历结构学习模块得到的贝叶斯网络的拓扑,确定服务质量指标的原因上下文。
所述QoS保障子系统进一步包括参数学习模块、QoS保障模块和上下文调优模块;其中,
参数学习模块,用于从本发明的样本数据中学习到每个节点的条件概率表;
QoS保障模块,使用贝叶斯网络的推理来定量地保障当前业务的服务质量;
上下文调优模块,用于将通过QoS诊断子系统得到的待考查业务服务质量的原因上下文调整为适合QoS保障子系统推理得到的定量值,然后反馈给上下文环境子系统。
一种诊断和定量保障端到端服务质量的方法,该方法包括:
A、将某业务运行时的上下文综合考虑,离散化上下文信息;
B、诊断某个端到端业务的服务质量;
C、定量地保障端到端业务的服务质量。
步骤A所述离散化上下文信息的过程包括:
A1、根据所述上下文对某业务的某项服务质量的潜在影响程度的大小,对这些不同种类的上下文进行分类,并顺序排列;
A2、针对所述分类后的上下文信息,采用基于模糊集合理论的上下文信息离散化算法对所述分类上下文进行离散化处理,得到适合于服务质量诊断和保障的形式的离散值。
步骤B所述诊断某个端到端业务的服务质量的过程包括:
B1、采用基于人工智能领域的贝叶斯网络来定性和定量地建模该业务的运行时上下文与其某项服务质量指标的因果联系;将所述服务质量指标按顺序分为基本上下文分组、业务运行时上下文分组和服务质量指标上下文分组三类;
B2、应用节点或变量排序算法确定节点顺序集合的完全顺序,将这些节点顺序集合作为样本数据应用K2算法,学习得到节点之间的因果联系即贝叶斯网络的拓扑,并用邻接矩阵表示这一拓扑;
B3、遍历邻接矩阵,找到服务质量指标节点的父节点即原因节点,完成服务质量指标的诊断。
步骤C所述定量地保障端到端业务的服务质量的过程包括:
C1、通过服务质量诊断找到待考察业务的服务质量指标的原因上下文集合并计算节点服务质量指标关于所观察到的其原因上下文的边缘概率;
C2、从所述节点服务质量指标的每一个可能的离散值即从所述边缘概率中,选出条件概率值最大的一个,设其值为p;以所述概率值保障服务质量指标作为其离散值所对应的真实值,并确定用户要求的服务质量指标取值;
C3、将所述原因上下文集合中的每个元素调整为条件概率中的对应值。
本发明所提供的诊断和定量保障端到端服务质量的系统和方法,具有以下优点:
本发明系统的结构清晰简洁,综合考虑了某个业务运行时的多个领域、多个应用程序或系统的多种上下文,具有很好的通用性,即普遍适用于端到端服务质量的诊断和定量保障,其工作于应用层,通过在应用层调整参数即可满足细粒度的服务质量需求,从而节约成本,减少资源占用,能够满足应用层对服务质量的细粒度的多种多样的随时随地大规模的需求。另外,本发明能够避开对某个运营商的依赖,能够在不涉及运营商的情况下就能够追踪、定位和标识违背服务质量的原因,调整参数保障服务质量,从而避免了与运营商以及运营商之间的耦合,排除了非技术因素影响服务质量实施的可能,能够在不需要改造现有网络的条件下,尤其是不需改造现有网络上的核心设备的条件下,就可以定量地保障端到端的服务质量,因此本发明规避了改造现有网络的风险,能够快速部署和实施,实现面向普通用户的广泛的服务质量保障。
附图说明
图1为现有互联网服务质量(QoS)体系示意图;
图2为本发明诊断和定量保障端到端业务服务质量的整体过程示意图;
图3为图2中所述上下文信息离散化算法过程示意图;
图4为本发明基于贝叶斯网络的上下文认知诊断和定量地保障端到端服务质量的系统架构示意图。
具体实施方式
下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
鉴于通过互联网提供通信服务时存在的不足,非常有必要寻求保障服务质量的其它方法或技术手段来改善现况。经过研究和分析,大体上应该从以下几个方面来考虑:
第一、在现有网络条件下,当某个业务运行时的某项服务质量指标违背了用户需求时,新的方法应该能够跟踪、定位和标识出这一违背用户需求现象的原因、位置和程度,从而可以适时地做出针对性的定量的参数调整以恢复用户要求的该业务的服务质量。
第二、新方法最好工作于应用层,以便满足应用层对服务质量的细粒度多种多样的、随时随地的需求;通过在应用层调整参数来满足细粒度的服务质量需求,从而节约成本,减少资源占用,满足大规模的服务质量需求,以实现面向普通用户的广泛的服务质量保障,并且新方法应该便于快速部署和实施。
第三、新方法最好工作于应用层,应该能够避开对某个运营商的依赖,在不涉及运营商的情况下就能够追踪、定位和标识该业务违背服务质量的原因,能够通过调整参数得以恢复和保障,从而避免了与运营商以及运营商之间的耦合,排除非技术因素影响服务质量实施的可能。
第四、新方法应该避免对现有网络基础设施的改造,尤其是应避免对核心设备的改造,以降低这些核心设备的复杂度,不增加数据包在核心设备的处理过程,减少数据包在核心设备的停留时间,不影响现有的设备的工作方式和工作效率,以规避推倒重来的风险和代价,使其能够面向普通用户保障其服务质量。
如上所述,为了保障某个端到端业务的服务质量,本发明将某个业务运行时来自多个领域和多个应用程序的上下文信息综合起来考虑,充分发掘蕴涵于这些上下文信息和该业务的服务质量的因果联系,以诊断出与该业务的服务质量有紧密因果联系的上下文信息,并通过定量地建模以确定这些上下文信息与该业务服务质量之间的因果联系,从而能够有的放矢地定量调整那些与该业务的服务质量有紧密因果联系的上下文,以保障该服务质量能够准确取得某个用户需要的定量值。
图2为本发明诊断和定量保障端到端业务服务质量的整体过程示意图,如图2所示,该过程包括如下步骤:
步骤201:将某业务运行时的上下文综合考虑,离散化上下文信息。
这里,某个业务运行时的上下文信息可能来自多个领域或多个应用程序.例如:该业务运行时的上下文信息可以是该业务运行时的位置、时间、温度、湿度等物理环境上下文信息;也可以是该业务运行时的其它业务或应用程序的类型、共享资源的指标,如网络负载、CPU使用率、系统I/O比率等应用程序环境上下文信息;也可以是该业务的配置参数、运行模式、业务类型、用户规模和数目等业务本身的上下文信息.这些来自不同异构源头的上下文信息,其数据格式可能不同,它们可能是连续值,也可能是离散值;可能是易变值,也可能是固定常量;可能是有限值,也可能是无限值.这些不同种类的上下文信息可能对该业务都有着不同程度的影响.例如,因用户数据报协议(UDP)没有拥塞控制,一个使用UDP传输协议的BT下载业务或程序将抢占服务器带宽,从而造成其它使用具有拥塞控制传输协议的业务或程序难以访问甚至不可用,即这些抢占带宽的业务或程序的服务质量受到了其他业务(如BT下载业务)的干扰和影响.可见,将该业务的运行时的不同种类的上下文综合起来考虑,以考察它们对该业务的某项服务质量的综合影响是是十分必要的.本发明首先依据上下文对该业务的某项服务质量的潜在影响程度的大小,对这些不同种类的上下文进行分类.按照影响程度从大到小依次分类如下:
A、该业务的配置参数上下文;
B、业务本身的运行时上下文;
C、其它业务或程序的上下文;
D、用户上下文;
E、物理环境上下文。
针对以上分类后的上下文信息,本发明采用基于模糊集合理论进一步对所述分类上下文进行离散化处理。所述模糊集合理论是一种将连续值映射为离散值的常见方法。如:一个模糊集合A由一个隶属度函数fA(x):X→[0,1]特征化地表征,这个隶属度函数将某个连续变量的某一次取值x映射到区间[0,1]中的一个数值y,这个数值y表示该次取值x隶属于集合A的程度。所述数值越大,表示x隶属于集合A的程度越大,反之亦然。极端情况下,当y取值为1时,表示x完全确定地隶属于模糊集合A;当y取值为0时,表示x完全不隶属于模糊集合A。显然,当y只能取值为0或1时,模糊集合理论就退化为传统的集合论。
如果某个连续变量的某次取值x对应与模糊集合A的隶属度函数的取值y大于某个门限值t时,那么就可以将x看成是模糊集合A中一个元素,即连续值x被离散化模糊集合A表征的离散值。模糊集合A表征的离散值由具体应用负责解释。对于模糊集合A表征的离散值来说,同一模糊集合中的任意两个元素都是不可辨识的,即它们都被离散化为一个离散值。
本发明对连续的上下文数值离散化为离散值,对本来就离散的上下文值整形为适当的离散化形式,即适合于服务质量诊断和保障的形式。基于前面的描述,在收集到来自多个领域、多个程序,并恰当分类的上下文样本后,采用如下方式对所述上下文信息进行离散化处理。例如:
方法一:上下文信息离散化算法。该算法每次将一个上下文的取值的样本集合离散化或整形为适当的离散值,即输入目标上下文C的样本集合S;输出样本集合S对应的离散化集合DS。如图3所示,该算法包括如下步骤:
步骤2011:为离散化集合DS赋值为样本集合S。
步骤2012:判断目标上下文是否为连续的,如果是连续的,则执行步骤2013,否则执行步骤2018。
步骤2013:确定目标上下文C的离散值集合DC。
步骤2014:为离散值集合DC的每一个元素dc定义对应的隶属度函数fdc(s):S→[0,1]。
步骤2015:为样本集合S中的每一个元素s执行如下相应的操作:
首先,以所述元素s为参数计算所有的隶属度函数fdc(s),选出结果最大的隶属度函数max_fdc(s),则所述样本集合中的元素s隶属于离散值dc对应的模糊集合,样本集合中的元素S被离散化为离散值集合中的元素dc;
然后,以离散值集合元素dc替换离散值集合DS中样本集合元素s对应的值,并返回离散值集合DS。
步骤2016:对于样本集合S中的每一个元素s,执行如下所述对应的操作:
将样本集合S中的每个元素s整形为服务质量诊断和保障需要的离散化集合DS的集合中的元素dc,然后以所述离散化集合中的元素dc替换DS中样本集合中每个元素s所对应的值,并返回离散值集合DS。
对于服务质量参数,也需要使用上述步骤离散化或整形为离散值。具体的操作只需要将该项业务的服务质量看成一种上下文信息来处理即可。
本发明中将连续的目标上下文信息的取值范围划分为若干小片(即区间),所述的每个小片对应一个离散值dc。因此,在步骤2014中,本发明定义隶属度函数可修改为:
其中:s为样本集合S的一个元素,dc为目标上下文C的离散值集合DC的一个元素,a和b分别是离散值dc对应的小片(连续值区间)的下界和上界。
将涉及到的上下文以及某项业务服务质量离散化为合适的离散值,这为发掘该项服务质量与上下文之间的因果联系并进一步诊断服务质量奠定了基础。
步骤202:诊断某个端到端业务的服务质量。
这里,某一业务必然运行于一定的上下文环境之中,该业务的某项服务质量指标与其运行时的上下文之间存在必然的联系。本发明中将这一联系表征为因果联系。具体说来,该项服务质量在某一时刻的某个观察值是在该次运行时的配置参数上下文下的观察值,并且与业务本身的这个时刻的状态紧密相关,还可能受到其它业务的影响或干扰,并可能与用户上下文以及这一时刻的物理环境上下文相关。反之,某一时刻,这些上下文的取值和变化可以决定某项服务质量的取值和变化。因此,只要恰当地对这种因果联系进行建模,即可发掘出该项服务质量取值和变化由哪些上下文引起,某个上下文可以决定哪些服务质量的取值和变化。这是一个双向过程。
这里,本发明采用基于人工智能领域的贝叶斯网络来定性和定量地建模某业务的运行时上下文与其某项服务质量指标的因果联系。
所述贝叶斯网络被提出的初衷就是用于建模因果联系,它是一种图形化的建模因果关系理论。其特点在于,能够以直观的图形化的方式定性地揭示原因和结果之间的联系,并能够以很少的空间来定量地表示原因与结果之间的联系。在形式上,一个贝叶斯网络BN=(S,P)是一个有向无环图(DAG,Directed AcyclicGraph),它的每个节点或变量都关联着一个条件概率表.这里,对于离散变量是条件概率表(CPT,Conditional Probability Table);对于连续变量是条件概率分布(CPD,Conditional Probability Distribution)。
假如存在从节点A到节点B的有向弧,那么节点A称为节点B的父节点,节点B称为节点A的子节点。没有父节点的节点称为根节点,根节点可能有多个。用S=(V,E)表示贝叶斯网络BN的结构或拓扑,其中:V为贝叶斯网络BN的所有节点集合,E为BN的所有有向弧的集合。则,是CPT的一项,其中:是节点vi的父节点,是节点vi关于其父节点的条件概率。贝叶斯网络就是通过其有向无环图DAG和CPT来定性和定量地建模原因与结果之间的因果联系的。
为了使用贝叶斯网络建模某项服务质量指标与其业务的运行时上下文之间的因果联系,本发明将待评估服务质量指标看作子节点,即结果;将其业务的运行时上下文看作该项服务质量的父节点,即原因。使用贝叶斯网络成熟的结构学习算法发掘学习该项服务质量和这些上下文之间的因果联系。本发明使用的结构学习算法是K2算法。
所述K2算法是一种著名的基于评分的贝叶斯网络结构学习算法,它具有较快的收敛速度并有较高的学习准确度。K2算法需要获得参与学习的节点或变量的一个完全顺序,以换取快速的收敛速度和较高的学习准确度。K2算法规定当前节点的父节点只能是那些在顺序上先于当前节点的节点。
为了对参与学习的某项服务质量指标和其业务运行时的上下文进行排序,本发明首先对这些变量进行分组,并规定分组之间的顺序,然后在每个分组内部对组内变量再次进行排序,这样就获得了参与结构学习的所有变量之间的完全顺序。本发明规定了三类分组,即基本上下文分组、业务运行时上下文分组和服务质量指标分组。其中,
所述基本上下文分组,包含该业务的所有运行时模块都适用的全局上下文,如:该业务的配置文件、该业务的概要描述以及用户概要描述等。可见,基本上下文通常只有一组。这些基本上下文通常比较稳定,即在一段时间内不会改变;多数基本上下文在其业务运行之前就已经基本确定,在该业务运行期间通常维持不变;基本上下文还涉及那些在其业务运行期间维持不变的适用于所有运行时模块的全局上下文。
所述业务运行时上下文分组,包含该业务运行时同一程序模块内部紧密耦合的那些上下文内容。根据程序的局部化原理,同一个程序模块内部的上下文对该模块内部的某项服务质量指标或其它上下文影响最为直接和最为重要。显而易见,业务运行时上下文可以有多个,即该业务每个局部程序模块都对应有一个运行时上下文分组。
所述服务质量指标分组,是指该业务的待考察的某一项或多项服务质量指标。为获得较高的准确性和应用的简洁性,本发明一般每次只考察一项服务质量指标,即服务质量指标分组通常只包含一个元素,以避免服务质量指标之间出现不必要的因果联系。当然,本发明也适用于一次考察多个服务质量指标的情况,当服务质量指标之间确实存在因果联系时,可以将原因指标看作一种业务运行时上下文添加到业务运行时上下文分组中,以保证服务质量指标分组只有一项指标。
如上所述的三类分组之间的顺序依次是:基本上下文分组、业务运行时上下文分组和服务质量指标上下文分组.由于基本上下文分组包含有配置参数、环境或用户上下文以及全局上下文,这些上下文在业务运行前就已基本确定的,因此它们应该是业务运行时上下文和服务质量指标的父节点,即它们应该被放在节点顺序的前面.由于服务质量诊断的目标就是发掘服务质量指标与其业务运行时的上下文之间的因果联系,服务质量指标是待考察的最终变量,因此,它应该是所有节点的子孙节点,即它应该被放在节点顺序的最后.所述业务运行时上下文分组应该处于基本上下文分组和服务质量分组之间,并且多个业务运行时上下文分组应按照该业务的逻辑顺序依次排列.
在确定了变量分组之间的顺序之后,本发明接着应用下面的节点或变量排序算法以确定节点间的最终顺序,通过输入节点代号集合N,输出对所述集合N排序后的节点顺序集合ORD。所述节点排序算法,包括如下步骤:
步骤一:将预设的节点顺序集合ORD赋值为空集。
步骤二:将节点代号集合N中的节点分类为基本上下文分组PC、若干业务运行时上下文分组RC和服务质量指标分组。
步骤三:将基本上下文分组PC中的每一个元素pc追加到节点顺序集合ORD的末尾。
步骤四:依次对每一个业务运行时上下文RC分组,将业务运行时上下文RC的每一个元素rc追加到节点顺序集合ORD的末尾;并将服务质量指标分组中的元素QoS metric追加到ORD末尾。
如上所述,在完全确定了节点顺序之后,本发明将对获取到的来自多个领域、多个应用程序的上下文和服务质量指标的样本数据应用K2算法来学习这些节点之间的因果联系。本发明实施例以使用邻接矩阵来表示这些上下文和服务质量指标之间的因果联系,通过遍历邻接矩阵就可以找到与服务质量指标有因果联系的那些原因上下文,这一过程即为服务质量诊断过程。
综上所述,本发明使用以下步骤完成服务质量诊断:
步骤2021:对上下文和服务质量指标节点应用节点排序算法,获得它们之间节点顺序集合ORD的完全顺序;
步骤2022:对这些节点的样本数据应用K2算法,学习到这些节点之间的因果联系即贝叶斯网络的拓扑,这一拓扑是一个有向无环图(DAG),可以使用邻接矩阵来表示这一拓扑;
步骤2023:遍历邻接矩阵,找到服务质量指标节点的父节点,即原因节点,完成服务质量指标的诊断。
步骤203:定量地保障端到端业务的服务质量。
这里,通过对服务质量指标的诊断,找出其原因节点即上下文之后,通过调整这些原因上下文以保障该服务质量指标。为了对这一调整的程度进行指导,即定量地调整原因上下文,本发明进一步对如前所述的贝叶斯网络进行参数学习。
进行贝叶斯网络的参数学习的目的是从训练数据(即本发明中所述样本数据)中得到每个节点的条件概率表(CPT)。一个节点关联着一个条件概率表,条件概率表记录着该节点关于其所有父节点的条件概率,表中的每一项是该节点的一个可能取值关于其所有父节点的某种可能取值组合的条件概率。例如:假设服务质量节点为QM,其可以取两个离散值qm1和qm2,QM有两个父节点C1和C2,其中C1可以取两个离散值c11和c12,C2可以取三个离散值c21、c22和c23,则节点QM的条件概率表有2×2×3=12项,如P(QM=qm1|C1=c12,C2=c23)=p.当节点间的拓扑与条件概率表都确定后,贝叶斯网络就被唯一确定了,进而可以在这个贝叶斯网络上查询或说计算任意的条件概率.
本发明通过查询某项业务的服务质量指标关于诊断得到的其原因上下文的条件概率,以这个条件概率值定量地保障该项服务质量指标能够取得其此时的离散值所对应的真实值(连续值),即实现了定量地保障某项业务的服务质量。本发明实施例中采用技术成熟的贝叶斯方法进行参数学习。
本发明步骤203所述定量地保障端到端业务的服务质量的方法,其具体步骤如下:
步骤2031:通过服务质量诊断找到待考察业务的服务质量指标QM的原因上下文集合C={C1,C2,…,Cm},1≤m≤N;其中,N为所有上下文的数目。
步骤2032:计算节点服务质量指标QM关于观察到的其原因上下文C的边缘概率。
步骤2033:对节点服务质量指标QM的每一个可能的离散值qm执行步骤2034。
步骤2034:从所述边缘概率中,即从QM=qm关于其原因上下文离散值的可能组合的条件概率中,选出条件概率值最大的一个,设其值为p;以所述概率值p保障服务质量指标QM作为其离散值qm所对应的真实值.
步骤2035:确定用户要求的服务质量指标取值,设其值为qmd
步骤2036:将所述原因上下文集合C={C1,C2,…,Cm}中的每个元素调整为P(QM=qmd|C1=c1,C2=c2,…,Cm=cm)=pd中的对应值{c1,c2,…,cm},即服务质量指标QM被以概率pd定量地保障为其离散值qm对应的定量真实值。
本发明基于贝叶斯网络的上下文认知诊断和定量地保障端到端服务质量的系统,其系统架构如图4所示,该系统工作于应用层,因此适用范围广,不受网络类型的限制,因此,既可以用在互联网领域也可以应用在电信网领域。当应用于不同的领域时,只需要通过适于具体领域的上下文获取手段取得该领域的上下文信息,并将其提供给本系统即可,然后由本系统负责发掘这些上下文与待考察的业务的服务质量之间的因果关系。如图4所示,所述系统建立在上下文环境子系统40之上,所述系统主要包括上下文离散化子系统41、服务质量诊断子系统42和服务质量保障子系统43;其中:
所述上下文环境子系统40,用于收集来自不同领域、不同业务运行时的上下文以及同一业务的多种上下文信息。所述上下文环境子系统40进一步包括上下文获取模块402,用于收集来自不同领域互联网/电信网络401的上下文信息。简而言之,所述上下文环境子系统40,通过所述上下文获取模块402收集来自不同领域、不同业务运行时的上下文以及同一业务的多种上下文信息。
本发明所涉及的上下文原始数据可以是应用层的业务的运行时上下文,如业务负载,也可以是底层的上下文信息,诸如网络层的网络负载、拥塞情况等,因此,为了获取不同层面的比较全面的上下文,上下文获取模块有必要同时工作于应用层及其网络低层,如图4上下文环境子系统40。这里,上下文获取模块402为本发明所述系统与具体业务耦合的两个部位之一,最优情况是它能够得到该业务的支持。某个具体业务通过以下两种方式支持上下文获取模块402:该业务本身提供了截获或旁路上下文的能力,这种支持方式称为原生支持;否则,需要针对该业务设计专门的适配器,以便截获或旁路该业务的上下文。所述上下文最终都将被转换为本发明需要的格式。简而言之,上下文获取模块402主要具有上下文适配功能和上下文转换功能。
所述上下文离散化子系统41,包括上下文离散化模块411及上下文持久库412,该上下文离散化子系统41用于将上下文环境子系统40的上下文获取模块402送来的符合某业务所需要的上下文数据通过所述上下文离散化模块411的作用离散化为对应的离散值。所述上下文支持库412,用于为所述上下文离散化模块411提供每一种对应上下文信息的模糊成员函数和离散化模式,能够提高访问效率的同时保证数据的持久化。
上述上下文离散化的过程中,通过所述上下文获取模块402得到的上下文可能来自异构源头,其数据格式可能不同,它们可能是连续值,也可能是离散值;可能是易变值、也可能是固定常量;可能是有限值、也可能是无限值。均可通过所述上下文离散化模块411区别处理不同的上下文,即连续值上下文和离散值上下文。将连续值上下文离散化为离散值,将原来本身就是离散值上下文的整形为适当的离散化形式,即适合于服务质量诊断和保障的形式。所述上下文离散化模块411的功能体现于如图3所示的方法一,即上下文信息离散化算法的上下文离散化步骤中。
对于同一上下文,为了避免每次运行本系统时都进行上下文离散化处理的麻烦,以节省运行的时间和提高系统效率,本系统通过上下文持久库412保存每一种上下文的模糊成员函数和离散化模式。在实现时,上下文持久库412可以是专门的内存数据库,用于在提高访问的效率的同时保证数据的持久化。这里,所述离散化模式,类似于数据库表的模式(schema),它记录着这个上下文的区间和离散值间的对应关系。显然,离散化模式来自于模糊成员函数,并且是模糊成员函数的约减和固化形式。离散化模式可以在首次对本上下文进行离散化处理是确定,并在后续的上下文离散化处理时帮助提高系统效率。在对某个上下文离散化处理时,上下文离散化模块首先查询上下文持久库412。假如所述上下文持久库412中已经存在该上下文的离散化模式,就用该离散化模式来对上下文进行离散化处理;否则,使用模糊成员函数对上下文进行离散化处理,并为该上下文生成离散化模式保存于上下文持久库412中。经离散化处理后的上下文和服务质量指标被交由所述QoS诊断子系统42通过所述结构学习模块421和QoS诊断模块422进一步处理。
所述QoS诊断子系统42,包括结构学习模块421和QoS诊断模块422;该QoS诊断子系统42用于发掘某业务的服务质量和上下文之间的因果联系以及通过遍历所述学习模块421得到的贝叶斯网络的拓扑,确定某业务服务质量指标的原因上下文。
其中,所述结构学习模块421,使用贝叶斯网络的结构学习算法对离散化后的上下文进行学习,以得到某业务服务质量和上下文之间的因果联系。优选情况下,本发明选择使用成熟的K2结构学习算法,已经有针对不同编程语言的多种实现,比较常见的是基于Matlab的K2算法实现。根据实现本系统的实现语言的不同编写或使用针对该语言的K2实现,使用K2算法需要所用到的节点完全顺序进行。例如,可使用下面的分组原则为K2算法的节点排序做准备:
一、将配置文件、该业务的概要描述以及用户概要描述等全局上下文归类为一个基本上下文分组。
二、为某业务的每个局部程序模块都对应有一个运行时上下文分组,因此业务运行时上下文可能有多个.局部程序模块按照以下的粒度从小到大划分(以面向对象的编程语言阐述):顺序、选择和循环等代码片段、函数、类、包、子程序、业务.包含于大模块的小模块对应的运行时上下文分组位于该大模块对应分组的后面;包含于大模块的小模块之间按照逻辑调用顺序排列.
三、服务质量指标自成一组。在将上下文进行分组之后,应用前述节点排序算法得到最终的上下文间的完全顺序。接下来对这些节点的样本数据应用K2算法,学习到这些节点之间的因果联系即贝叶斯网络的拓扑,这一拓扑是一个有向无环图(DAG),可以使用邻接矩阵来表示这一拓扑。
然后,使用所述QoS诊断模块422,通过遍历结构学习模块得到的贝叶斯网络的拓扑,确定服务质量指标的原因上下文。
这里,在结构学习之前,邻接矩阵被置为零矩阵。假如存在从节点i到节点j的有向边即节点i是节点j的原因节点,邻接矩阵的元素(i,j)为1。遍历邻接矩阵,找到服务质量指标节点的父节点,即原因节点,完成服务质量指标的诊断。邻接矩阵的遍历比较简单:服务质量指标节点所在列中为1的行对应的节点既是服务质量指标的直接原因节点;对每个直接原因节点继续遍历就可找到第一层原因节点;以此类推,找到服务质量节点的所有原因节点。
所述QoS保障子系统43,包括参数学习模块431、QoS保障模块432和上下文调优模块433。所述QoS保障子系统43,用于通过使用贝叶斯网络推理计算出该项业务服务质量指标与其原因上下文间的因果联系定量值,利用该定量值定量地保障该项服务质量指标。
其中,参数学习模块431,用于从本发明的样本数据中学习到每个节点的条件概率表(CPT)。这里,每个节点都对应关联着一个条件概率表,条件概率表记录着该节点关于其所有父节点的条件概率,表中的每一项是该节点的一个可能取值关于其所有父节点的某种可能取值组合的条件概率。相较于记录服务质量指标节点关于其全部祖先节点的全部条件概率,这种只记录其父节点的条件概率的方式能够以指数级地降低存储空间;同时,这些定量的因果联系即条件概率并没有损失。因为贝叶斯网络是一种独特的、将图形和定量概率相结合的建模方式,这些关于祖先节点的条件概率已经被依次地编码在其父节点中了。存储空间的大幅降低是本发明得以实施的前提之一。
本系统使用贝叶斯方法进行参数学习。贝叶斯方法观察节点,即上下文改变时同时在全网(即通过结构学习得到的网络拓扑)传播更新条件概率的参数学习方法。在Matlab中,已经有贝叶斯参数学习方法的matlab语言实现,类似K2算法,借助Matlab语言的实现,可以使用本系统的编程语言实现贝叶斯方法。
所述QoS保障模块432,在经过参数学习之后,本系统所使用的贝叶斯网络就被唯一确定了,此时即可使用贝叶斯网络的推理来定量地保障当前业务的服务质量。本发明通过查询某项服务质量指标关于诊断得到的其原因上下文的条件概率,以该条件概率值定量地保障该项服务质量指标能够取得其当前离散值所对应的真实值(连续值),即实现了定量地保障服务质量。此时,真实值与离散值的对应关系即为上下文持久库412中保存的该上下文的离散化模式,通过查询即可得到。
本系统使用联合树推理引擎(joint tree inference engine)实现上述推理过程,即计算边缘概率(见图2之步骤203所示定量保障服务质量的步骤)。所述联合树推理引擎已经有Matlab的实现算法。类似K2算法和贝叶斯参数学习方法,通过Matlab语言实现,当然,可以使用本系统的编程语言实现联合树推理引擎。
所述上下文调优模块433,将QoS诊断子系统42中的QoS诊断模块422诊断得到的待考查业务服务质量的原因上下文调整为适合QoS保障子系统推理得到的定量值,然后反馈给上下文环境子系统40用于调整上下文.所述上下文调优模块433是本发明与具体业务耦合的两个部位之一.这里,优选情况下,是要求它能够得到该业务的支持.某个具体业务中,是通过以下两种方式支持上下文调优模块433的:该业务本身提供了调整上下文的能力,这种支持方式称为原生支持;否则,需要针对该业务设计专门的适配器以调整上下文.
综上所述,本发明的诊断和定量保障端到端服务质量的系统和方法,具有以下特点:
一、本发明将某个业务的运行时上下文综合起来考虑,即将业务运行时,来自多个领域、多个系统的用户、应用程序、周围环境等多种实体的上下文综合起来考虑,以保障该业务的某个服务质量,这是本发明的首创,传统方法通常只考虑本领域的特定上下文。
二、本发明采用一种对上下文进行离散化处理的算法,以便将连续的上下文转换为离散的上下文,并将本来就离散的上下文转换到业务需要的格式,从而提高了对这些上下文进行计算和应用的通用性。
三、本发明通过挖掘出这些离散化之后的上下文与该业务的某一项服务质量指标之间的因果联系,并使用人工智能领域著名的并已有较为成熟应用的贝叶斯网络来定性和定量地建模这一因果联系。本发明利用发掘出的这一因果关系诊断出某项服务质量指标的原因上下文。传统方法通常缺少服务质量诊断环节,而是由专家经验给出违背服务质量的原因,具有很大的依赖性和主观性,适应性较差。
四、本发明使用贝叶斯网络推理计算出某项服务质量指标与其原因上下文之间的因果联系的定量值,并以此定量值定量地保障该项服务质量指标。传统方法缺少对服务质量的定量值建模环节,因此很少能够真正做到定量地保障服务质量。
五、本发明系统工作于应用层,其优点是适用面广,适用于所有诊断和定量保障端到端服务质量的情况,运营商和业务提供商使用本发明可以诊断某项服务质量,并可以向内容提供商和普通用户定量地承诺某项服务质量;内容提供商使用本发明可以诊断某项服务质量并向普通用户定量地保障某项服务质量。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。
Claims (9)
1.一种诊断和定量保障端到端服务质量的系统,该系统包括用于收集来自不同领域、不同业务运行时的上下文以及同一业务的多种上下文信息的上下文环境子系统,其特征在于,该系统还包括上下文离散化子系统、服务质量QoS诊断子系统以及QoS保障子系统;其中,
上下文离散化子系统,用于将所述上下文环境子系统送来的符合该业务需要的上下文离散化为对应的离散值;
QoS诊断子系统,用于发掘某业务的服务质量和上下文之间的因果联系以及通过遍历过程得到的贝叶斯网络的拓扑,确定服务质量指标的原因上下文;
QoS保障子系统,用于通过使用贝叶斯网络推理计算出该项业务服务质量指标与其原因上下文间的因果联系定量值,利用该定量值定量地保障该项服务质量指标。
2.根据权利要求1所述的诊断和定量保障端到端服务质量的系统,其特征在于,所述上下文环境子系统进一步包括用于收集来自不同领域互联网/电信网络上下文信息的上下文获取模块。
3.根据权利要求1或2所述的诊断和定量保障端到端服务质量的系统,其特征在于,所述上下文离散化子系统进一步包括上下文离散化模块及上下文持久库;其中,
所述上下文离散化模块,用于将所述上下文环境子系统的上下文获取模块送来的符合某业务所需要的上下文数据通过所述上下文离散化模块的作用离散化为对应的离散值;
上下文持久库,用于为所述上下文离散化模块提供每一种对应上下文信息的模糊成员函数和离散化模式,以及用于提高访问效率的同时保证数据的持久化。
4.根据权利要求1所述的诊断和定量保障端到端服务质量的系统,其特征在于,所述QoS诊断子系统进一步包括结构学习模块和QoS诊断模块;其中,
结构学习模块,用于使用贝叶斯网络的结构学习算法对离散化后的上下文进行学习,以得到某业务服务质量和上下文之间的因果联系;
QoS诊断模块,用于通过遍历结构学习模块得到的贝叶斯网络的拓扑,确定服务质量指标的原因上下文。
5.根据权利要求1所述的诊断和定量保障端到端服务质量的系统,其特征在于,所述QoS保障子系统进一步包括参数学习模块、QoS保障模块和上下文调优模块;其中,
参数学习模块,用于从本发明的样本数据中学习到每个节点的条件概率表;
QoS保障模块,使用贝叶斯网络的推理来定量地保障当前业务的服务质量;
上下文调优模块,用于将通过QoS诊断子系统得到的待考查业务服务质量的原因上下文调整为适合QoS保障子系统推理得到的定量值,然后反馈给上下文环境子系统。
6.一种诊断和定量保障端到端服务质量的方法,其特征在于,该方法包括:
A、将某业务运行时的上下文综合考虑,离散化上下文信息;
B、诊断某个端到端业务的服务质量;
C、定量地保障端到端业务的服务质量。
7.根据权利要求6所述的诊断和定量保障端到端服务质量的方法,其特征在于,步骤A所述离散化上下文信息的过程包括:
A1、根据所述上下文对某业务的某项服务质量的潜在影响程度的大小,对这些不同种类的上下文进行分类,并顺序排列;
A2、针对所述分类后的上下文信息,采用基于模糊集合理论的上下文信息离散化算法对所述分类上下文进行离散化处理,得到适合于服务质量诊断和保障的形式的离散值。
8.根据权利要求6所述的诊断和定量保障端到端服务质量的方法,其特征在于,步骤B所述诊断某个端到端业务的服务质量的过程包括:
B1、采用基于人工智能领域的贝叶斯网络来定性和定量地建模该业务的运行时上下文与其某项服务质量指标的因果联系;将所述服务质量指标按顺序分为基本上下文分组、业务运行时上下文分组和服务质量指标上下文分组三类;
B2、应用节点或变量排序算法确定节点顺序集合的完全顺序,将这些节点顺序集合作为样本数据应用K2算法,学习得到节点之间的因果联系即贝叶斯网络的拓扑,并用邻接矩阵表示这一拓扑;
B3、遍历邻接矩阵,找到服务质量指标节点的父节点即原因节点,完成服务质量指标的诊断。
9.根据权利要求6所述的诊断和定量保障端到端服务质量的方法,其特征在于,步骤C所述定量地保障端到端业务的服务质量的过程包括:
C1、通过服务质量诊断找到待考察业务的服务质量指标的原因上下文集合并计算节点服务质量指标关于所观察到的其原因上下文的边缘概率;
C2、从所述节点服务质量指标的每一个可能的离散值即从所述边缘概率中,选出条件概率值最大的一个,设其值为p;以所述概率值保障服务质量指标作为其离散值所对应的真实值,并确定用户要求的服务质量指标取值;
C3、将所述原因上下文集合中的每个元素调整为条件概率中的对应值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910236791 CN101707559B (zh) | 2009-10-30 | 2009-10-30 | 一种诊断和定量保障端到端服务质量的系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910236791 CN101707559B (zh) | 2009-10-30 | 2009-10-30 | 一种诊断和定量保障端到端服务质量的系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101707559A true CN101707559A (zh) | 2010-05-12 |
CN101707559B CN101707559B (zh) | 2012-12-05 |
Family
ID=42377754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200910236791 Expired - Fee Related CN101707559B (zh) | 2009-10-30 | 2009-10-30 | 一种诊断和定量保障端到端服务质量的系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101707559B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104239137A (zh) * | 2014-08-21 | 2014-12-24 | 东软集团股份有限公司 | 基于dag节点最优路径的多模型并行调度方法及装置 |
CN104283717A (zh) * | 2014-10-24 | 2015-01-14 | 东软集团股份有限公司 | 一种预测虚拟网络资源状态的方法及装置 |
CN104348657A (zh) * | 2013-08-08 | 2015-02-11 | 中国电信股份有限公司 | 用于业务保障的方法、智能管道引擎设备和系统 |
CN107360046A (zh) * | 2017-09-11 | 2017-11-17 | 国网辽宁省电力有限公司 | 基于贝叶斯理论的端到端网络流量的建模方法及系统 |
CN107705037A (zh) * | 2017-10-26 | 2018-02-16 | 山东大学 | 一种面向上下文信息处理的QoX质量体系系统及其工作方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005101740A1 (en) * | 2004-04-16 | 2005-10-27 | Apparent Networks, Inc. | Method and apparatus for automating and scaling active probing-based ip network performance monitoring and diagnosis |
CN101006702A (zh) * | 2004-06-23 | 2007-07-25 | 高通股份有限公司 | 网络分组的高效分类 |
-
2009
- 2009-10-30 CN CN 200910236791 patent/CN101707559B/zh not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104348657A (zh) * | 2013-08-08 | 2015-02-11 | 中国电信股份有限公司 | 用于业务保障的方法、智能管道引擎设备和系统 |
CN104239137A (zh) * | 2014-08-21 | 2014-12-24 | 东软集团股份有限公司 | 基于dag节点最优路径的多模型并行调度方法及装置 |
CN104239137B (zh) * | 2014-08-21 | 2017-12-08 | 东软集团股份有限公司 | 基于dag节点最优路径的多模型并行调度方法及装置 |
CN104283717A (zh) * | 2014-10-24 | 2015-01-14 | 东软集团股份有限公司 | 一种预测虚拟网络资源状态的方法及装置 |
CN104283717B (zh) * | 2014-10-24 | 2017-12-26 | 东软集团股份有限公司 | 一种预测虚拟网络资源状态的方法及装置 |
CN107360046A (zh) * | 2017-09-11 | 2017-11-17 | 国网辽宁省电力有限公司 | 基于贝叶斯理论的端到端网络流量的建模方法及系统 |
CN107705037A (zh) * | 2017-10-26 | 2018-02-16 | 山东大学 | 一种面向上下文信息处理的QoX质量体系系统及其工作方法 |
CN107705037B (zh) * | 2017-10-26 | 2021-03-19 | 山东大学 | 一种面向上下文信息处理的QoX质量体系系统及其工作方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101707559B (zh) | 2012-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112953778B (zh) | 智融标识网络中基于意图驱动的服务编排系统和方法 | |
Manogaran et al. | Machine learning assisted information management scheme in service concentrated IoT | |
Asghari et al. | Internet of Things applications: A systematic review | |
US20210184915A1 (en) | Deep fusion reasoning engine (dfre) for prioritizing network monitoring alerts | |
Pérez-Romero et al. | Knowledge-based 5G radio access network planning and optimization | |
CN101707559B (zh) | 一种诊断和定量保障端到端服务质量的系统和方法 | |
KR102259927B1 (ko) | 워크플로우 엔진 프레임워크 | |
Kuang et al. | A tensor-based big data model for QoS improvement in software defined networks | |
Charalambides et al. | Policy conflict analysis for quality of service management | |
CN104702522A (zh) | 软件定义网络(sdn)中基于性能的路由 | |
Dou et al. | Solving the fuzzy shortest path problem using multi-criteria decision method based on vague similarity measure | |
CN117395166B (zh) | 基于物联网的智能农业管理平台 | |
US20230145097A1 (en) | Autonomous traffic (self-driving) network with traffic classes and passive and active learning | |
Gramajo et al. | A linguistic decision support model for QoS priorities in networking | |
US9596144B2 (en) | Systems and methods for managing wide area networks | |
Bandara et al. | Policy refinement for diffserv quality of service management | |
Moradi et al. | Comparison of machine learning techniques for VNF resource requirements prediction in NFV | |
Samdanis et al. | AI/ML Service Enablers and Model Maintenance for Beyond 5G Networks | |
Raut et al. | Machine learning algorithms in WSNs and its applications | |
CN111431820A (zh) | 基于业务类型的在线数据流QoS识别方法及系统 | |
Rafiq et al. | Knowledge defined networks on the edge for service function chaining and reactive traffic steering | |
Krief et al. | An Intelligent Policy-based networking environment for dynamic negotiation, provisioning and control of QoS | |
Clímaco et al. | Multicriteria analysis in telecommunication network planning and design: A survey | |
Martins et al. | Deriving processes of information mining based on semantic nets and frames | |
Latré et al. | Ontological generation of filter rules for context exchange in autonomic multimedia networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121205 Termination date: 20141030 |
|
EXPY | Termination of patent right or utility model |