CN103475527B - 一种网管故障可信度分析系统及方法 - Google Patents

一种网管故障可信度分析系统及方法 Download PDF

Info

Publication number
CN103475527B
CN103475527B CN201310440670.0A CN201310440670A CN103475527B CN 103475527 B CN103475527 B CN 103475527B CN 201310440670 A CN201310440670 A CN 201310440670A CN 103475527 B CN103475527 B CN 103475527B
Authority
CN
China
Prior art keywords
concept
alarm
fault
sample
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310440670.0A
Other languages
English (en)
Other versions
CN103475527A (zh
Inventor
曹东
胡燕
钟珞
何双江
刘丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan leading technology Co., Ltd.
Original Assignee
Wuhan University of Technology WUT
Wuhan NEC Fiber Optic Communications Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT, Wuhan NEC Fiber Optic Communications Industry Co Ltd filed Critical Wuhan University of Technology WUT
Priority to CN201310440670.0A priority Critical patent/CN103475527B/zh
Publication of CN103475527A publication Critical patent/CN103475527A/zh
Application granted granted Critical
Publication of CN103475527B publication Critical patent/CN103475527B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供一种网管故障可信度分析系统及方法,概念样本转换模块利用告警样本库和衡量样本的指标计算概念样本集合;概念学习模块对概念样本集合计算获得变型空间,将变型空间中的所有概念模式存入概念学习结果库;可信度分析模块接收外部系统分析出的故障,将该故障和概念学习结果库中的概念模式进行匹配,计算匹配成功率,将匹配成功率作为可信度输出;用户交互模块对超过阈值的可信度输出预警,根据实际情况判断外部系统分析出的故障是否是真实故障,若不是则对本次故障进行标记;适应学习模块对标记的故障作为反例以调整变型空间,更新概念学习结果库,最终收敛形成一个符合当前情况的完整概念。

Description

一种网管故障可信度分析系统及方法
技术领域
本发明涉及通信领域,尤其涉及一种网管故障可信度分析系统及方法。
背景技术
在大多数通信网管系统中,都会涉及到从被管的不同专业的网络中获取告警,并分析所获取的告警以判断引起这些告警的主因告警,这个主因告警也就是故障。大多数网管都提供了对告警进行分析,并计算出故障的方法,但所得出的故障的真伪并没有办法去评估,导致用户仍然需要通过自身经验进行判断。出现这一问题的原因主要有两个方面。一方面,大多数网管要么是根据预定义的规则进行分析,要么是通过数据挖掘的方法从历史数据中挖掘出规则,这些规则要么存在主观性要么存在片面性,因此这些规则会出现一定的误判。另一方面,所给出的这些规则的可信度大多数网管均未给出量化指标。因而,需要提出一种网管故障可信度分析方法来解决这一问题。
与本发明相关的现有技术的第一种方法所采用的实现方式是通过专家根据经验整理出规则,并根据规则编写程序,当发生告警的时候通过程序计算出故障。
如果采用上述第一种处理方式就会存在以下问题:首先,无法完全保证专家给出的规则均是正确的,也就是说可能存在错误的经验;其次,也无法保证专家的经验适用于所有未知的情况,而上述第一种方法是建立在专家给出的就是完全正确的假设上,即其故障的判定可信度是100%;最后,如果发现其经验存在一些错误,如果调整需要修改规则和程序。
与本发明相关的现有技术第二种方法是采用数据挖掘的方法根据历史数据挖掘出规则,并存储规则模式,当发生告警的时候根据所存储的规则进行故障分析。
如果采用上述第二种处理方式就会存在以下问题:首先,无法完全保证样本数据包含的规则均是正确的;其次,其挖掘出规则是根据样本得出的可能的规则,而这些可能的规则到底有多可能没有量化,即可信度没有明确标识;最后,如果发现其经验存在一些错误,如果调整需要可以增量式进行挖掘,但依然没有对可信度给出量化指标。
发明内容
本发明要解决的技术问题是:提供一种网管故障可信度分析系统及方法,能够对已分析出的故障给出一个可信度指标,从而可以给用户一个更为明确的判断依据。
本发明为解决上述技术问题所采取的技术方案为:
一种网管故障可信度分析系统,它包括:
概念样本转换模块,用于通过给定的告警样本库和衡量样本的指标,计算得到一个包含了正例和反例的概念样本集合;其中告警样本库从已有的通信告警系统中获取,并将告警样本库中被标记为故障的告警样本标记为正例,衡量样本的指标由用户在本系统中设定,告警样本库中的正例结合其对应的衡量样本的指标形成正例的特征,概念样本集合是由告警样本库结合衡量样本的指标转换成的一个可学习的样本库;
概念学习模块,用于通过候选消除算法对所述的概念样本集合进行计算,得到一个表达正例的由最一般概念作为下界到最特殊概念作为上界的变型空间,并通过回溯遍历把变型空间中的所有概念模式存入概念学习结果库;
可信度分析模块,用于在接收到外部系统所分析出的故障时结合概念学习结果库,让接收到的故障与概念学习结果库内的所有概念模式进行匹配,根据匹配的结果判断其匹配成功率,成功率越高可信度也就越高,反之则可信度越低;
用户交互模块,用于将可信度低于可信度阈值的进行预警通知用户,由用户根据实际情况判断接收到的故障是否是真实故障,若不是则可对本次故障进行标记,并交由适应学习模块处理;可信度阈值由用户给定;
适应学习模块,用于将做出标记的故障提交给概念学习模块,让其重新学习调整变型空间,输出新的概念学习结果存入概念学习结果库。
利用上述网管故障可信度分析系统实现的网管故障可信度分析方法,它包括以下步骤:
A、概念样本转换模块利用告警样本库和衡量样本的指标,计算输出一个包含了正例和反例的概念样本集合;
B、概念学习模块通过候选消除算法对概念样本集合进行计算,获得一个变型空间,并遍历变型空间将空间中的所有概念模式存入概念学习结果库;
C、可信度分析模块接收外部系统分析出的故障,将该故障和概念学习结果库中的概念模式进行匹配,计算匹配成功率,将匹配成功率作为可信度输出;
D、用户交互模块显示故障的可信度,并根据用户所设置的可信度阈值对超过阈值的可信度输出预警;用户根据实际情况判断外部系统分析出的故障是否是真实故障,若不是则对本次故障进行标记;
E、适应学习模块对标记的故障作为反例以调整变型空间,更新概念学习结果库,最终收敛形成一个符合当前情况的完整概念。
按上述方法,所述的步骤A具体为:
A1、概念样本转换模块从已存在的告警样本库读入告警信息;
A2、设定衡量样本的指标,其指标包括时间连贯性、告警级别、链路类型、所处节点位置、告警名称和告警定位点;时间连贯性是指该告警发生时间距离最近的另一条告警发生时间的差的绝对值;告警级别是告警样本库中定义的告警级别;链路类型包括环形链路、链式链路和星型链路,根据实际网络拓扑由用户给出;所处节点位置表示告警发生的节点在网络拓扑所处的位置;告警名称和告警定位点是来自告警数据库的直接信息;
A3、按照时间窗口划分将告警交给外部的故障分析程序,分析判断故障并输出故障;
A4、将所有故障归为正例,将所有非故障的告警归为反例;
A5、最后,合并正例和反例集合,将合并后的集合按衡量样本的指标转换成概念样本集合输出。
按上述方法,所述步骤B具体包括:
B1、概念学习模块首先通过候选消除算法压缩上下界,产生由最一般概念作为下界到最特殊概念作为上界的变型空间;
B2、遍历变型空间获取空间中的所有概念模式,存入内存;
B3、将内存中的所有概念模式批量存储到概念学习结果库。
本发明的有益效果为:通过采用本发明系统及方法能够在外部系统分析出故障的条件下,给出一个明确的分析结果可信度参考,并且可以在外部系统分析出故障后根据可信度的高低给予用户不同的提示,以提供更具参考价值的故障判定结果;同时可以根据实际情况自动学习调整可信度,以保证根据适应性;也能够有效的评估专家给出的和数据挖掘分析出的规则在实际情况下的适应情况。
附图说明
图1为本发明一实施例的结构框图。
图2为本发明一实施例的控制流程图。
图3为样本转换模块的流程图。
具体实施方式
下面结合具体实例对本发明做进一步说明。
为了分析可信度需要建立目标概念,建立目标概念的来源主要有两个,一个是告警样本库,另一个是衡量样本的指标。对于故障判定而言,告警样本库可以通过滑动时间窗口分割某个时间周期内的告警,以判断其包含了那些故障这些故障表示正例,在时间窗口内未被包含的告警均为反例,正例表示时间窗口内的是故障,反例表示时间窗口内的不是故障。判断过程可以通过以给出的规则进行判断。最终,可以得出正例集合和反例集合。根据上述分类建立一个样本库,库中包含正例和反例集合。然后定义衡量样本的指标,指标包括:时间连贯性、告警级别、链路类型、所处节点位置、告警名称和告警定位点。
在完成了目标概念来源的建立后,可以通过概念学习算法对目标概念进行学习。学习之后会得到一个表达正例的最一般概念作为下界到最特殊概念作为上界的变型空间,变型空间内包含的所有概念模式可以用来评价故障的可信度。其评价可信度的方法是,让外部系统已分析出的故障与变形空间内的所有概念模式进行匹配,根据匹配的结果判断其匹配成功率。成功率越高可信度也就越高,反之则可信度越低。用户可以设置可信度阈值,对可信度低的进行预警通知用户。用户可以根据实际情况,判断系统分析出的故障是否故障,系统可以根据这一实际值调整学习参数以适应用户环境。
图1为本发明一实施例的结构框图,它包括:
概念样本转换模块,用于通过给定的告警样本库和衡量样本的指标,计算得到一个包含了正例和反例的概念样本集合;其中告警样本库从已有的通信告警系统中获取,并将告警样本库中被标记为故障的告警样本标记为正例,衡量样本的指标由用户在本系统中设定,告警样本库中的正例结合其对应的衡量样本的指标形成正例的特征,概念样本集合是由告警样本库结合衡量样本的指标转换成的一个可学习的样本库;
概念学习模块,用于通过候选消除算法对所述的概念样本集合进行计算,得到一个表达正例的由最一般概念作为下界到最特殊概念作为上界的变型空间,并通过回溯遍历把变型空间中的所有概念模式存入概念学习结果库;
可信度分析模块,用于在接收到外部系统所分析出的故障时结合概念学习结果库,让接收到的故障与概念学习结果库内的所有概念模式进行匹配,根据匹配的结果判断其匹配成功率,成功率越高可信度也就越高,反之则可信度越低;
用户交互模块,用于将可信度低于可信度阈值的进行预警通知用户,由用户根据实际情况判断接收到的故障是否是真实故障,若不是则可对本次故障进行标记,并交由适应学习模块处理;可信度阈值由用户给定;
适应学习模块,用于将做出标记的故障提交给概念学习模块,让其重新学习调整变型空间,输出新的概念学习结果存入概念学习结果库。
图2为本发明一实施例的控制流程图,它包括以下步骤:A、概念样本转换模块利用告警样本库和设定衡量样本的指标,计算输出一个包含了正例和反例的概念样本集合;B、概念学习模块通过候选消除算法对概念样本集合进行计算,获得一个变型空间,并遍历变型空间将空间中的所有概念模式存入概念学习结果库;C、可信度分析模块接收外部系统分析出的故障,将该故障和概念学习结果库中的概念模式进行匹配,计算匹配成功率,将匹配成功率作为可信度输出;D、用户交互模块显示故障的可信度,并根据用户所设置的可信度阈值对超过阈值的可信度输出预警;用户根据实际情况判断外部系统分析出的故障是否是真实故障,若不是则对本次故障进行标记;E、适应学习模块对标记的故障作为反例以调整变型空间,更新概念学习结果库,最终收敛形成一个符合当前情况的完整概念。
所述的步骤A如图3所示,具体为:A1、概念样本转换模块从已存在的告警样本库读入告警信息;A2、设定衡量样本的指标,其指标包括时间连贯性、告警级别、链路类型、所处节点位置、告警名称和告警定位点;时间连贯性是指该告警发生时间距离最近的另一条告警发生时间的差的绝对值;告警级别是告警样本库中定义的告警级别;链路类型包括环形链路、链式链路和星型链路,根据实际网络拓扑由用户给出;所处节点位置表示告警发生的节点在网络拓扑所处的位置;告警名称和告警定位点是来自告警数据库的直接信息;A3、按照时间窗口划分将告警交给外部的故障分析程序,分析判断故障并输出故障;A4、将所有故障归为正例,将所有非故障的告警归为反例,若出现重复的正例或者反例只保留一条记录,从而起到了样本压缩的作用;A5、最后,合并正例和反例集合,将合并后的集合按衡量样本的指标转换成概念样本集合输出,每个正例所对应的衡量样本的指标构成对应正例的特征。
所述步骤B具体包括:B1、概念学习模块首先通过候选消除算法压缩上下界,产生由最一般概念作为下界到最特殊概念作为上界的变型空间;B2、遍历变型空间获取空间中的所有概念模式,存入内存;B3、将内存中的所有概念模式批量存储到概念学习结果库。

Claims (3)

1.一种网管故障可信度分析系统,其特征在于:它包括:
概念样本转换模块,用于通过给定的告警样本库和衡量样本的指标,计算得到一个包含了正例和反例的概念样本集合;其中告警样本库从已有的通信告警系统中获取,并将告警样本库中被标记为故障的告警样本标记为正例,衡量样本的指标由用户在本系统中设定,告警样本库中的正例结合其对应的衡量样本的指标形成正例的特征,概念样本集合是由告警样本库结合衡量样本的指标转换成的一个可学习的样本库;
概念学习模块,用于通过候选消除算法对所述的概念样本集合进行计算,得到一个表达正例的由最一般概念作为下界到最特殊概念作为上界的变型空间,并通过回溯遍历把变型空间中的所有概念模式存入概念学习结果库;
可信度分析模块,用于在接收到外部系统所分析出的故障时结合概念学习结果库,让接收到的故障与概念学习结果库内的所有概念模式进行匹配,根据匹配的结果判断其匹配成功率,成功率越高可信度也就越高,反之则可信度越低;
用户交互模块,用于将可信度低于可信度阈值的进行预警通知用户,由用户根据实际情况判断接收到的故障是否是真实故障,若不是则可对本次故障进行标记,并交由适应学习模块处理;可信度阈值由用户给定;
适应学习模块,用于将做出标记的故障提交给概念学习模块,让其重新学习调整变型空间,输出新的概念学习结果存入概念学习结果库;
所述的概念样本转换模块得到一个包含了正例和反例的概念样本集合的计算步骤具体为:
A1、概念样本转换模块从已存在的告警样本库读入告警信息;
A2、设定衡量样本的指标,其指标包括时间连贯性、告警级别、链路类型、所处节点位置、告警名称和告警定位点;时间连贯性是指该告警发生时间距离最近的另一条告警发生时间的差的绝对值;告警级别是告警样本库中定义的告警级别;链路类型包括环形链路、链式链路和星型链路,根据实际网络拓扑由用户给出;所处节点位置表示告警发生的节点在网络拓扑所处的位置;告警名称和告警定位点是来自告警数据库的直接信息;
A3、按照时间窗口划分将告警交给外部的故障分析程序,分析判断故障并输出故障;
A4、将所有故障归为正例,将所有非故障的告警归为反例;
A5、最后,合并正例和反例集合,将合并后的集合按衡量样本的指标转换成概念样本集合输出。
2.利用权利要求1所述的网管故障可信度分析系统实现的网管故障可信度分析方法,其特征在于:它包括以下步骤:
A、概念样本转换模块利用告警样本库和衡量样本的指标,计算输出一个包含了正例和反例的概念样本集合;
B、概念学习模块通过候选消除算法对概念样本集合进行计算,获得一个变型空间,并遍历变型空间将空间中的所有概念模式存入概念学习结果库;
C、可信度分析模块接收外部系统分析出的故障,将该故障和概念学习结果库中的概念模式进行匹配,计算匹配成功率,将匹配成功率作为可信度输出;
D、用户交互模块显示故障的可信度,并根据用户所设置的可信度阈值对超过阈值的可信度输出预警;用户根据实际情况判断外部系统分析出的故障是否是真实故障,若不是则对本次故障进行标记;
E、适应学习模块对标记的故障作为反例以调整变型空间,更新概念学习结果库,最终收敛形成一个符合当前情况的完整概念;
所述的步骤A具体为:
A1、概念样本转换模块从已存在的告警样本库读入告警信息;
A2、设定衡量样本的指标,其指标包括时间连贯性、告警级别、链路类型、所处节点位置、告警名称和告警定位点;时间连贯性是指该告警发生时间距离最近的另一条告警发生时间的差的绝对值;告警级别是告警样本库中定义的告警级别;链路类型包括环形链路、链式链路和星型链路,根据实际网络拓扑由用户给出;所处节点位置表示告警发生的节点在网络拓扑所处的位置;告警名称和告警定位点是来自告警数据库的直接信息;
A3、按照时间窗口划分将告警交给外部的故障分析程序,分析判断故障并输出故障;
A4、将所有故障归为正例,将所有非故障的告警归为反例;
A5、最后,合并正例和反例集合,将合并后的集合按衡量样本的指标转换成概念样本集合输出。
3.根据权利要求2所述的网管故障可信度分析方法,其特征在于:所述步骤B具体包括:
B1、概念学习模块首先通过候选消除算法压缩上下界,产生由最一般概念作为下界到最特殊概念作为上界的变型空间;
B2、遍历变型空间获取空间中的所有概念模式,存入内存;
B3、将内存中的所有概念模式批量存储到概念学习结果库。
CN201310440670.0A 2013-09-25 2013-09-25 一种网管故障可信度分析系统及方法 Expired - Fee Related CN103475527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310440670.0A CN103475527B (zh) 2013-09-25 2013-09-25 一种网管故障可信度分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310440670.0A CN103475527B (zh) 2013-09-25 2013-09-25 一种网管故障可信度分析系统及方法

Publications (2)

Publication Number Publication Date
CN103475527A CN103475527A (zh) 2013-12-25
CN103475527B true CN103475527B (zh) 2015-07-08

Family

ID=49800237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310440670.0A Expired - Fee Related CN103475527B (zh) 2013-09-25 2013-09-25 一种网管故障可信度分析系统及方法

Country Status (1)

Country Link
CN (1) CN103475527B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696369A (zh) * 2017-04-06 2018-10-23 华为技术有限公司 一种告警信息处理设备及方法
CN110336382A (zh) * 2019-08-01 2019-10-15 广东电网有限责任公司 一种电网故障告警信息的确认方法、装置、设备及介质
CN113988329B (zh) * 2021-10-26 2022-12-27 国家石油天然气管网集团有限公司 一种基于匹配度计算的天然气管道压缩机组故障分析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101022366A (zh) * 2007-03-21 2007-08-22 Ut斯达康通讯有限公司 一种故障关联分析系统以及方法
CN102006198A (zh) * 2010-12-16 2011-04-06 中国电子科技集团公司第三十研究所 一种网络故障关联规则获取方法及装置
JP2011138251A (ja) * 2009-12-28 2011-07-14 Fujitsu Telecom Networks Ltd 監視制御ネットワークシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101022366A (zh) * 2007-03-21 2007-08-22 Ut斯达康通讯有限公司 一种故障关联分析系统以及方法
JP2011138251A (ja) * 2009-12-28 2011-07-14 Fujitsu Telecom Networks Ltd 監視制御ネットワークシステム
CN102006198A (zh) * 2010-12-16 2011-04-06 中国电子科技集团公司第三十研究所 一种网络故障关联规则获取方法及装置

Also Published As

Publication number Publication date
CN103475527A (zh) 2013-12-25

Similar Documents

Publication Publication Date Title
CN112418451A (zh) 基于数字孪生的变压器故障诊断定位系统
CN113887846B (zh) 一种电容式电压互感器的超差风险预警方法
CN104200288A (zh) 一种基于因素与事件间相关关系识别的设备故障预测方法
US11842301B1 (en) Methods for monitoring distributed energy storage safety and internet of things systems thereof
CN105825271A (zh) 基于证据推理的卫星故障诊断与预测方法
CN106354940B (zh) 基于wasp水质模型不确定性输入的景观水水质模拟与预警方法
CN112966714A (zh) 一种边缘时序数据异常检测和网络可编程控制方法
CN103475527B (zh) 一种网管故障可信度分析系统及方法
Yan et al. Water inrush sources monitoring and identification based on mine IoT
CN113987908A (zh) 基于机器学习方法的天然气管网泄漏预警方法
CN115654381A (zh) 一种基于图神经网络的供水管道漏损检测方法
CN111191855B (zh) 一种基于管网多元水质时序数据的水质异常事件识别预警方法
CN115081641A (zh) 模型训练方法、评估结果的预测方法、设备及存储介质
CN117434372B (zh) 电子产品的电磁兼容抗扰度测试方法及系统
Ivanovic et al. Science versus politics: truth and uncertainty in predictive modelling
CN116738192A (zh) 一种基于数字孪生的安全数据评估方法及系统
CN111340975A (zh) 异常数据特征提取方法、装置、设备及存储介质
CN104568256A (zh) 发动机扭矩检测系统及方法
CN115278757A (zh) 一种检测异常数据的方法、装置及电子设备
CN114418189A (zh) 水质等级预测方法、系统、终端设备及存储介质
Gai et al. Research on water quality spatiotemporal forecasting model based on ST-BIGRU-SVR neural network
CN109891235A (zh) 基于统计方法,自动在线检测流体的实际状态与流体的参考状态的偏差的方法,特别是用于监测饮用水供应
CN114266483A (zh) 一种基于物联网的危险废物监管系统
EP3686812A1 (en) System and method for context-based training of a machine learning model
CN110866652B (zh) 一种基于lstm模型的在线pmu数据纠错方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 430070 Hubei Province, Wuhan city Hongshan District Luoshi Road No. 122

Co-patentee after: Wuhan leading technology Co., Ltd.

Patentee after: Wuhan University of Technology

Address before: 430070 Hubei Province, Wuhan city Hongshan District Luoshi Road No. 122

Co-patentee before: Wuhan NEC Fiber Optic Communications Industry Co., Ltd.

Patentee before: Wuhan University of Technology

CP01 Change in the name or title of a patent holder
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150708

Termination date: 20200925

CF01 Termination of patent right due to non-payment of annual fee