CN103414581A - 一种基于数据挖掘的设备故障报警预测处理机制 - Google Patents

一种基于数据挖掘的设备故障报警预测处理机制 Download PDF

Info

Publication number
CN103414581A
CN103414581A CN2013103180942A CN201310318094A CN103414581A CN 103414581 A CN103414581 A CN 103414581A CN 2013103180942 A CN2013103180942 A CN 2013103180942A CN 201310318094 A CN201310318094 A CN 201310318094A CN 103414581 A CN103414581 A CN 103414581A
Authority
CN
China
Prior art keywords
fault
alarm information
fault alarm
processing mechanism
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013103180942A
Other languages
English (en)
Inventor
曲家朋
梁海涛
赵刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PCI Suntek Technology Co Ltd
Original Assignee
PCI Suntek Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PCI Suntek Technology Co Ltd filed Critical PCI Suntek Technology Co Ltd
Priority to CN2013103180942A priority Critical patent/CN103414581A/zh
Publication of CN103414581A publication Critical patent/CN103414581A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于数据挖掘的设备故障报警预测处理机制，包括基于数据挖掘得到的故障相关性描述和故障预测处理机制；由于现今故障报警信息数量巨大且每天都在不断的更新，用普通的遍历算法会使得时间成本开销呈几何方式增加，使得挖掘数据相关性的效率大大降低，无法满足现实中实时性的要求，所以使用集群分布式并行算法来从故障报警信息数据库中挖掘故障信息的关联规则，形成知识库。当一种故障报警信息产生时，故障预测处理机制根据知识库中的关联规则快速实时地预测相关故障发生的概率来指导故障的处理。

Description

一种基于数据挖掘的设备故障报警预测处理机制
技术领域
本发明涉及数据挖掘，通信领域，特别涉及一种基于数据挖掘的设备故障报警预测处理机制。
背景技术
故障报警信息管理是故障管理系统的重要组成部分，主要用于进行报警分析和故障预测。当网络中的设备发生故障时，快速识别并预测相关故障发生的概率从而排除故障是保证整个网络系统安全、可靠运行的关键。但在现实的网络中，因为复杂、异构的网络结构中，以及各个网元设备之间相互连接、相互影响，如果当网络系统中一个设备发生故障，那么其相关联的设备也会显示故障状态出现故障报警信息。现在网络设备越来越复杂，各种设备之间的性能差异大，当故障发生时，系统管理人员容易被一系列突发的、对故障原因无意义的大量故障报警信息所淹没。因此，为了更好的诊断和预测故障，需要对故障报信息进行分析，也即需要对网络设备系统中故障报警信息进行数据挖掘，找出各故障之间的关联规则，压缩冗余报警、定位故障、预测相关故障。
通过对设备系统故障报警信息相关性分析，利用数据挖掘技术，可以将多个相同的报警事件归结成较少的报警事件，过滤掉无意义的报警事件，并且挖掘出报警信息之间的关联规则，从海量报警数据中找出故障的根本原因，从而准确定位故障，帮助管理员采用合理的解决方案。以这种方式辅助系统管理人员删除衍生的冗余报警，预测相关故障发生的概率，从而实时监控故障发生现场，及时排除故障，确保网络正常、安全、可靠的运行。
发明内容
本发明所需要解决的问题是提供一种基于数据挖掘的设备故障报警预测处理机制，利用集群分布式技术降低数据挖掘的成本，并分析故障报警信息间的关联规则，以帮助管理人员过滤掉无意义的报警事件，从海量报警信息中找出故障的根本原因，并且能够迅速预测相关故障的发生，从而实现远程实时监控故障设备，排除故障。
为实现以上发明目的，本发明提供一种基于数据挖掘的设备故障报警预测处理机制，包括使用分布式并行算法从故障报警信息库中挖掘数据的关联规则和利用知识库来预测处理报警信息。
所述的分布式并行算法，用于：将故障告警信息放到集群里处理，降低海量数据信息挖掘所带来的成本，利用集群方式降低服务器性能要求。将原本只能使用高性能服务器才能达到的效果，使用一般的服务器就能达到同样的效果。
所述的利用知识库来预测处理报警信息，用于：根据知识库中相关联的故障以其支持度，置信度来预测故障发生的概率，来指导故障的处理。
一种基于数据挖掘的设备故障报警预测处理机制，其特征在于，包括：
分布式并行算法：将故障告警信息库平均分给N个结点并行计算故障报警信息之间的关联规则，每一个结点上使用关联规则算法来得出报警信息的相关性，满足要求所需的最低支持度，最低置信度。然后将N个结点计算的数据合并，再重新分配N个结点挖掘直到得到最大的频繁项集。
利用知识库来预测处理报警信息：将挖掘得到的关联规则以及其故障间的支持度，置信度等数据形成知识库，当一种故障报警信息发生时，故障预测报警机制判断其是否在知识库中，若是，则根据其相关的故障预测故障的发生的概率，若否，则根据关联规则频繁算法挖掘新的关联频繁项集，再将其添加到知识库中。
优选的有，上述方法中，还包括：故障报警信息均分给N个结点，计算得到的结果再次合并，迭代得到最后的频繁信息关联规则。
优选的有，上述方法中，还包括：预测处理报警信息机制能够实时地根据新故障的产生来预测相关联的故障，以便使管理人员实时监控故障。
一种基于数据挖掘的设备故障报警预测处理机制，其特征在于，包括：
所述故障报警预测处理机制将不规则的故障报警信息，将其排除或者是平滑成可以接受的故障报警信息。
由上述方案可以看出，本发明中利用公布式并行算法从海量故障报警信息库中挖掘出故障间的关联规则，当一种故障发生时，故障报警预测处理机制可以迅速预测相关故障发生，从而实时监控设备故障，排除故障。这种方案可以大大减少从海量数据挖掘所带来的成本开销，并且能够快速预测和定位故障。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一中系统结构示意图
图2为本发明实施例二中故障报警信息库并行挖掘关联规则流程示意图
图3为本发明实施例三中故障报警信息预测处理机制图
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一，参见图1。
本发明提供一种基于数据挖掘的设备故障预测处理机制，所述机制包括利用集群分布式并行算法从海量的故障报警信息库中挖掘关联规则和利用知识库来预测处理报警信息。
所述分布式并行算法挖掘海量数据的关联规则，用于：将故障告警信息放到集群里处理，降低海量数据信息挖掘所带来的成本，利用集群方式降低服务器性能要求。
所述利用知识库的故障预测报警处理机制，用于：根据知识库中相关联的故障以其支持度，置信度来预测故障发生的概率，来指导故障的处理。
上述系统的工作过程参见图1，具体包括以下步骤：
步骤1，新产生的故障信息首先保存在故障信息库中。
步骤2，知识库判断新产生的故障信息是否在知识库中存在关联项。
步骤3，知识库是从故障信息库中挖掘得到的关联规则及相关数据。
步骤4，服务器用于处理知识库判断的结果。
步骤5、6，如果结果是一种新的故障，则更新到知识库中。
步骤7、8，管理员根据服务器利用知识库判断预测的结果实时监控相关的设备故障。
实施例二，参见图2。
基于数据挖掘的设备故障预测报警处理机制，还包括：将故障报警信息库均分给N个结点，并行运算各结点的故障报警信息的关联规则，然后将各结点数据合并再分发给N个结点运算，直至挖掘得到最后的频繁项集，形成知识库。
实施例三，参见图3。
基于数据挖掘的设备故障预测报警处理机制，还包括：将挖掘得到的故障间关联规则以及其支持度，置信度等数据形成知识库，当一种故障报警信息发生时，故障预测报警机制判断其是否在知识库中，若是，则根据其相关的故障迅速预测故障的发生的概率，若否，则根据关联规则频繁算法挖掘新的关联频繁项集，再将其添加到知识库中。

Claims (5)

1.一种基于数据挖掘的设备故障报警预测处理机制，其特征在于，使用集群分布式并行算法从海量故障报警信息库中挖掘关联规则和利用知识库来预测处理报警信息；
所述的分布式并行算法，用于：将故障告警信息库放到集群里处理，降低海量数据信息挖掘所带来的成本，且利用集群方式降低了服务器性能要求；
所述的利用知识库来预测处理报警信息，用于：将从故障报警信息库中挖掘得到的规则以及相关信息结合形成知识库，再根据知识库中相关联的故障以及其支持度，置信度来预测故障发生的概率，能够迅速地指导故障的处理。
2.一种基于数据挖掘的设备故障报警预测处理机制，其特征在于，包括：
分布式并行算法：将故障报警信息库平均分给N个结点并行计算故障报警信息之间的关联规则，每一个结点上使用关联规则算法来得出报警信息的相关性，满足要求所需的最低支持度，最低置信度；然后将N个结点计算的数据合并，再重新分配N个结点挖掘直到得到最大的频繁项集；
利用知识库来预测处理报警信息：将挖掘得到的故障间关联规则以及其支持度，置信度等数据形成知识库，当一种故障报警信息发生时，故障预测报警机制判断其是否在知识库中，若是，则根据其相关的故障迅速地预测故障的发生的概率，若否，则根据关联规则算法挖掘新的关联频繁项集，再将其添加到知识库中。
3.根据权利要求2所述的方法，其特征在于，还包括：
故障报警信息均分给N个结点，由每一个结点计算得到的结果再次合并，迭代得到最后的频繁故障报警信息关联规则。
4.根据权利要求2所述的方法，其特征在于，还包括：
故障报警信息预测处理机制能够实时地根据新故障的产生来预测相关故障的发生，以便使得管理人员实时监控设备故障。
5.一种基于数据挖掘的设备故障报警预测处理机制，其特征在于，包括：所述故障报警预测处理机制将不规则的故障报警信息，将其排除或者是自动平滑成可以接受的故障报警信息，并且能够自动的挖掘海量故障报警信息数据库的数据关联规则。
CN2013103180942A 2013-07-24 2013-07-24 一种基于数据挖掘的设备故障报警预测处理机制 Pending CN103414581A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013103180942A CN103414581A (zh) 2013-07-24 2013-07-24 一种基于数据挖掘的设备故障报警预测处理机制

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013103180942A CN103414581A (zh) 2013-07-24 2013-07-24 一种基于数据挖掘的设备故障报警预测处理机制

Publications (1)

Publication Number Publication Date
CN103414581A true CN103414581A (zh) 2013-11-27

Family

ID=49607567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013103180942A Pending CN103414581A (zh) 2013-07-24 2013-07-24 一种基于数据挖掘的设备故障报警预测处理机制

Country Status (1)

Country Link
CN (1) CN103414581A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104821952A (zh) * 2014-04-09 2015-08-05 惠州Tcl移动通信有限公司 端到端云服务的专家系统及其数据挖掘方法
WO2016070642A1 (zh) * 2014-11-05 2016-05-12 中兴通讯股份有限公司 一种多故障数据解耦方法和装置
CN105608519A (zh) * 2015-11-09 2016-05-25 国家电网公司 一种电网通信设备运行状态的预测算法
CN105760279A (zh) * 2016-03-09 2016-07-13 北京国电通网络技术有限公司 分布式数据库集群故障预警关联树生成方法及系统
TWI578739B (zh) * 2015-06-25 2017-04-11 Chunghwa Telecom Co Ltd Obstacle diagnosis system and method thereof
CN106874491A (zh) * 2017-02-22 2017-06-20 北京科技大学 一种基于动态关联规则的设备故障信息挖掘方法
CN107077649A (zh) * 2014-09-10 2017-08-18 卡特彼勒公司 用于预测机器部件的相关联的故障的系统和方法
CN107918629A (zh) * 2016-10-11 2018-04-17 北京神州泰岳软件股份有限公司 一种告警故障的关联方法和装置
CN108008332A (zh) * 2017-11-29 2018-05-08 国网山东省电力公司电力科学研究院 一种基于数据挖掘的新能源远程测试设备故障诊断方法
CN108363364A (zh) * 2017-12-29 2018-08-03 武汉武钢众鹏信息系统有限公司 一种基于工业大数据驱动的报警方法
WO2019080249A1 (zh) * 2017-10-24 2019-05-02 平安科技（深圳）有限公司 告警处理方法、装置、计算机设备及存储介质
CN112152830A (zh) * 2019-06-28 2020-12-29 中国电力科学研究院有限公司 一种智能的故障根因分析方法及系统
CN113868008A (zh) * 2021-10-14 2021-12-31 中国建设银行股份有限公司 一种异常处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028531A1 (en) * 2000-01-03 2003-02-06 Jiawei Han Methods and system for mining frequent patterns
CN101562537A (zh) * 2009-05-19 2009-10-21 华中科技大学 分布式自优化入侵检测报警关联系统
CN102420700A (zh) * 2011-11-28 2012-04-18 武汉大学 网络故障诊断系统
CN102495949A (zh) * 2011-11-23 2012-06-13 西北工业大学 一种基于飞行数据的故障预报方法
CN102809965A (zh) * 2012-07-30 2012-12-05 燕山大学 一种基于故障频繁模式的液压设备故障预警方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030028531A1 (en) * 2000-01-03 2003-02-06 Jiawei Han Methods and system for mining frequent patterns
CN101562537A (zh) * 2009-05-19 2009-10-21 华中科技大学 分布式自优化入侵检测报警关联系统
CN102495949A (zh) * 2011-11-23 2012-06-13 西北工业大学 一种基于飞行数据的故障预报方法
CN102420700A (zh) * 2011-11-28 2012-04-18 武汉大学 网络故障诊断系统
CN102809965A (zh) * 2012-07-30 2012-12-05 燕山大学 一种基于故障频繁模式的液压设备故障预警方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李栋: "面向故障诊断的并行关联规则算法研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104821952B (zh) * 2014-04-09 2018-11-23 惠州Tcl移动通信有限公司 端到端云服务的专家系统及其数据挖掘方法
CN104821952A (zh) * 2014-04-09 2015-08-05 惠州Tcl移动通信有限公司 端到端云服务的专家系统及其数据挖掘方法
CN107077649A (zh) * 2014-09-10 2017-08-18 卡特彼勒公司 用于预测机器部件的相关联的故障的系统和方法
WO2016070642A1 (zh) * 2014-11-05 2016-05-12 中兴通讯股份有限公司 一种多故障数据解耦方法和装置
CN105634781B (zh) * 2014-11-05 2020-03-13 中兴通讯股份有限公司 一种多故障数据解耦方法和装置
CN105634781A (zh) * 2014-11-05 2016-06-01 中兴通讯股份有限公司 一种多故障数据解耦方法和装置
TWI578739B (zh) * 2015-06-25 2017-04-11 Chunghwa Telecom Co Ltd Obstacle diagnosis system and method thereof
CN105608519A (zh) * 2015-11-09 2016-05-25 国家电网公司 一种电网通信设备运行状态的预测算法
CN105760279B (zh) * 2016-03-09 2018-09-07 北京国电通网络技术有限公司 分布式数据库集群故障预警关联树生成方法及系统
CN105760279A (zh) * 2016-03-09 2016-07-13 北京国电通网络技术有限公司 分布式数据库集群故障预警关联树生成方法及系统
CN107918629A (zh) * 2016-10-11 2018-04-17 北京神州泰岳软件股份有限公司 一种告警故障的关联方法和装置
CN107918629B (zh) * 2016-10-11 2020-09-04 北京神州泰岳软件股份有限公司 一种告警故障的关联方法和装置
CN106874491A (zh) * 2017-02-22 2017-06-20 北京科技大学 一种基于动态关联规则的设备故障信息挖掘方法
WO2019080249A1 (zh) * 2017-10-24 2019-05-02 平安科技（深圳）有限公司 告警处理方法、装置、计算机设备及存储介质
CN108008332B (zh) * 2017-11-29 2020-02-14 国网山东省电力公司电力科学研究院 一种基于数据挖掘的新能源远程测试设备故障诊断方法
CN108008332A (zh) * 2017-11-29 2018-05-08 国网山东省电力公司电力科学研究院 一种基于数据挖掘的新能源远程测试设备故障诊断方法
CN108363364A (zh) * 2017-12-29 2018-08-03 武汉武钢众鹏信息系统有限公司 一种基于工业大数据驱动的报警方法
CN112152830A (zh) * 2019-06-28 2020-12-29 中国电力科学研究院有限公司 一种智能的故障根因分析方法及系统
CN112152830B (zh) * 2019-06-28 2023-08-04 中国电力科学研究院有限公司 一种智能的故障根因分析方法及系统
CN113868008A (zh) * 2021-10-14 2021-12-31 中国建设银行股份有限公司 一种异常处理方法及装置

Similar Documents

Publication Publication Date Title
CN103414581A (zh) 一种基于数据挖掘的设备故障报警预测处理机制
CN107171819B (zh) 一种网络故障诊断方法及装置
Mao et al. Assessment of the impact of interdependencies on the resilience of networked critical infrastructure systems
CN109271272B (zh) 基于非结构化日志的大数据组件故障辅助修复系统
CN107577771B (zh) 一种大数据挖掘系统
CN111176879A (zh) 设备的故障修复方法及装置
CN105659528B (zh) 一种实现故障定位的方法及装置
CN108322320B (zh) 业务生存性分析方法及装置
CN111010291B (zh) 业务流程异常告警方法、装置、电子设备及存储介质
CN110351150A (zh) 故障根源确定方法及装置、电子设备和可读存储介质
CN103812699A (zh) 基于云计算的监控管理系统
CN102664747B (zh) 一种云计算平台系统
WO2018207469A1 (ja) 異常検出システム
CN105373082A (zh) 一种基于地理信息系统的矿山安全管理方法及装置
CN105740080B (zh) 一种程序卡死检测方法及处理器
CN105763395A (zh) 云环境下用于虚拟机和容器的监控管理方法及系统
CN104486406A (zh) 一种基于云数据中心的分层式资源监控方法
CN106200615B (zh) 一种基于关联关系的轨道交通智能预警实现方法
CN103152945A (zh) 一种消防应急照明和疏散指示系统
CN106878038A (zh) 一种通信网络中故障定位方法及装置
CN110784352B (zh) 一种基于Oracle Goldengate的数据同步监控告警方法及装置
CN107548087A (zh) 一种告警关联分析的方法及装置
Zhou et al. Robustness analysis of power system dynamic process and repair strategy
CN104318126A (zh) 一种继电保护最佳检修周期的计算方法
CN116167748B (zh) 一种城市地下综合管廊运维方法、系统、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20131127