CN102625349A - 一种告警风暴下的数据处理方法 - Google Patents

一种告警风暴下的数据处理方法 Download PDF

Info

Publication number
CN102625349A
CN102625349A CN2012100607903A CN201210060790A CN102625349A CN 102625349 A CN102625349 A CN 102625349A CN 2012100607903 A CN2012100607903 A CN 2012100607903A CN 201210060790 A CN201210060790 A CN 201210060790A CN 102625349 A CN102625349 A CN 102625349A
Authority
CN
China
Prior art keywords
alarm
time
thresholding
real
fault
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100607903A
Other languages
English (en)
Other versions
CN102625349B (zh
Inventor
韦义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Communication Information System Co Ltd
Original Assignee
Inspur Communication Information System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Communication Information System Co Ltd filed Critical Inspur Communication Information System Co Ltd
Priority to CN201210060790.3A priority Critical patent/CN102625349B/zh
Publication of CN102625349A publication Critical patent/CN102625349A/zh
Application granted granted Critical
Publication of CN102625349B publication Critical patent/CN102625349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供一种告警风暴下的数据处理方法,该技术通过实时分析告警接口流程,判断告警风暴发生原因,及时切换处理流程,加快处理速度。另外,在处理引擎中增加压缩/频次等关联,过滤掉重复或者无用信息,提高工作效率,降低监控难度。

Description

一种告警风暴下的数据处理方法
技术领域
本发明涉及移动通信网络发生告警风暴时网管系统的数据处理技术具体地说是一种告警风暴下的数据处理方法,。
背景技术
在移动通信网络中,当管理网元发现影响正常业务的故障时,这些重要的故障信息会以告警的方式在第一时间通知管理人员并应该立即得到解决。
告警风暴指管理网元在短时间内发送告警数据量超过正常范围,告警风暴会导致告警积压。在这种极端的情况下,网管系统会出现处理异常,不能使管理人员及时得到故障信息,失去有效监控网络的作用。
发明内容
本发明的目的是提供一种告警风暴下的数据处理方法。
本发明的目的是按以下方式实现的,通过实时分析告警接口流量,判断告警风暴发生原因,及时切换处理流程,在处理引擎中增加压缩/频次关联,过滤掉重复或者无用信息, 来加快处理速度提高工作效率,降低监控难度,具体步骤如下:
告警流量实时分析
根据采集源建立不同的采集消息队列,每个采集消息队列建立实时流量分析,按每分钟统计收到的告警信息条数,当消息队列达到一定门限时,当网管系统不能及时处理时,则发生告警积压的现象,采集消息队列实时探测流量数据,设立正常处理门限和简单处理门限两级处理门限:如果超过正常处理门限,则对告警只根据原始的告警正文做简单的分析,直接通过快速通道送到告警客户端;对直接通道发送的数据,应用层在单独窗口呈现,不能影响正常告警窗口;如果超过正常处理,并且超过简单处理门限,则系统不做任何处理直接丢弃掉;
告警压缩处理
告警压缩处理功能的目的是为了消除大量重复信息对值班人员的干扰,从中提炼出对用户真正有用的信息呈现给用户,当系统在限定时间内收到重复发送的同一告警时,系统会自动消除重复的告警,只保留最初一条告警,同时记录告警重复上报的次数以及上报的时间;
警重复上报故障发生在同一网元相同类型的一批告警,其发生时间和清除时间多为同时发生,同时清除,对于此类告警我们就需要对其进行压缩,减少监控干扰;
告警存储与压缩决定了告警信息如何在数据库中进行存储或更新,对于活动告警,则需要插入到活动告警表中,对于同一个故障导致反复上报活动告警的情况,用户设置告警压缩规则对告警进行压缩合并存储,系统将不再存储重复的告警,而是只在附加信息中记录告警上报的总次数,以及各条重复告警的告警号、告警发生时间、告警级别的信息;
对于确认告警:则需要更新活动告警表中记录的确认信息,包括确认人、确认时间、确认标志;
对于清除告警:则需要删除活动告警表中的记录,然后插入新记录到历史告警表中;
告警瞬断处理
某些告警发生后,接着在很短的时间内就会收到相应的清除告警,则系统视此告警为瞬断告警;
系统支持对瞬断告警进行延时上报功能,当且仅当某一告警在指定的时间门限内未被清除时,才将该告警发送到前台进行监控。如果在此设定时间内告警已被清除,则将不会被发送到监控前台;
告警延迟功能针对如下情况:即在某一持续较短的时间内,网络出现偶发性故障,经过很短的时间后故障问题消失,这类故障的产生基本上没有什么规律可循,并且不会对系统运行产生不良影响。
本发明的优异效果是告警延迟上报功能针对经常大量产生的瞬断、闪断告警,根据用户的条件设置进行短期迟滞,在告警产生后,不直接呈现给用户,而是延迟一段时间后再进行处理,这样对于真正的闪断、瞬断告警,在合理的延迟时间内就会收到清除告警从而不必向值班人员呈现这类告警信息,从而有效减少对值班人员带来的干扰。
附图说明
图1是告警流量分析图。
具体实施方式
参照说明书附图对本发明的作以下详细地说明。
本发明的方法是通过实时分析告警接口流量,判断告警风暴发生原因,及时切换处理流程,加快处理速度。另外,在处理引擎中增加压缩/频次等关联,过滤掉重复或者无用信息,提高工作效率,降低监控难度。
告警流量实时分析
采集消息队列应该根据采集源建立不同的队列。每个采集消息队列都应该建立实时流量分析,按每分钟统计收到的告警信息条数。当消息队列达到一定门限时,网管系统不能及时处理,发生告警积压的现象。采集队列实时探测流量数据,设立两级处理门限:正常处理门限和简单处理门限。如果超过正常处理门限,则对告警只根据原始的告警正文做简单的分析,直接通过快速通道送到告警客户端。对直接通道发送的数据,应用层在单独窗口呈现,不能影响正常告警窗口。如果超过正常处理,并且超过简单处理门限,则系统直接丢弃掉,不做任何处理。
告警压缩处理
告警压缩处理功能的目的是为了消除大量重复信息对值班人员的干扰,从中提炼出对用户真正有用的信息呈现给用户。具体而言就是,当系统在限定时间内收到重复发送的同一告警时,系统会自动消除重复的告警,只保留最初一条告警,同时记录告警重复上报的次数以及上报的时间。
此类故障发生在同一网元相同类型的一批告警,其发生时间和清除时间多为同时发生,同时清除。对于此类告警我们就需要对其进行压缩,减少监控干扰。
告警存储与压缩决定了告警信息如何在数据库中进行存储或更新。
对于活动告警:则需要插入到活动告警表中。对于同一个故障导致反复上报活动告警的情况,用户可以设置告警压缩规则对告警进行压缩合并存储,系统将不再存储重复的告警,而是只在附加信息中记录告警上报的总次数,以及各条重复告警的告警号、告警发生时间、告警级别等信息。
对于确认告警:则需要更新活动告警表中记录的确认信息,如确认人、确认时间、确认标志。
对于清除告警:则需要删除活动告警表中的记录,然后插入新记录到历史告警表中。
告警瞬断处理
某些告警发生后,接着在很短的时间内就会收到相应的清除告警,则系统视此告警为瞬断告警。
系统支持对瞬断告警进行延时上报的功能,当且仅当某一告警在指定的时间门限内未被清除时才将该告警发送到前台进行监控。如果在此设定时间内告警已被清除,则将不会被发送到监控前台。
告警延迟功能针对的是这样一种情况:即在某一持续较短的时间内,网络出现偶发性故障,经过很短的时间后故障问题消失,这类故障的产生基本上没有什么规律可循,并且一般不会对系统运行产生不良影响。如果系统不对这类告警做任何处理而直接呈现给用户,则用户在处理时基本上不会有什么结果,或者当维护人员去处理时,发现故障已经消失,结果就是白白耗费人力。
除说明书所述的技术特征外,均为本专业技术人员的已知技术。

Claims (1)

1.一种告警风暴下的数据处理方法, 其特征在于通过实时分析告警接口流量,判断告警风暴发生原因,及时切换处理流程,在处理引擎中增加压缩/频次关联,过滤掉重复或者无用信息, 来加快处理速度提高工作效率,降低监控难度,具体步骤如下:
告警流量实时分析
根据采集源建立不同的采集消息队列,每个采集消息队列建立实时流量分析,按每分钟统计收到的告警信息条数,当消息队列达到一定门限时,当网管系统不能及时处理时,则发生告警积压的现象,采集消息队列实时探测流量数据,设立正常处理门限和简单处理门限两级处理门限:如果超过正常处理门限,则对告警只根据原始的告警正文做简单的分析,直接通过快速通道送到告警客户端;对直接通道发送的数据,应用层在单独窗口呈现,不能影响正常告警窗口;如果超过正常处理,并且超过简单处理门限,则系统不做任何处理直接丢弃掉;
告警压缩处理
告警压缩处理功能的目的是为了消除大量重复信息对值班人员的干扰,从中提炼出对用户真正有用的信息呈现给用户,当系统在限定时间内收到重复发送的同一告警时,系统会自动消除重复的告警,只保留最初一条告警,同时记录告警重复上报的次数以及上报的时间;
警重复上报故障发生在同一网元相同类型的一批告警,其发生时间和清除时间多为同时发生,同时清除,对于此类告警我们就需要对其进行压缩,减少监控干扰;
告警存储与压缩决定了告警信息如何在数据库中进行存储或更新,对于活动告警,则需要插入到活动告警表中,对于同一个故障导致反复上报活动告警的情况,用户设置告警压缩规则对告警进行压缩合并存储,系统将不再存储重复的告警,而是只在附加信息中记录告警上报的总次数,以及各条重复告警的告警号、告警发生时间、告警级别的信息;
对于确认告警:则需要更新活动告警表中记录的确认信息,包括确认人、确认时间、确认标志;
对于清除告警:则需要删除活动告警表中的记录,然后插入新记录到历史告警表中;
告警瞬断处理
某些告警发生后,接着在很短的时间内就会收到相应的清除告警,则系统视此告警为瞬断告警;
系统支持对瞬断告警进行延时上报功能,当且仅当某一告警在指定的时间门限内未被清除时,才将该告警发送到前台进行监控,如果在此设定时间内告警已被清除,则将不会被发送到监控前台;
告警延迟功能针对如下情况:即在某一持续较短的时间内,网络出现偶发性故障,经过很短的时间后故障问题消失,这类故障的产生基本上没有什么规律可循,并且不会对系统运行产生不良影响。
CN201210060790.3A 2012-03-09 2012-03-09 一种告警风暴下的数据处理方法 Active CN102625349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210060790.3A CN102625349B (zh) 2012-03-09 2012-03-09 一种告警风暴下的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210060790.3A CN102625349B (zh) 2012-03-09 2012-03-09 一种告警风暴下的数据处理方法

Publications (2)

Publication Number Publication Date
CN102625349A true CN102625349A (zh) 2012-08-01
CN102625349B CN102625349B (zh) 2016-06-29

Family

ID=46564993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210060790.3A Active CN102625349B (zh) 2012-03-09 2012-03-09 一种告警风暴下的数据处理方法

Country Status (1)

Country Link
CN (1) CN102625349B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607302A (zh) * 2013-11-19 2014-02-26 华为技术有限公司 故障信息上报方法、监控设备及管理设备
CN103647662A (zh) * 2013-12-06 2014-03-19 北京奇虎科技有限公司 一种故障监测报警方法及装置
CN104753861A (zh) * 2013-12-27 2015-07-01 中国电信股份有限公司 安全事件处理方法和装置
CN104753700A (zh) * 2013-12-27 2015-07-01 中国银联股份有限公司 告警风暴处理方法以及告警风暴处理系统
CN105049270A (zh) * 2015-08-31 2015-11-11 北京奇艺世纪科技有限公司 信息处理方法、装置及系统
CN105357032A (zh) * 2015-10-14 2016-02-24 烽火通信科技股份有限公司 震荡闪告历史告警量的合并方法
CN105516024A (zh) * 2014-12-31 2016-04-20 哈尔滨安天科技股份有限公司 一种基于队列的任务流量监控方法及系统
CN105791016A (zh) * 2016-03-09 2016-07-20 浪潮通信信息系统有限公司 一种基于流式计算的分布式故障管理告警处理系统
CN106878101A (zh) * 2016-12-14 2017-06-20 神华集团有限责任公司 监控系统中告警信息的处理方法和装置
CN107124298A (zh) * 2017-03-31 2017-09-01 北京奇艺世纪科技有限公司 告警聚合方法及系统
CN108234179A (zh) * 2016-12-21 2018-06-29 大唐移动通信设备有限公司 一种告警信息上报的方法及装置
CN108829563A (zh) * 2018-06-25 2018-11-16 郑州云海信息技术有限公司 一种告警方法和告警装置
CN109087487A (zh) * 2018-10-23 2018-12-25 安徽工程大学 一种支持多级延时的报警消息推送方法
WO2019080918A1 (zh) * 2017-10-26 2019-05-02 中兴通讯股份有限公司 压减冗余告警的方法、网管设备及存储介质
US10534658B2 (en) 2017-09-20 2020-01-14 International Business Machines Corporation Real-time monitoring alert chaining, root cause analysis, and optimization
CN110768828A (zh) * 2019-10-22 2020-02-07 北京宝兰德软件股份有限公司 告警处理方法及系统
CN111143155A (zh) * 2019-10-31 2020-05-12 北京直真科技股份有限公司 一种应用于通信行业实现告警同步和清除机制的方法
CN112596975A (zh) * 2020-12-15 2021-04-02 中国建设银行股份有限公司 对网络设备进行监控处理的方法、系统、设备和存储介质
CN112669557A (zh) * 2020-12-21 2021-04-16 富盛科技股份有限公司 报警处理方法、装置、电子设备及可读存储介质
CN112732531A (zh) * 2021-01-14 2021-04-30 北京世纪互联宽带数据中心有限公司 一种监控数据的处理方法及装置
CN114070709A (zh) * 2020-08-26 2022-02-18 北京市天元网络技术股份有限公司 告警关联分析方法及装置
CN115348148A (zh) * 2022-07-04 2022-11-15 广东电力通信科技有限公司 一种复合条件的告警压缩处理方法
CN115664940A (zh) * 2022-12-28 2023-01-31 北京天维信通科技有限公司 分布式节点指标与告警缓存方法、装置和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101834747A (zh) * 2009-03-12 2010-09-15 上海科泰信息技术有限公司 一种适用于各种告警信息格式的数据采集器及其方法
CN102340808A (zh) * 2010-07-21 2012-02-01 中兴通讯股份有限公司 告警处理方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101834747A (zh) * 2009-03-12 2010-09-15 上海科泰信息技术有限公司 一种适用于各种告警信息格式的数据采集器及其方法
CN102340808A (zh) * 2010-07-21 2012-02-01 中兴通讯股份有限公司 告警处理方法及装置

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607302A (zh) * 2013-11-19 2014-02-26 华为技术有限公司 故障信息上报方法、监控设备及管理设备
CN103607302B (zh) * 2013-11-19 2017-01-04 华为技术有限公司 故障信息上报方法、监控设备及管理设备
CN103647662B (zh) * 2013-12-06 2017-08-11 北京奇虎科技有限公司 一种故障监测报警方法及装置
CN103647662A (zh) * 2013-12-06 2014-03-19 北京奇虎科技有限公司 一种故障监测报警方法及装置
CN104753861A (zh) * 2013-12-27 2015-07-01 中国电信股份有限公司 安全事件处理方法和装置
CN104753700A (zh) * 2013-12-27 2015-07-01 中国银联股份有限公司 告警风暴处理方法以及告警风暴处理系统
CN104753700B (zh) * 2013-12-27 2019-03-15 中国银联股份有限公司 告警风暴处理方法以及告警风暴处理系统
CN105516024B (zh) * 2014-12-31 2019-05-07 哈尔滨安天科技股份有限公司 一种基于队列的任务流量监控方法及系统
CN105516024A (zh) * 2014-12-31 2016-04-20 哈尔滨安天科技股份有限公司 一种基于队列的任务流量监控方法及系统
CN105049270A (zh) * 2015-08-31 2015-11-11 北京奇艺世纪科技有限公司 信息处理方法、装置及系统
CN105357032A (zh) * 2015-10-14 2016-02-24 烽火通信科技股份有限公司 震荡闪告历史告警量的合并方法
CN105791016A (zh) * 2016-03-09 2016-07-20 浪潮通信信息系统有限公司 一种基于流式计算的分布式故障管理告警处理系统
CN106878101A (zh) * 2016-12-14 2017-06-20 神华集团有限责任公司 监控系统中告警信息的处理方法和装置
CN106878101B (zh) * 2016-12-14 2020-06-19 神华集团有限责任公司 监控系统中告警信息的处理方法和装置
CN108234179A (zh) * 2016-12-21 2018-06-29 大唐移动通信设备有限公司 一种告警信息上报的方法及装置
CN107124298A (zh) * 2017-03-31 2017-09-01 北京奇艺世纪科技有限公司 告警聚合方法及系统
US10552247B2 (en) 2017-09-20 2020-02-04 International Business Machines Corporation Real-time monitoring alert chaining, root cause analysis, and optimization
US10534658B2 (en) 2017-09-20 2020-01-14 International Business Machines Corporation Real-time monitoring alert chaining, root cause analysis, and optimization
WO2019080918A1 (zh) * 2017-10-26 2019-05-02 中兴通讯股份有限公司 压减冗余告警的方法、网管设备及存储介质
CN108829563A (zh) * 2018-06-25 2018-11-16 郑州云海信息技术有限公司 一种告警方法和告警装置
CN108829563B (zh) * 2018-06-25 2022-03-25 郑州云海信息技术有限公司 一种告警方法和告警装置
CN109087487A (zh) * 2018-10-23 2018-12-25 安徽工程大学 一种支持多级延时的报警消息推送方法
CN110768828A (zh) * 2019-10-22 2020-02-07 北京宝兰德软件股份有限公司 告警处理方法及系统
CN111143155B (zh) * 2019-10-31 2023-08-25 北京直真科技股份有限公司 一种应用于通信行业实现告警同步和清除机制的方法
CN111143155A (zh) * 2019-10-31 2020-05-12 北京直真科技股份有限公司 一种应用于通信行业实现告警同步和清除机制的方法
CN114070709A (zh) * 2020-08-26 2022-02-18 北京市天元网络技术股份有限公司 告警关联分析方法及装置
CN112596975A (zh) * 2020-12-15 2021-04-02 中国建设银行股份有限公司 对网络设备进行监控处理的方法、系统、设备和存储介质
CN112669557A (zh) * 2020-12-21 2021-04-16 富盛科技股份有限公司 报警处理方法、装置、电子设备及可读存储介质
CN112732531A (zh) * 2021-01-14 2021-04-30 北京世纪互联宽带数据中心有限公司 一种监控数据的处理方法及装置
CN115348148A (zh) * 2022-07-04 2022-11-15 广东电力通信科技有限公司 一种复合条件的告警压缩处理方法
CN115664940A (zh) * 2022-12-28 2023-01-31 北京天维信通科技有限公司 分布式节点指标与告警缓存方法、装置和电子设备
CN115664940B (zh) * 2022-12-28 2023-04-28 北京天维信通科技有限公司 分布式节点指标与告警缓存方法、装置和电子设备

Also Published As

Publication number Publication date
CN102625349B (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
CN102625349A (zh) 一种告警风暴下的数据处理方法
CN103856339B (zh) 一种对告警信息进行压缩的方法和设备
CN113407507B (zh) 告警类型关联规则的生成方法、装置及系统、存储介质
CN101877618B (zh) 基于无代理方式进行监控的方法、服务器及系统
CN104753700A (zh) 告警风暴处理方法以及告警风暴处理系统
CN104301147A (zh) 一种对业务应用系统中业务及流程活动的监测方法
CN104954184A (zh) 云端后台服务器集群的监控、告警方法及系统
CN109586239B (zh) 智能变电站实时诊断及故障预警方法
CN102820993A (zh) 网络资源监控系统和网络资源监控方法
CN104407959A (zh) 基于应用的监控方法及监控装置
CN102291275A (zh) 一种服务器集群监控技术及方法
CN102263670A (zh) 一种告警消息的上报处理方法及装置
CN110879109A (zh) 一种电缆接头温度数据采集方法、监测装置及存储介质
CN106936621A (zh) 一种工单风暴控制方法、装置及系统
CN102083091A (zh) 网管告警管理方法和系统以及告警采集服务器
CN102075348A (zh) 一种远端网络监控方法、系统及交换机
CN104410686A (zh) 一种银电网络智能监控系统
CN104618154A (zh) 一种网元告警抑制方法及系统
EP3154238A1 (en) Policy-based m2m terminal device monitoring and control method and device
CN103905271A (zh) 一种告警风暴抑制方法
CN113946483A (zh) 一种计算机硬件状态信息实时监测系统
CN1878371A (zh) 短信监控系统
CN202265280U (zh) 电梯的信息采集与消防火灾联动报警系统
CN105357060A (zh) 一种获取网络设备性能数据的方法、装置和系统
CN115766794A (zh) 一种智慧海洋的物联云监控管理系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 250100 Ji'nan high tech Zone, Shandong, No. 1036 wave road

Patentee after: Tianyuan Communication Information System Co., Ltd.

Address before: 250101 Shandong Province, Ji'nan City hi tech Development Zone, Nga Road No. 1036

Patentee before: Langchao Communication Information System Co., Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 250100 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong.

Patentee after: INSPUR COMMUNICATION AND INFORMATION SYSTEM Co.,Ltd.

Address before: No. 1036, Shandong high tech Zone wave road, Ji'nan, Shandong

Patentee before: INSPUR TIANYUAN COMMUNICATION INFORMATION SYSTEM Co.,Ltd.