CN111143155A - 一种应用于通信行业实现告警同步和清除机制的方法 - Google Patents

一种应用于通信行业实现告警同步和清除机制的方法 Download PDF

Info

Publication number
CN111143155A
CN111143155A CN201911050574.9A CN201911050574A CN111143155A CN 111143155 A CN111143155 A CN 111143155A CN 201911050574 A CN201911050574 A CN 201911050574A CN 111143155 A CN111143155 A CN 111143155A
Authority
CN
China
Prior art keywords
alarm
synchronization
clearing
memory database
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911050574.9A
Other languages
English (en)
Other versions
CN111143155B (zh
Inventor
张骁睿
刘晓茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zznode Technology Co ltd
Original Assignee
Beijing Zznode Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zznode Technology Co ltd filed Critical Beijing Zznode Technology Co ltd
Priority to CN201911050574.9A priority Critical patent/CN111143155B/zh
Publication of CN111143155A publication Critical patent/CN111143155A/zh
Application granted granted Critical
Publication of CN111143155B publication Critical patent/CN111143155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
    • G06F11/3075—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting the data filtering being achieved in order to maintain consistency among the monitored data, e.g. ensuring that the monitored data belong to the same timeframe, to the same system or component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种应用于通信行业实现告警同步和清除机制的方法，通过在告警同步进程中设置Redis内存数据库，并在所述Redis内存数据库中保存网管同步标识和保存清除告警标识，使得获得同步文件中的告警步骤能够从采集命令下发步骤开始至此避免告警重复同步，使得获取获取内存库中清除告警步骤能够将已被清除的告警过滤掉，从而不仅能够提升告警同步的效率，同时也保障了数据处理的唯一性，避免重复数据入库。

Description

一种应用于通信行业实现告警同步和清除机制的方法
技术领域
本发明涉及告警同步和清除技术，特别是一种应用于通信行业实现告警同步和清除机制的方法，通过在告警同步进程中设置Redis内存数据库，并在所述Redis内存数据库中保存网管同步标识和保存清除告警标识，使得获得同步文件中的告警步骤能够从采集命令下发步骤开始至此避免告警重复同步，使得获取获取内存库中清除告警步骤能够将已被清除的告警过滤掉，从而不仅能够提升告警同步的效率，同时也保障了数据处理的唯一性，避免重复数据入库。
背景技术
通讯行业的设备告警量大，设备发生告警影响业务的正常使用。面对现在信息高速发展的时代，及时监控和处理设备告警尤为重要。但因面临设备厂家多、每个厂家生产的设备也多、还有接口类型不一致等等因素，一直影响告警同步和清除的数量与质量，无法满足上层应用的监控与管理。当前的告警同步的方案有两种方式：1、告警实时接口：按消息体方式接收并入库，这种消息机制为正常的情况下的消息处理机制，保证了告警消息的实时入库和监控。2、告警同步接口：按接口同步方式入库，这种接口同步方式是消息机制的补充，保证消息机制接口出现问题的时候，下发命令按时间段采集告警，将该时间段的告警同步上来，确保告警数据不丢失。如图1所示，从告警同步开始，到采集命令下发，到获取同步文件中的告警，到活动库，再到告警对比，最后同步完成。当前这两种处理方式并行，由不同进程处理，告警实时消息接口实时处理告警消息，告警定时同步接口按需定时启动同步接口。本发明人认为，现有相关技术存在以下问题：1、现有的告警定时同步接口没有针对告警实时消息接口的消息进行去重判断，导致入库后的告警有重复的。2、现有的告警定时同步接口同步包含活动告警和清除告警，没有对活动告警和清除告警消息进行合并处理，导致清除告警先于活动告警入库，导致活动告警无法清除。3、现有的告警同步完全基于数据库对比，对数据库造成很大压力，处理同步性能慢。4、因现有告警同步接口按任务执行，存在多个任务共同步相同设备对象的情况，同一时间存在同一网管多个同步任务的相同，导致数据处理的过程中数据重复。5、现有的同步告警存在清除和活动告警错误情况，告警下发同步命令到查询活动告警这个期间的活动告警会被误清除，这个期间的清除告警会被重复添加。有鉴于此，本发明人完成了本发明。
发明内容
本发明针对现有技术中存在的缺陷或不足，提供一种应用于通信行业实现告警同步和清除机制的方法，通过在告警同步进程中设置Redis内存数据库，并在所述Redis内存数据库中保存网管同步标识和保存清除告警标识，使得获得同步文件中的告警步骤能够从采集命令下发步骤开始至此避免告警重复同步，使得获取获取内存库中清除告警步骤能够将已被清除的告警过滤掉，从而不仅能够提升告警同步的效率，同时也保障了数据处理的唯一性，避免重复数据入库。
本发明的技术方案如下：
一种应用于通信行业实现告警同步和清除机制的方法，其特征在于，包括告警消息进程，告警同步进程，以及告警清除进程，所述告警同步进程中设置Redis内存数据库，通过所述Redis内存数据库实现活动告警和清除告警的合并处理机制以及活动告警和清除告警的重复数据处理机制。
所述告警同步进程包括采集命令下发步骤，该步骤一路将保存网管同步标识送入所述Redis内存数据库，所述Redis内存数据库为所述告警清除进程中判定内存库中是否有告警正在同步这一步骤提供是否有网管同步的查询，另一路进入获得同步文件中的告警步骤，该步骤关联所述Redis内存数据库，所述Redis内存数据库保存清除告警标识，所述保存清除告警标识基于所述判定内存库中是否有告警正在同步这一步骤的肯定判定。
所述保存网管同步标识包括将告警同步的对象、时间范围和告警名称存入Redis内存数据库作同步标识记录。
从所述获得同步文件中的告警步骤进入获取内存库中清除告警步骤，所述获取内存库中清除告警步骤从所述告警消息进程中的活动库查询告警消息，所述告警消息已经经过了告警字段丰富步骤。
所述获得同步文件中的告警步骤从采集命令下发步骤开始至此避免告警重复同步，所述获取获取内存库中清除告警步骤将已被清除的告警过滤掉。
从所述获取内存库中清除告警步骤进入告警对比步骤，所述告警对比步骤经过告警对比后，文件中有而活动库中没有的则新增，文件中没有而活动库中有的则清除，最后从所述告警对比步骤进入同步完成步骤，同步完成后清除同步标识与所有的清除告警标识。
本发明的技术效果如下：本发明一种应用于通信行业实现告警同步和清除机制的方法，对告警同步进程中的活动告警和清除告警的合并处理机制和对告警同步进程中的活动告警和清除告警的重复数据处理机制，解决了告警同步进程告警重复同步以及清除告警重复入库的问题。通过Redis内存模型，不仅提升了告警同步的效率，同时也保障了数据处理的唯一性，避免重复数据入库。
附图说明
图1是现有技术中告警同步处理流程示意图。图1中从告警同步开始，到采集命令下发，到获取同步文件中的告警，到活动库，再到告警对比，最后同步完成。
图2是实施本发明一种应用于通信行业实现告警同步和清除机制的方法的流程示意图。图2中包括告警消息进程，告警同步进程，以及告警清除进程，所述告警消息进程经过告警字段丰富，到活动库，再到获取内存库中清除告警(活动库至获取内存库中清除告警的步骤是一个查询步骤，即从活动库中查询告警消息)；所述告警同步进程经过采集命令下发，一路将保存网管同步标识送入Redis内存库，另一路到获得同步文件中的告警；所述告警清除进程经过判定内存库中是否有告警正在同步，如果否，则再判断是否有网管同步后到达Redis内存库，如果是，则保存清除告警标识经过Redis内存库到获得同步文件中的告警；从获得同步文件中的告警到获取内存库中清除告警再到告警对比(告警对比后,文件中有而活动库中没有的则新增，文件中没有而活动库中有的则清除)，最后到同步完成。Redis(REmote DIctionary Server)内存库，Redis是一种内存数据库，也被称为数据结构服务器。
具体实施方式
下面结合附图(图2)对本发明进行说明。
图2是实施本发明一种应用于通信行业实现告警同步和清除机制的方法的流程示意图。参考图2，一种应用于通信行业实现告警同步和清除机制的方法，其特征在于，包括告警消息进程，告警同步进程，以及告警清除进程，所述告警同步进程中设置Redis内存数据库，通过所述Redis内存数据库实现活动告警和清除告警的合并处理机制以及活动告警和清除告警的重复数据处理机制。所述告警同步进程包括采集命令下发步骤，该步骤一路将保存网管同步标识送入所述Redis内存数据库，所述Redis内存数据库为所述告警清除进程中判定内存库中是否有告警正在同步这一步骤提供是否有网管同步的查询，另一路进入获得同步文件中的告警步骤，该步骤关联所述Redis内存数据库，所述Redis内存数据库保存清除告警标识，所述保存清除告警标识基于所述判定内存库中是否有告警正在同步这一步骤的肯定判定。所述保存网管同步标识包括将告警同步的对象、时间范围和告警名称存入Redis内存数据库作同步标识记录。从所述获得同步文件中的告警步骤进入获取内存库中清除告警步骤，所述获取内存库中清除告警步骤从所述告警消息进程中的活动库查询告警消息，所述告警消息已经经过了告警字段丰富步骤。所述获得同步文件中的告警步骤从采集命令下发步骤开始至此避免告警重复同步，所述获取获取内存库中清除告警步骤将已被清除的告警过滤掉。从所述获取内存库中清除告警步骤进入告警对比步骤，所述告警对比步骤经过告警对比后，文件中有而活动库中没有的则新增，文件中没有而活动库中有的则清除，最后从所述告警对比步骤进入同步完成步骤，同步完成后清除同步标识与所有的清除告警标识。
Redis内存模型介绍：Redis是内存数据库，通过在内存中读写数据，大大提高了读写速度，使用Redis时，会接触Redis的5种对象类型(字符串、哈希、列表、集合、有序集合)，丰富的类型是Redis相对于Memcached等的一大优势(memcached是一套分布式的高速缓存系统)。1、估算Redis内存使用量。目前为止，内存的使用成本仍然相对较高，使用内存不能无所顾忌；根据需求合理的评估Redis的内存使用量，选择合适的机器配置，可以在满足需求的情况下节约成本。2、优化内存占用。了解Redis内存模型可以选择更合适的数据类型和编码，更好的利用Redis内存。3、分析解决问题。当Redis出现阻塞、内存占用等问题时，尽快发现导致问题的原因，便于分析解决问题。
专业名称解释：1、活动告警：设备上实时发生的且没有被解决的故障，会以消息的方式上报综合网管，该场景下上报的消息简称为活动告警。2、清除告警：设备上的故障已经解决，同时会以消息的方式上报综合网管，上报的消息标识是清除了之前的哪个活动告警，该情景下上报的消息简称为清除告警。3、活动告警和清除告警必成对出现，活动告警发生在先，清除告警发生在后，清除告警本身会自关联活动告警ID。
告警同步增加Redis内存模型：1、告警消息进程：接收到告警消息，针对告警进行相关字段丰富后入库，同时将告警保存到活动库。2、告警同步进程：1)告警同步开始,将告警同步的对象、时间范围、告警名称存入Redis内存库作同步标识记录。2)告警同步文件返回后，记录取得返回同步文件中最后一个同步文件的时间戳。3)告警同步文件获取，读取redis中的所有清除告警标识,过滤掉从下发命令开始到获取文件时的已清除的告警,不再重复添加，根据唯一主健进行判断。4)查询活动库的告警,加入条件“告警采集时间“小于“下发同步命令时间(步骤2获得的时间)”。5)告警对比后,文件中有活动库中没有的新增，文件中没有活动库中有的清除。6)告警处理清除消息后,判断内存库中是否用同步标识,如果有将清除成功的清除告警标识存入内存库中。7)同步完成后,清除同步标识与所有的清除告警标识。如图2所示。
告警清除进程增加Redis内存模型：1)优化清除告警清除方法与MQ队列(messagequeuing，消息队列)。2)告警同步开始前存入内存库中一个标识,每个同步任务都去判断是否有标识(生命周期2小时),如果有不再同步,状态变为同步结束,取消30分钟前同步中状态的告警任务。3)在查询活动时,加上时间条件小于“告警初次发生时间”小于“下发同步命令时间”；重复插入,告警处理(告警消息队列1,告警消息队列2后清除)时,判断问题2中的同步标识,如果有同步任务,把清除告警的唯一ID存入内存库中(生命周期2小时),同步获取文件后,如果需要新增告警中的唯一ID在内存库中存在,不再新增,同步结束后删除同步标识与所有清除告警唯一ID。4)增加告警差异对比开关,如果需要删除的告警占比超过阈值,不进行删除操作,只进行更新操作,结果中提示,人工核对无问题后打开开关,重新同步。
在此指明，以上叙述有助于本领域技术人员理解本发明创造，但并非限制本发明创造的保护范围。任何没有脱离本发明创造实质内容的对以上叙述的等同替换、修饰改进和/或删繁从简而进行的实施，均落入本发明创造的保护范围。

Claims (6)

1.一种应用于通信行业实现告警同步和清除机制的方法，其特征在于，包括告警消息进程，告警同步进程，以及告警清除进程，所述告警同步进程中设置Redis内存数据库，通过所述Redis内存数据库实现活动告警和清除告警的合并处理机制以及活动告警和清除告警的重复数据处理机制。
2.根据权利要求1所述的应用于通信行业实现告警同步和清除机制的方法，其特征在于，所述告警同步进程包括采集命令下发步骤，该步骤一路将保存网管同步标识送入所述Redis内存数据库，所述Redis内存数据库为所述告警清除进程中判定内存库中是否有告警正在同步这一步骤提供是否有网管同步的查询，另一路进入获得同步文件中的告警步骤，该步骤关联所述Redis内存数据库，所述Redis内存数据库保存清除告警标识，所述保存清除告警标识基于所述判定内存库中是否有告警正在同步这一步骤的肯定判定。
3.根据权利要求2所述的应用于通信行业实现告警同步和清除机制的方法，其特征在于，所述保存网管同步标识包括将告警同步的对象、时间范围和告警名称存入Redis内存数据库作同步标识记录。
4.根据权利要求2所述的应用于通信行业实现告警同步和清除机制的方法，其特征在于，从所述获得同步文件中的告警步骤进入获取内存库中清除告警步骤，所述获取内存库中清除告警步骤从所述告警消息进程中的活动库查询告警消息，所述告警消息已经经过了告警字段丰富步骤。
5.根据权利要求4所述的应用于通信行业实现告警同步和清除机制的方法，其特征在于，所述获得同步文件中的告警步骤从采集命令下发步骤开始至此避免告警重复同步，所述获取获取内存库中清除告警步骤将已被清除的告警过滤掉。
6.根据权利要求4所述的应用于通信行业实现告警同步和清除机制的方法，其特征在于，从所述获取内存库中清除告警步骤进入告警对比步骤，所述告警对比步骤经过告警对比后，文件中有而活动库中没有的则新增，文件中没有而活动库中有的则清除，最后从所述告警对比步骤进入同步完成步骤，同步完成后清除同步标识与所有的清除告警标识。
CN201911050574.9A 2019-10-31 2019-10-31 一种应用于通信行业实现告警同步和清除机制的方法 Active CN111143155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911050574.9A CN111143155B (zh) 2019-10-31 2019-10-31 一种应用于通信行业实现告警同步和清除机制的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911050574.9A CN111143155B (zh) 2019-10-31 2019-10-31 一种应用于通信行业实现告警同步和清除机制的方法

Publications (2)

Publication Number Publication Date
CN111143155A true CN111143155A (zh) 2020-05-12
CN111143155B CN111143155B (zh) 2023-08-25

Family

ID=70516966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911050574.9A Active CN111143155B (zh) 2019-10-31 2019-10-31 一种应用于通信行业实现告警同步和清除机制的方法

Country Status (1)

Country Link
CN (1) CN111143155B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114430562A (zh) * 2022-02-10 2022-05-03 中盈优创资讯科技有限公司 一种5g告警实时清除与延时清除方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992632A (zh) * 2005-12-28 2007-07-04 大唐软件技术有限责任公司 一种通信网络告警方法以及告警系统
CN101009598A (zh) * 2007-01-08 2007-08-01 中兴通讯股份有限公司 告警同步方法
WO2008028423A1 (fr) * 2006-09-04 2008-03-13 Huawei Technologies Co., Ltd. Procédé, système et dispositif d'avertissement synchrone
CN102083091A (zh) * 2009-11-27 2011-06-01 中国移动通信集团贵州有限公司 网管告警管理方法和系统以及告警采集服务器
CN102625349A (zh) * 2012-03-09 2012-08-01 浪潮通信信息系统有限公司 一种告警风暴下的数据处理方法
CN103441868A (zh) * 2013-08-19 2013-12-11 国家电网公司 一种基于电力通信传输网告警的方法
WO2016101638A1 (zh) * 2014-12-23 2016-06-30 国家电网公司 一种电力系统云仿真平台的运营管理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1992632A (zh) * 2005-12-28 2007-07-04 大唐软件技术有限责任公司 一种通信网络告警方法以及告警系统
WO2008028423A1 (fr) * 2006-09-04 2008-03-13 Huawei Technologies Co., Ltd. Procédé, système et dispositif d'avertissement synchrone
CN101009598A (zh) * 2007-01-08 2007-08-01 中兴通讯股份有限公司 告警同步方法
CN102083091A (zh) * 2009-11-27 2011-06-01 中国移动通信集团贵州有限公司 网管告警管理方法和系统以及告警采集服务器
CN102625349A (zh) * 2012-03-09 2012-08-01 浪潮通信信息系统有限公司 一种告警风暴下的数据处理方法
CN103441868A (zh) * 2013-08-19 2013-12-11 国家电网公司 一种基于电力通信传输网告警的方法
WO2016101638A1 (zh) * 2014-12-23 2016-06-30 国家电网公司 一种电力系统云仿真平台的运营管理方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
张靖等: "综合网管服务器处理能力及内存需求估算方法浅析", 《移动通信》 *
徐勇: "基于Java技术的新一代综合网管架构设计", 《信息通信》 *
李宝山 等: "告警管理系统中的告警同步模块的设计", 《通信技术》 *
杨超等: "GSM-R综合网络管理系统中故障管理的研究与实现", 《铁路计算机应用》 *
霍龙社: "全国数字同步网集中监控管理系统的设计与实现", 《当代通信》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114430562A (zh) * 2022-02-10 2022-05-03 中盈优创资讯科技有限公司 一种5g告警实时清除与延时清除方法及装置
CN114430562B (zh) * 2022-02-10 2023-08-08 中盈优创资讯科技有限公司 一种5g告警实时清除与延时清除方法及装置

Also Published As

Publication number Publication date
CN111143155B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
CN111221890B (zh) 通用指标类自动监控预警方法及装置
JP2020057416A (ja) 分散データベースにおけるデータブロックを処理する方法およびデバイス
CN113724437A (zh) 面向无人售卖柜的无人值守告警方法及系统
CN110795264A (zh) 监控管理方法及系统、智能管理终端
CN110109906B (zh) 数据存储系统及方法
CN111143155A (zh) 一种应用于通信行业实现告警同步和清除机制的方法
CN111831954B (zh) 内容数据更新方法、装置、计算机设备及存储介质
CN108924002B (zh) 一种性能数据文件的解析方法、装置、设备及存储介质
CN114283503B (zh) 应用于卷烟设备的台时能耗报警控制方法
CN116010388A (zh) 数据校验方法、数据采集服务端及数据校验系统
CN113626236B (zh) 一种分布式文件系统的故障诊断方法、装置、设备及介质
CN114238018B (zh) 日志采集文件完整性检测方法、系统、装置及存储介质
CN113472881B (zh) 在线终端设备的统计方法和装置
CN115993997A (zh) PostgreSQL数据库孤儿事务清理方法
CN109656945A (zh) 一种信息处理方法
CN114629786A (zh) 日志实时分析方法、装置、存储介质及系统
CN113407415A (zh) 智能终端的日志管理方法和装置
CN113115069A (zh) 一种行车记录仪的视频存储方法和系统
CN111767299A (zh) 数据库操作方法、装置、系统、存储介质及电子设备
JPH05197597A (ja) プログラム組み込み型プロセッサ装置におけるエラーロギング方式
CN111654410B (zh) 网关请求监控方法、装置、设备及介质
CN114850071B (zh) 一种用于注射器组装机的检测系统及方法
CN110191026B (zh) 一种分布式业务链路监控方法及装置
CN114138666A (zh) 异常数据检测方法、装置、电子设备及存储介质
CN114253947A (zh) 自动清理MySQL归档日志的方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant