CN113904913A - 一种基于管道的告警处理的方法、装置、设备、存储介质 - Google Patents
一种基于管道的告警处理的方法、装置、设备、存储介质 Download PDFInfo
- Publication number
- CN113904913A CN113904913A CN202110955454.4A CN202110955454A CN113904913A CN 113904913 A CN113904913 A CN 113904913A CN 202110955454 A CN202110955454 A CN 202110955454A CN 113904913 A CN113904913 A CN 113904913A
- Authority
- CN
- China
- Prior art keywords
- alarm
- information
- pipeline
- processing
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title description 2
- 238000012545 processing Methods 0.000 claims abstract description 100
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000002688 persistence Effects 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000002159 abnormal effect Effects 0.000 claims abstract description 15
- 230000009471 action Effects 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims description 27
- 238000011084 recovery Methods 0.000 claims description 13
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 230000015556 catabolic process Effects 0.000 claims description 7
- 238000006731 degradation reaction Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 abstract description 7
- 238000012795 verification Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 239000000243 solution Substances 0.000 description 6
- 230000000593 degrading effect Effects 0.000 description 5
- 230000008439 repair process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供一种基于管道的告警处理的方法、装置、设备、存储介质，所述方法包括如下步骤：进行告警类型定义，产生告警定义对象；根据告警类型发送携带参数列表的告警信息到告警同步管道；告警同步管道对接收到的告警信息进行过滤、分流及分流后的告警归并处理，并在处理过程中将产生的异常信息抛出；处理完成后返回处理结果并记录脏页日志；在脏页日志中批量提取告警信息进行异步批量持久化处理；在持久化完毕后，基于告警动作进行告警的通知扩展。由于定义了告警的全生命周期过程，在新增业务模块时，采用开闭原则，有效避免了业务变更带来的已有业务的质量损失。
Description
技术领域
本发明涉及告警信息批处理技术领域，具体涉及一种基于管道的告警处理的方法、装置、设备、存储介质。
背景技术
目前，基于监控指标数据量的日益增大，业界出现了大量的开源监控框架。此类框架充分考虑了告警平台在处理海量数据方面一直所面临的巨大挑战。在考虑了异步并发处理的同时，也忽略了许多用户体验方面的问题。比如，异步的处理在调用方角度看来，等于石沉大海，在调用方调用后，无法感知到处理的及时性、准确性，无法感知异常，只能从最终的结果上来看是否正常处理，内部就是一个告警处理的黑盒。
另外，在告警定义时，每个告警均有其独有的业务场景，基于开源的框架做插件，势必要做很多的业务流程控制处理，由此很难做到告警业务的积累。当我们需要在告警业务中添加业务处理时，势必要求框架的可扩展性足够强，否则，我们就需要改动或重写源代码的方式进行告警框架的定义。到了改动框架根基的时候，对于已经满足的业务将会是致命性的打击。
管道(Pipe)是两个进程之间进行单向通信的机制，管道只允许具有血缘关系的进程间通信，如父子进程；管道只允许单项通信；管道内部保持同步机制，从而保持访问数据的一致性；管道随进程，进程在管道在，进程消失管道对应的端口也关闭，两个进程都消失，管道也消失。
发明内容
针对异步的处理在调用方角度看来，调用后无法感知到处理的及时性、准确性，无法感知异常，只能从最终的结果上来看是否正常处理的问题，本发明提供一种基于管道的告警处理的方法、装置、设备、存储介质。
本发明的技术方案是：
第一方面，本发明技术方案提供一种基于管道的告警处理的方法，包括如下步骤：
根据告警类型发送携带参数列表的告警信息到告警同步管道；
告警同步管道对接收到的告警信息进行过滤、分流及分流后的告警归并处理，并在处理过程中将产生的异常信息抛出；
处理完成后返回处理结果并记录脏页日志；
在脏页日志中批量提取告警信息进行异步批量持久化处理。
基于管道的同步特性，可以让调用方有效感知到告警的处理结果。
进一步的，所述的根据定义的告警类型发送携带参数列表的告警信息到告警同步管道的步骤之前包括：
进行告警类型定义，产生告警定义对象；
其中对象包括：告警类型ID、告警名称、告警分类、告警级别、告警描述、定位信息、可能原因、修复建议、参数列表、归并参数。
定义了告警的全生命周期过程，在新增业务模块时，采用开闭原则，有效避免了业务变更带来的已有业务的质量损失。
进一步的，处理完成后返回处理结果并记录脏页日志的步骤中，处理结果包括告警动作；
其中，告警动作包括产生新告警、告警升级、降级、恢复、产生新事件。
进一步的，所述的在脏页日志中批量提取告警信息进行异步批量持久化处理的步骤之后还包括：
在持久化完毕后，基于告警动作进行告警的通知扩展。
进一步的，所述的告警同步管道对接收到的告警信息进行过滤、分流及分流后的告警归并处理，并在处理过程中将产生的异常信息抛出的步骤中，对接收到的告警信息进行过滤的步骤包括：
获取告警信息的告警ID；
判断告警ID是否合法，若否，将该告警信息过滤掉
否则，获取接收到的告警信息的属性信息；
将获取的属性信息与预存的实时告警进行比对，判断是否具备此类实时告警，若否，将该告警信息过滤掉；
否则，判断告警信息的告警来源是否准确；若否，将该告警信息过滤掉。
进一步的，所述的告警同步管道对接收到的告警信息进行过滤、分流及分流后的告警归并处理，并在处理过程中将产生的异常信息抛出的步骤中，对接收到的告警信息进行分流的步骤包括：
注入告警附属信息；其中，附属信息包括告警源的基本信息、告警屏蔽规则、重定义规则；
根据告警ID查询是否有重定义规则，若是，对告警的名称或级别进行重定义；
根据告警ID、定位信息查询是否有匹配的屏蔽规则，若是，再返回结果中进行标记；
根据注入的告警附属信息的处理结果进行数据的分流。
进一步的，所述的告警同步管道对接收到的告警信息进行过滤、分流及分流后的告警归并处理，并在处理过程中将产生的异常信息抛出的步骤中，分流后的告警归并处理的步骤包括：
将用户提交的参数与系统内置的参数进行统一；
将告警归并规则与告警缓存进行对比，进行告警的结果进行归并。
进一步的，将告警归并规则与告警缓存进行对比，进行告警的结果进行归并的步骤包括：
按照告警定义对象中的归并参数索引提取当前告警信息的归并参数；
将提取的归并参数与实时告警进行对比；
如果一致，对比级别信息，当级别低于实时告警时，恢复实时告警，展示当前告警，即为降级；当级别等于实时告警时，更新告警；当级别高于实时告警时，隐藏实时告警，展示当前告警，即为升级；当本告警为恢复告警时，恢复所有实时告警，即为恢复。
基于告警上下文对象进行管道全流程的追踪，涵盖告警的过滤(包含告警信息校验、有效性校验、准确性校验)、分流(实时告警、被屏蔽告警、事件)及分流后的告警归并；做到在新增业务模块时，采用开闭原则，有效避免了业务变更带来的已有业务的质量损失。
第二方面，本发明技术方案还提供一种基于管道的告警处理的装置，包括告警信息输入模块、告警同步管道模块、脏页日志模块、持久化处理模块；
告警信息输入模块，用于根据定义的告警类型发送携带参数列表的告警信息到告警同步管道模块；
告警同步管道模块，用于对接收到的告警信息进行过滤、分流及分流后的告警归并处理，并在处理过程中将产生的异常信息抛出，处理完成后返回处理结果；
脏页日志模块，用于并记录脏页日志；
持久化处理模块，用于在脏页日志模块中批量提取告警信息进行异步批量持久化处理。
进一步的，该装置包括告警类型定义模块，用于用户通过告警类型定义模块进行告警类型定义，产生告警定义对象；
其中对象包括：告警类型ID、告警名称、告警分类、告警级别、告警描述、定位信息、可能原因、修复建议、参数列表、归并参数。
进一步的，处理结果包括告警动作；
其中，告警动作包括产生新告警、告警升级、降级、恢复、产生新事件。
进一步的，该装置还包括通知扩展模块，用于在持久化完毕后，基于告警业务与告警动作进行告警的通知扩展；告警业务包括实时告警、历史告警、被屏蔽告警、事件。
进一步的，告警同步管道模块包括过滤器，用于获取告警信息的告警ID；判断告警ID是否合法，若否，将该告警信息过滤掉否则，获取接收到的告警信息的属性信息；将获取的属性信息与预存的实时告警进行比对，判断是否具备此类实时告警，若否，将该告警信息过滤掉；否则，判断告警信息的告警来源是否准确；若否，将该告警信息过滤掉。
进一步的，告警同步管道模块包括注入器和分流器；
注入器，用于注入告警附属信息；其中，附属信息包括告警源的基本信息、告警屏蔽规则、重定义规则；根据告警ID查询是否有重定义规则，若是，对告警的名称或级别进行重定义；根据告警ID、定位信息查询是否有匹配的屏蔽规则，若是，再返回结果中进行标记；
分流器，用于根据注入的告警附属信息的处理结果进行数据的分流。
进一步的，告警同步管道模块包括告警归并器，将用户提交的参数与系统内置的参数进行统一，将告警归并规则与告警缓存进行对比，进行告警的结果进行归并。
告警归并器，具体用于按照告警定义对象中的归并参数索引提取当前告警信息的归并参数；将提取的归并参数与实时告警进行对比；如果一致，对比级别信息，当级别低于实时告警时，恢复实时告警，展示当前告警，即为降级；当级别等于实时告警时，更新告警；当级别高于实时告警时，隐藏实时告警，展示当前告警，即为升级；当本告警为恢复告警时，恢复所有实时告警，即为恢复。
第三方面，本发明技术方案还提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如第一方面所述的基于管道的告警处理的方法。
第四方面，本发明技术方案还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一方面所述的基于管道的告警处理的方法。
从以上技术方案可以看出，本发明具有以下优点：可以从告警的定义、上下文、管道、持久化、通知几方面进行告警业务的全方面覆盖，基于管道的同步特性，可以让调用方有效感知到告警的处理结果。同时，由于定义了告警的全生命周期过程，在新增业务模块时，采用开闭原则，有效避免了业务变更带来的已有业务的质量损失。
此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的方法的示意性流程图。
图2是本发明另一个实施例的方法的示意性流程图。
图3是本发明一个实施例的装置的示意性框图。
图中，11-告警信息输入模块，12-告警同步管道模块，33-脏页日志模块，44-持久化处理模块，55-告警类型定义模块，66-通知扩展模块。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
如图1所示，本发明实施例提供一种基于管道的告警处理的方法，包括如下步骤：
步骤11：根据告警类型发送携带参数列表的告警信息到告警同步管道；
步骤12：告警同步管道对接收到的告警信息进行过滤、分流及分流后的告警归并处理，并在处理过程中将产生的异常信息抛出；
步骤13：处理完成后返回处理结果并记录脏页日志；
步骤14：在脏页日志中批量提取告警信息进行异步批量持久化处理。
基于管道的同步特性，可以让调用方有效感知到告警的处理结果。
如图2所示，在有些实施例中，步骤11中，所述的根据定义的告警类型发送携带参数列表的告警信息到告警同步管道的步骤之前包括：
步骤10：进行告警类型定义，产生告警定义对象；
其中对象包括：告警类型ID、告警名称、告警分类、告警级别、告警描述、定位信息、可能原因、修复建议、参数列表、归并参数。
定义了告警的全生命周期过程，在新增业务模块时，采用开闭原则，有效避免了业务变更带来的已有业务的质量损失。
需要说明的是，处理完成后返回处理结果并记录脏页日志的步骤中，处理结果包括告警动作；
其中，告警动作包括产生新告警、告警升级、降级、恢复、产生新事件。
在有些实施例中，步骤14中，所述的在脏页日志中批量提取告警信息进行异步批量持久化处理的步骤之后还包括：
步骤15：在持久化完毕后，基于告警动作进行告警的通知扩展。
需要说明的是，步骤12中，对接收到的告警信息进行过滤的步骤包括：
步骤1211：获取告警信息的告警ID；
步骤1212：判断告警ID是否合法，若否，执行步骤1217；否则，执行步骤1213；
步骤1213：获取接收到的告警信息的属性信息；
步骤1214：将获取的属性信息与预存的实时告警进行比对；
步骤1215：判断是否具备此类实时告警，执行步骤1217；否则，执行步骤1216；
步骤1216：判断告警信息的告警来源是否准确；若否，执行步骤1217；否则，执行步骤1211管道运行到下一节点；
步骤1217：将该告警信息过滤掉。
步骤12中，对接收到的告警信息进行分流的步骤包括：
步骤1221：注入告警附属信息；其中，附属信息包括告警源的基本信息、告警屏蔽规则、重定义规则；
步骤1222：根据告警ID查询是否有重定义规则，若是，对告警的名称或级别进行重定义；
步骤1223：根据告警ID、定位信息查询是否有匹配的屏蔽规则，若是，再返回结果中进行标记；
步骤1224：根据注入的告警附属信息的处理结果进行数据的分流。
步骤12中，分流后的告警归并处理的步骤包括：
步骤1231：将用户提交的参数与系统内置的参数进行统一；
步骤1232：按照告警定义对象中的归并参数索引提取当前告警信息的归并参数；
步骤1233：将提取的归并参数与实时告警进行对比；
如果一致，对比级别信息，当级别低于实时告警时，恢复实时告警，展示当前告警，即为降级；当级别等于实时告警时，更新告警；当级别高于实时告警时，隐藏实时告警，展示当前告警，即为升级；当本告警为恢复告警时，恢复所有实时告警，即为恢复。
基于告警上下文对象进行管道全流程的追踪，涵盖告警的过滤(包含告警信息校验、有效性校验、准确性校验)、分流(实时告警、被屏蔽告警、事件)及分流后的告警归并；做到在新增业务模块时，采用开闭原则，有效避免了业务变更带来的已有业务的质量损失。
需要说明的是，进行告警类型定义，定义产生告警定义(AlarmDefinition)对象，该对象包含但不限于以下属性：告警类型ID、告警名称、告警分类、告警级别、告警描述、定位信息、可能原因、修复建议、参数列表(发送该告警类型时，携带的参数列表)、归并参数(将用户输入的参数与系统内置参数统一后，能够决定告警唯一性的组合字段列表)、OID(需要通过Snmp Trap协议发送至第三方平台时定义)；
定义告警(Alarm)对象格式，Alarm对象继承自事件(Event)对象，客户端按照定义的告警类型，发送携带参数列表的告警信息至告警同步管道。同时，告警同步管道需要包含以下组件：
过滤器：需要包含告警的信息校验、有效性校验(对比告警缓存加速过滤无效的告警)、准确性校验(某些告警来源可能不具备准确性，需要结合其他内容进行判定，此部分需要用户扩展实现)。
注入器：此部分可拉取外部依赖，如告警的重定义(名称或者级别的重定义)、告警屏蔽规则、告警源的信息提取等。
分流器：告警业务一般都包含实时告警、历史告警、被屏蔽告警、事件。可基于注入器的结果进行数据的分流。
告警归并器：将客户端提交的参数与系统内置的参数进行统一，通过告警归并规则与告警缓存的对比，进行告警的结果进行归并。归并业务包含但不限于告警的升级、降级、恢复等。基于分流器的不同，需要实现的方案不同。
告警同步管道上述各部分的具体实现过程如下：
步骤1.定义管道链路，具备连接管道各个节点的能力；
a.设计管道，编写管道(PipeLine)接口，管道接口具备添加节点以及开启管道的能力。
b.设计管道节点，编写管道节点(Node)接口，节点接口具备设置、获取下一个节点、执行本节点业务并返回本节点处理结果的能力。
c.实现管道接口(如CustomPipeLine)，利用链表做法，具备两个属性，首节点与尾节点，每次加入节点，将该节点置为尾节点，并设置原尾节点的下节点为新加入的节点。
步骤2.实现告警校验节点；
a.实现管道节点(Node)接口(如AlarmChecker)，实现业务上的校验，如告警级别枚举的判定，告警ID合法性的判定等。
b.添加属性Node next，即下一个节点，可用于指导管道运行至下一节点。
步骤3.实现告警系统参数准备节点；
a.实现管道节点(Node)接口(如AlarmMergerParams)，将用户输入的参数加上系统内置的参数统一进行合并排序。
b.添加属性Node next，即下一个节点，可用于指导管道运行至下一节点。
步骤4.实现过滤器节点；
a.实现管道节点(Node)接口(如AlarmFilterChain)，可在内部同上继续使用链表方式实现多层过滤。如恢复告警的可用性过滤(可以对比数据库或缓存进行查看是否具备此类实时告警，没有就过滤掉)、告警准确性过滤(业务方可基于此告警，协同其他上下文判定该告警是否准确，如网络连通性告警，可进行二次的网络连通性校验)。
b.添加属性Node next，即下一个节点，可用于指导管道运行至下一节点。
步骤5.实现外部依赖注入节点；
a.实现管道节点(Node)接口(如AlarmDependenceInject)，可由业务方注入一些告警源的基本信息，如告警源的名称、IP等信息。
b.添加属性Node next，即下一个节点，可用于指导管道运行至下一节点。
步骤6.实现告警重定义节点；
a.实现管道节点(Node)接口(如AlarmReDefinition)，根据告警ID查询是否有重定义规则，可对告警的名称或级别进行重定义。
b.添加属性Node next，即下一个节点，可用于指导管道运行至下一节点。
步骤7.实现告警屏蔽节点；
a.实现管道节点(Node)接口(如AlarmBlock),根据告警ID、告警位置等信息(此部分具体字段由使用方业务决定)，查询是否有屏蔽规则，如果匹配，在本节点的返回结果中进行标记。
b.添加属性Node next，即下一个节点，可用于指导管道运行至下一节点。
步骤8.实现告警归并节点；
a.实现管道节点(Node)接口(如AlarmMerger)，按照告警定义表中的归并参数索引提取当前告警的归并参数，并与实时告警进行对比，如果一致，再对比级别信息，然后当级别低于实时告警时，恢复实时告警，展示当前告警，即为降级；当级别等于实时告警时，更新告警；当级别高于实时告警时，隐藏实时告警，展示当前告警，即为升级；当本告警为恢复告警时，恢复命中的所有实时告警，即为恢复；
b.添加属性Node next，即下一个节点，可用于指导管道运行至下一节点。
步骤9.将上述的所有节点加入管道实现(CustomPipeLine)，在运行期启动管道即可。
如图3所示，本发明实施例还提供一种基于管道的告警处理的装置，包括告警信息输入模块11、告警同步管道模块22、脏页日志模块33、持久化处理模块44；
告警信息输入模块11，用于根据定义的告警类型发送携带参数列表的告警信息到告警同步管道模块；
告警同步管道模块22，用于对接收到的告警信息进行过滤、分流及分流后的告警归并处理，并在处理过程中将产生的异常信息抛出，处理完成后返回处理结果；
脏页日志模块33，用于并记录脏页日志；
持久化处理模块44，用于在脏页日志模块中批量提取告警信息进行异步批量持久化处理。
在有些实施例中，该装置包括告警类型定义模块55，用于用户通过告警类型定义模块进行告警类型定义，产生告警定义对象；
其中对象包括：告警类型ID、告警名称、告警分类、告警级别、告警描述、定位信息、可能原因、修复建议、参数列表、归并参数。
需要说明的是，处理结果包括告警动作；
其中，告警动作包括产生新告警、告警升级、降级、恢复、产生新事件。
在有些实施例中，该装置还包括通知扩展模块66，用于在持久化完毕后，基于告警业务与告警动作进行告警的通知扩展；告警业务包括实时告警、历史告警、被屏蔽告警、事件。
基于上述装置个组件实现如下过程：用户在告警定义模块中进行告警类型定义，定义产生告警定义对象；客户端按照告警定义装置中定义的告警类型，发送携带参数列表的告警信息至告警同步管道模块；在告警进行管道处理结束后返回客户端结果，同时，记录结果在脏页日志中；在脏页日志中批量提取告警进入持久化模块进行异步批量持久化；在持久化完毕后，可基于业务与告警动作(产生新告警、告警升级、降级、恢复、产生新事件)进行告警的通知扩展。
需要说明的是，告警同步管道模块22包括过滤器，用于获取告警信息的告警ID；判断告警ID是否合法，若否，将该告警信息过滤掉否则，获取接收到的告警信息的属性信息；将获取的属性信息与预存的实时告警进行比对，判断是否具备此类实时告警，若否，将该告警信息过滤掉；否则，判断告警信息的告警来源是否准确；若否，将该告警信息过滤掉。
进一步的，告警同步管道模块22包括注入器和分流器；
注入器，用于注入告警附属信息；其中，附属信息包括告警源的基本信息、告警屏蔽规则、重定义规则；根据告警ID查询是否有重定义规则，若是，对告警的名称或级别进行重定义；根据告警ID、定位信息查询是否有匹配的屏蔽规则，若是，再返回结果中进行标记；
分流器，用于根据注入的告警附属信息的处理结果进行数据的分流。
告警同步管道模块22包括告警归并器，将用户提交的参数与系统内置的参数进行统一，将告警归并规则与告警缓存进行对比，进行告警的结果进行归并。
告警归并器，具体用于按照告警定义对象中的归并参数索引提取当前告警信息的归并参数；将提取的归并参数与实时告警进行对比；如果一致，对比级别信息，当级别低于实时告警时，恢复实时告警，展示当前告警，即为降级；当级别等于实时告警时，更新告警；当级别高于实时告警时，隐藏实时告警，展示当前告警，即为升级；当本告警为恢复告警时，恢复所有实时告警，即为恢复。
本发明实施例提供的一种计算机设备，该设备可以包括：处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信。总线可以用于电子设备与传感器之间的信息传输。处理器可以调用存储器中的逻辑指令，以执行如下方法：步骤11：根据告警类型发送携带参数列表的告警信息到告警同步管道；步骤12：告警同步管道对接收到的告警信息进行过滤、分流及分流后的告警归并处理，并在处理过程中将产生的异常信息抛出；步骤13：处理完成后返回处理结果并记录脏页日志；步骤14：在脏页日志中批量提取告警信息进行异步批量持久化处理。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述方法实施例所提供的方法，例如包括：步骤11：根据告警类型发送携带参数列表的告警信息到告警同步管道；步骤12：告警同步管道对接收到的告警信息进行过滤、分流及分流后的告警归并处理，并在处理过程中将产生的异常信息抛出；步骤13：处理完成后返回处理结果并记录脏页日志；步骤14：在脏页日志中批量提取告警信息进行异步批量持久化处理。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于管道的告警处理的方法，其特征在于，包括如下步骤：
根据告警类型发送携带参数列表的告警信息到告警同步管道；
告警同步管道对接收到的告警信息进行过滤、分流及分流后的告警归并处理，并在处理过程中将产生的异常信息抛出；
处理完成后返回处理结果并记录脏页日志；
在脏页日志中批量提取告警信息进行异步批量持久化处理。
2.根据权利要求1所述的基于管道的告警处理的方法，其特征在于，所述的告警同步管道对接收到的告警信息进行过滤、分流及分流后的告警归并处理，并在处理过程中将产生的异常信息抛出的步骤中，对接收到的告警信息进行过滤的步骤包括：
获取告警信息的告警ID；
判断告警ID是否合法，若否，将该告警信息过滤掉；
否则，获取接收到的告警信息的属性信息；
将获取的属性信息与预存的实时告警进行比对，判断是否具备此类实时告警，若否，将该告警信息过滤掉；
否则，判断告警信息的告警来源是否准确；若否，将该告警信息过滤掉。
3.根据权利要求2所述的基于管道的告警处理的方法，其特征在于，所述的告警同步管道对接收到的告警信息进行过滤、分流及分流后的告警归并处理，并在处理过程中将产生的异常信息抛出的步骤中，对接收到的告警信息进行分流的步骤包括：
注入告警附属信息；其中，附属信息包括告警源的基本信息、告警屏蔽规则、重定义规则；
根据告警ID查询是否有重定义规则，若是，对告警的名称或级别进行重定义；
根据告警ID、定位信息查询是否有匹配的屏蔽规则，若是，再返回结果中进行标记；
根据注入的告警附属信息的处理结果进行数据的分流。
4.根据权利要求3所述的基于管道的告警处理的方法，其特征在于，所述的告警同步管道对接收到的告警信息进行过滤、分流及分流后的告警归并处理，并在处理过程中将产生的异常信息抛出的步骤中，分流后的告警归并处理的步骤包括：
将用户提交的参数与系统内置的参数进行统一；
将告警归并规则与告警缓存进行对比，进行告警的结果进行归并。
5.根据权利要求4所述的基于管道的告警处理的方法，其特征在于，将告警归并规则与告警缓存进行对比，进行告警的结果进行归并的步骤包括：
按照告警定义对象中的归并参数索引提取当前告警信息的归并参数；
将提取的归并参数与实时告警进行对比；
如果一致，对比级别信息，当级别低于实时告警时，恢复实时告警，展示当前告警，即为降级；当级别等于实时告警时，更新告警；当级别高于实时告警时，隐藏实时告警，展示当前告警，即为升级；当本告警为恢复告警时，恢复所有实时告警，即为恢复。
6.根据权利要求5所述的基于管道的告警处理的方法，其特征在于，该方法还包括：
发送告警信息到告警同步管道之前,定义告警类型，产生告警定义对象；
在持久化完毕后，基于告警动作进行告警的通知扩展。
7.一种基于管道的告警处理的装置，其特征在于，包括告警信息输入模块、告警同步管道模块、脏页日志模块、持久化处理模块；
告警信息输入模块，用于根据定义的告警类型发送携带参数列表的告警信息到告警同步管道模块；
告警同步管道模块，用于对接收到的告警信息进行过滤、分流及分流后的告警归并处理，并在处理过程中将产生的异常信息抛出，处理完成后返回处理结果；
脏页日志模块，用于并记录脏页日志；
持久化处理模块，用于在脏页日志模块中批量提取告警信息进行异步批量持久化处理。
8.根据权利要求7所述的基于管道的告警处理的装置，其特征在于，告警同步管道模块包括过滤器、注入器、分流器和告警归并器；
过滤器，用于获取告警信息的告警ID；判断告警ID是否合法，若否，将该告警信息过滤掉否则，获取接收到的告警信息的属性信息；将获取的属性信息与预存的实时告警进行比对，判断是否具备此类实时告警，若否，将该告警信息过滤掉；否则，判断告警信息的告警来源是否准确；若否，将该告警信息过滤掉；
注入器，用于注入告警附属信息；其中，附属信息包括告警源的基本信息、告警屏蔽规则、重定义规则；根据告警ID查询是否有重定义规则，若是，对告警的名称或级别进行重定义；根据告警ID、定位信息查询是否有匹配的屏蔽规则，若是，再返回结果中进行标记；
分流器，用于根据注入的告警附属信息的处理结果进行数据的分流；
告警归并器，用于按照告警定义对象中的归并参数索引提取当前告警信息的归并参数；将提取的归并参数与实时告警进行对比；如果一致，对比级别信息，当级别低于实时告警时，恢复实时告警，展示当前告警，即为降级；当级别等于实时告警时，更新告警；当级别高于实时告警时，隐藏实时告警，展示当前告警，即为升级；当本告警为恢复告警时，恢复所有实时告警，即为恢复。
9.一种计算机设备，其特征在于，包括处理器和存储器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一项权利要求所述的基于管道的告警处理的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一项权利要求所述的基于管道的告警处理的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110955454.4A CN113904913B (zh) | 2021-08-19 | 2021-08-19 | 一种基于管道的告警处理的方法、装置、设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110955454.4A CN113904913B (zh) | 2021-08-19 | 2021-08-19 | 一种基于管道的告警处理的方法、装置、设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113904913A true CN113904913A (zh) | 2022-01-07 |
| CN113904913B CN113904913B (zh) | 2024-10-18 |
Family
ID=79187614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110955454.4A Active CN113904913B (zh) | 2021-08-19 | 2021-08-19 | 一种基于管道的告警处理的方法、装置、设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113904913B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008028423A1 (fr) * | 2006-09-04 | 2008-03-13 | Huawei Technologies Co., Ltd. | Procédé, système et dispositif d'avertissement synchrone |
| CN101222725A (zh) * | 2007-01-08 | 2008-07-16 | 中兴通讯股份有限公司 | 一种利用告警归并减少北向接口告警数量的方法 |
| CN104578426A (zh) * | 2015-01-26 | 2015-04-29 | 国家电网公司 | 一种信息综合分析与智能告警应用的检测方法 |
| CN106844171A (zh) * | 2016-12-27 | 2017-06-13 | 浪潮软件集团有限公司 | 一种海量运维的实现方法 |
| CN107196804A (zh) * | 2017-06-01 | 2017-09-22 | 国网山东省电力公司信息通信公司 | 电力系统终端通信接入网告警集中监控系统及方法 |
| CN108833148A (zh) * | 2018-06-04 | 2018-11-16 | 北京天元创新科技有限公司 | 通信网络告警信息处理方法和系统 |
| CN110413586A (zh) * | 2019-08-05 | 2019-11-05 | 山东浪潮通软信息科技有限公司 | 分布式日志管理方法及系统 |
| WO2020029407A1 (zh) * | 2018-08-08 | 2020-02-13 | 平安科技（深圳）有限公司 | 告警数据的管理方法、装置、计算机设备及存储介质 |
| CN110990218A (zh) * | 2019-11-22 | 2020-04-10 | 深圳前海环融联易信息科技服务有限公司 | 基于海量日志的可视化与告警的方法、装置及计算机设备 |
| CN111142925A (zh) * | 2019-12-23 | 2020-05-12 | 山东浪潮通软信息科技有限公司 | 一种管道式数据处理方法、设备以及存储介质 |
| CN111786833A (zh) * | 2020-07-01 | 2020-10-16 | 浪潮云信息技术股份公司 | 一种基于云服务平台的告警匹配处理的实现方法 |
| CN112015807A (zh) * | 2019-05-31 | 2020-12-01 | 阿里巴巴集团控股有限公司 | 数据同步的处理方法、装置、电子设备及计算机存储介质 |
| CN112181960A (zh) * | 2020-09-18 | 2021-01-05 | 杭州优云软件有限公司 | 一种基于AIOps的智能运维框架系统 |
| WO2021016978A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 电信网络告警预测方法及系统 |
| WO2021042843A1 (zh) * | 2019-09-06 | 2021-03-11 | 平安科技（深圳）有限公司 | 告警信息的决策方法、装置、计算机设备及存储介质 |
| CN112532456A (zh) * | 2020-12-04 | 2021-03-19 | 浪潮云信息技术股份公司 | 一种云环境下的告警监控方法 |
| CN113157545A (zh) * | 2021-05-20 | 2021-07-23 | 京东方科技集团股份有限公司 | 业务日志的处理方法、装置、设备及存储介质 |
-
2021
- 2021-08-19 CN CN202110955454.4A patent/CN113904913B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008028423A1 (fr) * | 2006-09-04 | 2008-03-13 | Huawei Technologies Co., Ltd. | Procédé, système et dispositif d'avertissement synchrone |
| CN101222725A (zh) * | 2007-01-08 | 2008-07-16 | 中兴通讯股份有限公司 | 一种利用告警归并减少北向接口告警数量的方法 |
| CN104578426A (zh) * | 2015-01-26 | 2015-04-29 | 国家电网公司 | 一种信息综合分析与智能告警应用的检测方法 |
| CN106844171A (zh) * | 2016-12-27 | 2017-06-13 | 浪潮软件集团有限公司 | 一种海量运维的实现方法 |
| CN107196804A (zh) * | 2017-06-01 | 2017-09-22 | 国网山东省电力公司信息通信公司 | 电力系统终端通信接入网告警集中监控系统及方法 |
| CN108833148A (zh) * | 2018-06-04 | 2018-11-16 | 北京天元创新科技有限公司 | 通信网络告警信息处理方法和系统 |
| WO2020029407A1 (zh) * | 2018-08-08 | 2020-02-13 | 平安科技（深圳）有限公司 | 告警数据的管理方法、装置、计算机设备及存储介质 |
| CN112015807A (zh) * | 2019-05-31 | 2020-12-01 | 阿里巴巴集团控股有限公司 | 数据同步的处理方法、装置、电子设备及计算机存储介质 |
| WO2021016978A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 电信网络告警预测方法及系统 |
| CN110413586A (zh) * | 2019-08-05 | 2019-11-05 | 山东浪潮通软信息科技有限公司 | 分布式日志管理方法及系统 |
| WO2021042843A1 (zh) * | 2019-09-06 | 2021-03-11 | 平安科技（深圳）有限公司 | 告警信息的决策方法、装置、计算机设备及存储介质 |
| CN110990218A (zh) * | 2019-11-22 | 2020-04-10 | 深圳前海环融联易信息科技服务有限公司 | 基于海量日志的可视化与告警的方法、装置及计算机设备 |
| CN111142925A (zh) * | 2019-12-23 | 2020-05-12 | 山东浪潮通软信息科技有限公司 | 一种管道式数据处理方法、设备以及存储介质 |
| CN111786833A (zh) * | 2020-07-01 | 2020-10-16 | 浪潮云信息技术股份公司 | 一种基于云服务平台的告警匹配处理的实现方法 |
| CN112181960A (zh) * | 2020-09-18 | 2021-01-05 | 杭州优云软件有限公司 | 一种基于AIOps的智能运维框架系统 |
| CN112532456A (zh) * | 2020-12-04 | 2021-03-19 | 浪潮云信息技术股份公司 | 一种云环境下的告警监控方法 |
| CN113157545A (zh) * | 2021-05-20 | 2021-07-23 | 京东方科技集团股份有限公司 | 业务日志的处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113904913B (zh) | 2024-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105095048B (zh) | 一种基于业务规则的监控系统告警关联处理方法 | |
| US6353902B1 (en) | Network fault prediction and proactive maintenance system | |
| CN106656536A (zh) | 一种用于处理服务调用信息的方法与设备 | |
| CN113676484B (zh) | 一种攻击溯源方法、装置和电子设备 | |
| EP4022476A1 (en) | Context informed abnormal endpoint behavior detection | |
| CN102073579B (zh) | Linux文件系统审计事件合并和优化的方法 | |
| CN111026749B (zh) | 业务告警方法及装置 | |
| CN109829327A (zh) | 敏感信息处理方法、装置、电子设备及存储介质 | |
| CN107688943B (zh) | 数据处理方法、装置及系统 | |
| CN112700329A (zh) | 一种风控规则引擎的响应方法和风控规则引擎 | |
| CN109325232A (zh) | 一种基于lda的用户行为异常分析方法、系统及存储介质 | |
| CN113935487B (zh) | 可视化卫星故障诊断知识的生成方法、装置及系统 | |
| CN110297657A (zh) | 一种基于层次上下文的api推荐方法 | |
| CN113259176A (zh) | 一种告警事件分析方法和装置 | |
| CN109800251A (zh) | 一种关系发现方法和装置、计算机可读存储介质 | |
| CN114172785A (zh) | 告警信息处理方法、装置、设备和存储介质 | |
| CN111967885A (zh) | 智能外呼处理方法及装置 | |
| CN113904913B (zh) | 一种基于管道的告警处理的方法、装置、设备、存储介质 | |
| CN110555600B (zh) | 防止模块化bom中禁用部件被误用的方法、装置、设备及存储介质 | |
| CN114579809A (zh) | 事件分析方法、装置、电子设备及存储介质 | |
| CN113779336A (zh) | 用户行为数据的处理方法及装置、电子设备 | |
| CN115016782A (zh) | vue组件生成方法及装置 | |
| CN107145599A (zh) | 一种大数据资产管理系统 | |
| CN113553579A (zh) | 基于用户长短期行为表征的内部威胁检测方法及装置 | |
| CN112988327A (zh) | 一种基于云边协同的容器安全管理方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |