CN105450445A - 一种大容量分组传送系统下的高性能告警处理系统及方法 - Google Patents

Abstract

本发明提供一种大容量分组传送系统下的高性能告警处理系统，包括当前告警处理模块，用于对从多个告警源并发接收到的告警进行分类、处理，并发出处理结果通知；历史告警处理模块，用于接收批量清除通知，按预设的上限将清除队列中的告警迁移到历史告警中，发出删除指令；告警关联分析模块，用于接收批量清除通知，从清除队列中获取需要分析的告警，根据预设值按照一定的并发量，并行分析告警，将分析结果依次写入告警关联结果数据库。通过本发明可以在保证告警的实时性的条件下同时保证告警的时序性、正确性和可靠性，最终解决现有技术无法很好应对在极短的时间段内产生数量和规模巨大的告警风暴的场景。

Description

一种大容量分组传送系统下的高性能告警处理系统及方法

技术领域

本发明涉及通信及计算机领域，具体属于一种大容量分组传送系统下的高性能告警处理系统及方法。

背景技术

在大容量分组传送系统中，都会存在管理大容量的通信设备，每个通信设备都存在复杂的模块，其组成的传输网络也会非常巨大及复杂，在极端情况下其会产生大规模的告警。这种场景的特点是告警数量大，来自大量网元设备的告警并发程度大，也就是说在某个极小的时间段内将上报极大数量的告警。这种情况下要求系统能够在一个极短的时间段内处理大量的并发告警，保证实时性、正确性和告警不丢失的可靠性。这就要设计一个高吞吐量的处理系统，系统即要想办法降低并发带来的处理复杂度，又要在保证计算稳定告警不丢失的情况下高效的处理及分析告警数据，才能解决上述问题。

大容量分组传送系统是一个由多个分组传输网元构成的网络传输系统。在极端情况下，如大规模网络升级，传输系统改造扩容等，会在一个极短的时间段内产生数量和规模巨大的告警风暴，那么将对上层系统带来如下问题。第一，如何设计一个高吞吐量的系统来处理极短时间内上报的大量告警，保证告警的实时性。第二，保证告警不丢失的可靠性，告警处理的正确性，这需要降低告警并发带来的处理上的复杂度。综上所述，需要设计一个高吞吐量的化繁为简的告警处理系统。

与本发明相关的现有技术的第一种方法所采用的实现方式是在极短时间内上报的大量告警的时候，通过对告警分流将告警分发到不同的处理器上并行处理，以增加并行处理器来解决极短时间内上报的大量告警的处理问题。

如果采用上述第一种处理方式就会存在以下问题。首先，告警的上报存在时序性，由于并行处理所以要很好的处理时序关系，那么必然需要增加复杂的处理逻辑，其复杂性必然导致处理困难。其次，每个并行单元如果考虑告警的时序性，那么必然需要一个调度程序势必导致多余的开销，其并行带来的快速处理能力必然收敛在某个范围，也就是说随着通信网络规模的持续扩大极端的告警规模变大，这种并行处理方案最终受限。最后，并行必然带来程序的复杂度提高，最终系统难于维护。

与本发明相关的现有技术第二种方法是依次按照告警接收次序，逐批处理告警，其可以保障告警处理的正确性，可靠性。

如果采用上述第二种处理方式就会存在以下问题。首先，其在在极端情况下，如大规模网络升级，传输系统改造扩容等，会在一个极短的时间段内产生数量和规模巨大的告警风暴。在这种极端场景下会因为每次处理的时间都是一个固定开销，那么由于其依次处理，处理时间的逐步累加必然导致无法在一个短暂的时间范围内处理完，并在短时间内上报的所有告警，最终导致告警积压在告警通道内，使得告警通道溢出等异常状态发生。其次，假设告警通道永远不会溢出等异常，其较长的处理时间也无法保证告警的实时性。最后，采用这种方式用户由于无法及时获取告警信息，会极大的降低用户体验。

发明内容

本发明要解决的技术问题是：提供一种大容量分组传送系统下的高性能告警处理系统及方法，解决现有技术无法很好应对在极短的时间段内产生数量和规模巨大的告警风暴的场景。

本发明为解决上述技术问题所采取的技术方案为：一种大容量分组传送系统下的高性能告警处理系统，其特征在于：它包括

当前告警处理模块，用于对从多个告警源并发接收到的告警进行分类、处理，并发出处理结果通知；当前告警处理模块包括告警分类器、告警移除器、操作队列管理器和告警处理器；告警分类器用于将接收到的告警分为新增告警和清除告警两类；操作队列管理器用于将分好的新增告警和清除告警分别放入新增队列和重置队列2个FIFO操作队列，并在有可能发生重复告警的场景下过滤重复告警；告警处理器用于在达到集约条件时将新增队列和重置队列中的告警批量取出进行批量处理，所取出的告警必须满足所有新增告警的发生时间早于清除告警，处理事务成功提交后发出批量清除通知，将待删除的告警放入清除队列；告警移除器用于根据历史告警处理模块的删除指令删除操作队列中相应的一批告警；

历史告警处理模块，用于接收批量清除通知，按预设的上限将清除队列中的告警迁移到历史告警中，发出删除指令给告警移除器；

告警关联分析模块，用于接收批量清除通知，从清除队列中获取需要分析的告警，根据预设值按照一定的并发量，并行分析告警，将分析结果依次写入告警关联结果数据库。

按上述系统，所述的操作队列管理器过滤重复告警的方法具体为：通过告警的关键信息生成hash值，每个hash值跟随一组告警特征；收到一个新的告警时，首先比较hash值，如果现有告警中没有相同的，则将该新的告警生成的hash值及其告警特征存储到用于比较的告警hash集合中；如果现有告警中有相同的hash值，则对比hash值后跟随的一组告警特征是否有重复，如果没有则存储，有则排除掉这条新的告警。

按上述系统，所述的告警关联分析模块在分析告警时，如果出现震荡告警，则针对同一个告警源发出的同一种告警，则只分析一条；所述的震荡告警为在极短的时间内同一个告警源不断有新增和清除告警。

按上述系统，所述的告警处理器中的集约条件为：新增队列、重置队列和清除队列中任意一个操作队列的时间达到集约周期或队列大小达到阈值。

一种大容量分组传送系统下的高性能告警处理方法，其特征在于：它包括以下步骤：

S1、从多个告警源并发接收告警，将接收到的告警分为新增告警和清除告警两类；

S2、将分好的新增告警和清除告警分别放入新增队列和重置队列2个FIFO操作队列，并在有重复告警源时过滤重复告警；

S3、在达到集约条件时将新增队列和重置队列中的告警批量取出进行批量处理，所取出的告警必须满足所有新增告警的发生时间早于清除告警，处理事务成功提交后发出批量清除通知，将待删除的告警放入清除队列；

S4、接收批量清除通知，按预设的上限将清除队列中的告警迁移到历史告警中，删除操作队列中相应的一批告警；

S5、接收批量清除通知，从清除队列中获取需要分析的告警，根据预设值按照一定的并发量，并行分析告警，将分析结果依次写入告警关联结果数据库。

按上述方法，所述的S2过滤重复告警的具体方法为：通过告警的关键信息生成hash值，每个hash值跟随一组告警特征；收到一个新的告警时，首先比较hash值，如果现有告警中没有相同的，则将该新的告警生成的hash值及其告警特征存储到用于比较的告警hash集合中；如果现有告警中有相同的hash值，则对比hash值后跟随的一组告警特征是否有重复，如果没有则存储，有则排除掉这条新的告警。

按上述方法，所述的S5在分析告警时，如果出现震荡告警，则针对同一个告警源发出的同一种告警，则只分析一条；所述的震荡告警为在极短的时间内同一个告警源不断有新增和清除告警。

按上述方法，所述的S3中的集约条件为：新增队列、重置队列和清除队列中任意一个操作队列的时间达到集约周期或队列大小达到阈值。

按上述方法，所述的S3判断所取出的告警必须满足所有新增告警的发生时间早于清除告警的具体方法如下：首先从新增队列中取出告警，然后找到其中发生时间与当前时间最近的告警，然后依次从重置队列中获取要清除的告警，要清除的告警发生时间均晚于新增告警。

本发明的有益效果为：通过本发明可以在保证告警的实时性的条件下同时保证告警的时序性、正确性和可靠性。在极端场景下本发明通过并发接收获取大量告警，并以高效的FIFO操作队列作为告警的处理存储，并发的大量告警往队尾写，而告警处理在队首进行，从而获得了高并发条件下的吞吐量保证了实时性；通过对当前告警的操作进行分类设计优先级，由于是按队列操作，新增队列中的告警发生时间早于重置队列，而新增队列和重置队列中的告警处理成功后才能放入清除队列进行操作，从而保证了时序性；只要队列中的告警未被正确的处理，会一直保持在队列中，只到告警被正确处理，从而保证了可靠性；最终解决现有技术无法很好应对在极短的时间段内产生数量和规模巨大的告警风暴的场景。

附图说明

图1为本发明一实施例的模块关系图。

图2为本发明一实施例的流程图。

具体实施方式

下面结合具体实例和附图对本发明做进一步说明。

整个告警处理流程是在接收到告警后会首先进入当前告警处理模块，如果接收到清除告警会找到当前告警模块中的告警，并置为清除状态，然后将其转入历史告警。无论是否收到清除告警，当前告警中的告警均需要进行告警关联分析处理。其中，当前告警的处理要求极强的实时性；历史告警要求时序性，因为清除必须是在已存在当前告警的前提下进行的；告警关联分析准许一定的延时。由此可知，在极端告警风暴的情况下，当前告警的处理能力是系统瓶颈。当前告警和历史告警的处理之间存在操作时序。

当前告警处理模块，只处理当前告警相关的任务，其核心任务就是保证告警不丢失，保证可靠性，提供一个快速IO吞吐能力的模块，保证实时性。

其上相关操作分析：也就说这个模块最重要的是新增告警操作，操作优先度最高，其频次也是最高的。其次是保证告警查询操作的查询效率，操作优先度是次高的，主要针对大规模告警上来了，用户查询告警的用户体验。其操作只要做到读不互斥，可以并发读即可。对于状态重置操作，优先级要低一些，因为其状态重置操作都是针对已经存在的数据，从实际观测来看状态重置的操作性能要好于新增告警，所以其在操作队列中排在新增告警后面。状态重置操作主要是两种类别的，1）标记清除告警，防止在断电关机的情况下，可以把告警手工迁移到历史告警中2）用户确认的少量操作。删除操作，只会发生在当前告警的记录迁移到历史告警的情况，因此这个操作会被迁移到历史告警的过程中用到，从操作时序上其优先度是最低的。

对于当前告警的操作，读读，读写不互斥，写写才互斥。读读，读写可以并行操作，写写通过执行队列控制时序和并发。

通过上述分析，在当前告警模块中要设计一个写操作队列，对于一个告警收集周期内的告警，当期要批量更新的时候，要按上述分析进行排队。查询操作不受此操作队列控制，允许并发进行，查询操作不放在本模块中处理。

其写操作队列中，所有的操作排序是新增告警操作、状态重置操作和删除操作，新增告警操作在一个批量更新里面提交，状态重置在一个批量更新里面提交，但整个在一个事务里面提交。如果事务失败，进行回滚后重做。删除在告警迁移的事务中即另一个事务里面提交，其事务控制由历史告警模块控制。接收告警允许并发接收，处理告警严格按照操作队列定义的操作级别进行。

历史告警处理模块，处理历史告警数据，整个历史告警模块是单并发操作。当收到告警模块的通知后，首先读取告警模块的删除队列中的指定规模的当前告警数据，并批量写入历史告警，再调用告警模块的删除操作，事务提交完成告警迁移，若事务失败回滚，等到下一个通知再处理。

告警关联分析模块，告警关联模块不会写只会读当前告警的数据，因此支持并行关联分析操作，但写如告警关联分析模块的数据时依然提供锁操作，即写操作的时候提供事务。若写失败了，用户就手工关联以保证容错。

基于上述分析，本发明提供一种大容量分组传送系统下的高性能告警处理系统，如图1所示，包括：

当前告警处理模块，用于对从多个告警源并发接收到的告警进行分类、处理，并发出处理结果通知；当前告警处理模块包括告警分类器、告警移除器、操作队列管理器和告警处理器；告警分类器用于将接收到的告警分为新增告警和清除告警两类；操作队列管理器用于将分好的新增告警和清除告警分别放入新增队列和重置队列2个FIFO操作队列，并在可能发生重复告警的场景下（如：存在多个告警源的场景下）过滤重复告警；告警处理器用于在达到集约条件时将新增队列和重置队列中的告警批量取出进行批量处理，所取出的告警必须满足所有新增告警的发生时间早于清除告警，处理事务成功提交后发出批量清除通知，将待删除的告警放入清除队列；告警移除器用于根据历史告警处理模块的删除指令删除操作队列中相应的一批告警。告警处理器发出批量清除通知不仅给历史告警处理模块和告警关联分析模块，还可以给客户端等外部模块，这些模块均可并行操作，不占用告警处理资源。因此，告警模块可以继续高效处理。

历史告警处理模块，用于接收批量清除通知，按预设的上限将清除队列中的告警迁移到历史告警中，发出删除指令给告警移除器。在及时提交过程中发生断电等不可抗拒因素，也可以根据当前告警数据库中被置为清除状态的告警数据，手工移入历史告警库，从而保证了可靠性。

告警关联分析模块，用于接收批量清除通知，从清除队列中获取需要分析的告警，根据预设值按照一定的并发量，并行分析告警，将分析结果依次写入告警关联结果数据库。本实施例中，告警关联分析模块保存分析结果，将每一个分析的结果写入一个FIFO的队列，然后队列集约后根据预设条件，批量写入数据库。

所取出的告警必须满足所有新增告警的发生时间早于清除告警，在具体操作时，在满足集约条件之后，从新增队列中个取一个批次，并从新增队列中选出一个告警时间发生最近的告警，依次和重置队列对比，凡小于等于这个发生时间的告警就参与本次事务，若找到不符的就停止（只动队首元素）。再从剩下的重置队列中选取一个告警时间发生最近的告警，依次和清除队列对比，同上结果。算法性能分析，线性查找，最坏为n次，平均n/2次。通过此算法，可以在保证高效处理的条件下保证时序性。只要队列中的告警未被正确的处理，会一直保持在队列中，只到告警被正确处理，从而保证了可靠性。

由于存在多个告警源，可能会出现告警重复，只有新增告警的时候才会考虑过滤重复，因为清除告警是更新状态，要么已经清除移入历史告警，要么状态被重复重置。发生重复告警的行为，仅在一个存在多个重复告警源的条件下在一个时间周期内有可能出现重复，因此只用在有重复告警源的时期内，进行重复排查，即只在此期间内存储用于排查的告警信息。因此进一步优选的，所述的操作队列管理器过滤重复告警的方法具体为：通过告警的关键信息生成hash值，每个hash值跟随一组告警特征（例如：告警特征可包括<告警名,告警源,发生时间>，用hash就是为了加速比较效率,用告警特征）；收到一个新的告警时，首先比较hash值，如果现有告警中没有相同的，则将该新的告警生成的hash值及其告警特征存储到用于比较的告警hash集合中；如果现有告警中有相同的hash值，则对比hash值后跟随的一组告警特征是否有重复，如果没有则存储，有则排除掉这条新的告警。通过这一算法可以极大的提高过滤告警重复的处理能力。

进一步优选的，所述的告警关联分析模块在分析告警时，如果出现震荡告警，则针对同一个告警源发出的同一种告警，则只分析一条；所述的震荡告警为：在极短的时间内同一个告警源不断有新增和清除告警，因此对于震荡需要压缩告警信息，这种情况只用处理一条告警的关联分析即可。

再进一步，所述的告警处理器中的集约条件为：新增队列、重置队列和清除队列中任意一个操作队列的时间达到集约周期或队列大小达到阈值。

一种大容量分组传送系统下的高性能告警处理方法，如图2所示，它包括以下步骤：

S1、从多个告警源并发接收告警，将接收到的告警分为新增告警和清除告警两类；允许从多个告警源并行接收告警，高效的保证吞吐量，防止告警管道拥堵。

S2、将分好的新增告警和清除告警分别放入新增队列和重置队列2个FIFO操作队列，并在有重复告警源时过滤重复告警。所有队列采用FIFO，所有插入告警均进入队尾，这样保证对队首的处理不影响整个队列的插入操作。

S3、在达到集约条件时将新增队列和重置队列中的告警批量取出进行批量处理，所取出的告警必须满足所有新增告警的发生时间早于清除告警，处理事务成功提交后发出批量清除通知，将待删除的告警放入清除队列。只要未达到集约条件，则集约等待。按操作分类写库，当满足上述集约条件后，首先从新增队列中取出新增告警，然后找到其中发生时间与当前时间最近的告警，然后依次从重置队列中获取清除告警，清除告警发生时间均晚于新增告警发生时间。保证了操作时序。若无新增告警，则无需比较。所有队列中提取的告警数量均小于等于系统预设阈值。将上述获取的告警，按照先插入新增告警，在更新重置告警的持续进行提交到告警数据库的操作。操作成功则继续后续，否则继续告警集约。由于采用批量提交，因此可以保证告警处理的高吞吐量。

S4、接收批量清除通知，按预设的上限将清除队列中的告警迁移到历史告警中，删除操作队列中相应的一批告警。由于移除操作是从队列队首进行，不影响队列队尾的插入，因此可以保证告警处理的高吞吐量。

S5、接收批量清除通知，从清除队列中获取需要分析的告警，根据预设值按照一定的并发量，并行分析告警，将分析结果依次写入告警关联结果数据库。

优选的，所述的S2过滤重复告警的具体方法为：通过告警的关键信息生成hash值，每个hash值跟随一组告警特征（例如：告警特征可包括<告警名,告警源,发生时间>，用hash就是为了加速比较效率,用告警特征）；收到一个新的告警时，首先比较hash值，如果现有告警中没有相同的，则将该新的告警生成的hash值及其告警特征存储到用于比较的告警hash集合中；如果现有告警中有相同的hash值，则对比hash值后跟随的一组告警特征是否有重复，如果没有则存储，有则排除掉这条新的告警。

优选的，所述的S5在分析告警时，如果出现震荡告警，则针对同一个告警源发出的同一种告警，则只分析一条；所述的震荡告警为：在极短的时间内同一个告警源不断有新增和清除告警，因此对于震荡需要压缩告警信息，这种情况只用处理一条告警的关联分析即可。

优选的，所述的S3中的集约条件为：新增队列、重置队列和清除队列中任意一个操作队列的时间达到集约周期或队列大小达到阈值。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (9)

1.一种大容量分组传送系统下的高性能告警处理系统，其特征在于：它包括

当前告警处理模块，用于对从多个告警源并发接收到的告警进行分类、处理，并发出处理结果通知；当前告警处理模块包括告警分类器、告警移除器、操作队列管理器和告警处理器；告警分类器用于将接收到的告警分为新增告警和清除告警两类；操作队列管理器用于将分好的新增告警和清除告警分别放入新增队列和重置队列2个FIFO操作队列，并在有可能发生重复告警的场景下过滤重复告警；告警处理器用于在达到集约条件时将新增队列和重置队列中的告警批量取出进行批量处理，所取出的告警必须满足所有新增告警的发生时间早于清除告警，处理事务成功提交后发出批量清除通知，将待删除的告警放入清除队列；告警移除器用于根据历史告警处理模块的删除指令删除操作队列中相应的一批告警；

历史告警处理模块，用于接收批量清除通知，按预设的上限将清除队列中的告警迁移到历史告警中，发出删除指令给告警移除器；

告警关联分析模块，用于接收批量清除通知，从清除队列中获取需要分析的告警，根据预设值按照一定的并发量，并行分析告警，将分析结果依次写入告警关联结果数据库。

2.根据权利要求1所述的一种大容量分组传送系统下的高性能告警处理系统，其特征在于：所述的操作队列管理器过滤重复告警的方法具体为：通过告警的关键信息生成hash值，每个hash值跟随一组告警特征；收到一个新的告警时，首先比较hash值，如果现有告警中没有相同的，则将该新的告警生成的hash值及其告警特征存储到用于比较的告警hash集合中；如果现有告警中有相同的hash值，则对比hash值后跟随的一组告警特征是否有重复，如果没有则存储，有则排除掉这条新的告警。

3.根据权利要求1所述的一种大容量分组传送系统下的高性能告警处理系统，其特征在于：所述的告警关联分析模块在分析告警时，如果出现震荡告警，则针对同一个告警源发出的同一种告警，则只分析一条；所述的震荡告警为在极短的时间内同一个告警源不断有新增和清除告警。

4.根据权利要求1所述的一种大容量分组传送系统下的高性能告警处理系统，其特征在于：所述的告警处理器中的集约条件为：新增队列、重置队列和清除队列中任意一个操作队列的时间达到集约周期或队列大小达到阈值。

5.一种大容量分组传送系统下的高性能告警处理方法，其特征在于：它包括以下步骤：

S1、从多个告警源并发接收告警，将接收到的告警分为新增告警和清除告警两类；

S2、将分好的新增告警和清除告警分别放入新增队列和重置队列2个FIFO操作队列，并在有重复告警源时过滤重复告警；

S3、在达到集约条件时将新增队列和重置队列中的告警批量取出进行批量处理，所取出的告警必须满足所有新增告警的发生时间早于清除告警，处理事务成功提交后发出批量清除通知，将待删除的告警放入清除队列；

S4、接收批量清除通知，按预设的上限将清除队列中的告警迁移到历史告警中，删除操作队列中相应的一批告警；

S5、接收批量清除通知，从清除队列中获取需要分析的告警，根据预设值按照一定的并发量，并行分析告警，将分析结果依次写入告警关联结果数据库。

6.根据权利要求5所述的一种大容量分组传送系统下的高性能告警处理方法，其特征在于：所述的S2过滤重复告警的具体方法为：通过告警的关键信息生成hash值，每个hash值跟随一组告警特征；收到一个新的告警时，首先比较hash值，如果现有告警中没有相同的，则将该新的告警生成的hash值及其告警特征存储到用于比较的告警hash集合中；如果现有告警中有相同的hash值，则对比hash值后跟随的一组告警特征是否有重复，如果没有则存储，有则排除掉这条新的告警。

7.根据权利要求5所述的一种大容量分组传送系统下的高性能告警处理方法，其特征在于：所述的S5在分析告警时，如果出现震荡告警，则针对同一个告警源发出的同一种告警，则只分析一条；所述的震荡告警为在极短的时间内同一个告警源不断有新增和清除告警。

8.根据权利要求5所述的一种大容量分组传送系统下的高性能告警处理方法，其特征在于：所述的S3中的集约条件为：新增队列、重置队列和清除队列中任意一个操作队列的时间达到集约周期或队列大小达到阈值。

9.根据权利要求5所述的一种大容量分组传送系统下的高性能告警处理方法，其特征在于：所述的S3判断所取出的告警必须满足所有新增告警的发生时间早于清除告警的具体方法如下：首先从新增队列中取出告警，然后找到其中发生时间与当前时间最近的告警，然后依次从重置队列中获取要清除的告警，要清除的告警发生时间均晚于新增告警。