CN103530173A - 动态权重事件处理系统和方法 - Google Patents

Abstract

本发明公开一种动态权重事件处理系统和方法，所述系统包括：从事件源获取待处理事件的事件收集器；对收集到的事件进行处理的事件分析器；事件处理缓存器缓存对应事件分析器中处理后待发送的事件，接受事件分析器给予的事件，并在事件发送管理器请求时，给予要求的待发送事件；事件发送管理器从所述各个事件处理缓存器中，根据权重获取发送事件来准备发送的事件，并动态调整各个事件处理缓存器的权重，以保证各个事件处理缓存器中事件的延迟是接近的；事件发送管理器从各个事件处理缓存器中获取到事件后，暂存在事件发送缓存器中，以便在事件发送信道中一起发送。本发明并发处理多个事件源的事件信息时，使各个事件源的事件处理延迟尽量接近。

Description

动态权重事件处理系统和方法

技术领域

本发明涉及一种动态权重事件处理系统和方法，具体地说，涉及的是在高并发环境下，采用动态权重方式对多个事件源中的事件进行处理系统和方法。

背景技术

eSOC（企业安全运营中心）系统通过采集网络设备、安全设备、业务系统、数据库、操作系统中的大量事件，并对事件进行智能分析，以帮助运维人员快速发现业务系统中发生的安全事故。

由于需要处理的大量实时事件，往往需要使用多台设备收集事件，并在收集完事件后对事件进行格式化、范式化、过滤和归并等操作，便于系统对事件进行智能分析。每台事件收集器需要收集多台设备发送的事件信息，再通过特定的信道，发送给智能分析系统。当被监控的系统发生异常情况时，会产生大量的事件。如果短时间内某台设备汇报大量事件，就可能堵塞上报的信道，从而影响其它设备中事件的上报。

同时，如果某些设备比其它设备更为重要，当系统无法实时处理所有的事件请求时，这些相对重要的事件有可能被延迟处理，而优先级较低的事件反而被大量处理，以至于堵塞了信道。

当情况严重时，事件上报的延迟甚至会影响后续分析的准确性。因此，需要有一种方法，对每台设备上报事件的处理进行控制。当优先级相等时，可以保证这些设备的事件在处理时具有公平性。这里公平性的定义为，在某段特定时间内，每台设备被发送的事件数量是机会相等的。例如，在1秒钟内，每一个被监控的系统都被允许上报100条事件。即使某台设备实际不需要发送那么多事件，但它依然拥有这样的机会，在它需要发送大量事件时，它就可以达到这样的发送速度。当优先级不同时，高优先级的事件又可以被相对快速地上报。

至今为止，多个数据源事件在一个特定信道中发送，标准的解决方案是用多个线程来分别管理每个数据源的事件处理器，发送信道作为一个资源由多个线程竞争获得。当某个事件处理器需要发送事件时，会将事件放入发送信道的待发送事件中。当发送信道到达发送周期时，从待发送事件中获取事件进行发送，如图1所示。当待发送事件的存储空间较大时，如果某台设备需要在短时间内上报大量事件，就会占用很多存储空间，以至于其它事件处理器需要发送的事件需要等待很久才能发送，造成信道堵塞以及其它设备发送事件的延迟。当待发送事件的存储空间较小时，信道经常会被填满事件。当待发送事件的存储空间被填满后，所有的事件处理器就不能继续工作，必须等待发送信道发送事件并清理出存储空间后，才能继续处理事件。这种频繁的工作状态切换会导致系统整体性能的下降。同时，在这种系统中，也无法保证在某个单位事件内，各个事件源具有相同的事件发送速率来上报事件。甚至更进一步，也无法添加某种优先级策略，来保证某个事件源的事件可以得到优先处理。

为了使相对重要的事件得以快速上报，或者使延迟较高的设备可以较快上报事件，一种常见的解决方法是对每个事件处理器进行控制，并指定事件处理器访问发送信道的优先级，优先级高的信息会优先占用信道来进行汇报，流程图如图2所示。当事件处理器获取信道时，高优先级的事件处理器将优先获取到信道的权限，并将自己需要发送的事件加入待发送事件缓存中。然而这种方式也存在其不足之处，如果高优先级的设备需要发送大量事件，低优先级的设备会被长时间阻塞。低优先级的设备可以接受较高的延迟，但不应被阻塞。

由于这些原因，现有技术中存在对于一种系统和方法的需求，该系统和方法在高并发环境下，可以对各事件处理器中需要发送的事件进行控制，使得在单位时间内，相同优先级的事件处理器可以发送的事件数量是相等的，以此保证每个事件处理器上报事件的延迟时间都是相对较小的。

另外，现有技术中存在对于一种系统和方法的需求，该系统和方法在发送信道发送事件的过程中，各个事件处理器仍然可以继续处理事件并使其成为待发送事件，以提高系统的整体性能。

同时，为了适应不同设备优先级不同的情况，需要有一种系统和方法，该系统和方法可以为高优先级的设备提供更高的发送速率。

最后，待发送的事件数量变化时，需要有一种系统和方法，可以实时调整各个设备的优先级，以保证每台设备上报事件的延迟都尽量接近。

经检索，申请号为200910134837.4的中国专利，该发明公开了一种动态优先级外部事务处理系统，一种多模式事务处理队列可以按照缺省优先级方案操作。当检测到拥挤事件时，事务处理队列可以采用第二优先级方案。在此发明中，如果高优先级的设备需要发送大量事件，低优先级的设备会被长时间阻塞；而本发明中，低优先级的设备依然被允许以较低速度发送事件。

发明内容

本发明的目的在于解决现有技术中的上述不足，提供一种动态权重事件处理系统和方法，用以在事件处理系统（比如eSOC系统）之内，或利用相似的系统、产品和工具，在高并发环境下，对多个事件处理器进行管理，并使各个事件处理器的延迟尽量接近。

为实现上述的目的，本发明采用以下技术方案：

本发明提供了一种动态权重事件处理系统，包括：

事件收集器：是从事件源获取待处理事件的收集器，并交给对应的事件分析器进行处理，所述事件具有被报告事件的文本表示；

事件分析器：是根据预先设定的配置，对事件收集器中收集到的事件进行格式化、范式化、过滤和归并等操作的处理器；事件的文本表示经过处理器后，转变为事件对象，所述事件对象包含事件的文本表示及事件分析器的输出结果信息；事件对象被放置到事件处理缓存器中，如果事件处理缓存器已满，事件分析器将暂停处理事件；

事件处理缓存器：缓存对应事件分析器中处理后待发送的事件，接受事件分析器给予的事件，并在事件发送管理器请求时，给予要求的待发送事件；

事件发送管理器：从所述的各个事件处理缓存器中，按照设定的事件获取方法来准备发送的事件，并动态调整各个事件处理缓存器的权重，以保证各个事件处理缓存器中事件的延迟是接近的，同时，事件发送管理器负责执行事件发送时所必须的其它操作，如记录系统状态等；

事件发送缓存器：所述的事件发送管理器从各个事件处理缓存器中获取到事件后，暂存在事件发送缓存器中，以便在事件发送信道中一起发送；事件发送缓存器的空间与发送信道一次发送的事件数量一致；

事件发送信道：用于将处理后的事件发送至其它服务器。

本发明还提供了一种用于事件发送管理器中根据权重获取发送事件的方法，包括步骤：

事件发送管理器以最高权重事件处理缓存为当前事件处理缓存；

事件发送管理器按照权重从当前事件处理缓存获取事件；

确定是否存在下一个事件处理缓存；

响应于存在下一个事件处理缓存，事件发送管理器以最高权重事件处理缓存为当前事件处理缓存；

响应于不存在下一个事件处理缓存，事件发送管理器以最高权重事件处理缓存为当前事件处理缓存；

确定是否达到本次发送事件上限；

响应于达到本次发送事件上限，事件发送管理器将事件提交到事件发送信道；

响应于未达到本次发送事件上限，事件发送管理器从当前事件处理缓存中获取待发送事件；

确定是否存在下一个事件处理缓存；

响应于存在下一个事件处理缓存，事件发送管理器将优先级列表中的下一个事件处理缓存设为当前事件处理缓存；

响应于不存在下一个事件处理缓存，事件发送管理器将事件提交到事件发送信道。

本发明还提供了一种用于事件发送管理器中动态调整事件处理缓存权重的方法，包括步骤：

事件发生管理器根据权重发送事件；

获取事件时返回事件数量少于请求数量的事件处理缓存权重减1，权重最小为1；

获取事件时返回事件数量等于请求数量的事件处理缓存权重加1，权重最大为10。

由于采用了上述技术方案，本发明的有益效果是:

(1)在高并发环境下，可以对各事件处理器中需要发送的事件进行控制，使得在单位时间内，相同优先级的事件处理器可以发送的事件数量是相等的，以此保证每个事件处理器上报事件的延迟时间都是相对较小的。

(2)在发送信道发送事件的过程中，各个事件处理器仍然可以继续处理事件并使其成为待发送事件，提高了系统的整体性能。

(3)不同设备优先级不同时，可以为高优先级的设备提供更高的发送速率。

(4)待发送的事件数量变化时，可以实时调整各个设备的优先级，以保证每台设备上报事件的延迟都尽量接近。

附图说明

图1为现有技术示意图一；

图2为现有技术示意图二；

图3为本发明的事件处理系统示意图；

图4为本发明中事件发送管理器发送事件流程图；

图5为本发明中事件发送管理器动态调整事件处理缓存权重现流程图.

具体实施方式

以下结合附图和实施例对本发明的技术方案作进一步的解释，但是以下的内容不用于限定本发明的保护范围。

本发明提供的系统和方法在eSOC系统中被实现为Java应用程序，但是可替代的利用任何适当的编程语言和方法来实现。

参见图3，示出一种动态权重事件处理系统的结构框图，包括：

事件收集器：是从事件源获取待处理事件的收集器，并交给对应的事件分析器进行处理，所述事件具有被报告事件的文本表示。在eSOC系统中，事件收集器可以从文件读取日志内容，也可以周期性访问数据库中的记录，或是通过网络服务（例如syslog服务）获取其它设备产生的事件信息；

事件分析器：是根据预先设定的配置，对事件收集器中收集到的事件进行格式化、范式化、过滤和归并等操作的处理器；事件的文本表示经过处理器后，转变为事件对象，所述事件对象包含事件的文本表示及事件分析器的输出结果信息；事件对象被放置到事件处理缓存器中，如果事件处理缓存器已满，事件分析器将暂停处理事件；

事件处理缓存器：缓存对应事件分析器中处理后待发送的事件，接受事件分析器给予的事件，并在事件发送管理器请求时，给予要求的待发送事件。每个事件分析器的处理结果是存在先后关系的，因此事件处理缓存器遵循先进先出的策略。在eSOC系统中，事件处理缓存器由一个先进先出的队列实现。另外，当事件处理缓存器中的事件数量达到上限时，事件处理缓存器无法添加新的事件，也会阻止相应的事件分析器继续分析原始事件信息，以达到降低系统开销的目的；

事件发送管理器：从所述的各个事件处理缓存器中，按照设定的事件获取方法来准备发送的事件，并动态调整各个事件处理缓存器的权重，以保证各个事件处理缓存器中事件的延迟是接近的，同时，事件发送管理器负责执行事件发送时所必须的其它操作，如记录系统状态等；

事件发送缓存器：所述的事件发送管理器从各个事件处理缓存器中获取到事件后，暂存在事件发送缓存器中，以便在事件发送信道中一起发送；事件发送缓存器的空间与发送信道一次发送的事件数量一致；

事件发送信道：所述的事件发送信道用于将处理后的事件发送至其它服务器。

参见图4，示出了事件发送管理器发送一轮事件的逻辑处理。发送一轮事件的过程可以分为两个阶段。第一个阶段中，事件发送管理器按照权重依次从各个事件处理缓存器中获取事件。事件发送管理器按照权重从高到低，访问每个事件处理缓存器并请求需发送的事件。此时，根据权重的不同，可以发送的事件数量也不相同。例如，权重为1的设备在一次发送中被允许发送10个事件，而权重为10的设备则可以发送100个事件。当遍历所有事件处理缓存后，获取的事件总数最多可以填满本次发送事件上限。

第一阶段结束后，如果待发送事件数量没有达到本次发送事件上限，则进入第二阶段。事件发送管理器从当前事件处理缓存中获取待发送事件，并检查是否达到本次发送事件上限，即判断获取到的事件是否填满了事件发送缓存器。如果达到本次发送事件上限，事件发送管理器将事件提交到事件发送信道，并清空事件发送缓存器。如果未达到本次发送事件上限，事件发送管理器将判断本次发送中是否存在下一个事件处理缓存器。如果本次发送不存在下一个事件处理缓存器，说明所有的事件处理缓存器中的待发送事件都已发送，事件发送管理器将事件提交到事件发送信道，本次事件发送结束。如果本次发送存在下一个事件处理缓存，事件发送管理器将下一个事件处理缓存设为当前事件处理缓存器，并继续事件发送过程。

参见图5，示出了事件发送管理器中动态调整事件处理缓存权重的方法。为了使每台设备上报事件的延迟都尽量接近，事件发送管理器根据上次发送时各个事件处理缓存器的事件余量来调整各个事件处理缓存器的权重。

如果事件处理缓存被请求事件时，返回事件数量少于请求的数量，则说明该事件处理缓存被赋予了过高的权重，其权重会被减1。但是，权重的最小值为1，以保证在低优先级时，也有权利发送事件。

如果事件处理缓存被请求事件时，返回事件数量等于请求的数量，则说明该事件处理缓存可能还有待发送的事件，即被赋予了过低的权重，其权重会被加1。但是，权重的最大值为10，以避免权重过大导致其它事件处理缓存器被阻塞的情况出现。

本发明并发处理多个事件源的事件信息时，使各个事件源的事件处理延迟尽量接近。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (7)

1.一种动态权重事件处理系统，其特征在于包括：

事件收集器：是从事件源获取待处理事件的收集器，并交给对应的事件分析器进行处理，所述事件具有被报告事件的文本表示；

事件分析器：是根据预先设定的配置，对事件收集器中收集到的事件进行处理操作的处理器；事件的文本表示经过处理器后，转变为事件对象，事件对象被放置到事件处理缓存器中，如果事件处理缓存器已满，事件分析器将暂停处理事件；

事件处理缓存器：缓存对应事件分析器中处理后待发送的事件，接受事件分析器给予的事件，并在事件发送管理器请求时，给予要求的待发送事件；

事件发送管理器：从所述各个事件处理缓存器中，根据权重获取发送事件来准备发送的事件，并动态调整各个事件处理缓存器的权重，以保证各个事件处理缓存器中事件的延迟是接近的；

事件发送缓存器：所述的事件发送管理器从各个事件处理缓存器中获取到事件后，暂存在事件发送缓存器中，以便在事件发送信道中一起发送；

事件发送信道：用于将处理后的事件发送至其它服务器。

2.根据权利要求1所述的动态权重事件处理系统，其特征在于：所述事件对象包含事件的文本表示及事件分析器的输出结果信息。

3.根据权利要求1所述的动态权重事件处理系统，其特征在于：所述事件分析器对事件收集器中收集到的事件进行格式化、范式化、过滤和归并操作。

4.根据权利要求1所述的动态权重事件处理系统，其特征在于：所述事件发送缓存器的空间与所述发送信道一次发送的事件数量一致。

5.根据权利要求1-4任一项所述的动态权重事件处理系统，其特征在于：每个事件分析器的处理结果是存在先后关系的，因此事件处理缓存器遵循先进先出的策略，当事件处理缓存器中的事件数量达到上限时，事件处理缓存器无法添加新的事件，会阻止相应的事件分析器继续分析原始事件信息。

6.一种用于权利要求1所述的事件发送管理器中根据权重获取发送事件的方法，其特征在于：包括步骤：

事件发送管理器以最高权重事件处理缓存为当前事件处理缓存；

事件发送管理器按照权重从当前事件处理缓存获取事件；

确定是否存在下一个事件处理缓存；

响应于存在下一个事件处理缓存，事件发送管理器以最高权重事件处理缓存为当前事件处理缓存；

响应于不存在下一个事件处理缓存，事件发送管理器以最高权重事件处理缓存为当前事件处理缓存；

确定是否达到本次发送事件上限；

响应于达到本次发送事件上限，事件发送管理器将事件提交到事件发送信道；

响应于未达到本次发送事件上限，事件发送管理器从当前事件处理缓存中获取待发送事件；

确定是否存在下一个事件处理缓存；

响应于存在下一个事件处理缓存，事件发送管理器将优先级列表中的下一个事件处理缓存设为当前事件处理缓存；

响应于不存在下一个事件处理缓存，事件发送管理器将事件提交到事件发送信道。

7.一种用于权利要求1所述的事件发送管理器中动态调整事件处理缓存权重的方法，其特征在于：包括步骤：

事件发生管理器根据权重发送事件；

获取事件时返回事件数量少于请求数量的事件处理缓存权重减1，权重最小为1；

获取事件时返回事件数量等于请求数量的事件处理缓存权重加1，权重最大为10。

Images