CN108737522A - 一种消息的处理方法、装置和系统 - Google Patents

Abstract

一种消息的处理方法、装置和系统，预处理节点接收到数据源发送的第一事件的首消息后，在系统已创建的规则实例中查找处理对象包括所述首消息的规则实例；所述预处理节点根据查找到的规则实例建立处理路径，所述处理路径包括所述查找到的规则实例所在处理节点的寻址信息；所述预处理节点根据所述处理路径，至少将所述首消息发送给所述处理节点，以由所述查找到的规则实例进行处理。本申请还提供了相应的装置和系统。本申请通过建立消息的处理路径并按处理路径分发，可以在流式处理中，根据创建的规则实例实现对消息的处理。

Description

一种消息的处理方法、装置和系统

技术领域

本发明涉及数据处理，更具体地，涉及一种消息的处理方法、装置和系统。

背景技术

目前流式处理已经被大量用于电子商务、新闻聚合、社交网站、数据挖掘和机器学习等领域，流式处理具有低延迟、高性能、分布式、可扩展和容错的特点，可以方便的做到线程、进程、服务器级的扩展。目前已经有了很多成熟的流式处理框架，例如：storm、spark等。

图1所示是流式处理的系统框架，在流式处理中，消息从一个或多个数据源出发，经过多个节点处理，图中的S1和S2为数据源，B1～B5为对消息进行处理的节点。流式处理的优势就在于消息处理的扩展能力，消息处理中的每个阶段都可以得到扩展，包括进程内的扩展和进程间的扩展。这样在硬件充足的境况下，可以达到消息处理能力的无限扩展。

在电信领域，随着5G网络时代的来临，移动网络设备接入数量将得到极大提高，预计到了2020年，将有500亿移动设备接入网络。这样，随之而来的是网络管理设备数量的极大提升，网络管理软件需要处理大量的消息。引入流式处理可以极大的提升传统网管的消息处理能力，但传统网管有一些自己的业务要求，根据关联分析规则对消息的关联分析就是其中之一。以告警消息为例，网管系统中告警消息的关联分析用于找出不同事件产生的告警消息之间的关联关系，以确定告警产生的主要原因，使用户能够快速定位并解决问题。又如，网管系统中还存在根据归并规则对告警消息进行归并处理的需求，等等。在大数据分析领域，同样也有根据各种规则对消息进行处理的需求，例如对不同新闻事件的消息进行关联分析，对不同购买事件的消息进行归并处理等等。

在流式处理中如何根据相应规则实现对消息的这些处理，是有待解决的问题。此外，某些特定消息需要按序处理，在流式处理时如何实现，也是有待解决的问题。

发明内容

本发明实施例提供了一种消息的处理方法，包括：

预处理节点接收到数据源发送的第一事件的首消息后，在系统已创建的规则实例中查找处理对象包括所述首消息的规则实例；

所述预处理节点根据查找到的规则实例建立处理路径，所述处理路径包括所述查找到的规则实例所在处理节点的寻址信息；

所述预处理节点根据所述处理路径，至少将所述首消息发送给所述处理节点，以在所述处理节点对所述首消息进行处理。

本发明实施例还提供了一种消息的处理方法，包括：

处理节点接收到预处理节点或上一处理节点发送的第一事件的消息；

所述处理节点确定所述消息为所述第一事件的首消息时，利用所述处理节点上的相应规则实例对所述首消息进行处理。

本发明实施例还提供了一种消息的预处理节点，包括：

消息接收模块，用于接收数据源发送的消息；

实例查找模块，用于在所述消息接收模块接收到第一事件的首消息后，在系统已创建的规则实例中查找处理对象包括所述首消息的规则实例；

路径建立模块，用于根据查找到的规则实例建立处理路径，所述处理路径包括所述查找到的规则实例所在处理节点的寻址信息；

消息发送模块，用于根据所述处理路径，至少将所述首消息发送给所述处理节点。

本发明实施例还提供了一种消息的处理系统，包括数据源、预处理节点和处理节点，其中：

所述数据源，用于将第一事件的所有消息发送给同一预处理节点；

所述预处理节点采用如权利要求12-15任一所述的预处理节点；

所述处理节点，用于接收所述预处理节点发送的所述第一事件的消息，如确定所述消息为所述第一事件的首消息，利用所述处理节点上的所述查找到的规则实例对所述首消息进行处理。

本发明实施例还提供了一种消息的处理装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例方法的处理。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明实施例方法的处理。

上述实施例方案通过建立消息的处理路径并按处理路径分发，可以在流式处理中，根据创建的规则实例实现对消息的处理。

附图说明

图1是流式处理的示意图

图2是本发明实施例一消息处理方法的流程图；

图3是本发明实施例一预处理节点的模块图；

图4是本发明实施例一处理节点执行的消息处理方法的流程图；

图5是本发明实施例二对消息进行分阶段处理的示意图；

图6是本发明实施例二对消息进行关联分析的流程图；

图7是本发明实施例三对告警消息进行关联分析的示意图；

图8是本发明实施例四对告警消息进行关联分析的示意图；

图9是本发明实施例五对告警消息进行关联分析的示意图；

图10是本发明实施例六对告警消息进行关联分析的示意图；

图11是本发明实施例七对新闻数据进行关联分析的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

实施例一

本实施例提供了一种消息的处理方法，可以在流式处理方式下，动态计算消息的处理路径，根据处理路径实现对消息的分发和处理。

本实施例消息的处理系统可参见图1，采用流式处理框架如jstorm流处理框架，包括数据源和对消息进行处理的节点，这些节点分为两类，一类称为预处理节点，一类称为处理节点。其中，预处理节点用于从数据源接收事件的消息，建立消息的处理路径及将消息分发给处理节点，而处理节点在接收到消息后，利用根据处理规则建立的规则实例对消息进行处理。

本实施例消息的处理方法如图2所示，包括：

步骤110，预处理节点接收到数据源发送的第一事件的首消息后，在系统已创建的规则实例中查找处理对象包括所述首消息的规则实例；

这里的“第一事件”中的“第一”，只是用于指代某一事件，并非指代特殊的事件。事件的首消息是数据源按时间顺序采集到的该事件的第一个消息。在一个示例中，所述规则实例包括根据关联分析规则创建的规则实例，所述第一事件为告警事件，第一事件的首消息是告警事件的产生消息，而对消息的处理是对消息进行关联分析。但本申请的事件不局限于此，如可以是设备执行的一个动作，也可以是发生的一件事情，等等。事件的消息可以是与事件相关的任何数据，同一事件的消息携带有该事件的键值，如可以是关键字，名称、标识等，通过键值可以识别出同一事件的所有消息。例如网管的告警，关键信息为网元，描述信息为告警产生的时间、描述等；对于新闻事件，可以定义关键信息为新闻产生的时间，描述信息为新闻涉及的人物，描述等。具体的关键信息的定义应该由应用根据实际的应用场景来定义。

本实施例中，预处理节点和处理节点均为逻辑节点，而规则实例根据处理规则创建，可以在处理节点上运行以执行该处理规则的业务处理逻辑。在一个示例中，预处理节点和处理节点可以用进程或线程等具有处理能力的资源单元来实现，而规则实例是在处理节点上运行的程序。

一个规则实例除了需要业务处理逻辑外，还需要定义该规则实例的处理对象，例如，在一个针对告警事件的消息进行关联分析的规则实例，可以通过限定条件定义处理对象，如通过指定网元标识和告警码，将处理对象定义为在指定网元产生的具有指定告警码的告警事件。本实施例在预处理节点中，保存系统已创建的规则实例的处理对象信息如上述限定条件，还可以保存规则实例的标识、参数、类型等其他信息。在另一实施例中，这些信息也可以保存在其他节点，预处理节点在需要使用时再从其他节点读取到这些信息。

本实施例中，所述已创建的规则实例是根据一种或多种处理规则创建的，每一种处理规则对应于一种业务场景，具有不同的业务处理逻辑。根据一种处理规则可以创建一个或多个规则实例，不同的规则实例的处理对象、参数可以不同。本实施例中，一个处理节点上可以运行一个或多个规则实例，有多个规则实例时，处理节点可以根据消息中写入的规则实例的标识来确定运行哪一个规则实例进行处理。本实施例中，根据不同处理规则创建的规则实例所在的处理节点不同。

本实施例中，可以根据处理规则将已创建的规则实例分为一组或多组，根据同一处理规则创建的规则实例分为同一个组。在系统已创建的规则实例中查找处理对象包括所述首消息的规则实例时，采用分组查找的方式，且每一组至多查找到一个处理对象包括所述第一事件的规则实例，也即在该组规则实例中查找到一个规则实例后即可结束对该组规则实例的查找。这样，在根据同一处理规则创建的多个规则实例中，只由一个规则实例对第一事件进行处理，使得一个事件仅一条无分支的关联分析路径，只有一种处理结果。但这并非是必须的。

步骤120，所述预处理节点根据查找到的规则实例建立处理路径，所述处理路径包括所述查找到的规则实例所在处理节点的寻址信息；

本实施例中，查找到的规则实例所在处理节点的寻址信息通过可唯一标识该规则实例的信息来表示。例如，所述查找到的规则实例所在处理节点的寻址信息包括所述查找到的规则实例的标识；或者，所述查找到的规则实例所在处理节点的寻址信息包括所述查找到的规则实例的标识和类型，其中，根据同一处理规则创建的规则实例的类型相同，根据不同处理规则创建的规则实例的类型不同。因为系统中配置有各规则实例所在的处理节点，因而可唯一标识规则实例的信息可作为寻址信息，保证每次寻址的结果相同，具体的寻址方法可以有多种，例如，对规则实例的标识和类型进行哈希运算，根据得到的哈希值查找哈希值与处理节点的对应关系，从而确定规则实例所在的处理节点。这些寻址方法可以利用流式处理框架提供的机制来实现。

步骤130，所述预处理节点根据所述处理路径，至少将所述首消息发送给所述处理节点，以由所述查找到的规则实例进行处理。

在一个示例中，对所述首消息进行处理包括对所述首消息进行关联分析，但本申请不局限于此，还可以是各种其他的处理。

本步骤中，如果规则实例定义有参数，所述预处理节点将所述首消息发送给所述处理节点时，将所述查找到的规则实例的参数和标识写入在所述首消息中发送给所述处理节点，所述查找到的规则实例的参数和标识可以在对所述首消息进行处理时使用。

本步骤中，在处理节点有多个时，预处理节点可以采用广播的方式，将所述首消息分别发送给所述多个处理节点，必要时同时发送规则实例的参数。本实施例中，则采用了串行分发方式，也即预处理节点将首消息发送给处理路径中的第一个处理节点，而处理路径中的每一个处理节点再发送到下一个处理节点。具体地：

所述预处理节点将所述首消息和所述处理路径中第一个处理节点之后的所有处理节点的寻址信息发送给所述第一个处理节点；

接收到所述首消息的每一处理节点利用该处理节点上的所述查找到的规则实例对所述首消息进行处理，在该处理节点不是所述多个处理节点中的最后一个处理节点时，还将所述首消息和所述处理路径中下一个处理节点之后的所有处理节点的寻址信息发送给所述下一个处理节点。

上述预处理节点和处理节点发送的寻址信息是下一处理节点继续发送所需要的，但不应理解为只能发送这些寻址信息，例如，预处理节点也可以将处理路径中的所有处理节点的寻址信息发送给上述第一个处理节点，而上述第一个处理节点从中查找到自己的寻址信息之后，就可以确定后续处理节点的寻址信息而实现消息的继续发送。

本实施例中，所述预处理节点建立所述处理路径之后，所述预处理节点保存所述处理路径，如接收到所述数据源发送的所述第一事件的后续消息，则根据保存的所述处理路径将所述后续消息发送给所述处理节点。具体的发送方式与首消息的发送方式类似，但处理节点在进行关联分析时，可以不对这些后续事件进行处理。当然，如果是其他的业务处理逻辑，也可以对后续事件进行处理。本实施例中，利用流处理框架支持的机制，第一事件的所有消息在同一个数据源采集并分发给相同的预处理节点。

本实施例还提供了一种消息的预处理节点，如图3所示，包括：

消息接收模块10，用于接收数据源发送的消息；

实例查找模块20，用于在所述消息接收模块接收到第一事件的首消息后，在系统已创建的规则实例中查找处理对象包括所述首消息的规则实例；

路径建立模块30，用于根据查找到的规则实例建立处理路径，所述处理路径包括所述查找到的规则实例所在处理节点的寻址信息；

消息发送模块40，用于根据所述处理路径，至少将所述首消息发送给所述处理节点进行处理。

本实施例中，

所述路径建立模块建立所述处理路径之后，还保存所述处理路径；

所述消息发送模块还用于在所述消息接收模块接收到所述数据源发送的所述第一事件的后续消息后，根据保存的所述处理路径将所述后续消息发送给所述处理节点。

本实施例中，

所述已创建的规则实例是根据一种或多种处理规则创建的，根据不同处理规则创建的规则实例所在的处理节点不同，

本实施例中，

所述已创建的规则实例分为一组或多组，根据同一处理规则创建的规则实例分为同一个组；

所述实例查找模块在已创建的规则实例中查找处理对象包括所述首消息的规则实例，包括：所述预处理节点分组查找规则实例，每一组至多查找到一个处理对象包括所述第一事件的规则实例。

本实施例中，

所述路径建立模块建立的所述处理路径中，所述查找到的规则实例所在处理节点的寻址信息包括所述查找到的规则实例的标识，或者包括所述查找到的规则实例的标识和类型，其中，根据同一处理规则创建的规则实例的类型相同，根据不同处理规则创建的规则实例的类型不同。

本实施例中，

所述消息发送模块至少将所述首消息发送给所述处理节点，包括：将所述查找到的规则实例的参数和标识写入在所述首消息中发送给所述处理节点。

本实施例中，

所述路径建立模块建立的所述处理路径包括多个处理节点的寻址信息；

所述消息发送模块至少将所述首消息发送给所述处理节点，包括：将所述首消息和所述处理路径中第一个处理节点之后的所有处理节点的寻址信息发送给所述第一个处理节点。

本实施例中，

所述规则实例包括根据关联分析规则创建的规则实例。

本实施例还提供了处理节点执行的消息处理方法，如图4所示，包括：

步骤210，处理节点接收到预处理节点或上一处理节点发送的第一事件的消息；

步骤220，所述处理节点确定所述消息为所述第一事件的首消息时，利用所述处理节点上的相应规则实例对所述首消息进行处理。

本步骤中所述处理节点上的“相应规则实例”即上文中预处理节点查找到的规则实例，也即处理对象包括第一事件的规则实例。本实施例中，第一事件为告警事件，规则实例只需要对第一事件的首消息做关联分析，对第一事件的其他消息只做分发。但本申请不局限于此。

本实施例中，采用串行分发方式发送消息，所述处理节点接收到所述第一事件的消息时，还接收到所述第一事件的处理路径中后续处理节点(指在所述处理节点之后的处理节点)的寻址信息；所述处理节点接收到所述寻址信息之后进行保存，根据所述寻址信息将所述首消息发送给所述后续处理节点；所述处理节点接收到所述第一事件的后续消息时，根据保存的所述寻址信息，将所述后续消息发送给所述后续处理节点。

本实施例中，所述处理节点利用所述处理节点上的相应规则实例对所述首消息进行处理之后，所述方法还包括：如对所述首消息进行处理时生成了所述第一事件的新消息，则可以根据其业务处理逻辑，将所述新消息发送给负责采集所述第一事件的消息的数据源。这样，第一事件的消息仍然是由原来的数据源、预处理节点和处理路径上的处理节点进行按序处理。

本实施例还提供了一种消息处理系统，包括数据源、预处理节点和处理节点，其中：

所述数据源，用于将第一事件的所有消息发送给同一预处理节点；

所述预处理节点采用如上所述的任一种预处理节点；

所述处理节点，用于接收所述预处理节点发送的所述第一事件的消息，如确定所述消息为所述第一事件的首消息，利用所述处理节点上的所述查找到的规则实例对所述首消息进行处理。

本实施例中，

所述处理节点接收到所述第一事件的消息时，还接收到所述第一事件的处理路径中后续处理节点的寻址信息；所述处理节点确定所述消息是所述第一事件的首消息之后，还用于保存所述后续处理节点的寻址信息，根据所述寻址信息将所述首消息发送给后续处理节点；及，接收到所述第一事件的后续消息时，根据保存的所述寻址信息，将所述后续消息发送给所述后续处理节点。

本实施例中，

所述处理节点利用所述处理节点上的相应规则实例对所述首消息进行处理之后，所述方法还包括：如对所述首消息进行处理时生成了所述第一事件的新消息，则将所述新消息发送给负责采集所述第一事件的消息的数据源。

本实施例中，

所述规则实例包括根据关联分析规则创建的规则实例。

本实施例还提供了一种消息处理装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时可以实现如本实施例方法的任何处理。

本实施例的消息处理采用了流式处理，动态生成消息的处理路径用于消息的分发。且同一事件的消息根据相同的处理路径分发，可以保障同一事件的所有消息的按序处理。

实施例二

本实施例涉及一种消息的关联分析方法。在流式处理方式下，动态计算消息的关联分析路径，根据关联分析路径对消息分发做关联分析，并提供了一种保障同一事件的其所有消息按序处理的方法。

本实施例以网管为应用场景，该场景涉及大量的告警事件，每个告警事件会产生多个消息，这些消息可以分为：

产生消息，事件产生时生成的消息；

后续消息，事件产生后生成的消息，如事件的改变消息、清除消息等。

同一事件的不同消息具有相同的键值(key)，需要被按序处理。

本实施例中，对事件的首消息进行关联分析，也即分析多个事件之间的关系，以便用户快速得到有用的信息。在实际应用中，存在多种应用场景，每种场景下都可以有自己的关联分析方法，这些关联分析方法被定义为关联规则，因而不同的场景可以对应不同的关联规则。

本实施例中，一个规则实例定义了以下内容：

限定条件：用于定义规则的处理对象，也可以说是定义规则的生效范围，限定条件定义了规则对哪些事件生效，可以由用户指定，例如，用户可以指定一个或多个网元，一个或多个告警码，一种或多种告警级别等作为规则实例的限定条件；

业务处理逻辑：指对符合限定条件的消息进行关联分析时的处理逻辑；

参数：即规则实例执行关联分析的输入参数，可以由用户指定，例如可以是告警延迟的时间。

用户可以根据一种关联规则创建一个或多个规则实例，每一规则实例的限定条件和参数由用户指定。通过本实施例方法，符合某一规则实例的限定条件的消息(即该消息是该规则实例的处理对象)会被分发到该规则实例所在的关联分析节点一起分析，从而获得事件之间的关系，最终展示给用户。

参见图5，本实施例消息的关联分析方法分为两个阶段：

预处理阶段，判断事件的首消息是否符合系统中已创建的至少一个规则实例的限定条件，如果符合，创建关联分析路径，根据关联分析路径将事件的首消息和规则实例的参数分发到相应的关联分析节点进行第二阶段的处理，否则，事件将不被规则实例处理；

关联分析处理，关联分析节点上的规则实例根据业务处理逻辑和参数对接收到的事件的首消息进行关联分析。

本实施例消息的关联分析方法如图6所示，假定用户已经在系统中创建了多个用于进行关联分析的规则实例，所述方法包括：

步骤310，数据源采集事件的消息并发送给预处理节点；

本实施例以流式处理框架为基础，事件在多个数据源采集，同一个事件的所有消息在同一个数据源采集和分发，

步骤320，预处理节点判断消息的类型，如果为事件的产生消息，则进入步骤340，否则进入步骤330；

步骤330，根据消息的键值从缓存获取事件的关联分析路径，进入步骤370；

步骤340，获取已创建的规则实例，这些规则实例按对应的关联规则划分为多组，其中根据同一关联规则创建的规则实例划分为一组；将消息依次与每组规则实例的限定条件进行比较，在每一组规则实例中查找到至多一个处理对象包括所述消息的规则实例，将所有查找到的规则实例的标识和类型顺序排列，建立关联分析路径，并将规则实例的参数、规则实例的标识等基本信息写入消息中；

本步骤中，处理对象包括所述消息的规则实例，意味着所述消息符合该规则实例的限定条件。本步骤如果一共查找到多个规则实例，该多个规则实例的标识和类型可以按照预先设定的排序方式排列，例如，规则实例A的标识和类型、规则实例B的标识和类型、规则实例C的标识和类型。一个规则实例的标识和类型是作为该规则实例所在关联分析节点的寻址信息，具体的寻址过程可以由流式处理框架提供的机制来实现。

本步骤中，规则实例的参数也可以作为单独的信息发送，这取决于所发送信息的格式。

步骤350，预处理节点将关联分析路径与消息的键值关联，存入缓存，供后续消息使用；

步骤360，将消息发送到关联分析路径中的下一个关联分析节点，同时将关联分析路径中下一个关联分析节点之后的所有关联分析节点的寻址信息与消息一起发送；

本步骤由预处理节点执行时，所述下一个关联分析节点即关联分析路径中的第一个关联分析节点。本步骤由关联发析路径上的一个关联分析节点执行时，所述下一个关联分析节点即关联分析路径中该关联分析节点之后的第一个关联分析节点。

步骤370，接收到消息的关联分析节点判断消息的类型，如果为事件的产生消息，则进入步骤390，否则进入步骤400；

步骤380，接收到消息的关联分析节点获取消息中携带的规则实例的参数，利用其上运行的规则实例对消息进行关联分析；

步骤390，接收到消息的关联发析节点判断关联分析路径中是否还有下一个分析节点的寻址信息，如果没有，处理结束，如果有，返回步骤370。

实施例三

当多条告警消息上报时，如果都符合同一条关联规则的限定条件，则会被分发到同一个关联分析节点处理，下面以多条告警消息符合同一个关联规则的限定为例，说明该情况下的关联分析处理。

请参见图7，系统中已根据同一关联规则创建了多个规则实例，类型的关联规则，上报的告警消息都将符合其中一条规则实例，则处理流程包括：

步骤一、数据源S1接收到告警消息A1；

数据源可以是网元上的告警采集模块。

步骤二、数据源S1根据告警消息A1的网元信息将告警消息A1分发到预处理节点P2处理；

步骤三、预处理节点P2收到告警消息A1后，通过关联分析的预处理，发现告警消息A1符合规则实例M1的限定条件，生成关联分析路径[M1]；

关联分析路径[M1]表示关联分析节点M1的寻址信息，具体可以用规则实例的标识和类型来表示，M表示类型，1表示ID，后续的其他实施例同此。

步骤四、预处理节点P2根据关联分析路径将告警消息A1发送给关联分析节点M1处理，然后继续后续的处理流程；

上述关联分析节点和其上的规则实例采用相同的标记，如规则实例M1所在的关联分析节点表示为关联分析节点M1。分发到关联分析节点M1处理，即由关联分析节点M1上的规则实例M1对告警消息A1进行关联分析。其他实施例同此。

步骤五、数据源S2接收到告警消息A2；

步骤六、数据源S2根据告警消息A2的网元信息将告警消息A2分发到预处理节点P3上处理；

步骤七、预处理节点P3收到告警消息A2后，通过关联分析的预处理，发现告警消息A2符合规则实例M1的限定条件，从而生成告警消息A2的关联分析路径[M1]；

步骤八、预处理节点P3根据关联分析路径将告警消息A2发送给关联分析节点M1处理，然后继续后续的处理流程；

步骤九、数据源S1接收到告警消息A3；

步骤十、数据源S1根据告警消息A3的网元信息将告警消息A3分发到预处理节点P1上处理；

步骤十一、预处理节点P1收到告警消息A3后，通过关联分析的预处理，发现告警消息A3符合规则实例M1的限定条件，从而生成告警消息A3的关联分析路径[M1]；

步骤十二、预处理节点P1根据关联分析路径将告警消息A3发送给关联分析节点M1处理，然后继续后续的处理流程。

实施例四

多条告警符合多个关联规则时，告警的消息根据自己的关联分析路径分别处理，本实施例将对该场景下消息的关联分析方法进行说明。

请参见图8，系统中根据多种关联规则创建了多组规则实例，图中的M1～M3为一组，R1～R3为一组，C1～C3为一组，上报的告警消息都符合其中至少一个规则实例的限定条件，处理流程包括：

步骤一、数据源S1接收到告警消息A1；

步骤二、数据源S1根据告警消息A1的网元信息将告警消息A1分发到预处理节点P2上处理；

步骤三、预处理节点P2收到告警消息A1后，通过关联分析的预处理，发现告警消息A1符合规则实例M1、R2、C2的限定条件，从而生成告警消息A1的关联分析路径[M1，R2，C2]；

步骤四、预处理节点P2根据关联分析路径将告警消息A1发送给关联分析节点M1处理，M1再将消息发送给关联分析节点R2处理，R2再发送给关联分析节点C2处理，然后继续后续的处理流程；

步骤五、数据源S2接收到告警消息A2；

步骤六、数据源S2根据告警消息A2的网元信息将告警消息A2分发到预处理节点P3上处理；

步骤七、预处理节点P3收到告警消息A2后，通过关联分析的预处理，发现告警消息A2符合规则实例M2、R2、C1的限定条件，从而生成告警消息A2的关联分析路径[M2，R2，C1]；

步骤八、预处理节点P3根据关联分析路径将告警消息A2发送给关联分析节点M2处理，M2再将消息发送给关联分析节点R2处理，R2再将消息发送给关联分析节点C1处理，然后继续后续的处理流程；

步骤九、数据源S1接收到告警消息A3；

步骤十、数据源S1根据告警消息A3的网元信息将告警消息A3分发到预处理节点P1上处理；

步骤十一、预处理节点P1收到告警消息A3后，通过关联分析的预处理，发现告警消息A3符合规则实例M1、C2的限定条件，从而生成告警消息A3的关联分析路径[M1，C2]；

步骤十二、预处理节点P1根据关联分析路径将告警消息A3发送给关联分析节点M1处理，M1再将消息发送给关联分析节点C2处理，然后继续后续的处理流程。

实施例五

一条告警的上报消息生成关联分析路径后，该告警后续的所有消息都将根据该关联分析路径处理，本示例以同一条告警的不同消息为例对消息的关联分析进行说明。

请参见图9，系统已创建多个规则实例，上报的告警符合其中的一个规则实例，处理流程包括：

步骤一、数据源S1接收到告警消息A1；

步骤二、数据源S1将根据产生告警消息A1的网元信息将告警消息A1发送给预处理节点P2处理；

步骤三，预处理节点P2通过关联分析的预处理，发现告警消息A1符合规则实例M1的限定条件，生成告警消息A1的关联分析路径[M1]：

步骤四、预处理节点P2根据关联分析路径将告警消息A1发送给关联分析节点M1处理，然后继续后续的处理流程；

步骤五、数据源S1接收到告警消息A1所属告警的改变消息C1；

步骤六、数据源S1根据C1产生的网元信息将C1发送给预处理节点P2处理；

步骤七，预处理节点P2通过查询，得到告警消息A1的关联分析路径[M1]：

步骤八、预处理节点P2根据关联分析路径将C1发送给关联处理节点M1处理，然后继续后续的处理流程；

步骤九、数据源S1接收到告警消息A1所属告警的清除消息D1；

步骤十、数据源S1根据D1产生的网元信息将D1发送给预处理节点P2处理；

步骤十一，预处理节点P2通过查询，得到告警消息A1的关联分析路径[M1]：

步骤十二、预处理节点P2根据关联分析路径将D1发送给关联分析节点M1处理，然后继续后续的处理流程。

实施例六

对告警消息进行关联分析的处理过程中可能会产生新消息，本示例针对这种情况说明相关的处理过程。

参见图10。假定系统中存已创建多个用于关联分析的规则实例，而上报的告警符合其中一个规则实例，相关处理流程包括：

步骤一、数据源S1接收到告警消息A1；

步骤二、数据源S1将根据产生告警消息A1的网元信息将告警消息A1发送给预处理节点P2处理；

步骤三，预处理节点P2通过关联分析的预处理，发现告警消息A1符合规则实例M1的限定条件，生成告警消息A1的关联分析路径[M1]：

步骤四、预处理节点P2根据关联分析路径将告警消息A1发送给关联分析节点M1处理，告警消息A1经过关联分析节点M1的处理后，产生一个新的告警消息A1所属告警的改变消息C1；

步骤五、关联分析节点M1将改变消息C1发送给数据源S1处理；

步骤六、数据源S1将改变消息C1按产生告警消息A1的网元信息分发，将改变消息C1发送给预处理节点P2处理；

步骤七，预处理节点P2查找到告警消息A1的关联分析路径[M1]；

步骤八、预处理节点P2根据查找到的关联分析路径将改变消息C1发送给关联分析节点M1处理，然后继续后续的处理流程。

在流式处理框架中，每个关联分析节点都可以通过消息中间件将消息发送到数据。

实施例七

本实施例的消息为新闻数据，本实施例涉及新闻数据的关联分析。

请参见图11，本示例中，系统中的多个数据源均可获取新闻数据，每个新闻数据属于不同的事件，用不同的键值标识，处理流程如下：

步骤一、数据源S1获取新闻数据N1；

步骤二、数据源S1根据新闻数据N1的键值，将新闻数据N1分发到预处理节点P2处理；

步骤三，预处理节点P2通过关联分析的预处理，发现新闻数据N1符合规则实例M1、E3的限定条件，生成新闻数据N1的关联分析路径[M1，E3]；

步骤四、预处理节点P2根据关联分析路径将新闻数据N1发送给关联分析节点M1处理，关联分析节点M1再将消息发送给关联分析节点E3处理，然后继续后续的处理流程；

步骤五、数据源S3获取新闻数据N2；

步骤六、数据源S3根据新闻数据N2的键值分发到预处理节点P1处理；

步骤七，预处理节点P1通过关联分析的预处理，发现新闻数据N2符合规则实例M2、E3的限定条件，生成新闻数据N1的关联分析路径[M2，E3]；

步骤八、预处理节点P1根据关联分析路径，将新闻数据N2发送给关联分析节点M2处理，关联分析节点M2再将新闻数据N2发送给关联分析节点E3处理，然后继续后续的处理流程；

步骤九、数据源S2获取新闻数据N3；

步骤十、数据源S2根据新闻数据N3的键值将新闻数据N3分发到预处理节点P1处理；

步骤十一，预处理节点P1通过关联分析的预处理，发现新闻数据N3符合规则实例M1、E1的限定条件，生成新闻数据N3的关联分析路径[M1，E1]；

步骤十二、预处理节点P1根据关联分析路径将新闻数据N3发送给关联分析节点M1处理，关联分析节点M1再将新闻数据N3发送给关联分析节点E1处理，然后继续后续的处理流程。

同一事件的新闻数据也可能存在后续的追加报道，相当于改变消息，此时可以按照上述实施例的相同方式进行处理。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (19)

1.一种消息的处理方法，包括：

预处理节点接收到数据源发送的第一事件的首消息后，在系统已创建的规则实例中查找处理对象包括所述首消息的规则实例；

所述预处理节点根据查找到的规则实例建立处理路径，所述处理路径包括所述查找到的规则实例所在处理节点的寻址信息；

所述预处理节点根据所述处理路径，至少将所述首消息发送给所述处理节点，以由所述查找到的规则实例进行处理。

2.如权利要求1所述的处理方法，其特征在于：

所述预处理节点建立所述处理路径之后，所述方法还包括：所述预处理节点保存所述处理路径，如接收到所述数据源发送的所述第一事件的后续消息，根据保存的所述处理路径将所述后续消息发送给所述处理节点。

3.如权利要求1所述的处理方法，其特征在于：

所述已创建的规则实例是根据一种或多种处理规则创建的，根据不同处理规则创建的规则实例所在的处理节点不同。

4.如权利要求3所述的处理方法，其特征在于：

所述已创建的规则实例分为一组或多组，根据同一处理规则创建的规则实例分为同一个组；

所述预处理节点在已创建的规则实例中查找处理对象包括所述首消息的规则实例，包括：所述预处理节点分组查找规则实例，每一组至多查找到一个处理对象包括所述第一事件的规则实例。

5.如权利要求3所述的处理方法，其特征在于：

所述查找到的规则实例所在处理节点的寻址信息包括所述查找到的规则实例的标识；或者

所述查找到的规则实例所在处理节点的寻址信息包括所述查找到的规则实例的标识和类型，其中，根据同一处理规则创建的规则实例的类型相同，根据不同处理规则创建的规则实例的类型不同。

6.如权利要求1所述的处理方法，其特征在于：

所述预处理节点至少将所述首消息发送给所述处理节点，包括：所述预处理节点将所述查找到的规则实例的参数和标识写入在所述首消息中发送给所述处理节点。

7.如权利要求1-6中任一所述的处理方法，其特征在于：

所述处理路径包括多个处理节点的寻址信息，所述预处理节点至少将所述首消息发送给所述处理节点，以由所述查找到的规则实例进行处理，包括：

所述预处理节点将所述首消息和所述处理路径中第一个处理节点之后的所有处理节点的寻址信息发送给所述第一个处理节点；

接收到所述首消息的每一处理节点利用该处理节点上的所述查找到的规则实例对所述首消息进行处理，在该处理节点不是所述多个处理节点中的最后一个处理节点时，还将所述首消息和所述处理路径中下一个处理节点之后的所有处理节点的寻址信息发送给所述下一个处理节点。

8.如权利要求1-6中任一所述的处理方法，其特征在于：

所述规则实例包括根据关联分析规则创建的规则实例。

9.一种消息的处理方法，包括：

处理节点接收到预处理节点或上一处理节点发送的第一事件的消息；

所述处理节点确定所述消息为所述第一事件的首消息时，利用所述处理节点上的相应规则实例对所述首消息进行处理。

10.如权利要求9所述的处理方法，其特征在于：

所述处理节点接收到所述第一事件的消息时，还接收到所述第一事件的处理路径中后续处理节点的寻址信息；

所述处理节点接收到所述寻址信息之后，所述方法还包括：所述处理节点保存所述寻址信息，根据所述寻址信息将所述首消息发送给所述后续处理节点；及，所述处理节点接收到所述第一事件的后续消息时，根据保存的所述寻址信息，将所述后续消息发送给所述后续处理节点。

11.如权利要求9所述的处理方法，其特征在于：

所述处理节点利用所述处理节点上的相应规则实例对所述首消息进行处理之后，所述方法还包括：

如对所述首消息进行处理时生成了所述第一事件的新消息，则将所述新消息发送给负责采集所述第一事件的消息的数据源。

12.一种消息的预处理节点，其特征在于，包括：

消息接收模块，用于接收数据源发送的消息；

实例查找模块，用于在所述消息接收模块接收到第一事件的首消息后，在系统已创建的规则实例中查找处理对象包括所述首消息的规则实例；

路径建立模块，用于根据查找到的规则实例建立处理路径，所述处理路径包括所述查找到的规则实例所在处理节点的寻址信息；

消息发送模块，用于根据所述处理路径，至少将所述首消息发送给所述处理节点进行处理。

13.如权利要求12所述的预处理节点，其特征在于：

所述路径建立模块建立所述处理路径之后，还保存所述处理路径；

所述消息发送模块还用于在所述消息接收模块接收到所述数据源发送的所述第一事件的后续消息后，根据保存的所述处理路径将所述后续消息发送给所述处理节点。

14.如权利要求12所述的预处理节点，其特征在于：

所述路径建立模块建立的所述处理路径中，所述查找到的规则实例所在处理节点的寻址信息包括所述查找到的规则实例的标识，或者包括所述查找到的规则实例的标识和类型，其中，根据同一处理规则创建的规则实例的类型相同，根据不同处理规则创建的规则实例的类型不同。

15.如权利要求12所述的预处理节点，其特征在于：

所述路径建立模块建立的所述处理路径包括多个处理节点的寻址信息；

所述消息发送模块至少将所述首消息发送给所述处理节点，包括：将所述首消息和所述处理路径中第一个处理节点之后的所有处理节点的寻址信息发送给所述第一个处理节点，所述首消息携带所述查找到的规则实例的参数和标识。

16.一种消息处理系统，其特征在于，包括数据源、预处理节点和处理节点，其中：

所述数据源，用于将第一事件的所有消息发送给同一预处理节点；

所述预处理节点采用如权利要求12-15任一所述的预处理节点；

所述处理节点，用于接收所述预处理节点发送的所述第一事件的消息，如确定所述消息为所述第一事件的首消息，利用所述处理节点上的所述查找到的规则实例对所述首消息进行处理。

17.如权利要求16所述的处理系统，其特征在于：

所述处理节点接收到所述第一事件的消息时，还接收到所述第一事件的处理路径中后续处理节点的寻址信息；

所述处理节点确定所述消息是所述第一事件的首消息之后，还用于保存所述后续处理节点的寻址信息，根据所述寻址信息将所述首消息发送给后续处理节点；及，接收到所述第一事件的后续消息时，根据保存的所述寻址信息，将所述后续消息发送给所述后续处理节点。

18.如权利要求16或17所述的处理系统，其特征在于：

所述规则实例包括根据关联分析规则创建的规则实例。

19.一种消息处理装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-11所述的方法的处理。