CN101668031A - 一种消息处理方法及系统 - Google Patents

Abstract

本发明公开了一种消息处理方法及系统，以解决现有的消息处理系统中消息订阅端由单节点实现所存在的问题。所述方法包括：发布端将消息发布到消息中间件；消息中间件根据所述消息的类型，查找对应该消息类型的订阅端分组标识；如果查找到，则消息中间件根据查找到的订阅端分组标识，将所述消息发送到相应订阅端分组中的一个节点上。本发明能够避免现有技术存在的两个问题：第一，如果消息订阅端的一个或几个节点出现故障，则可以由该组中的其他节点继续接收消息进行处理，因此避免了处理被中断的问题；第二，如果消息流量非常大，则可以由一组中的多个节点来处理，或者通过增加订阅端节点的方式来均衡处理压力。

Description

一种消息处理方法及系统

技术领域

本发明涉及网络技术领域，特别是涉及一种消息处理方法及系统。

背景技术

在实际应用中，存在这样一种业务系统：

系统包括消息发布端、消息订阅端和消息中间件，消息发布端和消息订阅端之间通过消息中间件传送消息数据。其中，所述消息发布端可以发布各种主题或各种类型的消息数据，所述消息订阅端可以订阅自己感兴趣的消息，所述消息中间件要将消息发布端发布的消息异步地传送给该消息主题的订阅端。所以，针对同一主题下的消息，可以有多个订阅端同时订阅。而订阅端不同，每个订阅端收到自己订阅的消息后也会进行不同的处理。假设有两个订阅端分别(SubscriberA和SubscriberB)订阅了TopicA这个主题，两个订阅端收到消息后分别进行各自的处理。

举例说明，在电子交易过程中，当创建交易成功后，交易处理系统(即消息发布端)会发出交易创建成功的通知消息。交易日志服务器(即消息订阅端)会订阅该消息，用于记录交易日志；而卖家通知服务器(即另一消息订阅端)也会订阅该消息，用于通知卖家有商品被购买。因此，这两种服务器对同一个消息有不同的处理。

类似的应用还有很多，这些业务系统中都存在多个订阅端订阅同一消息主题的情况，此时就需要消息中间件将同一主题的消息传送给不同的订阅端。目前，这类系统的实现方式是：每个消息订阅端都由一个节点构成，即只有一台机器提供服务。但随着业务的发展，系统处理的数据量不断增加，这种系统结构已不能满足大数据量的处理，常常存在以下问题：

第一，如果消息订阅端的节点出现故障，就可能无法从消息中间件接收自己订阅的消息；或者接收到消息但无法进行处理，即订阅端的消息处理过程会被中断，从而影响与之关联的其他系统的处理；

第二，如果消息流量非常大，一个节点的处理能力可能达不到处理要求；而当消息量超过一个节点的处理能力后，只能通过升级硬件来解决，并且如果达到硬件的极限，则可能导致整个应用系统结构的修改。

发明内容

本发明所要解决的技术问题是提供一种消息处理方法及系统，以解决现有的消息处理系统中消息订阅端由单节点实现所存在的问题。

为解决上述技术问题，根据本发明提供的具体实施例，本发明公开了以下技术方案：

一种消息处理系统，包括：消息发布端、消息订阅端和消息中间件，其中，

所述消息订阅端包括一个或多个分组，每组具有唯一标识；每组消息订阅端又包括一个或多个节点，每个节点通过本组的唯一标识连接到所述消息中间件；

所述消息发布端用于将消息发布到消息中间件；

所述消息中间件用于根据接收到的消息的类型，查找对应该消息类型的订阅端分组标识；如果查找到，则根据查找到的订阅端分组标识，将所述消息发送到相应订阅端分组中的一个节点上。

优选的，所述消息订阅端中的每个节点采用长连接方式与消息中间件连接，即每个订阅端节点与消息中间件在建立连接后保持该连接。

其中，所述消息中间件从当前的连接中查找对应所述订阅端分组标识的连接，如果查找到多个连接，则从中选择一个连接，并通过该连接将所述消息发送到该连接对应的节点上。

其中，所述消息订阅端节点用于对接收到的消息进行相应处理。

其中，新增加的消息订阅端节点使用与本组其他节点相同的标识连接到所述消息中间件。

优选的，所述系统还包括：数据库，用于与所述消息中间件连接，存储消息中间件接收到的消息，以及消息类型与订阅端分组标识的对应关系，以及每个订阅端分组标识对应的节点信息。

优选的，所述消息发布端也包括一个或多个分组，每组具有唯一标识；每组消息分布端又包括一个或多个节点，每个节点通过本组的唯一标识连接到所述消息中间件。

本发明还提供了一种消息处理方法，包括：

发布端将消息发布到消息中间件；

消息中间件根据所述消息的类型，查找对应该消息类型的订阅端分组标识；

如果查找到，则消息中间件根据查找到的订阅端分组标识，将所述消息发送到相应订阅端分组中的一个节点上。

优选的，所述消息中间件根据查找到的订阅端分组标识，将所述消息发送到相应订阅端分组中的一个节点上，具体包括：采用长连接方式，每个订阅端节点与消息中间件在建立连接后保持该连接；从当前连接到消息中间件的连接中查找对应所述订阅端分组标识的连接，如果查找到多个连接，则从中选择一个连接；消息中间件通过该连接将所述消息发送到该连接对应的节点上。

其中，如果查找到多个连接，则从中随机选择一个连接，或者轮询每个连接。

其中，如果查找到多个订阅端分组标识，则依次将所述消息发送到每个订阅端分组中的一个节点上。

优选的，所述发布端将消息发布到消息中间件之后，还包括：消息中间件将所述消息存入数据库，并向该发布端返回发布成功的消息。

其中，所述消息中间件根据查找到的订阅端分组标识，将所述消息发送到相应订阅端分组中的一个节点上之后，还包括：收到消息的订阅端节点对所述消息进行相应处理。

优选的，所述发布端将消息发布到消息中间件，具体包括：所述发布端包括一个或多个分组，每组包括一个或多个节点；每组发布端选择其中一个节点将该组的消息发布到消息中间件。

根据本发明提供的具体实施例，本发明具有以下技术效果：

首先，本发明通过将消息订阅端分组，每组再部署多个节点的系统架构方式，由多个节点共同承担一个消息订阅端的工作。这样，在消息到达消息中间件后，会从每个分组标识下的节点中选择一个节点，主动将消息推送给订阅端节点。所述方案能够避免现有技术存在的两个问题：

第一，如果消息订阅端的一个或几个节点出现故障，则可以由该组中的其他节点继续接收消息进行处理，因此避免了处理被中断的问题；

第二，如果消息流量非常大，则可以由一组中的多个节点来处理，或者通过增加订阅端节点的方式来均衡处理压力。

其次，本发明采用长连接方式，即每个订阅端节点与消息中间件在建立连接后保持该连接。这样，在消息中间件收到消息后，可以从当前建立的连接中查找订阅端节点的连接，主动将消息推动给订阅端节点。所述连接方式由于避免了建立、断开连接的消耗，因此实时性很高，消息能够以最快的速度发送给订阅端。

再次，上述针对消息订阅端的方案同样适用于消息发布端。所述消息发布端也可以分组，每组部署多个节点，发布消息时选择组内的一个节点进行发送。这样，消息发布端可以避免一个节点出故障而影响消息的发布；并且，如果需要发布的消息流量非常大，可以通过一组内的多个节点进行发布，从而缓解了发布端的处理压力。

附图说明

图1是本发明实施例所述一种消息处理系统的结构图；

图2是本发明另一实施例所述的一种消息处理系统的结构图；

图3是本发明实施例所述订阅者注册订阅消息的流程图；

图4是本发明实施例所述消息的处理流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例提供了一种消息处理系统，是对现有技术中的消息处理系统的改进。参照图1，是实施例所述系统的结构图。

所述系统主要包括消息发布端U11、消息中间件U12和消息订阅端U13，其中，所述消息发布端U11和消息订阅端U13分别与消息中间件U12的服务器连接，消息发布端U11和消息订阅端U13之间通过消息中间件U12传送消息数据。

与现有技术不同的是，所述消息订阅端U13按照客户端功能进行了分组，如图中的分组A、分组B......，每组有一个分组ID作为该组的唯一标识；而每组消息订阅端又可以包括一个或多个节点，属于同一个分组的订阅端节点具有相同的分组ID，所以每个订阅端节点通过本组的ID连接到所述消息中间件U12。

所述消息发布端U11将消息发布到消息中间件U12的服务器上，消息中间件U12根据接收到的消息的类型，查找对应该消息类型的订阅端分组ID；如果查找到，则根据查找到的订阅端分组ID，从分组中选择一个节点，主动将消息推送给该节点。由于同一主题的消息可以被多组消息订阅端订阅，所以一个消息可能会发送给多组消息订阅端，并且每组消息订阅端中只会有一个节点收到该消息。

订阅端节点收到消息后，会进行相应的处理。相同分组的订阅端节点对消息进行相同的处理，不同分组的订阅端节点对消息进行各自的处理，而同一条消息在一个分组内只会由一个节点处理。例如，在电子交易过程中，交易日志服务器组的每台机器(即消息订阅端节点)收到交易创建成功的消息，都用于记录交易日志；而卖家通知服务器组的每台机器(即另一消息订阅端节点)收到交易创建成功的消息，都用于通知卖家有商品被购买。

优选的，所述系统还可以包括数据库U14，该数据库U14与所述消息中间件U12相连接，用于存储消息中间件U12接收到的消息，以及消息类型与订阅端分组标识的对应关系，以及每个订阅端分组标识对应的节点信息。当然，这些信息也可以存储在消息中间件U12服务器设置的内部存储结构中，本实施例在此不作限定。

由上可知，所述系统由于在消息订阅端部署了多个节点，由多个节点共同承担一个消息订阅端的工作，所以具有容错和处理大流量消息的功能。具体分析如下：

第一，如果消息订阅端的一个或几个节点出现故障，则可以由该组中的其他节点继续接收消息进行处理，因此避免了处理被中断的问题，该系统具有良好的容错功能；

第二，如果消息流量非常大，则可以由一组中的多个节点来处理，或者通过增加订阅端节点的方式来均衡处理压力。

其中，上述的“共同”是指：某种消息每秒钟可能会产生500条，假设一个分组有5个订阅端节点，则是所述的5个节点去处理500条消息，每个订阅端节点处理100条。如果有一个节点出现故障，则是其他4个订阅端节点去处理这500条消息。这样，整个系统就不会因为一个订阅端节点的问题而影响到消息的处理。

基于图1系统实施例的说明，在本发明的另一系统实施例中，还提供了如下的优选功能：

每个订阅端节点与消息中间件的服务器之间采用长连接的方式，如果通信协议是TCP协议(Transmission Control Protocol，传输控制协议)，则为TCP长连接。所述长连接是相对于短连接来说的，短连接是指客户端和服务器端建立连接后，处理完毕就断开了连接，而长连接是指建立了连接后就保持连接。采用长连接方式，在有消息的时候，消息中间件的服务器可以从当前建立的连接中查找订阅端节点的连接，主动将消息推送给订阅端节点。由于建立、断开连接本身是有消耗的，所以长连接的实时性很高，消息能够以最快的速度发送给订阅端节点。

基于图1系统实施例的说明，在本发明的另一系统实施例中，还提供了如下的优选功能：

所述系统还可以动态调整每组消息订阅端中的节点数量，灵活地增加或删除某个分组下的节点。在消息流量增大的时候，现有的节点可能满足不了处理需求，就可以增加新的节点，使用和本组中当前工作的节点相同的分组Id来连接到消息中间件的服务器，就完成了节点的增加。如果是节点数量过多，需要去掉一些节点，则直接停掉这些要去除的节点上的应用就可以了。

基于图1系统实施例的说明，在本发明的另一系统实施例中，还提供了如下的优选功能：

所述消息发布端也可以进行分组，每组有一个分组ID作为该组的唯一标识；而每组消息发布端又可以包括一个或多个节点，属于同一个分组的发布端节点具有相同的分组ID，所以每个发布端节点通过本组的ID连接到所述消息中间件。消息发布端发布消息时可以选择组内的一个节点进行发送，这样，消息发布端可以避免一个节点出故障而影响消息的发布；并且，如果需要发布的消息流量非常大，可以通过一组内的多个节点进行发布，缓解发布端的处理压力。参照图2所示，消息订阅端包括分组A和分组B，每个分组下包括2个节点；消息发布端包括分组C和分组D，每个分组下也包括2个节点。

针对上述系统实施例的说明，本发明还提供了相应的消息处理方法实施例。该方法包括两部分处理，一部分是订阅者注册流程，一部分是消息的处理流程，下面分别说明。

参照图3，是实施例所述订阅者注册订阅消息的流程图。

S301，消息订阅端进行注册，订阅自己需要或感兴趣的消息主题；

所述消息订阅端代表一个订阅端分组，注册的过程即把该分组的ID发送给消息中间件服务器，并把该分组订阅的消息类型也发送给消息中间件服务器。

S302，消息中间件服务器根据订阅端订阅的消息类型，将该订阅端的分组ID记录下来，即将订阅端分组ID与所订阅的消息类型的映射关系记录到数据库中；

S303，消息中间件服务器向订阅端返回订阅成功的消息。

订阅端按照上述流程进行注册后，消息中间件会把消息主动推送给订阅该消息的订阅端，推送时会选择订阅端分组中的一个节点进行推送。

参照图4，是实施例所述消息的处理流程图。

S401，消息发布端发送消息到消息中间件服务器；

S402，消息中间件服务器把消息存入数据库，并在任务队列中放入一个推送消息任务，并返回“成功”给消息发送端；

S403，消息中间件服务器从任务队列中取出任务，根据消息的类型找到相应的订阅端分组ID(可能是一个也可能是多个)；

S404，依次处理每个订阅者分组，处理过程是：根据分组ID与订阅端节点连接的映射关系，从当前连接到消息中间件服务器上的连接中找到是属于该订阅者分组的连接；

S405，如果连接大于一个则随机选择一个，否则就直接选择这一个连接；

此外，除了随机选择的方式，也可以采用轮询分组中每个节点的方式，将消息方式给空闲的节点。

S406，消息中间件服务器将消息通过所述连接推送给订阅端节点；

S407，收到消息的订阅端节点对所述消息进行相应处理。

上述处理过程中，订阅端节点与消息中间件服务器是长连接方式，所以消息中间件服务器在收到消息的时候，就可以从当前建立的连接中查找订阅端节点的连接，主动将消息推送给订阅端节点。

而且，所述消息发布端也可以包括多个分组，每组包括一个或多个节点，每组发布端选择其中一个节点将该组的消息发布到消息中间件，从而避免一个节点出故障而影响消息的发布；并且，如果需要发布的消息流量非常大，可以通过一组内的多个节点进行发布，均衡发布端的处理压力。

图3所示流程中未详述的部分可以参见图1、图2所示系统的相关部分，为了篇幅考虑，在此不再详述。

以上对本发明所提供的一种消息处理方法及系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1、一种消息处理系统，其特征在于，包括：消息发布端、消息订阅端和消息中间件，其中，

所述消息订阅端包括一个或多个分组，每组具有唯一标识；每组消息订阅端又包括一个或多个节点，每个节点通过本组的唯一标识连接到所述消息中间件；

所述消息发布端用于将消息发布到消息中间件；

所述消息中间件用于根据接收到的消息的类型，查找对应该消息类型的订阅端分组标识；如果查找到，则根据查找到的订阅端分组标识，将所述消息发送到相应订阅端分组中的一个节点上。

2、根据权利要求1所述的系统，其特征在于：

所述消息订阅端中的每个节点采用长连接方式与消息中间件连接，即每个订阅端节点与消息中间件在建立连接后保持该连接。

3、根据权利要求2所述的系统，其特征在于：

所述消息中间件从当前的连接中查找对应所述订阅端分组标识的连接，如果查找到多个连接，则从中选择一个连接，并通过该连接将所述消息发送到该连接对应的节点上。

4、根据权利要求1所述的系统，其特征在于：所述消息订阅端节点用于对接收到的消息进行相应处理。

5、根据权利要求1所述的系统，其特征在于：新增加的消息订阅端节点使用与本组其他节点相同的标识连接到所述消息中间件。

6、根据权利要求1所述的系统，其特征在于，所述系统还包括：

数据库，用于与所述消息中间件连接，存储消息中间件接收到的消息，以及消息类型与订阅端分组标识的对应关系，以及每个订阅端分组标识对应的节点信息。

7、根据权利要求1所述的系统，其特征在于：

所述消息发布端也包括一个或多个分组，每组具有唯一标识；每组消息分布端又包括一个或多个节点，每个节点通过本组的唯一标识连接到所述消息中间件。

8、一种消息处理方法，其特征在于，包括：

发布端将消息发布到消息中间件；

消息中间件根据所述消息的类型，查找对应该消息类型的订阅端分组标识；

如果查找到，则消息中间件根据查找到的订阅端分组标识，将所述消息发送到相应订阅端分组中的一个节点上。

9、根据权利要求8所述的方法，其特征在于，所述消息中间件根据查找到的订阅端分组标识，将所述消息发送到相应订阅端分组中的一个节点上，具体包括：

采用长连接方式，每个订阅端节点与消息中间件在建立连接后保持该连接；

从当前连接到消息中间件的连接中查找对应所述订阅端分组标识的连接，如果查找到多个连接，则从中选择一个连接；

消息中间件通过该连接将所述消息发送到该连接对应的节点上。

10、根据权利要求9所述的方法，其特征在于：如果查找到多个连接，则从中随机选择一个连接，或者轮询每个连接。

11、根据权利要求8、9或10所述的方法，其特征在于：如果查找到多个订阅端分组标识，则依次将所述消息发送到每个订阅端分组中的一个节点上。

12、根据权利要求8所述的方法，其特征在于，所述发布端将消息发布到消息中间件之后，还包括：

消息中间件将所述消息存入数据库，并向该发布端返回发布成功的消息。

13、根据权利要求8所述的方法，其特征在于，所述消息中间件根据查找到的订阅端分组标识，将所述消息发送到相应订阅端分组中的一个节点上之后，还包括：

收到消息的订阅端节点对所述消息进行相应处理。

14、根据权利要求8所述的方法，其特征在于，所述发布端将消息发布到消息中间件，具体包括：

所述发布端包括一个或多个分组，每组包括一个或多个节点；

每组发布端选择其中一个节点将该组的消息发布到消息中间件。

Images