CN101674257B - 一种消息存储方法、装置及一种消息处理系统 - Google Patents

Abstract

本发明公开了一种消息存储方法及装置，以解决现有技术中采用单节点存储所存在的问题。所述方法包括：接收消息添加请求；从预置的存储节点列表中选择一个存储节点，存储该消息；将该消息与存储该消息的存储节点之间的映射关系进行保存。所述方案能够避免两个问题：第一，如果其中一个存储节点出现了问题，还可以将消息存储到其他节点上，因此不会造成消息中间件不能正常工作；第二，如果消息流量很大，多个存储节点可以分散存储上的压力。本发明还提供了一种消息处理系统，以解决单节点存储待转发的消息容易造成系统瓶颈或处理中断的问题。

Description

一种消息存储方法、装置及一种消息处理系统

技术领域

本发明涉及网络技术领域，特别是涉及一种消息存储方法、装置及一种消息处理系统。

背景技术

在很多应用系统中，都涉及数据存储问题。例如图1所示的应用系统，包括消息发布端U11、消息订阅端U12和消息中间件U13，消息发布端U11和消息订阅端U12之间通过消息中间件U13传送消息数据。其中，所述消息发布端U11可以发布各种主题或各种类型的消息数据，所述消息订阅端U12可以订阅自己感兴趣的消息，所述消息中间件U13要将消息发布端U11发布的消息异步地传送给该消息主题的订阅端U12。在消息传递的过程中，所述消息中间件U13一方面要接收消息，另一方面还要把接收的消息转发出去，为了避免丢失消息，消息中间件U13需要将当前没有发送完或发送没有成功的消息存储到数据库U14中，直到消息发送成功才将消息删除。

目前，所述系统采用单节点的方式存储消息，即只部署一个数据库U14进行存储。但随着消息数量的增多，这种单节点存储存在以下问题：

第一，如果该存储节点出现了问题，就会导致消息中间件的处理中断，不能提供正常的服务；

第二，如果消息流量很大，一个节点作为存储可能承担不了这样的压力，该存储节点可能会成为整个系统的瓶颈。

上述问题在实际应用中比较常见，例如该系统在电子交易中的应用：每笔交易会经历多个处理状态，而每个交易的每个状态的变更都会产生一条消息，因此消息量非常大；这些消息由消息发布端U11发布到消息中间件U13，再由消息中间件U13传送给消息订阅端U12，如果配置一个数据库U14来存储消息内容，很容易造成消息中间件U1的处理瓶颈，并且需由一个数据库来承担所有的风险。

当然，在其他采用单节点存储数据的应用系统中，也存在上述的问题。

发明内容

本发明所要解决的技术问题是提供一种消息存储方法及装置，以解决现有技术中采用单节点存储所存在的问题。

本发明的另一个目的是提供一种消息处理系统，解决单节点存储待转发的消息容易造成系统瓶颈或处理中断的问题。

为解决上述技术问题，根据本发明提供的具体实施例，本发明公开了以下技术方案：

一种消息存储方法，包括：

接收消息添加请求；

从预置的存储节点列表中选择一个存储节点，存储该消息；

将该消息与存储该消息的存储节点之间的映射关系进行保存。

其中，所述从预置的存储节点列表中轮询或随机选择一个存储节点。

其中，所述将该消息与存储该消息的存储节点之间的映射关系进行保存，具体包括：每个消息对应一个元数据，所述元数据中存有消息标识信息；将存储该消息的存储节点的描述信息存储在对应该消息的元数据中，该元数据中的消息标识信息与存储节点的描述信息形成映射关系。

优选的，所述保存之后还包括：根据消息与存储该消息的存储节点之间的映射关系，获取消息并进行发送或删除操作。

优选的，所述方法还包括：通过动态修改所述存储节点列表，增加或删除存储节点。

优选的，所述动态修改具体包括：通过JMX方式，在运行过程中修改所述存储节点列表。

本发明还提供了一种消息存储装置，包括：

一个或多个存储节点，每个存储节点用于存储消息；

消息接收单元，用于接收消息添加请求；

节点选择单元，用于从预置的存储节点列表中选择一个存储节点来存储该消息；

映射关系保存单元，用于将该消息与存储该消息的存储节点之间的映射关系进行保存。

其中，所述映射关系保存单元为元数据，每个消息对应一个元数据，所述元数据中存有消息标识信息，并将存储该消息的存储节点的描述信息进行保存；该元数据中的消息标识信息与存储节点的描述信息形成映射关系。

优选的，所述装置还包括：消息获取单元，用于根据消息与存储该消息的存储节点之间的映射关系，获取消息并触发发送或删除操作。

优选的，所述装置还包括：节点调整单元，用于通过动态修改所述存储节点列表，增加或删除存储节点。

本发明还提供了一种消息处理系统，包括：

消息发布端，用于将消息发布到消息中间件；

消息订阅端，用于从消息中间件接收消息；

一个或多个数据库，用于与消息中间件连接，存储消息中间件转发的消息；

消息中间件，用于转发消息，具体包括：消息接收单元，用于从消息发布端接收消息添加请求；数据库选择单元，用于从预置的数据库列表中选择一个数据库来存储该消息；映射关系保存单元，用于将该消息与存储该消息的数据库之间的映射关系进行保存。

优选的，所述消息中间件还包括：数据库调整单元，用于通过动态修改所述数据库列表，增加或删除数据库。

根据本发明提供的具体实施例，本发明具有以下技术效果：

首先，本发明采用多个存储节点来存储消息，当存储某个消息时，通过存储节点列表选择一个节点进行存储，并把该消息与存储该消息的存储节点之间的映射关系也进行保存，以便后续根据所述映射关系从相应的存储节点获取消息。所述方案能够避免现有技术单节点存储的两个问题：

第一，如果其中一个存储节点出现了问题，还可以将消息存储到其他节点上，因此不会造成消息中间件不能正常工作；

第二，如果消息流量很大，多个存储节点可以分散存储上的压力。

其次，本发明支持运行时调整存储节点的数量。如果在运行期间发现存储节点不够用，可以动态增加存储节点；或者，如果节点过剩出现闲置情况，还可以动态删除节点。而且，所述动态是指在运行期间修改存储节点列表来增加或删除节点，区别于修改存储节点列表配置后重启应用才能实现修改功能的方式。这种动态方式不需要重启应用，因此更加方便实用。

再次，本发明优先采用轮询的方式从列表中选择一个节点，因此能够动态调整分配到每个存储节点上的压力，使各个存储节点的压力尽量均衡。

附图说明

图1是现有技术实施例所述消息存储系统的结构图；

图2是本发明实施例一所述的多存储节点示意图；

图3是本发明实施例一所述一种消息存储方法的流程图；

图4是本发明实施例一所述一种消息存储装置的结构图；

图5是本发明实施例二所述一种消息处理系统的结构图；

图6是本发明实施例二中消息添加流程图；

图7是本发明实施例二中消息获取流程图；

图8是本发明实施例二中消息删除流程图；

图9是本发明实施例二中消息中间件的内部结构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供了一种消息存储方法和装置，是对现有技术中单节点存储的改进。下面通过实施例一和实施例二进行详细说明。

实施例一：

首先介绍多存储节点的结构。参照图2，是实施例一所述的多存储节点示意图。应用服务器U21连接着多个存储节点U22(图中示出了3个)，应用服务器U21用于提供应用服务，如消息转发等，并把需要保存的数据存储到存储节点U22中。

参照图3，是对照图2的多存储节点结构，提供的一种消息存储方法的流程图。

S301，应用服务器接收消息添加请求；

S302，从预置的存储节点列表中选择一个存储节点，存储该消息；

应用服务器配置了一个存储节点列表，将当前能够使用的存储节点信息列在该表中。当有消息需要存储时，应用服务器查询该表，从中选择一个节点来存储该消息。

为了均衡各存储节点的存储压力，可以采用轮询或随机的方式来选择一个存储节点。本实施例优先采用轮询方式，即轮询列表中的每个存储节点，根据各节点的存储情况来选择合适的节点，这样就能够动态调整分配到每个存储节点上的压力，使各个存储节点的压力尽量均衡。

S303，将该消息与存储该消息的存储节点之间的映射关系进行保存。

应用服务器将所述映射关系保存，以便后续根据所述映射关系从相应的存储节点获取消息。存储映射关系时，可以把消息ID(即消息标识信息)及与之对应的存储节点的描述信息以映射关系表的方式进行保存，所述描述信息包括该存储节点的ID、地址等信息。

所述方法能够避免现有技术单节点存储的两个问题：

第一，如果其中一个存储节点出现了问题，还可以将消息存储到其他节点上，因此不会造成消息中间件不能正常工作；

第二，如果消息流量很大，多个存储节点可以分散存储上的压力。

优选的，本实施例提供的多存储节点结构还可以动态调整：如果应用服务器在运行期间发现存储节点不够用，通过修改存储列表中的节点信息可以动态增加存储节点；或者，如果节点过剩出现闲置情况，通过修改存储列表中的节点信息还可以动态删除节点。

这一点区别于节点数量固定的方式。节点数量固定的方式是指连接应用服务器的存储节点数量固定，不能随意增加或删除其中的节点。因为这种方式一般采用哈希算法根据消息的ID把消息内容映射到某个存储节点上，这种映射关系的建立首先要确定哈希后值的范围(即存储节点的数量)，然后将ID映射到这个数字范围内。所以如果增加了节点，就要调整哈希算法，否则新加入的节点不能被使用。而如果调整了哈希算法，则同样的一个ID，用原来的算法和现在的算法，得到的哈希值可能是不同的，那么根据原来的映射结果存储的消息要进行转移，而这是很复杂和麻烦的。因此，一个存储节点失效会导致一大批的消息没有办法处理；而且，如果在运行时发现存储节点不够用，动态的增加节点会非常复杂。

而本实施例是在消息中间件中维护了一个映射关系表，通过这个表可以根据消息ID找到消息存放的存储节点。这种映射不同于一般的哈希算法，其建立过程不需要考虑节点数量，因此不会存在上述问题。而且，产生这个映射关系的算法可以有多种，可以是Round Robin这样轮转的方案，也可以采用Weighted Round Robin这样的带有节点权重信息的方案。

Round Robin方案即轮询调度(Round Robin Scheduling)算法，就是以轮询的方式依次将请求调度不同的服务器，即每次调度执行I＝(I+1)modn，并选出第i台服务器。算法的优点是其简洁性，它无需记录当前所有连接的状态，所以它是一种无状态调度。Weighted Round Robin方案是在此基础上改进的权重轮询算法。

此外，本实施例中所述的“动态调整”是指在应用服务器运行期间进行的调整，区别于修改存储节点列表配置后重启应用服务器才能实现修改功能的方式。这种动态方式不需要重启应用，因此更加方便实用。

实现所述的“动态调整”的方法有多种，本实施例采用JMX方式。JMX是Java Management Extensions，是指Java管理扩展，是一种运行时查看应用信息并管理应用的方式。被管理的应用会注册Mbean(可以理解为被管理的单元)到Server上，而管理段连接到应用服务器上就可以查看Mbean中暴露的信息和进行管理。例如，应用服务器上的一个Mbean暴露了当前可用的存储节点的列表信息，是可读写的，那么用户可以查看当前的存储节点的列表信息，也可以修改这个列表的内容，达到运行时修改列表的目的。当然，也可以有其他实现方式，例如创建可以访问存储节点列表的端口，应用服务器通过这个端口就可以在运行时修改列表内容了。

针对上述方法实施例，本发明还提供了相应的装置实施例。参照图4，是实施例一所述一种消息存储装置的结构图。所述装置主要包括：

存储节点U41，用于存储消息；

消息接收单元U42，用于接收消息添加请求；

节点选择单元U43，用于从预置的存储节点列表中选择一个存储节点来存储该消息；

映射关系保存单元U44，用于将该消息与存储该消息的存储节点之间的映射关系进行保存。

其中，所述存储节点U41通常是多个，但也不排除一个存储节点的情况。所述节点选择单元U43可以采取轮询或随机的方式选择多个存储节点中的一个。

所述装置提供的多节点存储结构，在消息流量增大时可以分散存储压力，而且能够避免一个节点出问题而影响正常的工作。

优选的，所述装置还可以包括消息获取单元U45，用于根据消息与存储该消息的存储节点之间的映射关系，获取消息并触发发送或删除操作。

优选的，所述装置还可以包括节点调整单元U46，用于通过动态修改所述存储节点列表，增加或删除存储节点。其中，所述“动态是指”在运行期间修改存储节点列表，可以通过JMX方式实现。

图4所示装置中未详述的部分可以参见图3所示方法的相关部分，为了篇幅考虑，在此不再详述。

实施例二：

利用上述消息存储方法及装置，本发明还提供了一种消息处理系统。参照图5，是实施例二所述一种消息处理系统的结构图。所述系统包括：

消息发布端U51，用于将消息发布到消息中间件U52；

消息中间件U52，用于将所述消息转发给消息订阅端U53；

消息订阅端U53，用于从消息中间件U52接收消息；

数据库U54，用于与消息中间件U52连接，存储消息中间件转发的消息。

所述消息订阅端U53可以订阅自己感兴趣的消息，所述消息中间件U52将消息发布端U51发布的消息异步地传送给该消息主题的订阅端U53。其中，所述消息中间件U52上设置了图4所示的消息存储装置，用于完成消息的多节点存储。

在电子交易中的应用，每笔交易会经历多个处理状态，而每个交易的每个状态的变更都会产生一条消息，因此消息量非常大。这些消息由消息发布端U51发布到消息中间件U52，再由消息中间件U52传送给消息订阅端U53。

如果消息量增大，就需要配置多个数据库U54来分担存储压力。

下面详细说明消息中间件U52的处理。

参照图6，是消息添加流程图。

S601，从消息发布端接收消息添加请求；

S602，从预置的数据库列表中以轮询或随机的方式选择一个数据库；

S603，将该消息发送给所选择的数据库，存储该消息内容；

S604，存储该消息的数据库向消息中间件返回保存成功的消息；

S605，将存储该消息的数据库信息保存到消息的元数据中；

所述元数据是保存在消息中间件应用服务器内存的任务队列中，每个消息对应一个元数据，元数据中存有消息标识信息。如果把存储该消息的数据库信息也保存到对应该消息的元数据中，即建立了消息与存储该消息的数据库之间的映射关系。当消息中间件转发消息时，通过从任务队列查找消息元数据并从中读取数据库信息，就可以找到存储该消息的是哪个数据库。其中，所述数据库信息是指数据库的描述信息，包括数据库ID、数据库地址等信息。

S606，消息中间件向消息发布端返回消息添加成功。

参照图7，是消息获取流程图。

S701，消息中间件从消息元数据中读取保存该消息的数据库信息；

S702，消息中间件根据所述数据库信息，从相应的数据库中获取该消息内容；

S703，存储该消息的数据库向消息中间件返回消息内容。

消息中间件获得消息内容后，就可以将该消息发送给消息订阅端。

参照图8，是消息删除流程图。

S801，消息中间件从消息元数据中读取保存该消息的数据库信息；

S802，消息中间件根据所述数据库信息，从相应的数据库中删除该消息内容；

S803，存储该消息的数据库向消息中间件返回删除成功。

优选的，所述系统还可以动态调整数据库的数量，所述动态是指在运行过程中增加或减少数据库的数量。如果新增数据库，则通过JMX方式在数据库列表中新增数据库信息，这样可以使消息中间件新接收的消息能够使用新增的数据库；如果删除数据库，也是通过JMX方式删除数据库列表中该数据库的信息，这样可以使消息中间件不再使用该数据库存储消息。

基于以上内容，参照图9，是消息中间件U52的内部结构图。消息中间件具体包括：

消息接收单元U91，用于从消息发布端U51接收消息添加请求；

数据库选择单元U92，用于从预置的数据库列表中选择一个数据库U54来存储该消息；

映射关系保存单元U93，用于将该消息与存储该消息的数据库之间的映射关系进行保存。

其中，所述映射关系保存单元为元数据，每个消息对应一个元数据，所述元数据中存有消息标识信息，并将存储该消息的数据的描述信息进行保存；该元数据中的消息标识信息与数据库的描述信息形成映射关系。

优选的，所述消息中间件U52还包括：

数据库调整单元U94，用于通过动态修改所述数据库列表，增加或删除数据库；

消息获取单元U95，用于根据消息与存储该消息的数据库之间的映射关系，获取消息并触发发送或删除操作。

图9所示装置中未详述的部分可以参见图6、7、8所示方法的相关部分，为了篇幅考虑，在此不再详述。

以上对本发明所提供的一种消息存储方法、装置及一种消息处理系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种消息存储方法，其特征在于，包括：

接收消息添加请求；

从预置的存储节点列表中选择一个存储节点，存储该消息；

将该消息与存储该消息的存储节点之间的映射关系进行保存，所述映射关系由消息中间件进行维护;

所述方法还包括：在应用服务器运行期间通过动态修改所述存储节点列表，增加或删除存储节点。

2.根据权利要求1所述的方法，其特征在于：所述从预置的存储节点列表中选择一个存储节点，具体包括：

采用轮询或随机的方式从预置的存储节点列表中选择一个存储节点。

3.根据权利要求1所述的方法，其特征在于，所述将该消息与存储该消息的存储节点之间的映射关系进行保存，具体包括：

每个消息对应一个元数据，所述元数据中存有消息标识信息；

将存储该消息的存储节点的描述信息存储在对应该消息的元数据中，该元数据中的消息标识信息与存储节点的描述信息形成映射关系。

4.根据权利要求1或3所述的方法，其特征在于，所述保存之后还包括：

根据消息与存储该消息的存储节点之间的映射关系，获取消息并进行发送或删除操作。

5.根据权利要求1所述的方法，其特征在于，所述动态修改具体包括：通过JMX方式，在运行过程中修改所述存储节点列表。

6.一种消息存储装置，其特征在于，包括：

一个或多个存储节点，每个存储节点用于存储消息；

消息接收单元，用于接收消息添加请求；

节点选择单元，用于从预置的存储节点列表中选择一个存储节点来存储该消息；

映射关系保存单元，用于将该消息与存储该消息的存储节点之间的映射关系进行保存，所述映射关系由消息中间件进行维护，所述消息中间件上设置有所述消息存储装置；

所述装置还包括：节点调整单元，用于在应用服务器运行期间通过动态修改所述存储节点列表，增加或删除存储节点。

7.根据权利要求6所述的装置，其特征在于：

所述映射关系保存单元保存有消息与存储消息的存储节点之间的映射关系，每个消息对应一个元数据，所述元数据中存有消息标识信息，并将存储该消息的存储节点的描述信息存储在对应该消息的元数据中，该元数据中的消息标识信息与存储节点的描述信息形成映射关系。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

消息获取单元，用于根据消息与存储该消息的存储节点之间的映射关系，获取消息并触发发送或删除操作。

9.一种消息处理系统，其特征在于，包括：

消息发布端，用于将消息发布到消息中间件；

消息订阅端，用于从消息中间件接收消息；

一个或多个数据库，用于与消息中间件连接，存储消息中间件转发的消息；

消息中间件，用于转发消息，具体包括：消息接收单元，用于从消息发布端接收消息添加请求；数据库选择单元，用于从预置的数据库列表中选择一个数据库来存储该消息；映射关系保存单元，用于将该消息与存储该消息的数据库之间的映射关系进行保存，所述映射关系由消息中间件进行维护；

所述消息中间件还包括：数据库调整单元，用于在应用服务器运行期间通过动态修改所述数据库列表，增加或删除数据库。

Images