CN103761141A - 一种实现消息队列的方法及装置 - Google Patents

Abstract

本发明公开一种实现消息队列的方法及装置，属于计算机技术领域。所述装置包括：写队列接口，适于接收消息生产者的写消息请求，所述写消息请求中包括待写入消息和所述待写入消息所属消息队列的第一标识；读队列接口，适于接收消息消费者的读消息请求，所述读消息请求中包括待读取消息所属消息队列的第二标识；消息处理器，适于根据消息队列标识与分布式存储系统中存储表的对应关系，将待写入消息存储到与所述第一标识对应的存储表中，以及，从与所述第二标识对应的存储表中顺序读取一条消息，将读取到的消息通过所述读队列接口发送到消息消费者。根据本发明，使得消息队列能够支持较大消息的存储和传递，并提升了消息队列的可扩展性。

Description

一种实现消息队列的方法及装置

技术领域

本发明涉及计算机技术领域，具体涉及一种实现消息队列的方法及装置。

背景技术

消息(Message)是在两台计算机间传送的数据，消息可以非常简单，只包含少量文本字符串，也可以更复杂，包含较大的对象数据。消息队列机制为应用程序开发人员提供了一种应用程序间快速可靠的通信方式，即通过消息的传递来实现信息的交互。如图1所示，消息队列机制的组件分为三种，即消息的生产者(Producer)、消息的消费者(Consumer)以及消息的中继机构-消息队列(Message Queue，MQ)。消息队列是在消息的传输过程中保存消息的容器，生产者创建消息，将消息发送到消息队列暂存，消费者从消息队列中读取消息并执行。

由于消息队列机制的广泛应用，目前在该领域存在多种开源或闭源的消息队列实现方案，如ActiveMQ和Kafka等。ActiveMQ是Apache社区的开源消息队列实现，支持多种语言和协议编写客户端，如Java、C、Perl、Python和PHP等。ActiveMQ是典型的一主多从的结构，即生产者发送消息时会首先在主节点上存储一份，同时同步到多个从节点上存储，靠冗余机制保证消息不丢失。在该方案中，消息会一直存储在MQ中，并维护着每一条消息的状态，直到消费者消费完成后通知MQ，由MQ决定是否要将消息删除。

ActiveMQ的缺点在于：由于消费者在消费操作完成后，需要和MQ多次交互确认才能成功删除消息，同时由于MQ消息的存储性能不高，导致读写性能较差，消费效率较低，往往导致队列堆积严重；而如果消息较大，堆积严重，则主节点磁盘存储空间就成为严重的瓶颈；因而ActiveMQ无法支持较大消息的传递。

Kafka是一种轻量级的消息队列模式，和ActiveMQ不同，其消息的状态是由消费者维护的，即MQ只负责消息的存储，不负责消息的状态维护。而消息是否是被消费过，只有消费者自己知晓，这样就极大地简化了消息队列MQ的设计复杂度。当然由于MQ中的消息不能任意删除，因此对消息队列磁盘存储空间的要求就更高了。

Kafka相对于ActiveMQ而言，取消了MQ对消息状态的维护功能，即MQ中的所有消息只写入不删除，消费者在消费完成后无需和MQ交互确认。虽然降低了交互开销，但由于消息不会被确认删除，消息队列的存储空间仍然是其瓶颈，因而Kafka亦不能支持较大消息的传递。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的实现消息队列的方法和装置。

根据本发明的一个方面，提供了一种实现消息队列的装置，包括：

写队列接口，适于接收消息生产者的写消息请求，所述写消息请求中包括待写入消息和所述待写入消息所属消息队列的第一标识；

读队列接口，适于接收消息消费者的读消息请求，所述读消息请求中包括待读取消息所属消息队列的第二标识；

消息处理器，适于根据消息队列标识与分布式存储系统中存储表的对应关系，将待写入消息存储到与所述第一标识对应的存储表中，以及，从与所述第二标识对应的存储表中顺序读取一条消息，将读取到的消息通过所述读队列接口发送到所述消息消费者。

可选地，所述装置还包括：对应关系建立器，适于建立消息队列标识与分布式存储系统中存储表的对应关系。

可选地，所述读消息请求中还包括是否删除读取到的消息的第三标识；

所述消息处理器还适于当根据所述第三标识确定需要删除读取到的消息，且从存储表中顺序读取到一条消息后，从所述存储表中删除读取到的消息。

可选地，所述消息处理器通过调用所述分布式存储系统的写接口将消息写入存储表，通过调用所述分布式存储系统的扫描接口从存储表中顺序读取消息。

可选地，所述分布式存储系统为Cassandra系统。

根据本发明的另一个方面，提供了一种实现消息队列的方法，包括：

接收消息生产者的写消息请求，所述写消息请求中包括待写入消息和所述待写入消息所属消息队列的第一标识；

根据消息队列标识与分布式存储系统中存储表的对应关系，将待写入消息存储到与所述第一标识对应的存储表中；

接收消息消费者的读消息请求，所述读消息请求中包括待读取消息所属消息队列的第二标识；

根据消息队列标识与分布式存储系统中存储表的对应关系，从与所述第二标识对应的存储表中顺序读取一条消息，将读取到的消息发送到所述消息消费者。

可选地，所述方法还包括：建立消息队列标识与分布式存储系统中存储表的对应关系。

可选地，所述读消息请求中还包括是否删除读取到的消息的第三标识；

所述方法还包括：当根据所述第三标识确定需要删除读取到的消息，且从存储表中顺序读取到一条消息后，从所述存储表中删除读取到的消息。

可选地，通过调用所述分布式存储系统的写接口将消息存储到存储表，通过调用所述分布式存储系统的扫描接口从存储表中顺序读取消息。

可选地，所述分布式存储系统为Cassandra系统。

根据本发明上述的一个或多个技术方案，通过引入分布式存储系统作为消息队列的存储模块，使得消息队列能够支持较大消息的存储和传递，并提升了消息队列的可扩展性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了生产者与消费者通过消息队列进行通信的示意图；

图2示出了根据本发明一个实施例的实现消息队列的装置结构图；

图3示出了根据本发明一个实施例的实现消息队列的装置的应用实例；

图4示出了根据本发明一个实施例的实现消息队列的方法中写消息队列的流程图；

图5示出了根据本发明一个实施例的实现消息队列的方法中读消息队列的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图2示出了根据本发明一个实施例的实现消息队列的装置结构图。参照图2，所述实现消息队列的装置10可以包括写队列接口12、读队列接口14和消息处理器16。

写队列接口12适于接收消息生产者20的写消息请求，所述写消息请求中包括待写入消息和所述待写入消息所属消息队列的第一标识。

在计算机通信领域，消息生产者20一般指的是一个应用程序，该应用程序通常需要与另外一个应用程序即消息消费者30进行信息交互，这种信息交互通常是通过消息的传递来实现的，而消息队列是在消息的传输过程中保存消息的容器，消息队列的主要目的是提供路由并保证消息的正确传递。消息生产者20创建一个消息后，可以构建一个写消息请求，并将所述写消息请求发送到所述写队列接口12。一个消息队列通常对应一对消息生产者和消息消费者，因此，为区分不同消息生产者所创建的消息，所述写消息请求中除了携带待写入消息之外，还会携带待写入消息所属的消息队列的标识。

在本发明实施例中，是将分布式存储系统40作为消息队列的存储装置，所述分布式存储系统40中存储有一个或多个存储表，每个存储表用于存储一个消息队列，存储表的每条数据记录对应一条消息，且每个存储表在所述分布式存储系统中存储一份或多份(即具有一个或多个副本)。消息处理器16检测到写队列接口12中有写消息请求到达后，对所述写消息请求进行解析，获取其包括的待写入消息和所述待写入消息所属消息队列的第一标识，然后，根据消息队列标识与分布式存储系统40中存储表的对应关系，将待写入消息存储到与所述第一标识对应的存储表中。其中，所述对应关系可以预先建立并存储在所述实现消息队列的装置10中。

消息消费者30需要获取消息进行处理时，会构造一个读消息请求发送到读队列接口14，同样，所述读消息请求中会携带待读取消息所属消息队列的第二标识。消息处理器16检测到读队列接口14中有读消息请求到达后，对所述读消息请求进行解析，获取其包括的待读取消息所属消息队列的第二标识，然后，根据消息队列标识与分布式存储系统40中存储表的对应关系，从与所述第二标识对应的存储表中顺序读取一条消息，并将读取到的消息通过所述读队列接口14发送到所述消息消费者30。

这样，通过引入分布式存储系统作为消息队列的存储模块，利用分布式存储系统的存储能力，就使得消息队列能够支持较大消息的存储和传递，并提升了消息队列存储的可靠性和可扩展性。其中，所述可靠性是利用所述分布式存储系统的冗余策略实现。所谓可扩展性是指，可以通过在分布式存储系统中增加数据节点，来增加消息队列的存储空间。

可选地，本发明实施例的实现消息队列的装置10还包括对应关系建立器(图未示)，适于建立消息队列标识与分布式存储系统中存储表的对应关系。例如，消息生产者20和消息消费者30之间需要发起通信时，可以由所述对应关系建立器在所述分布式存储系统40中创建一个存储表，并在所述对应关系中增加一个记录项，该记录项记录了这对消息生产者20和消息消费者30所需要使用的消息队列与所创建的存储表的对应关系。

另外，在从存储表中读取到一条消息后，根据不同的实现策略，还可以确定是否将该消息从所述存储表中删除。具体地，所述读消息请求中还可以包括是否删除读取到的消息的第三标识，相应地，所述消息处理器16还适于当根据所述第三标识确定需要删除读取到的消息，且从存储表中顺序读取到一条消息后，从所述存储表中删除读取到的消息。

在具体实现时，所述消息处理器16可以通过调用所述分布式存储系统40的写接口44将消息写入存储表，并通过调用所述分布式存储系统40的扫描接口46从存储表中顺序读取消息。所述分布式存储系统40中包括多个节点42(图中示出了3个)，节点42包括数据节点和接入节点两种类型，其中，所述写接口44和所述扫描接口44可以位于所述多个节点42中的接入节点中。

本发明实施例的实现消息队列的装置10可以部署在一台独立的服务器上，该服务器能够与所述分布式存储系统40进行通信，即能够调用所述分布式存储系统40的写接口44和扫描接口46对其中的存储表进行存取。另外，本发明实施例的实现消息队列的装置10作为一个模块存在与所述分布式存储系统40的接入节点中。

可选地，所述分布式存储系统40为Cassandra系统。Cassandra是依赖分布式哈希表(Distributed Hash Table，DHT)技术实现的一种典型的无中心节点的环形结构的分布式存储系统。DHT是一种分布式存储技术，在不需要中心节点的情况下，每个存储节点负责一个小范围的路由，并负责存储小部分数据，从而实现整个DHT分布式集群的寻址和存储。在Cassandra系统中，数据以键-值(Key-Value)对方式存储，通过对外提供的读写接口以及全局数据扫描接口进行数据存取和访问。

Cassandra节点的角色分为两种：接入节点和数据节点。接入节点负责计算数据及副本的分布，数据节点负责数据副本的存储。在Cassandra系统中，每个节点都既作为接入节点，又作为数据节点而存在。为了保证数据的可靠性，Cassandra一般要将数据写多份副本，并分散在不同的数据节点上。

需要说明的是，在本发明实施例中，所述分布式存储系统并不限于Cassandra系统，也可以是BigTable系统、Dynamo系统、Hadoop Hbase系统等其它任意的分布式存储系统。

以下给出本发明实施例的实现消息队列的装置的一个具体实现。

参照图3，该装置是在Cassandra存储集群之上封装的一层名称为MQ-Wrapper的中间件。该MQ-Wrapper中间件的主要作用是：对外向消息生产者(Producer)和消息消费者(Consumer)提供消息队列的标准接口，即前述的写队列接口和读队列接口，用于正常的数据生产(produce)和数据消费(consume)；对内则调用Casandra通用的写接口(insert)和扫描接口(scan)，进行消息的存储与读取。

假如Producer需要发送一个100K的消息到Consumer，则进行如下操作：

(1)首先会通过MQ-Wrapper的produce(queue0，message0)接口，将message0发送到queue0上，其中，message0是待写入消息，queue0是待写入消息所属消息队列的标识；

(2)在MQ-Wrapper内部则直接调用Cassandra本身的insert接口将这条100K的消息写入到存储表table_queue0中，其中，table_queue0是queue0对应的存储表。

在Comsumer进行数据消费时候，则进行如下操作：

(1)通过MQ-Wrapper的consume(queue0，deleteOnGet)接口调用获取一条消息进行消费，其中，queue0是待读取消息所属消息队列的标识，deleteOnGet表征在读取到消息后，是否在存储表中将该消息删除；

(2)在MQ-Wrapper内部则调用Casandra本身的scan接口，扫描存储表table_queue0，并在consume(queue0，deleteOnGet)调用时按序返回一条消息。

(3)当consume(queue0，deleteOnGet)成功返回一条消息后，如果设置了deleteOnGet标记为真(true)，则MQ-Wrapper会在其内部会自动将此消息从存储表table_queue0中删除。

根据以上应用实例，消息存储在Cassandra系统中，和普通键-值(key-value)对的存储格式一致，消息采用三副本存储，即以Cassandra自身的冗余策略实现消息的可靠性，每个消息队列对应Cassandra中的一个存储表，每条消息对应存储表中的一条数据记录，所有针对此队列的生产、消费操作都围绕着这个存储表完成。如果设置该存储表可写入的value的最大值为100M，则该消息队列即可支持的最大消息为100M大小。

本发明实施例还提供一种实现消息队列的方法，所述方法可以包括写消息队列和读消息队列两个过程。

图4示出了根据本发明一个实施例的实现消息队列的方法中写消息队列的流程图，参照图4，写消息队列的过程包括：

步骤402，接收消息生产者的写消息请求，所述写消息请求中包括待写入消息和所述待写入消息所属消息队列的第一标识；

在计算机通信领域，消息生产者一般指的是一个应用程序，该应用程序通常需要与另外一个应用程序即消息消费者进行信息交互，这种信息交互通常是通过消息的传递来实现的，而消息队列是在消息的传输过程中保存消息的容器，消息队列的主要目的是提供路由并保证消息的正确传递。一个消息队列通常对应一对消息生产者和消息消费者，因此，为区分不同消息生产者所创建的消息，所述写消息请求中除了携带待写入消息之外，还会携带待写入消息所属的消息队列的标识。

步骤404，根据消息队列标识与分布式存储系统中存储表的对应关系，将待写入消息存储到与所述第一标识对应的存储表中。

在本发明实施例中，是将分布式存储系统作为消息队列的存储装置，所述分布式存储系统中存储有一个或多个存储表，每个存储表用于存储一个消息队列，存储表的每条数据记录对应一条消息，且每个存储表在所述分布式存储系统中存储一份或多份(即具有一个或多个副本)。在接收到消息生产者的写消息请求后，对所述写消息请求进行解析，获取其包括的待写入消息和所述待写入消息所属消息队列的第一标识，然后，根据消息队列标识与分布式存储系统中存储表的对应关系，就可以将待写入消息存储到与所述第一标识对应的存储表中。

可选地，本发明实施例的实现消息队列的方法方法还包括：建立消息队列标识与分布式存储系统中存储表的对应关系。

图5示出了根据本发明一个实施例的实现消息队列的方法中读消息队列的流程图，参照图5，读消息队列的过程可以包括：

步骤502，接收消息消费者的读消息请求，所述读消息请求中包括待读取消息所属消息队列的第二标识；

消息消费者需要获取消息进行处理时，会构造一个读消息请求，同样，所述读消息请求中会携带待读取消息所属消息队列的第二标识。

步骤504，根据消息队列标识与分布式存储系统中存储表的对应关系，从与所述第二标识对应的存储表中顺序读取一条消息，将读取到的消息发送到所述消息消费者。

在接收到消息消费者的读消息请求到达后，对所述读消息请求进行解析，获取其包括的待读取消息所属消息队列的第二标识，然后，根据消息队列标识与分布式存储系统中存储表的对应关系，就可以从与所述第二标识对应的存储表中顺序读取一条消息，并将读取到的消息发送到所述消息消费者。

另外，在从存储表中读取到一条消息后，根据不同的实现策略，还可以确定是否将该消息从所述存储表中删除。具体地，所述读消息请求中还可以包括是否删除读取到的消息的第三标识；相应地，本发明实施例的实现消息队列的方法方法还可以包括：当根据所述第三标识确定需要删除读取到的消息，且从存储表中顺序读取到一条消息后，从所述存储表中删除读取到的消息。

在步骤404中，可以通过调用所述分布式存储系统的写接口将消息存储到存储表，在步骤504中，可以通过调用所述分布式存储系统的扫描接口从存储表中顺序读取消息。

所述分布式存储系统可以为Cassandra系统或者其它任意的分布式存储系统。

综上所述，本发明实施例通过引入分布式存储系统作为消息队列的存储模块，使得消息队列能够支持较大消息的存储和传递，并提升了消息队列的可扩展性。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的实现消息队列的装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种实现消息队列的装置，包括：

写队列接口，适于接收消息生产者的写消息请求，所述写消息请求中包括待写入消息和所述待写入消息所属消息队列的第一标识；

读队列接口，适于接收消息消费者的读消息请求，所述读消息请求中包括待读取消息所属消息队列的第二标识；

消息处理器，适于根据消息队列标识与分布式存储系统中存储表的对应关系，将待写入消息存储到与所述第一标识对应的存储表中，以及，从与所述第二标识对应的存储表中顺序读取一条消息，将读取到的消息通过所述读队列接口发送到所述消息消费者。

2.如权利要求1所述的装置，其中，还包括：

对应关系建立器，适于建立消息队列标识与分布式存储系统中存储表的对应关系。

3.如权利要求1所述的装置，其中：

所述读消息请求中还包括是否删除读取到的消息的第三标识；

所述消息处理器还适于当根据所述第三标识确定需要删除读取到的消息，且从存储表中顺序读取到一条消息后，从所述存储表中删除读取到的消息。

4.如权利要求1所述的装置，其中，所述消息处理器通过调用所述分布式存储系统的写接口将消息写入存储表，通过调用所述分布式存储系统的扫描接口从存储表中顺序读取消息。

5.如权利要求1至4中任一项所述的装置，其中，所述分布式存储系统为Cassandra系统。

6.一种实现消息队列的方法，包括：

接收消息生产者的写消息请求，所述写消息请求中包括待写入消息和所述待写入消息所属消息队列的第一标识；

根据消息队列标识与分布式存储系统中存储表的对应关系，将待写入消息存储到与所述第一标识对应的存储表中；

接收消息消费者的读消息请求，所述读消息请求中包括待读取消息所属消息队列的第二标识；

根据消息队列标识与分布式存储系统中存储表的对应关系，从与所述第二标识对应的存储表中顺序读取一条消息，将读取到的消息发送到所述消息消费者。

7.如权利要求6所述的方法，其中，还包括：

建立消息队列标识与分布式存储系统中存储表的对应关系。

8.如权利要求6所述的方法，其中：

所述读消息请求中还包括是否删除读取到的消息的第三标识；

所述方法还包括：当根据所述第三标识确定需要删除读取到的消息，且从存储表中顺序读取到一条消息后，从所述存储表中删除读取到的消息。

9.如权利要求6所述的方法，其中，通过调用所述分布式存储系统的写接口将消息存储到存储表，通过调用所述分布式存储系统的扫描接口从存储表中顺序读取消息。

10.如权利要求6至9中任一项所述的方法，其中，所述分布式存储系统为Cassandra系统。

Images