CN103312624A

CN103312624A - 一种消息队列服务系统和方法

Info

Publication number: CN103312624A
Application number: CN2012100609148A
Authority: CN
Inventors: 郑立峰; 来鑫
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd; Tencent Cloud Computing Beijing Co Ltd
Priority date: 2012-03-09
Filing date: 2012-03-09
Publication date: 2013-09-18
Anticipated expiration: 2032-03-09
Also published as: CN103312624B

Abstract

本发明实施方式提出一种消息队列服务系统和方法。消息队列访问单元向逻辑接入服务器发送队列访问请求，在队列访问请求中包括消息操作命令和队列访问信息；逻辑接入服务器根据队列访问信息生成key，按照key从key-value存储系统中检索出消息队列，并对该消息队列执行消息操作命令。本发明实施方式提高了可扩展性，在保证系统高效的同时，使得逻辑处理服务器无状态，而且可以只通过加机器的方式进行便捷地横向扩展，满足更高的访问量。

Description

一种消息队列服务系统和方法

技术领域

本发明实施方式涉及信息通讯技术领域，更具体地，涉及一种消息队列服务系统和方法。

背景技术

“消息”是在两台计算机间传送的数据单位。消息可以非常简单，比如只包含文本字符串；也可以更复杂，比如可能包含嵌入对象。“消息队列”是在消息的传输过程中保存消息的容器。消息队列管理器在将消息从它的源中继到它的目标时充当中间人。消息队列的主要目的是提供路由并保证消息的传递；如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它。

目前已经存在一些简单队列服务(SQS，Simple Queue Service)。使用SQS服务可以创建一个队列，然后从不同的地点往队列里存放内容，还可以在不同的地点从队列里取内容。队列实质上是一个分布式的消息传递通道，现在很流行的云计算也可以使用它来做数据传递。队列的基础结构通常是内部网络创建的，可以允许系统和应用程序互相通信，还可以引入互联网(Internet)以实现简单易用的Web服务。

开发人员通过使用SQS可以开发分布式的应用程序，并在它们中间用一种安全、灵活和可靠的方式通信。任何具有Internet连接的机器都可以从队列中读取或张贴内容。队列的接受者可以在不同位置、不同时间读取队列中的数据。

然而，在目前一些常用的SQS设计中，普遍使用配置安全防火墙(CSF)服务器框架，其可扩展性和易可扩展性不够好，而且很多SQS设计采用固态硬盘(ssd，solid state disk)来存储队列消息，其存取速度也不高。

发明内容

本发明实施方式提出一种消息队列服务系统，以提高可扩展性。

本发明实施方式还提出一种消息队列服务方法，以提高可扩展性。

本发明实施方式的具体方案如下：

一种消息队列服务系统，该系统包括消息队列访问单元、逻辑接入服务器和key-value存储系统，其中：

key-value存储系统，用于以key-value方式储存消息队列；

消息队列访问单元，用于向逻辑接入服务器发送队列访问请求，在所述队列访问请求中包括消息操作命令和队列访问信息；

逻辑接入服务器，用于根据所述队列访问信息生成key，按照所述key从该key-value存储系统中检索出消息队列，并对该消息队列执行所述消息操作命令。

一种消息队列服务方法，该方法包括：

发送队列访问请求，在所述队列访问请求中包括消息操作命令和队列访问信息；

根据所述队列访问信息生成key，按照所述key从以key-value方式储存消息队列的key-value存储系统中检索出消息队列，并对该消息队列执行所述消息操作命令。

从上述技术方案可以看出，在本发明实施方式中，消息队列访问单元向逻辑接入服务器发送队列访问请求，在队列访问请求中包括消息操作命令和队列访问信息；逻辑接入服务器根据队列访问信息生成key，按照key从key-value存储系统中检索出消息队列，并对该消息队列执行消息操作命令。由此可见，应用本发明实施方式之后，根据逻辑接入服务器来实现消息队列逻辑服务，当服务访问量迅速扩大时，可以很容易地扩大逻辑接入服务的服务规模，而且由于key-value存储系统能够透明地进行扩容，不影响消息队列的对外服务，因此本发明实施方式显著提高了可扩展性。

附图说明

图1为根据本发明实施方式的消息队列服务系统结构示意图；

图2为根据本发明实施方式的消息队列服务系统示范性结构示意图；

图3为根据本发明实施方式的消息队列服务方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

图1为根据本发明实施方式的消息队列服务系统结构示意图。

如图1所示，该系统包括消息队列访问单元101、逻辑接入服务器102和key-value存储系统103。其中：

在key-value存储系统103中，以key-value储存方式来存储消息队列。key-value存储系统103具有查询速度快、存放数据量大、支持高并发，等特点，非常适合通过key进行查询。如果辅以实时搜索引擎(Real-Time SearchEngine)进行复杂条件检索、全文检索，就可以替代并发性能较低的MySQL等关系型数据库，达到高并发、高性能，节省几十倍服务器数量的目的。

优选地，key-value存储系统103的数目可以具有多个，并构成分布式的key-value存储系统群。而且，key-value存储系统103的具体数目可以随着应用环境的变化而相应增加或删除。

优选地，key-value存储系统103具体可以为MemcacheDB、Tokyo Tyrant等key-value分布式内存存储系统。

消息队列访问单元101，用于向逻辑接入服务器102发送队列访问请求，在该队列访问请求中包括消息操作命令和队列访问信息。

优选地，消息队列访问单元101具体可以是用户(比如开发者)所操控的消息队列管理控制台。通过该消息队列管理控制台可以实现操作消息队列，比如创建队列、删除队列，等等。

消息队列访问单元101具体还可以是某些应用/服务。在这种情形下，这些应用/服务中的代码通过调用消息队列的应用程序编程接口(API)，在执行过程中访问消息队列服务。

优选地，队列访问信息可以包括：

(1)访问者的用户名；(2)密码；(3)队列名。

而且，针对不同的消息操作命令，队列访问信息还可能携带特殊的访问信息。

消息操作命令具体可以包括：向消息队列发送消息、从消息队列接收消息、从消息队列删除消息，设置消息队列属性信息，等等。

逻辑接入服务器102，用于根据消息队列访问单元101所发送来的队列访问信息生成key，按照key从该key-value存储系统103中检索出消息队列，并对该消息队列执行消息操作命令。

优选地，逻辑接入服务器可以具有多个，并构成分布式的逻辑接入服务器群。

具体地，消息队列操作的主处理逻辑程序可以部署在逻辑接入服务器102上。该主处理逻辑程序可以调用key-value存储系统103中的服务，对消息队列中的消息进行存取等具体操作。而且，逻辑接入服务器102本身可以并不存储与消息队列相关的任何数据信息(包括消息内容和队列信息)。

优选地，在消息队列访问单元101和逻辑接入服务器102之间可以进一步包括域名服务器。域名服务器，用于为消息队列访问单元101提供域名服务。具体地，域名服务器解析出逻辑接入服务器101的IP地址，并将队列访问请求发送到逻辑接入服务器的IP地址。

优选地，该域名服务器还可以进一步按照负载均衡的方式将队列访问请求分发到逻辑接入服务器，从而使得逻辑接入服务器上的负载保持均衡。

具体而言，域名服务器可以具有下列用途：

(1)向用户透明告知分布式消息队列的逻辑接入服务器个数及IP等物理信息；

(2)添加或删除逻辑接入服务器：域名服务器一方面对用户透明告知逻辑接入服务器个数及IP等物理信息；另一方面只需要在域名服务器上配置，即可将用户请求转发或者不转发到某台逻辑接入服务器上；

(3)负载均衡：可以按某种策略，比较均匀地将队列访问请求分摊到分布式消息队列的逻辑接入服务器上。

优选地，该系统还可以进一步包括锁服务器。锁服务器，用于当存在并发操作同一消息队列的多个队列访问请求时，为了保证队列中消息顺序的正确性，对该同一消息队列进行上锁，以使得多个队列访问请求顺序执行。

基于图1所示详细描述，图2为根据本发明实施方式的消息队列服务系统示范性结构示意图。

如图2所示，逻辑接入服务器和key-value内存存储系统都是分布式的，其数目都可以进行相应扩展。

在图2中，用户或其他应用/服务对应于图1中的消息队列访问单元。用户或其他应用/服务向域名服务器发送队列访问请求，在该队列访问请求中包括消息操作命令和队列访问信息，并通过该域名服务器接入逻辑接入服务器群。

在此过程中，域名服务器可以向用户或其他应用/服务透明告知逻辑接入服务器个数及其IP地址等物理信息；而且只需要在域名服务器上进行配置，即可将用户发出的队列访问请求转发或者不转发到某台逻辑接入服务器上。

域名服务器还可以起到负载均衡的作用，队列访问请求可以按某种策略比较均匀地落到分布式消息队列的逻辑接入服务器上。

逻辑接入服务器根据发送来的队列访问信息生成key，按照key从key-value存储系统中检索出消息队列，并对该消息队列执行消息操作命令。逻辑接入服务器可以调用锁服务，对消息队列进行锁操作。

在图2中，该基于分布式的key-value内存存储系统的节点在查找时用key进行查找，key为该节点对应的消息ID，节点中存储消息的描述和下一个节点的消息ID。

基于分布式key-value内存存储系统的好处是：

(1)，数据存储在内存中，读取速度快；

(2)，虽然数据存储在内存中，但是当存储的机器宕机时，系统仍能正常服务，因为其利用冗余等措施解决了宕机等容错问题；

(3)，该分布式存储系统可以自动扩容，当消息量增大时，该系统会自动扩容，扩容期间不会影响消息队列服务本身，也就是说该分布式存储系统的一切工作对消息队列服务都是透明的，这使得分布式消息队列的设计更加简单、健壮性也更强。

而且本发明实施方式的逻辑接入服务是无状态的，即某一次请求无需依赖之前某一次请求的处理结果。也就是说，来自用户或者其他服务/应用的请求可以而且可能落在任意一台逻辑接入服务器和/或key-value内存存储系统上。

逻辑接入服务无状态具有如下优点：当并发访问量增大时，可以靠增加服务器达到横向扩展服务的目的。

本发明实施方式能够实现逻辑接入服务无状态，主要包括两个因素：

(1)基于分布式的key-value内存存储系统：消息队列的逻辑实现中任何操作(包括发送消息、接收消息、创建队列等)需要读取的信息和写入的信息都是从分布式的key-value内存存储系统中获得的，其本身在逻辑接入服务器上并没有存储任何信息，所以每一次的操作都不依赖于消息队列的逻辑处理服务器；

(2)基于锁服务：虽然所有信息都存储在分布式的key-value系统中，但是会存在并发操作的情况，比如有两个请求同时要向同一队列发送消息，也就是要对同一队列执行插入操作，队列是通过节点中的next指针串联起来的，如果两个并发的发送消息操作，都读到了队列尾节点，都将尾节点的next值修改为自己消息ID，这样必然造成有一个发送操作修改的值被另一个发送操作覆盖，造成消息的丢失。解决这个问题依靠锁服务。当分布式消息队列逻辑服务要操作队列前首先与锁服务通信，请求对该队列上锁，如果锁成功，则可以继续执行，否则，则重试或者返回失败。这样就保证了服务的正确性。

基于上述系统结构，本发明实施方式还提出了一种消息队列服务方法。

图3为根据本发明实施方式的消息队列服务方法流程图。

如图3所示，该方法包括：

步骤301：发送队列访问请求，在所述队列访问请求中包括消息操作命令和队列访问信息。

在这里，通用的队列访问信息包括三点：(1)访问者的用户名；(2)密码；(3)队列名，不同的消息操作命令还有可能携带特殊的访问信息。

当消息操作命令为向队列发送消息时，队列访问信息额外包含被发送的消息内容。

当消息操作命令为从队列接收消息时，队列访问信息可以额外包含此次接收到的消息的超时时间。当访问者从队列接收消息后，这条消息就不能被其他人接收了，但是如果访问者在该超时时间内没有从队列中删除刚刚接收到的这条消息，那么这条消息可以被其他访问者重新接收。

当消息操作命令为从队列删除消息时，队列访问信息额外包含接收消息时消息队列服务返回的一个唯一标识。当消息接收时，给这个消息打上这个标识，只有拿着这个标识来删除消息的访问者才能成功删除此消息，从而保证只有一个访问者成功接收到消息。

当消息操作命令为设置队列属性信息时，队列访问信息额外包含要设定的属性名和设定的属性值，具体属性可以为队列消息接收超时时间。

步骤302：根据所述队列访问信息生成key，按照所述key从以key-value方式储存消息队列的key-value存储系统中检索出消息队列，并对该消息队列执行所述消息操作命令。

在这里，消息操作命令可以包括：向消息队列发送消息、从消息队列接收消息、从队列删除消息(指：删除刚刚接收过的消息)、设置队列属性信息(包括设置队列中消息接收超时时间)，等等。

综上所述，在本发明实施方式中，消息队列访问单元向逻辑接入服务器发送队列访问请求，在队列访问请求中包括消息操作命令和队列访问信息；逻辑接入服务器根据队列访问信息生成key，按照key从key-value存储系统中检索出消息队列，并对该消息队列执行消息操作命令。

由此可见，应用本发明实施方式之后，采用了逻辑接入服务器作为逻辑服务实体，因此当服务访问量迅速扩大时，可以很容易的扩大逻辑接入服务器的服务规模，而且由于key-value存储系统可以透明地进行扩容，不影响消息队列的对外服务，因此本发明实施方式显著提高了可扩展性。

而且，本发明实施方式使用分布式key-value内存存储系统，使得对消息的存取速度更高；而且本发明实施方式引入锁服务，从而保证了消息队列服务在并发条件下的正确性。

另外，本发明实施方式基于分布式内存key-value存储结构，引入锁服务，在保证系统高效的同时，还使得逻辑处理服务器无状态，可以只通过加机器的方式进行便捷地横向扩展，满足更高的访问量。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种消息队列服务系统，其特征在于，该系统包括消息队列访问单元、逻辑接入服务器和key-value存储系统，其中：

key-value存储系统，用于以key-value方式储存消息队列；

2.根据权利要求1所述的消息队列服务系统，其特征在于，在消息队列访问单元和逻辑接入服务器之间进一步包括域名服务器；

所述域名服务器，用于解析出逻辑接入服务器的IP地址，并将所述队列访问请求发送到逻辑接入服务器的IP地址。

3.根据权利要求2所述的消息队列服务系统，其特征在于，

该域名服务器，进一步用于按照负载均衡的方式将所述队列访问请求分发到逻辑接入服务器。

4.根据权利要求1所述的消息队列服务系统，其特征在于，该系统进一步包括锁服务器；

所述锁服务器，用于当存在并发操作同一消息队列的多个队列访问请求时，对该同一消息队列进行上锁，以使得所述多个队列访问请求顺序执行。

5.根据权利要求1所述的消息队列服务系统，其特征在于，所述逻辑接入服务器具有多个，并构成分布式的逻辑接入服务器群。

6.根据权利要求1所述的消息队列服务系统，其特征在于，所述key-value存储系统具有多个，并构成分布式的key-value存储系统群。

7.一种消息队列服务方法，其特征在于，该方法包括：

8.根据权利要求7所述的消息队列服务方法，其特征在于，该方法进一步包括：

当存在并发操作同一消息队列的多个队列访问请求时，对该同一消息队列进行上锁，以使得所述多个队列访问请求顺序执行。

9.根据权利要求7所述的消息队列服务方法，其特征在于，该方法进一步包括：

按照负载均衡的方式将所述队列访问请求分发到逻辑接入服务器。

10.根据权利要求7-10中任一项所述的消息队列服务方法，其特征在于，所述消息操作命令包括下列中的至少一个：

向消息队列发送消息；

从消息队列接收消息；

从消息队列删除消息；或

设置消息队列属性信息。

11.根据权利要求7-10中任一项所述的消息队列服务方法，其特征在于，所述队列访问信息包括下列中的至少一个：

访问者的用户名；

密码；或

队列消息的名字。