CN103516585A - 一种实现消息优先级分发的方法及系统 - Google Patents

Abstract

本发明公开一种实现消息优先级分发的方法和系统，设置记录注册用户信息的用户队列；配置由待分发消息构成的消息队列，对待分发消息根据其不同优先级设定不同的权重，加入到消息队列中；建立用户队列内的用户和消息队列内的待分发消息之间的映射关系；接收登录用户的请求消息，根据所述映射关系查找对应所述登录用户的待分发消息；从查找到的待分发消息中将权重最高的待分发消息发送给所述登录用户。本发明的消息分发机制使单台服务器能保证每秒超过几万的消息分发量，对拥有大量登录用户的消息推送系统需求的产品来说能提供较为稳定的消息推送服务。

Description

一种实现消息优先级分发的方法及系统

技术领域

本发明涉及计算机网络领域，具体涉及一种实现消息的优先级处理的方法。

背景技术

Redis（Remote Dictionary Server）是一种key-Value的消息存储系统。Redis提供了一些丰富的数据结构，包括string，list，sets，ordered sets以及hashes。Redis性能极高，能支持超过100K+每秒的读写频率。并且Redis所有的操作都是原子性的，同时Redis还支持对几个操作合并后的原子性执行。Redis提供各种语言的客户端支持，包括php、c等。Redis存储的数据放在内存中使用，因此读写性能比mysql等数据库高很多。Nginx是一款通用、开源、高效的HTTP服务器。Nginx现在市场份额占有12.18%，Nginx最为显著的特色是它的高性能、稳定性和丰富的第三方模块，Nginx对于高并发性有很好的表现，它可以同时容纳约100万的连接数。因此对于有高并发的系统需求来说，Nginx+Redis的结合是一个很好的选择。

由于现有消息队列是存储在Redis中，Redis本身具有的list结构可以实现队列的操作，这是利用了list结构中的lpop和lpush等原子操作来实现的，但是往往消息是有优先级的，有的消息优先级高，有的消息优先级低,而Redis中的list数据结构无法实现消息队列的选择操作，这就局限了消息队列的扩展性。

发明内容

为解决现有技术中网络服务器向对要分发的消息无法实现优先级处理的问题，本发明提供一种向网络服务器记录的在线登录用户分发消息，同时实现待分发消息的优先级选取的方法，本发明能够大大提高了消息的发送效率并对加急消息能够及时作出处理，具体方案如下：一种实现消息优先级分发的方法，其特征在于，包括下述步骤：

步骤1、设置记录注册用户信息的用户队列；

步骤2、配置由待分发消息构成的消息队列，对待分发消息根据其不同优先级设定不同的权重后加入到消息队列中；

步骤3、建立用户队列内的用户和消息队列内的待分发消息之间的映射关系；

步骤4、接收登录用户的请求信息，根据所述映射关系查找对应所述登录用户的待分发消息；

步骤5、从查找到的待分发消息中将权重最高的待分发消息发送给所述登录用户。

优选的：所述步骤2中设定不同的权重是通过在数据库中创建的类函数实现的。

优选的：所述类函数包括两个公开函数和一个私有函数；所述公开函数实现获取消息队列中权重最小的元素或权重最大的元素；所述私有函数用于保证公开函数调用的自身原子性。

优选的：所述步骤3中的映射关系是依据用户ID与待分发消息的Value值相对应建立，并将所述映射关系保存到数据库中。

优选的：对用户已经接收过的待分发消息，将其Value由该用户的映射关系中删除。

优选的：所述步骤5中，待分发消息仅发送给用户队列中的登录用户。

优选的：服务器随时将新登录的用户ID加入到用户队列中，随时将新的待分发消息加上权重后加入到消息队列中，并随时将新的待分发消息与用户队列中的用户ID建立映射关系。

一种实现消息优先级分发的系统，其特征在于，该系统包括：

用户队列模块，设置记录注册用户信息的用户队列；

消息队列模块，配置由待分发消息构成的消息队列，对待分发消息根据其不同优先级设定不同的权重后加入到消息队列中；

映射模块，建立用户队列内的用户和消息队列内的待分发消息之间的映射关系；

接收模块，接收登录用户的请求信息，根据映射模块中的对应关系查找对应的待分发消息；

发送模块，从查找到的待分发消息中将权重最高的待分发消息发送给所述登录用户。

优选的：所述消息队列模块中，所述设定不同的权重是通过在数据库中创建的类函数实现的。

优选的：所述类函数包括两个公开函数和一个私有函数；所述公开函数实现获取消息队列中权重最小的元素或权重最大的元素；所述私有函数用于保证公开函数调用的自身原子性。

优选的：所述映射模块中的映射关系是依据用户ID与待分发消息的Value值相对应建立，并将所述映射关系保存到数据库中。

优选的：对用户已经接收过的待分发消息，将其Value由该用户的映射关系中删除。

优选的：所述发送模块中待分发消息仅发送给用户队列中的标明的登录用户。

优选的：用户队列模块随时将新登录的用户ID加入到用户队列中，消息队列模块随时将新的待分发消息加上权重后加入到消息队列中，映射模块随时将新的待分发消息与用户队列中的用户ID建立映射关系。

本发明实现一种高效的消息分发机制，在消息分发机制中，将消息接收用户区分为登录用户和非登录用户，以在线用户的数量作为消息分发对象，取消了未登录用户的消息分发，大大减少了分发量。本发明利用权重的大小来区分不同优先级的消息，在取出待分发消息时，能够根据权重的大小优先取出重要消息，实现了消息的优先分发。本发明在登录用户与需分发消息之间建立相互映射关系，由登录用户的客户端轮询时获取相应消息，减少了服务器的负担。本方案的消息分发机制使单台服务器能保证每秒超过几万的消息分发量，对拥有大量登录用户的消息推送系统需求的产品来说能提供较为稳定的消息推送服务。

附图说明

图1本发明中的消息优先级的实现步骤流程图。

图2本发明中实现消息优先级的执行流程图。

图3本发明系统中各模块的工作示意图。

具体实施方式

如图1、2所示，本发明一个实施例应用于Nginx服务器和Redis数据库的组合，使得原本没有权重队列操作的Redis数据库有了这个功能，在消息队列方面，本方案改进点着重于消息的取出，而在用户队列方面，本方案利用登录用户和未登录用户的划分来减少同时接收消息的用户群，利用PHP和Redis数据库的函数在消息队列和用户队列之间建立映射关系，从而建立一套快速且能够实现消息优先级辩认的消息分发机制。具体步骤如下：

101、设置记录注册用户信息的用户队列；

新用户登录客户端后，客户端发送HTTP请求usr/login告知Nginx服务器该用户已经登录，Nginx服务器在Redis数据库上建立一个由注册用户构成的用户队列，用户队列随时记录新登录的用户，Nginx服务器利用PHP调用Redis数据库自带的rPush命令将新登录用户插入用户队列。

102、配置由待分发消息构成的消息队列，对待分发消息根据其不同优先级设定不同的权重后加入到消息队列中；

PHP利用Redis数据库的zAdd命令进行有权重的由待分发消息构成的消息队列的组建，脚本语言使用PHP，核心操作步骤实现了一个具体的类，代码示例如下：

上述代码利用了zSet结构实现消息队列中有权重的待分发消息的操作，其中这个类利用了两个公开函数和一个私有函数，其中公开函数zPop实现获取权重最小的元素，公开函数zRevPop实现了获取权重最大的元素，这两个公开函数都调用了私有函数zSetPop，zSetPop使用watch和exec来保证这个函数的原子性，在watch和exec中间的所有操作会被看成是一个原子操作。在核心操作步骤中使用zSetPop取出需要的元素（按权重最小或者权重最大确定取出的元素），当元素不存在，行为结束；当元素存在，返回这个元素，并且删除这个元素。上述代码中zSetPop先是取出需要的元素（按权重最小或者权重最大确定取出的元素），当元素不存在，行为结束；当元素存在，返回这个元素，并且删除这个元素。

待分发消息加入到消息队列中是Nginx服务器通过PHP调用Redis数据库的zAdd命令，而取出待分发消息是Nginx服务器通过PHP调用Redis数据库的zPop命令，本发明中待分发消息取出顺序是按权重从大到小的顺序进行的。

在程序执行过程中，zPop每次取出权重最大的元素，如果有权重相同的则依次取出同一级别的，如zPop返回为空，表示没有待分发消息，程序直接此步骤而转到下一步骤。

前面公开的类实现了消息队列的pop操作，关于消息队列的push操作我们通过PHP调用Redis数据库本身的zAdd操作来实现，具体代码如下：

103、建立用户队列内的用户和消息队列内的待分发消息之间的映射关系；

在每一个注册的用户与所有的待分发消息之间建立一张映射表，映射表主要包括用户ID和待分发消息的Value。其中用户ID是Nginx服务器通过PHP调用Redis数据库的rPop命令取出的，如rPop返回为空，表示没有新登录用户，则直接结束消息分发流程。此时Redis数据库的zSet结构，将用户ID作为key，消息ID作为Value，在zSet中多个消息ID的Value构成一个集合，因此映射构造是一个用户ID映射一个消息ID的集合。注册用户是一个不断增加的过程，而且登录的用户也是随时在变化的，因此用户队列中只包括那些已登录和新登录的用户，服务器随时将新登录的用户ID加入到当前的用户队列中。而待分发消息也是随时在增加的，所有的消息都保存在数据库中，而每个注册用户的映射表中仅保留各消息的Value，服务器随时将新消息保存到数据库中，在从数据库中取出待分发消息时，对每个待分发消息加上权重后加入到消息队列中，并随时将新的待分发消息与用户队列中的用户ID建立映射关系，即随时针对在线用户ID在其映射表中添加待分发消息的Value，同时对已经分发给此用户ID的消息，将其Value由映射表中删除。

104、接收登录用户的请求信息，根据所述映射关系查找对应所述登录用户的待分发消息；

在客户端轮询的时候，服务器根据此用户ID去数据库中查找其映射表，根据映射表中的映射关系确定当前是否有需要发送给此用户的待分发消息。

105、从查找到的待分发消息中将权重最高的待分发消息发送给所述登录用户。

此时如果此用户有需要发送的待分发消息，由服务器根据映射表中各待分发消息的Value记录的权重大小，依次由数据库中取出各待分发消息发送给登录用户。

本发明为了保证原子性，在所有操作之前都使用了watch命令，在操作之后都使用exec命令。这两个命令都是Redis数据库自带的，组合后的作用就是将watch和exec之间的命令统一打包而看成一个操作来进行。

本发明中的Nginx服务器使用Linux操作系统，但不限于linux操作系统，对服务器适用的类型也没有专门的限定。

如图2所示，程序开始10，首先以登录用户12为目标，建立一个用户队列13，新登录的用户插入到用户队列13中，获取新登录用户并同时进行是否有新登录用户14的判断，如果没有则直接结束18程序，否则获取登录用户15；同时在数据库中建立一个由待分发消息构成的消息队列20，从消息队列中读取待分发消息并进行是否有待分发消息21的判断，如果没有则直接结束18程序，否则按待分发消息权重22的大小将待分发消息取出，在登录用户与待分发消息之间建立映射16关系，在客户端轮询时按映射关系进行分发消息17，分发完毕后结束18程序。

图3为实现消息优先级分发的系统中各模块的工作示意：

用户队列模块，设置记录注册用户信息的用户队列；

其中的数据库为Redis数据库。用户队列模块中新登录用户是由PHP调用Redis数据库中的rPush命令加入到用户队列中的。

消息队列模块，配置由待分发消息构成的消息队列，对待分发消息根据其不同优先级设定不同的权重，加入到消息队列中；

消息队列模块中，所述设定不同的权重是通过在数据库中创建的类函数实现的。所述类函数包括了两个公开函数和一个私有函数；所述公开函数实现获取消息队列中权重最小的元素或权重最大的元素；所述私有函数用于保证公开函数调用的自身原子性。对用户已经接收过的待分发消息，将其Value由该用户的映射关系中删除。

映射模块，建立用户队列内的用户和消息队列内的待分发消息之间的映射关系；

所述映射模块中的映射关系是依据用户ID与待分发消息的Value值相对应建立，并将所述映射关系保存到数据库中。

接收模块，接收登录用户的请求信息，根据映射模块中的对应关系查找对应的待分发消息；

同时接收模块还从数据库中接收返回的数据，并传送给发送模块。

发送模块，从查找到的待分发消息中将权重最高的待分发消息发送给所述登录用户。

其中消息控制模块是服务器通过PHP调用Redis数据库中的zAdd命令将待分发消息加入到消息队列中，调用Redis数据库中的zPop命令将待分发消息由消息队列中取出的，其中待分发消息的取出顺序是根据各待分发消息的权重由大到小进行的，zPop命令使用watch和exec保证其中函数的原子性。如果zPop返回为空时，表示没有待分发消息，程序直接结束消息分发流程。消息控制模块中已经取出的待分发消息直接从消息队列中删除。

消息推送的过程如下：用户队列模块根据注册客户的信息在数据库内建立用户队列，消息队列模块在数据库内将待分发消息组成消息队列，同时对待分发消息进行权重的设定，而且在取出待分发消息时，也是按待消息队列中待分发消息的权重大小将消息队列中的待分发消息取出，映射模块在用户队列中的在线用户的用户ID和消息队列中待分发消息的Value之间建一一对应的映射关系，接收模块接收客户端的轮询请求，然后根据各客户端的用户ID去映射表中查找其对应的待分发消息，同时接收数据库返回的数据，然后通过发送模块按各待分发消息的权重发送给相应的客户端。

以上所述仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专利的技术人员在不脱离本发明技术方案范围内，当可利用上述提示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明方案的范围内。

Claims (14)

1.一种实现消息优先级分发的方法，其特征在于，包括下述步骤：

步骤1、设置记录注册用户信息的用户队列；

步骤2、配置由待分发消息构成的消息队列，对待分发消息根据其不同优先级设定不同的权重后加入到消息队列中；

步骤3、建立用户队列内的用户和消息队列内的待分发消息之间的映射关系；

步骤4、接收登录用户的请求信息，根据所述映射关系查找对应所述登录用户的待分发消息；

步骤5、从查找到的待分发消息中将权重最高的待分发消息发送给所述登录用户。

2.如权利要求1所述的方法，其特征在于，所述步骤2中设定不同的权重是通过在数据库中创建的类函数实现的。

3.如权利要求2所述的方法，其特征在于，所述类函数包括两个公开函数和一个私有函数；所述公开函数实现获取消息队列中权重最小的元素或权重最大的元素；所述私有函数用于保证公开函数调用的自身原子性。

4.如权利要求1所述的方法，其特征在于，所述步骤3中的映射关系是依据用户ID与待分发消息的Value值相对应建立，并将所述映射关系保存到数据库中。

5.如权利要求4所述的方法，其特征在于，对用户已经接收过的待分发消息，将其Value由该用户的映射关系中删除。

6.如权利要求1所述的方法，其特征在于，所述步骤5中，待分发消息仅发送给用户队列中的登录用户。

7.如权利要求1所述的方法，其特征在于，服务器随时将新登录的用户ID加入到用户队列中，随时将新的待分发消息加上权重后加入到消息队列中，并随时将新的待分发消息与用户队列中的用户ID建立映射关系。

8.一种实现消息优先级分发的系统，其特征在于，该系统包括：

用户队列模块，设置记录注册用户信息的用户队列；

消息队列模块，配置由待分发消息构成的消息队列，对待分发消息根据其不同优先级设定不同的权重后加入到消息队列中；

映射模块，建立用户队列内的用户和消息队列内的待分发消息之间的映射关系；

接收模块，接收登录用户的请求信息，根据映射模块中的对应关系查找对应的待分发消息；

发送模块，从查找到的待分发消息中将权重最高的待分发消息发送给所述登录用户。

9.如权利要求8所述的系统，其特征在于，所述消息队列模块中，所述设定不同的权重是通过在数据库中创建的类函数实现的。

10.如权利要求9所述的系统，其特征在于，所述类函数包括两个公开函数和一个私有函数；所述公开函数实现获取消息队列中权重最小的元素或权重最大的元素；所述私有函数用于保证公开函数调用的自身原子性。

11.如权利要求8所述的系统，其特征在于，所述映射模块中的映射关系是依据用户ID与待分发消息的Value值相对应建立，并将所述映射关系保存到数据库中。

12.如权利要求11所述的系统，其特征在于，对用户已经接收过的待分发消息，将其Value由该用户的映射关系中删除。

13.如权利要求8所述的系统，其特征在于，所述发送模块中待分发消息仅发送给用户队列中的标明的登录用户。

14.如权利要求8所述的系统，其特征在于，用户队列模块随时将新登录的用户ID加入到用户队列中，消息队列模块随时将新的待分发消息加上权重后加入到消息队列中，映射模块随时将新的待分发消息与用户队列中的用户ID建立映射关系。

Images