CN105306552A - 一种基于消息队列的消费均衡方法及系统 - Google Patents

Abstract

本发明公开了一种基于消息队列的消费均衡及系统，该方法包括：排序步骤，消费者端实时依照多个消息队列的未消费消息数，对该多个消息队列进行排序；消费步骤，当消费者端所执行的任一线程需要消费消息时，均以未消费消息数最大的消息队列作为目标队列，从该目标队列中获取消息，进行消费。通过本发明的上述技术方案，不管生产者端以何种策略生产消息，或者消费者端每次是否拉取相同条数的消息，或者服务器是否发生了宕机，本发明均可以保证未消费数最大的消息队列在下一次消费的时候得到了消费，维护整个消息队列的消费均衡，不会出现某个消息队列的消息积压的现象。

Description

一种基于消息队列的消费均衡方法及系统

技术领域

本发明涉及基于消息队列的计算机通信技术领域，特别是涉及一种基于消息队列的消费均衡方法及系统。

背景技术

消息队列系统(又名消息中间件)被广泛的用于各个互联网公司。作为消息的一种缓冲机制，它可以有效的减轻公司后台服务器的压力。

一个典型的消息队列系统的结构示意图如图1所示，一共由三部分组成：

1.生产者端：负责向消息队列发送消息的终端。

2.消费者端：从消息队列中获得消息的终端。

3.消息队列：用于存储消息的中间件。通常来说，消息队列系统的中间件包括多个消息队列，这些消息队列用于存储生产者端发送过来的消息。消息队列通常设置在至少一台服务器上，在实际操作中通常为多台服务器。

由于这种系统是由三部分组成，所以可以有多个生产者端向同一个中间件发送消息，也有可能会有多个消费者端从中间件中拉取消息，进行消费。

举例来说，对于电商而言，用户作为生产者端，其产生的订单会被首先发送至消息队列，然后其他程序作为消费者端，会从该消息队列中拉取消息进行消费，即对订单进行处理。采用消息队列的好处是：不管前台产生订单的速度如何迅猛，通过中间消息队列的缓存，可以保证后台程序的正常运行，从而避免了网络波峰可能对后台服务器造成的压力。

不仅如此，消息队列还被广泛用在及时通讯等应用中。比如当两台终端通讯时，首先由终端一发送了一条消息给自己的好友，该消息会被缓存在消息队列中，继而被推送至对应好友的终端的软件中。这种设计的好处是，当好友不在线(即没有打开对应的软件时)，消息队列可以被当作一种数据的存储工具。由于不需要提供查询、删除等操作，所以使用消息队列作为存储工具，比传统的数据库要高效很多。

以下为消息队列系统的具体工作方式：

生产者端一般采用轮询的方式向各个消息队列轮流发送消息，例如中间件中一共有3个消息队列，那么生产者端会采用“消息队列1-消息队列2-消息队列3-消息队列1-消息队列2-消息队列3”这种顺序，分别向各个消息队列发送消息。

对于消费者端，目前，对于绝大数消息队列系统，消费者端都可以自己决定每次从中间件拉取多少条消息，而所拉取的消息是从一个消息队列获取还是从多个消息队列获取一般由系统本身决定。目前而言，大多数开源系统采用轮询的方式，轮流的从各个消息队列获取消费者端需要的消息。例如，当有三个消息队列的时候，消费者端如果先后发送了获取1条消息，10条消息，100条消息的命令，那么系统会相应的从消息队列1获取1条消息给消费者端，从消息队列2获取10条消息给消费者端，从消息队列3获取100条消息给消费者端。

但是，目前的消费方案存在消费不均衡的现象。所谓消费均衡，即为各个消息队列的未消费消息数大致相等。目前的绝大数消息队列系统在以下几个场景中会出现消费不均衡的现象：

场景一，当生产者端没有严格按照轮询的方式向各个消息队列发送消息，但是消费者端依然采用轮询的方式来消费，此时就会造成某个消息队列中的消息积压。例如，假设有3个消息队列，而生产者端轮询的向3个消息队列发送消息，但是并不是每次都发送1条，而是给消息队列1发送10条消息，给消息队列2发送100条消息，给消息队列3发送1000条消息。那么如果消费者端仍然按照轮询均匀的消费，那么消息队列3的消息会严重积压。

场景二，生产者端并非均匀消费。例如，消费者端可以按照每次1条消息，10条消息，100条消息的顺序从各个消息队列拉取消息，那么消息队列3的消息会被消费得很快，而消息队列1的消息会消费的很慢，尽管这两个消息队列的消息生产时间也许是一致的，同样造成了消费不均衡的状态。

场景三，服务器集群的某个节点宕机。消息队列往往支持分布式部署，多个消费队列可能分布在不同的节点上，当一个节点宕机之后，该节点上存储的消费队列不能继续接收消息，但是其他在线的节点仍然在接收消息，或者消费端仍在从其他在线节点消费消息。当该节点从故障中恢复过来之后，其存储的消息数量要小于其他节点上消费队列的消息数量。所以，此时，也必须采取某种均衡方式，对消费进行负载均衡。

基于以上情况，如何让消费者端做到消费自动均衡是本领域亟待解决的问题，目前各个开源系统都没有完美的解决这一问题。业界目前的做法，即采取上面的做法(轮询的方法)来发送和消费消息。由于生产者端和消费者端大多数情况下也是由同一支开发团队所设计开发，所以只能在严格设定生产者端和消费者端按照均匀轮询方法运作的前提下，来维持消费均衡。

基于此，业界目前并没有提出一种通用的消费均衡解决方案，使得它可以在各个情况下均适用。即，即使生产者端和消费者端未按照均匀轮询方法运作，也能维持消费均衡，提高适用性。

发明内容

本发明解决的技术问题是，提出一种通用的自动完成消费均衡的方法和系统。

更进一步，本发明不用考虑消费者端需要的消息数量，生产者端是以何种策略向队列发送消息，也不用考虑宕机所带来的潜在风险，在各种情况下，均可保证消费均衡。

为了解决上述问题，本发明公开了一种基于消息队列的消费均衡方法，包括：

排序步骤，消费者端实时依照多个消息队列的未消费消息数，对该多个消息队列进行排序；

消费步骤，当消费者端所执行的任一线程需要消费消息时，均以未消费消息数最大的消息队列作为目标队列，从该目标队列中获取消息，进行消费。

该消费步骤之后还包括维护步骤：消费完毕后，获取该目标队列的当前未消费消息数并反馈至该排序步骤。

该排序步骤进一步包括：利用一异步更新线程，轮询该多个消息队列，实时获得多个消息队列的未消费消息数，并据以对该多个消息队列进行实时排序。

所述方法利用堆结构实现该排序步骤。

所述方法在执行该消费步骤的过程中，该堆结构将对应该目标队列的堆顶节点删除，并标记为不可用，调整剩余节点的顺序，在该消费步骤执行完毕后，将该目标队列的节点重新加入该堆结构。

本发明还公开了一种基于消息队列的消费均衡系统，包括：

排序单元，用于使得消费者端实时依照多个消息队列的未消费消息数，对该多个消息队列进行排序；

消费单元，用于当消费者端所执行的任一线程需要消费消息时，均以未消费消息数最大的消息队列作为目标队列，从该目标队列中获取消息，进行消费。

该系统还包括维护单元：用于在消费完毕后，获取该目标队列的当前未消费消息数并反馈至该排序单元。

该排序单元进一步包括一异步更新线程，用于轮询该多个消息队列，实时获得多个消息队列的未消费消息数，并据以对该多个消息队列进行实时排序。

该排序单元利用堆结构来实现。

所述系统在调用该消费单元的过程中，该堆结构将对应该目标队列的堆顶节点删除，并标记为不可用，调整剩余节点的顺序，在对该消费单元的调用结束后，将该目标队列的节点重新加入该堆结构。

通过本发明的上述技术方案，不管生产者端以何种策略生产消息，或者消费者端每次是否拉取相同条数的消息，或者服务器是否发生了宕机，本发明均可以保证未消费数最大的消息队列在下一次消费的时候得到了消费。通过这种机制，本发明可以维护整个消息队列的消费均衡，不会出现某个消息队列的消息积压的现象。

附图说明

图1所示为现有技术中典型的消息队列系统的结构示意图。

图2A、2B所示为本发明的基于消息队列的消费均衡方法的流程图。

图3所示为本发明的消息队列系统的示意图。

具体实施方式

以下配合实施例，对本发明的技术方案做详细的描述。

本发明在图1所述消息队列系统的基础上，实现在消费者端一侧的自动消费均衡，而不用去考虑消费者端所需要的消息数量，也不考虑生产者端利用怎样的策略向消息队列发送消息，也不用考虑宕机所带来的潜在风险。也就是说，本发明在各种情况下，均可由消费者端直接面对各个消息队列的实际情况，自动实现对各个消息队列的较为均衡的消费。

本发明公开了一种基于消息队列的消费均衡方法，如图2A、2B所示为该方法的流程图，该方法包括：

S1，排序步骤，消费者端实时依照多个消息队列的未消费消息数，对该多个消息队列进行排序；

S2，消费步骤，当消费者端所执行的任一线程需要消费消息时，均以未消费消息数最大的消息队列作为目标队列，从该目标队列中获取消息，进行消费。

更进一步的，该消费步骤之后还包括S3维护步骤：消费完毕后，获取该目标队列的当前未消费消息数并反馈至该排序步骤。

具体来说，如图3所示为本发明的消息队列系统的示意图。本发明在消费者端设置一个堆结构，利用堆结构实现该排序步骤。该堆结构可以是一个最大堆。堆中的每个节点对应一个消息队列，堆的排序依照每个消息队列中未消费消息数q来进行。则对于堆中的任何一个节点，其q值均比其子节点的q值大。

该消费者端还设置有一异步更新线程和多个消费线程，该异步更新线程轮询该多个消息队列，实时获得多个消息队列的未消费消息数并据以实时调整该堆结构中的排序，确保在每个消息队列的q值随时发生变化的前提下，该堆结构中始终保持有序排列，堆顶节点的q值比其他剩余节点的q值大。事实上，异步更新线程不断从服务器的每个消息队列获取最新消息，该最新消息包括该消息队列所包含的消息总数和已经消费的消息数，则通过消息总数和已经消费的消息数的差值，即可获得每个消息队列的未消费消息数。

每次消费者端发起消费时，消费者端会自动分配一个消费线程，该消费线程从该堆结构里面获取堆顶节点所对应的消息队列(目标队列)的信息，然后从服务器中专门获取该消息队列的消息进行消费。也就是说，消费者端永远选择堆顶节点，也就是未消费消息数最大的消息队列进行消费，使得每次消费都在逐渐弥合不同消息队列之间的q值差异，逐步实现消费平衡。在消费完毕后，该消费线程也会把这个消息队列的当前q值反馈给堆结构，即，该消费线程会将本次已经消费掉的消息数x反馈给堆结构，则异步更新线程根据q-x获得该消息队列的当前最新未消费消息数，并据以重新排列该堆结构中各节点的顺序，从而维护堆的性质。

更为具体的，在每次消费线程从堆结构里面选取堆顶节点所对应的消息队列进行消费时，堆结构都会将对应该目标队列的堆顶的节点删除，并标记为不可用，并调整剩余节点的顺序，当该消费线程消费完毕后，将该目标队列重新加入到堆结构中。

通过本发明的上述技术方案，可以有效的进行消费均衡控制。在所有欲消费的消息队列中，未消费数最大的队列肯定在堆的顶部。而且，通过一个异步更新线程从服务器拉取消息队列信息，对堆结构不停的调整位置，保证该堆顶的队列一定是未消费数最大的队列。通过这种技术，那么不管生产者端以何种策略生产消息，或者消费者端每次是否拉取相同条数的消息，或者服务器是否发生了宕机，本发明均可以保证未消费数最大的消息队列在下一次消费的时候得到了消费。通过这种机制，本发明可以维护整个消息队列的消费均衡，不会出现某个消息队列的消息积压的现象。

Claims (10)

1.一种基于消息队列的消费均衡方法，其特征在于，包括：

排序步骤，消费者端实时依照多个消息队列的未消费消息数，对该多个消息队列进行排序；

消费步骤，当消费者端所执行的任一线程需要消费消息时，均以未消费消息数最大的消息队列作为目标队列，从该目标队列中获取消息，进行消费。

2.如权利要求1所述的方法，其特征在于，该消费步骤之后还包括维护步骤：消费完毕后，获取该目标队列的当前未消费消息数并反馈至该排序步骤。

3.如权利要求1所述的方法，其特征在于，该排序步骤进一步包括：利用一异步更新线程，轮询该多个消息队列，实时获得多个消息队列的未消费消息数，并据以对该多个消息队列进行实时排序。

4.如权利要求1或2或3所述的方法，其特征在于，利用堆结构实现该排序步骤。

5.如权利要求4所述的方法，其特征在于，在执行该消费步骤的过程中，该堆结构将对应该目标队列的堆顶节点删除，并标记为不可用，调整剩余节点的顺序，在该消费步骤执行完毕后，将该目标队列的节点重新加入该堆结构。

6.一种基于消息队列的消费均衡系统，其特征在于，包括：

排序单元，用于使得消费者端实时依照多个消息队列的未消费消息数，对该多个消息队列进行排序；

消费单元，用于当消费者端所执行的任一线程需要消费消息时，均以未消费消息数最大的消息队列作为目标队列，从该目标队列中获取消息，进行消费。

7.如权利要求6所述的系统，其特征在于，该系统还包括维护单元：用于在消费完毕后，获取该目标队列的当前未消费消息数并反馈至该排序单元。

8.如权利要求6所述的系统，其特征在于，该排序单元进一步包括一异步更新线程，用于轮询该多个消息队列，实时获得多个消息队列的未消费消息数，并据以对该多个消息队列进行实时排序。

9.如权利要求6或7或8所述的系统，其特征在于，该排序单元利用堆结构来实现。

10.如权利要求9所述的系统，其特征在于，在调用该消费单元的过程中，该堆结构将对应该目标队列的堆顶节点删除，并标记为不可用，调整剩余节点的顺序，在对该消费单元的调用结束后，将该目标队列的节点重新加入该堆结构。