CN105306277A - 消息队列的消息调度方法及消息调度装置 - Google Patents

Abstract

本发明公开了一种消息队列的消息调度方法及消息调度装置，其中，所述方法包括：根据消息的业务类型将消息投递至多条消息队列中与所述消息的业务类型对应的消息队列，其中，所述多条消息队列中的各消息队列对应相应的业务类型；在调度消息时，根据所述多条消息队列中各消息队列的关键特征值计算确定所述多条消息队列中的目标消息队列，然后从所述目标消息队列中调度用于进行后继处理的消息。采用本发明，能够实现系统资源(例如，数据处理能力、数据读取能力等)的合理配置，提高系统效率(包括响应时间和吞吐率)并实现业务价值的最大化。

Description

消息队列的消息调度方法及消息调度装置

技术领域

本发明涉及消息队列，更为具体而言，涉及一种消息队列的消息调度方法及消息调度装置。

背景技术

随着业务量的增加和业务场景的多样化，现有应用服务器部署的应用日渐庞大和难以维护，为简化系统架构和提高处理效率，消息队列的处理方法得到普遍的应用。在维护的消息队列机制中，当用户发起请求时响应线程根据业务场景的需要产生并投递消息至队列，处理线程从队列中提取消息并进行下一步业务处理，从而实现业务服务层的解耦。对队列调度的控制，可实现消息之间的排序和缓冲，提供线程之间异步通信和处理的机制，从而成为应用层中不可或缺的中间件层。

由于消息队列及其调度控制方法是组建高性能高扩展性系统的关键，高效可靠的消息队列机制在一定程度上决定了系统的响应时间和吞吐率。现有消息队列机制普遍为单队列单线程处理，或者横向扩展后的多队列多线程处理。而由于在消息队列的消息调度方法中，通常采用轮询和先进先出，并根据投递时间的顺序进行处理，因此，各个队列被平等对待，紧急消息无法得到优先处理，系统资源也无法得到充分利用。

发明内容

鉴于现有技术的上述缺陷，本发明实施方式提供了一种消息队列的消息调度方法及消息调度装置，其通过改变消息投递和消息调度方式，能够实现系统资源(例如，数据处理能力、数据读取能力等)的合理配置，保证系统效率。

具体地，本发明实施方式提供了一种消息队列的消息调度方法，其包括：

根据消息的业务类型将消息投递至多条消息队列中与所述消息的业务类型对应的消息队列，其中，所述多条消息队列中的各消息队列对应相应的业务类型；

在调度消息时，根据所述多条消息队列中各消息队列的关键特征值计算确定所述多条消息队列中的目标消息队列，然后从所述目标消息队列中调度用于进行后继处理的消息。

相应地，本发明实施方式还提供了一种消息队列的消息调度装置，其包括：

消息投递模块，用于根据消息的业务类型将消息投递至多条消息队列中与所述消息的业务类型对应的消息队列，其中，所述多条消息队列中的各消息队列对应相应的业务类型；

消息调度模块，用于在调度消息时，根据所述多条消息队列中各消息队列的关键特征值计算确定所述多条消息队列中的目标消息队列，并从所述目标消息队列中调度用于进行后继处理的消息。

采用本发明各种实施例具有下述有益效果：

通过分业务类型的消息投递以及通过消息队列的关键特征值确定从哪个消息队列调度消息，能够综合消息队列的关键特征进行消息调度，实现系统资源(例如，数据处理能力、数据读取能力等)的合理配置，提高系统效率(包括响应时间和吞吐率)并实现业务价值的最大化。

附图说明

图1是根据本发明实施方式的一种消息队列的消息调度方法的流程示意图；

图2A是根据本发明实施例的一种消息队列的消息调度装置的框图的一例；

图2B是图2A所示消息调度装置的消息调度模块的框图的一例；

图2C是根据本发明实施例的一种消息队列的消息调度装置的框图的另一例。

具体实施方式

为了便于理解本发明技术方案的各个方面、特征以及优点，下面结合附图对本发明进行具体描述。应当理解，下述的各种实施方式只用于举例说明，而非用于限制本发明的保护范围。

图1是根据本发明实施方式的一种消息队列的消息调度方法的流程示意图。参照图1，所述方法包括：

10：消息投递处理。具体而言，根据消息的业务类型将消息投递至多条消息队列中与所述消息的业务类型对应的消息队列。其中，所述多条消息队列中的各消息队列对应相应的业务类型。

在本实施例中，业务类型的划分与本方法实施例所适用的场景相关联。举例而言，当将本发明应用于电子商务平台时，根据电商的服务流程，可以将业务类型大体划分为商品浏览业务、下单支付业务和日志处理业务。本发明对在具体场景下业务类型的划分不做具体限制。

12：消息调度处理。具体而言，在调度消息时，根据所述多条消息队列中各消息队列的关键特征值计算确定所述多条消息队列中的目标消息队列，然后从所述目标消息队列中调度用于进行后继处理的消息。

采用本实施例提供的方法，通过分业务类型的消息投递以及通过消息队列的关键特征值确定从哪个消息队列调度消息，能够综合消息队列的关键特征进行消息调度，实现系统资源(例如，数据处理能力、数据读取能力等)的合理配置，提高系统效率(包括响应时间和吞吐率)并实现业务价值的最大化。

可选地，在本实施例的一种实现方式中，所述多条消息队列中各消息队列的关键特征值包括：各消息队列中的消息数量(下文采用n表示)、各消息队列的使用率(下文采用p表示，消息队列的使用率用于表示消息队列的实际忙碌程度，例如假设消息队列长度为100，占用数为50，则使用率为50％)以及预设的各消息队列的权重(下文采用w表示)。其中，预设的各消息队列的权重用于反应各消息队列所对应的业务类型的业务价值，换言之，可以根据各消息队列所对应的业务类型的业务价值为各消息队列设置权重，而业务类型的业务价值可以由相关人员根据经验确定，此处不对其具体值进行限制。

进一步可选地，在处理12中通过以下方式确定目标消息队列：首先，根据公式S＝w×n×p(即，求三者的乘积)计算各消息队列的运行指标，其中，S表示运行指标；然后，从所述多条消息队列中选取S最高的消息队列作为所述目标消息队列。

采用本实现方式所达到的有益效果可以通过与现有技术的对比而变得更加明显。现有技术中为了解决消息队列优先级的问题，必须维护多个队列和线程，不同队列具有不同的优先级，由投递线程根据消息处理情况将消息投递至不同队列。这种方法需要维护多套彼此独立的消息队列，对应用服务器的线程池和应用资源的耗费都成倍增加，并且投递线程需要区分消息的优先级进行投递，缺乏灵活性。而系统耦合性的加剧也不利于业务扩展，各消息队列之间互相独立，存在部分队列空闲或紧张的情况，无法合理分配系统资源。

也就是说，现有的消息队列的调度方法在业务优先级处理、系统性能和灵活性等方面存在不可调和的矛盾。而在本实现方式中，首先根据消息的业务类型将消息投递至相应的消息队列，然后从各消息队列的业务价值(通过n反映)、业务量(通过n反应)和系统处理率(通过p反映)三者的角度出发，将多个消息队列的关键特征值提取并加权融合使得各消息队列并不相互独立，之后根据加权融合得到的运行指标判断消息队列的优先级(即，确定优先级最高的为目标消息队列)，进而提取消息进行处理。这样的处理方式相对于前述的现有技术能够在兼顾系统效率的同时更大程度或最大程度的实现消息调度的合理化，实现系统资源的合理配置。

可选地，在本实施例的一种实现方式中，如图1中的虚线框所示，所述方法还包括：处理14：消息发送及后继处理。具体而言，通过负载均衡将调度的消息发送至业务逻辑线程，由所述业务逻辑线程执行所述后继处理。其中，业务逻辑线程的数量可以根据系统资源和整体业务访问量动态配置。并且，业务逻辑线程可以根据现有的业务逻辑来处理接收到的消息请求并返回响应。

以上结合附图对根据本发明实施例的一种方法实施例进行说明，下面示例性的对采用本发明实施例的一种应用场景进行说明。

在电子商务平台，通常对用户提供网上浏览商品、下单、网上支付的全流程服务。系统基于分层次的架构，各服务组件之间互相独立并通过消息队列进行关联，业务流程上的流转依赖于消息队列的响应和处理。

根据对电子商务平台的分析发现，不同业务场景的紧迫程度各不相同，下单支付(A)、浏览商品详情页(B)、日志处理(C)三种消息请求在队列中平等存储和投递。对电子商务平台和用户而言，不同业务所蕴含的业务价值有显著的区别。例如，下单支付过程中的消息请求涉及到用户的支付金额和与支付平台的结算，系统必须尽快处理；浏览商品详情页相关的消息请求虽然没涉及到支付，但相应速度直接影响到用户体验；而日志处理相关的消息请求只对日常技术维护相关，紧急程度最低；三种消息请求应该按优先级和业务场景合理对待。

因此，当在电子商务平台采用本发明的方法实施例时，可以通过以下方式实现消息调度。

1)配置和维护三条(数量可以根据业务类型的划分而调整)消息队列，分别为Q1、Q2、Q3。其中，不同业务请求触发的消息响应分配至对应的队列中，例如，Q1队列定义为支付相关，Q2队列定义为商品相关，Q3队列定义为日志相关。同时，Q1、Q2、Q3根据业务价值分别定义不同的权重w1、w2、w3。由消息投递线程根据业务相关类型将消息投递至对应的队列。

2)当需要调度消息时，根据三条队列的关键特征值(包括前述的w、n和p)计算出各消息队列的运行指标score＝w×n×p，并对所有队列进行排序，从中取出最大值score_max＝max(score1,score2,score3)，并从score最大的队列中取出消息请求，进行下一步处理。

3)通过负载均衡将上一步中取出的消息请求分发至业务逻辑线程。其中，业务逻辑线程的数量可根据系统资源和整体业务访问量动态配置。

4)业务逻辑线程完成消息请求的处理并返回响应。

根据上述处理可以发现，当在具体场景应用本发明提供的方法实施例时，在消息投递时，由于有针对性的对业务场景进行划分并且所产生的消息请求代表着不同的业务价值，所以能根据消息的价值将消息投递至对应级别的消息队列当中；在调度消息时，实时兼顾队列的消息数量和使用率，既能分清事务轻重，区别对待“紧急而重要”、“紧急不重要”、“不紧急但重要”、“不紧急也不重要”的消息，还能通过w、n、p三种关键指标来加权融合处理，对消息进行合理的定量比较，从而在调度方面实现更优化或最优化。

图2A是根据本发明实施例的一种消息队列的消息调度装置的框图，参照图2A，消息调度装置包括消息投递模块21和消息调度模块22。下面进行具体说明。

在本实施例中，消息投递模块21用于根据消息的业务类型将消息投递至多条消息队列中与所述消息的业务类型对应的消息队列，其中，所述多条消息队列中的各消息队列对应相应的业务类型。可选地，在本实施例的一种实现方式中，预先为各消息队列定义指定的业务类型。

消息调度模块22用于在调度消息时，根据所述多条消息队列中各消息队列的关键特征值计算确定所述多条消息队列中的目标消息队列，并从所述目标消息队列中调度用于进行后继处理的消息。

采用本实施例提供的消息调度装置，能够综合消息队列的关键特征进行消息调度，在保证系统效率(包括响应时间和吞吐率)的同时，实现系统资源(例如，数据处理能力、数据读取能力等)的合理配置。

可选地，在本实施例的一种实现方式中，所述多条消息队列中各消息队列的关键特征值包括：各消息队列中的消息数量(n)、各消息队列的使用率(p)以及预设的各消息队列的权重(n)。其中，预设的各消息队列的权重用于反应各消息队列所对应的业务类型的业务价值。

进一步可选地，如图2B所示，消息调度模块22包括：计算子模块221，用于根据S＝w×n×p计算各消息队列的运行指标，其中，S表示运行指标；选取子模块222，用于从所述多条消息队列中选取S最高消息队列作为所述目标消息队列。

可选地，在本实施例的一种实现方式中，如图2C所示，消息调度装置还包括业务逻辑模块23。在本实现方式中，消息调度模块22通过负载均衡将调度的消息发送至业务逻辑模块23，然后由业务逻辑模块23进行后继处理，例如，业务逻辑模块23完成针对被调度消息的处理及响应。

在本装置实施例中，关于相关名称、术语的解释，以及关于各个模块/子模块所执行处理或可执行处理的详细说明，请参见方法实施例中的说明，此处不再赘述。

此外，本领域技术人员也应当理解，在本实施例的一种具体实例中，消息调度装置可以是服务器，也可以是服务器中的特定部件。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本领技术人员应当理解，以上所公开的仅为本发明的实施方式而已，当然不能以此来限定本发明之权利范围，依本发明实施方式所作的等同变化，仍属本发明权利要求所涵盖的范围。

Claims (10)

1.一种消息队列的消息调度方法，其特征在于，所述方法包括：

根据消息的业务类型将消息投递至多条消息队列中与所述消息的业务类型对应的消息队列，其中，所述多条消息队列中的各消息队列对应相应的业务类型；

在调度消息时，根据所述多条消息队列中各消息队列的关键特征值计算确定所述多条消息队列中的目标消息队列，然后从所述目标消息队列中调度用于进行后继处理的消息。

2.如权利要求1所述的消息调度方法，其特征在于，所述多条消息队列中各消息队列的关键特征值包括：

各消息队列中的消息数量、各消息队列的使用率以及预设的各消息队列的权重。

3.如权利要求2所述的消息调度方法，其特征在于，所述预设的各消息队列的权重用于反应各消息队列所对应的业务类型的业务价值。

4.如权利要求2所述的消息调度方法，其特征在于，根据所述多条消息队列中各消息队列的关键特征值计算确定所述多条消息队列中的目标消息队列包括：

根据S＝w×n×p计算各消息队列的运行指标，其中，w表示权重，n表示消息数量，p表示使用率，S表示运行指标；

从所述多条消息队列中选取S最高的消息队列作为所述目标消息队列。

5.如权利要求1所述的消息调度方法，其特征在于，所述方法还包括：

通过负载均衡将调度的消息发送至业务逻辑线程，由所述业务逻辑线程执行所述后继处理。

6.一种消息队列的消息调度装置，其特征在于，所述装置包括：

消息投递模块，用于根据消息的业务类型将消息投递至多条消息队列中与所述消息的业务类型对应的消息队列，其中，所述多条消息队列中的各消息队列对应相应的业务类型；

消息调度模块，用于在调度消息时，根据所述多条消息队列中各消息队列的关键特征值计算确定所述多条消息队列中的目标消息队列，并从所述目标消息队列中调度用于进行后继处理的消息。

7.如权利要求6所述的消息调度装置，其特征在于，所述多条消息队列中各消息队列的关键特征值包括：

各消息队列中的消息数量、各消息队列的使用率以及预设的各消息队列的权重。

8.如权利要求7所述的消息调度装置，其特征在于，所述预设的各消息队列的权重用于反应各消息队列所对应的业务类型的业务价值。

9.如权利要求7所述的消息调度装置，其特征在于，所述消息调度模块包括：

计算子模块，用于根据S＝w×n×p计算各消息队列的运行指标，其中，w表示权重，n表示消息数量，p表示使用率，S表示运行指标；

选取子模块，用于从所述多条消息队列中选取S最高消息队列作为所述目标消息队列。

10.如权利要求6所述的消息调度装置，其特征在于，

所述消息调度装置还包括业务逻辑模块，用于接收所述消息调度模块通过负载均衡发送来的被调度的消息，并执行所述后继处理。