CN109831385A - 一种消息处理方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供了一种消息处理方法、装置及电子设备，应用于多媒体技术领域，所述方法应用于节点，节点包括：路由组件和处理组件，处理组件包含可插拔的插件，所述方法包括：路由组件将待处理消息路由至处理组件中；其中，待处理消息来自客户端，并按照预先设置的一致性哈希函数路由至节点；处理组件根据预先设置的哈希函数，将接收到的待处理消息路由至处理组件中的消息队列；可插拔的插件对消息队列中的待处理消息进行消息处理。本发明可提高消息处理的性能和可扩展性。

Description

一种消息处理方法、装置及电子设备

技术领域

本发明涉及多媒体技术领域，特别是涉及一种消息处理方法、装置及电子设备。

背景技术

在互联网应用中，很多业务场景(例如即时通信、消息推送等)可以用到分布式环境下的消息处理。分布式环境下的消息处理，是指消息需要路由至多个集群的多个模块进行处理。当消息并发量较高时，需要保证高性能的消息处理，部分业务场景需要保证单机及集群间的消息处理有序性，而在复杂的业务场景下，需要保证可扩展性以应对频繁变化的业务消息处理需求。此外，还需要对消息处理进行监控和数据统计。

现有技术中，可以通过分布式消息中间件对消息进行处理，分布式消息中间件是支持在分布式系统中发送和接收消息的硬件或软件基础设施，分布式消息中间件是指消息中间件，其本身也是一个分布式系统。分布式消息中间件包括：RocketMQ、Kafka等，可以实现分布式系统中解耦、异步消息、流量销锋、日志处理等场景，解决系统之间的消息异步通信。然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：现有的消息处理方法中，消息并发量较高时处理性能较低，业务频繁变化时消息处理可扩展性较低。

发明内容

本发明实施例的目的在于提供一种消息处理方法、装置及电子设备，以提高消息处理的性能和可扩展性。具体技术方案如下：

本发明实施例提供了一种消息处理方法，应用于节点，所述节点包括：路由组件和处理组件，所述处理组件包含可插拔的插件，所述方法包括：

所述路由组件将待处理消息路由至所述处理组件中；其中，所述待处理消息来自客户端，并按照预先设置的一致性哈希函数路由至所述节点；

所述处理组件根据预先设置的哈希函数，将接收到的所述待处理消息路由至所述处理组件中的消息队列；

所述可插拔的插件对所述消息队列中的待处理消息进行消息处理。

可选的，所述节点还包括：监控组件，本发明实施例的消息处理方法，还包括：

在所述处理组件对所述处理组件中的待处理消息进行处理时，所述监控组件对所述处理组件进行监控。

可选的，本发明实施例的消息处理方法，还包括：

所述处理组件根据所述消息队列个数的增减，对应调整所述处理组件中可插拔的插件的个数。

可选的，所述路由组件将所述待处理消息路由至所述处理组件中，包括：

所述路由组件根据所述待处理消息中的目标组件ID以及所述路由组件中组件ID和组件的对应关系，将所述待处理消息路由至所述处理组件中。

可选的，所述处理组件根据预先设置的哈希函数，将所述处理组件中的待处理消息路由至多个消息队列，包括：

若所述处理组件中的待处理消息的路由字段为Item，消息队列的个数为Num，消息队列的下标为Index，根据公式：Index＝HASH(Item)％Num，将所述处理组件中的待处理消息路由至多个消息队列，HASH表示哈希函数，％表示取余运算。

本发明实施例提供了一种消息处理装置，应用于节点，所述装置包括：

路由组件和处理组件，所述处理组件包含可插拔的插件；

所述路由组件，用于将待处理消息路由至所述处理组件中；其中，所述待处理消息来自客户端，并按照预先设置的一致性哈希函数路由至所述节点；

所述处理组件，用于根据预先设置的哈希函数，将接收到的所述待处理消息路由至所述处理组件中的消息队列；

所述可插拔的插件，用于对所述消息队列中的待处理消息进行消息处理。

可选的，本发明实施例的消息处理装置，还包括：

监控组件，用于在所述处理组件对所述处理组件中的待处理消息进行处理时，对所述处理组件进行监控。

可选的，所述处理组件，还用于根据所述消息队列个数的增减，对应调整所述处理组件中可插拔的插件的个数。

可选的，所述路由组件，具体用于根据所述待处理消息中的目标组件ID以及所述路由组件中组件ID和组件的对应关系，将所述待处理消息路由至所述处理组件中。

可选的，所述处理组件，具体用于若所述处理组件中的待处理消息的路由字段为Item，消息队列的个数为Num，消息队列的下标为Index，根据公式：Index＝HASH(Item)％Num，将所述处理组件中的待处理消息路由至多个消息队列，HASH表示哈希函数，％表示取余运算。

本发明实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现上述任一所述的消息处理方法的步骤。

在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的消息处理方法的步骤。

在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的消息处理方法的步骤。

本发明实施例提供的消息处理方法、装置及电子设备，应用于节点，节点包括：路由组件和处理组件，处理组件包含可插拔的插件，路由组件将待处理消息路由至处理组件中；其中，待处理消息来自客户端，并按照预先设置的一致性哈希函数路由至节点；处理组件根据预先设置的哈希函数，将接收到的待处理消息路由至处理组件中的消息队列；可插拔的插件对消息队列中的待处理消息进行消息处理。本发明实施例中，在集群环境下，通过一致性哈希函数将消息路由至各节点，可以使集群环境下的消息有序处理；在单机环境下，通过多消息队列并发的处理方式，可以提高消息处理的性能，采用组件和可插拔的插件可以提高消息处理的可扩展性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例的消息处理方法的一种流程图；

图2为本发明实施例中集群下的消息路由示意图；

图3为本发明实施例中单机下的消息路由示意图；

图4为本发明实施例中处理组件中的消息路由示意图；

图5为本发明实施例的消息处理装置的一种结构示意图；

图6为本发明实施例的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

为了解决消息并发量较高时处理性能较低，业务频繁变化时消息处理可扩展性较低的问题，本发明实施例提供了一种消息处理方法、装置及电子设备，以提高消息处理的性能和可扩展性。

下面首先对本发明实施例所提供的消息处理方法进行详细介绍。

参见图1，图1为本发明实施例的消息处理方法的一种流程图，应用于节点，包括以下步骤：

S101，路由组件将待处理消息路由至处理组件中；其中，待处理消息来自客户端，并按照预先设置的一致性哈希函数路由至节点。

本发明实施例中，待处理消息来自客户端，客户端可以根据不同业务的特点预先设置一致性哈希函数，通过一致性哈希函数将同一类待处理消息路由至同一节点进行处理，不同类的待处理消息路由至不同节点进行处理，该过程可参见图2。具体的，客户端根据各待处理消息中的路由字段以及一致性哈希函数中路由字段和IP(Internet Protocol，互联网协议)地址的对应关系，确定各待处理消息对应的IP地址；根据各IP地址，将各待处理消息路由至对应的节点。因此，每个节点处理的是一类待处理消息。多个节点可以构成一个集群，多个节点对消息进行处理也就是集群环境下的消息处理。一致性哈希函数对于节点的增减都只需重定位环空间中的一小部分数据，具有较好的容错性和可扩展性，因此一致性哈希函数可以保证在集群中节点宕机的情况下维持单调性和平衡性。

由于各节点在处理对应的待处理消息时方法相同，在此仅以一个节点为例进行说明。单个节点的消息处理，即为单机环境下的消息处理。节点可以是计算机等，节点包括：路由组件和处理组件，处理组件包含可插拔的插件。每个节点可以包含多个处理组件，通过多个处理组件对待处理消息进行处理，并且待处理消息的路由通过专门的路由组件统一进行管理。路由组件可以将待处理消息路由至处理组件中，通过处理组件对待处理消息进行处理，可参见图3。

本发明的一种实现方式中，路由组件可以根据待处理消息中的目标组件ID以及路由组件中组件ID和组件的对应关系，将待处理消息路由至处理组件中。具体的，路由组件内部维护一个组件ID和组件的对应关系，这样，可以通过组件ID确定相应的组件，所以当路由组件收到新的待处理消息时，可以通过待处理消息携带的目标组件ID将消息路由至目标组件进行处理。

另外，待处理消息还可以被多个处理组件进行处理，例如，在一个处理组件处理完成之后，可以将处理后的消息发送至下一个处理组件继续处理。处理组件之间的路由方式具体为：每条消息可以携带一个源组件ID和一个目标组件ID，源组件ID标志上一个处理过此消息的处理组件，目标组件ID标志下一个需要处理此消息的处理组件。同样地，路由组件将前一个处理组件处理后的消息发送至下一个处理组件继续处理。

S102，处理组件根据预先设置的哈希函数，将接收到的待处理消息路由至处理组件中的消息队列。

具体的，在每个处理组件中，可以设置多个消息队列，通过哈希函数将改处理组件中的待处理消息路由至多个消息队列，以消息队列的方式保证消息处理的有序性。而哈希函数是针对不同业务设置的函数，业务不同，哈希函数也不同，处理组件中的消息路由图可参见图4。

S103，可插的拔插件对消息队列中的待处理消息进行消息处理。

本发明实施例中，消息处理的最小单元是可插拔的插件，可以通过可插拔的插件对待处理消息进行处理。每个处理组件可以包含多个可插拔的插件，每个可插拔的插件属于一个组件。处理组件可以根据消息队列个数的增减，对应调整处理组件中可插拔插件的个数。例如，若消息队列的个数增加，可以增加可插拔插件的个数，若消息队列的个数减少，可以减少可插拔插件的个数。

可选的，节点还可以包括：监控组件，那么，在处理组件对处理组件中的待处理消息进行处理时，监控组件可以对处理组件进行监控，实时监控各处理组件的状态。

图1所示实施例的有益效果在于，在集群环境下，通过一致性哈希函数将消息路由至各节点，可以使集群环境下的消息有序处理；在单机环境下，通过多队列并发处理方式，可以提高消息处理的性能，采用组件和可插拔插件可以提高消息处理的可扩展性。

本发明的一种实现方式中，图1实施例S102中，处理组件根据预先设置的哈希函数，将处理组件中的待处理消息路由至多个消息队列，包括：

若处理组件中的待处理消息的路由字段为Item，消息队列的个数为Num，消息队列的下标为Index，根据公式：Index＝HASH(Item)％Num，将处理组件中的待处理消息路由至多个消息队列，HASH表示哈希函数，％表示取余运算。

本发明实施例中，处理组件中可插拔的插件越多，处理组件处理消息的能力越高，否则，处理组件处理消息的能力越低。消息队列的个数Num可以根据处理组件的能力预先设置，例如，处理组件处理消息的能力越高，Num值可以越大。HASH是针对不同业务设计的哈希函数，通过上述公式，可以将该处理组件中的待处理消息路由至多个消息队列。每个队列仅由一个线程监听处理，以使消息有序处理。对于多个消息队列采用多个线程同时进行处理，可以充分利用多核CPU(Central Processing Unit，中央处理器)的处理能力，提高消息处理的性能。

相应于上述方法实施例，本发明实施例还提供了一种消息处理装置，参见图5，图5为本发明实施例的消息处理装置的一种结构图，应用于节点，包括：

路由组件501，用于将待处理消息路由至处理组件中；其中，待处理消息来自客户端，并按照预先设置的一致性哈希函数路由至节点；

处理组件502，用于根据预先设置的哈希函数，将接收到的待处理消息路由至处理组件中的消息队列；处理组件502包含可插拔的插件503；

可插拔的插件503，用于对消息队列中的待处理消息进行消息处理。

可选的，本发明实施例的消息处理装置，还包括：

监控组件，用于在处理组件对处理组件中的待处理消息进行处理时，对处理组件进行监控。

可选的，处理组件502，还用于根据消息队列个数的增减，对应调整处理组件中可插拔的插件的个数。

可选的，路由组件501，具体用于根据待处理消息中的目标组件ID以及路由组件中组件ID和组件的对应关系，将待处理消息路由至处理组件中。

可选的，处理组件502，具体用于若处理组件中的待处理消息的路由字段为Item，消息队列的个数为Num，消息队列的下标为Index，根据公式：Index＝HASH(Item)％Num，将处理组件中的待处理消息路由至多个消息队列，HASH表示哈希函数，％表示取余运算。

本发明实施例的消息处理装置，路由组件将待处理消息路由至处理组件中；其中，待处理消息来自客户端，并按照预先设置的一致性哈希函数路由至节点；处理组件根据预先设置的哈希函数，将接收到的待处理消息路由至处理组件中的消息队列；可插拔的插件对消息队列中的待处理消息进行消息处理。本发明实施例中，在集群环境下，通过一致性哈希函数将消息路由至各节点，可以使集群环境下的消息有序处理；在单机环境下，通过多消息队列并发的处理方式，可以提高消息处理的性能，采用组件和可插拔的插件可以提高消息处理的可扩展性。

本发明实施例还提供了一种电子设备，参见图6，图6为本发明实施例的电子设备的结构图，包括：处理器601、通信接口602、存储器603和通信总线604，其中，处理器601、通信接口602、存储器603通过通信总线604完成相互间的通信；

存储器603，用于存放计算机程序；

处理器601，用于执行存储器603上所存放的程序时，实现上述实施例中任一消息处理方法的步骤。

本发明实施例的电子设备中，处理器通过执行存储器上所存放的程序，路由组件将待处理消息路由至处理组件中；其中，待处理消息来自客户端，并按照预先设置的一致性哈希函数路由至节点；处理组件根据预先设置的哈希函数，将接收到的待处理消息路由至处理组件中的消息队列；可插拔的插件对消息队列中的待处理消息进行消息处理。本发明实施例中，在集群环境下，通过一致性哈希函数将消息路由至各节点，可以使集群环境下的消息有序处理；在单机环境下，通过多消息队列并发的处理方式，可以提高消息处理的性能，采用组件和可插拔的插件可以提高消息处理的可扩展性。

需要说明的是，上述电子设备提到的通信总线604可以是PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。通信总线604可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口602用于上述电子设备与其他设备之间的通信。

存储器603可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器603还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器601可以是通用处理器，包括：CPU、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一消息处理方法的步骤。

本发明实施例的计算机可读存储介质中存储的指令在计算机上运行时，路由组件将待处理消息路由至处理组件中；其中，待处理消息来自客户端，并按照预先设置的一致性哈希函数路由至节点；处理组件根据预先设置的哈希函数，将接收到的待处理消息路由至处理组件中的消息队列；可插拔的插件对消息队列中的待处理消息进行消息处理。本发明实施例中，在集群环境下，通过一致性哈希函数将消息路由至各节点，可以使集群环境下的消息有序处理；在单机环境下，通过多消息队列并发的处理方式，可以提高消息处理的性能，采用组件和可插拔的插件可以提高消息处理的可扩展性。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一消息处理方法的步骤。

本发明实施例的计算机程序产品，当其在计算机上运行时，路由组件将待处理消息路由至处理组件中；其中，待处理消息来自客户端，并按照预先设置的一致性哈希函数路由至节点；处理组件根据预先设置的哈希函数，将接收到的待处理消息路由至处理组件中的消息队列；可插拔的插件对消息队列中的待处理消息进行消息处理。本发明实施例中，在集群环境下，通过一致性哈希函数将消息路由至各节点，可以使集群环境下的消息有序处理；在单机环境下，通过多消息队列并发的处理方式，可以提高消息处理的性能，采用组件和可插拔的插件可以提高消息处理的可扩展性。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置及电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (11)

1.一种消息处理方法，其特征在于，应用于节点，所述节点包括：路由组件和处理组件，所述处理组件包含可插拔的插件，所述方法包括：

所述路由组件将待处理消息路由至所述处理组件中；其中，所述待处理消息来自客户端，并按照预先设置的一致性哈希函数路由至所述节点；

所述处理组件根据预先设置的哈希函数，将接收到的所述待处理消息路由至所述处理组件中的消息队列；

所述可插拔的插件对所述消息队列中的待处理消息进行消息处理。

2.根据权利要求1所述的消息处理方法，其特征在于，所述节点还包括：监控组件，所述方法还包括：

在所述处理组件对所述处理组件中的待处理消息进行处理时，所述监控组件对所述处理组件进行监控。

3.根据权利要求1所述的消息处理方法，其特征在于，所述方法还包括：

所述处理组件根据所述消息队列个数的增减，对应调整所述处理组件中可插拔的插件的个数。

4.根据权利要求1所述的消息处理方法，其特征在于，所述路由组件将所述待处理消息路由至所述处理组件中，包括：

所述路由组件根据所述待处理消息中的目标组件ID以及所述路由组件中组件ID和组件的对应关系，将所述待处理消息路由至所述处理组件中。

5.根据权利要求1所述的消息处理方法，其特征在于，所述处理组件根据预先设置的哈希函数，将所述处理组件中的待处理消息路由至多个消息队列，包括：

若所述处理组件中的待处理消息的路由字段为Item，消息队列的个数为Num，消息队列的下标为Index，根据公式：Index＝HASH(Item)％Num，将所述处理组件中的待处理消息路由至多个消息队列，HASH表示哈希函数，％表示取余运算。

6.一种消息处理装置，其特征在于，应用于节点，所述装置包括：

路由组件和处理组件，所述处理组件包含可插拔的插件；

所述路由组件，用于将待处理消息路由至所述处理组件中；其中，所述待处理消息来自客户端，并按照预先设置的一致性哈希函数路由至所述节点；

所述处理组件，用于根据预先设置的哈希函数，将接收到的所述待处理消息路由至所述处理组件中的消息队列；

所述可插拔的插件，用于对所述消息队列中的待处理消息进行消息处理。

7.根据权利要求6所述的消息处理装置，其特征在于，所述装置还包括：

监控组件，用于在所述处理组件对所述处理组件中的待处理消息进行处理时，对所述处理组件进行监控。

8.根据权利要求6所述的消息处理装置，其特征在于，所述处理组件，还用于根据所述消息队列个数的增减，对应调整所述处理组件中可插拔的插件的个数。

9.根据权利要求6所述的消息处理装置，其特征在于，所述路由组件，具体用于根据所述待处理消息中的目标组件ID以及所述路由组件中组件ID和组件的对应关系，将所述待处理消息路由至所述处理组件中。

10.根据权利要求6所述的消息处理装置，其特征在于，所述处理组件，具体用于若所述处理组件中的待处理消息的路由字段为Item，消息队列的个数为Num，消息队列的下标为Index，根据公式：Index＝HASH(Item)％Num，将所述处理组件中的待处理消息路由至多个消息队列，HASH表示哈希函数，％表示取余运算。

11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1～5任一所述的消息处理方法的步骤。