CN111163088A - 消息处理方法、系统、装置及电子设备 - Google Patents

消息处理方法、系统、装置及电子设备 Download PDF

Info

Publication number
CN111163088A
CN111163088A CN201911392822.8A CN201911392822A CN111163088A CN 111163088 A CN111163088 A CN 111163088A CN 201911392822 A CN201911392822 A CN 201911392822A CN 111163088 A CN111163088 A CN 111163088A
Authority
CN
China
Prior art keywords
message processing
message
target
request
processing cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911392822.8A
Other languages
English (en)
Other versions
CN111163088B (zh
Inventor
冯浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201911392822.8A priority Critical patent/CN111163088B/zh
Publication of CN111163088A publication Critical patent/CN111163088A/zh
Application granted granted Critical
Publication of CN111163088B publication Critical patent/CN111163088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供了一种消息处理方法、系统、装置及电子设备，其中，方法可以包括：接收包括访问信息的消息处理请求；获取消息系统元数据；基于访问信息分析消息系统元数据，获得消息处理请求对应的目标消息处理集群；将消息处理请求转发至目标消息处理集群，以使目标消息处理集群处理消息处理请求。通过本发明实施例提供的消息处理方法、系统、装置及电子设备，能够降低接入消息处理集群的复杂度。

Description

消息处理方法、系统、装置及电子设备
技术领域
本发明涉及计算机应用技术领域，特别是涉及一种消息处理方法、系统、装置及电子设备。
背景技术
Kafka(卡夫卡)是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据，在互联网公司等都有着极其广泛的应用。在业务量比较少的情况下，Kafka采用单集群模式，如图1所示，生产端(Producer)和消费端(Consumer)分别与消息处理集群(Cluster)交互，以完成消息处理过程。但对于业务量比较大的情况，就会受限于单集群的性能等，使单集群模式无法很好地满足业务需求。为了更好地满足业务需求，在业务量比较大的情况下，通过多集群模式进行消息处理。多集群模式下，将生产端或者消费端等接入哪个集群是提供消息服务的重要方面。
现有技术中，在多集群模式下，生产端或者消费端分别与集群交互，生产端或者消费端需要知晓多集群模式中多个消息处理集群的信息，如多个消息处理集群的个数、各个消息处理集群的性能等，然后根据多个消息处理集群的信息确定向哪个消息处理集群发送消息或者从哪个消息处理集群获取信息，如此使得，生产端或者消费端接入消息处理集群的过程比较复杂。
发明内容
本发明实施例的目的在于提供一种消息处理方法、系统、装置及电子设备，以降低接入消息处理集群的复杂度。具体技术方案如下：
第一方面，本发明实施例提供了一种消息处理方法，包括：
接收包括访问信息的消息处理请求；
获取消息系统元数据；
基于所述访问信息分析所述消息系统元数据，获得所述消息处理请求对应的目标消息处理集群；
将所述消息处理请求转发至所述目标消息处理集群，以使所述目标消息处理集群处理所述消息处理请求。
可选的，所述消息系统元数据包括各个请求端的访问权限；
所述接收包括访问信息的消息处理请求，包括：
接收目标请求端发送的所述消息处理请求；
在将所述消息处理请求转发至所述目标消息处理集群之前，所述方法还包括：
根据所述目标请求端的所述访问权限，验证所述目标请求端是否有权限访问所述目标消息处理集群；
所述将所述消息处理请求转发至所述目标消息处理集群，包括：
当验证所述目标请求端有权限访问所述目标消息处理集群时，将所述消息处理请求转发至所述目标消息处理集群。
可选的，所述消息系统元数据包括消息通道信息和节点信息，所述消息通道信息包括多个消息通道与消息处理集群中节点的对应关系；针对各个消息处理集群，所述节点信息包括所述消息处理集群与部署在所述消息处理集群上的节点的对应关系；
所述接收包括访问信息的消息处理请求，包括：
接收目标请求端发送的所述消息处理请求；
所述基于所述访问信息分析所述消息系统元数据，获得所述消息处理请求对应的目标消息处理集群，包括：
解析所述访问信息，得到所述消息处理请求对应的指定消息通道；
根据所述目标请求端的所述访问权限，验证所述目标请求端是否有权限访问所述指定消息通道；
当验证所述目标请求端有权限访问所述指定消息通道时，查询多个消息通道与消息处理集群中节点的对应关系，得到所述指定消息通道对应的指定节点；查询所述消息处理集群与部署在所述消息处理集群上的节点的对应关系，得到所述指定节点对应的消息处理集群，并将所述指定节点对应的消息处理集群作为所述目标消息处理集群。
可选的，所述访问信息用于指示所述消息处理请求对应的指定消息通道；所述解析所述访问信息，得到所述消息处理请求对应的指定消息通道，包括：解析所述访问信息，得到所述指定消息通道；
或者，所述解析所述访问信息，得到所述消息处理请求对应的指定消息通道，包括：解析所述访问信息，得到所述消息处理请求对应的指定消费组；查询所述消息通道与消费组的对应关系，得到所述指定消费组对应的消息通道；其中，所述消息系统数据还包括消息通道与消费组的对应关系。
第二方面，本发明实施例提供了一种消息处理系统，包括：元数据模块、消息处理装置和多个消息处理集群；
所述元数据模块，用于存储消息系统元数据；
所述消息处理装置，用于接收包括访问信息的消息处理请求；从所述元数据模块获取消息系统元数据；所述消息系统元数据包括消息通道信息和节点信息，所述消息通道信息包括与存储消息的消息通道相关的信息，所述节点信息包括与部署在消息处理集群上的节点相关的信息；基于所述访问信息分析所述消息系统元数据，获得所述消息处理请求对应的目标消息处理集群；将所述消息处理请求转发至所述目标消息处理集群，以使所述目标消息处理集群处理所述消息处理请求；
所述目标消息处理集群，用于接收所述消息处理装置转发的所述消息处理请求，并处理所述消息处理请求。
第三方面，本发明实施例提供了一种消息处理装置，包括：
接收模块，用于接收包括访问信息的消息处理请求；
获取模块，用于获取消息系统元数据；
获得模块，用于基于所述访问信息分析所述消息系统元数据，获得所述消息处理请求对应的目标消息处理集群；
转发模块，用于将所述消息处理请求转发至所述目标消息处理集群，以使所述目标消息处理集群处理所述消息处理请求。
可选的，所述消息系统元数据包括各个请求端的访问权限；
所述接收模块，具体用于接收目标请求端发送的所述消息处理请求；
所述装置还包括：
鉴权模块，用于在将所述消息处理请求转发至所述目标消息处理集群之前，根据所述目标请求端的所述访问权限，验证所述目标请求端是否有权限访问所述目标消息处理集群；
所述转发模块，具体用于当验证所述目标请求端有权限访问所述目标消息处理集群时，将所述消息处理请求转发至所述目标消息处理集群。
可选的，所述消息系统元数据包括消息通道信息和节点信息，所述消息通道信息包括多个消息通道与消息处理集群中节点的对应关系；针对各个消息处理集群，所述节点信息包括所述消息处理集群与部署在所述消息处理集群上的节点的对应关系；
所述接收模块，具体用于接收目标请求端发送的所述消息处理请求；
所述获得模块，具体用于解析所述访问信息，得到所述消息处理请求对应的指定消息通道；根据所述目标请求端的所述访问权限，验证所述目标请求端是否有权限访问所述指定消息通道；当验证所述目标请求端有权限访问所述指定消息通道时，查询多个消息通道与消息处理集群中节点的对应关系，得到所述指定消息通道对应的指定节点；查询所述消息处理集群与部署在所述消息处理集群上的节点的对应关系，得到所述指定节点对应的消息处理集群，并将所述指定节点对应的消息处理集群作为所述目标消息处理集群。
可选的，所述访问信息用于指示所述消息处理请求对应的指定消息通道；所述获得模块，具体用于解析所述访问信息，得到所述指定消息通道；或者，所述获得模块，具体用于解析所述访问信息，得到所述消息处理请求对应的指定消费组；查询所述消息通道与消费组的对应关系，得到所述指定消费组对应的消息通道；其中，所述消息系统数据还包括消息通道与消费组的对应关系。
第四方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现第一方面所述方法的方法步骤。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行第一方面所述方法的方法步骤。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面所述方法的方法步骤。
本发明实施例提供的消息处理方法、系统、装置及电子设备，可以在接收消息处理请求后，可以确定消息处理请求对应的目标消息处理集群；并将消息处理请求转发至目标消息处理集群，如此使得，生产端或者消费端等业务端不需要通过自身确定与之交互的消息处理集群，仅需发送消息处理请求，即可以被接入消息处理集群，能够降低接入消息处理集群的复杂度。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为现有技术中单集群模式示意图；
图2为本发明实施例提供的消息处理系统的结构示意图；
图3为本发明实施例提供的消息处理方法的流程示意图；
图4为本发明实施例中获得目标消息处理集群的流程示意图；
图5为本发明实施例提供的消息处理装置的一种结构示意图；
图6为本发明实施例提供的消息处理装置的另一种结构示意图；
图7为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了实现在多集群模式下，对生产端或者消费端等进行统一管理，本发明实施例提供了一种消息处理方法。本发明实施例提供的消息处理方法可以应用于电子设备，如服务器等。一种可选的实现方式中，可以在服务器中部署消息处理装置，通过该消息处理装置执行本发明实施例提供的消息处理方法。
本发明实施例提供了一种消息处理方法，可以包括：
接收包括访问信息的消息处理请求。
获取消息系统元数据；消息系统元数据包括消息通道信息和节点信息，消息通道信息包括与存储消息的消息通道相关的信息，节点信息包括与部署在消息处理集群上的节点相关的信息。
基于访问信息分析消息系统元数据，获得消息处理请求对应的目标消息处理集群。
将消息处理请求转发至目标消息处理集群，以使目标消息处理集群处理消息处理请求。
本发明实施例中，在接收消息处理请求后，可以确定消息处理请求对应的目标消息处理集群；并将消息处理请求转发至目标消息处理集群，如此使得，生产端或者消费端等业务端不需要通过自身确定与之交互的消息处理集群，仅需发送消息处理请求，即可以被接入消息处理集群，能够降低接入消息处理集群的复杂度。
为了更清楚地说明本发明实施例提供的消息处理方法，首先对消息处理系统进行详细说明，消息处理系统中包括的消息处理装置执行本发明实施例提供的消息处理方法。
本发明实施例提供了一种消息处理系统，如图2所示，可以包括：元数据模块201、消息处理装置202和多个消息处理集群203。
元数据模块201，用于存储消息系统元数据。
消息系统元数据可以包括消息通道信息和节点信息，消息通道信息包括与存储消息的消息通道相关的信息，节点信息包括与部署在消息处理集群上的节点相关的信息。
消息处理装置202，用于接收包括访问信息的消息处理请求；从元数据模块201获取消息系统元数据；消息系统元数据包括消息通道信息和节点信息，消息通道信息包括与存储消息的消息通道相关的信息，节点信息包括与部署在消息处理集群上的节点相关的信息；基于访问信息分析消息系统元数据，获得消息处理请求对应的目标消息处理集群；将消息处理请求转发至目标消息处理集群，以使目标消息处理集群处理消息处理请求；
目标消息处理集群，用于接收消息处理装置202转发的消息处理请求，并处理消息处理请求。
其中，目标消息处理集群是多个消息处理集群203中的一个或者多个。
本发明实施例中，在接收消息处理请求后，可以确定消息处理请求对应的目标消息处理集群；并将消息处理请求转发至目标消息处理集群，如此使得，生产端或者消费端等业务端不需要通过自身确定与之交互的消息处理集群，仅需发送消息处理请求，即可以被接入消息处理集群，能够降低接入消息处理集群的复杂度。
参照图2，对本发明实施例提供的消息处理方法进行详细说明。具体地，消息处理系统中消息处理装置202执行消息处理方法，如图3所示，本发明实施例提供的消息处理方法可以包括如下步骤，
S301，接收包括访问信息的消息处理请求。
生产端或者消费端可以发送消息处理请求。
本发明实施例中，生产端或者消费端等可以采用统一软件开发工具包(SoftwareDevelopment Kit，SDK)发送消息处理请求。
访问信息可以包括待处理的消息的类型，内存，数量，待访问的消息处理集群名称、待访问的消息通道的名称，等等。或者，消息处理请求为生产端发送的时候，访问信息还可以包括生产端待访问的消费组，或者消息处理请求为消费端发送的时候，访问信息还可以包括消费端所属的消费组，等等。
S302，获取消息系统元数据。
消息系统元数据可以包括消息通道信息和节点信息，消息通道信息包括与存储消息的消息通道相关的信息，节点信息包括与部署在消息处理集群上的节点相关的信息。
一种可选的实施例中，本发明实施例应用于Kafka中，消息通道指的是Topic，在Kafka中，Topic是一个存储消息的逻辑概念，可以认为是一个消息集合，每条消息发送到Kafka集群的消息都有一个类别，一个类别对应一个消息通道，也即一个类别对应一个Topic。
具体地，元数据模块201存储消息系统元数据，消息处理装置202从元数据模块201获取消息系统元数据。
S303，基于访问信息分析消息系统元数据，获得消息处理请求对应的目标消息处理集群。
消息处理装置202可以基于访问信息分析消息系统元数据，通过预设分配策略，获得消息处理请求对应的目标消息处理集群。
预设分配策略可以包括基于消息的类型、大小等进行分配的策略，也可以包括将消息处理请求平均分配至各个消息处理集群，等等。
S304，将消息处理请求转发至目标消息处理集群，以使目标消息处理集群处理消息处理请求。
目标消息处理集群接收到消息处理装置202转发的消息处理请求后处理消息处理请求。具体地，可以从部署在消息处理集群202上的节点中读取消息，或者在部署在消息处理集群202上的节点中写消息，等等。
本发明实施例中，可以包括对发送消息处理请求的请求端进行鉴权，如消息处理装置202验证请求端是否有权限访问消息处理集群，请求端是否有权限访问消息通道，等等。
一种实施例中，消息处理请求携带请求端标识信息；消息系统元数据包括各个请求端的访问权限。
S301可以包括：接收目标请求端发送的所述消息处理请求。
目标请求端可以包括生产端和/或消费端。
在将消息处理请求转发至目标消息处理集群之前，还可以还包括：消息处理装置202根据目标请求端的访问权限，验证目标请求端是否有权限访问目标消息处理集群。其中，目标请求端是请求端标识信息标识的请求端。
当验证目标请求端有权限访问目标消息处理集群时，消息处理装置202将消息处理请求转发至目标消息处理集群。
本发明实施例中，可以实现对多个消息处理集群的统一管理，生产端或者消费端等业务端不需要通过自身确定与之交互的消息处理集群，仅需发送消息处理请求，就可以被接入消息处理集群，如此可以使得接入消息处理集群更加简便，能够降低接入消息处理集群的复杂度。且生产端或者消费端等不需要关注多个消息处理集群的规模、变化情况等，如当多个消息处理集群中增加集群，或者增加或者删除消息处理集群中的节点时，可以在消息系统元数据中更新消息处理集群的变化情况，生产端或者消费端不要要增加其他处理，且对于业务端或者消费端等业务端来讲，不会感知消息处理集群的变化情况，也不会感知针对变化情况的运维等，如此可以实现针对业务的透明运维。
一种可选的实施例中，所述消息系统元数据包括消息通道信息和节点信息，消息通道信息包括多个消息通道与消息处理集群中节点的对应关系；针对各个消息处理集群，节点信息包括消息处理集群与部署在消息处理集群上的节点的对应关系。消息处理请求携带请求端标识信息。
S301可以包括：接收目标请求端发送的所述消息处理请求。
步骤S303：基于访问信息分析消息系统元数据，获得消息处理请求对应的目标消息处理集群，如图4所示，可以包括：
S3031，解析访问信息，得到消息处理请求对应的指定消息通道。
一种可实现方式中，访问信息用于指示消息处理请求对应的指定消息通道；解析访问信息，得到消息处理请求对应的指定消息通道，包括：解析访问信息，得到指定消息通道。如访问信息可以包括消息处理请求中待处理的消息的类型，而不同的消息类型对应不同的消息通道，如此，可以确定消息处理请求对应的指定消息通道。
另一种可实现方式中，消息系统数据还包括消息通道与消费组的对应关系。可以解析访问信息，得到消息处理请求对应的指定消费组；查询消息通道与消费组的对应关系，得到指定消费组对应的消息通道。
S3032，根据目标请求端的访问权限，验证目标请求端是否有权限访问指定消息通道。其中，目标请求端是请求端标识信息标识的请求端。
当验证目标请求端有权限访问指定消息通道时，消息处理装置202执行步骤S3033；当验证目标请求端没有权限访问指定消息通道时，消息处理装置202可以重新为请求端分配消息通道，或者向请求端发送反馈信息，以告知请求端对应的用户，且停止执行。
S3033，当验证目标请求端有权限访问指定消息通道时，查询多个消息通道与消息处理集群中节点的对应关系，得到指定消息通道对应的指定节点；查询消息处理集群与部署在消息处理集群上的节点的对应关系，得到指定节点对应的消息处理集群，并将指定节点对应的消息处理集群作为目标消息处理集群。
本发明实施例中，生产端或者消费端等业务端不需要知晓多集群模式中多个消息处理集群的信息，如多个消息处理集群的个数、各个消息处理集群的性能等，也不需要根据多个消息处理集群的信息确定向哪个消息处理集群发送消息或者从哪个消息处理集群获取信息，即生产端或者消费端等不需要关注多个消息处理集群的规模、变化情况等，如当多个消息处理集群中增加集群，或者增加或者删除消息处理集群中的节点时，可以在消息系统元数据中更新消息处理集群的变化情况，生产端或者消费端不要要增加其他处理，仅需发送消息处理请求，就可以被接入消息处理集群，如此可以使得接入消息处理集群更加简便。且对于业务端或者消费端等业务端来讲，不会感知消息处理集群的变化情况，也不会感知针对变化情况的运维等，如此可以实现针对业务的透明运维。
对应于上述实施例提供的消息处理方法，本发明实施例提供了一种消息处理装置，如图5所示，可以包括：
接收模块501，用于接收包括访问信息的消息处理请求；
获取模块502，用于获取消息系统元数据；
获得模块503，用于基于访问信息分析消息系统元数据，获得消息处理请求对应的目标消息处理集群；
转发模块504，用于将消息处理请求转发至目标消息处理集群，以使目标消息处理集群处理消息处理请求。
本发明实施例中，在接收消息处理请求后，可以确定消息处理请求对应的目标消息处理集群；并将消息处理请求转发至目标消息处理集群，如此使得，生产端或者消费端等业务端不需要通过自身确定与之交互的消息处理集群，仅需发送消息处理请求，即可以被接入消息处理集群，能够降低接入消息处理集群的复杂度。
可选的，消息系统元数据还包括各个请求端的访问权限。
所述接收模块501，具体用于接收目标请求端发送的所述消息处理请求；
如图6所示，该装置还可以包括：
鉴权模块505，用于在将消息处理请求转发至目标消息处理集群之前，根据目标请求端的访问权限，验证目标请求端是否有权限访问目标消息处理集群；其中，目标请求端是请求端标识信息标识的请求端；
转发模块504，具体用于当验证目标请求端有权限访问目标消息处理集群时，将消息处理请求转发至目标消息处理集群。
可选的，所述消息系统元数据包括消息通道信息和节点信息，消息通道信息包括多个消息通道与消息处理集群中节点的对应关系；针对各个消息处理集群，节点信息包括消息处理集群与部署在消息处理集群上的节点的对应关系；消息处理请求携带请求端标识信息；
所述接收模块501，具体用于接收目标请求端发送的所述消息处理请求；
获得模块503，具体用于解析访问信息，得到消息处理请求对应的指定消息通道；根据目标请求端的访问权限，验证目标请求端是否有权限访问指定消息通道；当验证目标请求端有权限访问指定消息通道时，查询多个消息通道与消息处理集群中节点的对应关系，得到指定消息通道对应的指定节点；查询消息处理集群与部署在消息处理集群上的节点的对应关系，得到指定节点对应的消息处理集群，并将指定节点对应的消息处理集群作为目标消息处理集群。
可选的，访问信息用于指示消息处理请求对应的指定消息通道；获得模块503，具体用于解析访问信息，得到指定消息通道；或者，获得模块503，具体用于解析访问信息，得到消息处理请求对应的指定消费组；查询消息通道与消费组的对应关系，得到指定消费组对应的消息通道；其中，消息系统数据还包括消息通道与消费组的对应关系。
本发明实施例提供的消息处理装置是应用上述消息处理方法的装置，则上述消息处理方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
对应于上述实施例提供的消息处理方法，本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信。
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现上述实施例提供的消息处理方法的方法步骤。
本发明实施例中，在接收消息处理请求后，可以确定消息处理请求对应的目标消息处理集群；并将消息处理请求转发至目标消息处理集群，如此使得，生产端或者消费端等业务端不需要通过自身确定与之交互的消息处理集群，仅需发送消息处理请求，即可以被接入消息处理集群，能够降低接入消息处理集群的复杂度。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例提供的消息处理方法的方法步骤。
本发明实施例中，在接收消息处理请求后，可以确定消息处理请求对应的目标消息处理集群；并将消息处理请求转发至目标消息处理集群，如此使得，生产端或者消费端等业务端不需要通过自身确定与之交互的消息处理集群，仅需发送消息处理请求，即可以被接入消息处理集群，能够降低接入消息处理集群的复杂度。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的消息处理方法的方法步骤。
本发明实施例中，在接收消息处理请求后，可以确定消息处理请求对应的目标消息处理集群；并将消息处理请求转发至目标消息处理集群，如此使得，生产端或者消费端等业务端不需要通过自身确定与之交互的消息处理集群，仅需发送消息处理请求，即可以被接入消息处理集群，能够降低接入消息处理集群的复杂度。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统、装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种消息处理方法，其特征在于，包括：
接收包括访问信息的消息处理请求；
获取消息系统元数据；
基于所述访问信息分析所述消息系统元数据，获得所述消息处理请求对应的目标消息处理集群；
将所述消息处理请求转发至所述目标消息处理集群，以使所述目标消息处理集群处理所述消息处理请求。
2.根据权利要求1所述的方法，其特征在于，所述消息系统元数据包括各个请求端的访问权限；
所述接收包括访问信息的消息处理请求，包括：
接收目标请求端发送的所述消息处理请求；
在将所述消息处理请求转发至所述目标消息处理集群之前，所述方法还包括：
根据所述目标请求端的所述访问权限，验证所述目标请求端是否有权限访问所述目标消息处理集群；
所述将所述消息处理请求转发至所述目标消息处理集群，包括：
当验证所述目标请求端有权限访问所述目标消息处理集群时，将所述消息处理请求转发至所述目标消息处理集群。
3.根据权利要求1所述的方法，其特征在于，所述消息系统元数据包括消息通道信息和节点信息，所述消息通道信息包括多个消息通道与消息处理集群中节点的对应关系；针对各个消息处理集群，所述节点信息包括所述消息处理集群与部署在所述消息处理集群上的节点的对应关系；
所述接收包括访问信息的消息处理请求，包括：
接收目标请求端发送的所述消息处理请求；
所述基于所述访问信息分析所述消息系统元数据，获得所述消息处理请求对应的目标消息处理集群，包括：
解析所述访问信息，得到所述消息处理请求对应的指定消息通道；
根据所述目标请求端的所述访问权限，验证所述目标请求端是否有权限访问所述指定消息通道；
当验证所述目标请求端有权限访问所述指定消息通道时，查询多个消息通道与消息处理集群中节点的对应关系，得到所述指定消息通道对应的指定节点；查询所述消息处理集群与部署在所述消息处理集群上的节点的对应关系，得到所述指定节点对应的消息处理集群，并将所述指定节点对应的消息处理集群作为所述目标消息处理集群。
4.根据权利要求3所述的方法，其特征在于，所述访问信息用于指示所述消息处理请求对应的指定消息通道；所述解析所述访问信息，得到所述消息处理请求对应的指定消息通道，包括：解析所述访问信息，得到所述指定消息通道；
或者，所述解析所述访问信息，得到所述消息处理请求对应的指定消息通道，包括：解析所述访问信息，得到所述消息处理请求对应的指定消费组；查询所述消息通道与消费组的对应关系，得到所述指定消费组对应的消息通道；其中，所述消息系统数据还包括消息通道与消费组的对应关系。
5.一种消息处理系统，其特征在于，包括：元数据模块、消息处理装置和多个消息处理集群；
所述元数据模块，用于存储消息系统元数据；
所述消息处理装置，用于接收包括访问信息的消息处理请求；从所述元数据模块获取消息系统元数据；所述消息系统元数据包括消息通道信息和节点信息，所述消息通道信息包括与存储消息的消息通道相关的信息，所述节点信息包括与部署在消息处理集群上的节点相关的信息；基于所述访问信息分析所述消息系统元数据，获得所述消息处理请求对应的目标消息处理集群；将所述消息处理请求转发至所述目标消息处理集群，以使所述目标消息处理集群处理所述消息处理请求；
所述目标消息处理集群，用于接收所述消息处理装置转发的所述消息处理请求，并处理所述消息处理请求。
6.一种消息处理装置，其特征在于，包括：
接收模块，用于接收包括访问信息的消息处理请求；
获取模块，用于获取消息系统元数据；
获得模块，用于基于所述访问信息分析所述消息系统元数据，获得所述消息处理请求对应的目标消息处理集群；
转发模块，用于将所述消息处理请求转发至所述目标消息处理集群，以使所述目标消息处理集群处理所述消息处理请求。
7.根据权利要求6所述的装置，其特征在于，所述消息系统元数据包括各个请求端的访问权限；
所述接收模块，具体用于接收目标请求端发送的所述消息处理请求；
所述装置还包括：
鉴权模块，用于在将所述消息处理请求转发至所述目标消息处理集群之前，根据所述目标请求端的所述访问权限，验证所述目标请求端是否有权限访问所述目标消息处理集群；
所述转发模块，具体用于当验证所述目标请求端有权限访问所述目标消息处理集群时，将所述消息处理请求转发至所述目标消息处理集群。
8.根据权利要求6所述的装置，其特征在于，所述消息系统元数据包括消息通道信息和节点信息，所述消息通道信息包括多个消息通道与消息处理集群中节点的对应关系；针对各个消息处理集群，所述节点信息包括所述消息处理集群与部署在所述消息处理集群上的节点的对应关系；
所述接收模块，具体用于接收目标请求端发送的所述消息处理请求；
所述获得模块，具体用于解析所述访问信息，得到所述消息处理请求对应的指定消息通道；根据所述目标请求端的所述访问权限，验证所述目标请求端是否有权限访问所述指定消息通道；当验证所述目标请求端有权限访问所述指定消息通道时，查询多个消息通道与消息处理集群中节点的对应关系，得到所述指定消息通道对应的指定节点；查询所述消息处理集群与部署在所述消息处理集群上的节点的对应关系，得到所述指定节点对应的消息处理集群，并将所述指定节点对应的消息处理集群作为所述目标消息处理集群。
9.根据权利要求8所述的装置，其特征在于，所述访问信息用于指示所述消息处理请求对应的指定消息通道；所述获得模块，具体用于解析所述访问信息，得到所述指定消息通道；或者，所述获得模块，具体用于解析所述访问信息，得到所述消息处理请求对应的指定消费组；查询所述消息通道与消费组的对应关系，得到所述指定消费组对应的消息通道；其中，所述消息系统数据还包括消息通道与消费组的对应关系。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-4任一所述方法的方法步骤。
CN201911392822.8A 2019-12-30 2019-12-30 消息处理方法、系统、装置及电子设备 Active CN111163088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911392822.8A CN111163088B (zh) 2019-12-30 2019-12-30 消息处理方法、系统、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911392822.8A CN111163088B (zh) 2019-12-30 2019-12-30 消息处理方法、系统、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111163088A true CN111163088A (zh) 2020-05-15
CN111163088B CN111163088B (zh) 2022-04-22

Family

ID=70559354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911392822.8A Active CN111163088B (zh) 2019-12-30 2019-12-30 消息处理方法、系统、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111163088B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144150A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 利用元数据访问信息的方法、装置和系统
CN108282514A (zh) * 2017-12-12 2018-07-13 北京奇艺世纪科技有限公司 一种分布式业务建立方法及装置
CN108289118A (zh) * 2017-12-12 2018-07-17 北京奇艺世纪科技有限公司 一种分布式消息流的管理方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104144150A (zh) * 2013-05-10 2014-11-12 中国电信股份有限公司 利用元数据访问信息的方法、装置和系统
CN108282514A (zh) * 2017-12-12 2018-07-13 北京奇艺世纪科技有限公司 一种分布式业务建立方法及装置
CN108289118A (zh) * 2017-12-12 2018-07-17 北京奇艺世纪科技有限公司 一种分布式消息流的管理方法和装置

Also Published As

Publication number Publication date
CN111163088B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
US20160164963A1 (en) Method, system, and device for managing server hardware resources in a cloud scheduling environment
CN109768879B (zh) 目标业务服务器的确定方法、装置及服务器
CN110661776B (zh) 敏感数据溯源方法、装置、安全网关及系统
CN1996834A (zh) 获取域信息和与域相关的数据的方法和设备
CN113127168A (zh) 服务分配方法、系统、装置、服务器及介质
CN112965879A (zh) 数据处理方法、装置、电子设备及可读存储介质
CN109167819B (zh) 数据同步系统、方法、装置及存储介质
CN111782652B (zh) 数据调用方法、装置、计算机设备和存储介质
CN112989313A (zh) 一种标识注册方法、装置、电子设备及存储介质
CN110933152B (zh) 一种预热方法、装置、系统及电子设备
CN110838971B (zh) 消息发送方法、装置、电子设备及存储介质
CN104468207A (zh) 终端管理的方法、装置及系统
CN110430070B (zh) 一种服务状态分析方法、装置、服务器、数据分析设备及介质
CN111382206A (zh) 一种数据存储方法及装置
CN113722114A (zh) 一种数据服务的处理方法、装置、计算设备及存储介质
CN114090623A (zh) 一种缓存资源的创建方法、装置、电子设备及存储介质
CN114465919B (zh) 一种网络服务测试方法、系统、电子设备及存储介质
CN111163088B (zh) 消息处理方法、系统、装置及电子设备
CN116151631A (zh) 一种业务决策处理系统、一种业务决策处理方法和装置
CN111400327B (zh) 一种数据同步方法、装置、电子设备及存储介质
CN113918504A (zh) 一种隔离组的实现方法及装置
CN108763291B (zh) 一种数据管理方法、装置及电子设备
CN111291127A (zh) 一种数据同步方法、装置、服务器及存储介质
CN111698324B (zh) 一种数据请求方法、装置及系统
CN112488836B (zh) 交易发送方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant