CN108289118A - 一种分布式消息流的管理方法和装置 - Google Patents

Abstract

本发明实施例提供了一种分布式消息流的管理方法及装置，所述方法包括：接收客户端发送给服务器的业务请求消息；确定所述业务请求消息的消息元数据；存储接收到的所述消息元数据；对所述消息元数据进行统一编码；建立所述消息元数据与存储的生产者信息或者与存储的生产者信息和消费者信息之间的关系；在建立关系后，将所述业务请求消息发送给所述服务器。本发明实施例中，利用SDK对消息元数据进行注册，实现了消息元数据的统一注册，并建立消息元数据与生产者信息或者与存储的生产者信息和消费者信息之间的关系，实现了数据流的统一管理和追踪。

Description

一种分布式消息流的管理方法和装置

技术领域

本发明涉及计算机技术领域，特别是涉及一种分布式消息流的管理方法及装置。

背景技术

随着互联网的发展，分布式消息系统逐渐被大规模使用。分布式消息系统，是一种能够同时在不同的计算机或服务器上提供消息的临时存储和消息的分发功能的系统。分布式消息系统通过消息中间件虽能很好的实现业务的发送、消费的解耦关系，其中，该消息中间件是利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下扩展进程间的通信。但是，在实际应用中，由于分布式消息的上下游关系错综复杂，故不能对分布式消息进行统一管理和追踪。

因此，如何对分布式消息流进行统一管理和追踪，是目前本领域技术人员有待解决的技术问题。

发明内容

本发明实施例所要解决的技术问题是提供一种分布式消息流的管理装置，以现有技术中对分布式消息流进行统一管理和追踪。

相应的，本发明实施例还提供了一种分布式消息流的管理方法，用以保证上述方法的实现及应用。

为了解决上述问题，，本发明是通过如下技术方案实现的：

第一方面提供一种分布式消息流的管理装置，所述装置包括：业务处理模块和元数据管理中心模块，其中，

所述业务处理模块，用于接收客户端发送给服务器的业务请求消息，确定所述业务请求消息的消息元数据，将所述消息元数据发送到元数据管理中心模块；

所述元数据管理中心模块，用于存储接收到的所述消息元数据，并对所述消息元数据进行统一编码，建立所述消息元数据与存储的生产者信息或者与存储的生产者信息和消费者信息之间的关系；

所述业务处理模块，还用于在所述元数据管理中心模块建立所述关系后，将所述业务请求消息发送给所述服务器。

可选的，所述业务处理模块包括：

第一接收模块，用于通过软件开发工具包SDK接收客户端发送给服务器的业务请求消息；

确定模块，用于对所述业务请求消息进行解析，得到所述消息元数据，所述消息元数据包括：标题、摘要、生产者信息、关键字、属性、存储位置信息和接口信息；或者标题、摘要、生产者信息、消费者信息、关键字、属性、存储位置信息和接口信息。

第一发送模块，用于将所述消息元数据通过所述SDK发送给元数据管理中心模块。

可选的，所述元数据管理中心模块包括：

第二接收模块，用于接收所述第一发送模块发送的消息元数据；

存储模块，用于存储所述第二接收模块接收的消息元数据；

编码模块，用于采用数据定义语言DDL对所述存储模块存储的消息元数据进行统一编码；

建立模块，用于建立所述消息元数据与存储的生产者信息或者与存储的生产者信息和消费者信息之间的关系；

第二发送模块，用于在所述建立模块建立所述关系后，向所述业务处理模块发送建立完成消息。

可选的，所述第一发送模块，还用于在接收到所述第二发送模块发送的建立完成消息后，通过所述SDK将所述业务请求消息发送给所述服务器。

可选的，所述业务处理模块和所述元数据管理中心模块集成在一起或者独立部署。

第二方面提供一种分布式消息流的管理方法，所述方法包括：

接收客户端发送给服务器的业务请求消息；

确定所述业务请求消息的消息元数据；

存储接收到的所述消息元数据；

对所述消息元数据进行统一编码；

建立所述消息元数据与存储的生产者信息或者与存储的生产者信息和消费者信息之间的关系；

在建立关系后，将所述业务请求消息发送给所述服务器。

可选的，所述接收客户端发送给服务器的业务请求消息，包括：

通过软件开发工具包SDK接收客户端发送给服务器的业务请求消息。

可选的，所述消息元数据包括：标题、摘要、生产者信息、关键字、属性、存储位置信息和接口信息；或者标题、摘要、生产者信息、消费者信息、关键字、属性、存储位置信息和接口信息。

可选的，所述对所述消息元数据进行统一编码，具体包括：

采用数据定义语言DDL对所述消息元数据进行统一编码。

可选的，在建立所述关系后，通过所述SDK将所述业务请求消息发送给所述服务器。

与现有技术相比，本发明实施例包括以下优点：

本发明实施例中，业务处理模块接收到客户端发送的业务请求，确定该业务请求中的消息元数据，并将消息元数据发送给元数据管理中心模块，元数据管理中心模块根据消息元数据中的信息建立消息元数据与生产者信息或者与生产者信息和消费者信息之间的关系，实现了生产者和消息者的数据流统一管理和追踪。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

图1是本发明实施例提供的一种分布式消息流的管理装置的结构示意图；

图2是本发明实施例提供的业务处理模块的一种结构示意图；

图3是本发明实施例提供的元数据管理中心模块的一种结构示意图；

图4是本发明实施例提供的一种应用实例的结构示意图；

图5是本发明实施例提供的一种分布式消息流的管理方法的流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

请参阅图1，示出了本发明实施例提供的一种分布式消息流的管理装置的结构框示意图，具体可以包括：业务处理模块11和元数据管理中心模块12，其中，

所述业务处理模块11，用于接收客户端发送给服务器的业务请求消息，确定所述业务请求消息的消息元数据，将所述消息元数据发送到元数据管理中心模块；

具体的，一种实施例中，业务处理模块11可以包括：第一接收模块21，确定模块22和第一发送模块23，其结构示意图如图2所示，图2为本发明实施例提供业的业务处理模块的一种结构示意图，其中，

第一接收模块21，用于通过软件开发工具包(SDK，Software Development Kit)接收客户端发送给服务器的业务请求消息；其中，SDK用于为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件的开发工具的集合，这对于本领域技术人员来说，已是熟知技术，在此不再赘述。

其中，该业务请求消息，可以包括：生产者发布的服务消息，也可以是消费者订阅的消费消息。

确定模块22，用于对所述业务请求消息进行解析，得到所述消息元数据，所述消息元数据可以包括但不限于下述元素：标题、摘要、生产者信息、关键字、属性、存储位置信息和接口信息；或者标题、摘要、生产者信息、消费者信息、关键字、属性、存储位置信息和接口信息。

该实施例中消息元数据(Metadata)，又称中介数据、中继数据，称为描述数据的数据(data about data)，主要是描述数据属性(property)的信息，用来支持如标题、摘要、生产者信息(或者生产者和消费者信息)、关键字、属性、存储位置信息和接口信息指示等元素；当然，还可以包括存储位置、历史数据、资源查找、文件记录等元素。消息元数据可以称之为是一种电子式目录，为了达到编制目录的目的，必须在描述中收藏数据的内容或特色，进而达成协助数据检索的目的。

本实施例中消息元数据是一种二进制信息，用以对存储在公共语言运行库可移植可执行文件(PE)文件或存储在内存中的程序进行描述。

第一发送模块23，用于将所述确定模块22确定的所述消息元数据通过所述SDK发送给元数据管理中心模块12。

所述元数据管理中心模块12，用于存储接收到的所述消息元数据，并对所述消息元数据进行统一编码，建立所述消息元数据与存储的生产者信息或者与存储的生产者信息和消费者信息之间信息的关系；

具体的，一种实施例中，所述元数据管理中心模块12可以包括：第二接收模块31、存储模块32，编码模块33，建立模块34和第二发送模块35，其结构示意图如图3所示，图3为本发明实施例提供的元数据管理中心模块的一种结构示意图；其中，

第二接收模块31，用于接收所述第一发送模块21发送的消息元数据；

存储模块32，用于存储所述第二接收模块31接收的消息元数据；

编码模块33，用于采用数据定义语言DDL对所述存储单元存储的消息元数据进行统一编码；

该实施例中，编码的过程主要是对元数据按照预定格式进行统一存储，存储过程中，可以按照生产者或消费者的维度进行数据库列存储，即完成编码。

其中，数据定义语言的全称为数据库模式定义语言(DDL，Data DefinitionLanguage)，利用元数据编码语言(Metadata Encoding Languages)指对元数据的元素和结构进行定义和描述的具体语法和语义规则。通常是元数据管理中心模块的一部分，用于定义元数据管理中心模块的所有特性和属性，尤其是行布局、列定义、键列(有时是选键方法)、文件位置和存储策略等。其消息元数据的具体编码过程，对于本领域技术人员已是熟知技术，在此不再赘述。

建立模块34，用于建立所述消息元数据与存储的生产者信息或者与存储的生产者信息和消费者信息之间的关系。

第二发送模块35，用于在所述建立模块建立所述关系后，向所述业务处理模块发送建立完成消息。

所述业务处理模块11，还用于在所述元数据管理中心模块建立所述关系后，将所述业务请求消息发送给所述服务器。

具体的，所述业务处理模块11中的所述第一发送模块23，还用于在接收到所述第二发送模块35发送的建立完成消息后，通过所述SDK将所述业务请求消息发送给所述服务器。

可选的，所述业务处理模块和所述元数据管理中心模块可以集成在一起，也可以独立部署。本实施例不作限制。

本发明实施例中，元数据管理中心模块在接收到业务处理模块发送的消息元数据时，存储该消息元数据，并对其进行统一编码，然后建立消息元数据与生产者信息或者与生产者信息和消费者信息之间的关系。也就是说，本发明实施例业务处理模块利用SDK将消息元数据存储到元数据管理中心模块中，实现了消息元数据的统一注册，并建立消息元数据与生产者信息，或者与生产者信息和消费者信息之间的关系，实现了数据流的统一管理和追踪。

还请参阅图4，图4为本发明实施例提供的一种应用实例的结构示意图，包括：客户端(Client)41，业务处理模块42、元数据管理中心模块43以及集群44，本实施例集群以服务器1、服务器2、服务器3、……服务器N为例，其中，

客户端(Client)41，用于向集成有SDK的服务器发送业务请求消息，该业务请求消息可以是生产者提供的服务消息，也可以是消费者订阅的消费消息。

业务处理模块42，具体可以为集成有SDK的服务器，用于通过SDK接收客户端41发送给服务器44的业务请求消息，确定所述业务请求消息的消息元数据，将所述消息元数据通过SDK发送到元数据管理中心模块43；

所述元数据管理中心模块43，可以有多个服务器服务组成，用于存储接收到业务处理模块42发送的所述消息元数据，并对所述消息元数据进行统一编码，建立所述消息元数据与存储的生产者信息或者与存储的生产者信息和消费者信息之间的关系，并在所述建立模块建立所述关系后，向所述业务处理模块42发送建立完成消息；

所述业务处理模块42，还用于在接收到元数据管理中心模块43发送的建立完成消息后，将所述业务请求消息发送给所述服务器44。

所述集群43，用于根据接收的所述业务请求，存储所述客户端41提供服务内容，或者是为所述客户端41提供订阅的消费服务。

本发明实施例中，业务处理模块利用SDK在接收到客户端发送的业务请求，确定该业务请求中的消息元数据，并将消息元数据发送给元数据管理中心模块，由元数据管理中心模块根据消息元数据中的信息建立消息元数据与生产者信息或者与生产者信息和消费者信息之间的关系，之后，业务处理模块将该业务请求发送给集群，由集群提供对应的服务器。也就是说，本发明实施例通过利用SDK将消息元数据注册到元数据管理中心中，实现了消息元数据的统一注册，并建立消息元数据与生产者信息或者与生产者信息和消费者信息之间的关系，实现了生产者和消费者的数据流的统一管理和追踪。

还请参阅图5，图5为本发明实施例提供的一种分布式消息流的管理方法的流程图，所述方法包括：

步骤501：接收客户端发送给服务器的业务请求消息；

该步骤中，服务器可以是客户端服务器，也可以是后台服务器，服务器可以通过软件开发工具包SDK接收客户端发送的业务请求消息，其中，业务请求消息可以包括：生产者发布的服务消息，也可以是消费者订阅的消费消息等。

步骤502：确定所述业务请求消息的消息元数据；

其中，所述消息元数据可以包括但不限于下述元素：标题、摘要、生产者信息、关键字、属性、存储位置信息和接口信息；或者标题、摘要、生产者信息、消费者信息、关键字、属性、存储位置信息和接口信息。

步骤503：存储接收到的所述消息元数据；

客户端服务器或后台服务器存储接收到的所述消息元数据，或者存储接收到的所述消息元数据利用第三方元数据管理中心存储所述消息元数据。

步骤504：对所述消息元数据进行统一编码；

客户端服务器或后台服务器采用数据定义语言DDL对所述消息元数据进行统一编码；或者

客户端服务器或后台服务器利用第三方元数据管理中心采用数据定义语言DDL对所述消息元数据进行统一编码，其具体的编码过程对于本领域技术人员来说，已是，熟知技术，在此不再赘述。

步骤505：建立所述消息元数据与存储的生产者信息或与存储的生产者信息和消费者信息之间的关系；

步骤506：在建立关系后，将所述业务请求消息发送给所述服务器。

在建立所述关系后，通过所述SDK将所述业务请求消息发送给所述服务器。

需要说明的是，该实施例中的服务器，可以是一个物理集群，该物理集群中包括至少一个服务器。

本发明实施例中，客户端服务器或后台服务器在接收到客户端发送的业务请求，确定该业务请求中的消息元数据，并将消息元数据发送给元数据管理中心模块，由元数据管理中心模块根据消息元数据中的信息建立消息元数据与生产者信息或者与生产者信息和消费者信息之间的关系，实现了生产者和消息者的数据流统一管理和追踪。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

对于方法实施例而言，由于其与装置实施例基本相似，所以描述的比较简单，相关之处参见装置实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的分布式数据流的管理方法及装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种分布式消息流的管理装置，其特征在于，包括：业务处理模块和元数据管理中心模块，其中，

所述业务处理模块，用于接收客户端发送给服务器的业务请求消息，确定所述业务请求消息的消息元数据，将所述消息元数据发送到元数据管理中心模块；

所述元数据管理中心模块，用于存储接收到的所述消息元数据，并对所述消息元数据进行统一编码，建立所述消息元数据与存储的生产者信息或者与存储的生产者信息和消费者信息之间的关系；

所述业务处理模块，还用于在所述元数据管理中心模块建立所述关系后，将所述业务请求消息发送给所述服务器。

2.根据权利要求1所述的装置，其特征在于，所述业务处理模块包括：

第一接收模块，用于通过软件开发工具包SDK接收客户端发送给服务器的业务请求消息；

确定模块，用于对所述业务请求消息进行解析，得到所述消息元数据，所述消息元数据包括：标题、摘要、生产者信息、关键字、属性、存储位置信息和接口信息；或者标题、摘要、生产者信息、消费者信息、关键字、属性、存储位置信息和接口信息。

第一发送模块，用于将所述消息元数据通过所述SDK发送给元数据管理中心模块。

3.根据权利要求2所述的装置，其特征在于，所述元数据管理中心模块包括：

第二接收模块，用于接收所述第一发送模块发送的消息元数据；

存储模块，用于存储所述第二接收模块接收的消息元数据；

编码模块，用于采用数据定义语言DDL对所述存储模块存储的消息元数据进行统一编码；

建立模块，用于建立所述消息元数据与存储的生产者信息或者与存储的生产者信息和消费者信息之间的关系；

第二发送模块，用于在所述建立模块建立所述关系后，向所述业务处理模块发送建立完成消息。

4.根据权利要求3所述的装置，其特征在于，所述第一发送模块，还用于在接收到所述第二发送模块发送的建立完成消息后，通过所述SDK将所述业务请求消息发送给所述服务器。

5.根据权利要求1至4任一项所述的装置，其特征在于，

所述业务处理模块和所述元数据管理中心模块集成在一起或者独立部署。

6.一种分布式消息流的管理方法，其特征在于，包括：

接收客户端发送给服务器的业务请求消息；

确定所述业务请求消息的消息元数据；

存储接收到的所述消息元数据；

对所述消息元数据进行统一编码；

建立所述消息元数据与存储的生产者信息或者与存储的生产者信息和消费者信息之间的关系；

在建立关系后，将所述业务请求消息发送给所述服务器。

7.根据权利要求6所述的方法，其特征在于，所述接收客户端发送给服务器的业务请求消息，包括：

通过软件开发工具包SDK接收客户端发送给服务器的业务请求消息。

8.根据权利要求6所述的方法，其特征在于，所述消息元数据包括：标题、摘要、生产者信息、关键字、属性、存储位置信息和接口信息；或者标题、摘要、生产者信息、消费者信息、关键字、属性、存储位置信息和接口信息。

9.根据权利要求6所述的方法，其特征在于，所述对所述消息元数据进行统一编码，具体包括：

采用数据定义语言DDL对所述消息元数据进行统一编码。

10.根据权利要求6至9任一项所述的方法，其特征在于，

在建立所述关系后，通过所述SDK将所述业务请求消息发送给所述服务器。