CN114827156A - 消息调度的方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提出一种消息调度的方法、系统、设备及存储介质，该方法包括：客户端向消息网关发送消息调取请求，可避免客户端与存储服务器的直接连接，进而实现由消息网关利用统一的接口对多个存储服务器进行数据传输的管理。另外，消息网关基于向其关联的目标存储服务器中发送携带有位点信息以及消息对象标识的数据拉取请求。可以实现在消息网关侧记录存储服务器与每个客户端的历史消费消息进度。进而避免了客户端存储有过多数据所导致的影响负载的问题。最后，本申请实施例由存储服务器通过消息网关的统一调度实现向客户端返回对应拉取数据的方案可以避免客户端与存储服务器直接进行数据传输所导致的一旦二者通信不畅所导致的影响数据传输的问题。

Description

消息调度的方法、装置、设备及存储介质

技术领域

本申请属于计算机技术领域，具体涉及一种消息调度的方法、系统、设备及存储介质。

背景技术

现有的广播消费模式需要客户端同后端所有的存储服务器建立长连接从而进行消息的拉取。

然而，相关技术中，当存在客户端不能很方便的直连存储服务器的时候，例如存储服务器部署在云上或者部署在Kubernetes集群的时候，现有的技术方案会存在客户端拉取数据进度受阻的问题，从而可能导致影响业务的处理效率。

发明内容

本申请提出一种消息调度的方法、系统、设备及存储介质，避免了相关技术中，客户端与存储服务器直接进行数据传输所导致的一旦二者通信不畅所导致的影响数据传输的问题。

本申请第一方面实施例提出了一种消息调度的方法，所述方法应用于消息网关，所述消息网关关联有多个存储服务器，其中：

接收客户端的消息调取请求，所述消息调取请求中包括待调取消息对应的消息对象标识以及消息主题类型，其中所述消息对象标识包括客户端标识以及群组标识；

基于所述消息主题类型，选取存储有所述待调取消息的目标存储服务器中的目标分区；

确定所述客户端本次拉取消息对应的位点信息，并向所述目标存储服务器发送携带有所述位点信息以及所述消息对象标识的数据拉取请求，所述位点信息用于表征所述客户端本次从所述目标分区拉取消息的进度；

接收所述目标存储服务器发送的携带有更新位点信息的拉取消息，将所述拉取消息发送给所述客户端，所述更新位点信息用于指示所述客户端下一次从所述目标分区拉取消息的进度。

本申请第二方面实施例提出了一种消息调度的方法，应用于存储服务器，所述方法包括：

接收消息网关发送的数据拉取请求，所述数据拉取请求中包括待拉取消息对应的消息对象标识、消息主题类型、分区标识及位点信息，其中所述消息对象标识包括客户端标识以及群组标识；

基于所述位点信息，从所述分区标识对应的目标分区中选取待拉取消息，并确定所述客户端下一次从所述目标分区拉取消息对应的更新位点信息；

将所述更新位点信息以及所述待拉取消息发送给所述消息网关。

本申请第三方面的实施例提供了一种消息调度的系统，包括：客户端、消息网关以及与所述消息网关关联的多个存储服务器，其中；

所述消息网关，用于接收客户端的消息调取请求，所述消息调取请求中包括待调取消息对应的消息对象标识以及消息主题类型，其中所述消息对象标识包括客户端标识以及群组标识；基于所述消息主题类型，选取存储有所述待调取消息的目标存储服务器中的目标分区，确定所述客户端本次拉取消息对应的位点信息，并向所述目标存储服务器发送携带有位点信息以及所述消息对象标识的数据拉取请求，所述位点信息用于表征所述客户端本次从所述目标分区拉取消息的进度；

所述目标存储器，用于基于位点信息，从分区标识对应的目标分区中选取待拉取消息，并确定客户端下一次从目标分区拉取消息对应的更新位点信息，将更新位点信息以及待拉取消息发送给消息网关。

本申请第四方面的实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现上述第一方面或第二方面所述的方法。

本申请第五方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述第一方面或第二方面所述的方法。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

在本申请实施例中，客户端向消息网关发送消息调取请求，可避免客户端与存储服务器的直接连接，进而实现由消息网关利用统一的接口对多个存储服务器进行数据传输的管理。另外，消息网关基于向其关联的目标存储服务器中发送携带有位点信息以及消息对象标识的数据拉取请求。可以实现在消息网关侧记录存储服务器与每个客户端的历史消费消息进度。进而避免了客户端存储有过多数据所导致的影响负载的问题。最后，本申请实施例由存储服务器通过消息网关的统一调度实现向客户端返回对应拉取数据的方案可以避免客户端与存储服务器直接进行数据传输所导致的一旦二者通信不畅所导致的影响数据传输的问题。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本申请一实施例所提供的一种消息调度的方法中消息网关的操作流程图；

图2示出了本申请一实施例所提供的一种消息调度的系统架构流程图；

图3示出了本申请一实施例所提供的另一种消息调度的系统架构流程图；

图4示出了本申请一实施例所提供的一种消息调度的流程图；

图5示出了本申请一实施例所提供的第一位点记录表的示意图；

图6示出了本申请一实施例所提供的一种消息调度的方法中存储服务器的操作流程图；

图7示出了本申请一实施例所提供的第二位点记录表的示意图；

图8示出了本申请一实施例所提供的一种消息调度的装置的结构示意图；

图9示出了本申请一实施例所提供的一种电子设备的结构示意图；

图10示出了本申请一实施例所提供的一种存储介质的示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

下面结合附图来描述根据本申请实施例提出的一种消息调度的方法、系统、设备及存储介质。

本申请实施例提供了一种消息调度的方法，该方法可以实现通过消息网关使得客户端与存储服务器进行数据的传输。其中对于消息网关侧来说，包括接收客户端的消息调取请求，待调取消息调取请求中包括待调取消息对应的消息对象标识以及消息主题类型，其中消息对象标识包括客户端标识以及群组标识；基于待调取消息对应的消息主题类型，选取存储有待调取消息的目标存储服务器中的目标分区；确定目标分区对应的位点信息，并向目标存储服务器中发送携带有位点信息以及消息对象标识的数据拉取请求，位点信息用于表征客户端本次对于目标分区的拉取消息进度；在接收到目标存储服务器基于位点信息以及消息对象标识得到的拉取消息之后，将拉取消息发送给客户端。

另外，对于存储服务器来说，包括接收消息网关发送的携带有位点信息的数据拉取请求，数据拉取请求中包括待拉取消息对应的消息对象标识以及消息主题类型，其中消息对象标识包括客户端标识以及群组标识；确定自身分区中存储的，与消息对象标识以及消息主题类型相对应的目标分区；选取目标分区中，与位点信息相匹配的待拉取消息；将待拉取消息发送给消息网关。

下面对现有技术进行对应的介绍，在本申请实施例中，如图2所示，现有消息传输的实现主要分为三个部分：

步骤1、首先客户端通过路由发现找到所有的存储服务器(即broker1、broker1、broker2、broker3)，并根据根据返回的存储服务器数目建立对应数量的消息处理队列。可以理解的，每一个消息处理队列对应一个broker。

步骤2、客户端的这些消息处理队列分别同对应的broker建立长连接并进行消息的拉取。

步骤3、当拉取到消息之后，并消费完成之后，会将消费位点保存在客户端本地所在的一个存储区域中。用于当客户端重启过后的恢复工作

上述可以知道，现有的数据消费模式需要客户端直接同后端的存储服务器相交互。基于现有架构，且需要为每一个broker都申请一个负载均衡slb以解决网络隔离的问题。例如，客户端想在本地通过公网连接在云上部署的消息服务，那么就需要为每一个broker都申请一个公网负载均衡服务，客户端通过这个公网的负载均衡服务连接到broker进行消息的收发

针对上述提及的问题，本申请通过下述方式来实施本申请实施例提供的消息调度的方法。参见图1，该方法的执行主体为关联有多个存储服务器的消息网关，具体包括以下步骤：

步骤101：接收客户端的消息调取请求，消息调取请求中包括待调取消息对应的消息对象标识以及消息主题类型，其中消息对象标识包括客户端标识以及群组标识。

如图3所示，本申请中的消息调度的方法应用于消息调度系统中，其中可以看出，每一个存储服务器(即broker)都至少有一个分区。其中该多个存储服务器由消息网关统一管理。

进一步，例如首先消息网关需要告诉客户端当前一共存在的存储服务器以及对于服务器分区的数量(例如有3个)。一种方式中，客户端会创建3个ProcessQueue消息处理队列向该消息网关进行消息的拉取。需要说明的是，不同的客户端相互隔离，也即其都会知道3个分区，也都会创建3个消息处理队列来进行对应消息的拉取。

一种方式中，在本申请提出的消息调度系统中，可以由消息网关进行消息的调度。从而实现客户端与存储服务器均仅同消息网关进行交互。其中，一组消息网关可以管理多个Broker，Broker不再暴露给客户端直接访问

一种方式中，不同于现在广播消费路由发现会找到后面的broker，在消息网关模式下，客户端会发现到网关并同网关建立连接。在路由发现完成之后，客户端会根据消息网关返回的存储服务器的分区数创建对应的消息处理队列。

步骤102：基于消息主题类型，选取存储有待调取消息的目标存储服务器中的目标分区。

其中，如图4所示，当消息网关接收到客户端发送的消息调取请求之后，消息网关会选择一个存储服务器的分区进行消息的拉取。其中，消息网关选取目标分区的方式可以通过该待调取消息调取请求中包括的待调取消息对应的消息对象标识以及消息主题类型来实现。

举例来说，消息网关可以预先知道各个存储服务器的服务器分区中所进行存储的消息主题类型。例如存储服务器A的服务器分区a中存储有视频类消息主题类型的消息。存储服务器B的服务器分区b中存储有图像类消息主题类型的消息。存储服务器C的服务器分区c中存储有文字类消息主题类型的消息。进一步，当消息网关确定该待调取消息调取请求中存在的消息主题类型为图像类消息主题类型时，即可选取存储服务器B的服务器分区b作为目标分区。

步骤103：确定客户端本次拉取消息对应的位点信息，并向目标存储服务器发送携带有位点信息以及消息对象标识的数据拉取请求，位点信息用于表征客户端本次从目标分区拉取消息的进度。

其中，消息网关为每一个客户端维护了一个内存态的第一位点记录表，以记录每个客户端对于存储服务器的分区的消息拉取进度。

举例来说，位点信息即为用于表征客户端本次对于目标分区的拉取消息进度。例如当目标分区存在有4组消息，且历史交互中已经被客户端消费了前两组消息(消费了1、2)，那么本次客户端再次消费的消息拉取进度即为3。也即当目标分区接收到位点信息为3时，即可从当前存储的消息集合中的第3组消息作为本次客户端需要拉取的消息。

需要说明的是，本申请实施例中消息网关可以依据客户端标识以及群组标识来从预先生成的位点记录表中，确定该客户端以及该消息队列所对应的位点信息。例如消息网关在确定目标分区对应的位点信息的过程来说，可以为确定对于客户端1而言，它拉取存储服务器1的目标分区01的位点为2。

步骤104：接收目标存储服务器发送的携带有更新位点信息的拉取消息，将拉取消息发送给客户端，更新位点信息用于指示客户端下一次从目标分区拉取消息的进度。

一种方式中，消息网关会优先以自己保存的当前客户端的拉取位点进行消息的拉取(也即通过第一位点记录表)。但如果第一位点记录表中位点不存在，那么可以传递一个默认值-1给存储服务器。以使存储服务器根据消息网关传递的拉取位点是否默认值判断是否是进行消息获取还是进行拉取位点的初始化。最终存储服务器会将拉取到的消息和下一次进行消息拉取的位点返回给消息网关。

本申请实施例提供了一种消息调度的方法，该方法可以实现通过消息网关使得客户端与存储服务器进行数据的传输。其中对于消息网关侧来说，包括接收客户端的消息调取请求，待调取消息调取请求中包括待调取消息对应的消息对象标识以及消息主题类型，其中消息对象标识包括客户端标识以及群组标识；基于待调取消息对应的消息主题类型，选取存储有待调取消息的目标存储服务器中的目标分区；确定目标分区对应的位点信息，并向目标存储服务器中发送携带有位点信息以及消息对象标识的数据拉取请求，位点信息用于表征客户端本次对于目标分区的拉取消息进度；在接收到目标存储服务器基于位点信息以及消息对象标识得到的拉取消息之后，将拉取消息发送给客户端。

可选的一种方式中，基于消息主题类型，选取存储有待调取消息的目标存储服务器中的目标分区，包括：

检测消息网关关联的所有存储服务器中，存储有消息主题类型消息的服务器分区；

从存储有消息主题类型消息的服务器分区中随机选择一个服务器分区作为目标分区。

其中，当消息网关接收到客户端发送的消息调取请求之后，消息网关会选择一个存储服务器的分区进行消息的拉取。其中，消息网关选取目标分区的方式可以通过该待调取消息调取请求中包括的待调取消息对应的消息对象标识以及消息主题类型来实现。

举例来说，消息网关可以预先知道各个存储服务器的服务器分区中所进行存储的消息主题类型。例如存储服务器A的服务器分区a中存储有视频类消息主题类型的消息。存储服务器B的服务器分区b中存储有图像类消息主题类型的消息。存储服务器C的服务器分区c中存储有文字类消息主题类型的消息。进一步，当消息网关确定该待调取消息调取请求中存在的消息主题类型为图像类消息主题类型时，即可选取存储服务器B的服务器分区b作为目标分区。

可选的一种方式中，确定客户端本次拉取消息对应的位点信息，包括：

获取本地缓存的第一位点记录表；

根据客户端标识、消息主题类型、群组标识和第一位点记录表，确定客户端本次从目标分区拉取消息的位点信息；以及，

在获取到更新位点信息后，将第一位点记录表中的位点信息替换为更新位点信息。

如图5所示，为消息网关缓存的第一位点记录表。其中表中最右侧的数字即为位点信息。其中，第一位点记录表中记录了每个客户端标识(Client ID)与对应群组标识(GroupID)、存储服务器(Broker)以及分区(Queue)位点信息的关联关系。

其中，消息网关在确定了客户端标识与对应群组标识之后，即可选取与该客户端标识与对应群组标识相对应的位点信息。可以理解的，该位点信息记录了历史时段中，每个客户端对目标分区的消息拉取进度。

举例来说，位点信息即为用于表征客户端本次对于目标分区的拉取消息进度。例如当目标分区存在有4组消息，且历史交互中已经被客户端消费了前两组消息(消费了1、2)，那么本次客户端再次消费的消息拉取进度即为3。也即当目标分区接收到位点信息为3时，即可从当前存储的消息集合中的第3组消息作为本次客户端需要拉取的消息。

可选的一种方式中，根据客户端标识、消息主题类型和第一位点记录表，确定客户端本次从目标分区拉取消息的位点信息，包括：

查询第一位点记录表中是否包含消息主题类型、群组标识、客户端标识及目标分区对应的位点信息；

如果是，则从第一位点记录表中获取查询到的位点信息；

如果否，则向存储服务器发送默认值，接收存储服务器基于默认值返回的位点信息，将返回的位点信息作为本次从目标分区拉取消息的位点信息。

一种方式中，消息网关会优先以自己保存的当前客户端的拉取位点进行消息的拉取(也即通过第一位点记录表)。但如果第一位点记录表中位点不存在，那么可以传递一个默认值(例如为-1)给存储服务器。以使存储服务器根据消息网关传递的拉取位点是否默认值判断是否是进行消息或许还是进行拉取位点的初始化。

具体的，如果存储服务器接收到默认值，则可以判定消息网关处查询不到对应的位点信息。因此存储服务器即可以根据自身维护的第二位点记录表确定该客户端在该目标分区中的历史消息消费进程，并由此确定得到本次的拉取消息进度对应的位点信息。并将该位点信息返回给消息网关。

可选的一种方式中，将返回的位点信息作为本次从目标分区拉取消息的位点信息之后，还包括：

将第一位点记录表中消息主题类型、群组标识、客户端标识及目标分区对应的位点信息替换为返回的位点信息；

基于返回的位点信息向存储服务器发送数据拉取请求。

可选的一种方式中，确定客户端本次拉取消息对应的位点信息之后，还包括：

对目标分区标记互斥锁标识，互斥锁标识用于禁止本次拉取任务结束前客户端再次从目标分区中拉取消息。

一种方式中，当消息网关收到一个客户端的消息调取请求之后，消息网关会选择一个目标存储服务器的目标分区进行消息的拉取，同时为了防止同一个客户端的同一个或其他消息处理队列同时拉取后端同一个分区导致消息拉取的重复。消息网关可以确定了目标分区之后会对这个分区进行加锁(即标记互斥锁标识)，防止被其他消息处理队列的请求选中。

上述方式中，客户端向消息网关发送消息调取请求，可避免客户端与存储服务器的直接连接，进而实现由消息网关利用统一的接口对多个存储服务器进行数据传输的管理。另外，消息网关基于向其关联的目标存储服务器中发送携带有位点信息以及消息对象标识的数据拉取请求。可以实现在消息网关侧记录存储服务器与每个客户端的历史消费消息进度。进而避免了客户端存储有过多数据所导致的影响负载的问题。

本申请的另一些实施例提供了一种消息调度的方法，该方法参见图6，该方法应用于存储服务器，具体包括以下步骤：

步骤201：接收消息网关发送的数据拉取请求，数据拉取请求中包括待拉取消息对应的消息对象标识、消息主题类型、分区标识及位点信息，其中消息对象标识包括客户端标识以及群组标识。

一种方式中，当消息网关接收到客户端发送的消息调取请求之后，消息网关会选择一个存储服务器的分区(即目标分区)进行消息的拉取。

步骤202：基于位点信息，从分区标识对应的目标分区中选取待拉取消息，并确定客户端下一次从目标分区拉取消息对应的更新位点信息。

一种方式中，存储服务器可以根据数据拉取请求中携带的分区标识，确定自身的目标分区。另外，存储服务器为每一个客户端维护了一个内存态的第二位点记录表，以记录每个客户端对于存储服务器的分区的消息拉取进度。

举例来说，位点信息即为用于表征客户端本次对于目标分区的拉取消息进度。例如当目标分区存在有4组消息，且历史交互中已经被客户端消费了前两组消息(消费了1、2)，那么本次客户端再次消费的消息拉取进度即为3。也即当目标分区接收到位点信息为3时，即可从当前存储的消息集合中的第3组消息作为本次客户端需要拉取的消息。

需要说明的是，本申请实施例中消息网关可以依据客户端标识以及群组标识来从预先生成的位点记录表中，确定该客户端以及该消息队列所对应的位点信息。例如消息网关在确定目标分区对应的位点信息的过程来说，可以为确定对于客户端1而言，它拉取存储服务器1的目标分区01的位点为2。

一种方式中，不申请实施例在存储服务器上面同样会为每一个客户端维护一个内存态的第二位点记录表，但不同于消息网关的是，存储服务器会定时的将所有客户端对于每个分区的历史最小拉取进度的位点定时的存储下来，以避免重启导致消费进度的丢失。

步骤203：将更新位点信息以及待拉取消息发送给消息网关。

其中，存储服务器在提取完本次消息网关拉取的数据之后，可以理解的，用于表征拉取消息进度的位点信息也会随之更新(即变更为更新位点信息)。存储服务器同样需要把该更新位点信息发送给消息网关。以使消息网关后续再次向该存储服务器的目标分区发送数据拉取请求时，可以根据该更新位点信息来发送拉取请求。

可选的一种方式中，基于位点信息，从分区标识对应的目标分区中选取待拉取消息，包括：

若数据拉取请求包括的位点信息为默认值，则基于默认值确定更新位点信息，根据更新位点信息从分区标识对应的目标分区中选取待拉取消息；

若数据拉取请求包括的位点信息不为默认值，则从分区标识对应的目标分区中选取位点信息对应的待拉取消息。

可选的一种方式中，基于默认值确定更新位点信息，包括：

查询第二位点记录表中是否包含客户端标识及目标分区对应的位点信息；

如果是，将客户端标识及目标分区对应的位点信息确定为更新位点信息；

如果否，从本地磁盘中获取当前所有客户端从目标分区拉取消息的最小位点信息，将最小位点消息确定为更新位点消息。

一种方式中，存储服务器同样以消息主题类型、群组标识以及客户端标识的维度建立第二位点记录表。如图7所示，其用于维护每一个客户端拉取Broker分区的位点，例如对于客户端1来说，它拉取Broker1的Queue分区01的位点为2。

另外，存储服务器不同于消息网关的是，其会定时的将所有客户端对于每个分区的最小消费位点定时的存储下来，以避免重启导致消费进度的丢失。对于最小消费位点来说，可以为目标分区中，当前所有客户端从目标分区拉取消息的最小位点信息，将最小位点消息确定为更新位点消息。

可选的一种方式中，在将最小位点消息确定为更新位点消息之后，还包括：

将第二位点记录表中的位点信息替换为更新位点信息。

本申请实施例提供了一种消息调度的方法，该方法可以实现通过消息网关使得客户端与存储服务器进行数据的传输。其中对于消息网关侧来说，包括接收客户端的消息调取请求，待调取消息调取请求中包括待调取消息对应的消息对象标识以及消息主题类型，其中消息对象标识包括客户端标识以及群组标识；基于待调取消息对应的消息主题类型，选取存储有待调取消息的目标存储服务器中的目标分区；确定目标分区对应的位点信息，并向目标存储服务器中发送携带有位点信息以及消息对象标识的数据拉取请求，位点信息用于表征客户端本次对于目标分区的拉取消息进度；在接收到目标存储服务器基于位点信息以及消息对象标识得到的拉取消息之后，将拉取消息发送给客户端。

本申请实施例还提供一种消息调度的系统，该系统包括客户端、消息网关以及与消息网关关联的多个存储服务器；

消息网关，用于接收客户端的消息调取请求，消息调取请求中包括待调取消息对应的消息对象标识以及消息主题类型，其中消息对象标识包括客户端标识以及群组标识；基于消息主题类型，选取存储有待调取消息的目标存储服务器中的目标分区，确定客户端本次拉取消息对应的位点信息，并向目标存储服务器发送携带有位点信息以及消息对象标识的数据拉取请求，位点信息用于表征客户端本次从目标分区拉取消息的进度；

目标存储器，用于基于位点信息，从分区标识对应的目标分区中选取待拉取消息，并确定客户端下一次从目标分区拉取消息对应的更新位点信息，将更新位点信息以及待拉取消息发送给消息网关。

本申请中的消息调度的方法应用于消息调度系统中，其中可以看出，每一个存储服务器(即broker)都至少有一个分区。其中该多个存储服务器由消息网关统一管理。

进一步，例如首先消息网关需要告诉客户端当前一共存在的存储服务器以及对于服务器分区的数量(例如有3个)。一种方式中，客户端会创建3个ProcessQueue消息处理队列向该消息网关进行消息的拉取。需要说明的是，不同的客户端相互隔离，也即其都会知道3个分区，也都会创建3个消息处理队列来进行对应消息的拉取。

一种方式中，在本申请提出的消息调度系统中，可以由消息网关进行消息的调度。从而实现客户端与存储服务器均仅同消息网关进行交互。其中，一组消息网关可以管理多个Broker，Broker不再暴露给客户端直接访问

一种方式中，不同于现在广播消费路由发现会找到后面的broker，在消息网关模式下，客户端会发现到网关并同网关建立连接。在路由发现完成之后，客户端会根据消息网关返回的存储服务器的分区数创建对应的消息处理队列。

可选的，系统还包括：负载均衡服务器，其中：

负载均衡服务器，接收客户端发送的消息调取请求；

根据预设负载策略，在至少一个消息网关中选取一个消息网关，并将消息调取请求发送给选取的消息网关。

可选的，系统还包括：客户端，其中：

所述客户端向所述消息网关发送消息调取请求，所述消息调取请求中包括待调取消息对应的消息对象标识以及消息主题类型，其中所述消息对象标识包括所述客户端的标识以及群组标识；

所述客户端接收所述消息网关回复的消息。

一种方式中，本申请实施例提供的消息调度系统中，通过将消息网关作为调度方的架构下，可以实现解决环境互通的问题。另外，仅需要为消息网关部署一个负载均衡服务器slb就可以进行消息的收发。同时由于消息网关自身无需根据状态均可进行消息处理的优点，也可以方便的进行扩容。

上述方式中，客户端向消息网关发送消息调取请求，可避免客户端与存储服务器的直接连接，进而实现由消息网关利用统一的接口对多个存储服务器进行数据传输的管理。另外，消息网关基于向其关联的目标存储服务器中发送携带有位点信息以及消息对象标识的数据拉取请求。可以实现在消息网关侧记录存储服务器与每个客户端的历史消费消息进度。进而避免了客户端存储有过多数据所导致的影响负载的问题。

本申请的上述实施例提供的消息调度的系统与本申请实施例提供的消息调度的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

本申请实施例还提供一种消息调度的装置，该装置用于执行上述任一实施例提供的消息调度的方法中消息网关所执行的操作。如图8所示，该装置包括：

接收模块301，用于接收客户端的消息调取请求，所述消息调取请求中包括待调取消息对应的消息对象标识以及消息主题类型，其中所述消息对象标识包括客户端标识以及群组标识；

选取模块302，用于基于所述消息主题类型，选取存储有所述待调取消息的目标存储服务器中的目标分区；

确定模块303，用于确定所述客户端本次拉取消息对应的位点信息，并向所述目标存储服务器发送携带有所述位点信息以及所述消息对象标识的数据拉取请求，所述位点信息用于表征所述客户端本次从所述目标分区拉取消息的进度；

发送模块304，用于接收所述目标存储服务器发送的携带有更新位点信息的拉取消息，将所述拉取消息发送给所述客户端，所述更新位点信息用于指示所述客户端下一次从所述目标分区拉取消息的进度。

确定模块303，具体检测所述消息网关关联的所有存储服务器中，存储有所述消息主题类型消息的服务器分区；

从存储有所述消息主题类型消息的服务器分区中随机选择一个服务器分区作为所述目标分区。

选取模块302，具体获取本地缓存的第一位点记录表；

根据所述客户端标识、所述消息主题类型、所述群组标识和所述第一位点记录表，确定所述客户端本次从所述目标分区拉取消息的位点信息；以及，

在获取到所述更新位点信息后，将所述第一位点记录表中的所述位点信息替换为所述更新位点信息。

选取模块302，具体查询所述第一位点记录表中是否包含所述消息主题类型、所述群组标识、所述客户端标识及所述目标分区对应的位点信息；

如果是，则从所述第一位点记录表中获取查询到的所述位点信息；

如果否，则向所述存储服务器发送默认值，接收所述存储服务器基于所述默认值返回的位点信息，将返回的所述位点信息作为本次从所述目标分区拉取消息的位点信息。

发送模块304，具体将所述第一位点记录表中所述消息主题类型、所述群组标识、所述客户端标识及所述目标分区对应的位点信息替换为返回的所述位点信息；

基于所述返回的位点信息向所述存储服务器发送数据拉取请求。

发送模块304，具体对所述目标分区标记互斥锁标识，所述互斥锁标识用于禁止本次拉取任务结束前所述客户端再次从所述目标分区中拉取消息。

本申请的上述实施例提供的消息调度的装置与本申请实施例提供的消息调度的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

本申请实施例还提供一种消息调度的装置，该装置用于执行上述任一实施例提供的消息调度的方法中存储服务器所执行的操作。如图8所示，该装置包括：

接收模块301，用于接收消息网关发送的数据拉取请求，所述数据拉取请求中包括待拉取消息对应的消息对象标识、消息主题类型、分区标识及位点信息，其中所述消息对象标识包括客户端标识以及群组标识；

确定模块303，用于基于所述位点信息，从所述分区标识对应的目标分区中选取待拉取消息，并确定所述客户端下一次从所述目标分区拉取消息对应的更新位点信息；

发送模块304，用于将所述更新位点信息以及所述待拉取消息发送给所述消息网关。

发送模块304，用于若所述数据拉取请求包括的位点信息为默认值，则基于所述默认值确定更新位点信息，根据所述更新位点信息从所述分区标识对应的目标分区中选取待拉取消息；

若所述数据拉取请求包括的位点信息不为默认值，则从所述分区标识对应的目标分区中选取所述位点信息对应的待拉取消息。

发送模块304，用于查询第二位点记录表中是否包含所述客户端标识及所述目标分区对应的位点信息；

如果是，将所述客户端标识及所述目标分区对应的位点信息确定为所述更新位点信息；

如果否，从本地磁盘中获取当前所有客户端从所述目标分区拉取消息的最小位点信息，将所述最小位点消息确定为所述更新位点消息。

发送模块304，用于将所述第二位点记录表中的所述位点信息替换为所述更新位点信息。

本申请的上述实施例提供的消息调度的装置与本申请实施例提供的消息调度的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种电子设备，以执行上述消息调度的方法。请参考图9，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图9所示，电子设备4包括：处理器400，存储器401，总线402和通信接口403，所述处理器400、通信接口403和存储器401通过总线402连接；所述存储器401中存储有可在所述处理器400上运行的计算机程序，所述处理器400运行所述计算机程序时执行本申请前述任一实施方式所提供的消息调度的方法。

其中，存储器401可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口403(可以是有线或者无线)实现该装置网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线402可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器401用于存储程序，所述处理器400在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述消息调度的方法可以应用于处理器400中，或者由处理器400实现。

处理器400可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器400中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器400可以是通用处理器，包括处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器401，处理器400读取存储器401中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的消息调度的方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的消息调度的方法对应的计算机可读存储介质，请参考图10，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的消息调度的方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的消息调度的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下示意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种消息调度的方法，其特征在于，应用于消息网关，所述消息网关关联有多个存储服务器，其中：

接收客户端的消息调取请求，所述消息调取请求中包括待调取消息对应的消息对象标识以及消息主题类型，其中所述消息对象标识包括客户端标识以及群组标识；

基于所述消息主题类型，选取存储有所述待调取消息的目标存储服务器中的目标分区；

确定所述客户端本次拉取消息对应的位点信息，并向所述目标存储服务器发送携带有所述位点信息以及所述消息对象标识的数据拉取请求，所述位点信息用于表征所述客户端本次从所述目标分区拉取消息的进度；

接收所述目标存储服务器发送的携带有更新位点信息的拉取消息，将所述拉取消息发送给所述客户端，所述更新位点信息用于指示所述客户端下一次从所述目标分区拉取消息的进度。

2.根据权利要求1所述的方法，其特征在于，所述基于所述消息主题类型，选取存储有所述待调取消息的目标存储服务器中的目标分区，包括：

检测所述消息网关关联的所有存储服务器中，存储有所述消息主题类型消息的服务器分区；

从存储有所述消息主题类型消息的服务器分区中随机选择一个服务器分区作为所述目标分区。

3.根据权利要求1所述的方法，其特征在于，所述确定所述客户端本次拉取消息对应的位点信息，包括：

获取本地缓存的第一位点记录表；

根据所述客户端标识、所述消息主题类型、所述群组标识和所述第一位点记录表，确定所述客户端本次从所述目标分区拉取消息的位点信息；以及，

在获取到所述更新位点信息后，将所述第一位点记录表中的所述位点信息替换为所述更新位点信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述客户端标识、所述消息主题类型和所述第一位点记录表，确定所述客户端本次从所述目标分区拉取消息的位点信息，包括：

查询所述第一位点记录表中是否包含所述消息主题类型、所述群组标识、所述客户端标识及所述目标分区对应的位点信息；

如果是，则从所述第一位点记录表中获取查询到的所述位点信息；

如果否，则向所述存储服务器发送默认值，接收所述存储服务器基于所述默认值返回的位点信息，将返回的所述位点信息作为本次从所述目标分区拉取消息的位点信息。

5.根据权利要求4所述的方法，其特征在于，将返回的所述位点信息作为本次从所述目标分区拉取消息的位点信息之后，还包括：

将所述第一位点记录表中所述消息主题类型、所述群组标识、所述客户端标识及所述目标分区对应的位点信息替换为返回的所述位点信息；

基于所述返回的位点信息向所述存储服务器发送数据拉取请求。

6.根据权利要求1所述的方法，其特征在于，所述确定所述客户端本次拉取消息对应的位点信息之后，还包括：

对所述目标分区标记互斥锁标识，所述互斥锁标识用于禁止本次拉取任务结束前所述客户端再次从所述目标分区中拉取消息。

7.一种消息调度的方法，其特征在于，应用于存储服务器，所述方法包括：

接收消息网关发送的数据拉取请求，所述数据拉取请求中包括待拉取消息对应的消息对象标识、消息主题类型、分区标识及位点信息，其中所述消息对象标识包括客户端标识以及群组标识；

基于所述位点信息，从所述分区标识对应的目标分区中选取待拉取消息，并确定所述客户端下一次从所述目标分区拉取消息对应的更新位点信息；

将所述更新位点信息以及所述待拉取消息发送给所述消息网关。

8.根据权利要求7所述的方法，其特征在于，所述基于所述位点信息，从所述分区标识对应的目标分区中选取待拉取消息，包括：

若所述数据拉取请求包括的位点信息为默认值，则基于所述默认值确定更新位点信息，根据所述更新位点信息从所述分区标识对应的目标分区中选取待拉取消息；

若所述数据拉取请求包括的位点信息不为默认值，则从所述分区标识对应的目标分区中选取所述位点信息对应的待拉取消息。

9.根据权利要求8所述的方法，其特征在于，所述基于所述默认值确定更新位点信息，包括：

查询第二位点记录表中是否包含所述客户端标识及所述目标分区对应的位点信息；

如果是，将所述客户端标识及所述目标分区对应的位点信息确定为所述更新位点信息；

如果否，从本地磁盘中获取当前所有客户端从所述目标分区拉取消息的最小位点信息，将所述最小位点消息确定为所述更新位点消息。

10.根据权利要求9所述的方法，其特征在于，在所述将所述最小位点消息确定为所述更新位点消息之后，还包括：

将所述第二位点记录表中的所述位点信息替换为所述更新位点信息。

11.一种消息调度的系统，其特征在于，包括：消息网关以及与所述消息网关关联的至少一个存储服务器，其中；

所述消息网关，用于接收客户端的消息调取请求，所述消息调取请求中包括待调取消息对应的消息对象标识以及消息主题类型，其中所述消息对象标识包括客户端标识以及群组标识；基于所述消息主题类型，选取存储有所述待调取消息的目标存储服务器中的目标分区，确定所述客户端本次拉取消息对应的位点信息，并向所述目标存储服务器发送携带有位点信息以及所述消息对象标识的数据拉取请求，所述位点信息用于表征所述客户端本次从所述目标分区拉取消息的进度；

所述目标存储器，用于基于位点信息，从分区标识对应的目标分区中选取待拉取消息，并确定客户端下一次从目标分区拉取消息对应的更新位点信息，将更新位点信息以及待拉取消息发送给消息网关。

12.根据权利要求11所述的系统，其特征在于，所述系统还包括：负载均衡服务器，其中：

所述负载均衡服务器，接收所述客户端发送的消息调取请求；

根据预设负载策略，在至少一个消息网关中选取一个消息网关，并将所述消息调取请求发送给选取的所述消息网关。

13.根据权利要求11所述的系统，其特征在于，所述系统还包括：客户端，其中：

所述客户端向所述消息网关发送消息调取请求，所述消息调取请求中包括待调取消息对应的消息对象标识以及消息主题类型，其中所述消息对象标识包括所述客户端的标识以及群组标识；

所述客户端接收所述消息网关回复的消息。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行以实现权利要求1-10任一项所述的方法。

Images