CN116719652B - 基于消息的多子作业动态分流方法、装置和系统 - Google Patents

Abstract

本说明书的实施例提供了一种基于消息的多子作业动态分流方法、装置和系统。在该基于消息的多子作业动态分流方法所涉及的用于多子作业动态分流的消息下发方法中，在将所接收到的待处理消息流存入消息队列的过程中，向所述待处理消息流中注入切流信令消息，按照第一分流规则将所述切流信令消息之前的待处理消息分流到第一子任务处理端和第二子任务处理端中的至少一者，按照所述切流信令消息所指示的第二分流规则将所述切流信令消息之后的待处理消息分流到相应子任务处理端，以使被分配到待处理消息的子任务处理端分别处理所分配到的待处理消息。

Description

基于消息的多子作业动态分流方法、装置和系统

技术领域

本说明书实施例通常涉及计算机技术领域，尤其涉及基于消息的多子作业动态分流方法、装置和系统。基于消息的多子作业动态分流方法、装置具体涉及用于多子作业动态分流的消息下发方法、装置和用于多子作业动态分流的消息处理方法、装置。

背景技术

随着互联网技术的飞速发展，所需处理的数据量越来越大，对数据处理系统的可靠性和处理速率要求也越来越高。现有技术中，往往采用基于流处理引擎提交的流作业来实现接近实时的异步计算，其被广泛应用于诸如统计订单量、成交额，模型异步推理计算等领域。而同时，为了满足某些业务的大吞吐需求和作业稳定性、灵活性的需求，往往采用多子作业的模式进行数据处理。因此，如何简便高效地实现对多子作业进行动态分流成为流处理系统需要解决的问题。

发明内容

鉴于上述，本说明书实施例提供了一种基于消息的多子作业动态分流方法、装置和系统。利用该方法、装置，可以简便高效地实现对多子作业进行动态分流。

根据本说明书的实施例的一个方面，提供一种用于多子作业动态分流的消息下发方法，包括：将所接收到的待处理消息流存入消息队列；向所述待处理消息流中注入切流信令消息；以及按照第一分流规则将所述切流信令消息之前的待处理消息分流到第一子任务处理端和第二子任务处理端中的至少一者，按照所述切流信令消息所指示的第二分流规则将所述切流信令消息之后的待处理消息分流到相应子任务处理端，以使被分配到待处理消息的子任务处理端分别处理所分配到的待处理消息。

根据本说明书的实施例的另一个方面，提供一种用于多子作业动态分流的消息处理方法，包括：接收通过如上所述的方法下发的消息；若所接收的消息为所述切流信令消息，根据消息过滤规则和所述切流信令消息处理所述切流信令消息之后的待处理消息，直至接收到下一个切流信令消息。

根据本说明书的实施例的又一个方面，提供一种用于多子作业动态分流的消息下发装置，包括：消息传递单元，被配置为将所接收到的待处理消息流存入消息队列；按照第一分流规则将所述切流信令消息之前的待处理消息分流到第一子任务处理端和第二子任务处理端中的至少一者，按照所述切流信令消息所指示的第二分流规则将所述切流信令消息之后的待处理消息分流到相应子任务处理端，以使被分配到待处理消息的子任务处理端分别处理所分配到的待处理消息；信令注入单元，被配置为向所述待处理消息流中注入切流信令消息。

根据本说明书的实施例的再一个方面，提供一种用于多子作业动态分流的消息处理装置，包括：消息接收单元，被配置为接收通过如上所述的方法下发的消息；消息处理单元，被配置为若所接收的消息为所述切流信令消息，根据消息过滤规则和所述切流信令消息处理所述切流信令消息之后的待处理消息，直至接收到下一个切流信令消息。

根据本说明书的实施例的另一方面，提供一种用于多子作业动态分流的消息下发装置，包括：至少一个处理器，以及与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的用于多子作业动态分流的消息下发方法。

根据本说明书的实施例的另一方面，提供一种用于多子作业动态分流的消息处理装置，包括：至少一个处理器，以及与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的用于多子作业动态分流的消息处理方法。

附图说明

通过参照下面的附图，可以实现对于本说明书内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。

图1示出了根据本说明书的实施例的用于多子作业动态分流的消息下发方法和装置、消息处理方法和装置，基于消息的多子作业动态分流方法、装置和系统的示例性架构。

图2示出了根据本说明书的实施例的用于多子作业动态分流的消息下发方法的一个示例的流程图。

图3示出了根据本说明书的实施例的切流信令消息的生成过程的一个示例的流程图。

图4示出了根据本说明书的实施例的切流信令消息的生成过程的又一个示例的流程图。

图5示出了根据本说明书的实施例的用于多子作业动态分流的消息处理方法的一个示例的流程图。

图6示出了根据本说明书的实施例的切流信令消息之后的待处理消息的处理过程的一个示例的流程图。

图7示出了根据本说明书的实施例的用于多子作业动态分流的消息处理方法的应用场景的一个示例的示意图。

图8示出了根据本说明书的实施例的用于多子作业动态分流的消息下发装置的一个示例的方框图。

图9示出了根据本说明书的实施例的用于多子作业动态分流的消息处理装置的一个示例的方框图。

图10示出了根据本说明书的实施例的用于多子作业动态分流的消息处理装置中消息处理单元的一个示例的方框图。

图11示出了根据本说明书的实施例的基于消息的多子作业动态分流系统中各个部分之间交互的一个示例的信令图。

图12示出了根据本说明书的实施例的用于多子作业动态分流的消息下发装置的一个示例的方框图。

图13示出了根据本说明书的实施例的用于多子作业动态分流的消息处理装置的一个示例的方框图。

具体实施方式

以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书实施例内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

下面将结合附图来详细描述根据本说明书实施例的用于多子作业动态分流的消息下发方法和装置、消息处理方法和装置，基于消息的多子作业动态分流方法、装置和系统。

图1示出了根据本说明书实施例的用于多子作业动态分流的消息下发方法和装置、消息处理方法和装置以及基于消息的多子作业动态分流系统的示例性架构100。

在图1中，网络110被应用于在终端设备121、122和应用服务器130之间进行互连。

网络110可以是能够对网络实体进行互连的任何类型的网络。网络110可以是单个网络或各种网络的组合。在覆盖范围方面，网络110可以是局域网（LAN）、广域网（WAN）等。在承载介质方面，网络110可以是有线网络、无线网络等。在数据交换技术方面，网络110可以是电路交换网络、分组交换网络等。

终端设备121、122可以是能够连接到网络110、访问网络110上的服务器或网站、处理数据或信号等的任何类型的电子计算设备。例如，终端设备121、122可以是台式计算机、笔记本电脑、平板电脑、智能电话等。尽管在图1中仅示出了一个终端设备，但是应当理解，可以有不同数量的终端设备连接到网络110。

在一种实施方式中，终端设备121、122可以由用户使用。终端设备121、122可以包括可为用户提供各种服务的应用客户端。在一些情况下，应用客户端可以与应用服务器130进行交互。例如，应用客户端可以将用户输入的消息传送到应用服务器130，并且从应用服务器130接收与上述消息相关联的响应。在一个示例中，“消息”例如可以是通过对业务数据的负载和相关属性信息进行包装而得到的、作为数据传输单元的待处理消息。在一个示例中，“消息”还可以是用于指示多子作业动态分流的控制指令。

应用服务器130可以将所接收到的消息存入消息队列，通过多个子作业对消息队列中的相应待处理消息进行处理，以得到处理结果。

应当理解，图1中所示的所有网络实体都是示例性的，根据具体的应用需求，架构100中可以涉及任何其它网络实体。

图2示出了根据本说明书的实施例的用于多子作业动态分流的消息下发方法200的流程图。

如图2所示，在210，将所接收到的待处理消息流存入消息队列。

在一个示例中，可以以流数据的形式接收待处理消息。待处理消息可以因不同的应用场景而不同。在一个示例中，一条待处理消息可以包括一条待处理视频的相关信息。其中，相关信息例如可以包括视频信息和处理方式信息。视频信息例如可以包括待处理视频的地址链接、编码格式、帧率、分辨率、时长等。处理方式信息例如可以包括转码后的编码格式、目标时长等。在一个示例中，一条待处理消息可以包括一条待输入至模型以用于推理的特征数据。

可选地，在一个示例中，各个待处理消息对应有消息索引。在一个示例中，可以按照待处理消息的接收顺序依次编号得到消息索引。

在220，向待处理消息流中注入切流信令消息。

在本实施例中，上述切流信令消息可以用于指示与消息队列对应的至少两个子任务处理端与各自所要处理的待处理消息之间的对应关系的变更。其中，子任务处理端用于消费具有对应关系的消费队列中的待处理消息。在一个示例中，上述切流信令消息可以用于指示用于消费后续的待处理消息的子任务处理端，例如可以指定某个或某些子任务处理端。各个子任务处理端可以用于完成相应的子作业。

可选地，在一个示例中，切流信令消息还可以用于指示用于消费后续的待处理消息的子任务处理端之间的负载分布，例如使子任务处理端1的负载由50%调整到75%，使子任务处理端2的负载由50%调整到25%。

可选地，继续参见图3，图3示出了根据本说明书的实施例的切流信令消息的生成过程300的一个示例的流程图。

在310，根据接收到的用于指示不再由目标子任务处理端来处理待处理消息的指令，从第一分流规则对应的子任务处理端中去除目标子任务处理端，得到第二分流规则的相应子任务处理端。

在本实施例中，第二分流规则的相应子任务处理端可以用于指示分流后继续用于消费消息队列中的待处理消息的子任务处理端。在一个示例中，目标子任务处理端例如可以是待下线的子任务处理端，目标子任务处理端例如也可以是存在故障的子任务处理端。在一个示例中，第一分流规则可以用于指示将待处理消息分流到第一子任务处理端和第二子任务处理端。目标子任务处理端可以是第一子任务处理端，则所得到的第二分流规则的相应子任务处理端可以是第二子任务处理端。在一个示例中，第一分流规则也可以用于指示将待处理消息分流到第一子任务处理端、第二子任务处理端、第三子任务处理端和第四子任务处理端。目标子任务处理端可以是第三子任务处理端，则所得到的第二分流规则的相应子任务处理端可以是第一子任务处理端、第二子任务处理端和第四子任务处理端。

在320，根据所确定的相应子任务处理端的数目和各自对应的子任务处理端索引，生成切流信令消息。

在一个示例中，所生成的切流信令消息可以用于指示所确定的子任务处理端的数目和各个子任务处理端分别对应的子任务处理端索引。

基于此，本方案可以在指定目标子任务处理端下线的情况下生成相应的切流信令消息，从而实现多子作业之间的动态分流。

可选地，继续参见图4，图4示出了根据本说明书的实施例的切流信令消息的生成过程400的又一个示例的流程图。

在410，根据接收到的用于指示增加或减少目标数目个子任务处理端来处理待处理消息的指令，基于第一分流规则对应的子任务处理端增加或减少目标数目个子任务处理端，得到第二分流规则的相应子任务处理端。

在本实施例中，第二分流规则的相应子任务处理端可以用于指示分流后继续用于消费消息队列中的待处理消息的子任务处理端。在一个示例中，可以在上述第一分流规则对应的子任务处理端的基础上增加或减少目标数目个子任务处理端，以得到第二分流规则的相应子任务处理端。在一个示例中，上述指令中可以包括扩容数量（即所增加的子任务处理端的数目）或缩容数量（即所减少的子任务处理端的数目）。在一个示例中，第一分流规则可以用于指示将待处理消息分流到第一子任务处理端。若上述指令指示增加2个子任务处理端，则所得到的第二分流规则的相应子任务处理端可以是第一子任务处理端、第二子任务处理端和第三子任务处理端。在一个示例中，第一分流规则也可以用于指示将待处理消息分流到第一子任务处理端、第二子任务处理端、第三子任务处理端和第四子任务处理端。若上述指令指示减少2个子任务处理端，则所得到的第二分流规则的相应子任务处理端可以是第一子任务处理端和第四子任务处理端。

在一个示例中，所增加或减少的子任务处理端可以预先指定（例如按照子任务处理端索引的顺序），也可以根据实际应用情况（例如各个子任务处理端和备用子任务处理端的负载情况）动态确定。

在420，根据所确定的相应子任务处理端的数目和各自对应的子任务处理端索引，生成切流信令消息。

在本实施例中，所生成的切流信令消息可以用于指示所确定的子任务处理端的数目和各个有效子任务处理端分别对应的子任务处理端索引。

基于此，本方案可以在多子作业扩缩容的情况下生成相应的切流信令消息，从而实现多子作业之间的动态分流。

回到图2，在230，按照第一分流规则将切流信令消息之前的待处理消息分流到第一子任务处理端和第二子任务处理端中的至少一者，按照切流信令消息所指示的第二分流规则将切流信令消息之后的待处理消息分流到相应子任务处理端，以使被分配到待处理消息的子任务处理端分别处理所分配到的待处理消息。

在本实施例中，第一分流规则和第二分流规则可以分别用于指示可以接收所分流的消息的子任务处理端。在一个示例中，可以将消息队列中的消息按照入队顺序分别下发到第一分流规则对应的各个子任务处理端和第二分流规则的相应子任务处理端。其中，上述消息可以包括待处理消息和切流信令消息。在一个示例中，可以将上述消息队列中的全量消息下发至各个分流规则所对应的各个子任务处理端。

在本实施例中，将上述待处理消息分流后，被分配到待处理消息的各个子任务处理端可以分别处理所分配到的待处理消息。可选地，被分配到待处理消息的各个子任务处理端可以进一步根据各自的消息过滤规则分别处理至少部分所分配到的待处理消息。

利用图1-图4中公开的用于多子作业动态分流的消息下发方法，可以通过向用于保存待处理消息流的消息队列中注入切流信令消息，实现了将切流的变更信号同时下发给各个子作业，并且结合队列消息处理顺序保证了消息的一致性（例如无重复、无遗漏），无需考虑各个子作业的处理进度，同时避免引入额外的配置项，不会额外增加维护难度和维护成本。

下面参考图5，图5示出了根据本说明书的实施例的用于多子作业动态分流的消息处理方法500的一个示例的流程图。该方法通常可以由子任务处理端来执行。

在510，接收从消息队列下发的消息。

在本实施例中，上述消息可以包括待处理消息和切流信令消息。其中，上述切流信令消息是根据所接收到的分流指令而生成的。上述分流指令可以用于指示与消息队列对应的至少两个子任务处理端与各自所要处理的待处理消息之间的对应关系的变更。

可选地，在一个示例中，上述切流信令消息的生成过程可以参考前述图3、图4实施例中的相应描述，此处不再赘述。

在520，若所接收的消息为切流信令消息，根据消息过滤规则和切流信令消息处理切流信令消息之后的待处理消息，直至接收到下一个切流信令消息。

在本实施例中，消息过滤规则可以用于指示该子任务处理端从所接收到的全量待处理消息中选取至少部分待处理消息进行处理的选取依据。在一个示例中，消息过滤规则可以是根据切流信令消息所指示的第二分流规则的相应子任务处理端的数目和所确定的相应子任务处理端而得到。例如，切流信令消息所指示的第二分流规则的相应子任务处理端可以为子任务处理端1、子任务处理端2、子任务处理端5，消息过滤规则可以用于指示将所接收到的待处理消息依次分配给子任务处理端1→子任务处理端2→子任务处理端5→子任务处理端1→子任务处理端2→子任务处理端5等。

在一个示例中，若切流信令消息用于指示子任务处理端1的负载由50%调整到75%、子任务处理端2的负载由50%调整到25%，则消息过滤规则可以用于指示将所接收到的待处理消息依次分配给子任务处理端1→子任务处理端1→子任务处理端2→子任务处理端1→子任务处理端1→子任务处理端1→子任务处理端2→子任务处理端1等。

可以理解，在接收到切流信令消息之前，可以根据各自的消息过滤规则处理所接收到的待处理消息。在一个示例中，消息过滤规则可以是根据当前分流规则的相应子任务处理端的数目和所确定的相应子任务处理端而得到。

可选地，继续参见图6，图6示出了根据本说明书的实施例的切流信令消息之后的待处理消息的处理过程600的一个示例的流程图。

如图6所示，在610，根据切流信令消息所指示的相应子任务处理端各自对应的子任务处理端索引判断自身是否属于第二分流规则的相应子任务处理端。

在本实施例中，各个待处理消息对应有消息索引，各个子任务处理端对应有子任务处理端索引。上述切流信令消息可以用于指示所确定的相应子任务处理端的数目和各自对应的子任务处理端索引。可以根据自身对应的子任务处理端索引是否存于上述第二分流规则的相应子任务处理端的子任务处理端索引列表中来判断自身是否属于相应子任务处理端。

若判断为否，在620，不再处理切流信令消息之后的待处理消息。

在本实施例中，不再处理切流信令消息之后的待处理消息，直至接收到下一个切流信令消息后继续上述判断。

若判断为是，在630，根据切流信令消息之后的待处理消息对应的消息索引对所确定的相应子任务处理端的数目取余的结果，从切流信令消息之后的待处理消息中选取具有相应消息索引的待处理消息进行处理。

在一个示例中，切流信令消息之后的待处理消息对应的消息索引例如可以是消息6、7、8、9、10，所确定的相应子任务处理端（例如子任务处理端3、子任务处理端5、子任务处理端6）的数目例如可以是3。则可以确定消息6、7、8、9、10对3取余的结果分别为0、1、2、0、1。例如，可以由子任务处理端3选取消息索引为8的待处理消息进行处理，由子任务处理端5选取消息索引为6、9的待处理消息进行处理，由子任务处理端6选取消息索引为7、10的待处理消息进行处理。

可选地，还可以根据取余的结果和自身对应的子任务处理端索引在所确定的相应子任务处理端各自对应的子任务处理端索引中的位置选取具有相应消息索引的待处理消息进行处理。例如，若自身对应的子任务处理端索引为3（在索引3、5、6中排序最先），所选取的相应消息索引可以为6、9（即对应取余的结果为0，在取余的结果中排序最先）的待处理消息进行处理。相应地，对于子任务处理端索引为5的子任务处理端（在索引3、5、6中排序居中），所选取的相应消息索引可以为7、10（即对应取余的结果为1，在取余的结果中排序居中）的待处理消息进行处理。对于子任务处理端索引为6（在索引3、5、6中排序最后）的子任务处理端，可以选取相应消息索引为8（即对应取余结果为2，在取余的结果中排序最后）的待处理消息进行处理。可以理解，不同子任务处理端索引与不同取余的结果之间也可以具有其他对应关系。

基于此，本方案可以提供一种将消息过滤规则细化为根据消息索引和子任务处理端索引进行待处理消息的分配的方案，以实现多子作业动态分流。

继续参考图7，图7示出了根据本说明书的实施例的用于多子作业动态分流的消息处理方法700的应用场景的一个示例的示意图。

如图7所示，中间组件710可以将从生产端720不断接收到的待处理消息流存入消息队列730。在此期间，若控制台710接收到运维端740发送的分流指令，可以根据分流指令生成切流信令消息并向消息队列730注入所生成的切流信令消息。其中，上述切流信令消息可以用于指示后续待处理消息均由子任务处理端1来处理。在一个示例中，消息队列730中可以包括如下消息：待处理消息-1、待处理消息-2、待处理消息-3、待处理消息-4、待处理消息-5、切流信令消息、待处理消息-6、待处理消息-7（按照接收先后顺序排序）。子任务处理端1（如图7中750所示）和子任务处理端2（如图7中760所示）可以分别接收上述消息。动态过滤规则1可以用于指示处理消息索引为单数的待处理消息，动态过滤规则2可以用于指示处理消息索引为双数的待处理消息。对于子任务处理端1，在切流信令消息之前，可以从待处理消息1~5中选取待处理消息1、3、5进行处理；在切流信令消息之后，可以从待处理消息6、7中选取全部待处理消息进行处理。从而，子任务处理端1根据相应的业务逻辑（例如用于指示处理方式）得到所处理的各个待处理消息对应的处理结果，并将处理结果存入结果队列1（如图7中770所示）。同理，对于子任务处理端2，在切流信令消息之前，可以从待处理消息1~5中选取待处理消息2、4进行处理；在切流信令消息之后，不再对待处理消息进行处理。从而，子任务处理端2根据相应的业务逻辑（例如用于指示处理方式）得到所处理的各个待处理消息对应的处理结果，并将处理结果存入结果队列2（如图7中780所示）。

利用图5-图7中公开的用于多子作业动态分流的消息处理方法，可以通过接收包含待处理消息和指示切流变更信号的切流信令消息的全量消息并根据消息过滤规则和切流信令消息进行按序处理，实现了多子作业之间的动态分流，避免引入额外的配置项，不会额外增加维护难度和维护成本。而且即使在各个子作业的消息处理进度不一致的情况下，也能保证所有待处理消息在不同子作业的分片逻辑是一致的。

图8示出了根据本说明书的实施例的用于多子作业动态分流的消息下发装置800的一个示例的方框图。该装置实施例可以与图2-图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图8所示，用于多子作业动态分流的消息下发装置800可以包括消息传递单元810和信令注入单元820。

消息传递单元810，被配置为将所接收到的待处理消息流存入消息队列；按照第一分流规则将所述切流信令消息之前的待处理消息分流到第一子任务处理端和第二子任务处理端中的至少一者，按照所述切流信令消息所指示的第二分流规则将所述切流信令消息之后的待处理消息分流到相应子任务处理端，以使被分配到待处理消息的子任务处理端分别处理所分配到的待处理消息。消息传递单元810的操作可以参考上面图2描述的210、230的相关操作。

信令注入单元820，被配置为向所述待处理消息流中注入切流信令消息。信令注入单元820的操作可以参考上面图2描述的220的相关操作。

在一个示例中，各个待处理消息对应有消息索引，各个子任务处理端对应有子任务处理端索引。所述装置800还可以包括信令消息生成单元830，被配置为：根据接收到的用于指示不再由目标子任务处理端来处理待处理消息的指令，从所述第一分流规则对应的子任务处理端中去除所述目标子任务处理端，得到所述第二分流规则的相应子任务处理端；以及根据所确定的相应子任务处理端的数目和各自对应的子任务处理端索引，生成所述切流信令消息。信令消息生成单元830的操作可以参考上面图3描述的310-320的相关操作。

在一个示例中，各个待处理消息对应有消息索引，各个子任务处理端对应有子任务处理端索引。信令消息生成单元830可以被配置为：根据接收到的用于指示增加或减少目标数目个子任务处理端来处理待处理消息的指令，基于所述第一分流规则对应的子任务处理端增加或减少目标数目个子任务处理端，得到所述第二分流规则的相应子任务处理端；以及根据所确定的相应子任务处理端的数目和各自对应的子任务处理端索引，生成所述切流信令消息。信令消息生成单元830的操作可以参考上面图4描述的410-420的相关操作。

图9示出了根据本说明书的实施例的用于多子作业动态分流的消息处理装置900的一个示例的方框图。该装置实施例可以与图5-图7所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图9所示，用于多子作业动态分流的消息处理装置900可以包括消息接收单元910、消息处理单元920。

消息接收单元910，被配置为接收通过如上述用于多子作业动态分流的消息下发方法下发的消息。消息接收单元910的操作可以参考上面图5描述的510的操作。

消息处理单元920，被配置为若所接收的消息为所述切流信令消息，根据消息过滤规则和所述切流信令消息处理所述切流信令消息之后的待处理消息，直至接收到下一个切流信令消息。消息处理单元920的操作可以参考上面图5描述的520的操作。

可选地，继续参考图10，图10示出了根据本说明书的实施例的用于多子作业动态分流的消息处理装置中消息处理单元1000的一个示例的方框图。

在本实施例中，各个待处理消息对应有消息索引，所述切流信令消息包括所述第二分流规则的相应子任务处理端的数目和各自对应的子任务处理端索引。

如图10所示，消息处理单元1000可以包括判断模块1010和处理模块1020。

判断模块1010，被配置为若所接收的消息为所述切流信令消息，根据所述切流信令消息所指示的相应子任务处理端各自对应的子任务处理端索引判断自身是否属于所述第二分流规则的相应子任务处理端。判断模块1010的操作可以参考上面图6描述的610的操作。

处理模块1020，被配置为若判断为否，不再处理所述切流信令消息之后的待处理消息；若判断为是，根据所述切流信令消息之后的待处理消息对应的消息索引对所确定的相应子任务处理端的数目取余的结果，从所述切流信令消息之后的待处理消息中选取具有相应消息索引的待处理消息进行处理。处理模块1020的操作可以参考上面图6描述的620-630的操作。

下面参考图11，图11示出了根据本说明书的实施例的基于消息的多子作业动态分流系统1100中各个部分之间交互的一个示例的信令图。

在1110，中间组件可以将所接收到的待处理消息流存入消息队列。在一个示例中，多个生产端（例如用户使用的客户端）可以向上述中间组件发送的待处理消息。在1120，中间组件可以向上述待处理消息流中注入切流信令消息。在一个示例中，上述切流信令消息可以响应于接收到由运维人员通过所使用的客户端发送的分流指令而生成，也可以由用于监测所运行的子任务处理端是否发生故障的报警系统来自动触发。可以理解，在向上述消息队列中的待处理消息流注入切流信令消息之后，在1130，中间组件仍然可以将后续接收到的待处理消息流继续存入上述消息队列。在1140，中间组件可以将消息队列中的消息下发到相应子任务处理端。在一个示例中，具体可以按照第一分流规则将上述消息队列中在上述切流信令消息之前的待处理消息分别下发到子任务处理端1和子任务处理端2（子任务处理端的数目不做限定）分流到第一子任务处理端和第二子任务处理端中的至少一者，按照上述切流信令消息所指示的第二分流规则将上述切流信令消息之后的待处理消息分流到相应子任务处理端（例如仍可以是子任务处理端1和子任务处理端2，也可以是子任务处理端1和子任务处理端2中的任一或其他）。在1150，各个子任务处理端（例如子任务处理端1或子任务处理端2）可以根据各自的消息过滤规则处理相应的待处理消息。在1160，在各个子任务处理端（例如子任务处理端1或子任务处理端2）处理所接收到的消息的过程中，若所接收的消息为切流信令消息，子任务处理端可以根据消息过滤规则和切流信令消息处理切流信令消息之后的待处理消息，直至接收到下一个切流信令消息。

以上参照图1到图11，对根据本说明书实施例的用于多子作业动态分流的消息下发方法和装置、用于多子作业动态分流的消息处理方法和装置以及基于消息的多子作业动态分流系统的实施例进行了描述。

本说明书实施例的用于多子作业动态分流的消息下发装置和用于多子作业动态分流的消息处理装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。在本说明书实施例中，用于多子作业动态分流的消息下发装置和用于多子作业动态分流的消息处理装置例如可以利用电子设备实现。

图12示出了本说明书的实施例的用于多子作业动态分流的消息下发装置1200的示意图。

如图12所示，用于多子作业动态分流的消息下发装置1200可以包括至少一个处理器1210、存储器（例如，非易失性存储器）1220、内存1230和通信接口1240，并且至少一个处理器1210、存储器1220、内存1230和通信接口1240经由总线1250连接在一起。至少一个处理器1210执行在存储器中存储或编码的至少一个计算机可读指令（即，上述以软件形式实现的元素）。

在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器1210：将所接收到的待处理消息流存入消息队列；向所述待处理消息流中注入切流信令消息；以及按照第一分流规则将所述切流信令消息之前的待处理消息分流到第一子任务处理端和第二子任务处理端中的至少一者，按照所述切流信令消息所指示的第二分流规则将所述切流信令消息之后的待处理消息分流到相应子任务处理端，以使被分配到待处理消息的子任务处理端分别处理所分配到的待处理消息。

应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器1210进行本说明书的各个实施例中以上结合图1-图4描述的各种操作和功能。

图13示出了本说明书的实施例的用于多子作业动态分流的消息处理装置1300的示意图。

如图13所示，用于多子作业动态分流的消息处理装置1300可以包括至少一个处理器1310、存储器（例如，非易失性存储器）1320、内存1330和通信接口1340，并且至少一个处理器1310、存储器1320、内存1330和通信接口1340经由总线1350连接在一起。至少一个处理器1310执行在存储器中存储或编码的至少一个计算机可读指令（即，上述以软件形式实现的元素）。

在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器1310：接收通过如上所述的用于多子作业动态分流的消息下发方法下发的消息；若所接收的消息为所述切流信令消息，根据消息过滤规则和所述切流信令消息处理所述切流信令消息之后的待处理消息，直至接收到下一个切流信令消息。

应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器1310进行本说明书的各个实施例中以上结合图5-图7描述的各种操作和功能。

根据一个实施例，提供了一种例如计算机可读介质的程序产品。计算机可读介质可以具有指令（即，上述以软件形式实现的元素），该指令当被计算机执行时，使得计算机执行本说明书的各个实施例中以上结合图1-图7描述的各种操作和功能。

具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。

本说明书各部分操作所需的计算机程序代码可以用任意一种或多种程序语言编写，包括面向对象编程语言，如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB、NET以及Python等，常规程序化编程语言如C语言、Visual Basic 2003、Perl、COBOL 2002、PHP以及ABAP，动态编程语言如Python、Ruby和Groovy，或者其他编程语言等。该程序编码可以在用户计算机上运行，或者作为独立的软件包在用户计算机上运行，或者部分在用户计算机上运行另一部分在远程计算机运行，或者全部在远程计算机或服务器上运行。在后一种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（LAN）或广域网（WAN），或连接至外部计算机（例如通过因特网），或者在云计算环境中，或者作为服务使用，比如软件即服务（SaaS）。

可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘（如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW）、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

以上结合附图详细描述了本说明书的实施例的可选实施方式，但是，本说明书的实施例并不限于上述实施方式中的具体细节，在本说明书的实施例的技术构思范围内，可以对本说明书的实施例的技术方案进行多种简单变型，这些简单变型均属于本说明书的实施例的保护范围。

本说明书内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本说明书内容。对于本领域普通技术人员来说，对本说明书内容进行的各种修改是显而易见的，并且，也可以在不脱离本说明书内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本说明书内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (13)

1.一种用于多子作业动态分流的消息下发方法，包括：

将所接收到的待处理消息流存入消息队列；

向所述待处理消息流中注入切流信令消息；以及

按照第一分流规则将所述切流信令消息之前的全量待处理消息分流到第一子任务处理端和第二子任务处理端中的至少一者，按照所述切流信令消息所指示的第二分流规则将所述切流信令消息之后的全量待处理消息分流到相应子任务处理端，以使被分配到待处理消息的子任务处理端根据各自的消息过滤规则分别处理至少部分所分配到的待处理消息，其中，消息过滤规则用于指示该子任务处理端从所接收到的全量待处理消息中选取至少部分待处理消息进行处理的选取依据。

2.如权利要求1所述的方法，其中，各个待处理消息对应有消息索引，各个子任务处理端对应有子任务处理端索引，

所述切流信令消息通过以下步骤得到：

根据接收到的用于指示不再由目标子任务处理端来处理待处理消息的指令，从所述第一分流规则对应的子任务处理端中去除所述目标子任务处理端，得到所述第二分流规则的相应子任务处理端；以及

根据所确定的相应子任务处理端的数目和各自对应的子任务处理端索引，生成所述切流信令消息。

3.如权利要求1所述的方法，其中，各个待处理消息对应有消息索引，各个子任务处理端对应有子任务处理端索引，

所述切流信令消息通过以下步骤得到：

根据接收到的用于指示增加或减少目标数目个子任务处理端来处理待处理消息的指令，基于所述第一分流规则对应的子任务处理端增加或减少目标数目个子任务处理端，得到所述第二分流规则的相应子任务处理端；以及

根据所确定的相应子任务处理端的数目和各自对应的子任务处理端索引，生成所述切流信令消息。

4.一种用于多子作业动态分流的消息处理方法，包括：

接收通过权利要求1到3中任一所述的方法下发的消息；

若所接收的消息为所述切流信令消息，根据消息过滤规则和所述切流信令消息处理所述切流信令消息之后的待处理消息，直至接收到下一个切流信令消息。

5.如权利要求4所述的方法，其中，各个待处理消息对应有消息索引，所述切流信令消息包括所述第二分流规则的相应子任务处理端的数目和各自对应的子任务处理端索引，

所述根据消息过滤规则和所述切流信令消息处理所述切流信令消息之后的待处理消息包括：

根据所述切流信令消息所指示的相应子任务处理端各自对应的子任务处理端索引判断自身是否属于所述第二分流规则的相应子任务处理端；

若判断为否，不再处理所述切流信令消息之后的待处理消息；

若判断为是，根据所述切流信令消息之后的待处理消息对应的消息索引对所确定的相应子任务处理端的数目取余的结果，从所述切流信令消息之后的待处理消息中选取具有相应消息索引的待处理消息进行处理。

6.一种用于多子作业动态分流的消息下发装置，包括：

消息传递单元，被配置为将所接收到的待处理消息流存入消息队列；按照第一分流规则将切流信令消息之前的全量待处理消息分流到第一子任务处理端和第二子任务处理端中的至少一者，按照所述切流信令消息所指示的第二分流规则将所述切流信令消息之后的全量待处理消息分流到相应子任务处理端，以使被分配到待处理消息的子任务处理端根据各自的消息过滤规则分别处理至少部分所分配到的待处理消息，其中，消息过滤规则用于指示该子任务处理端从所接收到的全量待处理消息中选取至少部分待处理消息进行处理的选取依据；

信令注入单元，被配置为向所述待处理消息流中注入所述切流信令消息。

7.如权利要求6所述的装置，其中，各个待处理消息对应有消息索引，各个子任务处理端对应有子任务处理端索引，

所述装置还包括：

信令消息生成单元，被配置为：

根据接收到的用于指示不再由目标子任务处理端来处理待处理消息的指令，从所述第一分流规则对应的子任务处理端中去除所述目标子任务处理端，得到所述第二分流规则的相应子任务处理端；以及

根据所确定的相应子任务处理端的数目和各自对应的子任务处理端索引，生成所述切流信令消息。

8.如权利要求6所述的装置，其中，各个待处理消息对应有消息索引，各个子任务处理端对应有子任务处理端索引，

所述装置还包括：

信令消息生成单元，被配置为：

根据接收到的用于指示增加或减少目标数目个子任务处理端来处理待处理消息的指令，基于所述第一分流规则对应的子任务处理端增加或减少目标数目个子任务处理端，得到所述第二分流规则的相应子任务处理端；以及

根据所确定的相应子任务处理端的数目和各自对应的子任务处理端索引，生成所述切流信令消息。

9.一种用于多子作业动态分流的消息处理装置，包括：

消息接收单元，被配置为接收通过权利要求1到3中任一所述的方法下发的消息；

消息处理单元，被配置为若所接收的消息为所述切流信令消息，根据消息过滤规则和所述切流信令消息处理所述切流信令消息之后的待处理消息，直至接收到下一个切流信令消息。

10.如权利要求9所述的装置，其中，各个待处理消息对应有消息索引，所述切流信令消息包括所述第二分流规则的相应子任务处理端的数目和各自对应的子任务处理端索引，

所述消息处理单元包括：

判断模块，被配置为若所接收的消息为所述切流信令消息，根据所述切流信令消息所指示的相应子任务处理端各自对应的子任务处理端索引判断自身是否属于所述第二分流规则的相应子任务处理端；

处理模块，被配置为若判断为否，不再处理所述切流信令消息之后的待处理消息；若判断为是，根据所述切流信令消息之后的待处理消息对应的消息索引对所确定的相应子任务处理端的数目取余的结果，从所述切流信令消息之后的待处理消息中选取具有相应消息索引的待处理消息进行处理。

11.一种基于消息的多子作业动态分流系统，包括：

中间组件，被配置为将所接收到的待处理消息流存入消息队列；向所述待处理消息流中注入切流信令消息；以及按照第一分流规则将所述切流信令消息之前的全量待处理消息分流到第一子任务处理端和第二子任务处理端中的至少一者，按照所述切流信令消息所指示的第二分流规则将所述切流信令消息之后的全量待处理消息分流到相应子任务处理端，以使被分配到待处理消息的子任务处理端根据各自的消息过滤规则分别处理至少部分所分配到的待处理消息，其中，消息过滤规则用于指示该子任务处理端从所接收到的全量待处理消息中选取至少部分待处理消息进行处理的选取依据；

子任务处理端，被配置为接收所述中间组件下发的消息；若所接收的消息为所述切流信令消息，根据消息过滤规则和所述切流信令消息处理所述切流信令消息之后的待处理消息，直至接收到下一个切流信令消息。

12.一种用于多子作业动态分流的消息下发的装置，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现如权利要求1至3中任一所述的方法。

13.一种用于多子作业动态分流的消息处理装置，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现如权利要求4或5所述的方法。