CN112099958A - 分布式多任务管理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开一种分布式多任务管理方法，包括：获取任务执行请求，基于所述任务执行请求遍历在分布式中间件上创建的任务集合；获取所述任务集合中的至少两个目标数组，每一所述目标数组包括待处理任务的任务ID和任务序号；获取空闲执行节点对应的执行节点数量，根据所述任务序号和执行节点数量，确定每一所述待处理任务对应的目标执行节点；调用与所述执行节点数量相对应的线程，执行至少两个所述待处理任务，获取至少两个所述待处理任务对应的执行结果。本发明所提供的分布式多任务管理方法将待处理任务平均分配到空闲执行节点中，处理逻辑简单且高效，加快待处理任务的执行速度。

Description

分布式多任务管理方法、装置、计算机设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种分布式多任务管理方法、装置、计算机设备及存储介质。

背景技术

目前，在分布式环境下处理多个待执行任务通常是通过锁机制将一个任务自动分配一个或多个执行节点上进行处理，但发明人在实际操作过程中发现这种方法存在部分节点集中处理多个待处理任务，部分节点则仅处理少量或者不处理待处理任务，导致自动化分配时节点负载大，执行任务速度缓慢，过度压榨CPU资源，甚至宕机的问题。比如，当前有6个待执行任务，每个待执行任务对应一把锁，若节点A抢到五把锁，需要执行五个待执行任务，该节点的负载远远大于其他节点，导致节点负载不均衡的问题。同时，现有技术中还存在具有执行依赖关系的两个任务（前向任务和后任务），可能先执行后向任务，由于前向任务还没有执行完毕，或者没有执行，导致后向任务被重复执行，浪费资源的问题。

发明内容

本发明实施例提供一种分布式多任务管理方法、装置、计算机设备及存储介质，以解决节点负载不均衡和浪费资源的问题。

一种分布式多任务管理方法，包括：

获取任务执行请求，基于所述任务执行请求遍历在分布式中间件上创建的任务集合；

获取所述任务集合中的至少两个目标数组，每一所述目标数组包括待处理任务的任务ID和任务序号；

获取空闲执行节点对应的执行节点数量，根据所述任务序号和执行节点数量，确定每一所述待处理任务对应的目标执行节点；

调用与所述执行节点数量相对应的线程，执行至少两个所述待处理任务，获取至少两个所述待处理任务对应的执行结果。

一种分布式多任务管理装置，包括：

任务集合遍历模块，用于获取任务执行请求，基于所述任务执行请求遍历在分布式中间件上创建的任务集合；

目标数组获取模块，用于获取所述任务集合中的至少两个目标数组，每一所述目标数组包括待处理任务的任务ID和任务序号；

目标执行节点确定模块，用于获取空闲执行节点对应的执行节点数量，根据所述任务序号和执行节点数量，确定每一所述待处理任务对应的目标执行节点；

执行结果获取模块，用于调用与所述执行节点数量相对应的线程，执行至少两个所述待处理任务，获取至少两个所述待处理任务对应的执行结果。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述分布式多任务管理方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述分布式多任务管理方法的步骤。

上述分布式多任务管理方法、装置、计算机设备及存储介质，获取任务执行请求，基于所述任务执行请求遍历在分布式中间件上创建的任务集合，为后续实现待处理任务平均分配提供技术支持。获取所述任务集合中的至少两个目标数组，每一所述目标数组包括待处理任务的任务ID和任务序号，当服务器读取到目标数组时，则可以智能化地将待处理任务分配到执行节点中，实现平均分配。获取空闲执行节点对应的执行节点数量，根据所述任务序号和执行节点数量，确定每一所述待处理任务对应的目标执行节点，将待处理任务平均分配到空闲执行节点中，处理逻辑简单且高效，加快待处理任务的执行速度。解决锁机制中分配不均，导致部分执行节点的负载过大，部分执行节点的负载较小的问题。调用与所述执行节点数量相对应的线程，执行至少两个所述待处理任务，获取至少两个所述待处理任务对应的执行结果，以实现对待处理任务进行处理。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中分布式多任务管理方法的一应用环境示意图；

图2是本发明一实施例中分布式多任务管理方法的一流程图；

图3是本发明一实施例中分布式多任务管理方法的另一流程图；

图4是本发明一实施例中分布式多任务管理方法的另一流程图；

图5是本发明一实施例中分布式多任务管理方法的另一流程图；

图6是本发明一实施例中分布式多任务管理方法的另一流程图；

图7是本发明一实施例中分布式多任务管理方法的另一流程图；

图8是本发明一实施例中分布式多任务管理装置的一示意图；

图9是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的分布式多任务管理方法，该分布式多任务管理方法可应用如图1所示的应用环境中。具体地，该分布式多任务管理方法应用在分布式多任务管理系统中，该分布式多任务管理系统包括如图1所示的N个客户端和服务器，每一客户端与服务器通过网络进行通信，用于实现将待处理任务平均分配到空闲执行节点中，处理逻辑简单且高效，加快待处理任务的执行速度。其中，客户端又称为用户端，是指与服务器对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种分布式多任务管理方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：

S201：获取任务执行请求，基于任务执行请求遍历在分布式中间件上创建的任务集合。

其中，任务执行请求是用于待处理任务的请求。

分布式中间件可扩展进程之间的通信,同时降低多个系统之间的耦合程度。可以理解地，在分布式中间上创建任务集合可以保证将多个系统的待处理任务同时进行处理。

任务集合是redis的Set集合，该set集合是 String类型的无序集合，set集合的集合成员是唯一的,这就意味着集合中不能出现重复的数据。

本实施例中，当获取到待处理任务时，则根据待处理任务生成任务集合，以使待处理任务可以快速地分配至任务集合中，当获取任务执行请求，采用返回结果命令读取任务集合，为后续实现待处理任务平均分配提供技术支持，以解决现有技术中依赖锁机制对待处理任务进行处理，造成的有的执行节点上待处理任务数量多，有的待处理任务数量少，导致执行节点负载不均衡的问题。

S202：获取任务集合中的至少两个目标数组，每一目标数组包括待处理任务的任务ID和任务序号。

其中，任务ID是唯一识别待处理任务的ID，例如，该任务ID可以是T0、T1和T2等。

任务序号指示待处理任务在任务集合中顺序的数值，该任务序号与任务ID一一对应，例如，（T0 1）（T1 2）分布式多任务管理

目标数组指示任务序号与任务ID对应关系的数组，例如，{（T0 1）（T1 2）分布式多任务管理}，当服务器读取到目标数组时，则可以智能化地将待处理任务分配到执行节点中，实现平均分配。

S203：获取空闲执行节点对应的执行节点数量，根据任务序号和执行节点数量，确定每一待处理任务对应的目标执行节点。

其中，执行节点数量是指空闲的执行节点的数量，以便后续采用空闲的执行节点对待处理任务进行处理，合理分配节点资源。

具体地，服务器通过对所有的执行节点进行监控，以获取空闲执行节点对应的执行节点数量，每一空闲执行节点携带有节点序号，根据任务序号除以执行节点数量的余数，根据余数查找对应的节点序号，并将节点序号对应的空闲执行节点作为任务序号对应的待处理任务的目标执行节点，将待处理任务平均分配到空闲执行节点中，处理逻辑简单且高效，加快待处理任务的执行速度。解决锁机制中分配不均，导致部分执行节点的负载过大，部分执行节点的负载较小的问题。

例如，待处理任务有T0、T1、T2、T3、T4和T5，目标数组为{（T0 1）（T1 2）（T2 3）（T34）（T4 5）（T5 6）}，执行节点数量为2，包括执行节点0和执行节点1，则任务序号1除以执行节点数量2的余数为1，因此，任务序号1对应的待处理任务分配给执行节点1处理；任务序号2除以执行节点数量2的余数为0，因此，任务序号2对应的待处理任务分配给执行节点0处理，分布式多任务管理。以将待处理任务平均分配到空闲执行节点中，处理逻辑简单且高效。

S204：调用与执行节点数量相对应的线程，执行至少两个待处理任务，获取至少两个待处理任务对应的执行结果。

其中，执行结果是指对待处理任务进行处理后得到的结果。

具体地，根据任务优先对每一目标执行节点上的待处理任务排序，得到每一目标执行节点的所有待处理任务的任务优先级顺序，调用与执行节点数量相对应的线程，按照任务优先级顺序执行所有待处理任务，实现并行处理待处理任务，以提高待处理任务的执行效率。其中，任务优先级顺序指示待处理任务执行的顺序，优先级高，则优先处理；优先级低，则较慢处理，以保证及时处理待处理任务。

本实施例所提供的分布式多任务管理方法，获取任务执行请求，基于任务执行请求遍历在分布式中间件上创建的任务集合，为后续实现待处理任务平均分配提供技术支持。获取任务集合中的至少两个目标数组，每一目标数组包括待处理任务的任务ID和任务序号，当服务器读取到目标数组时，则可以智能化地将待处理任务分配到执行节点中，实现平均分配。获取空闲执行节点对应的执行节点数量，根据任务序号和执行节点数量，确定每一待处理任务对应的目标执行节点，将待处理任务平均分配到空闲执行节点中，处理逻辑简单且高效，加快待处理任务的执行速度。解决锁机制中分配不均，导致部分执行节点的负载过大，部分执行节点的负载较小的问题。调用与执行节点数量相对应的线程，执行至少两个待处理任务，获取至少两个待处理任务对应的执行结果，以实现对待处理任务进行处理。

在一实施例中，如图3所示，在步骤S201之前，即在获取任务执行请求，基于任务执行请求遍历在分布式中间件上创建的任务集合之前，分布式多任务管理方法包括：

S301：获取至少两个待分配任务请求，每一待分配任务请求包括待处理任务的任务ID和任务序号。

其中，一个待分配任务请求是指将一个待处理任务分配到任务集合中的请求。可以理解地，当存在多个待处理任务，则获取到多个待分配任务请求，以实现对多个待处理任务进行处理，且可以保证及时处理待处理。

S302：基于每一待处理任务对应的任务ID和任务序号，获取目标数组。

本实施例中，根据一个待处理任务的任务ID和任务序号获取该待处理任务对应的目标数组。

S303：将目标数组插入分布式中间件上创建的原始集合，形成任务集合。

其中，原始集合是指redis的set集合，该原始集合为空集合。在分布式中间件上创建原始集合，将基于任务ID和任务序号形成的目标数组插入原始集合形成任务集合，以为后续平均分配待处理任务提供技术支持。

本实施例中，在分布式中间件上创建原始集合，将目标数组插入分布式中间件上创建的原始集合时，通过获取待处理任务的类型标识，以确定待处理任务的任务类型，将同一任务类型的待处理任务的任务序号连在一起，需要说明地是，同一任务类型的待处理任务是指执行逻辑相同的任务，因此，同一任务类型的待处理任务的执行时间相近，由于后续根据待处理任务的任务序号除以执行节点数量的余数将待处理任务分配到与余数对应的节点序号对应的执行节点进行处理，因此，同一任务类型的待处理任务的任务序号连在一起，可以保证后续每一执行节点可以分配到数量相近的同一任务类型的待处理任务，以保证每一目标执行节点处理待处理任务的时长相近，充分利用分布式环境的节点资源，保证目标执行节点可以及时处理完成待处理任务。例如，对于任务类型1的待处理任务为3个，待处理任务的任务序号为1、2和3，任务类型2的待处理任务为5个，待处理任务的任务序号为4、5、6、7和8，执行节点为2个，由于同一任务类型的待处理任务的任务序号连在一起，因此，执行节点1的待处理任务为1、3、5和7，执行节点0的待处理任务为2、4、6和8，可以看出执行节点处理待处理任务的时长相近，充分利用分布式环境的节点资源。

本实施例所提供的分布式多任务管理方法，获取至少两个待分配任务请求，每一待分配任务请求包括待处理任务的任务ID和任务序号，以实现对多个待处理任务进行处理，且可以保证及时处理待处理。基于每一待处理任务对应的任务ID和任务序号，获取目标数组；将目标数组插入分布式中间件上创建的原始集合，形成任务集合，将任务ID和任务序号形成的目标数组插入原始集合形成任务集合，以为后续平均分配待处理任务提供技术支持。

在一实施例中，如图4所示，步骤S301，即获取至少两个待分配任务请求，包括：

S401：当系统当前时间达到预设时间时，则遍历待处理队列，获取至少两个待处理任务对应的任务ID和遍历顺序。

其中，系统当前时间是系统当前的时间。预设时间是预先设定的时间，当系统当前时间达到预设时间时，则自动遍历待处理队列，以便后续对待处理任务进行处理，实现自动化处理待处理任务。

待处理队列是指存储待处理任务的队列，以便服务器确定预设时间时需要处理的待处理任务的数量。

遍历顺序是对待处理队列中的任务进行遍历的顺序，该遍历顺序可以是从待处理队列的队列开头遍历到队列结尾，可以是从队列结尾遍历到队列开头，在此不做限定。

本实施例中，采用定时触发机制，当系统当前时间达到预设时间时，则触发遍历待处理队列，以便确定需要处理的待处理任务的数量和待处理任务对应的任务ID。

S402：根据待处理任务对应的遍历顺序，获取待处理任务对应的任务序号。

本实施例中，服务器遍历到一个待处理任务则标注该待处理任务，以形成该待处理任务的任务序号，以便后续根据该任务序号实现将待处理任务平均分配到空闲执行节点中。

S403：根据待处理任务对应的任务ID和任务序号，生成待分配任务请求。

本实施例中，根据待处理任务和待处理任务对应的任务ID自动生成待分配任务请求，以实现自动化处理待处理任务，提高智能化处理效率。

本实施例所提供的分布式多任务管理方法，当系统当前时间达到预设时间时，则遍历待处理队列，获取至少两个待处理任务对应的任务ID和遍历顺序；根据待处理任务对应的遍历顺序，获取待处理任务对应的任务序号，以便后续根据该任务序号实现将待处理任务平均分配到空闲执行节点中。根据待处理任务对应的任务ID和任务序号，生成待分配任务请求，以实现自动化处理待处理任务，提高智能化处理效率。

在一实施例中，如图5所示，目标执行节点包括节点序号。步骤S203，即根据任务序号和执行节点数量，确定每一待处理任务对应的目标执行节点，包括：

S501：采用待处理任务的任务序号除以执行节点数量得到余数。

S502：将与余数相等的节点序号对应的空闲执行节点，确定为任务序号对应的待处理任务的目标执行节点。

本实施例中，将与余数相等的节点序号对应的空闲执行节点确定为任务序号对应待处理任务对应的目标执行节点，实现将待处理任务平均分配到目标执行节点中执行，剔除了redis锁机制，提高程序运行效率。

例如，执行节点数量为2，包括执行节点0和执行节点1，任务序号为1-6，则任务序号1除以执行节点数量2的余数为1，因此，任务序号1对应的待处理任务分配给执行节点1处理；任务序号2除以执行节点数量2的余数为0，因此，任务序号2对应的待处理任务分配给执行节点0处理。

本实施例所提供的分布式多任务管理方法，采用待处理任务的任务序号除以执行节点数量得到余数。将与余数相等的节点序号对应的空闲执行节点，确定为任务序号对应的待处理任务的目标执行节点，以实现将待处理任务平均分配到目标执行节点中，剔除了redis锁机制，提高程序运行效率。

在一实施例中，如图6所示，待处理任务还包括任务单号。步骤S204，即执行至少两个待处理任务，获取至少两个待处理任务对应的执行结果，包括：

S601：根据任务单号，判断至少两个待处理任务是否存在执行依赖关系。

其中，任务单号是用户预先定义的单号，任务单号中指示了不同待处理任务是否存在执行依赖关系、存在执行依赖关系的待处理任务的数量和存在执行依赖关系的待处理任务等。本实施例中，根据预设规则对所述任务单号进行分析，以得到所述任务单号对应的单号含义，以根据单号含义确定至少两个待处理任务是否存在执行依赖关系，实现自动化处理存在执行依赖关系的待处理任务。其中，预设规则是预先设定的任务单号对应的单号含义的规则，例如，待处理任务的任务单号的第一位数字表示该待处理任务是否存在执行依赖关系，1表示存在执行依赖关系，0表示不存在执行依赖关系；第二位数字表示需要同时处理的同一执行依赖关系下的待处理任务；第三位数字指示存在执行依赖关系的待处理任务的执行顺序。例如，任务单号为011、111、112、122和123，此时，011不存在执行依赖关系，111、112、122和123这4个任务单号对应的待处理任务均存在执行依赖关系，由于111和112的第二位数字相同，则111和112存在同一执行依赖关系，又111和112中111比112小，因此，任务单号为111的待处理任务先执行（即前向任务），任务单号为112的待处理任务后执行（即后向任务）。由于122和123的第二位数字相同，则122和123存在同一执行依赖关系，又122和123中122比123小，因此，任务单号为122的待处理任务先执行，任务单号为123的待处理任务后执行。

作为一示例，一个待处理任务为面审订单任务，一个待处理任务为面审记录任务，其中面审订单任务是用户申请贷款时，创建的订单任务，面审记录任务是用于记录面审订单任务的执行结果的任务。

执行依赖关系是指示待处理任务执行的先后顺序的关系。

S602：若至少两个待处理任务存在执行依赖关系，则根据执行依赖关系将至少两个待处理任务确定为前向任务和后向任务。

其中，前向任务是指必须先执行的待处理任务；后向任务为在前向任务执行完成，以根据前向任务的执行结果进行处理的任务，可以理解地，后向任务的数量可以为一个，也可以为多个，当前向任务执行完成时，则依赖于前向任务的后向任务更新为前向任务，例如，对于具有执行依赖关系的待处理任务A、B和C，当A未执行时，B和C为后向任务；当A执行完成时，B前向任务，C为后向任务。

具体地，当服务器获取到待处理任务的任务单号时，则根据预设规则对对待处理任务的任务单号进行分析，，以确定具有执行依赖关系的待处理任务的执行先后顺序，将具有执行依赖关系的待处理任务确定为前向任务和后向任务，以保证待处理任务依序执行，提高待处理任务的处理效率，避免由于不清楚待处理任务的先后顺序导致重复执行待处理任务。

S603：依序执行前向任务和后向任务，获取执行结果。

本实施例中，依序执行前向任务和后向任务可以保证准确执行待处理任务，加快完成待处理任务。

本实施例所提供的分布式多任务管理方法，根据任务单号判断任意两个待处理任务是否存在执行依赖关系，以实现自动化处理存在执行依赖关系的待处理任务。若两个待处理任务存在执行依赖关系，则根据执行依赖关系将两个待处理任务确定为前向任务和后向任务，以保证待处理任务依序执行，提高待处理任务的处理效率，避免由于不清楚待处理任务的先后顺序导致重复执行待处理任务。依序执行前向任务和后向任务，获取执行结果，可以保证准确执行待处理任务，加快完成待处理任务。

在一实施例中，如图7所示，步骤S603，即依序执行前向任务和后向任务，获取执行结果，包括：

S701：判断前向任务和后向任务是否在同一目标执行节点上。

具体地，当获取到具有执行依赖关系的前向任务和后向任务，则查看前向任务和后向任务的任务序号，以便快速地确定前向任务和后向任务对应的目标执行节点，以判断前向任务和后向任务对应的目标执行节点是否为同一目标执行节点，针对不同的情况进行相应处理，保证依序处理存在执行依赖关系的待处理任务。

S702：若前向任务和后向任务在同一目标执行节点上，则执行依序执行前向任务和后向任务，获取执行结果。

当前向任务和后向任务在同一目标执行节点上，则执行依序执行前向任务和后向任务，获取执行结果，保证按照执行依赖关系执行待处理任务。当前向任务和后向任务在同一目标执行节点，此时先执行前向任务，再执行后向任务。

S703：若前向任务和后向任务不在同一目标执行节点上，则在前向任务对应的目标执行节点和后向任务对应的目标执行节点之间建立阻塞队列。

其中，阻塞队列是用于存储前向任务的执行结果的队列，实现前向任务与后向任务之间的通信，保证不在同一目标执行节点的前向任务和后向任务可以按照先执行前向任务，后执行后向任务的顺序执行。

具体地，当前向任务和后向任务不在同一目标执行节点时，为了保证一次性完成待处理任务，则在前向任务对应的目标执行节点和后向任务对应的目标执行节点之间创建阻塞队列，保证前向任务和后向任务的通信联系，为后续依序执行前向任务和后向任务提供支持。

S704：执行前向任务，获取前向任务对应的执行结果，将前向任务对应的执行结果发送到阻塞队列中，其中，所述阻塞队列用于向所述后向任务对应的目标执行节点发送包括所述前向任务对应的执行结果的执行指令。

其中，执行指令是用于触发执行后向任务的指令。

具体地，先执行前向任务，获取前向任务对应的执行结果，将前向任务的执行结果发送到阻塞队列中，以便根据执行结果执行后向任务，保证了待处理任务的处理效率。可以理解地，当前向任务未完成，没有执行结果，则不触发执行指令，而是生成异常提醒信息，保证了待处理任务的处理效率，避免后向任务执行过程失败，且浪费资源。

S705：根据所述执行指令执行后向任务，获取后向任务对应的执行结果。

本实施例所提供的分布式多任务管理方法，判断前向任务和后向任务是否在同一目标执行节点上，以针对不同的情况进行相应处理，保证依序处理存在执行依赖关系的待处理任务。若前向任务和后向任务在同一目标执行节点上，则执行依序执行前向任务和后向任务，获取执行结果，保证按照执行依赖关系执行待处理任务。若前向任务和后向任务不在同一目标执行节点上，则在前向任务对应的目标执行节点和后向任务对应的目标执行节点之间建立阻塞队列，保证前向任务和后向任务的通信联系，为后续依序执行前向任务和后向任务提供支持。执行前向任务，获取前向任务对应的执行结果，将前向任务对应的执行结果发送到阻塞队列中，其中，所述阻塞队列用于向所述后向任务对应的目标执行节点发送包括所述前向任务对应的执行结果的执行指令，保证了待处理任务的处理效率。根据所述执行指令执行后向任务，获取后向任务对应的执行结果。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种分布式多任务管理装置，该分布式多任务管理装置与上述实施例中分布式多任务管理方法一一对应。如图8所示，该分布式多任务管理装置包括任务集合遍历模块801、目标数组获取模块802、目标执行节点确定模块803和执行结果获取模块804。各功能模块详细说明如下：

任务集合遍历模块801，用于获取任务执行请求，基于所述任务执行请求遍历在分布式中间件上创建的任务集合。

目标数组获取模块802，用于获取所述任务集合中的至少两个目标数组，每一所述目标数组包括待处理任务的任务ID和任务序号。

目标执行节点确定模块803，用于获取空闲执行节点对应的执行节点数量，根据所述任务序号和执行节点数量，确定每一所述待处理任务对应的目标执行节点。

执行结果获取模块804，用于调用与所述执行节点数量相对应的线程，执行至少两个所述待处理任务，获取至少两个所述待处理任务对应的执行结果。

在一实施例中，在所述任务集合遍历模块801之前，所述分布式多任务管理装置还包括：待分配任务请求获取单元、目标数组获取单元和任务集合形成单元。

待分配任务请求获取单元，用于获取至少两个待分配任务请求，每一所述待分配任务请求包括待处理任务的任务ID和任务序号。

目标数组获取单元，用于基于每一所述待处理任务对应的所述任务ID和所述任务序号，获取目标数组。

任务集合形成单元，用于将所述目标数组插入分布式中间件上创建的原始集合，形成任务集合。

在一实施例中，所述待分配任务请求获取单元，包括：待处理队列遍历子单元、任务序号获取子单元和待分配任务请求生成子单元。

待处理队列遍历子单元，用于当系统当前时间达到预设时间时，则遍历待处理队列，获取至少两个所述待处理任务对应的任务ID和遍历顺序。

任务序号获取子单元，用于根据所述待处理任务对应的遍历顺序，获取所述待处理任务对应的任务序号。

待分配任务请求生成子单元，用于根据所述待处理任务对应的任务ID和所述任务序号，生成待分配任务请求。

在一实施例中，目标执行节点包括节点序号；所述目标执行节点确定模块803，包括：获取余数单元和目标执行节点确定单元。

获取余数单元，用于采用所述待处理任务的所述任务序号除以所述执行节点数量得到余数。

目标执行节点确定单元，将与所述余数相等的所述节点序号对应的空闲执行节点，确定为所述任务序号对应的所述待处理任务的目标执行节点。

在一实施例中，所述待处理任务还包括任务单号；即所述执行结果获取模块804，包括：判断单元、执行依赖关系确定单元和执行结果获取单元。

判断单元，用于根据所述任务单号，判断至少两个所述待处理任务是否存在执行依赖关系。

执行依赖关系确定单元，用于若至少两个所述待处理任务存在执行依赖关系，则根据所述执行依赖关系，将至少两个所述待处理任务确定为前向任务和后向任务。

执行结果获取单元，用于依序执行所述前向任务和所述后向任务，获取执行结果。

在一实施例中，所述执行结果获取单元，包括：判断子单元、第一执行子单元、阻塞队列建立子单元、前向任务执行子单元和第二执行子单元。

判断子单元，用于判断所述前向任务和所述后向任务是否在同一目标执行节点上。

第一执行子单元，用于若所述前向任务和所述后向任务在同一目标执行节点上，则执行所述依序执行所述前向任务和所述后向任务，获取执行结果。

阻塞队列建立子单元，用于若所述前向任务和所述后向任务不在同一目标执行节点上，则在所述前向任务对应的目标执行节点和所述后向任务对应的目标执行节点之间建立阻塞队列。

前向任务执行子单元，用于执行所述前向任务，获取所述前向任务对应的执行结果，将所述前向任务对应的执行结果发送到阻塞队列中，其中，所述阻塞队列用于向所述后向任务对应的目标执行节点发送包括所述前向任务对应的执行结果的执行指令。

第二执行子单元，用于根据根据所述执行指令执行所述后向任务，获取所述后向任务对应的执行结果。

关于分布式多任务管理装置的具体限定可以参见上文中对于分布式多任务管理方法的限定，在此不再赘述。上述分布式多任务管理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待处理任务。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种分布式多任务管理方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中分布式多任务管理方法的步骤，例如图2所示的步骤S201-S204，或者图3至图7中所示的步骤，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现分布式多任务管理装置这一实施例中的各模块/单元的功能，例如图8所示的任务集合遍历模块801、目标数组获取模块802、目标执行节点确定模块803和执行结果获取模块804的功能，为避免重复，这里不再赘述。

在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中分布式多任务管理方法的步骤，例如图2所示的步骤S201-S204，或者图3至图7中所示的步骤，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现分布式多任务管理装置这一实施例中的各模块/单元的功能，例如图8所示的任务集合遍历模块801、目标数组获取模块802、目标执行节点确定模块803和执行结果获取模块804的功能，为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式多任务管理方法，其特征在于，包括：

获取任务执行请求，基于所述任务执行请求遍历在分布式中间件上创建的任务集合；

获取所述任务集合中的至少两个目标数组，每一所述目标数组包括待处理任务的任务ID和任务序号；

获取空闲执行节点对应的执行节点数量，根据所述任务序号和执行节点数量，确定每一所述待处理任务对应的目标执行节点；

调用与所述执行节点数量相对应的线程，执行至少两个所述待处理任务，获取至少两个所述待处理任务对应的执行结果。

2.如权利要求1所述的分布式多任务管理方法，其特征在于，在所述获取任务执行请求，基于所述任务执行请求遍历在分布式中间件上创建的任务集合之前，所述分布式多任务管理方法包括：

获取至少两个待分配任务请求，每一所述待分配任务请求包括待处理任务的任务ID和任务序号；

基于每一所述待处理任务对应的所述任务ID和所述任务序号，获取目标数组；

将所述目标数组插入分布式中间件上创建的原始集合，形成任务集合。

3.如权利要求2所述的分布式多任务管理方法，其特征在于，所述获取至少两个待分配任务请求，包括：

当系统当前时间达到预设时间时，则遍历待处理队列，获取至少两个所述待处理任务对应的任务ID和遍历顺序；

根据所述待处理任务对应的遍历顺序，获取所述待处理任务对应的任务序号；

根据所述待处理任务对应的任务ID和所述任务序号，生成待分配任务请求。

4.如权利要求1所述的分布式多任务管理方法，其特征在于，目标执行节点包括节点序号；

所述根据所述任务序号和执行节点数量，确定每一所述待处理任务对应的目标执行节点，包括：

采用所述待处理任务的所述任务序号除以所述执行节点数量得到余数；

将与所述余数相等的所述节点序号对应的空闲执行节点，确定为所述任务序号对应的所述待处理任务的目标执行节点。

5.如权利要求1所述的分布式多任务管理方法，其特征在于，所述待处理任务还包括任务单号；

所述执行至少两个所述待处理任务，获取至少两个所述待处理任务对应的执行结果，包括：

根据所述任务单号，判断至少两个所述待处理任务是否存在执行依赖关系；

若至少两个所述待处理任务存在执行依赖关系，则根据所述执行依赖关系，将至少两个所述待处理任务确定为前向任务和后向任务；

依序执行所述前向任务和所述后向任务，获取执行结果。

6.如权利要求5所述的分布式多任务管理方法，其特征在于，所述依序执行所述前向任务和所述后向任务，获取执行结果，包括：

判断所述前向任务和所述后向任务是否在同一目标执行节点上；

若所述前向任务和所述后向任务在同一目标执行节点上，则执行所述依序执行所述前向任务和所述后向任务，获取执行结果；

若所述前向任务和所述后向任务不在同一目标执行节点上，则在所述前向任务对应的目标执行节点和所述后向任务对应的目标执行节点之间建立阻塞队列；

执行所述前向任务，获取所述前向任务对应的执行结果，将所述前向任务对应的执行结果发送到阻塞队列中，其中，所述阻塞队列用于向所述后向任务对应的目标执行节点发送包括所述前向任务对应的执行结果的执行指令；

根据所述执行指令执行所述后向任务，获取所述后向任务对应的执行结果。

7.一种分布式多任务管理装置，其特征在于，包括：

任务集合遍历模块，用于获取任务执行请求，基于所述任务执行请求遍历在分布式中间件上创建的任务集合；

目标数组获取模块，用于获取所述任务集合中的至少两个目标数组，每一所述目标数组包括待处理任务的任务ID和任务序号；

目标执行节点确定模块，用于获取空闲执行节点对应的执行节点数量，根据所述任务序号和执行节点数量，确定每一所述待处理任务对应的目标执行节点；

执行结果获取模块，用于调用与所述执行节点数量相对应的线程，执行至少两个所述待处理任务，获取至少两个所述待处理任务对应的执行结果。

8.如权利要求7所述的分布式多任务管理装置，其特征在于，在所述任务集合遍历模块之前，所述分布式多任务管理装置还包括：

待分配任务请求获取单元，用于获取至少两个待分配任务请求，每一所述待分配任务请求包括待处理任务的任务ID和任务序号；

目标数组获取单元，用于基于每一所述待处理任务对应的所述任务ID和所述任务序号，获取目标数组；

任务集合形成单元，用于将所述目标数组插入分布式中间件上创建的原始集合，形成任务集合。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述分布式多任务管理方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述分布式多任务管理方法的步骤。

Images