CN107590002A - 任务分配方法、装置、存储介质、设备及分布式任务系统 - Google Patents

Abstract

本公开涉及一种任务分配方法、装置、存储介质、设备及分布式任务系统。该方法包括：从待分配队列中确定当前待分配任务；根据当前待分配任务所需的资源，按照预设的第一遍历次数遍历主节点上的各分节点的资源配置信息，以确定是否存在能满足当前待分配任务所需的资源的分节点；当确定不存在能满足当前待分配任务所需的资源的分节点时，将当前待分配任务从待分配队列转移至等待资源队列，以使该任务在等待资源队列中等待分配，由此，可使得待分配队列中被阻塞的任务可以及时转移，从而保障了待分配队列中的其他任务能被及时、有序地分配，提高了待分配队列中的任务分配效率，提升了分布式任务系统的任务并发处理能力和各分节点的资源利用率。

Description

任务分配方法、装置、存储介质、设备及分布式任务系统

技术领域

本公开涉及互联网技术领域，具体地，涉及一种任务分配方法、装置、存储介质、设备及分布式任务系统。

背景技术

分布式任务系统通常由主节点、多个分节点以及至少一个客户端组成，其中，不同分节点之间的资源(CPU资源、图形处理器(Graphics Processing Unit，GPU)资源、内存资源、硬盘资源等)配置可能会有所不同，并且在主节点上存储有各分节点的资源配置信息。在主节点进行任务分配时，通常是先将任务不断地添加到主节点的任务队列中，主节点从任务队列中取出待分配任务，并通过遍历各分节点的资源配置信息来查找能够满足该待分配任务所需的资源的分节点，直到找到相应的分节点将该待分配任务分配出去为止，然后再接着分配任务队列中的其他任务。也就是说，当查询不到能够满足该待分配任务所需的所有资源的分节点时，主节点会一直遍历该各分节点的资源配置信息，即使任务队列中的其他任务所需的资源有分节点能够满足时，这些其他任务也不能被分配出去，即发生了任务阻塞。如果不对任务阻塞加以控制，会使得分布式任务系统的任务并发处理能力和各分节点的资源利用率大大降低。

发明内容

为了解决相关技术中存在的问题，本公开的目的是提供一种任务分配方法、装置、存储介质、设备及分布式任务系统。

为了实现上述目的，本公开提供一种任务分配方法，所述方法应用于分布式任务系统中的主节点，所述方法包括：

从待分配队列中确定当前待分配任务，其中，所述主节点将接收到的客户端提交的任务添加至所述待分配队列中；

根据所述当前待分配任务所需的资源，按照预设的第一遍历次数遍历所述主节点上的各分节点的资源配置信息，以确定是否存在能够满足所述当前待分配任务所需的资源的分节点；

当确定不存在能够满足所述当前待分配任务所需的资源的分节点时，将所述当前待分配任务从所述待分配队列转移至等待资源队列，以使该任务在所述等待资源队列中等待分配。

可选地，所述方法还包括：

在所述等待资源队列中的任务总数未达到预设的等待任务数量阈值时，根据所述待分配队列中已分配任务的数量n、以及与所述等待资源队列的上次任务分配时机之间的时间间隔τ，确定是否再次到达所述等待资源队列的任务分配时机；

在所述等待资源队列中的任务总数已达到所述等待任务数量阈值，或者确定再次到达所述等待资源队列的任务分配时机时，按照所述等待资源队列中各任务的选取参考值由大到小的顺序，在所述等待资源队列中进行轮询，其中，所述选取参考值用于表征对应任务被成功分配的概率；

根据当前轮询到的任务所需的资源，按照预设的第二遍历次数遍历所述主节点上的各分节点的资源配置信息，以确定是否存在能够满足所述当前轮询到的任务所需的资源的分节点；

当确定存在能够满足所述当前轮询到的任务所需的资源的分节点时，将所述当前轮询到的任务分配给该分节点，并结束轮询；

在结束轮询后，将n和τ置零，并返回所述从待分配队列中确定当前待分配任务的步骤。

可选地，所述方法还包括：

当确定不存在能够满足所述当前轮询到的任务所需的资源的分节点时，继续轮询，直到所述等待资源队列中有任务被成功分配、或有任务因超时被删除为止。

可选地，所述根据所述待分配队列中已分配任务的数量n、以及与所述等待资源队列的上次任务分配时机之间的时间间隔τ，确定是否再次到达所述等待资源队列的任务分配时机，包括：

当n＜N_max且τ＜τ_max时，确定尚未再次到达所述等待资源队列的任务分配时机，其中，N_max为预设的任务分配数量阈值，τ_max为预设的时间间隔阈值；

当n≥N_max或τ≥τ_max时，确定再次到达所述等待资源队列的任务分配时机。

可选地，所述等待资源队列中各任务的选取参考值通过以下公式来确定：

其中，S_i表示所述等待资源队列中第i个任务的选取参考值；ρ_i表示该第i个任务的任务优先级；r_i表示各分节点中能够满足该第i个任务所需的资源的分节点占全部分节点的占比；t_i表示该第i个任务在所述等待资源队列中的等待时间；T_i表示该第i个任务在所述等待资源队列中的等待时间阈值；d_i表示该第i个任务在所述等待资源队列中的位置；D表示所述等待资源队列的队列长度；w₁、w₂、w₃、w₄分别表示所述任务优先级、所述占比、所述等待时间和所述位置的权重系数，并且w₁+w₂+w₃+w₄＝1。

可选地，所述第一遍历次数为大于或等于2的正整数，所述第二遍历次数为1。

可选地，所述方法还包括：

当所述等待资源队列中的任务总数未达到所述等待任务数量阈值、且确定尚未再次到达所述等待资源队列的任务分配时机时，返回所述从待分配队列中确定当前待分配任务的步骤。

可选地，所述方法还包括：

删除所述等待资源队列中的超时任务，其中，所述超时任务为在所述等待资源队列中的等待时间达到该任务在所述等待资源队列中的等待时间阈值的任务。

可选地，任务在所述等待资源队列中的等待时间阈值是基于该任务的历史执行时间设置的。

本公开还提供一种任务分配装置，所述装置应用于分布式任务系统中的主节点，所述装置包括：

当前待分配任务确定模块，用于从待分配队列中确定当前待分配任务，其中，所述主节点将接收到的客户端提交的任务添加至所述待分配队列中；

第一遍历模块，用于根据所述确定模块确定出的所述当前待分配任务所需的资源，按照预设的第一遍历次数遍历所述主节点上的各分节点的资源配置信息，以确定是否存在能够满足所述当前待分配任务所需的资源的分节点；

任务转移模块，用于当所述第一遍历模块确定不存在能够满足所述当前待分配任务所需的资源的分节点时，将所述当前待分配任务从所述待分配队列转移至等待资源队列，以使该任务在所述等待资源队列中等待分配。

本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的任务分配方法的步骤。

本公开还提供一种电子设备，包括：

本公开提供的上述计算机可读存储介质；以及

一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。

本公开还提供一种分布式任务系统，所述系统包括：至少一个客户端、主节点和多个分节点，其中：

每个所述客户端分别与所述主节点连接，用于将任务提交至所述主节点；

所述主节点存储有待分配队列、等待资源队列和每个所述分节点的资源配置信息，所述主节点与每个所述分节点分别连接，用于执行上述的任务分配方法；

每个所述分节点用于执行所述主节点分配的任务。

在上述技术方案中，分布式任务系统中的主节点存储有待分配队列和等待资源队列，当主节点接收到来自客户端的任务时，将其添加至待分配队列，同时，每次从待分配队列中取出一个任务作为当前待分配任务，并通过遍历存储在主节点上的各分节点的资源配置信息来确定各分节点中是否存在能够满足该当前待分配任务所需的资源的分节点，当遍历的次数达到预设的第一遍历次数时，如果在各分节点的资源配置信息中仍未查找到剩余资源能够满足该当前待分配任务所需的资源的分节点时，表明该当前待分配任务所需的资源可能被长期占用或者不存在，此时，可以将该当前待分配任务转移至等待资源队列，以使该任务在等待资源队列中等待被分配。通过将遍历各分节点的资源配置信息的次数设定在预设的第一遍历次数，可以使得那些所需资源被临时占用的任务能够及时被分配。此外，通过设置待分配队列和等待资源队列这两个队列，可以使得待分配队列中被阻塞的任务可以及时转移，从而保障了待分配队列中的其他任务能够被及时、有序地分配，提高了待分配队列中的任务分配效率，从而提升了分布式任务系统的任务并发处理能力和各分节点的资源利用率。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1是根据一示例性实施例示出的一种分布式任务系统的结构框图。

图2是根据一示例性实施例示出的一种任务分配方法的流程图。

图3是根据另一示例性实施例示出的一种任务分配方法的流程图。

图4A是根据另一示例性实施例示出的一种任务分配方法的流程图。

图4B是根据另一示例性实施例示出的一种任务分配方法的流程图。

图5是根据一示例性实施例示出的一种任务分配装置的框图。

图6是根据另一示例性实施例示出的一种任务分配装置的框图。

图7是根据另一示例性实施例示出的一种任务分配装置的框图。

图8是根据另一示例性实施例示出的一种任务分配装置的框图。

图9是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。

本公开提供一种分布式任务系统，该分布式任务系统可以包括至少一个客户端、主节点和多个分节点。

在本公开中，主节点可以存储有待分配队列和等待资源队列，并与每个客户端、每个分节点分别连接。当客户端将任务提交至主节点后，主节点可以将接收到任务添加到待分配任务队列中，并将待分配任务队列中的任务分配给各分节点，以在各分节点上执行相应的任务。此外，该分布式任务系统中的客户端和分节点可以随时增减，即分布式任务系统中的各分节点、客户端是动态变化的。

此外，在主节点上还可以存储有各分节点的资源配置信息，其中，该各分节点的资源配置信息可以包括每个分节点中的各种资源的剩余量。并且，该各分节点的资源配置信息可以例如以表格的形式存储在主节点上。示例地，在主节点上存储有多张资源配置信息表，其中，每张资源配置信息表与一个分节点相对应，其中存储有相应分节点上的各种资源的剩余量；又示例地，在主节点上存储有一张资源配置信息表，在该表中存储有所有分节点上的各种资源的剩余量。

示例地，如图1所示，上述的分布式任务系统可以包括：第一客户端110、第二客户端111、主节点120以及第一分节点121、第二分节点122、……、第八分节点128和第九分节点129。其中，第一客户端110和主节点120之间、第二客户端111与主节点120之间、以及主节点120与各分节点(第一分节点121、第二分节点122、……、第八分节点128和第九分节点129)之间可以经由网络来进行通信。并且，第一客户端110和第二客户端111可以例如是笔记本电脑、台式电脑等等，图1中以第一客户端110是平板电脑、第二客户端111是台式电脑来示意。另外，主节点120和各分节点(第一分节点121、第二分节点122、……、第八分节点128和第九分节点129)可以例如是平板电脑、笔记本电脑、服务器等等，图1中以主节点120、各分节点(第一分节点121、第二分节点122、……、第八分节点128和第九分节点129)均是服务器来示意。

图2是根据一示例性实施例示出的一种任务分配方法的流程图，该方法可以应用于上述的分布式任务系统中的主节点(例如，主节点120)。如图2所示，该方法可以包括以下步骤。

在步骤201中，从待分配队列中确定当前待分配任务。

在本公开中，在主节点上存储有待分配队列和等待资源队列这两个队列，当主节点接收到客户端提交的任务后，可以将该任务添加至待分配队列中。并且，待分配队列中的任务的排列方式可以有多种，在一种实施方式中，待分配队列中的任务可以按照优先级从高到低的顺序排列，优先级高的任务靠近队首，优先级高的任务靠近队尾。当主节点接收到客户端提交的任务后，可以根据该任务的优先级将其添加至待分配队列中的相应位置，这样，主节点可以将该待分配队列中的队首任务作为当前待分配任务。

在另一种实施方式中，待分配队列可以是一个待分配队列集合，其中，该待分配队列集合中的任务按照优先级不同而分为不同的队列，即同一个队列中的各任务之间的优先级相同，当主节点接收到客户端提交的任务后，可以根据该任务的优先级将其添加至待分配队列集合中、与该任务优先级相同的队列的队尾位置处，这样，主节点可以将待分配队列集合中、优先级最高的队列中的队首任务作为当前待分配任务。例如，待分配队列中的任务的优先级分为优先级1、优先级2、优先级3，其中，优先级3为最高优先级，待分配队列集合可以包括优先级分别为1、2、3的队列1、队列2和队列3，假设主节点接收到的客户端提交的任务的优先级为2，此时，可以将该优先级为2的任务添加至队列2的队尾，这样，如果队列3为非空队列，主节点可以将优先级最高的队列3中的队首任务作为当前待分配任务，如果队列3为空队列、队列2为非空队列，主节点可以将优先级为2的队列2中的队首任务作为当前待分配任务，如果队列3和队列2为空队列、队列1为非空队列，主节点可以将优先级为1的队列1中的队首任务作为当前待分配任务。

在步骤202中，根据当前待分配任务所需的资源，按照预设的第一遍历次数遍历主节点上的各分节点的资源配置信息，以确定是否存在能够满足该当前待分配任务所需的资源的分节点。

在本公开中，该预设的第一遍历次数可以是大于或等于2的正整数，例如，该第一遍历次数为10次。另外，当前待分配任务所需的资源可以是单维资源，例如，当前待分配任务只需要CPU资源、GPU资源、内存资源、硬盘资源等中的其中一者；当前待分配任务所需的资源也可以是多维资源，例如，当前待分配任务同时需要CPU资源、GPU资源、内存资源、硬盘资源等中的至少两者。

在确定出当前待分配任务后，主节点可以再确定出执行该当前待分配任务所需的资源，然后通过遍历存储在本地的各分节点的资源配置信息来确定各分节点中是否有剩余资源能够满足该当前待分配任务所需的资源的分节点，当在各分节点的资源配置信息中查找到剩余资源能够满足该当前待分配任务所需的资源的分节点时，可以确定存在能够满足该当前待分配任务所需的资源的分节点，此时，可以结束当前遍历，将该当前待分配任务分配给剩余资源能够满足该当前待分配任务所需的资源的分节点，并更新该分节点的资源配置信息，然后返回上述的步骤201，重新从待分配队列中确定当前待分配任务。

另外，当主节点将该当前待分配任务分配给剩余资源能够满足该当前待分配任务所需的资源的分节点后，在该分节点上执行该当前待分配任务，并在该当前待分配任务执行完成后，该分节点会将自身的资源配置信息发送至主节点，主节点接收该资源配置信息，并将本地存储的该分节点的资源配置信息更新为其接收到的相应的资源配置信息。

当主节点将各分节点的资源配置信息遍历一遍后，仍未查找到剩余资源能够满足该当前待分配任务所需的资源的分节点时，可以按照上述同样的方式再次对各分节点的资源配置信息进行遍历，直到查找到剩余资源能够满足该当前待分配任务所需的资源的分节点，或者对各分节点的资源配置信息的遍历次数达到预设的第一遍历次数时为止，即结束遍历。当对各分节点的资源配置信息的遍历次数达到预设的第一遍历次数时，仍未查到剩余资源能够满足该当前待分配任务所需的资源的分节点时，可以确定不存在能够满足该当前待分配任务所需的资源的分节点。

另外，需要说明的是，上述预设的第一遍历次数可以是用户设定的值，也可以是默认的经验值，在本公开中不作具体限定。

在步骤203中，当确定不存在能够满足当前待分配任务所需的资源的分节点时，将该当前待分配任务从待分配队列转移至等待资源队列，以使该任务在等待资源队列中等待分配。

在本公开中，当主节点确定不存在能够满足当前待分配任务所需资源的分节点时，可以将该当前待分配任务添加至等待资源队列的队尾，并从待分配队列中删除该当前待分配任务。之后，可以返回上述的步骤201，重新从待分配队列中确定的当前待分配任务。

在上述技术方案中，分布式任务系统中的主节点存储有待分配队列和等待资源队列，当主节点接收到来自客户端的任务时，将其添加至待分配队列，同时，每次从待分配队列中取出一个任务作为当前待分配任务，并通过遍历存储在主节点上的各分节点的资源配置信息来确定各分节点中是否存在能够满足该当前待分配任务所需的资源的分节点，当遍历的次数达到预设的第一遍历次数时，如果在各分节点的资源配置信息中仍未查找到剩余资源能够满足该当前待分配任务所需的资源的分节点时，表明该当前待分配任务所需的资源可能被长期占用或者不存在，此时，可以将该当前待分配任务转移至等待资源队列，以使该任务在等待资源队列中等待被分配。通过将遍历各分节点的资源配置信息的次数设定在预设的第一遍历次数，可以使得那些所需资源被临时占用的任务能够及时被分配。此外，通过设置待分配队列和等待资源队列这两个队列，可以使得待分配队列中被阻塞的任务可以及时转移，从而保障了待分配队列中的其他任务能够被及时、有序地分配，提高了待分配队列中的任务分配效率，从而提升了分布式任务系统的任务并发处理能力和各分节点的资源利用率。

图3是根据另一示例性实施例示出的一种任务分配方法的流程图。如图3所示，上述方法还可以包括以下步骤。

在步骤204中，删除等待资源队列中的超时任务。

在本公开中，该超时任务可以是其在等待资源队列中的等待时间达到该任务在等待资源队列中的等待时间阈值的任务，其中，该等待时间阈值可以是预设的固定值，也可以是基于该任务的历史执行时间设置的值，示例地，该等待时间阈值为基于该任务的历史执行时间的平均值设置的值(例如，该等待时间阈值为该任务的历史执行时间的平均值的1.5倍)。当等待资源队列中的任务在等待资源队列中的等待时间达到上述等待时间阈值时，可以确定该任务为超时任务，此时可以终止该任务，并将其从等待资源队列中删除，从而可以避免该任务在等待资源队列中被长时间阻塞。

图4A是根据另一示例性实施例示出的一种任务分配方法的流程图。如图4A所示，上述方法还可以包括以下步骤。

在步骤205中，判断等待资源队列中的任务总数是否达到预设的等待任务数量阈值。

在本公开中，该预设的等待任务数量阈值可以小于或等于等待资源队列的最大长度，并且，它可以是用户设定的值，也可以是默认的经验值，在本公开中不作具体限定。

主节点在确定不存在能够满足当前待分配任务所需的资源的分节点时，就将该当前待分配任务从待分配队列转移至等待资源队列，由于等待资源队列的长度是有限的，当等待资源队列被占满时，待分配队列中的任务将无法转移至等待资源队列，这样，可能会造成待分配队列阻塞，对分布式任务系统的任务并发处理能力和各分节点的资源利用率造成影响。为了解决该问题，主节点可以在等待资源队列中的任务总数达到上述等待任务数量阈值时，通过轮询等待资源队列中的各任务的方式来将该队列中的预定数量(例如1个)的任务分配给相应的分节点，不仅可以避免等待资源队列中的任务长时间等待，而且可以使得等待资源队列中腾出了新的空闲存储位置来存储从待分配队列转移过来的任务，以避免待分配队列被阻塞。具体来说，可以通过以下步骤来轮询等待资源队列的任务，并将该队列中的任务分配给相应的分节点。

在步骤206中，按照等待资源队列中各任务的选取参考值由大到小的顺序，在等待资源队列中进行轮询。

在本公开中，该选取参考值可以用于表征对应任务被成功分配的概率，并且该选取参考值越大，相应的任务被成功分配的概率就越高。因此，可以按照等待资源队列中的各任务的选取参考值由大到小的顺序对等待资源队列中的各任务进行轮询，以将该队列中的预定数量(例如，1个)的任务分配给相应的分节点，这样，可以快速将等待资源队列中的任务成功分配给相应的分节点，提升了任务分配的效率。

在一种实施方式中，主节点可以根据任务的优先级、各分节点中能够满足任务所需的资源的分节点占全部分节点的占比、任务在等待资源队列中的等待时间这三个因素来共同确定等待资源队列中各任务的选取参考值。

示例地，主节点可以通过以下等式(1)来确定等待资源队列中各任务的选取参考值：

其中，S_i表示所述等待资源队列中第i个任务的选取参考值；ρ_i表示该第i个任务的任务优先级；r_i表示各分节点中能够满足该第i个任务所需的资源的分节点占全部分节点的占比；t_i表示该第i个任务在所述等待资源队列中的等待时间；T_i表示该第i个任务在所述等待资源队列中的等待时间阈值；w₁、w₂、w₃分别表示所述任务优先级、所述占比和所述等待时间的权重系数，并且w₁+w₂+w₃＝1。

在另一种实施方式中，主节点可以根据任务的优先级、各分节点中能够满足任务所需的资源的分节点占全部分节点的占比、任务在等待资源队列中的等待时间以及任务在等待资源队列中的位置这四个因素来共同确定等待资源队列中各任务的选取参考值。由此可见，主节点在确定选取参考值时，不仅考虑到了任务的优先级、任务对资源的需求，而且还将任务在队列中的位置以及任务在队列中的等待时间这两个因素来共同作为确定的依据，这样，可以使得任务的选取更加合理，同时提升了任务分配的成功率。

示例地，主节点可以通过以下等式(2)来确定等待资源队列中各任务的选取参考值：

其中，d_i表示该第i个任务在所述等待资源队列中的位置；D表示所述等待资源队列的队列长度；w₄表示所述位置的权重系数，并且w₁+w₂+w₃+w₄＝1。

在步骤207中，根据当前轮询到的任务所需的资源，按照预设的第二遍历次数遍历主节点上的各分节点的资源配置信息，以确定是否存在能够满足该当前轮询到的任务所需的资源的分节点。

在本公开中，该预设的第二遍历次数可以是大于零的正整数，例如，该第二遍历次数为1，并且，该预设的第二遍历次数可以是用户设定的值，也可以是默认的经验值，在本公开中不作具体限定。

另外，主节点可以按照上述步骤202中同样的方式遍历主节点上的各分节点的资源配置信息，以确定是否存在能够满足该当前轮询到的任务所需的资源的分节点，具体的遍历方式在此不再赘述。

在步骤208中，当确定存在能够满足当前轮询到的任务所需的资源的分节点时，将该当前轮询到的任务分配给该分节点。

在本公开中，当主节点确定存在能够满足当前轮询到的任务所需的资源的分节点时，可以结束当前遍历、以及对等待资源队列中的任务的轮询操作，将该当前轮询到的任务分配给该分节点，并更新该分节点的资源配置信息，然后返回上述的步骤201，重新从待分配队列中确定当前待分配任务。

此外，在上述将该当前轮询到的任务分配给该节点后，还可以返回上述步骤206，继续将等待资源队列中的任务分配给相应的分节点，直到该队列中被成功分配的任务数量达到上述预定数量时为止，然后再返回上述步骤201。

在步骤209中，当确定不存在能够满足当前轮询到的任务所需的资源的分节点时，判断等待资源队列中是否有任务因超时被删除。

在本公开中，当等待资源队列中有任务因超时被删除时，等待资源队列中的任务总量将会小于预设的等待任务数量阈值，此时，可以结束对等待资源队列中的任务的轮询操作，并返回上述的步骤201。

当等待资源队列中没有任务因超时被删除时，等待资源队列中的任务总量仍等于预设的等待任务数量阈值，此时，可以返回上述步骤206，即继续对等待资源队列中的任务进行轮询操作，直到该等待资源队列中有任务因超时被删除为止。

由上述步骤208和步骤209可知，当主节点确定不存在能够满足当前轮询到的任务所需的资源的分节点时，继续轮询等待资源队列中的任务，直到等待资源队列中有任务被成功分配、或有任务因超时被删除为止。即，结束轮询的条件可以为：等待资源队列中有任务被成功分配、或有任务因超时被删除。

图4B是根据另一示例性实施例示出的一种任务分配方法的流程图。如图4B所示，在上述步骤206的步骤之前，所述方法还可以包括以下步骤210。

在步骤210中，根据待分配队列中已分配任务的数量、以及与等待资源队列的上次任务分配时机之间的时间间隔，判定是否再次到达等待资源队列的任务分配时机。

在一种实施方式中，当步骤205判定等待资源队列中的任务总数未达到预设的等待任务数量阈值时，主节点可以通过以下方式来判定是否再次到达等待资源队列的任务分配时机：

当n＜N_max且τ＜τ_max时，可以确定尚未再次到达所述等待资源队列的任务分配时机；当n≥N_max或τ≥τ_max时，可以确定再次到达所述等待资源队列的任务分配时机。其中，n为待分配队列中已分配任务的数量；τ为当前时刻与等待资源队列的上次任务分配时机之间的时间间隔；N_max为预设的任务分配数量阈值；τ_max为预设的时间间隔阈值。

另外，需要说明的是，上述预设的任务分配数量阈值和时间间隔阈值均可以是用户设定的值，也可以是默认的经验值，在本公开中不作具体限定。

当等待资源队列中的任务总数未达到所述等待任务数量阈值、且确定尚未再次到达等待资源队列的任务分配时机时，可以返回上述步骤201；当主节点确定再次到达等待资源队列的任务分配时机时，可以对等待资源队列中的任务进行轮询操作，即执行上述步骤206～步骤209。

在上述技术方案中，主节点通过将待分配队列中已分配任务的数量、与等待资源队列的上次任务分配时机之间的时间间隔这两个因素来共同确定等待资源队列的轮询时机，不仅保障了待分配队列和等待资源队列在任务分配上的平衡，避免了等待资源队列中的任务长时间等待，而且使得等待资源队列中的空闲存储位置有所增加，从而可以保证后续的任务能够从待分配队列顺利转移至等待资源队列，进一步提升分布式任务系统的任务并发处理能力和各分节点的资源利用率。

另外，在轮询结束后，如图4B所示，上述方法还可以包括以下步骤211。

在步骤211中，将待分配队列中已分配任务的数量、以及与等待资源队列的上次任务分配时机之间的时间间隔均置零。

在本公开中，当主节点通过对等待资源队列中的任务进行轮询，并将该队列中的任务成功分配出去预定数量时，可以结束轮询，同时将上述的待分配队列中已分配任务的数量n、以及与等待资源队列的上次任务分配时机之间的时间间隔τ均置零，即n＝0，τ＝0，并返回上述步骤201。

此外，在步骤209中，当主节点判定等待资源队列中有任务因超时被删除时，可以结束轮询，并执行上述步骤211，即令n＝0，τ＝0，并返回上述步骤201。

图5是根据一示例性实施例示出的一种任务分配装置的框图，该装置500可以应用于分布式任务系统中的主节点。参照图5，该装置500可以包括：当前待分配任务确定模块501，用于从待分配队列中确定当前待分配任务，其中，所述主节点将接收到的客户端提交的任务添加至所述待分配队列中；第一遍历模块502，用于根据所述当前待分配任务确定模块501确定出的所述当前待分配任务所需的资源，按照预设的第一遍历次数遍历所述主节点上的各分节点的资源配置信息，以确定是否存在能够满足所述当前待分配任务所需的资源的分节点；任务转移模块503，用于当所述第一遍历模块502确定不存在能够满足所述当前待分配任务所需的资源的分节点时，将所述当前待分配任务从所述待分配队列转移至等待资源队列，以使该任务在所述等待资源队列中等待分配。

图6是根据另一示例性实施例示出的一种任务分配装置的框图。参照图6，上述装置500还可以包括：任务总数判定模块504，用于判定所述等待资源队列中的任务总数是否达到预设的等待任务数量阈值；任务分配时机确定模块505，用于在所述任务总数判定模块504判定所述等待资源队列中的任务总数未达到预设的等待任务数量阈值时，根据所述待分配队列中已分配任务的数量n、以及与所述等待资源队列的上次任务分配时机之间的时间间隔τ，确定是否再次到达所述等待资源队列的任务分配时机；轮询模块506，用于在所述任务总数判定模块504判定所述等待资源队列中的任务总数已达到所述等待任务数量阈值，或者所述任务分配时机确定模块505确定再次到达所述等待资源队列的任务分配时机时，按照所述等待资源队列中各任务的选取参考值由大到小的顺序，在所述等待资源队列中进行轮询，其中，所述选取参考值用于表征对应任务被成功分配的概率；第二遍历模块507，用于根据当前轮询到的任务所需的资源，按照预设的第二遍历次数遍历所述主节点上的各分节点的资源配置信息，以确定是否存在能够满足所述当前轮询到的任务所需的资源的分节点；任务分配模块508，用于当所述第二遍历模块507确定存在能够满足所述当前轮询到的任务所需的资源的分节点时，将所述当前轮询到的任务分配给该分节点，并结束轮询；置零模块509，用于在所述任务分配结束轮询后，将n和τ置零，并触发所述当前待分配任务确定模块501从待分配队列中确定当前待分配任务。

图7是根据另一示例性实施例示出的一种任务分配装置的框图。参照图7，上述装置500还可以包括：任务超时判定模块510，用于当所述第二遍历模507确定不存在能够满足所述当前轮询到的任务所需的资源的分节点时，判定所述等待资源队列中是否有任务因超时被删除，并在有任务因超时被删除时，触发所述当前待分配任务确定模块501从待分配队列中确定当前待分配任务。

可选地，所述任务分配时机确定模块505包括：第一确定子模块，用于当n＜N_max且τ＜τ_max时，确定尚未再次到达所述等待资源队列的任务分配时机，其中，N_max为预设的任务分配数量阈值，τ_max为预设的时间间隔阈值；第二确定子模块，用于当n≥N_max或τ≥τ_max时，确定再次到达所述等待资源队列的任务分配时机。

可选地，所述任务分配时机确定模块505可以通过以上等式(2)来确定等待资源队列中各任务的选取参考值。

可选地，所述第一遍历次数为大于或等于2的正整数，所述第二遍历次数为1。

图8是根据另一示例性实施例示出的一种任务分配装置的框图。参照图8，所述任务总数判定模块504、所述任务分配时机确定模块505分别与所述当前待分配任务确定模块501连接，当所述任务总数判定模块504判定所述等待资源队列中的任务总数未达到所述等待任务数量阈值、且所述任务分配时机确定模块505确定尚未再次到达所述等待资源队列的任务分配时机时，触发所述当前待分配任务确定模块501从待分配队列中确定当前待分配任务。

可选地，上述装置500还可以包括删除超时任务模块，用于删除所述等待资源队列中的超时任务，其中，所述超时任务为在所述等待资源队列中的等待时间达到该任务在所述等待资源队列中的等待时间阈值的任务。

可选地，任务在所述等待资源队列中的等待时间阈值是基于该任务的历史执行时间设置的。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图9是根据一示例性实施例示出的一种电子设备900的框图。例如，电子设备900可以被提供为一服务器。参照图9，电子设备900包括处理器922，其数量可以为一个或多个，以及存储器932，用于存储可由处理器922执行的计算机程序。存储器932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器922可以被配置为执行该计算机程序，以执行上述的任务分配方法。

另外，电子设备900还可以包括电源组件926和通信组件950，该电源组件926可以被配置为执行电子设备900的电源管理，该通信组件950可以被配置为实现电子设备900的通信，例如，有线或无线通信。此外，该电子设备900还可以包括输入/输出(I/O)接口958。电子设备900可以操作基于存储在存储器932的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM,LinuxTM等等。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，例如包括程序指令的存储任务分配方法。

以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。

此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种任务分配方法，其特征在于，所述方法应用于分布式任务系统中的主节点，所述方法包括：

从待分配队列中确定当前待分配任务，其中，所述主节点将接收到的客户端提交的任务添加至所述待分配队列中；

根据所述当前待分配任务所需的资源，按照预设的第一遍历次数遍历所述主节点上的各分节点的资源配置信息，以确定是否存在能够满足所述当前待分配任务所需的资源的分节点；

当确定不存在能够满足所述当前待分配任务所需的资源的分节点时，将所述当前待分配任务从所述待分配队列转移至等待资源队列，以使该任务在所述等待资源队列中等待分配。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述等待资源队列中的任务总数未达到预设的等待任务数量阈值时，根据所述待分配队列中已分配任务的数量n、以及与所述等待资源队列的上次任务分配时机之间的时间间隔τ，确定是否再次到达所述等待资源队列的任务分配时机；

在所述等待资源队列中的任务总数已达到所述等待任务数量阈值，或者确定再次到达所述等待资源队列的任务分配时机时，按照所述等待资源队列中各任务的选取参考值由大到小的顺序，在所述等待资源队列中进行轮询，其中，所述选取参考值用于表征对应任务被成功分配的概率；

根据当前轮询到的任务所需的资源，按照预设的第二遍历次数遍历所述主节点上的各分节点的资源配置信息，以确定是否存在能够满足所述当前轮询到的任务所需的资源的分节点；

当确定存在能够满足所述当前轮询到的任务所需的资源的分节点时，将所述当前轮询到的任务分配给该分节点，并结束轮询；

在结束轮询后，将n和τ置零，并返回所述从待分配队列中确定当前待分配任务的步骤。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

当确定不存在能够满足所述当前轮询到的任务所需的资源的分节点时，继续轮询，直到所述等待资源队列中有任务被成功分配、或有任务因超时被删除为止。

4.根据权利要求2所述的方法，其特征在于，所述根据所述待分配队列中已分配任务的数量n、以及与所述等待资源队列的上次任务分配时机之间的时间间隔τ，确定是否再次到达所述等待资源队列的任务分配时机，包括：

当n＜N_max且τ＜τ_max时，确定尚未再次到达所述等待资源队列的任务分配时机，其中，N_max为预设的任务分配数量阈值，τ_max为预设的时间间隔阈值；

当n≥N_max或τ≥τ_max时，确定再次到达所述等待资源队列的任务分配时机。

5.根据权利要求2所述的方法，其特征在于，所述等待资源队列中各任务的选取参考值通过以下公式来确定：

<mrow> <msub> <mi>S</mi> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>&amp;rho;</mi> <mi>i</mi> </msub> <msub> <mi>w</mi> <mn>1</mn> </msub> <mo>+</mo> <msub> <mi>r</mi> <mi>i</mi> </msub> <msub> <mi>w</mi> <mn>2</mn> </msub> <mo>+</mo> <mfrac> <msub> <mi>t</mi> <mi>i</mi> </msub> <msub> <mi>T</mi> <mi>i</mi> </msub> </mfrac> <msub> <mi>w</mi> <mn>3</mn> </msub> <mo>+</mo> <mfrac> <mrow> <mi>D</mi> <mo>-</mo> <msub> <mi>d</mi> <mi>i</mi> </msub> </mrow> <mi>D</mi> </mfrac> <msub> <mi>w</mi> <mn>4</mn> </msub> </mrow>

其中，S_i表示所述等待资源队列中第i个任务的选取参考值；ρ_i表示该第i个任务的任务优先级；r_i表示各分节点中能够满足该第i个任务所需的资源的分节点占全部分节点的占比；t_i表示该第i个任务在所述等待资源队列中的等待时间；T_i表示该第i个任务在所述等待资源队列中的等待时间阈值；d_i表示该第i个任务在所述等待资源队列中的位置；D表示所述等待资源队列的队列长度；w₁、w₂、w₃、w₄分别表示所述任务优先级、所述占比、所述等待时间和所述位置的权重系数，并且w₁+w₂+w₃+w₄＝1。

6.根据权利要求2-5中任一项所述的方法，其特征在于，所述方法还包括：

当所述等待资源队列中的任务总数未达到所述等待任务数量阈值、且确定尚未再次到达所述等待资源队列的任务分配时机时，返回所述从待分配队列中确定当前待分配任务的步骤。

7.一种任务分配装置，其特征在于，所述装置应用于分布式任务系统中的主节点，所述装置包括：

当前待分配任务确定模块，用于从待分配队列中确定当前待分配任务，其中，所述主节点将接收到的客户端提交的任务添加至所述待分配队列中；

第一遍历模块，用于根据所述确定模块确定出的所述当前待分配任务所需的资源，按照预设的第一遍历次数遍历所述主节点上的各分节点的资源配置信息，以确定是否存在能够满足所述当前待分配任务所需的资源的分节点；

任务转移模块，用于当所述第一遍历模块确定不存在能够满足所述当前待分配任务所需的资源的分节点时，将所述当前待分配任务从所述待分配队列转移至等待资源队列，以使该任务在所述等待资源队列中等待分配。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一项所述方法的步骤。

9.一种电子设备，其特征在于，包括：

权利要求8中所述的计算机可读存储介质；以及

一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。

10.一种分布式任务系统，其特征在于，所述系统包括：至少一个客户端、主节点和多个分节点，其中：

每个所述客户端分别与所述主节点连接，用于将任务提交至所述主节点；

所述主节点存储有待分配队列、等待资源队列和每个所述分节点的资源配置信息，所述主节点与每个所述分节点分别连接，用于执行根据权利要求1-6中任一项所述的方法；

每个所述分节点用于执行所述主节点分配的任务。