CN113986534A - 任务调度方法、装置、计算机设备和计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种任务调度方法、装置、计算机设备和计算机可读存储介质，通过获取任务数据集合，任务数据集合包括至少一个目标类型任务的任务数据；从任务数据集合中确定目标任务数据，以及确定分布式节点，分布式节点部署有基于任务数据执行目标类型任务的任务程序，目标任务数据为目标类型任务对应的任务数据；获取分布式节点的任务执行状态信息；根据任务执行状态信息筛选空闲节点，空闲节点为当前未运行目标类型任务的节点；将目标任务数据发送至空闲节点，以便空闲节点处理目标任务数据，该方可以实现准确分配目标任务数据至节点，提高分布式节点的利用效率。本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。

Description

任务调度方法、装置、计算机设备和计算机可读存储介质

技术领域

本申请涉及通信技术领域，具体涉及一种任务调度方法、装置、计算机设备和计算机可读存储介质。

背景技术

分布式任务调度是指在分布式节点下对任务进行调度的过程，从分布式节点中确定执行任务的节点通常采用的方法是，通过任务完成时间预测模型预测分布式节点的执行当前待调度任务所需的时间，将当前调度任务分配给所需时间最短的节点，并根据预测的时间定时拉起下一个任务。任务完成时间预测模型预测的完成时间与实际完成时间存在一定的差距，因此，节点上会发生当前任务还没完成，而节点已经拉起另一个任务，或者当前任务在接收一段时间后，节点仍未拉起另一个任务，导致分布式节点的资源没有得到合理利用。

发明内容

本申请实施例提供一种任务调度方法、装置、计算机设备和计算机可读存储介质，可以实现准确分配目标任务数据至节点，提高分布式节点的利用效率。

本申请实施例提供的一种任务调度方法，包括：

获取任务数据集合，所述任务数据集合包括至少一个目标类型任务的任务数据；

从所述任务数据集合中确定待调度的目标任务数据，以及确定处理所述目标任务数据的分布式节点，所述分布式节点部署有基于所述任务数据执行所述目标类型任务的任务程序，所述目标任务数据为所述目标类型任务对应的任务数据；

获取所述分布式节点的任务执行状态信息；

根据所述分布式节点的任务执行状态信息从所述分布式节点中筛选空闲节点，所述空闲节点为当前未运行所述目标类型任务的分布式节点；

将所述目标任务数据发送至所述空闲节点，以使得所述空闲节点通过所述任务程序处理所述目标任务数据。

相应的，本申请实施例还提供的一种任务调度装置，包括：

数据获取单元，用于获取任务数据集合，所述任务数据集合包括至少一个目标类型任务的任务数据；

确定单元，用于从所述任务数据集合中确定待调度的目标任务数据，以及确定处理所述目标任务数据的分布式节点，所述分布式节点部署有基于所述任务数据执行所述目标类型任务的任务程序，所述目标任务数据为所述目标类型任务对应的任务数据；

信息获取单元，用于获取所述分布式节点的任务执行状态信息；

筛选单元，用于根据所述分布式节点的任务执行状态信息从所述分布式节点中筛选空闲节点，所述空闲节点为当前未运行所述目标类型任务的分布式节点；

调度单元，用于将所述目标任务数据发送至所述空闲节点，以使得所述空闲节点通过所述任务程序处理所述目标任务数据。

相应的，本申请实施例还提供的一种计算机设备，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行本申请实施例提供的任一种任务调度方法。

相应的，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行本申请实施例提供的任一种任务调度方法。

本申请实施例可以通过获取任务数据集合，任务数据集合包括至少一个目标类型任务的任务数据；从任务数据集合中确定待调度的目标任务数据，以及确定处理目标任务数据的分布式节点，分布式节点部署有基于任务数据执行目标类型任务的任务程序，目标任务数据为目标类型任务对应的任务数据；获取分布式节点的任务执行状态信息；根据分布式节点的任务执行状态信息从分布式节点中筛选空闲节点，空闲节点为当前未运行目标类型任务的分布式节点；将目标任务数据发送至空闲节点，以使得空闲节点通过任务程序处理目标任务数据，该方案通过分布式节点的任务执行状态信息从分布式节点中确定空闲节点，可以实现准确分配目标任务数据至节点，提高分布式节点的利用效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的任务调度方法的场景图；

图2是本申请实施例提供的任务调度方法的流程图；

图3是本申请实施例提供的任务调度方法的另一流程图；

图4是本申请实施例提供的任务调度装置示意图；

图5是本申请实施例提供的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种任务调度方法、装置、计算机设备和计算机可读存储介质。该任务调度装置可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。

其中，该终端可以包括但不限于手机、穿戴式智能设备、平板电脑、笔记本电脑、、智能语音交互设备、智能家电、个人计算(PC，Personal Computer)、以及车载计算机等。

其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

例如，如图1所示，服务器获取待调度的任务数据集合，任务数据集合可以包含多个任务执行时所需要的任务数据，从任务数据集合中确定当前待调度的目标任务数据，以及确认处理目标任务数据的分布式节点，分布式节点部署有基于任务数据执行目标类型任务的任务程序，目标任务数据为目标类型任务对应的任务数据；获取分布式节点的任务执行状态信息，根据任务执行状态信息从分布式节点中筛选空闲节点，将目标任务数据发送给空闲节点，以便空闲节点基于部署的任务程序对目标任务数据进行处理，该方案通过分布式节点的任务执行状态信息从分布式节点中确定空闲节点，可以实现准确分配目标任务数据至节点，提高分布式节点的利用效率。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本实施例将从任务调度装置的角度进行描述，该任务调度装置具体可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。本申请实施例提供的一种任务调度方法，如图2所示，该任务调度方法的具体流程可以如下：

101、获取任务数据集合，任务数据集合包括至少一个目标类型任务的任务数据。

其中，任务数据集合可以包括至少一个目标类型任务的任务数据，以及其他类型的任务对应的任务数据，比如，任务数据可以包括任务执行所需要的任务参数等，例如，执行任务程序执行接口性能测试任务，则对应的任务参数可以包括请求方式、预期结果以及任务执行时长等，任务执行时长为对接口性能执行指定时长的测试。

其中，任务可以通过执行一个程序(或者一组程序)实现相应的功能或者提供相应的服务。

比如，具体可以是从存储器中或者从区块链中获取任务数据集合，任务数据集合可以通过数据库的方式进行存储，或者通过缓存、文件、报表的方式进行保存。

102、从任务数据集合中确定待调度的目标任务数据，以及确定处理目标任务数据的分布式节点，分布式节点部署有基于任务数据执行目标类型任务的任务程序，目标任务数据为目标类型任务对应的任务数据。

其中，目标任务数据可以是待调度任务所需要的任务数据。

其中，分布式节点可以是一台计算机设备，例如服务器，也可以是设备集群等，分布式节点部署有任务程序，可以基于任务程序对任务数据进行处理以实现对应的功能或者提供相应的服务。

比如，具体可以是从任务数据集合中随机确定一个任务数据作为目标任务集合，可选的，可以根据任务数据提交的时间顺序，从任务数据集合中确定提交时间最早的任务数据作为目标任务数据，可选的，可以根据任务数据集合中任务数据的排列顺序从任务数据集合中确定目标任务数据。

在一实施例中，任务数据可以对应有任务标识，根据任务标识可以从任务数据集合中确定对应的任务数据作为待调度的目标任务数据，即步骤“从任务数据集合中确定待调度的目标任务数据”，具体可以包括：

根据预设策略从任务标识集合中确定目标任务标识；

根据目标任务标识从任务数据集合中获取待调度的目标任务数据。

其中，任务标识集合中可以包括至少一个任务标识，任务标识可以用于指示对应的任务数据，任务标识集合可以是任务标识列表或者是任务标识队列等形式。

其中，预设策略可以是从任务标识集合中确定目标任务标识的策略，预设策略可以基于时间顺序，还可以是基于排列顺序等。

比如，具体先存储至任务标识集合中的任务标识在时间顺序上，早于后存储至任务标识集合中的任务标识，可以是根据时间顺序将任务标识集合中时间最早的任务标识确定目标任务标识，或者将时间最晚的任务标识确定为目标任务标识，或者将指定时间的任务标识确定目标任务标识。

根据任务标识和任务数据之间的对应关系，从任务数据集合中查询与目标任务标识对应的目标任务数据。

根据提交顺序对任务数据生成对应的任务标识，根据任务标识可以确定任务的执行顺序，可以提高对任务数据分配顺序的准确性。

根据任务数据提交的时间或者提交的顺序，对任务数据生成对应的任务标识，根据任务标识可以更加便捷地确定任务提交的先后顺序；且对任务数据生成任务标识，方便基于任务标识对任务数据进行追溯，以及任务程序针对任务标识指示的任务数据进行处理后得到的执行结果进行追溯。

当存在多个任务标识集合时，不同的任务标识集合可以对应有不同的优先级，可以优先处理优先级高的任务标识集合，提高任务调度的灵活性，且可以根据应用场景的需要设置不同的优先级，适应不同的场景，即步骤“根据预设策略从任务标识集合表中确定目标任务标识”，具体可以包括：

根据优先级从至少一个任务标识集合中确定目标任务标识集合；

根据任务标识的获取顺序从目标任务标识集合中筛选出目标任务标识。

比如，具体可以是至少一个任务标识集合对应的优先级从中确定优先级最高的任务标识集合作为目标任务标识集合。

目标任务标识集合可以是根据任务标识的获取顺序进行排序得到的集合，根据任务标识的获取顺序从目标任务标识集合中筛选目标任务标识，例如，将目标任务标识集合中获取顺序最早的任务标识作为目标任务标识。

任务标识集合中的任务标识根据优先级的顺序逐次获取，例如，将优先级为第一的任务标识集合中任务标识对应的目标任务数据调度完之后，再将优先级有第二的任务标识集合中任务标识对应的目标任务数据进行调度，以此类推。

当接收到新增的任务数据时，可以基于任务标识集合为新增的任务数据生成任务标识，并将任务标识存储至任务标识结合中，即步骤“获取待调度的任务数据集合”之前，任务调度方法还包括：

获取候选任务数据和初始任务数据集合对应的初始任务标识集合；

根据初始任务标识集合中任务标识，为候选任务数据生成对应的任务标识；

将候选任务数据的任务标识加入初始任务标识集合中，得到任务标识集合；

将候选任务数据加入初始任务数据集合中，得到任务数据集合。

其中，候选任务数据可以包括新增的任务数据，初始任务数据集合可以是不包括候选任务数据的集合，初始任务标识集合可以是不包括候选任务数据对应的任务标识的集合。

比如，具体可以是接收任务调度方法对应的web应用发送的任务数据，或者是接收以约定的报文格式发送的任务数据。根据候选任务数据的提交时间生成对应任务标识，根据任务标识可以确定任务数据提交的先后顺序，或者是根据任务数据的提交顺序生成对应的任务标识，例如，第一个提交的任务数据对应的任务标识可以是1，第二个提交的任务数据对应的任务标识可以是2，以此类推。

将生成的任务标识加入初始任务标识集合中，得到任务标识集合，并将候选任务数据集合加入初始任务数据集合中，得到任务数据集合。

103、获取分布式节点的任务执行状态信息。

其中，任务执行状态信息可以包括分布式节点目前运行任务程序的情况，比如，包括当前执行的任务程序等。

比如，具体可以是分布式节点定时向服务器发送其任务执行状态信息，或者是服务器向分布式节点发送指令从分布式节点获取任务执行状态信息。

104、根据分布式节点的任务执行状态信息从分布式节点中筛选空闲节点，空闲节点为当前未运行目标类型任务的分布式节点。

其中，空闲节点可以是当前没有运行目标类型任务的分布式节点，例如，若处理目标任务的数据任务程序为执行性能测试任务的程序，则空闲节点为当前没有执行任务，或者是没有执行性能测试任务的节点。

比如，具体可以是根据任务执行状态信息从分布式节点中确定没有执行目标类型任务的节点，该节点即为空闲节点。

相比于通常基于任务完成时间预测模型预测任务的完成时间，再根据预测的完成时间定时拉起下一个任务的方式，根据分布式节点的任务执行状态信息确定执行任务的节点，可以及时地将目标任务数据发送给空闲节点，提高节点的使用效率，且不会由于预测时间偏差，导致节点同时执行相同的任务，执行效果不准确。

为了减少计算量可以从分布式节点中确定目标节点，针对目标节点的任务执行状态信息确定是否为空闲节点，即在一实施例中，步骤“根据分布式节点的任务执行状态信息从分布式节点中筛选空闲节点”，具体可以包括：

从分布式节点中确定目标节点；

若任务执行状态信息指示目标节点存在当前执行任务，则获取当前执行任务的任务数据；

若当前执行任务的任务数据与目标任务数据为非互斥关系，则确定目标节点为空闲节点。

比如，具体可以是根据分布式节点的CPU、内存或者IO等资源的剩余状态从分布式节点中确定目标节点，或者是根据预设顺序从分布式节点中确定目标节点。

根据目标节点的任务执行状态信息确定目标节点是否为空闲节点，若任务执行状态信息指示目标节点正在执行任务，若正在执行的当前执行任务的任务数据与目标任务数据相互独立，为非互斥关系，则当前执行任务对应的任务程序与执行目标任务数据的任务不为相同的任务程序，当前执行任务的任务数据与目标任务数据之间是相互独立的，可以在同个节点同时进行处理，确定目标节点为空闲节点。

可选的，可以获取当前执行任务的任务名称，以及目标任务数据中的任务名称，若当前执行任务的任务名称与目标任务数据中的任务名称不同，则表示目标节点当前执行任务对应的任务程序不是执行目标任务数据的任务程序。

当目标节点不是空闲节点时，可以对目标节点的关联节点的空闲状态进行确定，即在一实施例中，任务调度方法具体还可以包括：

若当前执行任务的任务数据与目标任务数据为互斥关系，则将目标节点的关联节点作为目标节点，返回执行若任务执行状态信息指示目标节点存在当前执行任务，则获取当前执行任务的任务数据，直到遍历分布式节点；

步骤“若任务执行状态信息指示目标节点存在当前执行任务，则获取当前执行任务的任务数据”之后，还可以包括：

若目标节点不存在当前执行任务，则确定目标节点为空闲节点。

其中，关联节点可以在预设顺序上目标节点的下一个节点，或者根据节点的CPU、内存或者IO等资源确定的节点。

比如，具体可以是若当前执行任务对应的任务程序与执行目标任务数据的任务为相同的任务程序，则即当前执行任务的任务数据与目标任务数据为互斥关系，不能在同个节点进行处理，确定目标节点不为空闲节点。

可选的，可以获取当前执行任务的任务名称，以及目标任务数据中的任务名称，若当前执行任务的任务名称与目标任务数据中的任务名称相同，则表示目标节点当前执行任务对应的任务程序为执行目标任务数据的任务程序，当前执行任务的任务数据与目标任务数据互斥。

若当前执行任务的任务数据与目标任务数据互斥，则获取目标节点的关联节点，将关联节点作为目标节点，根据目标节点的任务执行状态信息确定目标节点是否为空闲节点，若目标节点不是空闲节点，则对目标节点的关联节点进行判断，直到遍历分布式节点包含的所有节点。

若任务执行状态信息指示目标节点不存在当前执行任务，则确定目标节点为空闲节点。

若遍历分布式节点包含的所有节点确定不存在空闲节点，可以在一段时间后，再次确定分布式节点中的空闲节点，即在一实施例中，任务调度方法具体还可以包括：

若遍历分布式节点确定分布式节点中不存在空闲节点，则根据预设等待策略确定等待条件；

当满足等待条件时，返回执行从分布式节点中确定目标节点，若任务执行状态信息指示目标节点存在当前执行任务，则获取当前执行任务的任务数据。

其中，预设等待策略可以提供固定的等待条件，例如固定的等待时间，当分布式节点不存在空闲节点时，等待30s后再次查找空闲节点，或者是根据梯度确定等待条件，例如，当分布式节点不存在空闲节点时，等待100s后再次查找空闲节点，仍不存在空闲节点，等待50秒后再次查找空闲节点，逐次递减等待时间。

其中，等待条件可以是等待时间，例如等待30秒，或者是指定时间，例如21:00，或者是其他条件。

比如，具体可以是若遍历分布式节点确定分布式节点中不存在空闲节点，根据预设等待策略，确定等待条件为等待30s，当等待30s，再次执行从分布式节点中确定空闲节点的过程。

增加对分布式节点进行任务执行状态进行检测的扫描机制，能够实时地确定分布式节点中的空闲节点，相比于通过模型预测完成时间，定时拉起任务的方式，可以准确将目标任务数据分配至空闲节点，且灵活性更好，节点的使用效率高；同时避免了由于预测时间不准确，导致相同的任务在同一节点同一时间短内被重复执行。

105、将目标任务数据发送至空闲节点，以使得空闲节点通过任务程序处理目标任务数据。

比如，具体可以是将目标任务数据发送至空闲节点，空闲节点根据目标任务数据确定对应的任务程序，通过执行该任务程序处理目标任务数据。

由上可知，本申请实施例可以通过获取任务数据集合，任务数据集合包括至少一个目标类型任务的任务数据；从任务数据集合中确定待调度的目标任务数据，以及确定处理目标任务数据的分布式节点，分布式节点部署有基于任务数据执行目标类型任务的任务程序，目标任务数据为目标类型任务对应的任务数据；获取分布式节点的任务执行状态信息；根据分布式节点的任务执行状态信息从分布式节点中筛选空闲节点，空闲节点为当前未运行目标类型任务的分布式节点；将目标任务数据发送至空闲节点，以使得空闲节点通过任务程序处理目标任务数据，该方案通过分布式节点的任务执行状态信息从分布式节点中确定空闲节点，可以实现准确分配目标任务数据至节点，提高分布式节点的利用效率。本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、以及辅助驾驶等各种场景。

在上述实施例的基础上，下面将举例做进一步详细说明。

本实施例将从任务调度装置的角度进行描述，该任务调度装置具体可以集成是服务器中，该服务器可以是服务集群，服务器集群可以包括任务调度节点和分布式节点(即任务执行节点)，任务调度节点可以用于将目标任务分配至分布式节点。

本申请实施例提供的一种任务调度方法，如图3所示，该任务调度方法的具体流程可以如下：

201、任务调度节点从任务标识队列中确定目标任务标识，并根据目标任务标识从数据库中获取目标任务数据。

其中，任务标识队列可以是采用先进先出策略的队列，先提交的任务标识对应的任务数据先被调度。任务标识队列可以包括至少一个任务标识，任务标识可以根据任务数据的提交顺序相应生成指示提交顺序的标识，任务标识可以唯一对应一个任务数据。

其中，先进先出策略(First In First Out，FIFO)可以是一种数据缓存方式，使最早的任务数据被最先处理。

比如，具体可以是任务调度节点根据任务标识从任务标识队列中确定目标任务标识，或者是根据任务标识队列的排列顺序确定目标任务标识，并根据目标任务标识从数据库中获取目标任务数据。

当存在多个任务标识队列时，不同的任务标识队列可以对应有不同的优先级，可以优先处理优先级高的任务标识队列，提高任务调度的灵活性，且可以根据应用场景的需要设置不同的优先级，适应不同的场景。

比如，具体可以是至少一个任务标识队列对应的优先级从中确定优先级最高的任务标识队列作为目标任务标识队列。

目标任务标识队列可以是根据任务标识的获取顺序进行排序得到的队列，根据任务标识的获取顺序从目标任务标识队列中筛选目标任务标识，例如，将目标任务标识队列中获取顺序最早的任务标识作为目标任务标识。

任务标识队列中的任务标识根据优先级的顺序逐次获取，例如，将优先级为第一的任务标识队列中任务标识对应的目标任务数据调度完之后，再将优先级有第二的任务标识队列中任务标识对应的目标任务数据进行调度，以此类推。

202、任务调度节点确定处理目标任务数据的分布式节点，以及从分布式节点中确定目标节点。

比如，具体可以是将服务集群中除了任务调度服务器之外的服务器确定为分布式节点，或者根据节点列表确定处理目标任务数据的分布式节点，并根据节点列表中的节点标识确定目标节点。

其中，节点列表可以包括处理目标任务数据的分布式节点的节点标识，根据节点标识可以查找到对应的分布式节点，节点列表可以基于节点标识对分布式节点进行排序。

203、任务调度节点获取目标节点的任务执行状态信息。

比如，具体可以是任务调度节点通过运维工具向分布式节点发送指令从分布式节点获取任务执行状态信息，例如，“service AA status”指令，AA可以指示目标节点。

其中，运维工具可以包括SaltStack、ansible、以及puppet等，在此不做限定。SaltStack是一个服务器基础架构集中化管理平台，具备配置管理、远程执行、以及监控等功能，其分为Master调度节点(相当于任务调度节点)和minios代理节点(相当于分布式节点)，master节点可以向所有minios节点下发任务并接收minios节点返回结果。

通过部署SaltStack，任务调度节点可以在指定的分布式节点上执行检测服务或进程的命令，如“service xx status”等，其结果将返回给任务调度节点。

目标节点接收到指令后，向任务调度节点返回其任务执行状态信息，任务执行状态信息包括目标节点当前运行的服务和进程等。

204、任务调度节点根据状态任务信息确定目标节点是否存在当前执行任务，若是，执行步骤205，若否，执行步骤206。

比如，具体可以是分布式节点通过进程的方式拉起任务，若目标任务节点根据任务执行状态信息确定目标任务节点当前没有运行任何进程或者服务，则目标节点不存在当前执行任务，任务调度节点执行步骤206。

若目标任务节点根据任务执行状态信息确定目标任务节点当前没有运行任何进程或者服务，则目标节点存在当前执行任务，任务调度节点执行步骤205。

205、任务调度节点判断目标节点的当前执行任务的任务数据与目标任务数据之间是否为互斥关系，若是，执行步骤207，若否，执行步骤206。

比如，具体可以是获取当前执行任务的任务名称，以及目标任务数据中的任务名称，若任务名称不同，则表示目标节点当前执行任务对应的任务程序不是处理目标任务数据的任务程序，目标节点的当前执行任务的任务数据与目标任务数据之间不为互斥关系，执行步骤206。

若任务名称相同，则表示目标节点当前执行任务对应的任务程序为处理目标任务数据的任务程序，目标节点的当前执行任务的任务数据与目标任务数据之间为互斥关系，执行步骤207。

206、任务调度节点确定目标节点为空闲节点，将目标任务数据分配至空闲节点，以便空闲节点通过任务程序处理目标任务数据。

比如，具体可以是目标节点的当前执行任务的任务数据与目标任务数据之间不为互斥关系，任务调度节点确定目标节点为空闲节点，将目标任务数据分配至空闲节点，以便空闲节点根据目标任务数据包含的任务名称确定对应的任务程序，通过该任务程序处理目标任务数据。

207、若任务调度节点未遍历分布式节点，根据节点列表确定目标节点的关联节点，将关联节点作为目标节点，返回执行步骤203。

比如，具体可以是目标节点的当前执行任务的任务数据与目标任务数据之间为互斥关系，确定目标节点为非空闲节点，根据节点列表将排序上位于目标节点的下一个节点作为目标节点，返回执行步骤203，直到遍历分布式节点包含的所有节点。

208、若任务调度节点遍历分布式节点，确定不存在空闲节点，等待预设等待时间，返回执行步骤202。

比如，具体可以是若遍历分布式节点包含的所有节点确定不存在空闲节点，可以在预设等待时间后，再次确定分布式节点中的空闲节点，即返回执行步骤202。

其中，预设等待时间可以是固定的等待条时间，也可以是根据预设等待策略确定的等待时间，例如，当分布式节点不存在空闲节点时，等待100s后再次查找空闲节点，仍不存在空闲节点，等待50秒后再次查找空闲节点，若分布式节点仍然不存在空闲节点，则等待25s后再次查找空闲节点，逐次递减等待时间，以加快从分布式节点中确定处理目标任务数据的空闲节点。

209、当任务调度节点接收到候选任务数据时，对候选任务数据生成对应的任务标识。

比如，具体可以是任务调度节点接收任务调度方法对应的web应用发送的任务数据，或者是接收以约定的报文格式发送的任务数据。根据候选任务数据的提交时间生成对应任务标识，根据任务标识可以确定任务数据提交的先后顺序，或者是根据任务数据的提交顺序生成对应的任务标识，例如，第一个提交的任务数据对应的任务标识可以是1，第二个提交的任务数据对应的任务标识可以是2，以此类推。

210、任务调度节点将任务标识保存至任务标识队列，以及将候选任务数据保存至任务数据集合中。

比如，具体可以是将生成的任务标识加入初始任务标识队列中，得到任务标识队列，并将候选任务数据加入数据库的初始任务数据集合中，得到任务数据集合。

由上可知，本申请实施例任务调度节点通过从任务标识队列中确定目标任务标识，并根据目标任务标识从数据库中获取目标任务数据；确定处理目标任务数据的分布式节点，以及根据节点列表从分布式节点中确定目标节点；获取目标节点的任务执行状态信息；任务调度节点根据状态任务信息确定目标节点是否存在当前执行任务，若存在，则判断目标节点的当前执行任务的任务数据与目标任务数据之间是否为互斥关系，若是，根据节点列表确定目标节点的关联节点，将关联节点作为目标节点，返回执行获取目标节点的任务执行状态信息，若否，则确定目标节点为空闲节点，将目标任务数据分配至空闲节点；若不存在，则确定目标节点为空闲节点，将目标任务数据分配至空闲节点；当任务调度节点接收到候选任务数据时，对候选任务数据生成对应的任务标识；任务调度节点将任务标识保存至任务标识队列，以及将候选任务数据保存至任务数据集合中，该方案可以根据任务执行状态信息及时向节点下发目标任务数据，提高节点的利用效率，同时避免了由于预测时间不准确，导致相同的任务在同一节点同一时间短内被重复执行，节点不会同时执行多个相同的任务影响任务的执行效果，提高节点对任务的执行效果。

为了便于更好地实施本申请实施例提供的任务调度方法，在一实施例中还提供了一种任务调度装置。其中名词的含义与上述任务调度方法中相同，具体实现细节可以参考方法实施例中的说明。

该任务调度装置具体可以集成在计算机设备中，如图4所示，该任务调度装置可以包括：数据获取单元301、确定单元302、信息获取单元303、筛选单元304和调度单元305，具体如下：

(1)数据获取单元301：用于获取任务数据集合，任务数据集合包括至少一个目标类型任务的任务数据。

比如，具体可以是从存储器中或者从区块链中获取任务数据集合，任务数据集合可以通过数据库的方式进行存储，或者通过缓存、文件、报表的方式进行保存。

(2)确定单元302：用于从任务数据集合中确定待调度的目标任务数据，以及确定处理目标任务数据的分布式节点，分布式节点部署有基于任务数据执行目标类型任务的任务程序，目标任务数据为目标类型任务对应的任务数据。

比如，具体可以是从任务数据集合中随机确定一个任务数据作为目标任务集合，可选的，可以根据任务数据提交的时间顺序，从任务数据集合中确定提交时间最早的任务数据作为目标任务数据，可选的，可以根据任务数据集合中任务数据的排列顺序从任务数据集合中确定目标任务数据。

可选的，确定单元302可以包括标识确定子单元和数据获取子单元，具体地：

标识确定子单元：用于根据预设策略从任务标识集合中确定目标任务标识；

数据获取子单元：用于根据目标任务标识从任务数据集合中获取待调度的目标任务数据。

比如，具体先存储至任务标识集合中的任务标识在时间顺序上，早于后存储至任务标识集合中的任务标识，可以是根据时间顺序将任务标识集合中时间最早的任务标识确定目标任务标识，或者将时间最晚的任务标识确定为目标任务标识，或者将指定时间的任务标识确定目标任务标识。

根据任务标识和任务数据之间的对应关系，从任务数据集合中查询与目标任务标识对应的目标任务数据。

在一实施例中，标识确定子单元可以包括集合确定模块和标识筛选模块，具体地：

集合确定模块：用于根据优先级从至少一个任务标识集合中确定目标任务标识集合；

标识筛选模块：用于根据任务标识的获取顺序从目标任务标识集合中筛选出目标任务标识。

比如，具体可以是至少一个任务标识集合对应的优先级从中确定优先级最高的任务标识集合作为目标任务标识集合。

目标任务标识集合可以是根据任务标识的获取顺序进行排序得到的集合，根据任务标识的获取顺序从目标任务标识集合中筛选目标任务标识，例如，将目标任务标识集合中获取顺序最早的任务标识作为目标任务标识。

可选的，任务调度装置还可以包括候选任务获取单元、标识生成单元、标识集合生成单元和数据集合生成单元，具体地：

任务获取单元：用于获取候选任务数据和初始任务数据集合对应的初始任务标识集合；

标识生成单元：用于根据初始任务标识集合中任务标识，为候选任务数据生成对应的任务标识；

标识集合生成单元：用于将候选任务数据的任务标识加入初始任务标识集合中，得到任务标识集合；

数据集合生成单元：用于将候选任务数据加入初始任务数据集合中，得到任务数据集合。

比如，具体可以是接收任务调度方法对应的web应用发送的任务数据，或者是接收以约定的报文格式发送的任务数据。根据候选任务数据的提交时间生成对应任务标识，根据任务标识可以确定任务数据提交的先后顺序，或者是根据任务数据的提交顺序生成对应的任务标识，例如，第一个提交的任务数据对应的任务标识可以是1，第二个提交的任务数据对应的任务标识可以是2，以此类推。

将生成的任务标识加入初始任务标识集合中，得到任务标识集合，并将候选任务数据集合加入初始任务数据集合中，得到任务数据集合。

(3)信息获取单元303：用于获取分布式节点的任务执行状态信息。

比如，具体可以是分布式节点定时向服务器发送其任务执行状态信息，或者是服务器向分布式节点发送指令从分布式节点获取任务执行状态信息。

(4)筛选单元304：用于根据分布式节点的任务执行状态信息从分布式节点中筛选空闲节点，空闲节点为当前未运行目标类型任务的分布式节点。

比如，具体可以是根据任务执行状态信息从分布式节点中确定没有执行目标类型任务的节点，该节点即为空闲节点。

在一实施例中，筛选单元304可以包括节点确定子单元、任务数据获取子单元和空闲节点确定子单元，具体地：

节点确定子单元：用于从分布式节点中确定目标节点；

任务数据获取子单元：用于若任务执行状态信息指示目标节点存在当前执行任务，则获取当前执行任务的任务数据；

空闲节点确定子单元：用于若当前执行任务的任务数据与目标任务数据为非互斥关系，则确定目标节点为空闲节点。

比如，具体可以是根据分布式节点的CPU、内存或者IO等资源的剩余状态从分布式节点中确定目标节点，或者是根据预设顺序从分布式节点中确定目标节点。

根据目标节点的任务执行状态信息确定目标节点是否为空闲节点，若任务执行状态信息指示目标节点正在执行任务，判断正在执行的当前执行任务的任务数据于目标任务数据是否相互独立，为非互斥关系，当前执行任务对应的任务程序与执行目标任务数据的任务不为相同的任务程序，则当前执行任务的任务数据与目标任务数据之间是相互独立的，可以在同个节点同时进行处理，确定目标节点为空闲节点。

在一实施例中，任务调度装置还可以循环单元和空闲节点确定单元，具体地：

循环单元：用于若当前执行任务的任务数据与目标任务数据为互斥关系，则将目标节点的关联节点作为目标节点，返回执行若任务执行状态信息指示目标节点存在当前执行任务，则获取当前执行任务的任务数据，直到遍历分布式节点；

空闲节点确定单元：用于若目标节点不存在当前执行任务，则确定目标节点为空闲节点。

比如，具体可以是当前执行任务对应的任务程序与执行目标任务数据的任务为相同的任务程序，则即当前执行任务的任务数据与目标任务数据互斥，不能在同个节点进行处理，确定目标节点不为空闲节点。

若当前执行任务的任务数据与目标任务数据互斥，则获取目标节点的关联节点，将关联节点作为目标节点，根据目标节点的任务执行状态信息确定目标节点是否为空闲节点，若目标节点不是空闲节点，则对目标节点的关联节点进行判断，直到遍历分布式节点包含的所有节点。

若任务执行状态信息指示目标节点不存在当前执行任务，则确定目标节点为空闲节点。

在一实施例中，任务调度装置可以包括条件确定单元和检测单元，具体地：

条件确定单元：用于若遍历分布式节点确定分布式节点中不存在空闲节点，则根据预设等待策略确定等待条件；

检测单元：用于当满足等待条件时，返回执行从分布式节点中确定目标节点，若任务执行状态信息指示目标节点存在当前执行任务，则获取当前执行任务的任务数据。

比如，具体可以是若遍历分布式节点确定分布式节点中不存在空闲节点，根据预设等待策略，确定等待条件为等待30s，当等待30s，再次执行从分布式节点中确定空闲节点的过程。

(5)调度单元305：用于将目标任务数据发送至空闲节点，以使得空闲节点通过任务程序处理目标任务数据。

比如，具体可以是将目标任务数据发送至空闲节点，空闲节点根据目标任务数据确定对应的任务程序，通过执行该任务程序处理目标任务数据。

由上可知，本申请实施例任务调度装置可以通过数据获取单元301获取任务数据集合，任务数据集合包括至少一个目标类型任务的任务数据；由确定单元302从任务数据集合中确定待调度的目标任务数据，以及确定处理目标任务数据的分布式节点，分布式节点部署有基于任务数据执行目标类型任务的任务程序，目标任务数据为目标类型任务对应的任务数据；通过信息获取单元303获取分布式节点的任务执行状态信息；由筛选单元304根据分布式节点的任务执行状态信息从分布式节点中筛选空闲节点，空闲节点为当前未运行目标类型任务的分布式节点；通过调度单元305将目标任务数据发送至空闲节点，以使得空闲节点通过任务程序处理目标任务数据，该方案通过分布式节点的任务执行状态信息从分布式节点中确定空闲节点，可以实现准确分配目标任务数据至节点，提高分布式节点的利用效率。

本申请实施例还提供一种计算机设备，该计算机设备可以是终端，也可以是服务器，如图5所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器1001、一个或一个以上计算机可读存储介质的存储器1002、电源1003和输入单元1004等部件。本领域技术人员可以理解，图5中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器1001是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器1002内的软件程序和/或模块，以及调用存储在存储器1002内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器1001可包括一个或多个处理核心；优选的，处理器1001可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和计算机程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1001中。

存储器1002可用于存储软件程序以及模块，处理器1001通过运行存储在存储器1002的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1002可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1002还可以包括存储器控制器，以提供处理器1001对存储器1002的访问。

计算机设备还包括给各个部件供电的电源1003，优选的，电源1003可以通过电源管理系统与处理器1001逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1003还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元1004，该输入单元1004可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器1001会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器1002中，并由处理器1001来运行存储在存储器1002中的计算机程序，从而实现各种功能，如下：

获取任务数据集合，任务数据集合包括至少一个目标类型任务的任务数据；

从任务数据集合中确定待调度的目标任务数据，以及确定处理目标任务数据的分布式节点，分布式节点部署有基于任务数据执行目标类型任务的任务程序，目标任务数据为目标类型任务对应的任务数据；

获取分布式节点的任务执行状态信息；根据分布式节点的任务执行状态信息从分布式节点中筛选空闲节点，空闲节点为当前未运行目标类型任务的分布式节点；

将目标任务数据发送至空闲节点，以使得空闲节点通过任务程序处理目标任务数据。

以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

由上可知，本申请实施例的计算机设备可以通过获取任务数据集合，任务数据集合包括至少一个目标类型任务的任务数据；从任务数据集合中确定待调度的目标任务数据，以及确定处理目标任务数据的分布式节点，分布式节点部署有基于任务数据执行目标类型任务的任务程序，目标任务数据为目标类型任务对应的任务数据；获取分布式节点的任务执行状态信息；根据分布式节点的任务执行状态信息从分布式节点中筛选空闲节点，空闲节点为当前未运行目标类型任务的分布式节点；将目标任务数据发送至空闲节点，以使得空闲节点通过任务程序处理目标任务数据，该方案通过分布式节点的任务执行状态信息从分布式节点中确定空闲节点，可以实现准确分配目标任务数据至节点，提高分布式节点的利用效率。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有计算机程序，该计算机程序，能够被处理器进行加载，以执行本申请实施例所提供的任一种任务调度方法。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种任务调度方法，因此，可以实现本申请实施例所提供的任一种任务调度方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种任务调度方法、装置、计算机设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种任务调度方法，其特征在于，包括：

获取任务数据集合，所述任务数据集合包括至少一个目标类型任务的任务数据；

从所述任务数据集合中确定待调度的目标任务数据，以及确定处理所述目标任务数据的分布式节点，所述分布式节点部署有基于所述任务数据执行所述目标类型任务的任务程序，所述目标任务数据为所述目标类型任务对应的任务数据；

获取所述分布式节点的任务执行状态信息；

根据所述分布式节点的任务执行状态信息从所述分布式节点中筛选空闲节点，所述空闲节点为当前未运行所述目标类型任务的分布式节点；

将所述目标任务数据发送至所述空闲节点，以使得所述空闲节点通过所述任务程序处理所述目标任务数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述分布式节点的任务执行状态信息从所述分布式节点中筛选空闲节点，包括：

从所述分布式节点中确定目标节点；

若所述任务执行状态信息指示所述目标节点存在当前执行任务，则获取所述当前执行任务的任务数据；

若所述当前执行任务的任务数据与目标任务数据为非互斥关系，则确定所述目标节点为空闲节点。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若所述当前执行任务的任务数据与目标任务数据为互斥关系，则将所述目标节点的关联节点作为所述目标节点，返回执行若所述任务执行状态信息指示所述目标节点存在当前执行任务，则获取所述当前执行任务的任务数据，直到遍历所述分布式节点；

所述若所述任务执行状态信息指示所述目标节点存在当前执行任务，则获取所述当前执行任务的任务数据之后，所述方法还包括：

若所述目标节点不存在当前执行任务，则确定所述目标节点为空闲节点。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若遍历所述分布式节点确定所述分布式节点中不存在空闲节点，则根据预设等待策略确定等待条件；

当满足所述等待条件时，返回执行从所述分布式节点中确定目标节点，若所述任务执行状态信息指示所述目标节点存在当前执行任务，则获取所述当前执行任务的任务数据。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述任务数据集合对应有至少一个任务标识集合，所述从所述任务数据集合中确定待调度的目标任务数据，包括：

根据预设策略从所述任务标识集合中确定目标任务标识；

根据所述目标任务标识从所述任务数据集合中获取待调度的目标任务数据。

6.根据权利要求5所述的方法，其特征在于，所述至少一个任务标识集合分别对应于不同的优先级，所述根据预设策略从所述任务标识集合中确定目标任务标识，包括：

根据所述优先级从所述至少一个任务标识集合中确定目标任务标识集合；

根据任务标识的获取顺序从所述目标任务标识集合中筛选出目标任务标识。

7.根据权利要求5所述的方法，其特征在于，所述获取待调度的任务数据集合之前，所述方法还包括：

获取候选任务数据和初始任务数据集合对应的初始任务标识集合；

根据所述初始任务标识集合中任务标识，为所述候选任务数据生成对应的任务标识；

将所述候选任务数据的任务标识加入所述初始任务标识集合中，得到所述任务标识集合；

将所述候选任务数据加入所述初始任务数据集合中，得到所述任务数据集合。

8.一种任务调度装置，其特征在于，包括：

数据获取单元，用于获取任务数据集合，所述任务数据集合包括至少一个目标类型任务的任务数据；

确定单元，用于从所述任务数据集合中确定待调度的目标任务数据，以及确定处理所述目标任务数据的分布式节点，所述分布式节点部署有基于所述任务数据执行所述目标类型任务的任务程序，所述目标任务数据为所述目标类型任务对应的任务数据；

信息获取单元，用于获取所述分布式节点的任务执行状态信息；

筛选单元，用于根据所述分布式节点的任务执行状态信息从所述分布式节点中筛选空闲节点，所述空闲节点为当前未运行所述目标类型任务的分布式节点；

调度单元，用于将所述目标任务数据发送至所述空闲节点，以使得所述空闲节点通过所述任务程序处理所述目标任务数据。

9.一种计算机设备，其特征在于，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至7任一项所述的任务调度方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载，以执行权利要求1至7任一项所述的任务调度方法。

Images