CN115016920A - 一种任务调度方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明实施例提供了一种任务调度方法、装置、电子设备及存储介质，所述方法包括：接收用户提交的任务请求，根据任务所需的资源，在候选资源中为任务标识对应的任务确定目标资源；基于任务数据包的下载地址信息，下载任务对应的任务数据包；判断目标资源的资源类型是否为容器资源类型；如果是，则根据预设的容器镜像构建容器，并将任务数据包发送至所构建容器的队列中。本发明，能够提高资源的可复用性以及任务执行的成功率。

Description

一种任务调度方法、装置、电子设备及存储介质

技术领域

本发明涉及数据处理技术领域，特别是涉及一种任务调度方法、装置、电子设备及存储介质。

背景技术

大数据服务是通过底层可伸缩的大数据平台和上层各种大数据应用，支撑机构或个人对海量、异构、快速变化数据采集、传输、存储、处理、交换、销毁等覆盖数据生命周期相关活动的各种数据服务。现有大数据任务主要是基于分布式系统特性的大数据平台组件进行处理的。

YARN(YetAnotherResourceNegotiator，另一种资源协调者)是一种资源管理器，可为上层应用提供统一的资源管理和调度。现有大数据任务的调度方法为：基于YARN集群的任务调度，YARN集群由虚拟机或物理机组成，在YARN集群接收到用户提交的任务后，确定集群中各节点(虚拟机或物理机)的资源状态，根据任务所需的资源确定可用于执行该任务的节点，将任务下发至所确定的节点，以使所确定的节点对下发的任务进行处理，并返回执行结果。

然而，现有基于YARN集群的任务调度，YARN集群由虚拟机或物理机组成，任务下发节点后占用集群的资源，无法实现弹性增减任务占用的资源，进而无法做到集群资源的充分复用。且，因YARN集群是基于Java虚拟机开发的，集群自身的资源管控垃圾回收机制、内存设置等会影响任务的执行成功率。

发明内容

本发明实施例的目的在于提供一种任务调度方法、装置、电子设备及存储介质，用以提高资源的可复用性，以及提高任务执行的成功率。具体技术方案如下：

第一方面，本发明实施例提供了一种任务调度方法，所述方法包括：

接收用户提交的任务请求，所述任务请求中包括任务的标识，任务所需的资源，任务数据包的下载地址信息；

根据所述任务所需的资源，在候选资源中为所述任务标识对应的任务确定目标资源；

基于所述任务数据包的下载地址信息，下载所述任务对应的任务数据包；

判断所述目标资源的资源类型是否为容器资源类型；

如果所述目标资源的资源类型为容器资源类型，则根据预设的容器镜像构建容器，并将所述任务数据包发送至所构建容器的队列中。

可选地，所述方法还包括：

如果所述目标资源的资源类型不为容器资源类型，则将所述任务数据包拼装成目标请求，并将所述目标请求发送至所述目标资源的YARN资源队列中。

可选地，所述根据所述任务所需的资源，在候选资源中为所述任务标识对应的任务确定目标资源的步骤，包括：

确定第一资源的状态，所述第一资源的状态包括第一资源的剩余可用状态，所述第一资源为所述候选资源中的资源；

根据所述第一资源的状态，判断所述第一资源是否满足所述任务所需的资源；

如果所述第一资源满足所述任务所需的资源，则将所述第一资源确定为目标资源。

可选地，在所述任务请求中包括任务指定资源类型的情况下，所述第一资源为所述任务指定资源类型所对应的资源。

可选地，在所述第一资源的资源类型优先级不是最低的情况下，在判断所述第一资源是否满足所述任务所需的资源之后，所述方法还包括：

如果所述第一资源不满足所述任务所需的资源，则判断所述任务是否可降级处理；

如果所述任务可降级处理，则判断第二资源是否满足所述任务所需的资源，所述第一资源的资源类型优先级高于所述第二资源的资源类型优先级；

如果所述第二资源满足所述任务所需的资源，则将所述第二资源确定为目标资源。

可选地，在所述任务请求中不包括任务指定资源类型的情况下，所述第一资源为所述候选资源中资源类型优先级最高对应的资源。

可选地，在判断所述第一资源是否满足所述任务所需的资源之后，所述方法还包括：

如果所述第一资源不满足所述任务所需的资源，则判断所述任务是否可降级处理；

如果所述任务可降级处理，则判断第三资源是否满足所述任务所需的资源，所述第一资源的资源类型优先级高于所述第三资源的资源类型优先级；

如果所述第三资源满足所述任务所需的资源，则将所述第三资源确定为目标资源；

如果所述第三资源不满足所述任务所需的资源，则判断第四资源是否满足所述任务所需的资源，所述第三资源的资源类型优先级高于所述第四资源的资源类型优先级；

如果所述第四资源满足所述任务所需的资源，则将所述第四资源确定为目标资源。

可选地，所述方法还包括：

接收所述目标资源返回的任务执行结果信息。

可选地，所述候选资源包括不同资源类型优先级的、用于执行所述任务标识对应的任务的资源；资源类型优先级越高对应的资源用于处理对计算资源要求越高的任务；资源类型优先级越低对应的资源用于处理对计算效率要求越低的任务。

第二方面，本发明实施例提供了一种任务调度装置，所述装置包括：

第一接收模块，用于接收用户提交的任务请求，所述任务请求中包括任务的标识，任务所需的资源，任务数据包的下载地址信息；

确定模块，用于根据所述任务所需的资源，在候选资源中为所述任务标识对应的任务确定目标资源；

下载模块，用于基于所述任务数据包的下载地址信息，下载所述任务对应的任务数据包；

判断模块，用于判断所述目标资源的资源类型是否为容器资源类型；

第一发送模块，用于在所述判断模块判断出所述目标资源的资源类型为容器资源类型时，根据预设的容器镜像构建容器，并将所述任务数据包发送至所构建容器的队列中。

可选地，所述装置还包括：

第二发送模块，用于在所述判断模块判断出所述目标资源的资源类型不为容器资源类型时，将所述任务数据包拼装成目标请求，并将所述目标请求发送至所述目标资源的YARN资源队列中。

可选地，所述确定模块，包括：

第一确定子模块，用于确定第一资源的状态，所述第一资源的状态包括第一资源的剩余可用状态，所述第一资源为所述候选资源中的资源；

第一判断子模块，用于根据所述第一资源的状态，判断所述第一资源是否满足所述任务所需的资源；

第二确定子模块，用于在所述第一判断子模块判断出所述第一资源满足所述任务所需的资源时，将所述第一资源确定为目标资源。

可选地，在所述任务请求中包括任务指定资源类型的情况下，所述第一资源为所述任务指定资源类型所对应的资源。

可选地，在所述第一资源的资源类型优先级不是最低的情况下，所述装置还包括：

第二判断子模块，用于在所述第一判断子模块判断出所述第一资源不满足所述任务所需的资源时，判断所述任务是否可降级处理；

第三判断子模块，用于在所述第二判断子模块判断出所述任务可降级处理时，判断第二资源是否满足所述任务所需的资源，所述第一资源的资源类型优先级高于所述第二资源的资源类型优先级；

第三确定子模块，用于在所述第三判断子模块判断出所述第二资源满足所述任务所需的资源时，将所述第二资源确定为目标资源。

可选地，在所述任务请求中不包括任务指定资源类型的情况下，所述第一资源为所述候选资源中资源类型优先级最高对应的资源。

可选地，所述装置还包括：

第四判断子模块，用于在所述第一判断子模块判断出所述第一资源不满足所述任务所需的资源时，判断所述任务是否可降级处理；

第五判断子模块，用于在所述第四判断子模块判断出所述任务可降级处理时，判断第三资源是否满足所述任务所需的资源，所述第一资源的资源类型优先级高于所述第三资源的资源类型优先级；

第四确定子模块，用于在所述第五判断子模块判断出所述第三资源满足所述任务所需的资源时，将所述第三资源确定为目标资源；

第六判断子模块，用于在所述第五判断子模块判断出所述第三资源不满足所述任务所需的资源时，判断第四资源是否满足所述任务所需的资源，所述第三资源的资源类型优先级高于所述第四资源的资源类型优先级；

第五确定子模块，用于在所述第六判断子模块判断出所述第四资源满足所述任务所需的资源时，将所述第四资源确定为目标资源。

可选地，所述装置还包括：

第二接收模块，用于接收所述目标资源返回的任务执行结果信息。

可选地，所述候选资源包括不同资源类型优先级的、用于执行所述任务标识对应的任务的资源；资源类型优先级越高对应的资源用于处理对计算资源要求越高的任务；资源类型优先级越低对应的资源用于处理对计算效率要求越低的任务。

第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第一方面所述的一种任务调度方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的一种任务调度方法的步骤。

本发明实施例有益效果：

本发明实施例提供的一种任务调度方法、装置、电子设备及存储介质，可以根据接收到的任务请求中包括的任务所需的资源，在候选资源中为任务标识对应的任务确定目标资源，进而可以根据任务所需资源的实际情况，为任务选择匹配的目标资源，以提高任务被执行的成功率。且，在目标资源的资源类型为容器资源类型的情况下，根据预设的容器镜像构建容器，并将任务数据包发送至所构建容器的队列中，因容器资源可重复利用，进而能够提高资源的可复用性。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本发明实施例提供的一种大数据调度系统的结构示意图；

图2为本发明实施例提供的一种任务调度方法的流程示意图；

图3为本发明实施例提供的一种任务调度方法实施方式的示意图；

图4为本发明实施例提供的一种任务调度装置的结构示意图；

图5为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了解决现有基于YARN集群的任务调度，因YARN集群由虚拟机或物理机组成，任务下发节点后占用集群的资源，无法实现弹性增减任务占用的资源，进而无法做到集群资源的充分复用。且，因YARN集群是基于Java虚拟机开发的，集群自身的资源管控垃圾回收机制、内存设置等会影响任务的执行成功率的问题，本发明实施例提供了一种任务调度方法、装置、电子设备及存储介质。

本发明实施例提供的一种任务调度方法，可以包括：

接收用户提交的任务请求，所述任务请求中包括任务的标识，任务所需的资源，任务数据包的下载地址信息；

根据所述任务所需的资源，在候选资源中为所述任务标识对应的任务确定目标资源；

基于所述任务数据包的下载地址信息，下载所述任务对应的任务数据包；

判断所述目标资源的资源类型是否为容器资源类型；

如果所述目标资源的资源类型为容器资源类型，则根据预设的容器镜像构建容器，并将所述任务数据包发送至所构建容器的队列中。

本发明实施例提供的一种任务调度方法，可以根据接收到的任务请求中包括的任务所需的资源，在候选资源中为任务标识对应的任务确定目标资源，进而可以根据任务所需资源的实际情况，为任务选择匹配的目标资源，以提高任务被执行的成功率。且，在目标资源的资源类型为容器资源类型的情况下，根据预设的容器镜像构建容器，并将任务数据包发送至所构建容器的队列中，因容器资源可重复利用，进而能够提高资源的可复用性。

下面对本发明实施例提供的一种任务调度方法进行详细介绍：

本发明实施例提供的一种任务调度方法，可以应用于如图1所示的一种大数据调度系统中，该调度系统是基于YARN资源与容器资源进行融合得到的，可以为用户提供多种运行资源。该调度系统可以包括调度器，共享资源池以及独享资源池，共享资源池中可以包含容器集群和共享YARN集群，容器集群可以由多个容器组组成，每一容器组中可以包括至少一个容器，共享YARN集群可以由多个虚拟机或物理机组成(图1中以虚拟机为例进行示出)，独享资源池中可以包括独享YARN集群，独享YARN集群可以由多个虚拟机或物理机组成。

本发明实施例中，可以在共享YARN集群中为用户建立相应的资源队列，即共享YARN资源队列，为用户提供运行资源，该共享YARN资源队列可以建立在共享YARN集群中的虚拟机或物理机上，为多用户提供服务。具体的，可以在共享YARN集群中为每一用户建立该用户相应的资源队列，且每一用户对应的资源队列在共享YARN集群中所占的比例一致，实现不同用户之间的隔离。

容器集群可以使用K8s(Kubernetes)集群，在容器集群中也可以为每个用户创建namespace，实现不同用户之间的隔离。独享YARN集群可以为特定白名单内的用户提供运行资源，在独享YARN集群中也可以为白名单内的用户建立相应的资源队列，即独享YARN资源队列，该独享YARN资源队列可以建立在独享YARN集群中的虚拟机或物理机上。

本发明实施例提供的一种任务调度方法，执行主体可以是图1所示的一种大数据调度系统中的调度器，该调度器可以是该调度系统中任一节点。示例性的，调度器可以是共享资源池中任一容器或虚拟机，也可以是独享资源池中任一虚拟机等。

如图2所示，本发明实施例提供了一种任务调度方法，该方法可以包括以下步骤：

S101，接收用户提交的任务请求。

本发明实施例中，在进行任务调度时，调度器接收用户提交的任务请求，该任务请求中可以包括任务的标识，任务所需的资源，任务数据包的下载地址信息等。其中，任务的标识可以是任务的名称等，任务所需的资源可以是任务所需的CPU数量以及任务所需的内存数量等资源。

该任务的类型可以是Hadoop(Hadoop Distributed File System，海杜普)任务、或hive(大数据离线数据仓库组件)任务、或flink(大数据实时流计算组件)任务、或spark(大数据实时批计算组件)任务等。

可选的，用户提交的任务请求所对应的任务的内容可以是对数据流进行处理，或对数据的写入等任务。

示例性的，用户提交的任务请求的构造格式可以如下所示：

其中，task_name定义了用户提交任务请求中任务的名称，该任务名称为test-spark-test，resource_type定义了用户提交任务请求中任务指定的资源类型，access_token定义了对用户提交任务请求的鉴权，force_run定义了用户提交任务请求中指示任务是否可降级处理，task_jar定义了用户提交任务请求中指示任务数据包的下载地址信息等。并行任务最大数量可以用于确定任务在运行中可以划分子任务的数量。

当然，本发明实施例只是以上述格式对用户提交的任务请求进行介绍，其并不构成对本发明实施例的具体限定，本发明实施例中用户提交的任务请求中包含的参数可以是上述部分或全部或更多。

参见图2，S102，根据任务所需的资源，在候选资源中为任务标识对应的任务确定目标资源。

调度器接收用户提交的任务请求，进一步根据任务请求中包含的任务所需的资源，在候选资源中为任务标识对应的任务确定目标资源，该目标资源用于执行用户提交的任务请求所对应的任务。其中，候选资源可以包括不同资源类型优先级的、用于执行任务标识对应的任务的资源。优选地，资源类型优先级越高对应的资源用于处理对计算资源要求越高的任务，资源类型优先级越低对应的资源用于处理对计算效率要求越低的任务。

参见图1，在大数据调度系统中，本发明实施例的候选资源可以包括容器资源、共享YARN资源、独享YARN资源，即对应的容器集群、共享YARN集群、以及独享YARN集群资源。

可选的，候选资源中各资源类型优先级排序可以是：独享YARN资源类型优先级高于共享YARN资源类型优先级，共享YARN资源类型优先级高于容器资源类型优先级。在用户提交的任务请求对应的任务对计算资源要求较高时，可以使用独享YARN资源或共享YARN资源处理该任务，在用户提交的任务请求对应的任务对计算效率要求不高或较低，或任务的数量较少时，可以使用容器资源处理该任务，以实现合理分配资源，同时提高任务被执行的成功率。

S103，基于任务数据包的下载地址信息，下载任务对应的任务数据包。

在为任务请求中任务标识对应的任务确定运行的目标资源后，可以根据用户提交的任务请求中的任务数据包的下载地址信息，下载任务对应的任务数据包，以便于执行该任务。

S104，判断目标资源的资源类型是否为容器资源类型。

S105，如果目标资源的资源类型为容器资源类型，则根据预设的容器镜像构建容器，并将任务数据包发送至所构建容器的队列中。

调度器在为任务请求中任务标识对应的任务确定目标资源，以及下载任务对应的任务数据包后，可以进一步判断所确定的目标资源的资源类型是否为容器资源类型，并在确定目标资源的资源类型为容器资源类型的情况下，根据预先设置的容器镜像构建执行任务的容器，进而将任务数据包发送至所构建容器的资源队列中，以便于所构建的容器运行该任务。

作为本发明实施例一种可选的实施方式，调度器在为任务请求中任务标识对应的任务确定目标资源，以及下载任务对应的任务数据包后，可以进一步判断所确定的目标资源的资源类型是否为容器资源类型，并在确定目标资源的资源类型不为容器资源类型的情况下，可以将任务数据包拼装成目标请求，并将目标请求发送至目标资源的YARN队列中。

在确定目标资源的资源类型不为容器资源类型的情况下，表明目标资源的资源类型为独享YARN资源类型或共享YARN资源类型，此时可以按照YARN资源平台下的拼装规范，将任务数据包拼装成目标请求，进一步将该目标请求发送至独享YARN资源的YARN队列或共享YARN资源的YARN队列中。

示例性的，目标请求可以是YARN REST API(Representational State TransferApplication Programming Interface，YARN表述性状态传递应用程序编程接口)形式的请求，因YARN资源开放了REST API，故而，可以将该目标请求发送至独享YARN资源的YARN队列或共享YARN资源的YARN队列中，以利用独享YARN资源或共享YARN资源执行任务。

作为本发明实施例一种可选的实施方式，调度器将任务数据包发送给所确定的目标资源对应的资源队列之后，还可以接收目标资源返回的任务执行结果信息。

本发明实施例提供的一种任务调度方法，可以根据接收到的任务请求中包括的任务所需的资源，在候选资源中为任务标识对应的任务确定目标资源，而候选资源中包括不同资源类型优先级的、用于执行任务标识对应的任务的资源，资源类型优先级越高对应的资源用于处理对计算资源要求越高的任务，资源类型优先级越低对应的资源用于处理对计算效率要求越低的任务，进而可以根据任务所需资源的实际情况，为任务选择匹配的目标资源，以提高任务被执行的成功率。且，在目标资源的资源类型为容器资源类型的情况下，根据预设的容器镜像构建容器，并将任务数据包发送至所构建容器的队列中，因容器资源可重复利用，进而能够提高资源的可复用性。

作为本发明实施例一种可选的实施方式，本发明实施例中根据任务所需的资源，在候选资源中为任务标识对应的任务确定目标资源的实现方式，可以包括：

确定第一资源的状态。其中，第一资源的状态可以包括第一资源的剩余可用状态，第一资源为候选资源中的资源。

本发明实施例中，调度器可以在接收用户提交的任务请求后，对大数据调度系统中任一资源的状态进行确定，得到第一资源的状态，第一资源的状态可以包括第一资源的剩余可用状态，也可以包括第一资源当前的利用状态等。该第一资源可以是独享YARN资源、共享YARN资源或容器资源。

示例性的，确定第一资源的剩余可用状态可以是，确定第一资源中可用的CPU、内存数量等资源的状态。

根据第一资源的状态，判断第一资源是否满足任务所需的资源。

在确定第一资源的状态后，可以进一步判断第一资源是否满足任务所需的资源。具体的，候选资源中包括不同资源类型优先级的，待用于执行任务标识对应的任务的资源，相应的，可以根据资源类型优先级的高低，先判断资源类型优先级高的资源是否满足任务所需的资源，以便于优先使用资源类型优先级高的资源执行任务，提高任务被执行的效率。

判断第一资源是否满足任务所需的资源，可以是判断第一资源中剩余可用的CPU以及内存数量是否满足任务所需的CPU及内存数量等。

如果第一资源满足任务所需的资源，则将第一资源确定为目标资源。

在判断出第一资源满足任务所需的资源情况下，可以将该第一资源确定为目标资源。

可选的，可以根据资源类型优先级的高低，先判断资源类型优先级高的资源是否满足任务所需的资源，并在满足时，将该资源类型优先级高的资源确定为目标资源，不再继续判断其他资源类型优先级的资源是否满足任务所需的资源。在资源类型优先级高的资源不满足任务所需的资源时，可以进一步判断资源类型优先级次高的资源是否满足任务所需的资源，并在满足时，将该资源确定为目标资源，且不再继续判断其他资源类型优先级的资源是否满足任务所需的资源。在资源类型优先级次高的资源不满足任务所需的资源时，可以再进一步判断资源类型优先级低的资源是否满足任务所需的资源，并在满足时，将该资源确定为目标资源。

在判断出候选资源中任一资源均不满足任务所需的资源情况下，可以向用户返回任务提交失败的信息。

本发明实施例中，可以先确定候选资源中各资源的状态，进而判断各资源的状态是否满足任务所需的资源，以便于优先使用资源类型优先级高的资源执行任务，提高任务被执行的效率。

作为本发明实施例一种可选的实施方式，在用户提交的任务请求中包括任务指定资源类型的情况下，上述确定第一资源的状态中第一资源可以为任务指定资源类型所对应的资源，相应的，上述根据任务所需的资源，在候选资源中为任务标识对应的任务确定目标资源的实现方式，可以包括：

确定任务指定资源类型所对应的资源的状态，进而判断任务指定资源类型所对应的资源是否满足任务所需的资源，并在满足的情况下，将任务指定资源类型所对应的资源确定为目标资源。

作为本发明实施例一种可选的实施方式，在用户提交的任务请求中包括任务指定资源类型，第一资源为任务指定资源类型所对应的资源，且第一资源的资源类型优先级不是最低的情况下，上述根据任务所需的资源，在候选资源中为任务标识对应的任务确定目标资源的实现过程中，在判断第一资源是否满足任务所需的资源之后，还可以包括：

如果第一资源不满足任务所需的资源，则判断任务是否可降级处理。

本发明实施例中，用户提交的任务请求中可以包含任务是否可降级处理的标识，在判断出任务指定资源类型所对应的第一资源不满足任务所需的资源情况下，可以进一步根据任务请求中包含的任务是否可降级处理的标识，判断任务是否可降级处理。

在判断出任务指定资源类型所对应的第一资源不满足任务所需的资源，且任务不可降级处理的情况下，可以向用户返回任务提交失败的信息。

如果任务可降级处理，则判断第二资源是否满足任务所需的资源。其中，第一资源的资源类型优先级高于第二资源的资源类型优先级。

如果第二资源满足任务所需的资源，则将第二资源确定为目标资源。

在判断出任务可降级处理的情况下，进一步可以判断资源类型优先级低于第一资源的资源类型优先级的第二资源是否满足任务所需的资源。并在判断出资源类型优先级低于第一资源的资源类型优先级的第二资源满足任务所需的资源的情况下，将第二资源确定为目标资源。

示例性的，任务指定资源类型所对应的第一资源为共享YARN资源，在共享YARN资源不满足任务所需的资源，且任务可降级处理的情况下，进一步可以判断资源类型优先级低于共享YARN资源的资源类型优先级的容器资源是否满足任务所需的资源，并在满足的情况下，将容器资源确定为目标资源。

示例性的，任务指定资源类型所对应的第一资源为独享YARN资源，在独享YARN资源不满足任务所需的资源，且任务可降级处理的情况下，进一步可以判断资源类型优先级低于独享YARN资源的资源类型优先级的共享YARN资源是否满足任务所需的资源，并在满足的情况下，将共享YARN资源确定为目标资源，而在共享YARN资源不满足任务所需资源的情况下，可以继续判断资源类型优先级低于共享YARN资源的资源类型优先级的容器资源是否满足任务所需的资源，并在满足的情况下，将容器资源确定为目标资源。

在判断出任务指定资源类型所对应的第一资源不满足任务所需的资源，任务可降级处理，且第二资源不满足任务所需的资源的情况下，可以向用户返回任务提交失败的信息。

本发明实施例中，任务请求中可以包含任务是否可降级处理的标识，进而在任务指定资源类型所对应的资源不满足任务所需的资源情况下，对任务进行降级处理，进而使用资源类型优先级低于任务指定资源类型优先级的资源对任务进行处理，以提高任务被执行的成功率。

作为本发明实施例一种可选的实施方式，在用户提交的任务请求中不包括任务指定资源类型的情况下，即任务不指定资源类型，上述确定第一资源的状态中第一资源可以为候选资源中资源类型优先级最高对应的资源，相应的，上述根据任务所需的资源，在候选资源中为任务标识对应的任务确定目标资源的实现过程中，在判断第一资源是否满足任务所需的资源之后，还可以包括：

如果第一资源不满足任务所需的资源，则判断任务是否可降级处理。

本发明实施例中，用户提交的任务请求中可以包含任务是否可降级处理的标识，在判断出资源类型优先级最高对应的第一资源不满足任务所需的资源，或提交任务请求的用户不在资源类型优先级最高对应的第一资源的白名单内的情况下，可以进一步根据任务请求中包含的任务是否可降级处理的标识，判断任务是否可降级处理。

在判断出资源类型优先级最高对应的第一资源不满足任务所需的资源，且任务不可降级处理的情况下，可以向用户返回任务提交失败的信息。

如果任务可降级处理，则判断第三资源是否满足任务所需的资源，其中，第一资源的资源类型优先级高于第三资源的资源类型优先级。

如果第三资源满足任务所需的资源，则将第三资源确定为目标资源。

在判断出任务可降级处理的情况下，进一步可以判断资源类型优先级低于第一资源的资源类型优先级的第三资源是否满足任务所需的资源。并在判断出资源类型优先级低于第一资源的资源类型优先级的第三资源满足任务所需的资源的情况下，将第三资源确定为目标资源。

示例性的，资源类型优先级最高对应的第一资源为独享YARN资源，在独享YARN资源不满足任务所需的资源，或提交任务请求的用户不在独享YARN资源的白名单内，且任务可降级处理的情况下，进一步可以判断资源类型优先级低于独享YARN资源的资源类型优先级的共享YARN资源(第三资源)是否满足任务所需的资源，并在满足的情况下，将共享YARN资源确定为目标资源。

如果第三资源不满足任务所需的资源，则判断第四资源是否满足任务所需的资源，其中，第三资源的资源类型优先级高于第四资源的资源类型优先级。

如果第四资源满足任务所需的资源，则将第四资源确定为目标资源。

在判断出资源类型优先级低于第一资源的资源类型优先级的第三资源不满足任务所需的资源，任务可降级处理(上述已判断，此处无需再次判断)，进一步可以判断资源类型优先级低于第三资源的资源类型优先级的第四资源是否满足任务所需的资源。并在判断出资源类型优先级低于第三资源的资源类型优先级的第四资源满足任务所需的资源的情况下，将第四资源确定为目标资源。

示例性的，第三资源共享YARN资源不满足任务所需的资源，且任务可降级处理的情况下，进一步可以判断资源类型优先级低于共享YARN资源的资源类型优先级的容器资源(第四资源)是否满足任务所需的资源，并在满足的情况下，将容器资源源确定为目标资源。

在判断出资源类型优先级最高对应的第一资源不满足任务所需的资源，任务可降级处理，且第三资源和第四资源均不满足任务所需的资源的情况下，可以向用户返回任务提交失败的信息。

本发明实施例中，任务请求中可以包含任务是否可降级处理的标识，进而在资源类型优先级最高对应的资源不满足任务所需的资源情况下，对任务进行降级处理，进而使用资源类型优先级低于资源类型优先级最高对应的资源对任务进行处理，实现对任务的降级分级处理，以提高任务被执行的成功率。

作为本发明实施例一种可选的实施方式，如图3所示，图3为本发明实施例提供的一种任务调度方法实施方式示意图，该方法可以包括：

步骤1，接收用户提交的任务请求，任务请求中包括任务的标识，任务所需的资源，任务数据包的下载地址信息；

步骤2，确定第一资源的状态，第一资源的状态包括第一资源的剩余可用状态；

步骤3，根据第一资源的状态，判断第一资源是否满足任务所需的资源；

步骤4，如果第一资源满足任务所需的资源，则将第一资源确定为目标资源；

步骤5，如果第一资源不满足任务所需的资源，任务请求中包含任务指定资源类型，第一资源为任务指定资源类型对应的资源，在第一资源的资源类型优先级不是最低的情况下，则判断任务是否可降级处理；

步骤6，如果任务可降级处理，则判断第二资源是否满足任务所需的资源，第一资源的资源类型优先级高于第二资源的资源类型优先级；

步骤7，如果任务不可降级处理，则返回任务提交失败的信息；

步骤8，如果第二资源满足任务所需的资源，则将第二资源确定为目标资源。

步骤9，如果第二资源不满足任务所需的资源，则返回任务提交失败的信息；

步骤10，如果第一资源不满足任务所需的资源，任务请求中不包含任务指定资源类型，第一资源为候选资源中资源类型优先级最高对应的资源，则判断任务是否可降级处理；

步骤11，如果任务可降级处理，则判断第三资源是否满足任务所需的资源，第一资源的资源类型优先级高于第三资源的资源类型优先级；

步骤12，如果任务不可降级处理，则返回任务提交失败的信息；

步骤13，如果第三资源满足任务所需的资源，则将第三资源确定为目标资源；

步骤14，如果第三资源不满足任务所需的资源，则判断第四资源是否满足任务所需的资源，第三资源的资源类型优先级高于第四资源的资源类型优先级；

步骤15，如果第四资源满足任务所需的资源，则将第四资源确定为目标资源。

步骤16，如果第四资源不满足任务所需的资源，则返回任务提交失败的信息；

步骤17，基于任务数据包的下载地址信息，下载任务对应的任务数据包；

步骤18，判断目标资源的资源类型是否为容器资源类型；

步骤19，如果目标资源的资源类型为容器资源类型，则根据预设的容器镜像构建容器，并将任务数据包发送至所构建容器的队列中；

步骤20，如果目标资源的资源类型不为容器资源类型，则将任务数据包拼装成目标请求，并将目标请求发送至目标资源的YARN资源队列中；

步骤21，接收目标资源返回的任务执行结果信息。

相应于上述方法实施例，本发明实施例还提供了相应的装置实施例。

如图4所示，本发明实施例提供了一种任务调度装置，该装置可以包括：

第一接收模块201，用于接收用户提交的任务请求，任务请求中包括任务的标识，任务所需的资源，任务数据包的下载地址信息。

确定模块202，用于根据任务所需的资源，在候选资源中为任务标识对应的任务确定目标资源。

下载模块203，用于基于任务数据包的下载地址信息，下载任务对应的任务数据包。

判断模块204，用于判断目标资源的资源类型是否为容器资源类型。

第一发送模块205，用于在判断模块204判断出目标资源的资源类型为容器资源类型时，根据预设的容器镜像构建容器，并将任务数据包发送至所构建容器的队列中。

本发明实施例提供的一种任务调度装置，可以根据接收到的任务请求中包括的任务所需的资源，在候选资源中为任务标识对应的任务确定目标资源，进而可以根据任务所需资源的实际情况，为任务选择匹配的目标资源，以提高任务被执行的成功率。且，在目标资源的资源类型为容器资源类型的情况下，根据预设的容器镜像构建容器，并将任务数据包发送至所构建容器的队列中，因容器资源可重复利用，进而能够提高资源的可复用性。

可选地，上述装置还可以包括：

第二发送模块，用于在判断模块204判断出目标资源的资源类型不为容器资源类型时，将任务数据包拼装成目标请求，并将目标请求发送至目标资源的YARN资源队列中。

可选地，上述确定模块202，包括：

第一确定子模块，用于确定第一资源的状态，第一资源的状态包括第一资源的剩余可用状态，第一资源为候选资源中的资源。

第一判断子模块，用于根据第一资源的状态，判断第一资源是否满足任务所需的资源。

第二确定子模块，用于在第一判断子模块判断出第一资源满足任务所需的资源时，将第一资源确定为目标资源。

可选地，在任务请求中包括任务指定资源类型的情况下，第一资源为任务指定资源类型所对应的资源。

可选地，在第一资源的资源类型优先级不是最低的情况下，上述装置还可以包括：

第二判断子模块，用于在第一判断子模块判断出第一资源不满足任务所需的资源时，判断任务是否可降级处理。

第三判断子模块，用于在第二判断子模块判断出任务可降级处理时，判断第二资源是否满足任务所需的资源，第一资源的资源类型优先级高于第二资源的资源类型优先级。

第三确定子模块，用于在第三判断子模块判断出第二资源满足任务所需的资源时，将第二资源确定为目标资源。

可选地，在任务请求中不包括任务指定资源类型的情况下，第一资源为候选资源中资源类型优先级最高对应的资源。

可选地，上述装置还包括：

第四判断子模块，用于在第一判断子模块判断出第一资源不满足任务所需的资源时，判断任务是否可降级处理。

第五判断子模块，用于在第四判断子模块判断出任务可降级处理时，判断第三资源是否满足任务所需的资源，第一资源的资源类型优先级高于第三资源的资源类型优先级。

第四确定子模块，用于在第五判断子模块判断出第三资源满足任务所需的资源时，将第三资源确定为目标资源。

第六判断子模块，用于在第五判断子模块判断出第三资源不满足任务所需的资源时，判断第四资源是否满足任务所需的资源，第三资源的资源类型优先级高于第四资源的资源类型优先级。

第五确定子模块，用于在第六判断子模块判断出第四资源满足任务所需的资源时，将第四资源确定为目标资源。

可选地，上述装置还包括：

第二接收模块，用于接收目标资源返回的任务执行结果信息。

可选地，候选资源包括不同资源类型优先级的、用于执行任务标识对应的任务的资源；资源类型优先级越高对应的资源用于处理对计算资源要求越高的任务；资源类型优先级越低对应的资源用于处理对计算效率要求越低的任务。

本发明实施例还提供了一种电子设备，如图5所示，包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，

存储器303，用于存放计算机程序；

处理器301，用于执行存储器303上所存放的程序时，实现上述一种任务调度方法的步骤，以达到相同的技术效果。

上述电子设备提到的通信总线可以是PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一一种任务调度方法的步骤，以达到相同的技术效果。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一一种任务调度方法的步骤，以达到相同的技术效果。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、DSL(Digital Subscriber Line，数字用户线))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD(Digital Versatile Disc，数字多功能光盘))、或者半导体介质(例如SSD(Solid StateDisk，固态硬盘))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置/设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种任务调度方法，其特征在于，所述方法包括：

接收用户提交的任务请求，所述任务请求中包括任务的标识，任务所需的资源，任务数据包的下载地址信息；

根据所述任务所需的资源，在候选资源中为所述任务标识对应的任务确定目标资源；

基于所述任务数据包的下载地址信息，下载所述任务对应的任务数据包；

判断所述目标资源的资源类型是否为容器资源类型；

如果所述目标资源的资源类型为容器资源类型，则根据预设的容器镜像构建容器，并将所述任务数据包发送至所构建容器的队列中。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述目标资源的资源类型不为容器资源类型，则将所述任务数据包拼装成目标请求，并将所述目标请求发送至所述目标资源的YARN资源队列中。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述任务所需的资源，在候选资源中为所述任务标识对应的任务确定目标资源的步骤，包括：

确定第一资源的状态，所述第一资源的状态包括第一资源的剩余可用状态，所述第一资源为所述候选资源中的资源；

根据所述第一资源的状态，判断所述第一资源是否满足所述任务所需的资源；

如果所述第一资源满足所述任务所需的资源，则将所述第一资源确定为目标资源。

4.根据权利要求3所述的方法，其特征在于，在所述任务请求中包括任务指定资源类型的情况下，所述第一资源为所述任务指定资源类型所对应的资源。

5.根据权利要求4所述的方法，其特征在于，在所述第一资源的资源类型优先级不是最低的情况下，在判断所述第一资源是否满足所述任务所需的资源之后，所述方法还包括：

如果所述第一资源不满足所述任务所需的资源，则判断所述任务是否可降级处理；

如果所述任务可降级处理，则判断第二资源是否满足所述任务所需的资源，所述第一资源的资源类型优先级高于所述第二资源的资源类型优先级；

如果所述第二资源满足所述任务所需的资源，则将所述第二资源确定为目标资源。

6.根据权利要求3所述的方法，其特征在于，在所述任务请求中不包括任务指定资源类型的情况下，所述第一资源为所述候选资源中资源类型优先级最高对应的资源。

7.根据权利要求6所述的方法，其特征在于，在判断所述第一资源是否满足所述任务所需的资源之后，所述方法还包括：

如果所述第一资源不满足所述任务所需的资源，则判断所述任务是否可降级处理；

如果所述任务可降级处理，则判断第三资源是否满足所述任务所需的资源，所述第一资源的资源类型优先级高于所述第三资源的资源类型优先级；

如果所述第三资源满足所述任务所需的资源，则将所述第三资源确定为目标资源；

如果所述第三资源不满足所述任务所需的资源，则判断第四资源是否满足所述任务所需的资源，所述第三资源的资源类型优先级高于所述第四资源的资源类型优先级；

如果所述第四资源满足所述任务所需的资源，则将所述第四资源确定为目标资源。

8.根据权利要求1-2或4-7任一所述的方法，其特征在于，所述方法还包括：

接收所述目标资源返回的任务执行结果信息。

9.根据权利要求1-2或4-8任一所述的方法，其特征在于，所述候选资源包括不同资源类型优先级的、用于执行所述任务标识对应的任务的资源；资源类型优先级越高对应的资源用于处理对计算资源要求越高的任务；资源类型优先级越低对应的资源用于处理对计算效率要求越低的任务。

10.一种任务调度装置，其特征在于，所述装置包括：

第一接收模块，用于接收用户提交的任务请求，所述任务请求中包括任务的标识，任务所需的资源，任务数据包的下载地址信息；

确定模块，用于根据所述任务所需的资源，在候选资源中为所述任务标识对应的任务确定目标资源；

下载模块，用于基于所述任务数据包的下载地址信息，下载所述任务对应的任务数据包；

判断模块，用于判断所述目标资源的资源类型是否为容器资源类型；

第一发送模块，用于在所述判断模块判断出所述目标资源的资源类型为容器资源类型时，根据预设的容器镜像构建容器，并将所述任务数据包发送至所构建容器的队列中。

11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-9任一所述的方法步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-9任一所述的方法步骤。

Images