CN106557471A - 任务调度方法及装置 - Google Patents

Abstract

一种任务调度方法及装置，所述任务调度方法包括：获取当前任务的任务信息，所述任务信息包括任务类型；获取与所述任务类型匹配的客户端的资源信息；根据所述资源信息选取目标客户端，分配所述当前任务至所述目标客户端。所述任务调度方法及装置可以提升调度效率。

Description

任务调度方法及装置

技术领域

本发明涉及互联网领域，尤其涉及一种任务调度方法及装置。

背景技术

随着互联网和信息技术的进步，基于大数据计算处理的任务种类越来越多，需要计算机处理的任务量也越来越大。在多种应用场景中，单台计算机的任务处理能力已不能满足用户需求。例如，大数据成为各行各业发展的热点。目前众多传统行业都在纷纷部署自己的大数据平台，用大数据分析和云计算技术来快速挖掘客户需求和市场需求，而大数据相关的任务量较大，任务种类较多，单台计算机远远不能满足大数据任务处理的需求。

一种可能的解决方式是利用计算机集群进行任务处理。但是，目前针对计算机集群的任务调度方法的调度效率有待提高。

发明内容

本发明解决的技术问题是如何提升任务调度方法的调度效率。

为解决上述技术问题，本发明实施例提供一种任务调度方法，包括：

获取当前任务的任务信息，所述任务信息包括任务类型；

获取与所述任务类型匹配的客户端的资源信息；

根据所述资源信息选取目标客户端，分配所述当前任务至所述目标客户端。

可选的，所述任务信息还包括任务顺序信息，在所述获取与所述任务类型匹配的客户端的资源信息前还包括：确认所述任务顺序在所述当前任务之前的任务均执行完毕。

可选的，所述任务调度方法还包括：从所述客户端接收包含任务执行状态的反馈信息；所述任务执行状态包括以下任一种：执行中、执行完毕、执行失败。

可选的，在获取当前任务的任务信息前还包括：根据各任务的优先级顺序确定所述当前任务。

可选的，所述任务信息还包括：任务执行周期；所述分配所述当前任务至所述目标客户端包括：指示所述目标客户端依照所述任务执行周期循环执行所述当前任务。

可选的，所述任务类型包括以下任一种：数据交换任务、关系型数据库任务、分布式数据库任务、计算任务、脚本任务、推送任务。

可选的，所述资源信息包括以下至少一种：CPU信息、内存信息、磁盘信息、网络质量信息。

可选的，在所述资源信息大于一种时，所述根据所述资源信息选取目标客户端包括：根据所述任务类型设定不同种类资源信息的权重。

本发明实施例还提供一种任务调度装置，包括：任务信息获取单元、资源信息获取单元、任务分配单元；其中：

所述任务信息获取单元，适于获取当前任务的任务信息，所述任务信息包括任务类型；

所述资源信息获取单元，适于获取与所述任务类型匹配的客户端的资源信息；

所述任务分配单元，适于根据所述资源信息选取目标客户端，分配所述当前任务至所述目标客户端。

可选的，所述任务信息获取单元适于获取任务顺序信息，所述任务调度装置还包括：任务顺序判断单元，适于确定所述任务顺序在所述当前任务之前的任务均执行完毕。

可选的，所述任务调度装置还包括：反馈信息接收单元，适于从所述客户端接收包含任务执行状态的反馈信息；所述任务执行状态包括以下任一种：执行中、执行完毕、执行失败。

可选的，所述任务调度装置还包括：当前任务确定单元，适于根据各任务的优先级顺序确定所述当前任务。

可选的，所述任务信息还包括任务执行周期；所述任务分配单元还适于指示所述目标客户端依照所述任务执行周期循环执行所述当前任务。

可选的，所述任务调度装置还包括：权重设定单元，适于在所述资源信息大于一种时，根据所述任务类型设定不同种类资源信息的权重。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

通过获取当前任务的任务类型，有针对性的获取与所述任务类型匹配的客户端的资源信息，选择相对所述任务类型而言占用资源最少的客户端运行所述任务，从而可以减少任务调度方法所需的时间，提高调度效率。根据资源信息选取目标客户端，分配所述当前任务至所述目标客户端，使得选取的目标客户端更适于执行所述当前任务，提升整个调度系统的总工作效率。由于仅获取了与所述任务类型匹配的客户端的资源信息，在选取目标客户端的过程中需考虑的客户端数目更少，从而可以使得选取目标客户端的过程用时更少，使得任务调度方法的效率更高。

进一步，由于任务信息还包括任务顺序信息，仅在排列在当前任务之前的任务均执行完毕的情况下，才获取对应的客户端的资源信息，并为该当前任务选取目标客户端，故分配至目标客户端的任务均是前置任务已完成的任务，可以直接由目标客户端执行，而不需等待该任务的前置任务完成，从而可以提升任务调度系统的工作效率。

进一步，由于在所述资源信息大于一种时，据所述任务类型设定不同种类资源信息的权重，充分考虑了不同任务类型对不同资源种类的需求，从而可以选取更加合适的客户端执行当前任务，提升任务执行的效率，进而提升任务调度方法的效率。

附图说明

图1是本发明实施例中一种任务调度系统的结构示意图；

图2是本发明实施例中一种任务调度方法的流程图；

图3是本发明实施例中另一种任务调度方法的流程图；

图4是本发明实施例中一种任务调度装置的结构示意图。

具体实施方式

如前所述，随着互联网和信息技术的进步，基于大数据计算处理的任务种类越来越多，需要计算机处理的任务量也越来越大。在多种应用场景中，单台计算机的任务处理能力已不能满足用户需求。而在利用计算机集群进行任务处理时，需要高效的任务调度，但是，目前针对计算机集群的任务调度的调度效率有待提高。

本发明实施例通过获取当前任务的任务类型，有针对性的获取与所述任务类型匹配的客户端的资源信息，选择相对所述任务类型而言占用资源最少的客户端运行所述任务，从而可以减少任务调度方法所需的时间，提高调度效率。根据资源信息选取目标客户端，分配所述当前任务至所述目标客户端，使得选取的目标客户端更适于执行所述当前任务，提升整个调度系统的总工作效率。由于仅获取了与所述任务类型匹配的客户端的资源信息，在选取目标客户端的过程中需考虑的客户端数目更少，从而可以使得选取目标客户端的过程用时更少，使得调度方法的效率更高。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例中一种任务调度系统的结构示意图。

任务调度系统可以包括服务器11和客户端12，其中客户端12可以包括多个客户端，例如，客户端1、客户端2、……客户端N。

服务器11可以是单台计算机。服务器11中可以包含存储任务数据的数据库以及存储任务执行状态与任务信息的网络数据库，其中，任务数据可以是包含任务执行的时间和内容的数据，存储任务数据的数据库可以是基于Neo4j网络数据库。利用基于Neo4j网络数据库存储任务数据，可以提升任务数据存取的效率。

服务器11在进行任务调度时，可以是单线程进行，也可以是多线程进行，每个线程每次完成对一个当前任务的调度。

服务器11和客户端12完成任务调度的软件部分可以：基于Hadoop分布式设计，符合Zookeeper集群化管理，基于Java开发，完全基于Spring容器进行分布式应用管理，支持RPC协议的远程调用，支持为第三方JMS消息服务。

客户端12可以是单台计算机，也可以是多台计算机，适于执行服务器11分发的某种任务，并可以返回任务执行状态的反馈信息。

本发明实施例中的任务调度系统可以完成各种类型的任务调度，例如：DX数据交换任务、Hive数据仓库分析任务、Shell脚本任务、FTP文件传输任务、DB处理任务等。通过区分不同的任务类型，区分可以执行不同类型任务的客户端，在可以执行当前任务的客户端中选取目标客户端，可以提升调度效率，进而提升整个调度系统的工作效率。

图2是本发明实施例中一种任务调度方法的流程图，以下结合图1进行说明。

S21，获取当前任务的任务信息，所述任务信息包括任务类型。

获取当前任务信息由服务器11完成，可以从包含任务信息的数据库中获取。当前任务即为当前需进行调度的任务，任务的具体内容可以从对应的数据库中获得。

任务类型可以是用户根据需要自定义的任务类型，也可以是依据现有技术中常用分类进行划分的任务类型。

在具体实施中，当前任务的确定可以根据各个任务的优先级顺序确定，各个任务的优先级可以存储于服务器11的数据库中。选取待分配任务中优先级高的任务作为当前任务，可以使得调度结果更加符合实际需要，提升调度效率。

在具体实施中，任务类型是以下任一种或多种：数据交换任务、关系型网络数据库任务、分布式数据库任务、计算任务、脚本任务、推送任务。其中分布式数据库任务可以是Hive任务，计算任务可以是大规模数据集的并行计算任务，例如Mapreduce任务，脚本任务可以是Script脚本任务。

S22，获取与所述任务类型匹配的客户端的资源信息。

从图1中可以看出，一个服务器可以对应于多个客户端。不同的客户端可以适于处理不同类型的任务，此时，仅获取与当前任务的任务类型相匹配的客户端的资源信息。例如，共有100台客户端，其中10台客户端适于执行第一类任务，在当前任务类型为第一类任务时，则仅获取该10台客户端的资源信息。

获取客户端12的信息可以是从服务器11的数据库中获取，也可以是直接从客户端12获取。服务器11的数据库可以是定时更新的数据库，定时更新客户端12的资源情况。

在具体实施中，客户端的资源信息可以是CPU信息、内存信息、磁盘信息、网络质量信息中的任意一种或者多种。

S23，根据所述资源信息选取目标客户端，分配所述当前任务至所述目标客户端。

获取与当前任务的任务类型对应客户端的资源信息后，可以根据资源信息选取客户端作为目标客户端，选取的标准可以是以实现负载均衡为目标确定的标准。例如，可以在与当前任务的任务类型对应客户端中选取资源占用最少的客户端作为目标客户端。

在具体实施中，当资源信息的种类大于一种时，可以根据任务类型的不同对不同种类资源信息设定不同的权重，根据各个资源信息的综合计算结果选取目标客户端。

权重的设定标准可以根据不同任务类型对不同资源的需求程度设定，例如，DX数据交换类型的任务需要更多的CPU资源，在当前任务类型为数据交换时，加大CPU资源信息的权重；Hive数据库任务和Mapreduce任务对内存的依赖更多，在当前任务类型为Hive数据库任务或Mapreduce任务时，则可以加大内存信息的权重；关系型网络数据库任务、脚本任务和推送任务需要更加优质快速的网络，在当前任务类型为该三种任务中任一种时，可以加大网络质量信息的权重。

由于在资源信息的种类大于一种时，据所述任务类型设定不同种类资源信息的权重，充分考虑了任务类型对不同资源种类的需求，从而可以选取更加合适的客户端执行当前任务，提升任务执行的效率，进而提升任务调度方法的效率。

在具体实施中，任务信息还可以包括执行任务的周期，服务器11在分配任务时，还可以指示目标客户端依照执行周期循环执行所述当前任务。例如，每分钟执行、每小时执行、每天执行、每周执行或每月执行。

在本发明实施例中，在执行步骤S22之前还可以执行步骤S31(参见图3)，确认任务顺序在所述当前任务之前的任务均执行完毕。任务顺序可以从任务信息中获得。任务顺序在所述当前任务之前的任务的执行状态可以从服务器11的数据库中获得。

由于各个任务之间可能会存在依赖关系，某些任务只有在其前置任务执行完毕时才能执行，也就是需要等待任务顺序在其之前的任务执行完毕后才能执行。若不对任务顺序进行判断，直接进行任务调度，可能会造成调度系统资源极大的浪费。

在排列在当前任务之前的任务均执行完毕的情况下，才为该当前任务选取目标客户端，故分配至目标客户端的任务均是前置任务已完成的任务，可以直接由目标客户端执行，而不需等待该任务的前置任务完成，从而可以提升任务调度系统的工作效率。

在具体实施中，在执行步骤S23之后，还可以执行步骤S32(参见图3)，从客户端接收包含任务执行状态的反馈信息。

任务执行状态可以是执行中、执行完毕、执行失败中的任意一种，服务器11在从客户端12接收反馈信息后，可以更新任务执行状态数据库中对应的数据，为步骤S31的执行提供支持。任务执行状态由客户端向服务器发送，客户端在接收到服务器分发的任务后，启动监听组件，以获取任务执行状态。

本发明实施例通过获取当前任务的任务类型，有针对性的获取与所述任务类型匹配的客户端的资源信息，使得减少获取客户端资源信息的任务量，从而可以减少任务调度方法所需的时间，提高调度效率。根据资源信息选取目标客户端，分配所述当前任务至所述目标客户端，使得选取的目标客户端更适于执行所述当前任务，提升整个调度系统的总工作效率。由于仅获取了与所述任务类型匹配的客户端的资源信息，在选取目标客户端的过程中需考虑的客户端数目更少，从而可以使得选取目标客户端的过程用时更少，使得任务调度方法的效率更高。

本发明实施例还提供一种任务调度装置，如图4所示。

任务调度装置包括：任务信息获取单元41、资源信息获取单元42、任务分配单元43；其中：

所述任务信息获取单元41，适于获取当前任务的任务信息，所述任务信息包括任务类型；

所述资源信息获取单元42，适于获取与所述任务类型匹配的客户端的资源信息；

所述任务分配单元43，适于根据所述资源信息选取目标客户端，分配所述当前任务至所述目标客户端。

在具体实施中，所述任务信息获取单元41适于获取任务顺序信息，所述任务调度装置还可以包括：任务顺序判断单元44，适于确定所述任务顺序在所述当前任务之前的任务均执行完毕。

由于任务信息还包括任务顺序信息，仅在排列在当前任务之前的任务均执行完毕的情况下，才获取对应的客户端的资源信息，并为该当前任务选取目标客户端，故分配至目标客户端的任务均是前置任务已完成的任务，可以直接由目标客户端执行，而不需等待该任务的前置任务完成，从而可以提升任务调度系统的工作效率。

在具体实施中，任务调度装置还可以包括：反馈信息接收单元45，适于从所述客户端接收包含任务执行状态的反馈信息；所述任务执行状态包括以下任一种：执行中、执行完毕、执行失败。

在具体实施中，任务调度装置还可以包括：当前任务确定单元46，适于根据各任务的优先级顺序确定所述当前任务。

在具体实施中，所述任务信息还包括任务执行周期；所述任务分配单元43还适于指示所述目标客户端依照所述任务执行周期循环执行所述当前任务。

在具体实施中，任务调度装置还可以包括：权重设定单元47，适于在所述资源信息大于一种时，根据所述任务类型设定不同种类资源信息的权重。

由于在所述资源信息大于一种时，据所述任务类型设定不同种类资源信息的权重，充分考虑了任务类型对不同资源种类的需求，从而可以选取更加合适的客户端执行当前任务，提升任务执行的效率，进而提升任务调度方法的效率。

本发明实施例通过获取当前任务的任务类型，有针对性的获取与所述任务类型匹配的客户端的资源信息，使得减少获取客户端资源信息的任务量，从而可以减少任务调度方法所需的时间，提高调度效率。根据资源信息选取目标客户端，分配所述当前任务至所述目标客户端，使得选取的目标客户端更适于执行所述当前任务，提升整个调度系统的总工作效率。由于仅获取了与所述任务类型匹配的客户端的资源信息，在选取目标客户端的过程中需考虑的客户端数目更少，从而可以使得选取目标客户端的过程用时更少，使得任务调度方法的效率更高。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (14)

1.一种任务调度方法，其特征在于，包括：

获取当前任务的任务信息，所述任务信息包括任务类型；

获取与所述任务类型匹配的客户端的资源信息；

根据所述资源信息选取目标客户端，分配所述当前任务至所述目标客户端。

2.根据权利要求1所述的任务调度方法，其特征在于，所述任务信息还包括任务顺序信息，在所述获取与所述任务类型匹配的客户端的资源信息前还包括：确认所述任务顺序在所述当前任务之前的任务均执行完毕。

3.根据权利要求1所述的任务调度方法，其特征在于，还包括：从所述客户端接收包含任务执行状态的反馈信息；所述任务执行状态包括以下任一种：执行中、执行完毕、执行失败。

4.根据权利要求1所述的任务调度方法，其特征在于，在获取当前任务的任务信息前还包括：根据各任务的优先级顺序确定所述当前任务。

5.根据权利要求1所述的任务调度方法，其特征在于，所述任务信息还包括：任务执行周期；所述分配所述当前任务至所述目标客户端包括：指示所述目标客户端依照所述任务执行周期循环执行所述当前任务。

6.根据权利要求1所述的任务调度方法，其特征在于，所述任务类型包括以下任一种：数据交换任务、关系型数据库任务、分布式数据库任务、计算任务、脚本任务、推送任务。

7.根据权利要求1所述的任务调度方法，其特征在于，所述资源信息包括以下至少一种：CPU信息、内存信息、磁盘信息、网络质量信息。

8.根据权利要求7所述的任务调度方法，其特征在于，在所述资源信息大于一种时，所述根据所述资源信息选取目标客户端包括：根据所述任务类型设定不同种类资源信息的权重。

9.一种任务调度装置，其特征在于，包括：任务信息获取单元、资源信息获取单元、任务分配单元；其中：

所述任务信息获取单元，适于获取当前任务的任务信息，所述任务信息包括任务类型；

所述资源信息获取单元，适于获取与所述任务类型匹配的客户端的资源信息；

所述任务分配单元，适于根据所述资源信息选取目标客户端，分配所述当前任务至所述目标客户端。

10.根据权利要求9所述的任务调度装置，其特征在于，所述任务信息获取单元适于获取任务顺序信息，所述任务调度装置还包括：任务顺序判断单元，适于确定所述任务顺序在所述当前任务之前的任务均执行完毕。

11.根据权利要求9所述的任务调度装置，其特征在于，还包括：反馈信息接收单元，适于从所述客户端接收包含任务执行状态的反馈信息；所述任务执行状态包括以下任一种：执行中、执行完毕、执行失败。

12.根据权利要求9所述的任务调度装置，其特征在于，还包括：当前任务确定单元，适于根据各任务的优先级顺序确定所述当前任务。

13.根据权利要求9所述的任务调度装置，其特征在于，所述任务信息还包括任务执行周期；所述任务分配单元还适于指示所述目标客户端依照所述任务执行周期循环执行所述当前任务。

14.根据权利要求9所述的任务调度装置，其特征在于，还包括：权重设定单元，适于在所述资源信息大于一种时，根据所述任务类型设定不同种类资源信息的权重。