CN107229517A - 任务调度方法和装置 - Google Patents

Abstract

本发明提供了任务调度方法和装置，通过对进行跨集群读写的任务所需的网络资源进行分析，以获得读和写所占用网络资源的情况，根据读和写所需的网络资源的情况，对任务进行调度。由于读和写所占用的网络资源的情况，分别体现了将任务调度至读和写时所访问数据所在集群能够节省的网络资源，因而，据此确定任务所调度至的集群能够使得任务实现较少的网络资源占用，解决现有技术中集群间的带宽占用过高的情况。

Description

任务调度方法和装置

技术领域

本发明涉及计算机技术，尤其涉及一种任务调度方法和装置。

背景技术

为了提高系统的稳定性和网络中心的数据处理能力及服务能力，通常采用集群技术。集群技术的出现，能够使得服务器相互连接在一起，构成一个集群，多个集群相互连接构成一个分布式系统，该分布式系统内的各个集群运行一系列共同的应用程序。

在分布式系统中，可以将所运行的应用程序划分为多个任务，对于单个任务来说，可以将其按照运行的业务类型不同划分至不同的业务单元内，进而将同属于一个业务单元的任务运行于同一个集群上并将这些任务的任务数据也存储该集群上。

由于一个业务单元中的一个任务可能会需要读取另一业务单元中的另一任务的任务数据，也就是说在原集群上运行的任务需要依赖另一任务的任务数据。因此，当任务和其所依赖的另一任务的任务数据，即依赖数据，在不同集群上时，该任务会出现跨集群读写的情况，导致占用了大量的带宽。针对这一问题，现有技术中一旦发现某一任务存在跨集群读写的情况，便将该任务调度至其所读取的依赖数据所在的目标集群。但在实际运行过程中仍会出现集群间的带宽占用过高的情况。

发明内容

本发明提供一种任务调度方法和装置，用于解决现有技术中集群间的带宽占用过高的情况。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供了一种任务调度方法，包括：

对进行跨集群读写的任务所需的网络资源进行分析，以获得所述任务跨集群执行读和写所需的网络资源的情况；

根据读和写所需的网络资源的情况，对所述任务进行调度。

第二方面，提供了一种任务调度装置，包括：

分析模块，用于对进行跨集群读写的任务所需的网络资源进行分析，以获得所述任务跨集群执行读和写所需的网络资源的情况；

调度模块，用于根据所述读和写所需的网络资源的情况，对所述任务进行调度。

本发明实施例提供的任务调度方法和装置，通过对进行跨集群读写的任务所需的网络资源进行分析，以获得任务跨集群执行读和写所占用网络资源的情况，根据读和写所需的网络资源的情况，对任务进行调度。由于读和写所占用的网络资源的情况，分别体现了将任务调度至读和写时所访问数据所在集群能够节省的网络资源，因而，据此确定任务所调度至的集群能够使得任务实现较少的网络资源占用，解决现有技术中集群间的带宽占用过高的情况。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例一提供的一种任务调度方法的流程示意图；

图2为本发明实施例二提供的一种任务调度方法的流程示意图；

图3为本发明实施例三提供的一种任务调度装置的结构示意图；

图4为本发明实施例四提供的一种任务调度装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

下面结合附图对本发明实施例提供的任务调度方法和装置进行详细描述。

实施例一

图1为本发明实施例一提供的一种任务调度方法的流程示意图，本实施例所提供的方法，可以由分布式系统中的任务管理器执行，如图1所示，方法包括：

步骤101、对进行跨集群读写的任务所需的网络资源进行分析，以获得任务跨集群执行读和写所需的网络资源的情况。

具体的，分布式系统一般会承载着很多的任务，其中有相当一部分是周期性运行的任务，这些任务可能会每小时、每天或者每周的定期运行，任务运行之前需要访问运行所需的数据，这里所说的访问即读取，任务定期访问的数据会是当时最新的数据，从而保证了运行所获得的结果数据的准确性。在读取数据之后，还需要将所读取到的数据输入到运行的任务中，因此，所读取的数据为任务的输入数据。若该任务访问数据的过程中涉及跨集群读的情况，则会占用一定带宽等网络资源。由于在这种跨集群访问数据的情况下，必然涉及将数据从另一集群读取到任务所运行的集群，此时任务的输入数据便能够体现出跨集群读所占用的网络资源的情况，例如：占用带宽的情况。

另外，任务在运行结束后，还需要将任务运行的结果数据返回至任务管理器所最初分配的默认集群，所返回的结果数据需要首先由任务进行输出，所输出的数据称为任务的输出数据，进而将结果数据写入默认集群。若该任务返回结果数据的过程中涉及跨集群写的情况，则同样会占用一定带宽等网络资源。由于跨集群返回结果数据必然涉及将结果数据从任务所运行的集群写入到另一集群，此时任务的输出数据便能够体现出跨集群写所占用的网络资源的情况，例如：占用带宽的情况。

通过执行跨集群读和写时，任务所需的网络资源的情况，一方面可以预测出若任务当前所在的原集群与所读取的依赖数据所在集群为不同集群时，任务所占用的网络资源情况，另一方面可以预测出若任务当前所在的原集群与所写入的结果数据所在集群为不同集群时，任务所占用的网络资源情况。

作为一种可能的实现方式，历史记录中记录有每一个任务运行在当前所分配的原集群上所输入和输出的数据量，可以根据历史记录，针对每一个任务，获得输入数据的数据量、输出数据的数据量，针对每一个任务计算输入输出比。其中，输入输出比等于输入数据的数据量与输出数据的数据量的比值。

步骤102、根据读和写所需的网络资源的情况，对任务进行调度。

具体的，若读操作所需的网络资源多于写操作所需的网络资源，将任务调度至所读取的依赖数据所在的目标集群。

这是由于跨集群任务的数据存储和任务运行分别位于不同的集群上，输入数据和输出数据分别均存在三种情况：A.存储在任务当前所分配的原集群上；B.存储在任务所待调度至的目标集群上；C.存储在原集群和目标集群之外的集群上。因此，在现有技术的一旦发现某一任务存在跨集群读写的情况，便将该任务调度至其所读取的依赖数据所在的目标集群的情况下，输入数据或输出数据只要不在目标集群上就需要通过跨集群复制或直读直写的方式访问，跨集群任务所产生的跨集群数据量过大时会对网络资源造成压力。

在一种可能的情况下，若跨集群任务的输入数据存储于目标集群上并且数据量很大，那么调度该跨集群任务至目标集群可以省去将依赖数据从目标集群读取到原集群的网络资源占用，同时任务的输出数据的数据量很小，那么调度该跨集群任务至目标集群所导致增加的将结果数据从目标集群写入到默认集群的网络资源占用不会很大，从而使得调度引起的跨集群网络资源占用会出现显著降低。也就是说，输入数据的数据量与输出数据的数据量的比值，即输入输出比越大则跨集群网络资源占用降低的情况越显著。

作为一种可能的实现方式，可以通过判断任务输入输出比是否大于预设第一阈值预测调度至依赖数据所在的目标集群是否能够有效降低所占用的带宽等网络资源，若是，则将任务调度至所述任务的依赖数据所在的目标集群。其中，第一阈值大于1。

相反的，若读操作所需的网络资源不多于写操作所需的网络资源，可以将任务调度至所写入的结果数据所在的集群。

本实施例中，通过对进行跨集群读写的任务所需的网络资源进行分析，以获得读和写所占用网络资源的情况，根据读和写所需的网络资源的情况，对任务进行调度。由于读和写所占用的网络资源的情况，分别体现了将任务调度至读和写时所访问数据所在集群能够节省的网络资源，因而，据此确定任务所调度至的集群能够使得任务实现较少的网络资源占用，解决现有技术中集群间的带宽占用过高的情况。

实施例二

图2为本发明实施例二提供的一种任务调度方法的流程示意图，如图2所示，包括：

步骤201、基于历史记录进行分析，从进行跨集群读写的任务中筛选出目标任务。

具体的，历史记录中记录有各个任务的任务信息和数据信息。其中，任务信息包括：输入数据的数据量和输出数据的数据量；数据信息包括：输入数据所在集群、输出数据所在集群、任务所属业务单元和任务当前所在集群，以及任务运行频率和运行开销。

基于历史记录，确定出输入数据或输出数据所在集群和任务当前所在集群为不同集群的跨集群任务。将任务当前所在集群作为原集群。

针对每一个跨集群任务，根据公式输入输出比＝输入数据量/输出数据量，计算输入输出比。采用输入输出比、输出数据量、运行开销和运行频率、当前任务所在集群负载所构成的筛选条件筛选出读操作所需的网络资源多于写操作所需的网络资源的目标任务。

例如：筛选条件可以为输入输出比大于第一阈值，第一阈值为100，且输出数据量小于100GB，运行开销、运行频率、集群负载等分别小于预设集群配额。

这里所说的预设集群配额是根据目标集群能够提供的CPU和存储空间等集群资源所确定的。在筛选条件中增加运行开销、运行频率、集群负载等用于指示任务占用的集群资源的指标，主要是由于即使输入输出比较大也就是调度任务所节省的网络资源较多，但是当任务运行时所占用的集群资源较多，而所调度至的目标集群无法满足任务所需，从而大幅增加了目标集群的负载的情况下，将任务调度至目标集群后分布式系统的整体性能并没有得到明显提升，这种调度就是得不偿失的，因此，在当任务运行时所占用的集群资源较多时，不对任务进行调度。

步骤202、对目标任务提取任务标识，生成记录任务标识的调度信息。

具体的，获得目标任务的任务标记，有两种方法，对于结构化查询语言(Structured Query Language，SQL)任务可以将查询语句中周期性的属性屏蔽掉，对任务进行哈希摘要处理，例如采用消息摘要算法第五版(Message Digest Algorithm MD5，简称MD5)算法进行哈希摘要处理，并将哈希摘要作为该任务的任务标识。另一种方法，针对非SQL任务可以直接将任务的固定编号作为任务的任务标识，这些固定编号可以来自如天网系统等外部系统。

在调度信息中，用任务标识对该目标任务进行标记。另外，调度信息可以用于记录目标任务所需调度至的目标集群。

由于基于历史记录进行分析，筛选出目标任务的过程运算量较大，因而，可以预先执行，从而基于执行结果，生成调度信息。这样，当接收到待调度的任务时，则无需对其进行分析，可以直接根据预先分析所获得的调度信息进行调度，节省了时间，提高的调度的时效性。在实际操作过程中，可以将基于历史记录进行分析，生成调度信息的过程称为训练过程，将后续根据调度信息进行调度的过程称为决策过程。

步骤203、当接收到待调度的任务时，根据调度信息调度任务。

具体的，当接收到待调度的任务时，获取该任务的任务标识，从而对该任务进行识别。具体来说，可以在任务调度系统接收到待调度的任务后，判断任务的类型是否为SQL任务，如果是则提取哈希摘要作为任务标识，否则，提取固定编号作为任务标识。具体获取任务标识的过程参见步骤202中的相关描述，此处不再赘述。根据获取到的任务标识，在调度信息中进行匹配，匹配到了则调度到任务的目标集群上，否则，调度到任务所写入的结果数据所在的原集群。进一步，在调度之后，还可以为经过调度的任务分配计算资源。

因为当跨集群任务的输入数据存储于目标集群上并且数据量很大时，调度该跨集群任务至目标集群可以省去将依赖数据从目标集群读取到原集群的网络资源占用，同时任务的输出数据的数据量很小，那么调度该跨集群任务至目标集群所增加的将结果数据从目标集群到原集群写入的网络资源占用不会很大，因此，使得调度引起的跨集群网络资源占用会出现显著降低。

也就是说，输入数据的数据量与输出数据的数据量的比值，即输入输出比越大则跨集群网络资源占用降低的情况越显著，可以据此确定第一阈值的取值，若仅在跨集群网络资源占用降低的情况越显著时调度任务至目标集群，则可以将第一阈值确定的较大，否则，确定的较小，但第一阈值应大于1。

实施例三

图3为本发明实施例三提供的一种任务调度装置的结构示意图，如图3所示，包括：分析模块31和调度模块32。

分析模块31，用于对进行跨集群读写的任务所需的网络资源进行分析，以获得所述任务读和写所需的网络资源的情况；

调度模块32，用于根据所述读和写所需的网络资源的情况，对所述任务进行调度。

具体的，调度模块32具体用于若所述读操作所需的网络资源多于写操作所需的网络资源，将所述任务调度至所读取的依赖数据所在的目标集群。

本实施例中，通过对进行跨集群读写的任务所需的网络资源进行分析，以获得读和写所占用网络资源的情况，根据读和写所需的网络资源的情况，对任务进行调度。由于读和写所占用的网络资源的情况，分别体现了将任务调度至读和写时所访问数据所在集群能够节省的网络资源，因而，据此确定任务所调度至的集群能够使得任务实现较少的网络资源占用，解决现有技术中集群间的带宽占用过高的情况。

实施例四

图4为本发明实施例四提供的一种任务调度装置的结构示意图，在图3所提供的任务调度装置的基础上，分析模块31，包括：获得单元311和计算单元312。

获得单元311，用于根据历史记录，针对每一个所述任务，获得输入数据的数据量、输出数据的数据量。

计算单元312，用于针对每一个所述任务计算用于指示读和写所需的网络资源的比例的输入输出比。

其中，输入输出比等于输入数据的数据量与输出数据的数据量的比值。

进一步，调度模块32，包括：判断单元321、标识单元322、生成单元323和调度单元324。

判断单元321，用于判断所述任务是否满足预设的筛选条件。

其中，筛选条件包括：所述输入输出比大于预设第一阈值；其中，第一阈值大于1。筛选条件还包括：输出数据的数据量小于第二阈值；和/或，所占用的集群资源小于预设配额，其中所占用的集群资源包括运行开销、运行频率和集群负载中的至少一个。

标识单元322，用于针对满足所述筛选条件的任务，获得任务标识。

生成单元323，用于生成用于记录所述任务标识的调度信息。

调度单元324，用于若满足所述筛选条件，则将所述任务调度至所述任务所读取的依赖数据所在的目标集群。

具体的，调度单元324，具体用于当接收到待调度任务时，获取标识单元所获得所述待调度任务的任务标识；若所述待调度任务的任务标识与所述调度信息中的任务标识相匹配，则将所述待调度任务调度至所述待调度任务的依赖数据所在的目标集群。

进一步，标识单元322，包括：判断子单元3221、哈希子单元3222和编号子单元3223。

判断子单元3221，用于判断所述任务的类型是否为SQL；

哈希子单元3222，用于若所述任务的类型为SQL，对所述任务进行哈希处理，获得哈希摘要，将所述哈希摘要作为所述任务标识；

编号子单元3223，用于若所述任务的类型不为SQL，将所述任务的编号作为所述任务标识。

需要说明的是，在前述各中所提及的网络资源可以为网络带宽和/或网络带宽时延积，本领域技术人员可以知晓，还可以采用其他用于衡量网络资源的指标，而不会影响各实施例的实现效果。

通过对进行跨集群读写的任务所需的网络资源进行分析，以获得读和写所占用网络资源的情况，根据读和写所需的网络资源的情况，对任务进行调度。由于读和写所占用的网络资源的情况，分别体现了将任务调度至读和写时所访问数据所在集群能够节省的网络资源，因而，据此确定任务所调度至的集群能够使得任务实现较少的网络资源占用，解决现有技术中集群间的带宽占用过高的情况。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (18)

1.任务调度方法，其特征在于，包括：

对进行跨集群读写的任务所需的网络资源进行分析，以获得所述任务跨集群执行读和写所需的网络资源的情况；

根据读和写所需的网络资源的情况，对所述任务进行调度。

2.根据权利要求1所述的任务调度方法，其特征在于，所述根据读和写所需的网络资源的情况，对所述任务进行调度，包括：

若读操作所需的网络资源多于写操作所需的网络资源，将所述任务调度至所读取的依赖数据所在的目标集群。

3.根据权利要求1所述的任务调度方法，其特征在于，所述对进行跨集群读写的任务所需的网络资源进行分析，包括：

根据历史记录，针对每一个所述任务，获得输入数据的数据量、输出数据的数据量；

针对每一个所述任务计算用于指示读和写所需的网络资源的比例的输入输出比；其中，输入输出比等于输入数据的数据量与输出数据的数据量的比值。

4.根据权利要求3所述的任务调度方法，其特征在于，所述根据读和写所需的网络资源的情况，对所述任务进行调度，包括：

判断所述任务是否满足预设的筛选条件；其中，所述筛选条件包括：所述输入输出比大于预设第一阈值；其中，第一阈值大于1；

若满足所述筛选条件，则将所述任务调度至所述任务所读取的依赖数据所在的目标集群。

5.根据权利要求4所述的任务调度方法，其特征在于，所述判断所述任务是否满足预设的筛选条件之后，还包括：

针对满足所述筛选条件的任务，获得任务标识；

生成用于记录所述任务标识的调度信息。

6.根据权利要求5所述的任务调度方法，其特征在于，所述若满足所述筛选条件，则将所述任务调度至所述任务所读取的依赖数据所在的目标集群，包括：

当接收到待调度任务时，针对所述待调度任务，获得任务标识；

若所述待调度任务的任务标识与所述调度信息中的任务标识相匹配，则将所述待调度任务调度至所述待调度任务的依赖数据所在的目标集群。

7.根据权利要求5或6所述的任务调度方法，其特征在于，所述获得任务标识，包括：

判断所述任务的类型是否为SQL；

若所述任务的类型为SQL，对所述任务进行哈希处理，获得哈希摘要，将所述哈希摘要作为所述任务标识；

否则，将所述任务的编号作为所述任务标识。

8.根据权利要求4所述的任务调度方法，其特征在于，所述筛选条件还包括：输出数据的数据量小于第二阈值；

和/或，所占用的集群资源小于预设配额，其中所占用的集群资源包括运行开销、运行频率和集群负载中的至少一个。

9.根据权利要求1-6任一项所述的任务调度方法，其特征在于，所述网络资源包括：网络带宽和网络带宽时延积中的至少一个。

10.一种任务调度装置，其特征在于，包括：

分析模块，用于对进行跨集群读写的任务所需的网络资源进行分析，以获得所述任务跨集群执行读和写所需的网络资源的情况；

调度模块，用于根据所述读和写所需的网络资源的情况，对所述任务进行调度。

11.根据权利要求10所述的任务调度装置，其特征在于，

所述调度模块，具体用于若所述读操作所需的网络资源多于写操作所需的网络资源，将所述任务调度至所读取的依赖数据所在的目标集群。

12.根据权利要求10所述的任务调度装置，其特征在于，所述分析模块，包括：

获得单元，用于根据历史记录，针对每一个所述任务，获得输入数据的数据量、输出数据的数据量；

计算单元，用于针对每一个所述任务计算用于指示读和写所需的网络资源的比例的输入输出比；其中，输入输出比等于输入数据的数据量与输出数据的数据量的比值。

13.根据权利要求12所述的任务调度装置，其特征在于，所述调度模块，包括：

判断单元，用于判断所述任务是否满足预设的筛选条件；其中，所述筛选条件包括：所述输入输出比大于预设第一阈值；其中，第一阈值大于1；

调度单元，用于若满足所述筛选条件，则将所述任务调度至所述任务所读取的依赖数据所在的目标集群。

14.根据权利要求13所述的任务调度装置，其特征在于，所述调度模块，还包括：

标识单元，用于针对满足所述筛选条件的任务，获得任务标识；

生成单元，用于生成用于记录所述任务标识的调度信息。

15.根据权利要求14所述的任务调度装置，其特征在于，

所述标识单元，还用于当接收到待调度任务时，针对所述待调度任务，获得任务标识；

所述调度单元，具体用于当接收到待调度任务时，获取标识单元所获得所述待调度任务的任务标识；若所述待调度任务的任务标识与所述调度信息中的任务标识相匹配，则将所述待调度任务调度至所述待调度任务的依赖数据所在的目标集群。

16.根据权利要求14或15所述的任务调度装置，其特征在于，所述标识单元，包括：

判断子单元，用于判断所述任务的类型是否为SQL；

哈希子单元，用于若所述任务的类型为SQL，对所述任务进行哈希处理，获得哈希摘要，将所述哈希摘要作为所述任务标识；

编号子单元，用于若所述任务的类型不为SQL，将所述任务的编号作为所述任务标识。

17.根据权利要求13所述的任务调度方法，其特征在于，所述筛选条件还包括：输出数据的数据量小于第二阈值；

和/或，所占用的集群资源小于预设配额，其中所占用的集群资源包括运行开销、运行频率和集群负载中的至少一个。

18.根据权利要求10-15任一项所述的任务调度装置，其特征在于，所述网络资源包括：网络带宽和网络带宽时延积中的至少一个。