CN107870807A - 一种跨平台的任务调度方法和装置 - Google Patents

Abstract

一种跨平台的任务调度方法包括：通过同一个平台获取任务调度的请求，所述任务调度的请求包括需要调度的任务；获取所述需要调度的任务对应的属性信息，根据所述任务的属性信息生成所述任务对应的任务调度指令，根据所述任务之间的数据的依赖关系，生成任务序列；根据所述任务序列中的任务的先后顺序，依次执行所述任务对应的任务调度指令。由于在同一平台根据任务调度指令可用于执行不同平台的任务调度，根据所述任务序列依次完成任务调度，从而可以有效的提高任务调度的效率。

Description

一种跨平台的任务调度方法和装置

技术领域

本发明属于互联网领域，尤其涉及一种跨平台的任务调度方法和装置。

背景技术

随着科技的发展以及互联网用户的增加，互联网的数据量发生了爆炸式的增长。为了有效的对大数据进行运算和存储，出现了许多与大数据相关的应用程序。比如通过Hadoop技术实现分布式文件系统(英文全称为Hadoop Distributed File System，英文简称为HDFS)。HDFS有高容错性的特点，其设计可用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX(中文全称为可移植操作系统接口，英文全称为Portable Operating System Interface)的要求，可以以流的形式访问分布式文件系统中的数据。

在运行大数据应用时，常常需要调用多种任务，并且多种任务可能是由不同的平台进行调度。比如，hadoop任务和datastage任务是通过不同的工具在不同的工作平台进行调度，操作较为麻烦，而且在通过不同平台进行任务调度时，无法完成对各个平台的任务有序调用，任务调度效率较低。

发明内容

本发明的目的在于提供一种跨平台的任务调度方法，以解决现有技术通过不同平台进行任务调度时，无法对各个平台的任务进行有序的调度，任务调度效率低的问题。

第一方面，本发明实施例提供了一种跨平台的任务调度方法，其特征在于，所述方法包括：

通过同一个平台获取任务调度的请求，所述任务调度的请求包括需要调度的任务；

获取所述需要调度的任务对应的属性信息，根据所述任务的属性信息生成所述任务对应的任务调度指令，根据所述任务之间的数据的依赖关系，生成任务序列；

根据所述任务序列中的任务的先后顺序，依次执行所述任务对应的任务调度指令。

结合第一方面，在第一方面的第一种可能实现方式中，所述根据所述任务的属性信息生成所述任务对应的任务调度指令步骤具体包括：

所述任务的属性信息包括任务的类型、调度的服务器信息、源数据库信息和目标数据库信息、调度的数据信息，根据所述属性信息，生成由所述调度的服务，从源数据库将所述调度的数据信息调度至目标数据库的、与所述任务的类型对应的任务调度指令。

结合第一方面,或第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，所述根据所述任务序列中的任务的先后顺序，依次执行所述任务对应的任务调度指令步骤包括：

监测当前执行的任务调度指令的进度信息；

当监测到任务调度指令执行完毕时，执行所述任务序列中的下一任务对应的任务调度指令。

结合第一方面,或第一方面的第一种可能实现方式，在第一方面的第三种可能实现方式中，所述方法还包括：

当所述任务序列中包括多个任务同时执行时，获取所述多个任务对应的优先级，所述任务的优先级的影响因素包括所述任务的执行时间长度、任务结果在后续任务中需要的先后；

根据所述优先级进行排序，对优先级较高的任务分配较多系统资源。

结合第一方面,或第一方面的第一种可能实现方式，在第一方面的第四种可能实现方式中，所述方法还包括：

根据所述顺序序列生成对应的任务执行的流程图表；

获取当前执行的任务调度指令对应的状态数据，在所述流程图表上显示所述状态数据对应的标识。

第二方面，本发明实施例提供了一种跨平台的任务调度装置，所述装置包括：

请求获取单元，用于通过同一个平台获取任务调度的请求，所述任务调度的请求包括需要调度的任务；

指令和序列生成单元，用于获取所述需要调度的任务对应的属性信息，根据所述任务的属性信息生成所述任务对应的任务调度指令，根据所述任务之间的数据的依赖关系，生成任务序列；

调度单元，用于根据所述任务序列中的任务的先后顺序，依次执行所述任务对应的任务调度指令。

结合第二方面，在第二方面的第一种可能实现方式中，所述任务的属性信息包括任务的类型、调度的服务器信息、源数据库信息和目标数据库信息、调度的数据信息，所述指令和序列生成单元具体用于：

根据所述属性信息，生成由所述调度的服务，从源数据库将所述调度的数据信息调度至目标数据库的、与所述任务的类型对应的任务调度指令。

结合第二方面,或第二方面的第一种可能实现方式，在第二方面的第二种可能实现方式中，所述调度单元包括：

进度监测单元，用于监测当前执行的任务调度指令的进度信息；

任务切换单元，用于当监测到任务调度指令执行完毕时，执行所述任务序列中的下一任务对应的任务调度指令。

结合第二方面,或第二方面的第一种可能实现方式，在第二方面的第三种可能实现方式中，所述装置还包括：

优先级获取单元，用于当所述任务序列中包括多个任务同时执行时，获取所述多个任务对应的优先级，所述任务的优先级的影响因素包括所述任务的执行时间长度、任务结果在后续任务中需要的先后；

资源分配单元，用于根据所述优先级进行排序，对优先级较高的任务分配较多系统资源。

结合第二方面,或第二方面的第一种可能实现方式，在第二方面的第四种可能实现方式中，所述装置还包括：

流程图表生成单元，用于根据所述顺序序列生成对应的任务执行的流程图表；

标识显示单元，用于获取当前执行的任务调度指令对应的状态数据，在所述流程图表上显示所述状态数据对应的标识。

在本发明中，获取用户发出的任务调度请求，根据任务调度请求确定需要调度的任务，根据所述任务的属性信息，确定任务对应的任务调度指令，根据所述任务的执行顺序生成任务序列，根据所述任务序列的先后，执行所述任务对应的任务调度指令。本发明可在同一平台根据任务调度指令可用于执行不同平台的任务调度，根据所述任务序列依次完成任务调度，从而可以有效的提高任务调度的效率。

附图说明

图1是本发明第一实施例提供的跨平台的任务调度方法的实现流程图；

图2是本发明第二实施例提供的跨平台的任务调度方法的实现流程图；

图3为本发明第三实施例提供的跨平台的任务调度方法的实现流程图；

图4是本发明第四实施例提供的跨平台的任务调度装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的目的在于提供一种跨平台的任务调度方法，以解决现有技术中对于大数据的调度时，由于采用不同的工具通过不同的平台实现，不能保证各个工具之间连续有效的进行调度，任务的调度效率较低的问题。下面结合附图对本发明作进一步的说明。

实施例一：

图1示出了本发明第一实施例提供的跨平台的任务调度方法的实现流程，本发明所述跨平台的任务调度方法，通过同一个平台对用户的调度请求进行采集，根据调度请求生成相应的调度指令，通过所述调度指令可以直接完成现有技术中需要在不同的平台实现的任务调度，详述如下：

在步骤S101中，通过同一个平台获取任务调度的请求，所述任务调度的请求包括需要调度的任务。

具体的，本发明实施例中所述任务调度请求可以通过预先设定的一个平台进行调度请求的接收。所述任务调度请求，可以根据用户的要求，定义任务调度请求中需要调度的任务，比如可以通过数据交互窗口的形式，向用户提供任务调度请求所需要调度的数据信息，比如可以包括任务调度的数据记录的起始时间、结束时间、任务调度的目标数据库、源数据库、调度任务的类型等信息。

所述调度请求中包括的需要调度的任务，可以包括不同类型的调度任务，比如可以包括oracle、datastage、hadoop等类型的任务。

在步骤S102中，获取所述需要调度的任务对应的属性信息，根据所述任务的属性信息生成所述任务对应的任务调度指令，根据所述任务之间的数据的依赖关系，生成任务序列。

具体的，所述任务的属性信息，可以为所述任务调度请求中所采集的数据，也可以预设设定的与所述任务对应的属性。比如，所述任务的属性信息可以包括任务的类型、调度的服务器信息、源数据库信息和目标数据库信息、调度的数据信息等。

其中，所述任务的类型，可以包括基于不同平台实现的oracle、datastage、hadoop等大数据调用的任务。

所述调度的服务器信息，可以包括调度服务器的IP地址、调度服务器的权限信息，包括具有调度权限的用户名、密码等。

所述源数据库信息和目标数据库信息，包括源数据库和目标数据库的存储地址、以及数据的访问权限的账号密码等信息。

所述调度的数据信息，可以为调度数据中存储的设备数据，比如对于实时的数据采集系统中的数据，可以根据时间信息表示所述调度的数据信息，如：以时间2016年3月18日开始，至2016年4月8日结束的时间段内的数据作为调度的数据信息。

所述根据所述任务的属性信息生成所述任务对应的任务调度指令步骤具体可以为：根据所述属性信息，生成由所述调度的服务，从源数据库将所述调度的数据信息调度至目标数据库的、与所述任务的类型对应的任务调度指令。

所述任务调度指令，可以为linux指令，也可以其它的系统指令，通过执行所述任务调度指令，可以将目标数据从源数据调度至目标数据。

其中，执行所述任务调度指令时，可以由执行本发明所述方法的平台执行，不需要调用其它平台的相应工具，可以大大简化调度操作步骤。

根据所述任务调度请求确定需要执行的调度的任务后，可根据任务之间的数据的依赖关系，建议任务指令的序列。所述任务调度序列中包括任务执行的先后顺序，或者还可以包括在同一时间可以同时执行的多个需要调度的任务。

在步骤S103中，根据所述任务序列中的任务的先后顺序，依次执行所述任务对应的任务调度指令。

在本发明实施例中，可在同一平台中生成包括多个任务的任务序列，根据任务序列中每个任务对应的任务调度指令，即可在同一平台中对于不同类型的任务进行调度，并且能够有效的按序进行调度，有利于提高任务调度的便利性以及任务调度的效率。

实施例二：

图2示出了本发明第二实施例提供的跨平台的任务调度方法的实现流程，详述如下：

在步骤S201中，通过同一个平台获取任务调度的请求，所述任务调度的请求包括需要调度的任务。

在步骤S202中，获取所述需要调度的任务对应的属性信息，根据所述任务的属性信息生成所述任务对应的任务调度指令，根据所述任务之间的数据的依赖关系，生成任务序列。

步骤S201-S202与实施例一中的步骤S101-S102基本相同，在此不作重复赘述。

在步骤S203中，监测当前执行的任务调度指令的进度信息。

在步骤S204中，当监测到任务调度指令执行完毕时，执行所述任务序列中的下一任务对应的任务调度指令。

在现有技术中，由于不同类型的调度任务，需要通过不同的平台去执行，而且为了保证资源的可用，通常是将任务分批执行，后置的作业需要等前一个批量任务全部执行完成后才能执行，造成很多不必要的等待

本发明通过对任务调度指令的进度信息进行监测，在监测到任务调度指令对应的进度完成时，则自动执行任务序列中的下一任务对应的任务调度指令，从而能够在后续任务调度时，避免不必要的等待时间，从而能够进一步提高任务调度的效率。

实施例三：

图3示出了本发明第三实施例提供的的实现流程，详述如下：

在步骤S301中，通过同一个平台获取任务调度的请求，所述任务调度的请求包括需要调度的任务；

在步骤S302中，获取所述需要调度的任务对应的属性信息，根据所述任务的属性信息生成所述任务对应的任务调度指令，根据所述任务之间的数据的依赖关系，生成任务序列；

在步骤S303中，根据所述任务序列中的任务的先后顺序，依次执行所述任务对应的任务调度指令。

进一步优化的实施方式中，当所述任务序列中包括多个任务同时执行时，获取所述多个任务对应的优先级，所述任务的优先级的影响因素包括所述任务的执行时间长度、任务结果在后续任务中需要的先后。

根据所述优先级进行排序，对优先级较高的任务分配较多系统资源。

所述任务执行时间的长度，即执行完所述任务所需要的时间长度。比如，在任务B和任务C依赖于任务A的完成，而任务D需要使用任务B和任务C所完成后的数据，在正常分配资源的情况下，所述任务B的完成时长为10小时，任务C的完成时长为5小时，那么可以根据所述完成时长的比值，相应的改变所述系统资源的分配比值，使周时进行的多个任务，比如此例中的任务B和任务C尽量同时完成，以提高任务调度的效率。

在步骤S304中，根据所述顺序序列生成对应的任务执行的流程图表。

所述流程图表中，每个任务可以对应一个图标或者方框，不同任务对应的图标之间可以通过箭头或者其它标识表示其先后关系。

在步骤S305中，获取当前执行的任务调度指令对应的状态数据，在所述流程图表上显示所述状态数据对应的标识。

在任务调度过程中，可实时获取所述任务调度指令对应的状态数据，当然，所述状态数据也可以获取任务开始执行的时间以及结束执行的时间。将所述状态数据在所述流程图表中显示。从而使得用户可以更加方便的了解任务执行的状态。

另外，在本发明实施例中，还可以对于每个任务执行的日志数据进行记录。当任务执行完毕后，可以点击所述流程图表中的任务标识，即可查看对应的日志数据，方便用户或工作人员对任务进行检测和维护。

实施例四：

图4示出了本发明第四实施例提供的跨平台的任务调度装置的结构示意图，详述如下：

本发明实施例所述跨平台的任务调度装置，包括：

请求获取单元，用于通过同一个平台获取任务调度的请求，所述任务调度的请求包括需要调度的任务；

指令和序列生成单元，用于获取所述需要调度的任务对应的属性信息，根据所述任务的属性信息生成所述任务对应的任务调度指令，根据所述任务之间的数据的依赖关系，生成任务序列；

调度单元，用于根据所述任务序列中的任务的先后顺序，依次执行所述任务对应的任务调度指令。

优选的，所述任务的属性信息包括任务的类型、调度的服务器信息、源数据库信息和目标数据库信息、调度的数据信息，所述指令和序列生成单元具体用于：

根据所述属性信息，生成由所述调度的服务，从源数据库将所述调度的数据信息调度至目标数据库的、与所述任务的类型对应的任务调度指令。

优选的，所述调度单元包括：

进度监测单元，用于监测当前执行的任务调度指令的进度信息；

任务切换单元，用于当监测到任务调度指令执行完毕时，执行所述任务序列中的下一任务对应的任务调度指令。

优选的，所述装置还包括：

优先级获取单元，用于当所述任务序列中包括多个任务同时执行时，获取所述多个任务对应的优先级，所述任务的优先级的影响因素包括所述任务的执行时间长度、任务结果在后续任务中需要的先后；

资源分配单元，用于根据所述优先级进行排序，对优先级较高的任务分配较多系统资源。

优选的，所述装置还包括：

流程图表生成单元，用于根据所述顺序序列生成对应的任务执行的流程图表；

标识显示单元，用于获取当前执行的任务调度指令对应的状态数据，在所述流程图表上显示所述状态数据对应的标识。

本发明实施例所述跨平台的任务调度装置，与实施例一至三所述跨平台的任务调度方法对应。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种跨平台的任务调度方法，其特征在于，所述方法包括：

通过同一个平台获取任务调度的请求，所述任务调度的请求包括需要调度的任务；

获取所述需要调度的任务对应的属性信息，根据所述任务的属性信息生成所述任务对应的任务调度指令，根据所述任务之间的数据的依赖关系，生成任务序列；

根据所述任务序列中的任务的先后顺序，依次执行所述任务对应的任务调度指令。

2.根据权利要求1所述方法，其特征在于，所述根据所述任务的属性信息生成所述任务对应的任务调度指令步骤具体包括：

所述任务的属性信息包括任务的类型、调度的服务器信息、源数据库信息和目标数据库信息、调度的数据信息，根据所述属性信息，生成由所述调度的服务，从源数据库将所述调度的数据信息调度至目标数据库的、与所述任务的类型对应的任务调度指令。

3.根据权利要求1或2所述方法，其特征在于，所述根据所述任务序列中的任务的先后顺序，依次执行所述任务对应的任务调度指令步骤包括：

监测当前执行的任务调度指令的进度信息；

当监测到任务调度指令执行完毕时，执行所述任务序列中的下一任务对应的任务调度指令。

4.根据权利要求1或2所述方法，其特征在于，所述方法还包括：

当所述任务序列中包括多个任务同时执行时，获取所述多个任务对应的优先级，所述任务的优先级的影响因素包括所述任务的执行时间长度、任务结果在后续任务中需要的先后；

根据所述优先级进行排序，对优先级较高的任务分配较多系统资源。

5.根据权利要求1或2所述方法，其特征在于，所述方法还包括：

根据所述顺序序列生成对应的任务执行的流程图表；

获取当前执行的任务调度指令对应的状态数据，在所述流程图表上显示所述状态数据对应的标识。

6.一种跨平台的任务调度装置，其特征在于，所述装置包括：

请求获取单元，用于通过同一个平台获取任务调度的请求，所述任务调度的请求包括需要调度的任务；

指令和序列生成单元，用于获取所述需要调度的任务对应的属性信息，根据所述任务的属性信息生成所述任务对应的任务调度指令，根据所述任务之间的数据的依赖关系，生成任务序列；

调度单元，用于根据所述任务序列中的任务的先后顺序，依次执行所述任务对应的任务调度指令。

7.根据权利要求6所述装置，其特征在于，所述任务的属性信息包括任务的类型、调度的服务器信息、源数据库信息和目标数据库信息、调度的数据信息，所述指令和序列生成单元具体用于：

根据所述属性信息，生成由所述调度的服务，从源数据库将所述调度的数据信息调度至目标数据库的、与所述任务的类型对应的任务调度指令。

8.根据权利要求6或7所述装置，其特征在于，所述调度单元包括：

进度监测单元，用于监测当前执行的任务调度指令的进度信息；

任务切换单元，用于当监测到任务调度指令执行完毕时，执行所述任务序列中的下一任务对应的任务调度指令。

9.根据权利要求6或7所述装置，其特征在于，所述装置还包括：

优先级获取单元，用于当所述任务序列中包括多个任务同时执行时，获取所述多个任务对应的优先级，所述任务的优先级的影响因素包括所述任务的执行时间长度、任务结果在后续任务中需要的先后；

资源分配单元，用于根据所述优先级进行排序，对优先级较高的任务分配较多系统资源。

10.根据权利要求6或7所述装置，其特征在于，所述装置还包括：

流程图表生成单元，用于根据所述顺序序列生成对应的任务执行的流程图表；

标识显示单元，用于获取当前执行的任务调度指令对应的状态数据，在所述流程图表上显示所述状态数据对应的标识。