CN114237844A - 一种任务调度方法、装置及电子设备 - Google Patents

Abstract

本申请实施例提供一种任务调度方法、装置及电子设备，其中，该方法包括：获取任务调度的执行信号；根据执行信号获取预设时间，查询预设时间内的多个任务；获取多个任务；将多个任务放置到时间轮中；根据时间轮的时间刻度依次执行所述多个任务。实施本申请实施例，能够合理调度多个任务的执行，有效利用时间空隙，使得任务之间的依赖关系减弱，提高任务的执行效率。

Description

一种任务调度方法、装置及电子设备

技术领域

本申请涉及任务调度技术领域，具体而言，涉及一种任务调度方法、装置及电子设备。

背景技术

ETL过程一般由多个任务单元组成，每个任务单元完成特定的数据处理逻辑。多个任务单元之间有着强依赖关系，上游任务执行并成功，下游任务才可以执行。为了保证数据处理结果的准确性，就必须要求这些任务按照上下游依赖关系有序、高效的执行。

然而，在实际生产中，每天需要执行的任务数量较多，导致一旦上游任务执行超时，就会使得下游任务无法正常执行的问题。并且如果上游任务执行异常，下游任务在执行时也会被影响，导致下游任务出现数据异常，需要进行回滚、补数等补救措施，费时费力，效率低下。

发明内容

本申请实施例的目的在于提供一种任务调度方法、装置及电子设备，能够合理调度多个任务的执行，有效利用时间空隙，使得任务之间的依赖关系减弱，提高任务的执行效率。

第一方面，本申请实施例提供了一种任务调度方法，所述方法包括：

获取任务调度的执行信号；

根据所述执行信号获取预设时间，查询所述预设时间内的多个任务；

获取所述多个任务；

将所述多个任务放置到时间轮中；

根据所述时间轮的时间刻度依次执行所述多个任务。

在上述实现过程中，根据任务需要执行的先后顺序，计算出每个待执行任务的执行的起止时间，通过定时执行的方式，减少任务之间的依赖关系，满足每个任务的运行需求，使得任务可以完整执行的同时保持整个任务调度系统稳定的运行。

进一步地，所述获取所述多个任务的步骤，包括：

获取当前时间；

判断所述当前时间是否超过所述预设时间，若是，则放弃所述多个任务，若否，则获取所述多个任务。

在上述实现过程中，实时获取任务的状态，过滤掉过期的任务，提高任务的执行效率，同时避免因执行过期的任务导致资源的大量消耗。

进一步地，所述将所述多个任务放置到时间轮中的步骤，包括：

获取所述多个任务的执行时间和所述时间轮的时间刻度；

根据所述执行时间和所述时间刻度将所述多个任务放置到所述时间轮中。

在上述实现过程中，依据时间轮的时间刻度和执行时间放置的任务，不需要再次获取任务的执行时间，根据时间轮即可依次执行任务。

进一步地，所述根据所述执行时间和所述时间刻度将所述多个任务放置到所述时间轮中的步骤，包括：

根据所述执行时间的先后顺序，将所述多个任务进行排序；

将排序后的所述多个任务按照所述时间刻度的大小依次放置。

在上述实现过程中，可以将任务按照由先到后的方式排列，简单明了。

进一步地，所述根据所述时间轮的时间刻度依次执行所述多个任务的步骤，包括：

获取当前单位时间对应时间轮中的任务和前一单位时间所对应的时间轮中任务；

执行所述当前单位时间对应时间轮中的任务和所述前一单位时间所对应的时间轮中任务。

在上述实现过程中，保证任务获取的实时性，可以使得任务得到高效的处理，并且避免遗漏任务，有效提升了任务的完成率。

第二方面，本申请实施例还提供了一种任务调度装置，所述装置包括：

调度模块，用于获取任务调度的执行信号；根据所述执行信号获取预设时间，查询所述预设时间内的多个任务；获取所述多个任务；

执行模块，用于将所述多个任务放置到时间轮中；根据所述时间轮的时间刻度依次执行所述多个任务。

进一步地，所述调度模块还用于获取当前时间；判断所述当前时间是否超过所述预设时间，若是，则放弃所述多个任务，若否，则获取所述多个任务。

进一步地，所述执行模块还包括：

放置单元，用于获取所述多个任务的执行时间和所述时间轮的时间刻度；根据所述执行时间和所述时间刻度将所述多个任务放置到所述时间轮中；还用于根据所述执行时间的先后顺序，将所述多个任务进行排序；将排序后的所述多个任务按照所述时间刻度的大小依次放置；

执行单元，用于获取当前单位时间对应时间轮中的任务和前一单位时间所对应的时间轮中任务；执行所述当前单位时间对应时间轮中的任务和所述前一单位时间所对应的时间轮中任务。

进一步地，所述装置还包括：

日志模块，用于记录任务调度的过程，得到任务调度日志。

日志模块可以使得在后续查询过程中，方便、快捷的查询到任务调度过程中的所有数据，且方便可视化模块实时展示日志模块中记录的任务调度日志。

可视化模块，用于展示所述任务调度日志。

告警模块，用于在任务调度失败时，发出告警信号。

第三方面，本申请实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。

第四方面，本申请实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一项所述的方法。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的任务调度方法的流程示意图；

图2为本申请实施例提供的时间轮的组成示意图；

图3为本申请实施例提供的任务调度装置的结构组成示意图；

图4为本申请实施例提供的一种任务调度装置的结构组成示意图；

图5为本申请实施例提供的电子设备的结构组成示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

实施例一

图1是本申请实施例提供的任务调度方法的流程示意图，如图1所示，该方法包括：

S1，获取任务调度的执行信号；

S2，根据执行信号获取预设时间，查询预设时间内的多个任务；

S3，获取多个任务；

S4，将多个任务放置到时间轮中；

S5，根据时间轮的时间刻度依次执行多个任务。

在上述实现过程中，根据任务需要执行的先后顺序，计算出每个任务的执行的起止时间，通过定时执行的方式，减少任务之间的依赖关系，满足每个任务的运行需求，使得任务可以完整执行的同时保持整个任务调度系统稳定的运行。

在S1中，获取任务调度的执行信号。

以本实施例为例，执行信号的获取以任务休眠到整秒处为准，当休眠时间到达整秒处时，任务调度系统就会自动发出执行信号，获取到执行信号之后，任务调度即开始。

休眠到整秒时的计算公式如下：

Sleep(5000-T％1000)；

其中，Sleep为休眠函数，T为当前毫秒数。

在S2中，根据执行信号获取预设时间，查询预设时间内的多个任务。

以本实施例为例，为了避免任务调度过程中，当时间排在前面的任务未执行完成时，导致后续时间中的所有任务都在继续等待无法执行的情况发生，需要获取下个调度任务开始执行，预计要处理的所有任务。

预设时间为，从任务需要开始执行的时间开始计算，到预计要完成的所有的任务结束的时间点。

在S3中，获取至少一个待执行任务。

获取当前时间；

判断当前时间是否超过预设时间，若是，则放弃多个任务，若否，则获取多个任务。

在上述实现过程中，实时获取任务的状态，过滤掉过期的任务，提高任务的执行效率，同时避免因执行过期的任务导致资源的大量消耗。

若当前时间已经超过预设时间，则表示任务的执行时间已过，但任务并没有得到执行，若继续执行任务，会占用后续该执行的任务的时间，导致后续该执行的任务得不到执行，因此需要放弃过期的任务。

若当前时间未超过预设时间，则说明任务正在等待被执行，则获取所有任务。

在S4中，将多个任务放置到时间轮中，包括：

获取多个任务的执行时间和时间轮的时间刻度；

根据执行时间和时间刻度将多个任务放置到时间轮中。

进一步地，根据执行时间和时间刻度将多个任务放置到时间轮中的步骤，还包括：

根据执行时间的先后顺序，将多个任务进行排序；

将排序后的多个任务按照时间刻度的大小依次放置。

将任务按照执行时间的先后顺序进行排列后，根据时间刻度的大小依次放置，示例性地，如图2所示，时间轮的时间刻度用0-19来标注，按照任务排列的先后顺序放置即为，执行时间最早的任务放置在时间刻度标为0的时间刻度槽中，后续的任务按照顺序依次放进时间刻度标为1、2、3....的时间刻度槽中，执行时间最晚的任务放置在时间刻度标为19的时间刻度槽中。

每次任务调度获取到的任务的数量小于或者等于时间轮中时间刻度槽的数量，可以保证获取到的任务可以全部放置在时间刻度槽中。

时间轮的时间刻度可以根据调度任务进行调整，示例性地，可以将时间轮的单位时间设置为秒，即时间轮的时间刻度为秒，同时，时间轮所拥有的时间刻度槽也可以根据任务调度进行调整，例如，将时间刻度槽设置为20个，每一个时间刻度为1秒，则整个时间轮代表20秒，其中，20个时间刻度槽代表最多可以存放20个待执行任务。

在S5中，根据时间轮的时间刻度依次执行多个任务。

获取当前单位时间对应时间轮中的任务和前一单位时间所对应的时间轮中任务；

执行当前单位时间对应时间轮中的任务和前一单位时间所对应的时间轮中任务。

当前单位时间为时间轮的指针当前所对应的时间刻度，以本实施例为例，如图2所示，时间轮的单位时间为1秒，时间轮有20个时间刻度槽，若从0开始标记时间刻度槽，20个时间刻度槽所对应的时间刻度即为0-19，此时时间轮的指针指向第2个时间刻度槽，即当前单位时间为第3秒，则前一单位时间则为第2秒，因此，需要获得时间轮中运行到第2秒和第3秒时的时间刻度槽，即对应标记1和2的时间刻度槽中所存放的任务，就是需要执行的任务。

当时间轮的指针依次指向下一个时间刻度，则取出相应的时间刻度槽中的任务以及前一个时间刻度槽中的任务执行，直到时间轮中存储的所有任务都被执行完，若时间轮中的时间刻度槽中未存储任务，则不执行。

在上述实现过程中，保证待执行任务获取的实时性，可以使得执行任务得到高效的处理，并且避免遗漏执行任务，有效提升了任务的完成率。

在申请实施例中，针对复杂的任务调度，利用时间排序减少每个任务之间的依赖关系，节省了时间，提高任务调度效率。

实施例二

为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种任务调度装置，如图3所示，该装置包括：

调度模块1，用于获取任务调度的执行信号；根据执行信号获取预设时间，查询预设时间内的多个任务；获取多个任务；

执行模块2，用于将多个任务放置到时间轮中；根据时间轮的时间刻度依次执行多个任务。

进一步地，调度模块1还用于获取当前时间；判断当前时间是否超过预设时间，若是，则放弃多个任务，若否，则获取多个任务。

进一步地，执行模块2还包括：

放置单元，用于获取多个任务的执行时间和时间轮的时间刻度；根据执行时间和时间刻度将多个任务放置到时间轮中；还用于根据执行时间的先后顺序，将多个任务进行排序；将排序后的多个任务按照时间刻度的大小依次放置；

执行单元，用于获取当前单位时间对应时间轮中的任务和前一单位时间所对应的时间轮中任务；执行当前单位时间对应时间轮中的任务和前一单位时间所对应的时间轮中任务。

进一步地，如图4所示，该装置还包括：

日志模块3，用于记录任务调度的过程，得到任务调度日志。

以本实施例为例，日志模块3用于记录任务调度过程中的所有任务执行过程、状态，例如，任务是否执行成功；任务是否存在触发行为等，便于在后续查询过程中，可以方便快捷的查询到任务调度的所有数据，且方便可视化模块实时展示日志模块3中记录的任务调度日志。

进一步地，该装置还包括：

可视化模块4，用于展示任务调度日志。

进一步地，该装置还包括：

告警模块5，用于在任务调度失败时，发出告警信号。

上述的任务调度装置可实施上述实施例一的方法。上述实施例一中的可选项也适用于本实施例，这里不再详述。

本申请实施例的其余内容可参照上述实施例一的内容，在本实施例中，不再进行赘述。

实施例三

本申请实施例提供一种电子设备，包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一的任务调度方法。

可选地，上述电子设备可以是服务器。

请参见图5，图5为本申请实施例提供的电子设备的结构组成示意图。该电子设备可以包括处理器51、通信接口52、存储器53和至少一个通信总线54。其中，通信总线54用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口52用于与其他节点设备进行信令或数据的通信。处理器51可以是一种集成电路芯片，具有信号的处理能力。

上述的处理器51可以是通用处理器，包括中央处理器(Central ProcessingUnit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。

存储器53可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。存储器53中存储有计算机可读取指令，当计算机可读取指令由所述处理器51执行时，设备可以执行上述图1方法实施例涉及的各个步骤。

可选地，电子设备还可以包括存储控制器、输入输出单元。存储器53、存储控制器、处理器51、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线54实现电性连接。处理器51用于执行存储器53中存储的可执行模块，例如设备包括的软件功能模块或计算机程序。

输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。输入输出单元可以是，但不限于，鼠标和键盘等。

可以理解，图5所示的结构仅为示意，电子设备还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例还提供一种计算机程序产品，该计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种任务调度方法，其特征在于，所述方法包括：

获取任务调度的执行信号；

根据所述执行信号获取预设时间，查询所述预设时间内的多个任务；

获取所述多个任务；

将所述多个任务放置到时间轮中；

根据所述时间轮的时间刻度依次执行所述多个任务。

2.根据权利要求1所述的任务调度方法，其特征在于，所述获取所述多个任务的步骤，包括：

获取当前时间；

判断所述当前时间是否超过所述预设时间，若是，则放弃所述多个任务，若否，则获取所述多个任务。

3.根据权利要求1所述的任务调度方法，其特征在于，所述将所述多个任务放置到时间轮中的步骤，包括：

获取所述多个任务的执行时间和所述时间轮的时间刻度；

根据所述执行时间和所述时间刻度将所述多个任务放置到所述时间轮中。

4.根据权利要求3所述的任务调度方法，其特征在于，所述根据所述执行时间和所述时间刻度将所述多个任务放置到所述时间轮中的步骤，包括：

根据所述执行时间的先后顺序，将所述多个任务进行排序；

将排序后的所述多个任务按照所述时间刻度的大小依次放置。

5.根据权利要求1所述的任务调度装置，其特征在于，所述根据所述时间轮的时间刻度依次执行所述多个任务的步骤，包括：

获取当前单位时间对应时间轮中的任务和前一单位时间所对应的时间轮中任务；

执行所述当前单位时间对应时间轮中的任务和所述前一单位时间所对应的时间轮中任务。

6.一种任务调度装置，其特征在于，应用于反制控制端，所述任务调度装置包括：

调度模块，用于获取任务调度的执行信号；根据所述执行信号获取预设时间，查询所述预设时间内的多个任务；获取所述多个任务；

执行模块，用于将所述多个任务放置到时间轮中；根据所述时间轮的时间刻度依次执行所述多个任务。

7.根据权利要求6所述的任务调度装置，其特征在于，所述调度模块还用于获取当前时间；判断所述当前时间是否超过所述预设时间，若是，则放弃所述多个任务，若否，则获取所述多个任务。

8.根据权利要求6所述的任务调度装置，其特征在于，所述执行模块还包括：

放置单元，用于获取所述多个任务的执行时间和所述时间轮的时间刻度；根据所述执行时间和所述时间刻度将所述多个任务放置到所述时间轮中；还用于根据所述执行时间的先后顺序，将所述多个任务进行排序；将排序后的所述多个任务按照所述时间刻度的大小依次放置；

执行单元，用于获取当前单位时间对应时间轮中的任务和前一单位时间所对应的时间轮中任务；执行所述当前单位时间对应时间轮中的任务和所述前一单位时间所对应的时间轮中任务。

9.根据权利要求6所述的任务调度装置，其特征在于，所述装置还包括：

日志模块，用于记录任务调度的过程，得到任务调度日志；

可视化模块，用于展示所述任务调度日志；

告警模块，用于在任务调度失败时，发出告警信号。

10.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至5中任一项所述的任务调度方法。

Images