CN115658272B - Etl任务调度方法、存储介质、电子设备 - Google Patents

Abstract

本发明公开了一种ETL任务调度方法、存储介质、电子设备，其中ETL任务调度方法，包括：获取任务指针指向的时间轮格子内对应任务实例的执行时间；所述任务指针与待处理任务对应，所述任务实例与待处理任务对应；如果当前时间为所述执行时间，将对应任务实例发送至工作线程执行。该方法能够对执行周期不同的任务统一管理，降低了任务调度的复杂度。

Description

ETL任务调度方法、存储介质、电子设备

技术领域

本发明属于ETL任务调度技术领域，具体涉及一种ETL任务调度方法、存储介质、电子设备。

背景技术

大数据ETL任务具有任务类型多样、任务执行周期多样、任务依赖的特点。常规的ETL任务调度是通过解析CRON表达式获取执行时间，设置定时器来实现任务实例的调度。在任务实例数量大、执行周期多样的情况下，需要设置大量的、计时时长不同的定时器，由此会占用系统的资源。申请号为202111031285.1的中国专利文件中公开了一种任务处理方法，该方法通过设置时间轮来实现任务的调度。时间轮按照单位时间分为首尾相连的槽位队列，每个槽位对应一个目标任务集，通过循环指针的转动来实现槽位内目标任务集中任务的调度。对于任务执行周期多样的ETL任务，需要构建多个时间轮才能实现不同任务实例的调度。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种ETL任务调度方法，该方法能够对执行周期不同的任务统一管理，降低了任务调度的复杂度。

技术方案：本发明一方面公开了一种ETL任务调度方法，包括：

获取任务指针指向的时间轮格子内对应任务实例的执行时间；所述任务指针与待处理任务对应，所述任务实例与待处理任务对应；

如果当前时间为所述执行时间，将对应任务实例发送至工作线程执行。

进一步地，所述时间轮的建立步骤为：

S101、建立任务调度时间轮，所述时间轮为首尾相接的格子队列；

S102、对于每个待处理任务，根据调度计划将任务实例按执行时间顺序依次填入连续的时间轮格子中；

S103、为每个待处理任务建立任务指针，所述任务指针初始时指向时间轮中存放对应待处理任务第一个任务实例的格子。

进一步地，所述步骤S102中，当待处理任务的任务实例数量N大于所述时间轮的格子数量M时，采用循环的方式填入时间轮格子：第kM+m个任务实例填入第m个任务实例所在的格子中，其中m＝1,2,…,M，k＝1,2，…，且kM+m≤N；

所述S102中将任务实例按执行时间顺序依次填入连续的时间轮格子中之后，还包括：每个任务实例的状态初始化为未执行；

所述获取任务指针指向的时间轮格子内对应任务实例的执行时间，包括：获取所述格子内所有与所述任务指针对应的任务实例，选择其中状态为未执行且执行时间最小的任务实例，将所选择的任务实例的执行时间作为任务指针指向格子内对应任务实例的执行时间；

将对应任务实例发送至工作线程执行之后，还包括：将对应任务实例的状态修改为已执行。

进一步地，所述将对应任务实例发送至工作线程执行之后，还包括：任务指针指向下一个格子。

进一步地，所述将对应任务实例发送至工作线程执行之后，还包括：

获取工作线程对对应任务实例的执行状态，如果为未完成，则等待；

当所述执行状态为已完成，任务指针指向下一个格子；

获取任务指针指向格子内对应任务实例的执行时间，如果所述执行时间小于当前时间，任务指针指向下一个格子；再次获取任务指针指向格子内对应任务实例的执行时间，直至任务指针指向的格子内对应任务实例的执行时间大于或等于当前时间；

如果当前时间小于任务指针指向的格子内对应任务实例的执行时间，则等待，直至当前时间为任务指针指向的格子内对应任务实例的执行时间；

如果当前时间为任务指针指向的格子内对应任务实例的执行时间，将对应任务实例发送至工作线程执行。

进一步地，所述将对应任务实例发送至工作线程执行之后，还包括：

任务指针指向下一个格子；

获取任务指针指向格子内对应任务实例的任务依赖列表；检索所述任务依赖列表中所有任务对应的最近运行时间的任务实例是否均为已完成，如果均为已完成，且当前时间达到所述任务实例的执行时间，则将所述任务实例发送至工作线程。

进一步地，还包括：

对时间轮里过期任务进行清理：遍历时间轮各格子中的任务实例，如果任务实例的执行时间小于当前时间，则将对应的任务实例删除。

进一步地，还包括：

定时将时间轮、时间轮存放的任务实例、每个待处理任务的任务指针数据持久化存储；

从持久化存储中恢复时间轮、时间轮存放的任务实例、每个待处理任务的任务指针。

进一步地，当有多个工作线程时，对应任务实例发送至任务量最小的工作线程；并更新对应工作线程的任务量。

进一步地，所述更新对应工作线程的任务量，具体为：taskNum^*＝taskNum+α；其中taskNum为所述工作线程的原任务量，taskNum^*为更新后的任务量，α为加权权重，α＞0。

另一方面，本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述ETL任务调度方法的步骤。

另一方面，本发明还公开了一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现上述ETL任务调度方法的步骤。

有益效果：与现有技术相比，本发明公开的任务调度方法通过建立时间轮来管理多个任务的调度，将任务调度计划中实例数量不同、执行周期不同的任务统一管理，各任务实例由对应的任务指针转动来实现调度，降低了任务调度的复杂度；同时，将任务与调度解耦，能够对临时增加的任务进行调度。

附图说明

图1为实施例1中的时间轮示意图；

图2为实施例1中的ETL任务调度方法的流程图；

图3为实施例21中的ETL任务调度方法的流程图；

图4为本发明公开的电子设备组成示意图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明。

实施例1：

本实施例公开了一种ETL任务调度方法，设当前时间为2022年10月17日23:00:00，以任务A和任务B最近的10个实例的调度为例来进行说明。任务A每天6点执行，调度计划中最近10个实例A1-A10的运行时间为：

A1:2022-10-18 06:00:00

A2:2022-10-19 06:00:00

A3:2022-10-20 06:00:00

A4:2022-10-21 06:00:00

……

A10:2022-10-27 06:00:00；

任务B每隔12小时执行一次，调度计划中最近10个实例B1-B10的运行时间为：

B1:2022-10-18 01:00:00

B2:2022-10-18 13:00:00

B3:2022-10-19 01:00:00

……

B10:2022-10-2213:00:00。

调度计划可以通过解析任务的cron表达式获取。

调度系统刚启动时，需要新建时间轮，建立步骤为：

S101、建立任务调度时间轮，所述时间轮为首尾相接的格子队列；

时间轮内格子的数量根据业务量设置，可以根据一天或一段时间内的任务实例数量来确定。本实施例中，时间轮中的格子数量为60个，编号为0-59。由于首尾相接，59号格子后接0号格子；

S102、对于每个待处理任务，根据调度计划将任务实例按执行时间顺序依次填入连续的时间轮格子中；

对于任务A的10个实例，将其分别放入编号为0-9的格子内，即A1填入0号格子，A2填入1号格子，.......，A10填入10号格子；

对于任务B的10个实例，可以从0号格子开始填入，也可以从后面的格子开始填入，如分别填入编号为2-11的格子内；

S103、为每个待处理任务建立任务指针，所述任务指针初始时指向时间轮中存放对应待处理任务第一个任务实例的格子。

本实施例中，对任务A建立任务指针Pa，初始时指向0号格子；对任务B建立任务指针Pb，初始时指向2号格子，如图1所示。

此时时间轮的0号格子内为任务实例A1，1号格子内为任务实例A2，2号格子内为任务实例A3和B1，3号格子内为任务实例A4和B2，4号格子内为任务实例A5和B3，5号格子内为任务实例A6和B4，6号格子内为任务实例A7和B5，7号格子内为任务实例A8和B6，8号格子内为任务实例A9和B7，9号格子内为任务实例A10和B8，10号格子内为任务实例B9，11号格子内为任务实例B10。任务A对应的任务指针Pa指向A1所在的0号格子；任务B对应的任务指针Pb指向B1所在的2号格子。

图2为ETL任务调度方法的流程图，包括：

S201、获取任务指针指向的时间轮格子内对应任务实例的执行时间；

对于任务指针Pa，其指向的0号格子内对应的任务实例为A1，执行时间为2022-10-18 06:00:00；对于任务指针Pb，其指向的2号格子内有两个任务实例：A3和B1，其中与Pb对应的是B1，其执行时间为2022-10-18 01:00:00。

S202、如果当前时间为所述执行时间，将对应任务实例发送至工作线程执行。

如果当前时间到达2022-10-18 01:00:00，则将任务实例B1发送至工作线程进行执行；此时任务指针Pa继续等待，直至当前时间到达2022-10-1806:00:00，将任务实例A1发送至工作线程进行执行。

上述ETL任务调度方法通过建立时间轮来管理多个任务的调度，将任务调度计划中实例数量不同、执行周期不同的任务统一管理，各任务实例由对应的任务指针转动来实现调度，降低了任务调度的复杂度；同时，将任务与调度解耦，能够对临时增加的任务进行调度。比如，要对任务A在2022-10-19的09:00:00和11:00:00增加两个实例，则新增任务A'，任务A'与任务A相同，其第一个实例A'1的执行时间为2022-10-19 09:00:00，第二个实例A'2的执行时间为2022-10-19 11:00:00，填入时间轮两个连续的格子内，并建立任务指针Pa'指向A'1所在的格子，从而实现增加任务的调度。

当前格子内的对应任务实例发送完毕后，任务指针的转动有如下三种方式：

方式一：

任务实例发送至工作线程后，任务指针即转到下一个格子，预备下一任务实例的发送。

这种情况下，任务实例的调度均按调度计划中的执行时间进行发送，如果任务实例的处理比较耗时，任务实例会在工作线程中排队等待。

方式二：

任务实例发送至工作线程后，获取工作线程对对应任务实例的执行状态，如果为未完成，则等待；

当所述执行状态为已完成，任务指针指向下一个格子。

如果任务实例的处理时间较长，会导致下一格子内的对应任务实例“过期”的情况，本实施例采用对“过期”的任务实例进行“跳过”处理，具体为：获取任务指针指向格子内对应任务实例的执行时间，如果所述执行时间小于当前时间，任务指针指向下一个格子；再次获取任务指针指向格子内对应任务实例的执行时间，直至任务指针指向的格子内对应任务实例的执行时间大于或等于当前时间；

如果当前时间小于任务指针指向的格子内对应任务实例的执行时间，则等待，直至当前时间为任务指针指向的格子内对应任务实例的执行时间；

如果当前时间为任务指针指向的格子内对应任务实例的执行时间，将对应任务实例发送至工作线程执行。

方式二采用当前任务实例处理完成后才转动指针的方式，减少工作线程的排队实例数量；跳过超期的任务实例，使得后续的任务实例能够按时执行。

方式三：

在一些应用场景中，任务实例的执行要依赖其他任务。比如，任务D是更新表格1，而表格1会用到表格2和表格3的数据，表格2和表格3分别由任务E和任务F来更新。为了使得表格1中涉及表格2和表格3的数据均为最新，则需要在表格2和表格3更新后再更新表格1的数据，即任务D依赖于任务E和F。任务D的任务依赖列表中包括了任务E和F。这种情况下任务D对应的任务指针的转动为：将对应任务实例发送至工作线程执行之后，还包括：

任务指针指向下一个格子；

获取任务指针指向格子内对应任务实例的任务依赖列表；检索所述任务依赖列表中所有任务对应的最近运行时间的任务实例是否均为已完成，如果均为已完成，且当前时间达到所述任务实例的执行时间，则将所述任务实例发送至工作线程。

无论采用哪种任务指针的转动方式，工作线程执行的速度均会影响到任务实例的处理。为了提高处理效率，通常采用多工作线程，本实施例中，当采用集群的方式，有多个工作线程时，将对应任务实例发送至任务量最小的工作线程；并更新对应工作线程的任务量。

工作线程执行任务实例时采用的工具不同，也会影响到处理速度。本实施例对不同的数据分析工具赋予不同的权重，来平衡多工作线程的任务量。具体为：所述更新对应工作线程的任务量，具体为：taskNum^*＝taskNum+α；其中taskNum为所述工作线程的原任务量，taskNum^*为更新后的任务量，α为加权权重，α＞0。本实施例中，如果采用hive，则α为1；如果采用impala，则α值为2；如果采用shell，则α值为3。

当ETL任务调度方法执行一段时间后，时间轮中会有过期任务实例，因此，本实施例公开的ETL任务调度方法还包括对时间轮里过期任务进行清理：遍历时间轮各格子中的任务实例，如果任务实例的执行时间小于当前时间，则将对应的任务实例删除。

清理步骤可以定时执行，也可以根据用户的指令主动执行。

如果执行调度方法的机器突然故障，则可能导致时间轮数据丢失；当系统再一次启动时调度将从头开始，而不能从断电时的状态开始执行。为了实现高可用，本实施例中采用定时持久化时间轮和指针数据的方式。具体为：

启动5秒一次心跳线程，将内存中的时间轮、时间轮存放的任务实例、每个待处理任务的任务指针数据写入高性能kv存储hbase中做持久化；

当恢复时，先从持久化存储中读取时间轮、时间轮存放的任务实例、每个待处理任务的任务指针数据；如果从持久化存储中获取失败，则再执行步骤S101-S103，重新建立时间轮。

实施例2：

如果调度计划中对某任务的实例数量很大，如两个实例之间的间隔为分秒级，则一天内会有大量的实例，此时采用循环的方式填入时间轮格子，具体为：

当待处理任务的任务实例数量N大于所述时间轮的格子数量M时，第kM+m个任务实例填入第m个任务实例所在的格子中，其中m＝1,2,…,M，k＝1,2，…，且kM+m≤N。以任务C为例，任务C每隔10分钟执行一次，一天需要执行144次，如果只对2022-10-18日的实例进行调度，144个实例的执行时间分别为：

C1:2022-10-18 00:00:00

C2:2022-10-18 00:10:00

C3:2022-10-18 00:20:00

C4:2022-10-18 00:30:00

……

C143:2022-10-18 23:40:00

C144:2022-10-18 23:50:00。

将C1填入时间轮中的0号格子，则第59号格子中填入的是C60，C61继续填入0号格子，第59号格子填入C120，C121-C144依次填入0-23号格子。这样每个格子中存放的任务C的实例不止一个。

任务实例按执行时间顺序依次填入连续的时间轮格子中之后，每个任务实例的状态初始化为未执行。为任务C建立任务指针Pc，Pc指向0号格子。

本实施例中的ETL任务调度方法如图3所示，包括：

S301、获取任务指针指向的时间轮格子内对应任务实例的执行时间，具体为：

获取所述格子内所有与所述任务指针对应的任务实例，选择其中状态为未执行且执行时间最小的任务实例，将所选择的任务实例的执行时间作为任务指针指向格子内对应任务实例的执行时间。

本实施例中，0号格子内有C1、C61、C121这三个任务，初始时其状态均为未执行，C1为其中执行时间最小的任务实例，则当前时刻0号格子内Pc对应的任务实例的执行时间为C1的执行时间。

S302、当当前时间达到C1的执行时间后，将C1发送至工作线程执行，并将C1的状态修改为已执行。

当后续任务指针Pc再次指向0号格子时，由于C1的状态为已执行，则C61为与Pc对应的任务实例中状态为未执行的执行时间最小的任务实例。

本实施例中采用循环存储的方式将大量的任务实例填入时间轮，由此对任务实例数量差别较大的任务进行统一管理。

本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中ETL任务调度方法的步骤。

本发明还公开了一种电子设备，如图4所示，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现上述实施例中ETL任务调度方法的步骤。

Claims (10)

1.一种ETL任务调度方法，其特征在于，包括：

获取任务指针指向的时间轮格子内对应任务实例的执行时间；所述任务指针与待处理任务对应，所述任务实例与待处理任务对应；

如果当前时间为所述执行时间，将对应任务实例发送至工作线程执行；

所述时间轮的建立步骤为：

S101、建立任务调度时间轮，所述时间轮为首尾相接的格子队列；

S102、对于每个待处理任务，根据调度计划将任务实例按执行时间顺序依次填入连续的时间轮格子中；

S103、为每个待处理任务建立任务指针，所述任务指针初始时指向时间轮中存放对应待处理任务第一个任务实例的格子；

所述步骤S102中，当待处理任务的任务实例数量N大于所述时间轮的格子数量M时，采用循环的方式填入时间轮格子：第kM+m个任务实例填入第m个任务实例所在的格子中，其中m＝1,2,…,M；k＝1,2，…，且kM+m≤N；

所述S102中将任务实例按执行时间顺序依次填入连续的时间轮格子中之后，还包括：每个任务实例的状态初始化为未执行；

所述获取任务指针指向的时间轮格子内对应任务实例的执行时间，包括：获取所述格子内所有与所述任务指针对应的任务实例，选择其中状态为未执行且执行时间最小的任务实例，将所选择的任务实例的执行时间作为任务指针指向格子内对应任务实例的执行时间；

将对应任务实例发送至工作线程执行之后，还包括：将对应任务实例的状态修改为已执行。

2.根据权利要求1所述的ETL任务调度方法，其特征在于，所述将对应任务实例发送至工作线程执行之后，还包括：

任务指针指向下一个格子。

3.根据权利要求1所述的ETL任务调度方法，其特征在于，所述将对应任务实例发送至工作线程执行之后，还包括：

获取工作线程对对应任务实例的执行状态，如果为未完成，则等待；

当所述执行状态为已完成，任务指针指向下一个格子；

获取任务指针指向格子内对应任务实例的执行时间，如果所述执行时间小于当前时间，任务指针指向下一个格子；再次获取任务指针指向格子内对应任务实例的执行时间，直至任务指针指向的格子内对应任务实例的执行时间大于或等于当前时间；

如果当前时间小于任务指针指向的格子内对应任务实例的执行时间，则等待，直至当前时间为任务指针指向的格子内对应任务实例的执行时间；

如果当前时间为任务指针指向的格子内对应任务实例的执行时间，将对应任务实例发送至工作线程执行。

4.根据权利要求1所述的ETL任务调度方法，其特征在于，所述将对应任务实例发送至工作线程执行之后，还包括：

任务指针指向下一个格子；

获取任务指针指向格子内对应任务实例的任务依赖列表；检索所述任务依赖列表中所有任务对应的最近运行时间的任务实例是否均为已完成，如果均为已完成，且当前时间达到所述任务实例的执行时间，则将所述任务实例发送至工作线程。

5.根据权利要求1所述的ETL任务调度方法，其特征在于，还包括：

对时间轮里过期任务进行清理：遍历时间轮各格子中的任务实例，如果任务实例的执行时间小于当前时间，则将对应的任务实例删除。

6.根据权利要求1所述的ETL任务调度方法，其特征在于，还包括：

定时将时间轮、时间轮存放的任务实例、每个待处理任务的任务指针数据持久化存储；

从持久化存储中恢复时间轮、时间轮存放的任务实例、每个待处理任务的任务指针。

7.根据权利要求1所述的ETL任务调度方法，其特征在于，当有多个工作线程时，对应任务实例发送至任务量最小的工作线程；并更新对应工作线程的任务量。

8.根据权利要求7所述的ETL任务调度方法，其特征在于，所述更新对应工作线程的任务量，具体为：taskNum^*＝taskNum+α；其中taskNum为所述工作线程的原任务量，taskNum^*为更新后的任务量，α为加权权重，α＞0。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述ETL任务调度方法的步骤。

10.一种电子设备，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1至8中任一项所述ETL任务调度方法的步骤。