CN111078378A - 任务调度方法、装置及电子设备 - Google Patents

Abstract

本发明公开了一种任务调度方法、装置及电子设备，其中任务调度方法包括：获取待执行任务列表和执行器属性信息；基于所述待执行任务列表和所述属性信息对所述待执行任务列表进行动态分片，将待执行任务列表动态分配至对应的所述执行器；监听所述多个执行器的任务执行进度，当所述多个执行器均完成任务执行时，进行下一次调用。动态分片可以使得任务分配有序，监听执行器的执行任务的进度，可以防止同时执行两次调用，进而有效的防止任务重复执行，提升任务执行效率。

Description

任务调度方法、装置及电子设备

技术领域

本发明涉及数据处理技术领域，具体涉及到一种任务调度方法、装置及电子设备。

背景技术

现有技术的任务调度方法基本都是通过任务调度系统进行调度工作，例如调用定时任务时，通过预设时间定时调用执行器触发任务方法，目前任务调度存在如下问题：

在执行器执行任务时，获取待执行任务列表，遍历待执行任务列表逐条执行任务，如果执行成功，任务状态标记已完成，如果执行失败则跳过等待下次执行；在执行器执行任务时存在的问题为，假定设置每5分钟扫描一次任务表，如果当前执行的任务由于某些原因阻塞，导致下一次任务开始执行，此时将会同时执行两次调用，从而造成同一任务的重复执行。

在任务调度时，任务调度系统获取配置好的任务列表，生成对应数量线程数，各个线程调用各自任务接口，触发执行器执行任务的具体业务逻辑；在任务调度时存在的问题，如果创建3个线程，在进行接口调用时，可能有两个以上的线程同时调用一个执行器，此时若两个执行器的模式相同，则会造成任务的重复执行。

综上，任务调度系统调度执行器时，存在任务的重复执行，此行为不仅会给自身服务器增加压力，也会造成数据库的脏数据，第三方接口的服务器压力增大，相关依赖服务的流程紊乱。

因此，如何防止任务重复调度成为亟待解决的技术问题。

发明内容

本发明实施例要解决的技术问题为如何防止任务重复调度。

根据第一方面，本发明实施例提供了一种任务调度方法，包括：获取待执行任务列表和执行器属性信息；基于待执行任务列表和属性信息对待执行任务列表进行动态分片，将待执行任务列表动态分配至对应的执行器；监听多个执行器的任务执行进度，当多个执行器均完成任务执行时，进行下一次调用。

可选地，基于待执行任务列表和属性信息对待执行任务列表进行动态分片包括：获取待执行任务列表的第一标识信息；根据属性信息得到执行器的第二标识信息；根据第一标识信息和第二标识信息将待执行任务列表匹配至执行器。

可选地，获取待执行任务列表的第一标识信息包括：获取待执行任务列表的主键信息；对主键信息进行取模，得到第一取模结果；将第一取模结果作为第一标识信息。

可选地，属性信息包括执行器的IP；根据属性信息得到执行器的第二标识信息包括：配置待执行任务列表的分片数；获取执行器的IP；将执行器IP根据分片数取模，得到第二取模结果；将取模结果散列分配至多个执行器，得到执行器的第二标识信息。

可选地，根据第一标识信息和第二标识信息将待执行任务列表匹配至执行器包括：对比第一标识信息和所述第二标识信息；在第一标识信息和所述第二标识信息相同时，将待执行任务列表匹配执行器。

可选地，属性信息包括执行器的工作状态；监听多个执行器的任务执行进度包括：根据执行器的状态获取执行器的上线数量；根据上线数量配置计数器数值；判断执行器的任务执行状态，如果待执行任务列表全部执行完成，计数器数值减一，直至计数器数值为零，确认多个执行器均完成任务执行。

可选地，判断执行器的任务执行状态包括：判断任务执行是否执行成功；当任务执行失败时，对执行失败的任务添加重试变量。

根据第二方面，本发明实施例提供了一种任务调度装置，包括：获取模块，用于获取待执行任务列表和执行器属性信息；分片模块，用于基于待执行任务列表和属性信息对待执行任务列表进行动态分片，将待执行任务列表动态分配至对应的执行器；监听模块，用于监听多个执行器的任务执行状态，当多个执行器均完成任务执行时，调取下一待执行任务。

可选地，获取模块包括：第一获取单元，用于获取待执行任务的第一标识信息；第二获取单元，用于根据属性信息得到执行器的第二标识信息；匹配单元，用于根据第一标识信息和第二标识信息将待执行任务匹配至执行器，以开始执行待执行任务。

根据第三方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行上述第一方面任意一项描述的任务调度方法。

根据第四方面，本发明实施例提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器执行上述第一方面任一项描述的任务调度方法。

通过基于待执行任务列表和属性信息对待执行任务列表进行动态分片，将待执行任务列表分配到预定的执行器进行执行可以根据上线的执行器动态的分配执行任务，不仅可以使得任务分配有序，在多个线程同时调用一个任务接口，不会出现任务的重复执行，而且通过动态分片可以任意设置新的分片数量，灵活性高，有效的防止不同的执行器执行统一任务，并且，通过监听执行器的执行任务的进度，在当前调用的任务全部执行完成后，再进行下一次调用，可以防止由于当前执行的任务由于某些原因阻塞，导致下一次任务开始执行，而导致的同时执行两次调用。可以有效提升了任务执行效率，很大程度上减轻了执行器的压力，有效避免了数据库脏数据的产生，减小造成数据空间的浪费，并有效避免了对整体业务流程造成干扰，保证业务流程的有序进行，提升整体业务的工作效率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本实施例的任务调度方法的示意图；

图2示出了本实施例的任务调度装置的示意图；

图3示出了本发明实施例的电子设备的示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种任务调度方法，在本实施例中可以以定时任务为例进行说明，在达到预设时间后，任务调度系统调度执行器执行待执行的任务列表逻辑，具体的，任务列表有多个任务，任务逐项执行处理。具体的可以参见图1，该任务调度方法可以包括如下步骤：

S1.获取待执行任务列表和执行器属性信息。在本实施例中，任务列表可以包括多项任务，每项任务需逐条进行处理。可以通过监听模块对执行器进行监听，例如可以通过zookeeper对整个调度过程中的执行器的上下线的工作状态进行持续监听，在监听到执行器的上线后，可以获取执行器的IP，从而得到包括执行器的IP和工作状态的属性信息。

S2.基于待执行任务列表和属性信息对待执行任务列表进行动态分片，将待执行任务列表动态分配至对应的执行器。具体的动态分片，可以根据上线的执行器的属性信息将待执行任务列表分配至对应的执行器进行执行。示例性的，可以获取待执行任务列表的第一标识信息。在本实施例中，第一标识信息可以为待执行任务的标识信息，例如可以对待执行任务列表的主键取模，取模结果可以作为待执行任务列表的第一标识信息，在本实施例中，该标识信息可以为主键取模结果，也可以为其他的标识信息。可以根据执行器的属性信息获取执行器的第二标识信息。可以根据执行器的IP得到执行器的第二标识信息，作为示例性的实施例，可以先对待执行任务列表配置基础信息和分片数，在获取到执行器IP后，将执行器IP根据分片数取模，将取模结果散列分配至多个执行器作为执行的第二标识信息。在本实施例中，第二标识信息可以作为待执行任务分配的标识，可以针对第二标识信息将待执行任务分配至对应的执行器。在第一标识信息和第二标识信息相同时，则将对应的待执行任务分配至对应的执行器，执行器将任务状态初始化，遍历任务列表，开始执行任务。

S3.监听多个执行器的任务执行进度，当多个执行器均完成任务执行时，进行下一次调用。可以通过监听模块持续监听执行器的上下线动态，在执行器中任务时上线，会被监听模块监听到，在执行任务完成后，执行器下线，也可以通过监听模块监听到。可以在监听到执行器均完成任务后，再进行下一次调用。可以有效防止任务的重读调用与执行。

通过基于待执行任务列表和属性信息对待执行任务列表进行动态分片，将待执行任务列表分配到预定的执行器进行执行可以根据上线的执行器动态的分配执行任务，不仅可以使得任务分配有序，在多个线程同时调用一个任务接口，可以避免出现任务的重复执行，进而可以有效提升了任务执行效率，很大程度上减轻了执行器的压力，并且，任务不重复执行也可以避免了数据库脏数据的产生，减小数据空间的浪费而且通过动态分片可以任意设置新的分片数量，灵活性高，在执行任务的过程中通过监听执行器的执行任务的进度，在当前调用的任务全部执行完成后，再进行下一次调用，可以防止由于当前执行的任务由于某些原因阻塞，导致下一次任务开始执行，而导致的同时执行两次调用，有效避免了对整体业务流程造成干扰，保证业务流程的有序进行，提升整体业务的工作效率。

作为示例性的实施例，获取执行器的第二标识信息可以通过将执行器IP根据任务列表的分片数取模确定，具体的，开始执行任务之前，可以配置待执行任务列表的分片数以及待执行任务的基础信息，在开始执行任务之后，通过zookeeper监听任务执行器的动态上下线，可以全程监听调度过程，使得调度有序进行。获取执行器的IP；将执行器IP根据分片数取模，得到取模结果；将取模结果散列分配至多个执行器。监听执行器的上线数量；基于执行器的上线数量确定待执行任务列表的分片数，示例性的，分片数为9，设有3台执行器，然后对9取模，得到0-8的结果，将0-8的取模结果散列分给3台执行器，例如，各个执行器的分配结果为：执行器1：0，2，5、执行器2:1，3，7、执行器3:4，6，8，随机分配即可。获取待执行任务列表的第一标识信息可以通过获取待执行任务列表的主键信息；对主键信息进行取模，得到第一标识信息。作为实施例行的实施例。对任务列表的主键取模，如果主键取模结果落在0，2，5则会分配到执行器1，并以此类推。在分配任务之前，可以根据上线的执行器，将执行器的IP取模，并且对待执行任务列表取模，在分配任务时，不仅可以使得各个执行器负载均衡，而且，可以防止同一待执行任务被两个执行器执行。

在本实施例中，在监听执行执行器任务执行进度时，可以采用计数的方式进行，例如，可以通过Redis计数器记录上线的执行器的数量，具体的，可以通过调取任务执行器的接口确定执行器的数量，并将该数量作为Redis计数器的数值。在Zookeeper在整个调度过程中会持续监听任务执行器的上下线动态，IP下线Redis计数减1，IP上线Redis计数加1。可以通过计数器的数值确认当前调度的任务是否执行完成，具体的，当任务执行器的任务列表全部执行完成后，Redis计数做减1操作；当Redis计数器数值为0时，表征执行器全部执行任务完毕，可以进行下一次调度。通过Redis计数器对执行器的上下线进行计数，配合Zookeeper的监控可以快速准确的监控各个执行器的执行进度，能够保证每次调用有序进行。

为防止执行失败的任务与下一次任务同时执行两次调用，作为示例性的实施例，可以监控任务执行情况，将任务状态初始化，遍历任务列表，开始执行任务判断任务执行是否执行成功；当任务执行失败时，对执行失败的任务添加重试变量。即将执行失败的任务进行标记，并且，任务在执行失败时，可以重试执行，每次失败后，标记加1，直至达到预设重试次数或达到预设的标记数量。任务结束执行，可以有效的防止任务不断重复执行，防止脏数据产生。

下面将以示例性的实施例对本实施例中的任务调度与执行的过程进行完整详细的阐述：

开始执行任务之前，配置定时任务的基础信息以及分片数，任务调度系统获取执行器的IP地址；将执行器IP根据配置好的分片数取模，将取模结果存储在监听模块中监听模块可以采用zookeeper模块，并将取模结果散列分配给各个任务执行器。在执行调度工作时，首先判断Redis计数器的数值是否为0，如果为0则调取任务执行器的接口确认执行器的数量，并将该数量作为Redis计数器的数值。如果不为0则表征上一任务还未执行完毕，需跳出，等待下一次执行。监听模块在整个调度过程中会持续监听任务执行器的上下线动态，执行器下线Redis计数减1，执行器上线Redis计数加1；任务执行器收到调取通知后，会对任务列表的主键取模，如果取模结果与执行器IP对分片数的取模结果相同值，则将该任务列表分配至该执行器。执行器将任务状态初始化，遍历任务列表，开始执行任务：任务执行成功，状态设置为执行成功，若执行失败，重试变量加1入库；任务执行器的任务列表全部执行完成后，Redis计数做减1操作；当Redis计数器数值为0时，进行下一次调度。由此，在一个任务调取的过程中，由于基于待执行任务列表和属性信息对待执行任务列表进行动态分片，可以使得任务分配有序，在多个线程同时调用一个任务接口，不会出现任务的重复执行，有效的防止不同的执行器执行统一任务，并且，通过监听执行器的执行任务的进度，在当前调用的任务全部执行完成后，再进行下一次调用，调度有序进行。防止任务出现重复执行，提高任务执行效率。

本发明实施例提供了一种任务调度装置，如图2所示，该装置包括：

获取模块10，用于获取待执行任务列表和执行器属性信息；分片模块20，用于基于待执行任务列表和属性信息对待执行任务列表进行动态分片，将待执行任务列表动态分配至对应的执行器；监听模块30，用于监听多个执行器的任务执行状态，当多个执行器均完成任务执行时，调取下一待执行任务。

作为示例性的实施例，获取模块包括：第一获取单元，用于获取待执行任务的第一标识信息；第二获取单元，用于根据属性信息得到执行器的第二标识信息；匹配单元，用于根据第一标识信息和第二标识信息将待执行任务匹配至执行器，以开始执行待执行任务。

作为示例性的实施例，第一获取单元包括：第一获取子单元，用于获取待执行任务列表的主键信息；第一取模子单元，用于对主键信息进行取模，得到第一标识信息。

作为示例性的实施例，属性信息包括执行器的IP；第二获取单元包括：配置子单元，用于配置待执行任务列表的分片数；第二获取子单元。获取执行器的IP；第二取模子单元，用于将执行器IP根据分片数取模，得到取模结果；分配子单元，用于将取模结果散列分配至多个执行器。

作为示例性的实施例，属性信息包括执行器的工作状态；监听模块包括：第三获取单元，用于根据执行器的状态获取执行器的上线数量；匹配单元，根据上线数量配置计数器数值；

判断单元，用于判断执行器的任务执行状态；执行单元，用于如果待执行任务列表全部执行完成，计数器数值减一，直至计数器数值为零，确认多个执行器均完成任务执行。

作为示例性的实施例，判断单元包括：判断子单元，用于判断任务执行是否执行成功；当任务执行失败时，重试变量添加单元，用于对执行失败的任务添加重试变量。

本发明实施例提供了一种电子设备，如图3所示，该电子设备包括一个或多个处理器31以及存储器32，图3中以一个处理器33为例。

该控制器还可以包括：输入装置33和输出装置34。

处理器31、存储器32、输入装置33和输出装置34可以通过总线或者其他方式连接，图3中以通过总线连接为例。

处理器31可以为中央处理器(CentralProcessingUnit，CPU)。处理器31还可以为其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的控制方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的任务调度方法。

存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置33可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置34可包括显示屏等显示设备。

一个或者多个模块存储在存储器32中，当被一个或者多个处理器31执行时，执行如图1所示的方法。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指示相关的硬件来完成，被执行的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各电机控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种任务调度方法，其特征在于，包括：

获取待执行任务列表和执行器属性信息；

基于所述待执行任务列表和所述属性信息对所述待执行任务列表进行动态分片，并将待执行任务列表动态分配至对应的执行器；

监听所述多个执行器的任务执行进度，当所述多个执行器均完成任务执行时，进行下一次调用。

2.如权利要求1所述的任务调度方法，其特征在于，所述基于所述待执行任务列表和所述属性信息对所述待执行任务列表进行动态分片包括：

获取所述待执行任务列表的第一标识信息；

根据所述属性信息得到所述执行器的第二标识信息；

根据所述第一标识信息和所述第二标识信息将所述待执行任务列表匹配至所述执行器。

3.如权利要求2所述的任务调度方法，其特征在于，获取待执行任务列表的第一标识信息包括：

获取所述待执行任务列表的主键信息；

对所述主键信息进行取模，得到第一取模结果；

将所述第一取模结果作为所述第一标识信息。

4.如权利要求3所述的任务调度方法，其特征在于，所述属性信息包括执行器的IP；

所述根据所述属性信息得到所述执行器的第二标识信息包括：

配置待执行任务列表的分片数；

获取执行器的IP；

将所述执行器IP根据所述分片数取模，得到第二取模结果；

将所述第二取模结果散列分配至所述多个执行器，得到所述执行器的第二标识信息。

5.如权利要求2～4任一项所述的任务调度方法，其特征在于，所述根据所述第一标识信息和所述第二标识信息将所述待执行任务列表匹配至所述执行器包括：

对比所述第一标识信息和所述第二标识信息；

在所述第一标识信息和所述第二标识信息相同时，将所述待执行任务列表匹配所述执行器。

6.如权利要求1所述的任务调度方法，其特征在于，所述属性信息包括执行器的工作状态；

所述监听所述多个执行器的任务执行进度包括：

根据所述执行器的状态获取所述执行器的上线数量；

根据所述上线数量配置计数器数值；

判断所述执行器的任务执行状态，如果所述待执行任务列表全部执行完成，所述计数器数值减一，直至所述计数器数值为零，确认所述多个执行器均完成任务执行。

7.如权利要求6所述的任务调度方法，其特征在于，所述判断所述执行器的任务执行状态包括：

判断所述任务执行是否执行成功；

当所述任务执行失败时，对执行失败的任务添加重试变量。

8.一种任务调度装置，其特征在于，包括：

获取模块，用于获取待执行任务列表和执行器属性信息；

分片模块，用于基于所述待执行任务列表和所述属性信息对所述待执行任务列表进行动态分片，并将待执行任务列表动态分配至对应的执行器；

监听模块，用于监听所述多个执行器的任务执行状态，当所述多个执行器均完成任务执行时，调取下一待执行任务。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7任意一项所述的任务调度方法。

10.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-7任一项所述的任务调度方法。

Images