CN112667382A - 任务调度方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及任务调度领域，具体公开了一种任务调度方法、装置、设备及存储介质，所述方法包括：接收消息队列发送的待执行任务的任务触发消息，并对所述任务触发消息进行有效性检验，所述任务触发消息中包括所述待执行任务的任务标识；若对所述任务触发消息的有效性检验成功，则将所述任务标识缓存至任务缓存，并执行所述待执行任务；基于所述任务缓存中缓存的任务标识，更新所述待执行任务的任务状态；将更新后的所述待执行任务的任务状态发送至所述消息队列，使服务端基于更新后的所述待执行任务的任务状态进行更新。以提高单位时间内触发任务的数量以及系统的可靠性。

Description

任务调度方法、装置、设备及存储介质

技术领域

本申请涉及任务调度领域，尤其涉及一种任务调度方法、装置、设备及存储介质。

背景技术

目前，随着互联网公司的业务发展等，多任务、高并发场景已经变得非常普遍，单个任务的复杂度和并发任务的数量日益增加。因此，通常采用分布式任务调度系统，实现任务调度与任务执行分离，由服务端负责任务调度，客户端负责任务执行。但现有技术中大多使用HTTP实时调用方式，在服务端触发的任务数较多或者客户端响应缓慢的情况下，会严重影响任务触发性能，造成任务触发延迟甚至漏触发。

因此，如何提高单位时间内触发任务的数量以及系统的可靠性成为亟待解决的问题。

发明内容

本申请提供了一种任务调度方法、装置、设备及存储介质，以提高单位时间内触发任务的数量以及系统的可靠性。

第一方面，本申请提供了一种任务调度方法，所述方法包括：

接收消息队列发送的待执行任务的任务触发消息，并对所述任务触发消息进行有效性检验，所述任务触发消息中包括所述待执行任务的任务标识；若对所述任务触发消息的有效性检验成功，则将所述任务标识缓存至任务缓存，并执行所述待执行任务；基于所述任务缓存中缓存的任务标识，更新所述待执行任务的任务状态；将更新后的所述待执行任务的任务状态发送至所述消息队列，使服务端基于更新后的所述待执行任务的任务状态进行更新。

第二方面，本申请还提供了一种任务调度装置，所述装置包括：

消息校验模块，用于接收消息队列发送的待执行任务的任务触发消息，并对所述任务触发消息进行有效性检验，所述任务触发消息中包括所述待执行任务的任务标识；标识缓存模块，用于若对所述任务触发消息的有效性检验成功，则将所述任务标识缓存至任务缓存，并执行所述待执行任务；状态更新模块，用于基于所述任务缓存中缓存的任务标识，更新所述待执行任务的任务状态；状态发送模块，用于将更新后的所述待执行任务的任务状态发送至所述消息队列，使服务端基于更新后的所述待执行任务的任务状态进行更新。

第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的任务调度方法。

第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的任务调度方法。

本申请公开了一种任务调度方法、装置、设备及存储介质，通过接收消息队列发送的待执行任务的任务触发消息，然后对任务触发消息进行有效性校验，当对任务触发消息有效性校验成功时，将任务触发消息中的任务标识缓存至任务缓存中，并且执行待执行任务，再根据任务缓存中缓存的任务标识来更新待执行任务的任务状态，最后将更新后的任务状态发送至消息队列，使得服务端能够基于消息队列中的更新后的任务状态来对待执行任务进行更新。使用消息队列实现服务端与客户端之间的通信，能够异步传递消息，且解耦，任务触发通知不受客户端性能影响，同时任务执行状态反馈不受服务端性能影响，使用消息队列在多个客户端反馈执行状态时也能够起到缓冲作用。并且，使用缓存的任务标识来作为更新任务状态的基准，反馈任务状态时不受服务端性能的影响。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种任务调度方法的示意流程图；

图2是本申请实施例提供的接收任务触发消息的步骤示意流程图；

图3是本申请实施例提供的更新待执行任务的任务状态的示意流程图；

图4是本申请实施例提供的一种任务调度装置的示意性框图；

图5为本申请实施例提供的一种计算机设备的结构示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

本申请的实施例提供了一种任务调度方法、装置、计算机设备及存储介质。任务调度方法可应用于分布式任务调度系统中，实现客户端与服务端之间的任务调度。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1是本申请实施例提供的一种任务调度方法的示意流程图。该任务调度方法通过设置消息队列，利用消息队列实现消息的异步传输，并根据缓存的任务标识来更新任务状态，降低服务端性能对于反馈任务状态的影响。

如图1所示，该任务调度方法，具体包括：步骤S101至步骤S104。

S101、接收消息队列发送的待执行任务的任务触发消息，并对所述任务触发消息进行有效性检验。

在任务调度系统中，服务端继承了任务调度框架quartz，并且在待执行任务到点被触发时，在数据库中保存待执行任务的任务状态，此时，待执行任务的任务状态为“待通知”。同时，服务端组装任务触发消息，并将任务触发消息发送给消息队列，实现任务触发消息的异步发送。

客户端接收消息队列发送的待执行任务的任务触发消息，并对该任务触发消息进行有效性检验，以便于在检验成功后执行该待执行任务。其中，所述任务触发消息中包括所述待执行任务的任务标识。

在一实施例中，所述消息队列包括主队列和备队列；如图2所示，图2是本申请实施例提供的接收任务触发消息的步骤示意流程图，接收任务触发消息包括：步骤S1011、检测所述主队列发送的待执行任务的任务触发消息是否发送成功；步骤S1012、若所述主队列发送的待执行任务的任务触发消息未发送成功，则使用所述备队列发送所述任务触发消息。

消息队列包括主队列和备队列两个队列，在使用消息队列向客户端发送消息时，首先使用主队列向客户端发送任务触发消息，若检测到主队列消息发送失败，则切换至备队列，使用备队列向客户端发送任务触发消息。

在将任务触发消息发送成功后，服务端将待执行任务的任务状态从“待通知”更新为“待运行”。若任务触发消息发送失败，则将该任务触发消息写入重试表，由定时任务定期重试，直至任务触发消息发送成功或该待执行任务再次被触发。其中，主队列可以是MQ消息队列，备队列可以是zookeeper。

需要说明的是，哪一个消息队列为主队列，哪一个消息队列为备队列可自行设置。

使用消息队列的方式异步且解耦，任务触发消息的发送不受客户端性能的影响，能够在单位时间内触发更多的任务。并且，设置主队列和备队列，在任意一个消息队列服务异常时，可以启动另一个消息队列完成任务触发消息的发送，使得定时任务不受影响，提高容错率。

在一实施例中，所述对所述任务触发消息进行有效性检验，包括：对所述任务触发消息的消息时效、所述待执行任务的任务参数和所述待执行任务的任务锁进行有效性校验。

其中，有效性检验具体是指检查任务触发消息是否在有效期内，以及待执行任务的任务参数是否正确，并获取待执行任务的任务锁。只有当任务触发消息在有效期内，任务参数正确且获取到任务锁的情况下，才认为有效性检验成功。若任一条件不符合，则认为校验失败。任务锁例如可以是zookeeper分布式锁或者客户端自身实现的锁。

S102、若对所述任务触发消息的有效性检验成功，则将所述任务标识缓存至任务缓存，并执行所述待执行任务。

若客户端对任务触发消息的有效性校验成功，将待执行任务的任务标识进行缓存，然后基于该任务标识执行待执行任务。其中，该任务标识表示需要执行的任务。在缓存时，可以将任务标识缓存至任务缓存中。其中，任务缓存的类型为ConcurrentHashMap。

在一实施例中，该方法包括：若对所述任务触发消息的有效性检验成功，则对所述待执行任务的任务状态进行预测得到预测任务状态，并将所述预测任务状态进行存储。

其中，预测任务状态是指在执行待执行任务之前，对该待执行任务的任务状态的预测状态。在对任务触发消息的有效性校验成功后，客户端对待执行任务的任务状态进行预测，认为此时待执行任务的任务状态为“运行中”，并对预测任务状态进行存储。

在一实施例中，所述将所述预测任务状态进行存储，包括：将所述预测任务状态存储至延迟队列中，所述延迟队列为设置了消息的延迟获取时间的队列。

例如，延迟队列可以是JAVA延迟队列DelayQueue，用于延迟发送队列内的消息，延迟时间例如可以是10秒，延迟时间可以根据实际情况自行配置。在执行待执行任务之前，可以先对该待执行任务的任务状态进行预测，得到待执行任务的预测任务状态为运行中，并将该预测任务状态缓存至延迟队列中，在达到延迟队列的消息发送条件时，将缓存的预测任务状态返回至服务端。

其中，在从延迟队列中获取预测任务状态时，只有超过延迟队列所设置的延迟时间的预测任务状态才会被获取，否则阻塞。

S103、基于所述任务缓存中缓存的任务标识，更新所述待执行任务的任务状态。

在开始执行待执行任务后，客户端根据任务缓存中缓存的任务标识，对待执行任务的任务状态进行更新。在更新待执行任务的任务状态时，可以根据待执行任务的任务标识是否还缓存在任务缓存中进行更新。

在一实施例中，所述方法包括：当所述待执行任务执行完毕后，删除所述任务缓存中缓存的所述待执行任务的任务标识。

在客户端执行任务结束后，将任务标识从任务缓存中删除，表示该任务已经执行完毕。此时，待执行任务的执行状态有两种，运行成功或者运行失败。

在一实施例中，请参阅图3，图3是本申请实施例提供的更新待执行任务的任务状态的示意流程图，包括：S1031、检测所述任务缓存中是否缓存有所述待执行任务的任务标识；S1032、若所述任务缓存中缓存有所述待执行任务的任务标识，则获取存储的所述预测任务状态，并根据所述预测任务状态更新所述待执行任务的任务状态；S1033、若所述任务缓存中没有缓存所述待执行任务的任务标识，则获取所述待执行任务的执行状态，并根据所述执行状态更新所述待执行任务的任务状态。

在更新待执行任务的任务状态时，首先检测任务缓存中是否存在该待执行任务的任务标识，若任务缓存中存在该任务标识，则认为该待执行任务尚未执行完毕，可以根据预测任务状态更新待执行任务的任务状态。也即，将待执行任务的任务状态更新为预测任务状态。

若任务缓存中不存在该任务标识，则认为该待执行任务已经执行完毕，此时可直接获取待执行任务的执行状态，例如运行成功或运行失败，根据获取到的执行状态来对待执行任务的任务状态进行更新，也即将待执行任务的任务状态更新为获取到的执行状态。

S104、将更新后的所述待执行任务的任务状态发送至所述消息队列，使服务端基于更新后的所述待执行任务的任务状态进行更新。

客户端在执行待执行任务后，待执行任务的任务状态会发生改变，并且客户端也已经对待执行任务的任务状态进行了相应的更新。因此，客户端可以将更新后的待执行任务的任务状态发送到消息队列，以便于服务端从消息队列中获取该更新后的待执行任务的任务状态，并进行更新。

同样的，由于消息队列包括主队列和备队列，因此，当主队列向服务端发送更新后的任务状态失败时，可以通过备队列发送。

服务端从消息队列接收到更新后的任务状态后，更新数据库中保存的任务状态，以及任务运行的起始时间和结束时间等信息。

上述实施例提供的任务调度方法，通过接收消息队列发送的待执行任务的任务触发消息，然后对任务触发消息进行有效性校验，当对任务触发消息有效性校验成功时，将任务触发消息中的任务标识缓存至任务缓存中，并且执行待执行任务，再根据任务缓存中缓存的任务标识来更新待执行任务的任务状态，最后将更新后的任务状态发送至消息队列，使得服务端能够基于消息队列中的更新后的任务状态来对待执行任务进行更新。使用消息队列实现服务端与客户端之间的通信，能够异步传递消息，且解耦，任务触发通知不受客户端性能影响，同时任务执行状态反馈不受服务端性能影响，使用消息队列在多个客户端反馈执行状态时也能够起到缓冲作用。并且，使用缓存的任务标识来作为更新任务状态的基准，反馈任务状态时不受服务端性能的影响。

请参阅图4，图4是本申请的实施例还提供一种任务调度装置的示意性框图，该任务调度装置用于执行前述的任务调度方法。其中，该任务调度装置可以配置于服务器或终端中。

其中，服务器可以为独立的服务器，也可以为服务器集群。该终端可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。

如图4所示，任务调度装置200包括：消息校验模块201、标识缓存模块202、状态更新模块203和状态发送模块204。

消息校验模块201，用于接收消息队列发送的待执行任务的任务触发消息，并对所述任务触发消息进行有效性检验，所述任务触发消息中包括所述待执行任务的任务标识。

其中，消息校验模块201包括主发送子模块2011和备发送子模块2012。

具体地，主发送子模块2011用于检测所述主队列发送的待执行任务的任务触发消息是否发送成功；备发送子模块2012用于若所述主队列发送的待执行任务的任务触发消息未发送成功，则使用所述备队列发送所述任务触发消息。

标识缓存模块202，用于若对所述任务触发消息的有效性检验成功，则将所述任务标识缓存至任务缓存，并执行所述待执行任务。

状态更新模块203，用于基于所述任务缓存中缓存的任务标识，更新所述待执行任务的任务状态。

其中，状态更新模块203包括标识检测子模块2031、预测获取子模块2032和执行获取子模块2033。

具体地，标识检测子模块2031用于检测所述任务缓存中是否缓存有所述待执行任务的任务标识；预测获取子模块2032用于若所述任务缓存中缓存有所述待执行任务的任务标识，则获取存储的所述预测任务状态，并根据所述预测任务状态更新所述待执行任务的任务状态；执行获取子模块2033用于若所述任务缓存中没有缓存所述待执行任务的任务标识，则获取所述待执行任务的执行状态，并根据所述执行状态更新所述待执行任务的任务状态。

状态发送模块204，用于将更新后的所述待执行任务的任务状态发送至所述消息队列，使服务端基于更新后的所述待执行任务的任务状态进行更新。

需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的任务调度装置和各模块的具体工作过程，可以参考前述任务调度方法实施例中的对应过程，在此不再赘述。

上述的任务调度装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。

请参阅图5，图5是本申请实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器或终端。

参阅图5，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种任务调度方法。

处理器用于提供计算和控制能力，支撑整个计算机设备的运行。

内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种任务调度方法。

该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：

接收消息队列发送的待执行任务的任务触发消息，并对所述任务触发消息进行有效性检验，所述任务触发消息中包括所述待执行任务的任务标识；若对所述任务触发消息的有效性检验成功，则将所述任务标识缓存至任务缓存，并执行所述待执行任务；基于所述任务缓存中缓存的任务标识，更新所述待执行任务的任务状态；将更新后的所述待执行任务的任务状态发送至所述消息队列，使服务端基于更新后的所述待执行任务的任务状态进行更新。

在一个实施例中，所述消息队列包括主队列和备队列；所述处理器在实现所述接收消息队列发送的待执行任务的任务触发消息时，用于实现：

检测所述主队列发送的待执行任务的任务触发消息是否发送成功；若所述主队列发送的待执行任务的任务触发消息未发送成功，则使用所述备队列发送所述任务触发消息。

在一个实施例中，所述处理器用于实现：若对所述任务触发消息的有效性检验成功，则对所述待执行任务的任务状态进行预测得到预测任务状态，并将所述预测任务状态进行存储。

在一个实施例中，所述处理器用于实现：当所述待执行任务执行完毕后，删除所述任务缓存中缓存的所述待执行任务的任务标识。

在一个实施例中，所述处理器在实现所述更新所述待执行任务的任务状态时，用于实现：

检测所述任务缓存中是否缓存有所述待执行任务的任务标识；若所述任务缓存中缓存有所述待执行任务的任务标识，则获取存储的所述预测任务状态，并根据所述预测任务状态更新所述待执行任务的任务状态；若所述任务缓存中没有缓存所述待执行任务的任务标识，则获取所述待执行任务的执行状态，并根据所述执行状态更新所述待执行任务的任务状态。

在一个实施例中，所述处理器在实现所述对所述任务触发消息进行有效性检验时，用于实现：对所述任务触发消息的消息时效、所述待执行任务的任务参数和所述待执行任务的任务锁进行有效性校验。

在一个实施例中，所述处理器在实现所述将所述预测任务状态进行存储时，用于实现：将所述预测任务状态存储至延迟队列中，所述延迟队列为设置了消息的延迟获取时间的队列。

本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项任务调度方法。

其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种任务调度方法，其特征在于，包括：

接收消息队列发送的待执行任务的任务触发消息，并对所述任务触发消息进行有效性检验，所述任务触发消息中包括所述待执行任务的任务标识；

若对所述任务触发消息的有效性检验成功，则将所述任务标识缓存至任务缓存，并执行所述待执行任务；

基于所述任务缓存中缓存的任务标识，更新所述待执行任务的任务状态；

将更新后的所述待执行任务的任务状态发送至所述消息队列，使服务端基于更新后的所述待执行任务的任务状态进行更新。

2.根据权利要求1所述的任务调度方法，其特征在于，所述消息队列包括主队列和备队列；所述接收消息队列发送的待执行任务的任务触发消息，包括：

检测所述主队列发送的待执行任务的任务触发消息是否发送成功；

若所述主队列发送的待执行任务的任务触发消息未发送成功，则使用所述备队列发送所述任务触发消息。

3.根据权利要求1所述的任务调度方法，其特征在于，所述方法包括：

若对所述任务触发消息的有效性检验成功，则对所述待执行任务的任务状态进行预测得到预测任务状态，并将所述预测任务状态进行存储。

4.根据权利要求3所述的任务调度方法，其特征在于，所述方法包括：

当所述待执行任务执行完毕后，删除所述任务缓存中缓存的所述待执行任务的任务标识。

5.根据权利要求4所述的任务调度方法，其特征在于，所述更新所述待执行任务的任务状态，包括：

检测所述任务缓存中是否缓存有所述待执行任务的任务标识；

若所述任务缓存中缓存有所述待执行任务的任务标识，则获取存储的所述预测任务状态，并根据所述预测任务状态更新所述待执行任务的任务状态；

若所述任务缓存中没有缓存所述待执行任务的任务标识，则获取所述待执行任务的执行状态，并根据所述执行状态更新所述待执行任务的任务状态。

6.根据权利要求1所述的任务调度方法，其特征在于，所述对所述任务触发消息进行有效性检验，包括：

对所述任务触发消息的消息时效、所述待执行任务的任务参数和所述待执行任务的任务锁进行有效性校验。

7.根据权利要求3所述的任务调度方法，其特征在于，所述将所述预测任务状态进行存储，包括：

将所述预测任务状态存储至延迟队列中，所述延迟队列为设置了消息的延迟获取时间的队列。

8.一种任务调度装置，其特征在于，包括：

消息校验模块，用于接收消息队列发送的待执行任务的任务触发消息，并对所述任务触发消息进行有效性检验，所述任务触发消息中包括所述待执行任务的任务标识；

标识缓存模块，用于若对所述任务触发消息的有效性检验成功，则将所述任务标识缓存至任务缓存，并执行所述待执行任务；

状态更新模块，用于基于所述任务缓存中缓存的任务标识，更新所述待执行任务的任务状态；

状态发送模块，用于将更新后的所述待执行任务的任务状态发送至所述消息队列，使服务端基于更新后的所述待执行任务的任务状态进行更新。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；

所述存储器用于存储计算机程序；

所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的任务调度方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的任务调度方法。

Images