CN112416542A - 分布式任务系统、管理方法、装置和计算机设备 - Google Patents

Abstract

本发明提供了一种分布式任务系统、管理方法、装置和计算机设备。分布式任务系统包括主节点、工作节点和管理节点，管理节点用于存储定时任务的任务状态，工作节点用于执行定时任务以及根据定时任务的执行状态修改任务状态；分布式任务管理方法的执行主体为主节点，包括：查询任务消息队列中是否具有第一任务，其中，任务消息队列包括待执行的定时任务，第一任务为达到执行时间要求的定时任务；当任务消息队列中具有第一任务时，将第一任务分发至第一工作节点；向管理节点获取第一任务的任务状态；以及根据获取到的第一任务的任务状态管理第一任务。通过本发明，能够提高定时任务的稳定性。

Description

分布式任务系统、管理方法、装置和计算机设备

技术领域

本发明涉及分布式任务处理技术领域，尤其涉及一种分布式任务系统、管理方法、装置和计算机设备。

背景技术

当前，在各种业务类型的互联网场景中，每天有大量的、各种各样的定时任务需要去执行，包括定时统计任务以及定时拉取数据任务等。例如，定时结算系统需要每天在零点之后，结算前一天的用户消费数据、商品售卖统计数据等；报表系统需要定时聚合数据，定时获得特定维度上的数据聚合结果，并随时间推进，动态展示数据走势。其中会涉及一些数据同步任务，定时去拉取数据，然后转存到指定的数据存储工具上。

现有技术中，通常会采用定时任务管理器crontab去管理上述定时任务。crontab的特点是，在用户指定定时任务的执行频率或时间点收，在crontab中配置好定时任务的启动脚本，当到达定时任务的指定时间时，该启动脚本会去主动调用任务脚本开始执行对应的定时任务。通过该定时任务管理器crontab管理定时任务，虽然简单易用，但是，发明人研究发现，其无法保证定时任务的正常执行，使得定时任务的执行稳定性差，原因在于：crontab只管通过启动脚本调起任务，并不对任务的执行状态和执行结果负责，没有办法根据任务的执行状态对定时任务进行管理。

因此，现有技术中定时任务执行稳定性差的技术问题，成为本领域亟需解决的技术问题。

发明内容

本发明的目的是提供一种分布式任务系统、管理方法、装置和计算机设备，用于解决现有技术中的上述技术问题。

一方面，为实现上述目的，本发明提供了一种分布式任务管理方法。

该分布式任务系统包括主节点、工作节点和管理节点，所述管理节点用于存储定时任务的任务状态，所述工作节点用于执行所述定时任务以及根据所述定时任务的执行状态修改所述任务状态；所述分布式任务管理方法的执行主体为所述主节点，包括：查询所述任务消息队列中是否具有第一任务，其中，任务消息队列包括待执行的定时任务，所述第一任务为达到执行时间要求的定时任务；当所述任务消息队列中具有所述第一任务时，将所述第一任务分发至第一工作节点，其中，所述第一工作节点为所述分布式任务系统中的任一所述工作节点；向所述管理节点获取所述第一任务的任务状态；以及根据获取到的所述第一任务的任务状态管理所述第一任务。

进一步地，所述任务状态包括表征所述定时任务被分配至所述工作节点的第一状态、表征所述定时任务处于执行中的第二状态和表征所述定时任务执行完成的第三状态；当所述任务消息队列中具有所述第一任务时，所述分布式任务管理方法还包括：将所述第一任务的任务状态设置为所述第一状态，所述工作节点根据所述定时任务的执行状态修改所述任务状态具体为：在执行所述第一任务时，将所述第一任务的任务状态修改为所述第二状态，在完成所述第一任务时，将所述第一任务的任务状态修改为所述第三状态。

进一步地，所述任务状态还包括表征所述定时任务执行出错的第四状态，根据获取到的所述第一任务的任务状态管理所述第一任务的步骤包括：当所述第一任务的任务状态为所述第二状态的时间超过预设时间阈值时，将所述第一任务转移至第二工作节点；当所述第一任务的任务状态为所述第四状态时，发送错误告警。

进一步地，在查询任务消息队列中是否具有第一任务的步骤之前，所述分布式任务管理方法还包括：接收定时任务配置请求，其中，所述定时任务配置请求包括所述待执行的定时任务；判断所述任务消息队列中是否包括所述待执行的定时任务；当所述任务消息队列中不包括所述待执行的定时任务时，将所述待执行的定时任务写入所述任务消息队列；当所述任务消息队列中包括所述待执行的定时任务时，将所述待执行的定时任务丢弃。

进一步地，所述定时任务配置请求包括待执行的定时任务的任务标识和任务参数；判断所述任务消息队列中是否包括所述待执行的定时任务的步骤包括：将所述待执行的定时任务的任务标识与所述任务消息队列中定时任务的任务标识进行匹配；所述分布式任务管理方法还包括：当所述任务消息队列中包括所述定时任务时，判断所述待执行的定时任务的任务参数与第二任务的任务参数是否相同，其中，所述第二任务为所述任务消息队列中，任务标识与所述待执行的定时任务的任务标识相同的定时任务，当所述待执行的定时任务的任务参数与所述第二任务的任务参数不同，利用所述待执行的定时任务的任务参数更新所述第二任务的任务参数；接收定时任务删除指令，其中，所述定时任务阐述指令包括待删除的定时任务的任务标识，将所述待删除的定时任务的任务标识与所述任务消息队列中定时任务的任务标识进行匹配，其中，第三任务为所述任务消息队列中，任务标识与所述待删除的定时任务的任务标识相同的定时任务，将所述第三任务从所述任务消息队列中删除。

进一步地，将所述待执行的定时任务写入任务消息队列的步骤包括：确定所述待执行的定时任务的执行频率；确定所述执行频率对应的查询频率；将所述待执行的定时任务加入所述查询频率所对应的任务消息队列，其中，对应所述任务消息队列设置有任务触发器，所述任务触发器用于按照所述查询频率查询所述任务消息队列中是否具有第一任务，并当所述任务消息队列中具有所述第一任务时，将所述第一任务分发至第一工作节点。

另一方面，为实现上述目的，本发明提供了一种分布式任务管理装置。

分布式任务系统包括主节点、工作节点和管理节点，所述管理节点用于存储定时任务的任务状态，所述工作节点用于执行所述定时任务以及根据所述定时任务的执行状态修改所述任务状态；所述分布式任务管理装置设置于所述主节点，包括：查询模块，用于查询所述任务消息队列中是否具有第一任务，其中，所述任务消息队列包括待执行的定时任务，所述第一任务为达到执行时间要求的定时任务；分发模块，用于当所述任务消息队列中具有所述第一任务时，将所述第一任务分发至第一工作节点，其中，所述第一工作节点为所述分布式任务系统中的任一所述工作节点；获取模块，用于向所述管理节点获取所述第一任务的任务状态；以及管理模块，用于根据获取到的所述第一任务的任务状态管理所述第一任务。

又一方面，为实现上述目的，本发明提供了一种分布式任务系统。

该分布式任务系统包括主节点、工作节点和管理节点，其中：所述管理节点用于存储定时任务的任务状态；所述工作节点用于执行所述定时任务以及根据所述定时任务的执行状态修改所述任务状态；所述主节点用于查询所述任务消息队列中是否具有第一任务，其中，所述任务消息队列包括待执行的定时任务，所述第一任务为达到执行时间要求的定时任务，当所述任务消息队列中具有所述第一任务时，将所述第一任务分发至第一工作节点，其中，所述第一工作节点为所述分布式任务系统中的任一所述工作节点，向所述管理节点获取所述第一任务的任务状态；以及根据获取到的所述第一任务的任务状态管理所述第一任务。

又一方面，为实现上述目的，本发明还提供一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。

又一方面，为实现上述目的，本发明还提供计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

本发明提供的分布式任务系统、管理方法、装置和计算机设备，基于分布式任务系统实现对定时任务的管理，其中，分布式任务系统包括主节点、工作节点和管理节点，管理节点用于存储定时任务的任务状态，工作节点用于执行定时任务以及根据定时任务的执行状态修改任务状态，主节点用于执行该实施例提供的分布式任务管理方法，具体地，任务消息队列中设置待执行的定时任务，主节点对任务消息队列中的任务进行定时任务分发，也即查询任务消息队列中是否有达到执行时间要求的定时任务，如果有，则将其分发至工作节点；主节点对定时任务进行管理，向管理节点获取定时任务的任务状态，然后根据获取到的任务状态管理对应的任务，本发明通过分布式任务系统实现了定时任务的管理，主节点能够监控定时任务的任务状态，基于任务状态对定时任务进行管理，能够提升定时任务的执行稳定性，也即提升定时任务正常执行的概率。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例一提供的分布式任务管理方法的流程图；

图2为本发明实施例二提供的分布式任务管理装置的框图；

图3为本发明实施例三提供的分布式任务系统的框图；

图4为本发明实施例四提供的分布式任务系统的框图；

图5为本发明实施例五提供的计算机设备的硬件结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了提高定时任务的稳定性，尽可能地保证定时任务的正常执行，从而达到各项业务稳定服务的目的，本发明提供了一种分布式任务系统、管理方法、装置和计算机设备，基于分布式任务系统实现对定时任务的管理。本发明提供的分布式任务系统包括主节点、工作节点和管理节点，主节点用于分发和管理定时任务，具体地，主节点对任务消息队列中的定时任务进行扫描查询，当查询任务消息队列中有定时任务达到执行时间要求，将该定时任务分发至工作节点，由工作节点执行，管理节点用于存储定时任务的任务状态，工作节点用于执行定时任务以及根据定时任务的执行状态修改任务状态，主节点通过向管理节点获取定时任务的任务状态，来对定时任务进行管理。从中可以看出，本发明通过分布式任务系统实现了定时任务的管理，并且能够监控定时任务的任务状态，基于任务状态对定时任务进行管理，能够提升定时任务的执行稳定性，也即提升定时任务正常执行的概率。

关于本发明提供的分布式任务系统、管理方法、装置和计算机设备的具体实施例，将在下文中详细描述。

实施例一

本发明实施例提供了一种分布式任务管理方法，该方法的执行主体为分布式任务系统中的主节点，分布式任务系统包括该主节点，还包括工作节点和管理节点，其中，管理节点用于存储定时任务的任务状态，工作节点用于执行定时任务以及根据定时任务的执行状态修改任务状态，通过该方法，能够提升定时任务的执行稳定性，具体地，该实施例提供的分布式任务管理方法包括如下的步骤S103至步骤S106。

步骤S103：查询任务消息队列中是否具有第一任务。

其中，任务消息队列包括待执行的定时任务，第一任务为达到执行时间要求的定时任务。

具体地，任务消息队列用于设置待执行的定时任务，对于任务消息队列中的任务，可进行间隔或实时查询，以判断任务消息队列中是否包括达到执行时间要求的定时任务，也即查询时间当前是否有定时任务需要执行，在本发明中，将达到执行时间要求的定时任务命名为第一任务，需要说明的是，该第一任务中的“第一”和下文中第二任务中的“第二”、第三任务中的“第三”等，并不构成次序上的限定，仅仅用于在逻辑上进行区分，同时，第一任务、第二任务和第三任务是指满足相应条件时任务的命名，具体可以是同一个定时任务，也可以是不同的定时任务。

步骤S104：当任务消息队列中具有第一任务时，将第一任务分发至第一工作节点。

其中，第一工作节点为分布式任务系统中的任一工作节点。

如果查询到消息队列中具有第一任务，将其分发至工作节点。在进行任务分发时，可以考虑分布式任务系统中工作节点资源的均衡，将第一任务分发至当前剩余资源(包括处理器资源、存储资源等)较多的工作节点；也可以考虑定时任务类型与工作节点的适配性，不同工作节点适配不同的定时任务类型，可根据第一任务的任务类型选定适配的工作节点进行下发。接收第一任务的工作节点被定义为第一工作节点。

第一工作节点在接收到第一任务后进行执行，并在执行过程中，根据执行状态修改管理节点中第一任务的任务状态，例如，执行状态包括准备执行、正在执行以及执行完成等，相应地第一任务的任务状态可以为执行前，执行中和已完成等。

步骤S105：向管理节点获取第一任务的任务状态。

具体地，在分布式任务系统中，主节点主控分布式任务的管理，主节点将第一任务下发后，可以以预定的时间间隔向管理节点获取第一任务的任务状态。

步骤S106：根据获取到的第一任务的任务状态管理第一任务。

具体地，可在主节点预设管理策略，根据获取到的任务状态对第一任务进行管理，例如，预设的管理策略包括将未在规定时间内执行完成的任务重新分配到其他工作节点，相应地，主节点将第一任务下发后开始计时，并在规定的时间达到时查询第一任务的状态是否为执行完成的状态，如果不是，则将第一任务重新下发；例如，预设的管理策略包括将首次执行失败的任务重新启动，相应地，主节点点将第一任务下发后查询第一任务的状态，如果查询到的任务状态为执行失败的状态，则将第一任务再次下发到第一工作节点。

或者也可采用其他管理策略，具体可根据定时任务的需求等因素进行设置，以使得主节点能够根据任务状态对下发至工作节点的任务进行管理。

在该实施例中，基于分布式任务系统实现对定时任务的管理，其中，分布式任务系统包括主节点、工作节点和管理节点，管理节点用于存储定时任务的任务状态，工作节点用于执行定时任务以及根据定时任务的执行状态修改任务状态，主节点用于执行该实施例提供的分布式任务管理方法，具体地，主节点进行定时任务分发，也即查询任务消息队列中是否有达到执行时间要求的定时任务，如果有，则将其分发至工作节点；主节点对定时任务进行管理，向管理节点获取定时任务的任务状态，然后根据获取到的任务状态管理对应的任务，采用该实施例提供的分布式任务管理方法，通过分布式任务系统实现了定时任务的管理，主节点接收定时任务和分发定时任务进行异步处理，用户可在任意的时间配置定时任务，主节点根据配置的执行时间要求定时分发任务进行执行，并且能够监控定时任务的任务状态，基于任务状态对定时任务进行管理，能够提升定时任务的执行稳定性，也即提升定时任务正常执行的概率。

可选地，在一种实施例中，分布式任务管理方法还包括：

步骤S101：接收定时任务配置请求。

其中，定时任务配置请求包括待执行的定时任务。

可选地，分布式任务系统还包括客户端，通过客户端展示定时任务配置界面，用户可在该定时任务配置界面上配置定时任务，具体包括配置定时任务的执行时间要求、任务标识、任务类型以及任务参数等信息，基于用户的配置，客户端生成包括待执行的定时任务的定时任务配置请求，并发送至分布式任务系统的主节点，主节点接收该定时任务配置请求。

步骤S102：将待执行的定时任务写入任务消息队列。

任务消息队列用于设置待下发的定时任务，主节点接收到定时任务配置请求后，均先将其中的待执行的定时任务写入任务消息队列。

其中，需要说明的是，本发明并不限定该实施例中各个步骤的执行顺序，例如，步骤S103和步骤S104也可以设置于步骤S101之前，也可以设置于步骤S105之后，在本发明的技术思想之下变换各步骤的执行顺序，均属于本发明的保护范围。

在该实施例中，可在客户端对定时任务进行配置，配置完成后将对应的定时任务配置命令发送至主节点，主节点在接收到定时任务配置请求后，将待执行的定时任务先写入任务消息队列，也就是说，主节点接收定时任务并维护任务消息队列，也即在接收到定时任务配置请求时，将定时任务配置请求中的定时任务写入任务消息队列。采用该实施例提供的分布式任务管理方法，实现了接收定时任务和分发定时任务进行异步处理，用户可在任意的时间配置定时任务，主节点根据配置的执行时间要求定时分发任务进行执行。

可选地，在一种实施例中，任务状态包括表征定时任务被分配至工作节点的第一状态、表征定时任务处于执行中的第二状态和表征定时任务执行完成的第三状态；当任务消息队列中具有第一任务时，分布式任务管理方法还包括：将第一任务的任务状态设置为第一状态，工作节点根据定时任务的执行状态修改任务状态具体为：在接收到第一任务时，将第一任务的任务状态修改为第二状态，在完成第一任务时，将第一任务的任务状态修改为第三状态。

具体而言，主节点查询任务消息队列中是否有达到执行时间要求的定时任务，也即是否具有第一任务，如果有，主节点一方面会将第一任务下发至工作节点，另一方面会请求管理节点新建对应该第一任务的目录，通过该目录设置第一任务的任务状态，并将第一任务的初始任务状态设置为第一状态，也就是说，工作节点在接收到第一任务时，管理节点中第一任务的任务状态为第一状态。工作节点在执行第一任务时，请求管理节点对第一任务的任务状态进行修改，由第一状态修改为第二状态；工作节点在完成第一任务时，再次请求管理节点对第一任务的任务状态进行修改，由第二状态修改为第三状态。基于此，主节点在查询第一任务的任务状态的过程中，如果查询到第一状态，表明第一任务已经达到工作节点但还没有开始执行，如果查询到第二状态，表明第一任务正在被工作节点执行，如果查询到第三状态，表明第一任务已经被工作节点执行完成，因此，主节点可以基于查询到的状态监控到第一任务的执行情况，进而可进一步基于执行情况对第一任务进行管理。

可选地，在一种实施例中，根据获取到的第一任务的任务状态管理第一任务的步骤包括：当第一任务的任务状态为第二状态的时间超过预设时间阈值时，将第一任务转移至第二工作节点。

具体而言，可根据定时任务的常规执行时间设置时间阈值，不同类型的定时任务、不同工作节点上的定时任务或者不同时间段的定时任务，均可设置不同的时间阈值，如果主节点查询到定时任务的执行时长超出该时间阈值，表明定时任务的执行时长已经超出常规执行时间，此时，将第一任务进行转移，转移到其他节点上进行执行。

采用该实施例提供的分布式任务管理方法，当工作节点出现故障时，或者工作节点上资源占用较多导致影响第一任务的正常执行时，或者其他原因导致的第一任务无法正常执行时，主节点均会查询到该第一任务执行时长较长，因此，当主节点查询到第一任务的任务状态为第二状态的时间超过预设时间阈值，也即查询到第一任务处于执行中的时长超过常规的时间阈值，表明第一任务无法正常执行，此时将第一任务进行转移，以使第一任务在其他节点上能够正常执行，进一步提升定时任务的执行稳定性。

可选地，在一种实施例中，任务状态还包括表征定时任务执行出错的第四状态，根据获取到的第一任务的任务状态管理第一任务的步骤包括：当第一任务的任务状态为第四状态时，发送错误告警。

具体而言，设置定时任务的任务状态还包括表征执行出错的第四状态，当第一任务自身设置存在问题，或者第一任务和其所在工作节点中的其他任务出现冲突等情况，第一任务被执行的过程中会出错，此时，工作节点请求管理节点对第一任务的任务状态进行修改，由当前状态(可能为第一状态或第二状态)修改为第四状态；如果主节点查询到第一任务的执任务状态为第四状态，此时，发送错误告警，可选地，将错误告警发送至定时任务对应的业务方，同时，可将第一任务暂停，以提示业务方及时调整定时任务。

采用该实施例提供的分布式任务管理方法，能够在定时任务执行出错时发出错误告警，以使相关人员进行调整，使得定时任务能够正常被执行，进一步提升定时任务的执行稳定性。

可选地，在一种实施例中，在接收定时任务配置请求的步骤之后，将待执行的定时任务写入任务消息队列的步骤之前，分布式任务管理方法还包括：判断任务消息队列中是否包括待执行的定时任务；其中，当任务消息队列中不包括待执行的定时任务时，执行将待执行的定时任务写入任务消息队列的步骤。

具体而言，主节点在接收到定时任务配置请求之后，先判断任务消息队列中是否已经包括定时任务配置请求中待执行的定时任务，如果不包括，再将待执行的定时任务写入任务消息队列。

采用该实施例提供的分布式任务管理方法，能够避免重复将定时任务写入任务消息队列而导致定时任务的重复执行。

可选地，在一种实施例中，定时任务配置请求包括待执行的定时任务的任务标识和任务参数；判断任务消息队列中是否包括待执行的定时任务的步骤包括：将待执行的定时任务的任务标识与任务消息队列中定时任务的任务标识进行匹配；当任务消息队列中包括定时任务时，分布式任务管理方法还包括：判断待执行的定时任务的任务参数与第二任务的任务参数是否相同，其中，第二任务为任务消息队列中，任务标识与待执行的定时任务的任务标识相同的定时任务，当待执行的定时任务的任务参数与第二任务的任务参数不同，利用待执行的定时任务的任务参数更新第二任务的任务参数。

具体而言，设置任务标识来唯一标识定时任务，该任务标识可以是用户定义的，也可以是系统根据用户的配置自动生成的。在判断任务消息队列中是否包括待执行的定时任务时，通过任务标识进行判断，如果在任务消息队列中匹配不到任务标识与待执行的定时任务的任务标识相同的定时任务，表明任务消息队列中不包括待执行的定时任务，此时，将待执行的定时任务写入任务消息队列；如果在任务消息队列中匹配到任务标识与待执行的定时任务的任务标识相同的定时任务，表明任务消息队列中已包括待执行的定时任务，将任务消息队列中的该定时任务定义为第二任务，判断待执行的定时任务的任务参数与第二任务的任务参数是否相同，如果相同，表明用户对定时任务的参数进行了更新，此时，采用待执行的定时任务的任务参数更新第二任务的任务参数。

采用该实施例提供的分布式任务管理方法，用户能够在下发定时任务之后再对定时任务的任务参数进行更新，而不必去执行配置定时任务所有动作，提升用户修改定时任务的体验。

可选地，在一种实施例中，分布式任务管理方法还包括：接收定时任务删除指令，其中，定时任务阐述指令包括待删除的定时任务的任务标识；将待删除的定时任务的任务标识与任务消息队列中定时任务的任务标识进行匹配，其中，第三任务为任务消息队列中，任务标识与待删除的定时任务的任务标识相同的定时任务；以及将第三任务从任务消息队列中删除。

采用该实施例提供的分布式任务管理方法，用户能够在下发定时任务之后再对定时任务进行删除，操作方便。

可选地，在一种实施例中，将待执行的定时任务写入任务消息队列的步骤包括：确定待执行的定时任务的执行频率；确定执行频率对应的查询频率；将待执行的定时任务加入查询频率所对应的任务消息队列，其中，对应任务消息队列设置有任务触发器，任务触发器用于按照查询频率查询任务消息队列中是否具有第一任务，并当任务消息队列中具有第一任务时，将第一任务分发至第一工作节点。

具体而言，查询频率可以根据执行频率中的时间单位设置，例如查询频率包括分钟查询频率，小时查询频率和天查询频率，也可以将任意时间长度作为时间单位进行设置，例如，查询频率包括5分钟查询频率，2小时查询频率和0.5天查询频率等。预置若干查询频率，对应不同的查询频率设置相应的任务消息队列，对应每个任务消息队列右设置有任务触发器，该任务触发器用于按照其关联的任务消息队列所对应的查询频率查询该任务消息队列中是否具有第一任务，并当任务消息队列中具有第一任务时，进行任务分发。

例如，对于查询频率包括分钟查询频率，小时查询频率和天查询频率，每N分钟执行一次的执行频率对应的查询频率为分钟查询频率，N大于等于1小于60，每M小时执行一次的执行频率对应的查询频率为小时查询频率，M大于等于1小于24，每L天执行一次的执行频率对应的查询频率为天查询频率。针对该三种查询频率，预置三个任务消息队列一一对应，并且预置与每一个任务消息队列相关联的任务触发器，第一个任务触发器按照分钟查询频率，每分钟查询其关联的任务消息队列中是否具有第一任务，第二个任务触发器按照小时查询频率，每小时查询其关联的任务消息队列中是否具有第一任务，第三个任务触发器按照天查询频率，每天查询其关联的任务消息队列中是否具有第一任务，每个任务触发器在查询到任务消息队列中具有第一任务时，进行任务分发。

又如，对于查询频率包括5分钟查询频率，2小时查询频率和0.5天查询频率，每X个5分钟执行一次的执行频率对应的查询频率为5分钟查询频率，X大于等于1小于12，每Y个2小时执行一次的执行频率对应的查询频率为2小时查询频率，Y大于等于1小于12，每Z个0.5天执行一次的执行频率对应的查询频率为0.5天查询频率。

基于此，在将待执行的定时任务写入任务消息队列时，先确定待执行的定时任务的执行频率，其中，定时任务配置请求可包括执行频率的信息，通过该信息即可确定执行频率，然后进一步确定执行频率对应哪一个查询频率，再从预置的若干任务消息队列中，选定与所属查询频率相对应的任务消息队列，将待执行的定时任务加入至选定的任务消息队列，从而与该任务消息队列相关联的任务触发器，在按照该任务消息队列对应的查询频率查询任务消息队列中的任务时，即可在待执行的定时任务达到执行时间要求时，查询并分发该定时任务。

采用该实施例提供的分布式任务管理方法，对应查询频率设置任务消息队列和与任务消息队列关联的任务触发器，既能够保证定时任务在达到执行时间要求时，按时被分发执行，又无需实时查询任务消息队列，节约了查询处理资源。

实施例二

对应于上述实施例一，本发明实施例二提供了一种分布式任务管理装置，该装置设置于分布式任务系统中的主节点，分布式任务系统包括该主节点，还包括工作节点和管理节点，其中，管理节点用于存储定时任务的任务状态，工作节点用于执行定时任务以及根据定时任务的执行状态修改任务状态，通过该装置，能够提升定时任务的执行稳定性。相应的技术特征细节和技术效果可参考上述实施例一，该实施例中不再赘述。图2为本发明实施例二提供的分布式任务管理装置的框图，如图2所示，该分布式任务管理装置包括：查询模块203、分发模块204、获取模块205和管理模块206。

查询模块203用于查询任务消息队列中是否具有第一任务，其中，任务消息队列包括待执行的定时任务，第一任务为达到执行时间要求的定时任务；分发模块204用于当任务消息队列中具有第一任务时，将第一任务分发至第一工作节点，其中，第一工作节点为分布式任务系统中的任一工作节点；获取模块205用于向管理节点获取第一任务的任务状态；以及管理模块206用于根据获取到的第一任务的任务状态管理第一任务。

可选地，在一种实施例中，任务状态包括表征定时任务被分配至工作节点的第一状态、表征定时任务处于执行中的第二状态和表征定时任务执行完成的第三状态；分布式任务管理装置还包括：设置模块，用于当任务消息队列中具有第一任务时，将第一任务的任务状态设置为第一状态，工作节点根据定时任务的执行状态修改任务状态具体为：在执行第一任务时，将第一任务的任务状态修改为第二状态，在完成第一任务时，将第一任务的任务状态修改为第三状态。

可选地，在一种实施例中，任务状态还包括表征定时任务执行出错的第四状态，管理模块206包括第一管理单元和第二管理单元，第一管理单元用于当第一任务的任务状态为第二状态的时间超过预设时间阈值时，将第一任务转移至第二工作节点；第二管理单元用于当第一任务的任务状态为第四状态时，发送错误告警。

可选地，在一种实施例中，分布式任务管理装置还包括接收模块、判断模块和处理模块，其中，接收模块用于接收定时任务配置请求，其中，定时任务配置请求包括待执行的定时任务；判断模块用于判断任务消息队列中是否包括待执行的定时任务，处理模块用于当任务消息队列中不包括待执行的定时任务时，将待执行的定时任务写入任务消息队列，当任务消息队列中包括待执行的定时任务时，将待执行的定时任务丢弃。

可选地，在一种实施例中，定时任务配置请求包括待执行的定时任务的任务标识和任务参数；判断模块包括匹配单元和判断单元，匹配单元用于将待执行的定时任务的任务标识与任务消息队列中定时任务的任务标识进行匹配，判断单元用于当任务消息队列中包括定时任务时，判断待执行的定时任务的任务参数与第二任务的任务参数是否相同，其中，第二任务为任务消息队列中，任务标识与待执行的定时任务的任务标识相同的定时任务，管理模块还用于当待执行的定时任务的任务参数与第二任务的任务参数不同，利用待执行的定时任务的任务参数更新第二任务的任务参数。接收模块还用于接收定时任务删除指令，其中，定时任务阐述指令包括待删除的定时任务的任务标识，匹配单元还用于将待删除的定时任务的任务标识与任务消息队列中定时任务的任务标识进行匹配，其中，第三任务为任务消息队列中，任务标识与待删除的定时任务的任务标识相同的定时任务，管理模块还用于将第三任务从任务消息队列中删除。

可选地，在一种实施例中，处理模块包括第一确定单元、第二确定单元和处理单元，其中，第一确定单元用于确定待执行的定时任务的执行频率，第二确定单元用于确定执行频率对应的查询频率，处理单元用于将待执行的定时任务加入查询频率所对应的任务消息队列，其中，对应任务消息队列设置有任务触发器，任务触发器用于按照查询频率查询任务消息队列中是否具有第一任务，并当任务消息队列中具有第一任务时，将第一任务分发至第一工作节点。

实施例三

本发明实施例三提供了一种分布式任务系统，图3为本发明实施例三提供的分布式任务系统的框图，如图3所示，该分布式任务系统包括主节点301、工作节点302和管理节点303，其中，管理节点303用于存储定时任务的任务状态；工作节点302用于执行定时任务以及根据定时任务的执行状态修改任务状态；主节点301用于执行本发明实施例一提供的任意一种分布式任务管理方法，或者，主节点301包括本发明实施例二提供的任意一种分布式任务管理装置，具体技术细节可参考上述实施例一和实施例二，该处不再赘述。

实施例四

本发明实施例四提供了一种分布式任务系统，图4为本发明实施例四提供的分布式任务系统的框图，如图4所示，分布式任务系统包括zookeeper集群和应用集群，其中，应用集群用于设置主节点和工作节点，zookeeper集群用于设置管理节点，采用管理节点(zookeeper节点)来管理应用集群的状态。

具体地，应用集群包括1个主节点(master节点)、若干冗余节点(standbyer节点)和若干工作节点(worker节点)。其中，master节点用于控制分布式任务系统中定时任务管理和分发等，确保分布式任务系统中的定时任务不会重复执行或者不执行。standbyer节点是监控master节点是否存在的主备节点，保证应用集群高可用。当master节点丢失，standbyer节点会去主动创建master节点，当master节点创建成功，standbyer节点会进化为master节点，然后承担起master节点的所有工作。同时扫描因为master节点丢失，而导致的定时任务失败，帮助定时任务从失败中恢复。

zookeeper节点管理应用集群的状态的操作方法是：建立对应master节点的/master临时目录，对应worker节点的持久目录，还包括一个/assign目录，其中，/master临时目录存在，表示应用的master节点存在，当/master临时目录消失，表示应用的master节点丢失；/assign目录是对/worker目录的任务分配挂载节点。/worker目录下会挂载当前可用的应用集群物理机器标识，/worker目录消失，表示其对应的工作节点消失。

为了提高应用集群的资源利用率。应用集群一个真实的物理节点上设置一个master节点外加一个worker节点，或者是一个standbyer节点外加一个worker节点。伴随master节点的worker节点设置方式，可以提高单物理节点的资源使用率，从而应用集群仅需一个物理节点就可以正常工作。

同时，当应用集群包括多个物理节点时，master节点可对自身所在物理节点上的worker节点管理，也可对其他物理节点上的worker节点管理，所有worker节点均可接受master节点下发的定时任务，在接收到定时任务下发，便可拿到任务去执行。如果某个worker节点丢失，master节点将处理该worker节点上的定时任务的转移，将丢失的worker节点上的定时任务转移到其他worker节点上继续执行。

为了保证集群的绝对可用，建议应用集群的物理节点在3个以上。以此确保在一个物理节点上的master节点丢失的情况下，其他物理节点上设置的standbyer节点可以得到快速的状态转移，以此确保所有任务的完整正确执行。应用集群的多个物理节点，可以是顺序启动，也可以是并发启动，物理节点启动时，他们都会默认自己是master节点，主动去管理节点中创建/master节点标识位，如果创建失败，将自动退化为standbyer节点，然后standbyer节点去监听master节点的状态，以此确保集群高可用。而worker节点是每个物理节点启动时，默认创建的。

定时任务状态task有四种，分别是assign(任务分配)，running(执行中)，finish(执行完成)，error(执行出错)，其中，当master节点下发任务到worker节点时，task处于assign状态，当worker节点得到了task，worker节点将task的状态设置成为running，当worker节点将任务执行完时，将设置task状态为finish。当任务执行出错，如任务代码自身bug，将设置task状态为error，master节点将会发送错误告警，并告知用户执行出错的原因，提示用户去调整自己的定时任务代码。当worker节点无法正常执行任务，导致任务状态长时间处于running，任务将会得到转移，转移到其他节点去执行，因为这个时候，很可能时因为此worker节点发生故障，无法继续完成任务的执行。

实施例五

本实施例五还提供一种计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图5所示，本实施例的计算机设备01至少包括但不限于：可通过系统总线相互通信连接的存储器011、处理器012，如图5所示。需要指出的是，图5仅示出了具有组件存储器011和处理器012的计算机设备01，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

本实施例中，存储器011(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器011可以是计算机设备01的内部存储单元，例如该计算机设备01的硬盘或内存。在另一些实施例中，存储器011也可以是计算机设备01的外部存储设备，例如该计算机设备01上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器011还可以既包括计算机设备01的内部存储单元也包括其外部存储设备。本实施例中，存储器011通常用于存储安装于计算机设备01的操作系统和各类应用软件，例如实施例二的分布式任务管理装置的程序代码等。此外，存储器011还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器012在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器012通常用于控制计算机设备01的总体操作。本实施例中，处理器012用于运行存储器011中存储的程序代码或者处理数据，例如分布式任务管理装置等。

实施例六

本实施例六还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储分布式任务管理装置，被处理器执行时实现实施例一的分布式任务管理方法。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种分布式任务管理方法，其特征在于，

分布式任务系统包括主节点、工作节点和管理节点，所述管理节点用于存储定时任务的任务状态，所述工作节点用于执行所述定时任务以及根据所述定时任务的执行状态修改所述任务状态；

所述分布式任务管理方法的执行主体为所述主节点，包括：

查询任务消息队列中是否具有第一任务，其中，所述任务消息队列包括待执行的定时任务，所述第一任务为达到执行时间要求的定时任务；

当所述任务消息队列中具有所述第一任务时，将所述第一任务分发至第一工作节点，其中，所述第一工作节点为所述分布式任务系统中的任一所述工作节点；

向所述管理节点获取所述第一任务的任务状态；以及

根据获取到的所述第一任务的任务状态管理所述第一任务。

2.根据权利要求1所述的分布式任务管理方法，其特征在于，

所述任务状态包括表征所述定时任务被分配至所述工作节点的第一状态、表征所述定时任务处于执行中的第二状态和表征所述定时任务执行完成的第三状态；

当所述任务消息队列中具有所述第一任务时，所述分布式任务管理方法还包括：将所述第一任务的任务状态设置为所述第一状态，所述工作节点根据所述定时任务的执行状态修改所述任务状态具体为：在执行所述第一任务时，将所述第一任务的任务状态修改为所述第二状态，在完成所述第一任务时，将所述第一任务的任务状态修改为所述第三状态。

3.根据权利要求2所述的分布式任务管理方法，其特征在于，所述任务状态还包括表征所述定时任务执行出错的第四状态，根据获取到的所述第一任务的任务状态管理所述第一任务的步骤包括：

当所述第一任务的任务状态为所述第二状态的时间超过预设时间阈值时，将所述第一任务转移至第二工作节点；

当所述第一任务的任务状态为所述第四状态时，发送错误告警。

4.根据权利要求1所述的分布式任务管理方法，其特征在于，在查询任务消息队列中是否具有第一任务的步骤之前，所述分布式任务管理方法还包括：

接收定时任务配置请求，其中，所述定时任务配置请求包括所述待执行的定时任务；

判断所述任务消息队列中是否包括所述待执行的定时任务；

当所述任务消息队列中不包括所述待执行的定时任务时，将所述待执行的定时任务写入所述任务消息队列；

当所述任务消息队列中包括所述待执行的定时任务时，将所述待执行的定时任务丢弃。

5.根据权利要求4所述的分布式任务管理方法，其特征在于，

所述定时任务配置请求包括待执行的定时任务的任务标识和任务参数；

判断所述任务消息队列中是否包括所述待执行的定时任务的步骤包括：将所述待执行的定时任务的任务标识与所述任务消息队列中定时任务的任务标识进行匹配；

所述分布式任务管理方法还包括：

当所述任务消息队列中包括所述定时任务时，判断所述待执行的定时任务的任务参数与第二任务的任务参数是否相同，其中，所述第二任务为所述任务消息队列中，任务标识与所述待执行的定时任务的任务标识相同的定时任务，当所述待执行的定时任务的任务参数与所述第二任务的任务参数不同，利用所述待执行的定时任务的任务参数更新所述第二任务的任务参数；

接收定时任务删除指令，其中，所述定时任务阐述指令包括待删除的定时任务的任务标识，将所述待删除的定时任务的任务标识与所述任务消息队列中定时任务的任务标识进行匹配，其中，第三任务为所述任务消息队列中，任务标识与所述待删除的定时任务的任务标识相同的定时任务，将所述第三任务从所述任务消息队列中删除。

6.根据权利要求5所述的分布式任务管理方法，其特征在于，将所述待执行的定时任务写入所述任务消息队列的步骤包括：

确定所述待执行的定时任务的执行频率；

确定所述执行频率对应的查询频率；

将所述待执行的定时任务加入所述查询频率所对应的任务消息队列，其中，对应所述任务消息队列设置有任务触发器，所述任务触发器用于按照所述查询频率查询所述任务消息队列中是否具有第一任务，并当所述任务消息队列中具有所述第一任务时，将所述第一任务分发至第一工作节点。

7.一种分布式任务管理装置，其特征在于，

分布式任务系统包括主节点、工作节点和管理节点，所述管理节点用于存储定时任务的任务状态，所述工作节点用于执行所述定时任务以及根据所述定时任务的执行状态修改所述任务状态；

所述分布式任务管理装置设置于所述主节点，包括：

查询模块，用于查询任务消息队列中是否具有第一任务，其中，所述任务消息队列包括待执行的定时任务，所述第一任务为达到执行时间要求的定时任务；

分发模块，用于当所述任务消息队列中具有所述第一任务时，将所述第一任务分发至第一工作节点，其中，所述第一工作节点为所述分布式任务系统中的任一所述工作节点；

获取模块，用于向所述管理节点获取所述第一任务的任务状态；以及

管理模块，用于根据获取到的所述第一任务的任务状态管理所述第一任务。

8.一种分布式任务系统，其特征在于，包括主节点、工作节点和管理节点，其中：

所述管理节点用于存储定时任务的任务状态；

所述工作节点用于执行所述定时任务以及根据所述定时任务的执行状态修改所述任务状态；

所述主节点用于查询任务消息队列中是否具有第一任务，其中，所述任务消息队列包括待执行的定时任务，所述第一任务为达到执行时间要求的定时任务，当所述任务消息队列中具有所述第一任务时，将所述第一任务分发至第一工作节点，其中，所述第一工作节点为所述分布式任务系统中的任一所述工作节点，向所述管理节点获取所述第一任务的任务状态；以及根据获取到的所述第一任务的任务状态管理所述第一任务。

9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。

Images