CN107908465B

CN107908465B - 大数据平台的任务调度方法

Info

Publication number: CN107908465B
Application number: CN201710980556.5A
Authority: CN
Inventors: 杨博
Original assignee: Shenzhen Suoxinda Data Technology Co ltd
Current assignee: Shenzhen Suoxinda Data Technology Co ltd
Priority date: 2017-10-19
Filing date: 2017-10-19
Publication date: 2020-11-03
Anticipated expiration: 2037-10-19
Also published as: CN107908465A

Abstract

本发明公开了一种大数据平台的任务调度方法，其包括：控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例和通知消息，目标任务实例对应通知消息；数据库接收目标任务实例，并将目标任务实例写入至任务例表；包括多个任务代理节点的任务代理集群接收到通知消息后，任务代理节点从数据库的任务列表中读取与通知消息对应的目标任务实例，并将目标任务实例下发至任务运行集群；任务运行集群接收到目标任务实例后，运行目标任务实例。本发明生成目标任务实例并将该目标任务实例写入数据库的写操作，与任务代理节点从数据库中读取目标任务实例的读操作，两者独立，以致读写分离，从而避免了读操作与写操作之间的相互影响，提升了处理速率。

Description

大数据平台的任务调度方法

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种大数据平台的任务调度方法。

背景技术

随着互联网技术以及信息技术的发展，大量的信息被数据化，产生了无法用常规工具捕捉、管理和处理的海量数据集合，这种数据集合也称为大数据。

大数据具有海量的数据规模以及多样的数据类型，使用大数据系统对大数据加工处理，挖掘出海量数据的数据价值。为了更好地对大数据进行处理分析，可以对大数据的处理任务进行相应的调度，保证大数据任务的高效运行。

大数据系统包括调度大数据任务的任务调度系统，现有的大数据任务调度系统一般是基于工作流来管理任务。通过设置任务之间的依赖关系，构建任务的有向无环图模型，以完成对大数据任务的调度管理。但是，现有的大数据任务调度系统的数据库的读操作与写操作之间存在相互影响，从而影响了大数据任务调度系统的处理速率。

发明内容

本发明的目的在于提供一种大数据平台的任务调度方法，以解决现有的大数据任务调度系统的处理速率。

为了解决上述问题，本发明提供了一种大数据平台的任务调度方法，其包括如下步骤：

控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例和通知消息，目标任务实例对应通知消息；

数据库接收目标任务实例，并将目标任务实例写入至任务例表；

包括多个任务代理节点的任务代理集群接收到通知消息后，任务代理节点从数据库的任务列表中读取与通知消息对应的目标任务实例，并将目标任务实例下发至任务运行集群；

任务运行集群接收到目标任务实例后，运行目标任务实例。

作为本发明的进一步改进，根据任务参数生成目标任务实例和通知消息的步骤之后，还包括：

控制终端从数据库获取所有第一任务运行状态数据信息，并根据所有第一任务运行状态数据信息分析得到运行的任务数量；

控制终端判断任务数量是否超过预设阈值；

若任务数量超过预设阈值，则控制终端不发送通知消息至任务代理节点。

作为本发明的进一步改进，控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例的步骤包括：

控制终端获取用户在多个预设任务模板中选中的目标任务模板；

控制终端获取用户输入的任务参数，并根据任务参数和目标任务模板生成目标任务实例。

作为本发明的进一步改进，任务运行集群包括多个任务运行节点，控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例和通知消息的步骤之前，还包括：

控制终端获取用户输入的所需任务运行节点的数量，并根据数量增加或减少任务运行节点。

作为本发明的进一步改进，任务代理节点包括监控模块，运行目标任务实例的步骤之后，还包括：

监控模块监控目标任务实例的执行，以获得第二任务运行状态数据信息，并将第二任务运行状态数据信息传输至数据库。

作为本发明的进一步改进，监控模块监控目标任务实例的执行的步骤之后，还包括：

监控模块检测当前任务代理节点的运行状态；

监控模块根据运行状态判断当前任务代理节点是否宕机；

若根据运行状态判定当前任务代理节点宕机时，则发送反馈信息至控制终端；

控制终端选择出替代任务代理节点，替换当前任务代理节点，以继续执行目标任务实例。

作为本发明的进一步改进，监控模块监控目标任务实例的执行，以获得第二任务运行状态数据信息，并将第二任务运行状态数据信息传输至数据库的步骤之后，还包括：

目标任务实例执行完成后，任务代理节点生成第一日志文件，并将第一日志文件传输至Hadoop分布式文件系统进行存储。

作为本发明的进一步改进，该方法还包括：

控制终端获取用户输入的任务停止指令，并将任务停止指令发送至任务代理节点；

任务代理节点接收到任务停止指令后，发送任务停止请求至任务运行集群；

任务运行集群接收到任务停止请求后，停止目标任务实例的执行；

目标任务实例停止执行后，任务代理节点生成第二日志文件和删除目标任务实例，并将第二日志文件传输至Hadoop分布式文件系统进行存储。

与现有技术相比，控制终端生成目标任务实例并将该目标任务实例写入数据库的写操作，与任务代理节点从数据库中读取目标任务实例的读操作，两者独立，以致读写分离，从而避免了读操作与写操作之间的相互影响，因此，提升了处理速率。

附图说明

图1为本发明大数据平台的任务调度系统一个实施例的框架结构示意图；

图2为本发明大数据平台的任务调度方法第一个实施例的流程示意图；

图3为本发明大数据平台的任务调度方法第二个实施例的流程示意图；

图4为本发明大数据平台的任务调度方法第三个实施例的流程示意图；

图5为本发明大数据平台的任务调度方法第四个实施例的流程示意图；

图6为本发明大数据平台的任务调度方法第五个实施例的流程示意图；

图7为本发明大数据平台的任务调度方法第六个实施例的流程示意图；

图8为本发明大数据平台的任务调度方法第七个实施例的流程示意图；

图9为本发明大数据平台的任务调度方法第八个实施例的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用来限定本发明。

图2展示了本发明大数据平台的任务调度方法的一个实施例。在本实施例中，参见图1，该大数据平台的任务调度方法应用于大数据平台的任务调度系统，该大数据平台的任务调度系统包括控制终端1、数据库2、任务代理集群3和任务运行集群4，其中，数据库2分别与控制终端1、任务代理集群3电性连接，任务代理集群3分别与控制终端1、任务运行集群4电性连接，任务代理集群3包括多个任务代理节点31，任务运行集群4包括多个任务运行节点41。具体地，参见图2，该大数据平台的任务调度方法包括如下步骤：

步骤S1，控制终端获取用户输入的任务参数、根据任务参数生成目标任务实例和通知消息，目标任务实例对应通知消息。

需要说明的是，本实施例中的任务参数包括任务名、任务生效时间、任务类型、任务周期以及任务的扩展信息等。

步骤S2，数据库接收目标任务实例，并将目标任务实例写入至任务例表。

步骤S3，包括多个任务代理节点的任务代理集群接收到通知消息后，任务代理节点从数据库的任务列表中读取与通知消息对应的目标任务实例，并将目标任务实例下发至任务运行集群。

步骤S4，任务运行集群接收到目标任务实例后，运行目标任务实例。

本实施例的控制终端生成目标任务实例并将该目标任务实例写入数据库的写操作，与任务代理节点从数据库中读取目标任务实例的读操作，两者独立，以致读写分离，从而避免了读操作与写操作之间的相互影响，因此，提升了处理速率。

将本发明的大数据平台的任务调度方法应用于大数据平台的任务调度系统的使用过程中，需要智能避免负载过高，以致降低大数据任务的运行速率。因此，在上述实施例的基础上，其他实施例中，参见图3，步骤S4之后，还包括：

步骤S10，控制终端从数据库获取所有第一任务运行状态数据信息，并根据所有第一任务运行状态数据信息分析得到运行的任务数量。

步骤S11，控制终端判断任务数量是否超过预设阈值；若任务数量超过预设阈值，则执行步骤S12。

步骤S12，控制终端不发送通知消息至任务代理节点。

本实施例根据运行状态判定运行的任务数量过多时，智能延迟当前的目标任务实例的运行，从而达到任务的并发度控制，避免了负载过高，以致大数据任务的运行速率的降低。

将本发明的大数据平台的任务调度方法应用于大数据平台的任务调度系统的使用过程中，需要根据用户的需要生成不同的任务实例。因此，在上述实施例的基础上，其他实施例中，参见图4，步骤S1，包括：

步骤S20，控制终端获取用户在多个预设任务模板中选中的目标任务模板。

需要说明的是，本实施例中的预设任务模板可以根据用户的需要进行删除、修订或增加等操作。

步骤S21，控制终端获取用户输入的任务参数，并根据任务参数和目标任务模板生成目标任务实例。

用户的可以根据系统提供的预设任务模板，快速获取的目标任务实例，从而既提升了目标任务实例的获取速率，也提升了用户的操作速率。

将本发明的大数据平台的任务调度方法应用于大数据平台的任务调度系统的使用过程中，若任务运行节点的数量不够或过多时，可以根据需要进行任务运行节点的增加或减少。因此，上述实施例的基础上，其他实施例中，参见图5，步骤S1之前，还包括：

步骤S30，控制终端获取用户输入的所需任务运行节点的数量，并根据数量增加或减少任务运行节点。

本实施例可以用户输入的所需任务运行节点的数量，进行任务运行节点的增减操作，以致支持任务运行节点的并行化，从而提升了任务运行节点的配置灵活性。

将本发明的大数据平台的任务调度方法应用于大数据平台的任务调度系统的使用过程中，用户或任务代理节点需要实时获知目标任务实例的运行状态。因此，上述实施例的基础上，其他实施例中，任务代理节点包括监控模块，参见图6，步骤S4之后，还包括：

步骤S40，监控模块监控目标任务实例的执行，以获得第二任务运行状态数据信息，并将第二任务运行状态数据信息传输至数据库。

本实施例实时监测目标任务实例的执行，并实时获取任务运行状态，以便用户即时获取任务运行状态，或任务代理节点即时根据任务运行状态进行控制处理，进一步提升了系统的智能处理能力。

将本发明的大数据平台的任务调度方法应用于大数据平台的任务调度系统的使用过程中，若某一个任务代理节点出现故障，需要系统自动进行处理。因此，上述实施例的基础上，其他实施例中，参见图7，步骤S40之后，还包括：

步骤S50，监控模块检测当前任务代理节点的运行状态。

步骤S51，监控模块根据运行状态判断当前任务代理节点是否宕机；若根据运行状态判定当前任务代理节点宕机时，则执行步骤S52。

步骤S52，发送反馈信息至控制终端。

步骤S53，控制终端选择出替代任务代理节点，替换当前任务代理节点，以继续执行目标任务实例。

本实施例根据运行状态检测到当前代理节点出现宕机时，自动选择替代任务代理节点，以便继续执行目标任务实例，从而进一步提升了处理速率和用户使用体验度。

将本发明的大数据平台的任务调度方法应用于大数据平台的任务调度系统的使用过程中，需要后续对运行结果进行查询，因此，上述实施例的基础上，其他实施例中，参见图8，步骤S40之后，还包括：

步骤S60，目标任务实例执行完成后，任务代理节点生成第一日志文件，并将第一日志文件传输至Hadoop分布式文件系统进行存储。

本实施例自动生成日志文件并存储至Hadoop分布式文件系统，以便用户后续在Hadoop分布式文件系统获取该日志文件，从而获知运行结果等参数数据，进一步提升了用户使用体验度。

将本发明的大数据平台的任务调度方法应用于大数据平台的任务调度系统的使用过程中，需要根据用户的需求即时停止目标任务实例的运行，因此，上述实施例的基础上，其他实施例中，参见图9，该大数据平台的任务调度方法还包括：

步骤S70，控制终端获取用户输入的任务停止指令，并将任务停止指令发送至任务代理节点。

步骤S71，任务代理节点接收到任务停止指令后，发送任务停止请求至任务运行集群。

步骤S72，任务运行集群接收到任务停止请求后，停止目标任务实例的执行。

步骤S73，目标任务实例停止执行后，任务代理节点生成第二日志文件和删除目标任务实例，并将第二日志文件传输至Hadoop分布式文件系统进行存储。

用户通过本实施例的控制终端输入任务停止指令，并通过任务代理节点下发至任务运行集群，以便任务运行节点即时停止用户所需停止的目标任务实例，进一步提醒系统控制的智能性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

以上对发明的具体实施方式进行了详细说明，但其只作为范例，本发明并不限制与以上描述的具体实施方式。对于本领域的技术人员而言，任何对该发明进行的等同修改或替代也都在本发明的范畴之中，因此，在不脱离本发明的精神和原则范围下所作的均等变换和修改、改进等，都应涵盖在本发明的范围内。

Claims

1.一种大数据平台的任务调度方法，其特征在于，其包括如下步骤：

控制终端获取用户输入的任务参数、根据所述任务参数生成目标任务实例和通知消息，所述目标任务实例对应所述通知消息；

数据库接收所述目标任务实例，并将所述目标任务实例写入至任务列表；

包括多个任务代理节点的任务代理集群接收到所述通知消息后，所述任务代理节点从所述数据库的任务列表中读取与所述通知消息对应的目标任务实例，并将所述目标任务实例下发至任务运行集群；

所述任务运行集群接收到所述目标任务实例后，运行所述目标任务实例；

所述根据所述任务参数生成目标任务实例和通知消息的步骤之后，还包括：

所述控制终端从所述数据库获取所有第一任务运行状态数据信息，并根据所述所有第一任务运行状态数据信息分析得到运行的任务数量；

所述控制终端判断所述任务数量是否超过预设阈值；

若所述任务数量超过所述预设阈值，则所述控制终端不发送通知消息至所述任务代理节点。

2.根据权利要求1所述的大数据平台的任务调度方法，其特征在于，所述控制终端获取用户输入的任务参数、根据所述任务参数生成目标任务实例的步骤包括：

所述控制终端获取用户在多个预设任务模板中选中的目标任务模板；

所述控制终端获取用户输入的所述任务参数，并根据所述任务参数和所述目标任务模板生成所述目标任务实例。

3.根据权利要求1所述的大数据平台的任务调度方法，其特征在于，所述任务运行集群包括多个任务运行节点，所述控制终端获取用户输入的任务参数、根据所述任务参数生成目标任务实例和通知消息的步骤之前，还包括：

所述控制终端获取用户输入的所需所述任务运行节点的数量，并根据所述数量增加或减少所述任务运行节点。

4.根据权利要求1所述的大数据平台的任务调度方法，其特征在于，所述任务代理节点包括监控模块，所述运行所述目标任务实例的步骤之后，还包括：

所述监控模块监控所述目标任务实例的执行，以获得第二任务运行状态数据信息，并将所述第二任务运行状态数据信息传输至所述数据库。

5.根据权利要求4所述的大数据平台的任务调度方法，其特征在于，所述监控模块监控所述目标任务实例的执行的步骤之后，还包括：

所述监控模块检测当前任务代理节点的运行状态；

所述监控模块根据所述运行状态判断所述当前任务代理节点是否宕机；

若根据所述运行状态判定所述当前任务代理节点宕机时，则发送反馈信息至所述控制终端；

所述控制终端选择出替代任务代理节点，替换所述当前任务代理节点，以继续执行所述目标任务实例。

6.根据权利要求4所述的大数据平台的任务调度方法，其特征在于，所述监控模块监控所述目标任务实例的执行，以获得第二任务运行状态数据信息，并将所述第二任务运行状态数据信息传输至所述数据库的步骤之后，还包括：

所述目标任务实例执行完成后，所述任务代理节点生成第一日志文件，并将所述第一日志文件传输至Hadoop分布式文件系统进行存储。

7.根据权利要求1所述的大数据平台的任务调度方法，其特征在于，其还包括：

所述控制终端获取用户输入的任务停止指令，并将所述任务停止指令发送至所述任务代理节点；

所述任务代理节点接收到所述任务停止指令后，发送任务停止请求至所述任务运行集群；

所述任务运行集群接收到所述任务停止请求后，停止所述目标任务实例的执行；

所述目标任务实例停止执行后，所述任务代理节点生成第二日志文件和删除所述目标任务实例，并将所述第二日志文件传输至Hadoop分布式文件系统进行存储。