CN112395140B - 去中心化的任务调度方法、装置、设备及介质 - Google Patents

Abstract

本申请涉及人工智能技术领域，揭示了一种去中心化的任务调度方法、装置、设备及介质，其中方法包括：调用目标主节点从目标Zookeeper中确定多个待分析的节点信息文件，目标主节点为任一个正常运行的主节点，当目标主节点对应的目标临时节点序号在多个待分析的节点信息文件中是最小值时调用目标主节点确定目标主节点的属性为激活主节点，否则调用目标主节点确定目标主节点的属性为备用主节点；调用备用主节点在目标Zookeeper中注册事件监听器；调用激活主节点根据待执行任务数据和多个工作节点进行任务调度确定目标任务调度结果。从而实现了去中心化架构设计，支持多个主节点的调度方式，避免了出现单点故障风险。

Description

去中心化的任务调度方法、装置、设备及介质

技术领域

本申请涉及到人工智能技术领域，特别是涉及到一种去中心化的任务调度方法、装置、设备及介质。

背景技术

目前的调度系统主要是azkaban、airflow、zues等，这些调度系统均不支持调度中心的HA(多个主节点)；azkaban任务上线麻烦，不同任务之间无法直接依赖，Web Server存在单点故障风险；airflow Scheduler也存在单点故障风险；而zeus界面比较老，已经不在维护，文档缺失。

发明内容

本申请的主要目的为提供一种去中心化的任务调度方法、装置、设备及介质，旨在解决现有调度系统不支持多个主节点的调度方式，存在单点故障风险的技术问题。

为了实现上述发明目的，本申请提出一种去中心化的任务调度方法，所述方法应用于调度系统，所述调度系统包括：多个Zookeeper、多个主节点、多个工作节点；所述方法包括：

调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件，所述目标主节点为所述多个主节点中任一个正常运行的所述主节点，所述目标Zookeeper为所述多个Zookeeper中任一个正常运行的所述Zookeeper；

调用所述目标主节点分别对每个所述待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据；

调用所述目标主节点从所述待分析的节点信息数据中获取所述目标主节点对应的目标临时节点序号；

调用所述目标主节点判断所述目标临时节点序号在所述待分析的节点信息数据中是否为最小值；

当所述目标临时节点序号在所述待分析的节点信息数据中是最小值时，调用所述目标主节点确定所述目标主节点的属性为激活主节点，否则调用所述目标主节点确定所述目标主节点的属性为备用主节点，调用所述备用主节点在所述目标Zookeeper中注册事件监听器；

调用所述备用主节点接收所述目标Zookeeper通过所述注册事件监听器发送的激活主节点被移除通知，根据所述激活主节点被移除通知将所述激活主节点作为所述目标主节点执行所述调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤，直至确定所述目标主节点的属性为激活主节点或备用主节点；

调用所述激活主节点获取待执行任务数据，根据所述待执行任务数据和所述多个工作节点进行任务调度，确定目标任务调度结果。

进一步的，所述调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤之前，包括：

获取主节点注册请求，所述主节点注册请求携带有待注册的主节点标识；

响应所述主节点注册请求，调用所述待注册的主节点标识对应的主节点在所述目标Zookeeper中创建待更新的临时节点和待更新的临时节点序号，所述临时节点设为临时有序类型；

根据所述待注册的主节点标识、所述待更新的临时节点和所述待更新的临时节点序号生成所述待注册的主节点标识对应的所述节点信息文件。

进一步的，所述调用所述目标主节点分别对每个所述待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据的步骤，包括：

调用所述目标主节点分别从每个所述待分析的节点信息文件中获取主节点标识和临时节点序号，将获取的主节点标识和临时节点序号关联，得到主节点标识序号关联数据；

调用所述目标主节点根据所有所述主节点标识序号关联数据，确定所述待分析的节点信息数据。

进一步的，所述调用所述目标主节点从所述待分析的节点信息数据中获取所述目标主节点对应的目标临时节点序号的步骤，包括：

调用所述目标主节点从所述待分析的节点信息数据中进行查找，得到查找结果；

当所述查找结果为成功时，根据所述查找结果，确定所述目标主节点对应的目标临时节点序号；

当所述查找结果为失败时，调用所述目标主节点将所述目标主节点作为待注册的主节点标识，根据所述待注册的主节点标识向所述目标Zookeeper发送主节点注册请求。

进一步的，所述根据所述待执行任务数据和所述多个工作节点进行任务调度，确定目标任务调度结果的步骤，包括：

调用所述激活主节点从所述目标Zookeeper中获取工作节点注册信息；

调用所述激活主节点根据所述工作节点注册信息获取资源占用数据，得到目标资源占用数据；

根据所述待执行任务数据和所述目标资源占用数据按预设分配规则进行任务调度，确定所述目标任务调度结果。

进一步的，所述调用所述激活主节点从所述目标Zookeeper中获取工作节点注册信息的步骤之前，还包括：

调用所述目标Zookeeper获取工作节点注册请求，所述工作节点注册请求携带有待注册的工作节点标识；

调用所述目标Zookeeper根据所述待注册的工作节点标识更新所述工作节点注册信息。

进一步的，所述调用所述激活主节点获取待执行任务数据，根据所述待执行任务数据和所述多个工作节点进行任务调度，确定目标任务调度结果的步骤之前，还包括：

获取可视化任务配置请求，所述可视化任务配置请求携带有待配置的任务标识；

响应所述可视化任务配置请求，根据所述待配置的任务标识展示任务配置界面；

基于所述任务配置界面，获取任务配置数据；

根据所述待配置的任务标识和所述任务配置数据更新所述任务配置界面。

本申请还提出了一种去中心化的任务调度装置，所述装置应用于调度系统，所述调度系统包括：多个Zookeeper、多个主节点、多个工作节点；所述装置包括：

节点信息文件获取模块，用于调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件，所述目标主节点为所述多个主节点中任一个正常运行的所述主节点，所述目标Zookeeper为所述多个Zookeeper中任一个正常运行的所述Zookeeper；

待分析的节点信息数据确定模块，用于调用所述目标主节点分别对每个所述待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据；

节点属性确定模块，用于调用所述目标主节点从所述待分析的节点信息数据中获取所述目标主节点对应的目标临时节点序号，调用所述目标主节点判断所述目标临时节点序号在所述待分析的节点信息数据中是否为最小值，当所述目标临时节点序号在所述待分析的节点信息数据中是最小值时，调用所述目标主节点确定所述目标主节点的属性为激活主节点，否则调用所述目标主节点确定所述目标主节点的属性为备用主节点，调用所述备用主节点在所述目标Zookeeper中注册事件监听器；

激活主节点被移除通知监听处理模块，用于调用所述备用主节点接收所述目标Zookeeper通过所述注册事件监听器发送的激活主节点被移除通知，根据所述激活主节点被移除通知将所述激活主节点作为所述目标主节点执行所述调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤，直至确定所述目标主节点的属性为激活主节点或备用主节点；

任务调度模块，用于调用所述激活主节点获取待执行任务数据，根据所述待执行任务数据和所述多个工作节点进行任务调度，确定目标任务调度结果。

本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

本申请的去中心化的任务调度方法、装置、设备及介质，通过调用目标主节点从目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件，目标主节点为多个主节点中任一个正常运行的主节点，分别对每个待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据，从待分析的节点信息数据中获取目标主节点对应的目标临时节点序号，判断目标临时节点序号在待分析的节点信息数据中是否最小值，从而实现了采用多个Zookeeper实现多个主节点和多个工作节点的去中心化架构设计，支持多个主节点的调度方式，避免了出现单点故障风险；调用备用主节点接收目标Zookeeper通过注册事件监听器发送的激活主节点被移除通知，根据激活主节点被移除通知将所述激活主节点作为所述目标主节点执行调用目标主节点从目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤直至确定所述目标主节点的属性为激活主节点或备用主节点，从而在激活主节点被移除时可以自动确定新的激活主节点，进一步避免了出现单点故障风险。

附图说明

图1为本申请一实施例的去中心化的任务调度方法的流程示意图；

图2为本申请一实施例的去中心化的任务调度装置的结构示意框图；

图3为本申请一实施例的计算机设备的结构示意框图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

为了解决现有调度系统不支持多个主节点的调度方式，存在单点故障风险的技术问题，本申请提出了一种去中心化的任务调度方法，所述方法应用于人工智能技术领域，所述方法进一步应用于人工智能的分布式人工智能技术领域。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。所述去中心化的任务调度方法采用多个Zookeeper实现多个主节点和多个工作节点的去中心化架构设计，支持多个主节点的调度方式，避免了出现单点故障风险。

参照图1，本申请实施例中提供一种去中心化的任务调度方法，所述方法应用于调度系统，所述调度系统包括：多个Zookeeper、多个主节点、多个工作节点；所述方法包括：

S1：调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件，所述目标主节点为所述多个主节点中任一个正常运行的所述主节点，所述目标Zookeeper为所述多个Zookeeper中任一个正常运行的所述Zookeeper；

S2：调用所述目标主节点分别对每个所述待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据；

S3：调用所述目标主节点从所述待分析的节点信息数据中获取所述目标主节点对应的目标临时节点序号；

S4：调用所述目标主节点判断所述目标临时节点序号在所述待分析的节点信息数据中是否为最小值；

S5：当所述目标临时节点序号在所述待分析的节点信息数据中是最小值时，调用所述目标主节点确定所述目标主节点的属性为激活主节点，否则调用所述目标主节点确定所述目标主节点的属性为备用主节点，调用所述备用主节点在所述目标Zookeeper中注册事件监听器；

S6：调用所述备用主节点接收所述目标Zookeeper通过所述注册事件监听器发送的激活主节点被移除通知，根据所述激活主节点被移除通知将所述激活主节点作为所述目标主节点执行所述调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤，直至确定所述目标主节点的属性为激活主节点或备用主节点；

S7：调用所述激活主节点获取待执行任务数据，根据所述待执行任务数据和所述多个工作节点进行任务调度，确定目标任务调度结果。

本实施例通过调用目标主节点从目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件，目标主节点为多个主节点中任一个正常运行的主节点，分别对每个待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据，从待分析的节点信息数据中获取目标主节点对应的目标临时节点序号，判断目标临时节点序号在待分析的节点信息数据中是否最小值，从而实现了采用多个Zookeeper实现多个主节点和多个工作节点的去中心化架构设计，支持多个主节点的调度方式，避免了出现单点故障风险；调用备用主节点接收目标Zookeeper通过注册事件监听器发送的激活主节点被移除通知，根据激活主节点被移除通知将所述激活主节点作为所述目标主节点执行调用目标主节点从目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤直至确定所述目标主节点的属性为激活主节点或备用主节点，从而在激活主节点被移除时可以自动确定新的激活主节点，进一步避免了出现单点故障风险。

多个主节点组成主节点集群。主节点，又称为Master节点，用于做源数据的管理、工作节点的资源分配、管理任务的执行。

多个工作节点组成工作节点集群。工作节点，又称为Worker节点，用于执行任务。工作节点采用多线程的模式执行任务，多线程的每个线程独立执行任务，也就是说，每个工作节点可以同时执行多个任务，同一工作节点的不同线程之间彼此独立执行任务。

可选的，所述Zookeeper集群中Zookeeper的数量为至少三个并且为奇数；以及，所述方法还包括：判断正常运行的Zookeeper是否比故障的Zookeeper至少多一个；当正常运行的Zookeeper不是比故障的Zookeeper至少多一个时确定所述Zookeeper集群异常。从而可以始终保证Zookeeper集群的服务能力。比如，所述Zookeeper集群中Zookeeper的数量为三个，当故障的Zookeeper为两个时，确定正常运行的Zookeeper不是比故障的Zookeeper至少多一个，在此举例不做具体限定。

可选的，Zookeeper集群中的Zookeeper部署在不同的服务器上，从而减少服务器故障对Zookeeper集群服务能力的影响。可以理解的是，Zookeeper集群中的Zookeeper也可以部分在同一台服务器上，还可以全部在同一台服务器上，在此不做具体限定。

可选的，Zookeeper集群设有数据共享机制，其中，所述数据共享机制是指在Zookeeper集群的其中一个Zookeeper被更新信息，更新了信息的所述Zookeeper将更新的信息共享给Zookeeper集群中其它Zookeeper，从而确保了Zookeeper集群具有稳定的服务能力。

可选的，多个主节点中的主节点部署在不同的服务器上，从而减少服务器故障对多个主节点组成的主节点集群服务能力的影响。可以理解的是多个主节点中的主节点也可以部分在同一台服务器上，还可以全部在同一台服务器上，在此不做具体限定。

可选的，多个工作节点中的工作节点部署在不同的服务器上，从而减少服务器故障对多个工作节点组成的工作节点集群服务能力的影响。可以理解的是多个工作节点中的工作节点也可以部分在同一台服务器上，还可以全部在同一台服务器上，在此不做具体限定。

对于S1，调用所述目标主节点通过所述目标Zookeeper的getChildren(“scheduler/locknode”)方法从所述目标Zookeeper中获取节点信息文件。scheduler/locknode是个路径，getChildren(“scheduler/locknode”)获取的是“scheduler/locknode”对应的文件夹下的节点信息文件。

其中，调用目标主节点从所述目标Zookeeper中获取节点信息文件，也就是说，所述多个主节点中每一个正常运行的所述主节点都需要获取节点信息文件以确定该主节点的属性是激活主节点或备用主节点。

每个节点信息文件对应一个主节点，用于存放在目标Zookeeper中成功注册的主节点的信息。也就是说，每个在目标Zookeeper中成功注册的主节点都会有一个节点信息文件。

节点信息文件包括：主节点标识、临时节点序号，主节点标识和临时节点序号一一对应。可以理解的是，主节点标识可以是主节点名称、主节点ID等唯一标识一个主节点的标识。

可以理解的是，目标Zookeeper中同时存在的节点信息文件的临时节点序号具有唯一性，从而有利于对临时节点序号的排序以选举出激活主节点。

对于S2，调用所述目标主节点对所述待分析的节点信息文件中的主节点标识和临时节点序号进行提取，将提取的主节点标识和临时节点序号关联后放入文件，将该文件作为待分析的节点信息数据。比如，对所述待分析的节点信息文件中的主节点标识和临时节点序号进行提取得到主节点标识ZJ01和临时节点序号3，则将ZJ01和3作为一条记录放入待分析的节点信息数据对应的文件中。

所述待分析的节点信息数据包括：主节点标识、临时节点序号，其中，每个主节点标识对应一个临时节点序号。

对于S3，调用所述目标主节点获取所述目标主节点的主节点标识，将所述目标主节点的主节点标识从所述待分析节点信息数据中获取临时节点序号，得到所述目标主节点对应的目标临时节点序号。

对于S4，调用所述目标主节点判断所述目标主节点对应的目标临时节点序号在所述待分析节点信息数据中的所有临时节点序号中是否最小值。

对于S5，当所述目标主节点对应的目标临时节点序号在所述待分析节点信息数据是最小值时，意味着所述目标主节点排在第一位，需要所述目标主节点去执行任务调度，此时可以设置所述目标主节点的属性为激活主节点；当所述目标主节点对应的目标临时节点序号在所述待分析节点信息数据不是最小值时，意味着所述目标主节点排在非第一位，不需要所述目标主节点去执行任务调度，此时可以设置所述目标主节点的属性为备用主节点。

可以理解的是，激活主节点同时只能有一个，备用主节点的数量同时可以为零个、一个、多个。

所述事件监听器用于监听自定义事件。每个备用主节点在所述目标Zookeeper中对应一个事件监听器。

对于S6，当所述激活主节点发生故障时，所述激活主节点对应的临时节点将被从所述目标Zookeeper中移除，事件监听器监听到所述激活主节点对应的临时节点被移除时，向所述事件监听器对应的所述备用主节点发送激活主节点被移除通知；所述备用主节点接收到所述激活主节点被移除通知后，将自己作为目标主节点，执行所述调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤直至确定所述目标主节点的属性为激活主节点或备用主节点。从而实现了在激活主节点故障时自动选举出新的激活主节点，避免了出现单点故障风险。

对于S7，每个主节点中都设有定期扫描数据库读取任务的任务读取组件。

其中，当目标主节点确定自身的属性为激活主节点时，该目标主节点调用任务读取组件把数据库中所有待执行任务的任务信息读取到激活主节点对应的队列中，得到待执行任务数据，然后再根据激活主节点对应的队列中的所述待执行任务数据和所述多个工作节点按预设分配规则进行任务调度，确定目标任务调度结果。

目标任务调度结果，是指将所述待执行任务数据分别给所述多个工作节点的分配结果。

预设分配规则包括但不限于：最小负载规则、平均分配规则。所述最小负载规则，是指将任务分配给未完成任务数最少的正常运行的工作节点。所述平均分配规则，是指将所述待执行任务数据平均分配到所有正常运行的所述工作节点。

可以理解的是，步骤S6和步骤S7可以同时执行，也可以异步执行，在此不做具体限定。

可以理解的是，对于每个正常运行的主节点都需要独立执行步骤S1至步骤S5以确定自己的属性是激活主节点或备用主节点。

可以理解的是，步骤S1、步骤S5、步骤S6中的目标Zookeeper可以是同一个Zookeeper，也可以是不同的Zookeeper，在此不做具体限定。

在一个实施例中，上述调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤之前，包括：

S011：获取主节点注册请求，所述主节点注册请求携带有待注册的主节点标识；

S012：响应所述主节点注册请求，调用所述待注册的主节点标识对应的主节点在所述目标Zookeeper中创建待更新的临时节点和待更新的临时节点序号，所述临时节点设为临时有序类型；

S013：根据所述待注册的主节点标识、所述待更新的临时节点和所述待更新的临时节点序号生成所述待注册的主节点标识对应的所述节点信息文件。

本实施例实现了在从所述目标Zookeeper中获取节点信息文件之前，将主节点在目标Zookeeper中进行注册，为通过多个Zookeeper实现多个主节点和多个工作节点的去中心化架构设计和支持多个主节点的调度方式提供了基础。

对于S011，获取正常运行的主节点发送的主节点注册请求。

主节点注册请求，是指在所述目标Zookeeper中对待注册的主节点标识对应的主节点进行注册的请求。

待注册的主节点标识，也就是需要在目标Zookeeper中进行注册的主节点对应的主节点标识。

对于S012，调用所述待注册的主节点标识对应的主节点通过调用所述目标Zookeeper的create()方法在所述目标Zookeeper中创建临时节点和临时节点序号，得到待更新的临时节点和待更新的临时节点序号。待更新的临时节点的类型是临时有序类型。

临时有序类型，是一个临时的有序，也就是说临时节点可以删除。比如，临时有序类型为EPHEMERAL_SEQUENTIAL，在此举例不做具体限定。

对于S013，根据所述待注册的主节点标识、所述待更新的临时节点和所述待更新的临时节点序号按Zookeeper的节点信息文件生成规则生成节点信息文件，得到所述待注册的主节点标识对应的所述节点信息文件，将所述待注册的主节点标识对应的所述节点信息文件存储在目标Zookeeper中。

在一个实施例中，上述调用所述目标主节点分别对每个所述待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据的步骤，包括：

S21：调用所述目标主节点分别从每个所述待分析的节点信息文件中获取主节点标识和临时节点序号，将获取的主节点标识和临时节点序号关联，得到主节点标识序号关联数据；

S22：调用所述目标主节点根据所有所述主节点标识序号关联数据，确定所述待分析的节点信息数据。

本实施例实现了对每个所述待分析的节点信息文件进行节点信息分析，为对目标主节点进行排序提供了数据基础。

对于S21，调用所述目标主节点分别从每个所述待分析的节点信息文件中获取主节点标识和临时节点序号，每个所述待分析的节点信息文件中获取的主节点标识和临时节点序号关联成一条记录，将该记录作为主节点标识序号关联数据。

对于S22，调用所述目标主节点将所有所述主节点标识序号关联数据放入一个文件中，然后将该文件作为待分析的节点信息数据。

在一个实施例中，上述调用所述目标主节点从所述待分析的节点信息数据中获取所述目标主节点对应的目标临时节点序号的步骤，包括：

S31：调用所述目标主节点从所述待分析的节点信息数据中进行查找，得到查找结果；

S32：当所述查找结果为成功时，根据所述查找结果，确定所述目标主节点对应的目标临时节点序号；

S33：当所述查找结果为失败时，调用所述目标主节点将所述目标主节点作为待注册的主节点标识，根据所述待注册的主节点标识向所述目标Zookeeper发送主节点注册请求。

本实施例实现了从所述待分析的节点信息数据中获取所述目标主节点对应的目标临时节点序号，为对目标主节点进行排序提供了数据基础；在获取失败时主动向所述目标Zookeeper发送主节点注册请求，从而实现了自动化注册主节点。

对于S31，调用所述目标主节点获取所述目标主节点的主节点标识，将所述目标主节点的主节点标识在所述待分析的节点信息数据中进行查找，当在所述待分析的节点信息数据中找到相同的主节点标识时确定所述查找结果为成功，否则确定所述查找结果为失败。

对于S32，当所述查找结果为成功时，意味着所述目标主节点的主节点标识在所述目标Zookeeper中已成功注册，目标主节点是可用的主节点，此时将在所述待分析的节点信息数据中找到的主节点标识对应的临时节点序号作为所述目标主节点对应的目标临时节点序号。

对于S33，当所述查找结果为失败时，意味着所述目标主节点的主节点标识在所述目标Zookeeper中还未注册，目标主节点是不可用的主节点，此时将所述目标主节点作为待注册的主节点标识，主动根据所述待注册的主节点标识向所述目标Zookeeper发送主节点注册请求，从而实现自动在目标Zookeeper中进行注册，注册完成将该目标主节点纳入所述多个主节点以成为可用的主节点。

在一个实施例中，上述根据所述待执行任务数据和所述多个工作节点进行任务调度，确定目标任务调度结果的步骤，包括：

S71：调用所述激活主节点从所述目标Zookeeper中获取工作节点注册信息；

S72：调用所述激活主节点根据所述工作节点注册信息获取资源占用数据，得到目标资源占用数据；

S73：根据所述待执行任务数据和所述目标资源占用数据按预设分配规则进行任务调度，确定所述目标任务调度结果。

本实施例实现了调用所述激活主节点进行任务调度，从而实现了采用多个Zookeeper实现多个主节点和多个工作节点的去中心化架构设计，支持多个主节点的调度方式，避免了出现单点故障风险。

对于S71，工作节点注册信息包括但不限于：工作节点标识。

对于S72，调用所述激活主节点轮询每个所述工作节点，获取每个所述工作节点的资源占用数据，将所有所述工作节点的资源占用数据放入文件，将该文件作为目标资源占用数据。

资源占用数据包括：未完成任务数、执行任务上限数。

可选的，所述调用所述激活主节点从所述目标Zookeeper中获取工作节点注册信息的步骤之前，还包括：调用所述目标Zookeeper获取工作节点移除请求，所述工作节点移除请求携带有待移除的工作节点标识；调用所述目标Zookeeper将所述待移除的工作节点标识从所述工作节点注册信息中移除。从而实现了自动删除所述目标Zookeeper已注册的工作节点标识，有利于保持所述目标Zookeeper已注册的工作节点标识对应的工作节点可用性。

对于S73，采用预设分配规则和所述目标资源占用数据确定所述待执行任务数据分配到每个工作节点的任务数量，根据分配到每个工作节点的任务数量确定所述目标任务调度结果。

在一个实施例中，上述调用所述激活主节点从所述目标Zookeeper中获取工作节点注册信息的步骤之前，还包括：

S0711：调用所述目标Zookeeper获取工作节点注册请求，所述工作节点注册请求携带有待注册的工作节点标识；

S0712：调用所述目标Zookeeper根据所述待注册的工作节点标识更新所述工作节点注册信息。

本实施例实现了在从所述目标Zookeeper中获取工作节点注册信息之前，将工作节点在目标Zookeeper中进行注册，为通过多个Zookeeper实现多个主节点和多个工作节点的去中心化架构设计和支持多个主节点的调度方式提供了基础。

对于S0711，调用所述目标Zookeeper获取待注册的工作节点标识对应的工作节点发送的工作节点注册请求。

工作节点注册请求，是指在所述目标Zookeeper中对待注册的工作节点标识对应的工作节点进行注册的请求。

待注册的工作节点标识，也就是需要在目标Zookeeper中进行注册的工作节点对应的主节点标识。

对于S0712，调用所述目标Zookeeper将所述待注册的工作节点标识添加到所述工作节点注册信息中。

在一个实施例中，上述调用所述激活主节点获取待执行任务数据，根据所述待执行任务数据和所述多个工作节点进行任务调度，确定目标任务调度结果的步骤之前，还包括：

S81：获取可视化任务配置请求，所述可视化任务配置请求携带有待配置的任务标识；

S82：响应所述可视化任务配置请求，根据所述待配置的任务标识展示任务配置界面；

S83：基于所述任务配置界面，获取任务配置数据；

S84：根据所述待配置的任务标识和所述任务配置数据更新所述任务配置界面。

本实施例实现了可视化进行任务配置，有利于用户快速配置任务，也有利于用户可视化查看任务配置情况，提高了任务配置的效率，进一步提高了用户体验。

对于S81，获取用户发送的可视化任务配置请求。

可视化任务配置请求，是在任务配置界面进行任务配置的请求。

待配置的任务标识，是需要在任务配置界面进行配置的任务标识。任务标识可以是任务名称、任务ID等唯一标识一个任务的标识。

对于S82，响应所述可视化任务配置请求，将所述待配置的任务标识在历史配置数据中进行查询，当在历史配置数据中查找到任务标识时根据在历史配置数据中查找到任务标识展示任务配置界面，否则获取默认任务配置页面，根据所述默认任务配置页面展示任务配置界面。

对于S83，用户在所述任务配置界面进行任务配置，配置结束触发按钮提交任务配置数据。

任务配置数据包括：任务操作类型、任务标识。任务操作类型包括：添加上级任务关联关系、添加同级任务关联关系、添加下级任务关联关系、删除上级任务关联关系、删除同级任务关联关系、删除下级任务关联关系、删除当前任务。

对于S84，所述待配置的任务标识和所述任务配置数据实时更新所述任务配置界面，以实现即配即展示，有利于用户快速了解任务配置进度，提高了任务配置效率。

参照图2，本申请还提出了一种去中心化的任务调度装置，所述装置应用于调度系统，所述调度系统包括：多个Zookeeper、多个主节点、多个工作节点；所述装置包括：

节点信息文件获取模块100，用于调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件，所述目标主节点为所述多个主节点中任一个正常运行的所述主节点，所述目标Zookeeper为所述多个Zookeeper中任一个正常运行的所述Zookeeper；

待分析的节点信息数据确定模块200，用于调用所述目标主节点分别对每个所述待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据；

节点属性确定模块300，用于调用所述目标主节点从所述待分析的节点信息数据中获取所述目标主节点对应的目标临时节点序号，调用所述目标主节点判断所述目标临时节点序号在所述待分析的节点信息数据中是否为最小值，当所述目标临时节点序号在所述待分析的节点信息数据中是最小值时，调用所述目标主节点确定所述目标主节点的属性为激活主节点，否则调用所述目标主节点确定所述目标主节点的属性为备用主节点，调用所述备用主节点在所述目标Zookeeper中注册事件监听器；

激活主节点被移除通知监听处理模块400，用于调用所述备用主节点接收所述目标Zookeeper通过所述注册事件监听器发送的激活主节点被移除通知，根据所述激活主节点被移除通知将所述激活主节点作为所述目标主节点执行所述调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤，直至确定所述目标主节点的属性为激活主节点或备用主节点；

任务调度模块500，用于调用所述激活主节点获取待执行任务数据，根据所述待执行任务数据和所述多个工作节点进行任务调度，确定目标任务调度结果。

本实施例通过调用目标主节点从目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件，目标主节点为多个主节点中任一个正常运行的主节点，分别对每个待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据，从待分析的节点信息数据中获取目标主节点对应的目标临时节点序号，判断目标临时节点序号在待分析的节点信息数据中是否最小值，从而实现了采用多个Zookeeper实现多个主节点和多个工作节点的去中心化架构设计，支持多个主节点的调度方式，避免了出现单点故障风险；调用备用主节点接收目标Zookeeper通过注册事件监听器发送的激活主节点被移除通知，根据激活主节点被移除通知将所述激活主节点作为所述目标主节点执行调用目标主节点从目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤直至确定所述目标主节点的属性为激活主节点或备用主节点，从而在激活主节点被移除时可以自动确定新的激活主节点，进一步避免了出现单点故障风险。

参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存去中心化的任务调度方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种去中心化的任务调度方法。所述去中心化的任务调度方法，所述方法应用于调度系统，所述调度系统包括：多个Zookeeper、多个主节点、多个工作节点；所述方法包括：调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件，所述目标主节点为所述多个主节点中任一个正常运行的所述主节点，所述目标Zookeeper为所述多个Zookeeper中任一个正常运行的所述Zookeeper；调用所述目标主节点分别对每个所述待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据；调用所述目标主节点从所述待分析的节点信息数据中获取所述目标主节点对应的目标临时节点序号；调用所述目标主节点判断所述目标临时节点序号在所述待分析的节点信息数据中是否为最小值；当所述目标临时节点序号在所述待分析的节点信息数据中是最小值时，调用所述目标主节点确定所述目标主节点的属性为激活主节点，否则调用所述目标主节点确定所述目标主节点的属性为备用主节点，调用所述备用主节点在所述目标Zookeeper中注册事件监听器；调用所述备用主节点接收所述目标Zookeeper通过所述注册事件监听器发送的激活主节点被移除通知，根据所述激活主节点被移除通知将所述激活主节点作为所述目标主节点执行所述调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤，直至确定所述目标主节点的属性为激活主节点或备用主节点；调用所述激活主节点获取待执行任务数据，根据所述待执行任务数据和所述多个工作节点进行任务调度，确定目标任务调度结果。

本实施例通过调用目标主节点从目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件，目标主节点为多个主节点中任一个正常运行的主节点，分别对每个待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据，从待分析的节点信息数据中获取目标主节点对应的目标临时节点序号，判断目标临时节点序号在待分析的节点信息数据中是否最小值，从而实现了采用多个Zookeeper实现多个主节点和多个工作节点的去中心化架构设计，支持多个主节点的调度方式，避免了出现单点故障风险；调用备用主节点接收目标Zookeeper通过注册事件监听器发送的激活主节点被移除通知，根据激活主节点被移除通知将所述激活主节点作为所述目标主节点执行调用目标主节点从目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤直至确定所述目标主节点的属性为激活主节点或备用主节点，从而在激活主节点被移除时可以自动确定新的激活主节点，进一步避免了出现单点故障风险。

本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种去中心化的任务调度方法，所述方法应用于调度系统，所述调度系统包括：多个Zookeeper、多个主节点、多个工作节点；所述方法包括：调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件，所述目标主节点为所述多个主节点中任一个正常运行的所述主节点，所述目标Zookeeper为所述多个Zookeeper中任一个正常运行的所述Zookeeper；调用所述目标主节点分别对每个所述待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据；调用所述目标主节点从所述待分析的节点信息数据中获取所述目标主节点对应的目标临时节点序号；调用所述目标主节点判断所述目标临时节点序号在所述待分析的节点信息数据中是否为最小值；当所述目标临时节点序号在所述待分析的节点信息数据中是最小值时，调用所述目标主节点确定所述目标主节点的属性为激活主节点，否则调用所述目标主节点确定所述目标主节点的属性为备用主节点，调用所述备用主节点在所述目标Zookeeper中注册事件监听器；调用所述备用主节点接收所述目标Zookeeper通过所述注册事件监听器发送的激活主节点被移除通知，根据所述激活主节点被移除通知将所述激活主节点作为所述目标主节点执行所述调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤，直至确定所述目标主节点的属性为激活主节点或备用主节点；调用所述激活主节点获取待执行任务数据，根据所述待执行任务数据和所述多个工作节点进行任务调度，确定目标任务调度结果。

上述执行的去中心化的任务调度方法，通过调用目标主节点从目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件，目标主节点为多个主节点中任一个正常运行的主节点，分别对每个待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据，从待分析的节点信息数据中获取目标主节点对应的目标临时节点序号，判断目标临时节点序号在待分析的节点信息数据中是否最小值，从而实现了采用多个Zookeeper实现多个主节点和多个工作节点的去中心化架构设计，支持多个主节点的调度方式，避免了出现单点故障风险；调用备用主节点接收目标Zookeeper通过注册事件监听器发送的激活主节点被移除通知，根据激活主节点被移除通知将所述激活主节点作为所述目标主节点执行调用目标主节点从目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤直至确定所述目标主节点的属性为激活主节点或备用主节点，从而在激活主节点被移除时可以自动确定新的激活主节点，进一步避免了出现单点故障风险。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种去中心化的任务调度方法，其特征在于，所述方法应用于调度系统，所述调度系统包括：多个Zookeeper、多个主节点、多个工作节点，其中，所述主节点用于源数据的管理、工作节点的资源分配、管理任务的执行，工作节点，用于执行任务；所述方法包括：

调用目标主节点从目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件，所述目标主节点为所述多个主节点中任一个正常运行的所述主节点，所述目标Zookeeper为所述多个Zookeeper中任一个正常运行的所述Zookeeper；

调用所述目标主节点分别对每个所述待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据；

调用所述目标主节点从所述待分析的节点信息数据中获取所述目标主节点对应的目标临时节点序号；

调用所述目标主节点判断所述目标临时节点序号在所述待分析的节点信息数据中是否为最小值；

当所述目标临时节点序号在所述待分析的节点信息数据中是最小值时，调用所述目标主节点确定所述目标主节点的属性为激活主节点，否则调用所述目标主节点确定所述目标主节点的属性为备用主节点，调用所述备用主节点在所述目标Zookeeper中注册事件监听器；

调用所述备用主节点接收所述目标Zookeeper通过所述注册事件监听器发送的激活主节点被移除通知，根据所述激活主节点被移除通知将所述激活主节点作为所述目标主节点执行所述调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤，直至确定所述目标主节点的属性为激活主节点或备用主节点；

调用所述激活主节点获取待执行任务数据，根据所述待执行任务数据和所述多个工作节点进行任务调度，确定目标任务调度结果；

所述根据所述待执行任务数据和所述多个工作节点进行任务调度，确定目标任务调度结果的步骤，包括：

调用所述激活主节点从所述目标Zookeeper中获取工作节点注册信息；

调用所述激活主节点根据所述工作节点注册信息获取资源占用数据，得到目标资源占用数据；

根据所述待执行任务数据和所述目标资源占用数据按预设分配规则进行任务调度，确定所述目标任务调度结果，其中，预设分配规则包括最小负载规则和平均分配规则。

2.根据权利要求1所述的去中心化的任务调度方法，其特征在于，所述调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤之前，包括：

获取主节点注册请求，所述主节点注册请求携带有待注册的主节点标识；

响应所述主节点注册请求，调用所述待注册的主节点标识对应的主节点在所述目标Zookeeper中创建待更新的临时节点和待更新的临时节点序号，所述临时节点设为临时有序类型；

根据所述待注册的主节点标识、所述待更新的临时节点和所述待更新的临时节点序号生成所述待注册的主节点标识对应的所述节点信息文件。

3.根据权利要求1所述的去中心化的任务调度方法，其特征在于，所述调用所述目标主节点分别对每个所述待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据的步骤，包括：

调用所述目标主节点分别从每个所述待分析的节点信息文件中获取主节点标识和临时节点序号，将获取的主节点标识和临时节点序号关联，得到主节点标识序号关联数据；

调用所述目标主节点根据所有所述主节点标识序号关联数据，确定所述待分析的节点信息数据。

4.根据权利要求1所述的去中心化的任务调度方法，其特征在于，所述调用所述目标主节点从所述待分析的节点信息数据中获取所述目标主节点对应的目标临时节点序号的步骤，包括：

调用所述目标主节点从所述待分析的节点信息数据中进行查找，得到查找结果；

当所述查找结果为成功时，根据所述查找结果，确定所述目标主节点对应的目标临时节点序号；

当所述查找结果为失败时，调用所述目标主节点将所述目标主节点作为待注册的主节点标识，根据所述待注册的主节点标识向所述目标Zookeeper发送主节点注册请求。

5.根据权利要求1所述的去中心化的任务调度方法，其特征在于，所述调用所述激活主节点从所述目标Zookeeper中获取工作节点注册信息的步骤之前，还包括：

调用所述目标Zookeeper获取工作节点注册请求，所述工作节点注册请求携带有待注册的工作节点标识；

调用所述目标Zookeeper根据所述待注册的工作节点标识更新所述工作节点注册信息。

6.根据权利要求1所述的去中心化的任务调度方法，其特征在于，所述调用所述激活主节点获取待执行任务数据，根据所述待执行任务数据和所述多个工作节点进行任务调度，确定目标任务调度结果的步骤之前，还包括：

获取可视化任务配置请求，所述可视化任务配置请求携带有待配置的任务标识；

响应所述可视化任务配置请求，根据所述待配置的任务标识展示任务配置界面；

基于所述任务配置界面，获取任务配置数据；

根据所述待配置的任务标识和所述任务配置数据更新所述任务配置界面。

7.一种去中心化的任务调度装置，其特征在于，所述装置应用于调度系统，所述调度系统包括：多个Zookeeper、多个主节点、多个工作节点，其中，所述主节点用于源数据的管理、工作节点的资源分配、管理任务的执行，工作节点，用于执行任务；所述装置包括：

节点信息文件获取模块，用于调用目标主节点从目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件，所述目标主节点为所述多个主节点中任一个正常运行的所述主节点，所述目标Zookeeper为所述多个Zookeeper中任一个正常运行的所述Zookeeper；

待分析的节点信息数据确定模块，用于调用所述目标主节点分别对每个所述待分析的节点信息文件进行节点信息分析，得到待分析的节点信息数据；

节点属性确定模块，用于调用所述目标主节点从所述待分析的节点信息数据中获取所述目标主节点对应的目标临时节点序号，调用所述目标主节点判断所述目标临时节点序号在所述待分析的节点信息数据中是否为最小值，当所述目标临时节点序号在所述待分析的节点信息数据中是最小值时，调用所述目标主节点确定所述目标主节点的属性为激活主节点，否则调用所述目标主节点确定所述目标主节点的属性为备用主节点，调用所述备用主节点在所述目标Zookeeper中注册事件监听器；

激活主节点被移除通知监听处理模块，用于调用所述备用主节点接收所述目标Zookeeper通过所述注册事件监听器发送的激活主节点被移除通知，根据所述激活主节点被移除通知将所述激活主节点作为所述目标主节点执行所述调用目标主节点从所述目标Zookeeper中获取节点信息文件，得到多个待分析的节点信息文件的步骤，直至确定所述目标主节点的属性为激活主节点或备用主节点；

任务调度模块，用于调用所述激活主节点获取待执行任务数据，根据所述待执行任务数据和所述多个工作节点进行任务调度，确定目标任务调度结果；

所述根据所述待执行任务数据和所述多个工作节点进行任务调度，确定目标任务调度结果的步骤，包括：

调用所述激活主节点从所述目标Zookeeper中获取工作节点注册信息；

调用所述激活主节点根据所述工作节点注册信息获取资源占用数据，得到目标资源占用数据；

根据所述待执行任务数据和所述目标资源占用数据按预设分配规则进行任务调度，确定所述目标任务调度结果，其中，预设分配规则包括最小负载规则和平均分配规则。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images