CN111381972B - 分布式任务调度方法、装置和系统 - Google Patents
分布式任务调度方法、装置和系统 Download PDFInfo
- Publication number
- CN111381972B CN111381972B CN201811610264.3A CN201811610264A CN111381972B CN 111381972 B CN111381972 B CN 111381972B CN 201811610264 A CN201811610264 A CN 201811610264A CN 111381972 B CN111381972 B CN 111381972B
- Authority
- CN
- China
- Prior art keywords
- task
- node
- working
- management node
- zookeeper
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 239000012634 fragment Substances 0.000 claims abstract description 100
- 238000012544 monitoring process Methods 0.000 claims abstract description 66
- 238000005192 partition Methods 0.000 claims description 32
- 230000008859 change Effects 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 19
- 238000012986 modification Methods 0.000 claims description 11
- 230000004048 modification Effects 0.000 claims description 11
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 239000000725 suspension Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
- G06F9/526—Mutual exclusion algorithms
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了分布式任务调度方法、装置和系统。所述方法包括：通过zookeeper对一个或多个工作节点进行监听；在监听到一个工作节点的状态发生变更时，对执行目标任务的各工作节点的任务分片数据进行重新分配；所述目标任务为状态发生变更的工作节点所执行的任务。该技术方案的有益效果在于，工作节点与管理节点均可以视为zookeeper上的客户端，可通过zookeeper保存任务数据、传递消息及实现分布式锁，并且各节点可以通过相应的集群部署，在分布式执行的效率上很高，并且保证了高可用性。整个架构还可以采用golang实现，支持java任务，也支持非java任务，拓宽了业务场景。
Description
技术领域
本发明涉及任务调度领域，具体涉及分布式任务调度方法、装置和系统。
背景技术
当任务的内容较多时，采取分布式架构，由多个工作节点分别来执行任务的一部分，是较常用的一种方式。然而，这就会涉及到如何对各工作节点进行合理的调度，以及在新增工作节点、工作节点故障等情况发生时如何进行有效的处理。利用开源分布式协调程序zookeeper实现分布式任务调度，目前已有一些较为成熟的方案，但是由于调度是单一节点，并且通常与zookeeper融合作为服务端，不具备高可用性。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的分布式任务调度方法、装置和系统。
依据本发明的一个方面，提供了一种分布式任务调度方法，应用于管理节点中，该方法包括：
通过zookeeper对一个或多个工作节点进行监听；
在监听到一个工作节点的状态发生变更时，对执行目标任务的各工作节点的任务分片数据进行重新分配；所述目标任务为状态发生变更的工作节点所执行的任务。
可选地，所述管理节点有多个，该方法还包括：
在监听到一个工作节点的状态发生变更时，先执行相应的分布式加锁操作；
判断是否还需要对执行目标任务的各工作节点的任务分片数据进行重新分配，是则对执行目标任务的各工作节点的任务分片数据进行重新分配后，执行相应的分布式释放锁操作；否则直接执行相应的分布式释放锁操作。
可选地，所述判断是否还需要对执行目标任务的各工作节点的任务分片数据进行重新分配包括：
在监听到一个工作节点上线时，判断该上线的工作节点是否已被分配到任务分片数据，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配；
在监听到一个工作节点下线时，判断该下线的工作节点执行的任务的各任务分片数据是否均被分配完毕，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配。
可选地，该方法还包括：
通过zookeeper对各管理节点进行监听；
在监听到一个管理节点的状态发生变更时，先执行相应的分布式加锁操作；
判断是否需要对各管理节点的监听对象进行重新分配，是则对各管理节点的监听对象进行重新分配后，执行相应的分布式释放锁操作；否则直接执行相应的分布式释放锁操作。
可选地，所述通过zookeeper对各管理节点进行监听包括：
监听管理节点的创建、删除以及子节点的数据修改中的一项或多项。
可选地，所述判断是否需要对各管理节点的监听对象进行重新分配包括：
判断下线的管理节点的状态是否已被标记为下线，是则不需要对各管理节点的监听对象进行重新分配，否则需要对各管理节点的监听对象进行重新分配。
可选地，所述对各管理节点的监听对象进行重新分配包括：
获取下线的管理节点的所有监听对象；
删除各监听对象中记录的管理节点信息，并记录到zookeeper中；
为无管理节点监听的监听对象分配一个在线的管理节点，将分配结果同步到相应的管理节点中。
可选地，该方法还包括：
在管理节点启动后，同步相应的管理节点信息到zookeeper中。
可选地，所述对执行目标任务的各工作节点的任务分片数据进行重新分配包括：
若状态发生变更对应于工作节点上线，则从zookeeper获取目标任务的任务数据；
根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
可选地，所述对执行目标任务的各工作节点的任务分片数据进行重新分配包括：
若状态发生变更对应于工作节点下线，则从zookeeper获取该目标任务的未被分配的任务分片数据；
根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
依据本发明的另一方面，提供了一种分布式任务调度装置，应用于管理节点中，该装置包括：
监听单元，适于通过zookeeper对一个或多个工作节点进行监听；
调度单元，适于在监听到一个工作节点的状态发生变更时，对执行目标任务的各工作节点的任务分片数据进行重新分配；所述目标任务为状态发生变更的工作节点所执行的任务。
可选地，所述管理节点有多个，
所述调度单元，适于在监听到一个工作节点的状态发生变更时，先执行相应的分布式加锁操作；判断是否还需要对执行目标任务的各工作节点的任务分片数据进行重新分配，是则对执行目标任务的各工作节点的任务分片数据进行重新分配后，执行相应的分布式释放锁操作；否则直接执行相应的分布式释放锁操作。
可选地，所述调度单元，适于在监听到一个工作节点上线时，判断该上线的工作节点是否已被分配到任务分片数据，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配；在监听到一个工作节点下线时，判断该下线的工作节点执行的任务的各任务分片数据是否均被分配完毕，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配。
可选地，所述监听单元，还适于通过zookeeper对各管理节点进行监听；
所述调度单元，还适于在监听到一个管理节点的状态发生变更时，先执行相应的分布式加锁操作；判断是否需要对各管理节点的监听对象进行重新分配，是则对各管理节点的监听对象进行重新分配后，执行相应的分布式释
可选地，所述监听单元，适于监听管理节点的创建、删除以及子节点的数据修改中的一项或多项。
可选地，所述调度单元，适于判断下线的管理节点的状态是否已被标记为下线，是则不需要对各管理节点的监听对象进行重新分配，否则需要对各管理节点的监听对象进行重新分配。
可选地，所述调度单元，适于获取下线的管理节点的所有监听对象；删除各监听对象中记录的管理节点信息，并记录到zookeeper中；为无管理节点监听的监听对象分配一个在线的管理节点，将分配结果同步到相应的管理节点中。
可选地，该装置还包括：同步单元，适于在管理节点启动后，同步相应的管理节点信息到zookeeper中。
可选地，所述调度单元，适于若状态发生变更对应于工作节点上线，则从zookeeper获取目标任务的任务数据；根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
可选地，所述调度单元，适于若状态发生变更对应于工作节点下线，则从zookeeper获取该目标任务的未被分配的任务分片数据；根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
依据本发明的又一方面，提供了一种分布式任务调度系统，包括：一个或多个工作节点，一个或多个管理节点，以及zookeeper；所述管理节点中部署有如上述任一项所述的分布式任务调度装置。
可选地，所述工作节点，适于通过通信线程与zookeeper进行通信，以及通过任务主线程执行任务。
可选地，该系统还包括：控制节点，适于提供前端页面，根据所述前端页面接收的调度指令执行调度操作。
依据本发明的又一方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的方法。
依据本发明的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的方法。
由上述可知，本发明的技术方案，由管理节点通过zookeeper对工作节点进行监听，当在监听到一个工作节点的状态发生变更时，对执行目标任务的各工作节点的任务分片数据进行重新分配，其中，目标任务为状态发生变更的工作节点所执行的任务。该技术方案的有益效果在于，工作节点与管理节点均可以视为zookeeper上的客户端，可通过zookeeper保存任务数据、传递消息及实现分布式锁，并且各节点可以通过相应的集群部署，在分布式执行的效率上很高，并且保证了高可用性。整个架构还可以采用golang实现，支持java任务，也支持非java任务，拓宽了业务场景。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的一种分布式任务调度方法的流程示意图；
图2示出了根据本发明一个实施例的一种分布式任务调度装置的结构示意图；
图3示出了根据本发明一个实施例的一种分布式任务调度系统的结构示意图；
图4示出了根据本发明一个实施例的电子设备的结构示意图；
图5示出了根据本发明一个实施例的计算机可读存储介质的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的一种分布式任务调度方法的流程示意图，该方法可以应用于管理节点中，具体包括：
步骤S110，通过zookeeper对一个或多个工作节点进行监听。
利用zookeeper这一开源的分布式应用程序协调程序进行分布式任务调度，目前也有一些方案，但正如背景技术所介绍的，存在相应的缺点。在本发明的实施例中，管理节点中执行分布式任务调度方法，管理节点和工作节点均可以视为连接到zookeeper上的客户端。具体的监听实现方式可以采用zookeeper中的规范实现。这里还需要说明的是，监听仅针对工作节点本身的状态变更，而不针对工作节点所执行的任务。
一个工作节点一般执行一项任务的一部分，可以称之为作业(job)，所需的任务数据也是全部任务数据的一部分，可以称之为任务分片数据。例如，在一个zookeeper+kafka(一种分布式发布订阅消息系统)架构中，每个工作节点可以消费一个kafka中的话题(Topic)，在一个具体的业务场景下，可以对应于广告数据。
步骤S120，在监听到一个工作节点的状态发生变更时，对执行目标任务的各工作节点的任务分片数据进行重新分配；目标任务为状态发生变更的工作节点所执行的任务。
例如，一个工作节点下线了，需将该工作节点原来执行的任务分配给其他工作节点；而新上线了一个工作节点，也需要将任务重新分配，以使该工作节点有事可做。因此，需要确定所涉及的任务，再对任务分片数据进行重新分配。
可见，图1所示的方法，由管理节点通过zookeeper对工作节点进行监听，当在监听到一个工作节点的状态发生变更时，对执行目标任务的各工作节点的任务分片数据进行重新分配，其中，目标任务为状态发生变更的工作节点所执行的任务。该技术方案的有益效果在于，工作节点与管理节点均可以视为zookeeper上的客户端，可通过zookeeper保存任务数据、传递消息及实现分布式锁，并且各节点可以通过相应的集群部署，在分布式执行的效率上很高，并且保证了高可用性。整个架构还可以采用golang实现，支持java任务，也支持非java任务，拓宽了业务场景。
在本发明的一个实施例中，上述方法中，管理节点有多个，该方法还包括：在监听到一个工作节点的状态发生变更时，先执行相应的分布式加锁操作；判断是否还需要对执行目标任务的各工作节点的任务分片数据进行重新分配，是则对执行目标任务的各工作节点的任务分片数据进行重新分配后，执行相应的分布式释放锁操作；否则直接执行相应的分布式释放锁操作。
多个管理节点可以保证高可用性，在一个管理节点发生故障时，可以将该管理节点的任务分配给其他管理节点。但是多个管理节点也会产生一个问题，即在一个工作节点的状态发生变更时，如果有多个管理节点监听到，那么如何保证只被处理一次。具体地，可以采用分布式锁来实现。在监听到工作节点的状态发生变更时，先进行加锁，然后判断是否还需要执行操作，如果需要就执行后解锁，如果不需要，认为已被处理完毕，直接解锁即可。
在本发明的一个实施例中，上述方法中，判断是否还需要对执行目标任务的各工作节点的任务分片数据进行重新分配包括：在监听到一个工作节点上线时，判断该上线的工作节点是否已被分配到任务分片数据，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配；在监听到一个工作节点下线时，判断该下线的工作节点执行的任务的各任务分片数据是否均被分配完毕，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配。
这里给出了针对工作节点上线和下线两种情况，分别应该如何判断是否还需要对执行目标任务的各工作节点的任务分片数据进行重新分配的两种示例。在工作节点上线时，实际需要为该工作节点分配任务分片数据，那么该上线的工作节点已被分配到任务分片数据，说明不再需要处理，直接解锁即可。在工作节点下线时，需要对执行目标任务的各工作节点的任务分片数据进行重新分配，那么如果该下线的工作节点执行的任务的各任务分片数据是否均被分配完毕，也不需要再执行相应操作。
在本发明的一个实施例中，上述方法中，该方法还包括：通过zookeeper对各管理节点进行监听；在监听到一个管理节点的状态发生变更时，先执行相应的分布式加锁操作；判断是否需要对各管理节点的监听对象进行重新分配，是则对各管理节点的监听对象进行重新分配后，执行相应的分布式释放锁操作；否则直接执行相应的分布式释放锁操作。
这里对各管理节点进行监听，就能够确保在管理节点故障时，能够快速故障的管理节点的任务重新分配。本发明的一个实施例中，上述方法中，通过zookeeper对各管理节点进行监听包括：监听管理节点的创建、删除以及子节点的数据修改中的一项或多项。
例如，一个管理节点原来监听了三十个任务中的一百五十个工作节点作为监听对象，则在该管理节点故障下线后，需要将这些监听对象重新分配给其他管理节点。
这里，由于各管理节点都可以对其他的管理节点进行监听，因此也需要确保不会被处理多次。在本发明的一个实施例中，上述方法中，判断是否需要对各管理节点的监听对象进行重新分配包括：判断下线的管理节点的状态是否已被标记为下线，是则不需要对各管理节点的监听对象进行重新分配，否则需要对各管理节点的监听对象进行重新分配。在处理过后，管理节点的状态就会被标记为下线。具体的监听对象重新分配可以参照下面的例子：在本发明的一个实施例中，上述方法中，对各管理节点的监听对象进行重新分配包括：获取下线的管理节点的所有监听对象；删除各监听对象中记录的管理节点信息，并记录到zookeeper中；为无管理节点监听的监听对象分配一个在线的管理节点，将分配结果同步到相应的管理节点中。
在本发明的一个实施例中，上述方法还包括：在管理节点启动后，同步相应的管理节点信息到zookeeper中。这是对应于本管理节点启动后的上线流程。具体地，管理节点中可以启动一个事件处理现场，处理任务的增加、工作节点的增加、删除、管理节点的启动和删除(都分别对应于上线下线)等。可以启动一个RPC聆听端口等待消息。
管理节点与zookeeper之间的通信，可以监听工作节点，可以监听管理节点，可以将调度任务的相关信息写入zookeeper，例如，任务暂停，任务分片修改等；还可以将管理节点信息写入zookeeper。管理节点之间的通信可以是将下线的管理节点的监听对象分配给其他管理节点的消息。
下面给出了对执行目标任务的各工作节点的任务分片数据进行重新分配的两种示例：
在本发明的一个实施例中，上述方法中，对执行目标任务的各工作节点的任务分片数据进行重新分配包括：若状态发生变更对应于工作节点上线，则从zookeeper获取目标任务的任务数据；根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
在本发明的一个实施例中，上述方法中，对执行目标任务的各工作节点的任务分片数据进行重新分配包括：若状态发生变更对应于工作节点下线，则从zookeeper获取该目标任务的未被分配的任务分片数据；根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
其中，工作节点在接收到zookeeper中任务分片数据的变更后，就可以执行新的作业内容了。预设的调度策略可以是根据需求配置和修改的，具有可编程性。工作节点和管理节点均可以以进程的方式实现。则管理节点进程，可以监听和维护作业进程，即工作节点进程；其中一个管理节点进程下线，其他管理节点进程可以接管监听对象。而工作节点进程是执行业务逻辑的进程，具体可以包括一个执行业务逻辑的主线程，还可以包括一个通信线程，这样有利于常驻内存型任务的调度。通信线程可以与主线程维持心跳，并且也和zookeeper进行心跳，通zookeeper进行任务的启动、暂停和分片修改等，当然可以知道，这些都是根据管理节点进程执行的动作实现的，通信线程每当接收到变更的任务分片数据后都需要发给主线程进行执行。
图2示出了根据本发明一个实施例的一种分布式任务调度装置的结构示意图。分布式任务调度装置200应用于管理节点中，包括：
监听单元210，适于通过zookeeper对一个或多个工作节点进行监听；
利用zookeeper这一开源的分布式应用程序协调程序进行分布式任务调度，目前也有一些方案，但正如背景技术所介绍的，存在相应的缺点。在本发明的实施例中，管理节点中执行分布式任务调度方法，管理节点和工作节点均可以视为连接到zookeeper上的客户端。具体的监听实现方式可以采用zookeeper中的规范实现。这里还需要说明的是，监听仅针对工作节点本身的状态变更，而不针对工作节点所执行的任务。
一个工作节点一般执行一项任务的一部分，可以称之为作业(job)，所需的任务数据也是全部任务数据的一部分，可以称之为任务分片数据。例如，在一个zookeeper+kafka(一种分布式发布订阅消息系统)架构中，每个工作节点可以消费一个kafka中的话题(Topic)，在一个具体的业务场景下，可以对应于广告数据。
调度单元220，适于在监听到一个工作节点的状态发生变更时，对执行目标任务的各工作节点的任务分片数据进行重新分配；目标任务为状态发生变更的工作节点所执行的任务。
例如，一个工作节点下线了，需将该工作节点原来执行的任务分配给其他工作节点；而新上线了一个工作节点，也需要将任务重新分配，以使该工作节点有事可做。因此，需要确定所涉及的任务，再对任务分片数据进行重新分配。
可见，图2所示的装置，由管理节点通过zookeeper对工作节点进行监听，当在监听到一个工作节点的状态发生变更时，对执行目标任务的各工作节点的任务分片数据进行重新分配，其中，目标任务为状态发生变更的工作节点所执行的任务。该技术方案的有益效果在于，工作节点与管理节点均可以视为zookeeper上的客户端，可通过zookeeper保存任务数据、传递消息及实现分布式锁，并且各节点可以通过相应的集群部署，在分布式执行的效率上很高，并且保证了高可用性。整个架构还可以采用golang实现，支持java任务，也支持非java任务，拓宽了业务场景。
在本发明的一个实施例中，上述装置中，管理节点有多个，调度单元220，适于在监听到一个工作节点的状态发生变更时，先执行相应的分布式加锁操作；判断是否还需要对执行目标任务的各工作节点的任务分片数据进行重新分配，是则对执行目标任务的各工作节点的任务分片数据进行重新分配后，执行相应的分布式释放锁操作；否则直接执行相应的分布式释放锁操作。
多个管理节点可以保证高可用性，在一个管理节点发生故障时，可以将该管理节点的任务分配给其他管理节点。但是多个管理节点也会产生一个问题，即在一个工作节点的状态发生变更时，如果有多个管理节点监听到，那么如何保证只被处理一次。具体地，可以采用分布式锁来实现。在监听到工作节点的状态发生变更时，先进行加锁，然后判断是否还需要执行操作，如果需要就执行后解锁，如果不需要，认为已被处理完毕，直接解锁即可。
在本发明的一个实施例中，上述装置中，调度单元220，适于在监听到一个工作节点上线时，判断该上线的工作节点是否已被分配到任务分片数据，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配；在监听到一个工作节点下线时，判断该下线的工作节点执行的任务的各任务分片数据是否均被分配完毕，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配。
这里给出了针对工作节点上线和下线两种情况，分别应该如何判断是否还需要对执行目标任务的各工作节点的任务分片数据进行重新分配的两种示例。在工作节点上线时，实际需要为该工作节点分配任务分片数据，那么该上线的工作节点已被分配到任务分片数据，说明不再需要处理，直接解锁即可。在工作节点下线时，需要对执行目标任务的各工作节点的任务分片数据进行重新分配，那么如果该下线的工作节点执行的任务的各任务分片数据是否均被分配完毕，也不需要再执行相应操作。
在本发明的一个实施例中，上述装置中，监听单元210，还适于通过zookeeper对各管理节点进行监听；调度单元220，还适于在监听到一个管理节点的状态发生变更时，先执行相应的分布式加锁操作；判断是否需要对各管理节点的监听对象进行重新分配，是则对各管理节点的监听对象进行重新分配后，执行相应的分布式释放锁操作；否则直接执行相应的分布式释放锁操作。
这里对各管理节点进行监听，就能够确保在管理节点故障时，能够快速故障的管理节点的任务重新分配。在本发明的一个实施例中，上述装置中，监听单元210，适于监听管理节点的创建、删除以及子节点的数据修改中的一项或多项。
例如，一个管理节点原来监听了三十个任务中的一百五十个工作节点作为监听对象，则在该管理节点故障下线后，需要将这些监听对象重新分配给其他管理节点。
这里，由于各管理节点都可以对其他的管理节点进行监听，因此也需要确保不会被处理多次。在本发明的一个实施例中，上述装置中，调度单元220，适于判断下线的管理节点的状态是否已被标记为下线，是则不需要对各管理节点的监听对象进行重新分配，否则需要对各管理节点的监听对象进行重新分配。在处理过后，管理节点的状态就会被标记为下线。具体的监听对象重新分配可以参照下面的例子：在本发明的一个实施例中，上述装置中，调度单元220，适于获取下线的管理节点的所有监听对象；删除各监听对象中记录的管理节点信息，并记录到zookeeper中；为无管理节点监听的监听对象分配一个在线的管理节点，将分配结果同步到相应的管理节点中。
在本发明的一个实施例中，上述装置还包括：同步单元，适于在管理节点启动后，同步相应的管理节点信息到zookeeper中。这是对应于本管理节点启动后的上线流程。具体地，管理节点中可以启动一个事件处理现场，处理任务的增加、工作节点的增加、删除、管理节点的启动和删除(都分别对应于上线下线)等。可以启动一个RPC聆听端口等待消息。
管理节点与zookeeper之间的通信，可以监听工作节点，可以监听管理节点，可以将调度任务的相关信息写入zookeeper，例如，任务暂停，任务分片修改等；还可以将管理节点信息写入zookeeper。管理节点之间的通信可以是将下线的管理节点的监听对象分配给其他管理节点的消息。
下面给出了对执行目标任务的各工作节点的任务分片数据进行重新分配的两种示例：
在本发明的一个实施例中，上述装置中，调度单元220，适于若状态发生变更对应于工作节点上线，则从zookeeper获取目标任务的任务数据；根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
在本发明的一个实施例中，上述装置中，调度单元220，适于若状态发生变更对应于工作节点下线，则从zookeeper获取该目标任务的未被分配的任务分片数据；根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
其中，工作节点在接收到zookeeper中任务分片数据的变更后，就可以执行新的作业内容了。预设的调度策略可以是根据需求配置和修改的，具有可编程性。工作节点和管理节点均可以以进程的方式实现。则管理节点进程，可以监听和维护作业进程，即工作节点进程；其中一个管理节点进程下线，其他管理节点进程可以接管监听对象。而工作节点进程是执行业务逻辑的进程，具体可以包括一个执行业务逻辑的主线程，还可以包括一个通信线程，这样有利于常驻内存型任务的调度。通信线程可以与主线程维持心跳，并且也和zookeeper进行心跳，通zookeeper进行任务的启动、暂停和分片修改等，当然可以知道，这些都是根据管理节点进程执行的动作实现的，通信线程每当接收到变更的任务分片数据后都需要发给主线程进行执行。
图3示出了根据本发明一个实施例的一种分布式任务调度系统的结构示意图。如图3所示，分布式任务调度系统300包括：
一个或多个工作节点310，一个或多个管理节点320，以及zookeeper330；管理节点320中部署有如上述任一实施例的分布式任务调度装置200。
在本发明的一个实施例中，上述系统中，工作节点310，适于通过通信线程与zookeeper进行通信，以及通过任务主线程执行任务。具体地，通信线程与zookeeper之间的消息可以包含作业状态变更的接收和发送，任务分片数据的接收和发送，可以保证数据一致性。通信线程与任务主线程之间的通信可以包含作业的启动、暂停、任务分片数据修改消息，以及相应的消息回馈、心跳等。
工作节点在上线时，需要进行注册，例如，一个具体的流程为：先判断执行的作业所属的任务是否已注册，若没有，则加锁，再进行判断；如果仍未注册，则在zookeeper中注册任务，再注册本工作节点，提醒管理节点监听任务中的工作节点，再解锁即可。
在本发明的一个实施例中，上述系统还包括：控制节点330，适于提供前端页面，根据前端页面接收的调度指令执行调度操作。
这里给出了一种通过可视化界面进行人工调度的实现方式，只需要启动一个http端口监听相关动作即可。
综上所述，本发明的技术方案，由管理节点通过zookeeper对工作节点进行监听，当在监听到一个工作节点的状态发生变更时，对执行目标任务的各工作节点的任务分片数据进行重新分配，其中，目标任务为状态发生变更的工作节点所执行的任务。该技术方案的有益效果在于，工作节点与管理节点均可以视为zookeeper上的客户端，可通过zookeeper保存任务数据、传递消息及实现分布式锁，并且各节点可以通过相应的集群部署，在分布式执行的效率上很高，并且保证了高可用性。整个架构还可以采用golang实现，支持java任务，也支持非java任务，拓宽了业务场景。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的分布式任务调度装置和系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图4示出了根据本发明一个实施例的电子设备的结构示意图。该电子设备包括处理器410和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器420。存储器420可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器420具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码431的存储空间430。例如，用于存储计算机可读程序代码的存储空间430可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码431。计算机可读程序代码431可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图5所述的计算机可读存储介质。图5示出了根据本发明一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质500存储有用于执行根据本发明的方法步骤的计算机可读程序代码431，可以被电子设备400的处理器410读取，当计算机可读程序代码431由电子设备400运行时，导致该电子设备400执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码431可以执行上述任一实施例中示出的方法。计算机可读程序代码431可以以适当形式进行压缩。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明的实施例公开了A1、一种分布式任务调度方法，应用于管理节点中，该方法包括：
通过zookeeper对一个或多个工作节点进行监听；
在监听到一个工作节点的状态发生变更时，对执行目标任务的各工作节点的任务分片数据进行重新分配；所述目标任务为状态发生变更的工作节点所执行的任务。
A2、如A1所述的方法，其中，所述管理节点有多个，该方法还包括：
在监听到一个工作节点的状态发生变更时，先执行相应的分布式加锁操作；
判断是否还需要对执行目标任务的各工作节点的任务分片数据进行重新分配，是则对执行目标任务的各工作节点的任务分片数据进行重新分配后，执行相应的分布式释放锁操作；否则直接执行相应的分布式释放锁操作。
A3、如A2所述的方法，其中，所述判断是否还需要对执行目标任务的各工作节点的任务分片数据进行重新分配包括：
在监听到一个工作节点上线时，判断该上线的工作节点是否已被分配到任务分片数据，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配；
在监听到一个工作节点下线时，判断该下线的工作节点执行的任务的各任务分片数据是否均被分配完毕，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配。
A4、如A2所述的方法，其中，该方法还包括：
通过zookeeper对各管理节点进行监听；
在监听到一个管理节点的状态发生变更时，先执行相应的分布式加锁操作；
判断是否需要对各管理节点的监听对象进行重新分配，是则对各管理节点的监听对象进行重新分配后，执行相应的分布式释放锁操作；否则直接执行相应的分布式释放锁操作。
A5、如A4所述的方法，其中，所述通过zookeeper对各管理节点进行监听包括：
监听管理节点的创建、删除以及子节点的数据修改中的一项或多项。
A6、如A4所述的方法，其中，所述判断是否需要对各管理节点的监听对象进行重新分配包括：
判断下线的管理节点的状态是否已被标记为下线，是则不需要对各管理节点的监听对象进行重新分配，否则需要对各管理节点的监听对象进行重新分配。
A7、如A4所述的方法，其中，所述对各管理节点的监听对象进行重新分配包括：
获取下线的管理节点的所有监听对象；
删除各监听对象中记录的管理节点信息，并记录到zookeeper中；
为无管理节点监听的监听对象分配一个在线的管理节点，将分配结果同步到相应的管理节点中。
A8、如A4所述的方法，其中，该方法还包括：
在管理节点启动后，同步相应的管理节点信息到zookeeper中。
A9、如A1所述的方法，其中，所述对执行目标任务的各工作节点的任务分片数据进行重新分配包括：
若状态发生变更对应于工作节点上线，则从zookeeper获取目标任务的任务数据；
根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
A10、如A1所述的方法，其中，所述对执行目标任务的各工作节点的任务分片数据进行重新分配包括：
若状态发生变更对应于工作节点下线，则从zookeeper获取该目标任务的未被分配的任务分片数据；
根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
本发明的实施例还公开了B11、一种分布式任务调度装置，应用于管理节点中，该装置包括：
监听单元，适于通过zookeeper对一个或多个工作节点进行监听；
调度单元，适于在监听到一个工作节点的状态发生变更时，对执行目标任务的各工作节点的任务分片数据进行重新分配；所述目标任务为状态发生变更的工作节点所执行的任务。
B12、如B11所述的装置，其中，所述管理节点有多个，
所述调度单元，适于在监听到一个工作节点的状态发生变更时，先执行相应的分布式加锁操作；判断是否还需要对执行目标任务的各工作节点的任务分片数据进行重新分配，是则对执行目标任务的各工作节点的任务分片数据进行重新分配后，执行相应的分布式释放锁操作；否则直接执行相应的分布式释放锁操作。
B13、如B12所述的装置，其中，
所述调度单元，适于在监听到一个工作节点上线时，判断该上线的工作节点是否已被分配到任务分片数据，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配；在监听到一个工作节点下线时，判断该下线的工作节点执行的任务的各任务分片数据是否均被分配完毕，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配。
B14、如B12所述的装置，其中，
所述监听单元，还适于通过zookeeper对各管理节点进行监听；
所述调度单元，还适于在监听到一个管理节点的状态发生变更时，先执行相应的分布式加锁操作；判断是否需要对各管理节点的监听对象进行重新分配，是则对各管理节点的监听对象进行重新分配后，执行相应的分布式释放锁操作；否则直接执行相应的分布式释放锁操作。
B15、如B14所述的装置，其中，
所述监听单元，适于监听管理节点的创建、删除以及子节点的数据修改中的一项或多项。
B16、如B14所述的装置，其中，
所述调度单元，适于判断下线的管理节点的状态是否已被标记为下线，是则不需要对各管理节点的监听对象进行重新分配，否则需要对各管理节点的监听对象进行重新分配。
B17、如B14所述的装置，其中，
所述调度单元，适于获取下线的管理节点的所有监听对象；删除各监听对象中记录的管理节点信息，并记录到zookeeper中；为无管理节点监听的监听对象分配一个在线的管理节点，将分配结果同步到相应的管理节点中。
B18、如B14所述的装置，其中，该装置还包括：
同步单元，适于在管理节点启动后，同步相应的管理节点信息到zookeeper中。
B19、如B11所述的装置，其中，
所述调度单元，适于若状态发生变更对应于工作节点上线，则从zookeeper获取目标任务的任务数据；根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
B20、如B11所述的装置，其中，
所述调度单元，适于若状态发生变更对应于工作节点下线，则从zookeeper获取该目标任务的未被分配的任务分片数据；根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
本发明的实施例还公开了C21、一种分布式任务调度系统，包括：
一个或多个工作节点，一个或多个管理节点，以及zookeeper；
所述管理节点中部署有如B11-B20中任一项所述的分布式任务调度装置。
C22、如C21所述的系统，其中，
所述工作节点，适于通过通信线程与zookeeper进行通信，以及通过任务主线程执行任务。
C23、如C21所述的系统，其中，该系统还包括：
控制节点，适于提供前端页面，根据所述前端页面接收的调度指令执行调度操作。
本发明的实施例还公开了D24、一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如A1-A10中任一项所述的方法。
本发明的实施例还公开了E25、一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如A1-A10中任一项所述的方法。
Claims (23)
1.一种分布式任务调度方法，应用于管理节点中，所述管理节点有多个，该方法包括：
通过zookeeper对一个或多个工作节点进行监听，所述一个或多个工作节点和所述管理节点均为连接到所述zookeeper上的客户端；
在监听到一个工作节点的状态发生变更时，对执行目标任务的各工作节点的任务分片数据进行重新分配；所述目标任务为状态发生变更的工作节点所执行的任务；
通过zookeeper对各管理节点进行监听；
在监听到一个管理节点的状态发生变更时，先执行相应的分布式加锁操作；
判断是否需要对各管理节点的监听对象进行重新分配，是则对各管理节点的监听对象进行重新分配后，执行相应的分布式释放锁操作；否则直接执行相应的分布式释放锁操作。
2.如权利要求1所述的方法，其中，该方法还包括：
在监听到一个工作节点的状态发生变更时，先执行相应的分布式加锁操作；
判断是否还需要对执行目标任务的各工作节点的任务分片数据进行重新分配，是则对执行目标任务的各工作节点的任务分片数据进行重新分配后，执行相应的分布式释放锁操作；否则直接执行相应的分布式释放锁操作。
3.如权利要求2所述的方法，其中，所述判断是否还需要对执行目标任务的各工作节点的任务分片数据进行重新分配包括：
在监听到一个工作节点上线时，判断该上线的工作节点是否已被分配到任务分片数据，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配；
在监听到一个工作节点下线时，判断该下线的工作节点执行的任务的各任务分片数据是否均被分配完毕，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配。
4.如权利要求1所述的方法，其中，所述通过zookeeper对各管理节点进行监听包括：
监听管理节点的创建、删除以及子节点的数据修改中的一项或多项。
5.如权利要求1所述的方法，其中，所述判断是否需要对各管理节点的监听对象进行重新分配包括：
判断下线的管理节点的状态是否已被标记为下线，是则不需要对各管理节点的监听对象进行重新分配，否则需要对各管理节点的监听对象进行重新分配。
6.如权利要求1所述的方法，其中，所述对各管理节点的监听对象进行重新分配包括：
获取下线的管理节点的所有监听对象；
删除各监听对象中记录的管理节点信息，并记录到zookeeper中；
为无管理节点监听的监听对象分配一个在线的管理节点，将分配结果同步到相应的管理节点中。
7.如权利要求1所述的方法，其中，该方法还包括：
在管理节点启动后，同步相应的管理节点信息到zookeeper中。
8.如权利要求1所述的方法，其中，所述对执行目标任务的各工作节点的任务分片数据进行重新分配包括：
若状态发生变更对应于工作节点上线，则从zookeeper获取目标任务的任务数据；
根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
9.如权利要求1所述的方法，其中，所述对执行目标任务的各工作节点的任务分片数据进行重新分配包括：
若状态发生变更对应于工作节点下线，则从zookeeper获取该目标任务的未被分配的任务分片数据；
根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
10.一种分布式任务调度装置，应用于管理节点中，所述管理节点有多个，该装置包括：
监听单元，适于通过zookeeper对一个或多个工作节点进行监听，所述一个或多个工作节点和所述管理节点均为连接到所述zookeeper上的客户端；
调度单元，适于在监听到一个工作节点的状态发生变更时，对执行目标任务的各工作节点的任务分片数据进行重新分配；所述目标任务为状态发生变更的工作节点所执行的任务；
所述监听单元，还适于通过zookeeper对各管理节点进行监听；
所述调度单元，还适于在监听到一个管理节点的状态发生变更时，先执行相应的分布式加锁操作；判断是否需要对各管理节点的监听对象进行重新分配，是则对各管理节点的监听对象进行重新分配后，执行相应的分布式释放锁操作；否则直接执行相应的分布式释放锁操作。
11.如权利要求10所述的装置，其中，
所述调度单元，适于在监听到一个工作节点的状态发生变更时，先执行相应的分布式加锁操作；判断是否还需要对执行目标任务的各工作节点的任务分片数据进行重新分配，是则对执行目标任务的各工作节点的任务分片数据进行重新分配后，执行相应的分布式释放锁操作；否则直接执行相应的分布式释放锁操作。
12.如权利要求11所述的装置，其中，
所述调度单元，适于在监听到一个工作节点上线时，判断该上线的工作节点是否已被分配到任务分片数据，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配；在监听到一个工作节点下线时，判断该下线的工作节点执行的任务的各任务分片数据是否均被分配完毕，是则不需要对执行目标任务的各工作节点的任务分片数据进行重新分配，否则需要对执行目标任务的各工作节点的任务分片数据进行重新分配。
13.如权利要求10所述的装置，其中，
所述监听单元，适于监听管理节点的创建、删除以及子节点的数据修改中的一项或多项。
14.如权利要求10所述的装置，其中，
所述调度单元，适于判断下线的管理节点的状态是否已被标记为下线，是则不需要对各管理节点的监听对象进行重新分配，否则需要对各管理节点的监听对象进行重新分配。
15.如权利要求10所述的装置，其中，
所述调度单元，适于获取下线的管理节点的所有监听对象；删除各监听对象中记录的管理节点信息，并记录到zookeeper中；为无管理节点监听的监听对象分配一个在线的管理节点，将分配结果同步到相应的管理节点中。
16.如权利要求10所述的装置，其中，该装置还包括：
同步单元，适于在管理节点启动后，同步相应的管理节点信息到zookeeper中。
17.如权利要求10所述的装置，其中，
所述调度单元，适于若状态发生变更对应于工作节点上线，则从zookeeper获取目标任务的任务数据；根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
18.如权利要求10所述的装置，其中，
所述调度单元，适于若状态发生变更对应于工作节点下线，则从zookeeper获取该目标任务的未被分配的任务分片数据；根据预设的调度策略确定需要更新任务分片数据的若干个工作节点，更新该若干个工作节点的任务分片数据至zookeeper中。
19.一种分布式任务调度系统，包括：
一个或多个工作节点，一个或多个管理节点，以及zookeeper；
所述管理节点中部署有如权利要求10-18中任一项所述的分布式任务调度装置。
20.如权利要求19所述的系统，其中，
所述工作节点，适于通过通信线程与zookeeper进行通信，以及通过任务主线程执行任务。
21.如权利要求19所述的系统，其中，该系统还包括：
控制节点，适于提供前端页面，根据所述前端页面接收的调度指令执行调度操作。
22.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1-9中任一项所述的方法。
23.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811610264.3A CN111381972B (zh) | 2018-12-27 | 2018-12-27 | 分布式任务调度方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811610264.3A CN111381972B (zh) | 2018-12-27 | 2018-12-27 | 分布式任务调度方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111381972A CN111381972A (zh) | 2020-07-07 |
| CN111381972B true CN111381972B (zh) | 2024-02-06 |
Family
ID=71217928
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811610264.3A Active CN111381972B (zh) | 2018-12-27 | 2018-12-27 | 分布式任务调度方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111381972B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111818159B (zh) * | 2020-07-08 | 2024-04-05 | 腾讯科技（深圳）有限公司 | 数据处理节点的管理方法、装置、设备及存储介质 |
| CN112463312A (zh) * | 2020-11-02 | 2021-03-09 | 北京健康之家科技有限公司 | 一种定时任务的动态维护系统和方法、介质、计算设备 |
| CN112395140B (zh) * | 2020-11-17 | 2023-01-17 | 平安科技（深圳）有限公司 | 去中心化的任务调度方法、装置、设备及介质 |
| CN112416591B (zh) * | 2020-11-25 | 2023-10-13 | 广州虎牙科技有限公司 | 分布式的任务处理方法、装置、设备、存储介质和系统 |
| CN112988343A (zh) * | 2021-02-05 | 2021-06-18 | 开店宝科技集团有限公司 | 一种批处理数据分片方法、系统、计算机设备及存储介质 |
| CN114866334B (zh) * | 2022-06-09 | 2023-11-24 | 中国工商银行股份有限公司 | 一种数据融合处理方法及装置 |
| CN116028188B (zh) * | 2023-01-30 | 2023-12-01 | 合众新能源汽车股份有限公司 | 云端计算任务的调度系统、方法和计算机可读介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521044A (zh) * | 2011-12-30 | 2012-06-27 | 北京拓明科技有限公司 | 一种基于消息中间件的分布式任务调度方法及系统 |
| CN105100259A (zh) * | 2015-08-18 | 2015-11-25 | 北京京东尚科信息技术有限公司 | 一种分布式定时任务执行方法和系统 |
| CN105338086A (zh) * | 2015-11-04 | 2016-02-17 | 浪潮软件股份有限公司 | 一种分布式的消息转发方法 |
| CN106533738A (zh) * | 2016-10-20 | 2017-03-22 | 中国民生银行股份有限公司 | 分布式批处理的方法、装置和系统 |
| CN107766129A (zh) * | 2016-08-17 | 2018-03-06 | 北京金山云网络技术有限公司 | 一种任务处理方法、装置及系统 |
| CN108038005A (zh) * | 2017-12-28 | 2018-05-15 | 广东蜂助手网络技术股份有限公司 | 基于zookeeper的共享资源访问方法、客户端、服务端、系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104967619B (zh) * | 2015-06-17 | 2018-09-04 | 深圳市腾讯计算机系统有限公司 | 文件推送方法、装置和系统 |
| US10581637B2 (en) * | 2016-03-01 | 2020-03-03 | Paypal, Inc. | Computational node adaptive correction system |
| US10001983B2 (en) * | 2016-07-27 | 2018-06-19 | Salesforce.Com, Inc. | Rolling version update deployment utilizing dynamic node allocation |
| US10417102B2 (en) * | 2016-09-30 | 2019-09-17 | Commvault Systems, Inc. | Heartbeat monitoring of virtual machines for initiating failover operations in a data storage management system, including virtual machine distribution logic |
-
2018
- 2018-12-27 CN CN201811610264.3A patent/CN111381972B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521044A (zh) * | 2011-12-30 | 2012-06-27 | 北京拓明科技有限公司 | 一种基于消息中间件的分布式任务调度方法及系统 |
| CN105100259A (zh) * | 2015-08-18 | 2015-11-25 | 北京京东尚科信息技术有限公司 | 一种分布式定时任务执行方法和系统 |
| CN105338086A (zh) * | 2015-11-04 | 2016-02-17 | 浪潮软件股份有限公司 | 一种分布式的消息转发方法 |
| CN107766129A (zh) * | 2016-08-17 | 2018-03-06 | 北京金山云网络技术有限公司 | 一种任务处理方法、装置及系统 |
| CN106533738A (zh) * | 2016-10-20 | 2017-03-22 | 中国民生银行股份有限公司 | 分布式批处理的方法、装置和系统 |
| CN108038005A (zh) * | 2017-12-28 | 2018-05-15 | 广东蜂助手网络技术股份有限公司 | 基于zookeeper的共享资源访问方法、客户端、服务端、系统 |
Non-Patent Citations (2)
| Title |
|---|
| Time Stamp-Based Algorithm for Task Scheduling in a Distributed Computing System with Multiple Master Multiple Slave Architecture;Sanjay K. Dhurandher等;《2011 International Conference on Internet of Things and 4th International Conference on Cyber, Physical and Social Computing》;第67-73页 * |
| 云环境下分级负载均衡调度策略的设计与实现;韩宇龙;《中国优秀硕士学位论文全文数据库 信息科技辑》;第I139-243页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111381972A (zh) | 2020-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111381972B (zh) | 分布式任务调度方法、装置和系统 | |
| CN109582466B (zh) | 一种定时任务执行方法、分布式服务器集群及电子设备 | |
| US20160275123A1 (en) | Pipeline execution of multiple map-reduce jobs | |
| TWI438684B (zh) | 在分散式系統中漸進地實施宣告模型之方法及電腦程式儲存產品 | |
| US10628347B2 (en) | Deallocation of memory buffer in multiprocessor systems | |
| CN110941446A (zh) | 基于多环境离线任务的版本发布方法及装置 | |
| US9497096B2 (en) | Dynamic control over tracing of messages received by a message broker | |
| US20070156808A1 (en) | Method and system for message oriented middleware virtual provider distribution | |
| US9052972B2 (en) | Determining the processing order of a plurality of events | |
| CN111176818B (zh) | 分布式预测的方法、装置、系统、电子设备及存储介质 | |
| CN106933672B (zh) | 一种分布式环境协调消费队列方法和装置 | |
| CN104899093B (zh) | 数据处理方法、装置和系统 | |
| US10331488B2 (en) | Multilayered resource scheduling | |
| US20220283846A1 (en) | Pod deployment method and apparatus | |
| US10599556B2 (en) | Debugging a transaction in a replica execution environment | |
| CN113886069A (zh) | 一种资源分配方法、装置、电子设备及存储介质 | |
| CN113760499A (zh) | 调度计算单元的方法、装置、计算设备及介质 | |
| CN112181637A (zh) | 一种内存资源分配方法及装置 | |
| CN111858020B (zh) | 用户资源限制方法、装置及计算机存储介质 | |
| CN106598726A (zh) | 一种多任务管理系统及其分布式部署方法 | |
| CN103118248A (zh) | 监控方法、监控代理、监控服务器和系统 | |
| JP2021077374A (ja) | 情報ライフサイクル管理のための同期オブジェクト配置 | |
| CN110737533A (zh) | 一种任务调度方法、装置及电子设备和存储介质 | |
| CN115484231B (zh) | 一种Pod IP分配方法及相关装置 | |
| US9436523B1 (en) | Holistic non-invasive evaluation of an asynchronous distributed software process |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240114 Address after: 300450 No. 9-3-401, No. 39, Gaoxin 6th Road, Binhai Science Park, Binhai New Area, Tianjin Applicant after: 3600 Technology Group Co.,Ltd. Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Applicant before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |