CN109684051B - 一种混合式大数据任务异步提交的方法和系统 - Google Patents
一种混合式大数据任务异步提交的方法和系统 Download PDFInfo
- Publication number
- CN109684051B CN109684051B CN201811539040.8A CN201811539040A CN109684051B CN 109684051 B CN109684051 B CN 109684051B CN 201811539040 A CN201811539040 A CN 201811539040A CN 109684051 B CN109684051 B CN 109684051B
- Authority
- CN
- China
- Prior art keywords
- task
- node
- zookeeper
- working
- control node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/466—Transaction processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
- G06F9/526—Mutual exclusion algorithms
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种混合式大数据任务异步提交的方法和系统，其中方法包括：至少一个工作节点向Zookeeper按照预设时间间隔发送心跳信息数据，获取工作节点的负载信息发送至Zookeeper；至少一个管控节点中的主管控节点从Zookeeper获取各个工作节点的心跳信息数据，确定可用的工作节点；至少一个管控节点中的任一管控节点接收外部提交的任务，从Zookeeper获取所有可用的工作节点的负载信息，根据负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把任务发送至选择出的工作节点上；选择出的工作节点读取任务优先级队列中的任务，根据任务属性生成不同的集群客户端，并利用不同的集群客户端提交任务。
Description
技术领域
本发明涉及大数据技术数据处理领域，尤其涉及一种混合式大数据任务异步提交的方法和系统。
背景技术
目前具有多种大数据框架的任务提交方式，但是像spark，flink，hadoopMR，storm等大数据框架的任务提交都是人工通过命令行的方式提交，不同的框架提交的命令各式各样不统一这样比较麻烦，而且不支持批量提交，要提交多个任务效率较低，也不能对提交的不同类型的任务做到实时监控和统一的管理。
发明内容
本发明旨在提供一种克服上述问题之一或者至少部分地解决上述任一问题的混合式大数据任务异步提交的方法和系统。
为达到上述目的，本发明的技术方案具体是这样实现的：
本发明的一个方面提供了一种混合式大数据任务异步提交的方法，包括：至少一个工作节点向Zookeeper按照预设时间间隔发送心跳信息数据，获取工作节点的负载信息，并将负载信息发送至Zookeeper；至少一个管控节点中的主管控节点从Zookeeper获取各个工作节点的心跳信息数据，确定可用的工作节点；至少一个管控节点中的任一管控节点接收外部提交的任务，并将任务存储在任务队列里，从Zookeeper获取所有可用的工作节点的负载信息，根据负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把任务发送至选择出的工作节点上；选择出的工作节点接收管控节点发送的任务，并将任务存储在任务优先级队列中；选择出的工作节点通过任务执行线程读取任务优先级队列中的任务，根据任务属性生成不同的集群客户端，并利用不同的集群客户端提交任务。
其中，方法还包括：至少一个管控节点向Zookeeper注册分布式锁；至少一个管控节点中的一个节点接收Zookeeper发送的分布式锁，确定至少一个管控节点中的一个节点为主管控节点。
其中，方法还包括：选择出的工作节点实时监控已提交的任务的状态信息，并将已提交的任务的状态信息发送至Zookeeper进行存储。
其中，方法还包括：管控节点从Zookeeper获取已提交的任务的状态信息，确定是否有失败的任务，如果有失败的任务，则发送告警提示。
其中，至少一个管控节点中的主管控节点从Zookeeper获取各个工作节点的心跳信息数据之后，确定可用的工作节点之前方法还包括：主管控节点超过预设时长未收到工作节点心跳信息数据，则确定未收到心跳信息数据的工作节点不可用，删除不可用的工作节点。
本发明另一方面提供了一种混合式大数据任务异步提交的系统，包括：至少一个工作节点，用于向Zookeeper按照预设时间间隔发送心跳信息数据，获取工作节点的负载信息，并将负载信息发送至Zookeeper；至少一个管控节点中的主管控节点，用于从Zookeeper获取各个工作节点的心跳信息数据，确定可用的工作节点；至少一个管控节点中的任一管控节点，用于接收外部提交的任务，并将任务存储在任务队列里，从Zookeeper获取所有可用的工作节点的负载信息，根据负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把任务发送至选择出的工作节点上；选择出的工作节点，用于接收管控节点发送的任务，并将任务存储在任务优先级队列中；通过任务执行线程读取任务优先级队列中的任务，根据任务属性生成不同的集群客户端，并利用不同的集群客户端提交任务。
其中，至少一个管控节点，还用于向Zookeeper注册分布式锁；至少一个管控节点中的一个节点，还用于接收Zookeeper发送的分布式锁，确定至少一个管控节点中的一个节点为主管控节点。
其中，选择出的工作节点，还用于实时监控已提交的任务的状态信息，并将已提交的任务的状态信息发送至Zookeeper进行存储。
其中，管控节点，还用于从Zookeeper获取已提交的任务的状态信息，确定是否有失败的任务，如果有失败的任务，则发送告警提示。
其中，至少一个管控节点中的主管控节点在从Zookeeper获取各个工作节点的心跳信息数据之后，确定可用的工作节点之前，还用于超过预设时长未收到工作节点心跳信息数据，则确定未收到心跳信息数据的工作节点不可用，删除不可用的工作节点。
由此可见，通过本发明实施例提供的混合式大数据任务异步提交的方法和系统，提供了统一任务提交的接口，提高任务提交的效率，支持spark，flink，hadoopMR，storm等大数据任务的混合式提交；同时还支持任务的优先级提交，支持任务分发到不同的集群执行。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的混合式大数据任务异步提交的方法的流程图；
图2为本发明实施例提供的混合式大数据任务异步提交的系统的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明中涉及了两部分主体，即DTEngineMonitor组件(管控节点)和DTEngineWork组件(工作节点)，其中，DTEngineMonitor组件(管控节点)可以为至少一个，用于启动HttpServer接收外部提交过来的任务，对DTEngineWork(工作节点)做到实时监控把不可用的节点踢除，把接收的任务根据工作节点的机器负载分发到不同的工作节点上；DTEngineWork(工作节点)可以为至少一个，用于负责不同大数据任务(Spark，Flink，HadoopMR，Storm)的异步执行，任务状态的实时监控。
图1示出了本发明实施例提供的混合式大数据任务异步提交的方法的流程图，参见图1，本发明实施例提供的混合式大数据任务异步提交的方法，包括：
S101，至少一个工作节点向Zookeeper按照预设时间间隔发送心跳信息数据，获取工作节点的负载信息，并将负载信息发送至Zookeeper。
具体地，至少一个工作节点可以基于Netty框架启动HttpServer，向Zookeeper集群每间隔2秒发送心跳信息，证明自己是可用的，并采集机器上的cpu，memory，loader，任务数等工作节点的负载信息存放到Zookeeper上。
S102，至少一个管控节点中的主管控节点从Zookeeper获取各个工作节点的心跳信息数据，确定可用的工作节点。
作为本发明实施例的一个可选实施方式，混合式大数据任务异步提交的方法还包括：至少一个管控节点向Zookeeper注册分布式锁；至少一个管控节点中的一个节点接收Zookeeper发送的分布式锁，确定至少一个管控节点中的一个节点为主管控节点。具体地，至少一个管控节点可以基于Netty框架启动HttpServer，向Zookeeper集群注册分布式锁，只有一台会拿到分布式锁那么这台就是Master节点，其他的都是Slave节点，其中，管控节点中只有Master节点会从Zookeeper中获取工作节点心跳信息数据。
作为本发明实施例的一个可选实施方式，至少一个管控节点中的主管控节点从Zookeeper获取各个工作节点的心跳信息数据之后，确定可用的工作节点之前，混合式大数据任务异步提交的方法还包括：主管控节点超过预设时长未收到工作节点心跳信息数据，则确定未收到心跳信息数据的工作节点不可用，删除不可用的工作节点。具体地，如果Master节点发现有些工作节点的心跳信息超过5秒钟没有更新就认为这台工作节点已经不可用，就会踢除。
S103，至少一个管控节点中的任一管控节点接收外部提交的任务，并将任务存储在任务队列里，从Zookeeper获取所有可用的工作节点的负载信息，根据负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把任务发送至选择出的工作节点上。
具体地，至少一个管控节点中的任一管控节点通过HttpServer接收外部提交的任务，放到任务队列里，在从Zookeeper中获取所有工作节点的负载信息(CPU，Memory，Loader，任务数)，根据负载信息通过一定的调度算法得到可用的工作节点地址，把任务通过Http的方式把任务发送到这台工作节点上。
S104，选择出的工作节点接收管控节点发送的任务，并将任务存储在任务优先级队列中。
具体地，选择出的工作节点通过HttpServer接收管控节点下发的要执行的任务存放到任务优先级队列中，以便后续根据任务生成不同的集群客户端。
S105，选择出的工作节点通过任务执行线程读取任务优先级队列中的任务，根据任务属性生成不同的集群客户端，并利用不同的集群客户端提交任务。
具体地，选择出的工作节点通过任务执行线程读取任务优先级队列中的任务，根据任务属性里的计算类型和集群信息，生成不同的集群客户端(SparkClient，FlinkClient，HadoopClient,StormClient)，再通过这些客户端提交任务到远程的计算集群中。
作为本发明实施例的一个可选实施方式，混合式大数据任务异步提交的方法还包括：选择出的工作节点实时监控已提交的任务的状态信息，并将已提交的任务的状态信息发送至Zookeeper进行存储。进一步，管控节点从Zookeeper获取已提交的任务的状态信息，确定是否有失败的任务，如果有失败的任务，则发送告警提示。具体地，实时监控对已经提交的任务的状态监控，并把这些数据存储到Zookeeper中，以便后续查询使用；管控节点从Zookeeper中获取已提交的任务的状态，如发现有失败的任务就会发出告警(邮件，短信，钉钉)，以便进行告警提示。
由此可见，通过本发明实施例提供的混合式大数据任务异步提交的方法，可以统一任务提交的接口，提高任务提交的效率，支持spark，flink，hadoopMR，storm等大数据任务的混合式提交；同时支持任务的优先级，支持多集群提交，支持百万级别任务并发的异步提交。
进一步可以对提交的任务做到实时监控和统一管理，对失败的任务发出告警(邮件，短信，钉钉)。
图2示出了本发明实施例提供的混合式大数据任务异步提交的系统的结构示意图，该混合式大数据任务异步提交的系统应用于上述方法，以下仅对混合式大数据任务异步提交的系统的结构进行简单说明，其他未尽事宜，请参照上述混合式大数据任务异步提交的方法中的相关描述，参见图2，本发明实施例提供的混合式大数据任务异步提交的系统，包括：
至少一个工作节点201，用于向Zookeeper按照预设时间间隔发送心跳信息数据，获取工作节点的负载信息，并将负载信息发送至Zookeeper；
至少一个管控节点202中的主管控节点2021，用于从Zookeeper获取各个工作节点201的心跳信息数据，确定可用的工作节点；
至少一个管控节点202中的任一管控节点，用于接收外部提交的任务，并将任务存储在任务队列里，从Zookeeper获取所有可用的工作节点的负载信息，根据负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把任务发送至选择出的工作节点上；
选择出的工作节点2011，用于接收管控节点202发送的任务，并将任务存储在任务优先级队列中；通过任务执行线程读取任务优先级队列中的任务，根据任务属性生成不同的集群客户端，并利用不同的集群客户端提交任务。
由此可见，通过本发明实施例提供的混合式大数据任务异步提交的系统，可以统一任务提交的接口，提高任务提交的效率，支持spark，flink，hadoopMR，storm等大数据任务的混合式提交；同时支持任务的优先级，支持多集群提交，支持百万级别任务并发的异步提交。
作为本发明实施例的一个可选实施方式，至少一个管控节点202，还用于向Zookeeper注册分布式锁；至少一个管控节点中的一个节点2021，还用于接收Zookeeper发送的分布式锁，确定至少一个管控节点中的一个节点为主管控节点2021。至少一个管控节点可以基于Netty框架启动HttpServer，向Zookeeper集群注册分布式锁，只有一台会拿到分布式锁那么这台就是Master节点，其他的都是Slave节点，其中，管控节点中只有Master节点会从Zookeeper中获取工作节点心跳信息数据。
作为本发明实施例的一个可选实施方式，选择出的工作节点2011，还用于实时监控已提交的任务的状态信息，并将已提交的任务的状态信息发送至Zookeeper进行存储。实时监控对已经提交的任务的状态监控，并把这些数据存储到Zookeeper中，以便后续查询使用。
作为本发明实施例的一个可选实施方式，管控节点202，还用于从Zookeeper获取已提交的任务的状态信息，确定是否有失败的任务，如果有失败的任务，则发送告警提示。管控节点从Zookeeper中获取已提交的任务的状态，如发现有失败的任务就会发出告警(邮件，短信，钉钉)，以进行告警提示。
作为本发明实施例的一个可选实施方式，至少一个管控节点中的主管控节点2021在从Zookeeper获取各个工作节点的心跳信息数据之后，确定可用的工作节点之前，还用于超过预设时长未收到工作节点心跳信息数据，则确定未收到心跳信息数据的工作节点不可用，删除不可用的工作节点。具体地，如果Master节点发现有些工作节点的心跳信息超过5秒钟没有更新就认为这台工作节点已经不可用，就会踢除。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种混合式大数据任务异步提交的方法，其特征在于，包括：
至少一个工作节点向Zookeeper按照预设时间间隔发送心跳信息数据，获取所述工作节点的负载信息，并将所述负载信息发送至所述Zookeeper；
至少一个管控节点中的主管控节点从所述Zookeeper获取各个工作节点的心跳信息数据，确定可用的工作节点；
至少一个管控节点中的任一管控节点接收外部提交的任务，并将所述任务存储在任务队列里，从所述Zookeeper获取所有可用的工作节点的负载信息，根据所述负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把所述任务发送至所述选择出的工作节点上；
所述选择出的工作节点接收所述管控节点发送的所述任务，并将所述任务存储在任务优先级队列中；
所述选择出的工作节点通过任务执行线程读取任务优先级队列中的所述任务，根据所述任务属性生成不同的集群客户端，并利用所述不同的集群客户端提交所述任务。
2.根据权利要求1所述的方法，其特征在于，还包括：
至少一个管控节点向Zookeeper注册分布式锁；
所述至少一个管控节点中的一个节点接收所述Zookeeper发送的分布式锁，确定所述至少一个管控节点中的一个节点为主管控节点。
3.根据权利要求1所述的方法，其特征在于，还包括：
所述选择出的工作节点实时监控已提交的任务的状态信息，并将所述已提交的任务的状态信息发送至所述Zookeeper进行存储。
4.根据权利要求3所述的方法，其特征在于，还包括：
所述管控节点从所述Zookeeper获取所述已提交的任务的状态信息，确定是否有失败的任务，如果有失败的任务，则发送告警提示。
5.根据权利要求1所述的方法，其特征在于，所述至少一个管控节点中的主管控节点从所述Zookeeper获取各个工作节点的心跳信息数据之后，确定可用的工作节点之前还包括：
所述主管控节点超过预设时长未收到工作节点心跳信息数据，则确定未收到心跳信息数据的工作节点不可用，删除不可用的工作节点。
6.一种混合式大数据任务异步提交的系统，其特征在于，包括：
至少一个工作节点，用于向Zookeeper按照预设时间间隔发送心跳信息数据，获取所述工作节点的负载信息，并将所述负载信息发送至所述Zookeeper；
至少一个管控节点中的主管控节点，用于从所述Zookeeper获取各个工作节点的心跳信息数据，确定可用的工作节点；
至少一个管控节点中的任一管控节点，用于接收外部提交的任务，并将所述任务存储在任务队列里，从所述Zookeeper获取所有可用的工作节点的负载信息，根据所述负载信息按照预设调度算法获取从所有可用的工作节点中选择出的工作节点地址，把所述任务发送至所述选择出的工作节点上；
所述选择出的工作节点，用于接收所述管控节点发送的所述任务，并将所述任务存储在任务优先级队列中；通过任务执行线程读取任务优先级队列中的所述任务，根据所述任务属性生成不同的集群客户端，并利用所述不同的集群客户端提交所述任务。
7.根据权利要求6所述的系统，其特征在于，
至少一个管控节点，还用于向Zookeeper注册分布式锁；
所述至少一个管控节点中的一个节点，还用于接收所述Zookeeper发送的分布式锁，确定所述至少一个管控节点中的一个节点为主管控节点。
8.根据权利要求6所述的系统，其特征在于，
所述选择出的工作节点，还用于实时监控已提交的任务的状态信息，并将所述已提交的任务的状态信息发送至所述Zookeeper进行存储。
9.根据权利要求8所述的系统，其特征在于，
所述管控节点，还用于从所述Zookeeper获取所述已提交的任务的状态信息，确定是否有失败的任务，如果有失败的任务，则发送告警提示。
10.根据权利要求6所述的系统，其特征在于，所述至少一个管控节点中的主管控节点在从所述Zookeeper获取各个工作节点的心跳信息数据之后，确定可用的工作节点之前，还用于超过预设时长未收到工作节点心跳信息数据，则确定未收到心跳信息数据的工作节点不可用，删除不可用的工作节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811539040.8A CN109684051B (zh) | 2018-12-17 | 2018-12-17 | 一种混合式大数据任务异步提交的方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811539040.8A CN109684051B (zh) | 2018-12-17 | 2018-12-17 | 一种混合式大数据任务异步提交的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109684051A CN109684051A (zh) | 2019-04-26 |
| CN109684051B true CN109684051B (zh) | 2020-08-11 |
Family
ID=66187864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811539040.8A Active CN109684051B (zh) | 2018-12-17 | 2018-12-17 | 一种混合式大数据任务异步提交的方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109684051B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110262881A (zh) * | 2019-06-12 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 一种Spark作业的提交方法及装置 |
| CN111885159B (zh) * | 2020-07-22 | 2022-06-14 | 曙光信息产业(北京)有限公司 | 数据采集方法、装置、电子设备及存储介质 |
| CN112463338A (zh) * | 2020-12-08 | 2021-03-09 | 中国建设银行股份有限公司 | 公积金业务处理方法、装置、电子设备及介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030050860A (ko) * | 2001-12-19 | 2003-06-25 | 엘지전자 주식회사 | 다중 프로세서 시스템의 작업 함수 처리 방법 |
| CN103763378A (zh) * | 2014-01-24 | 2014-04-30 | 中国联合网络通信集团有限公司 | 基于分布式流式计算系统的任务处理方法、系统及节点 |
| CN104536809A (zh) * | 2014-11-26 | 2015-04-22 | 上海瀚之友信息技术服务有限公司 | 一种基于客户端、服务器系统的分布式定时任务调度系统 |
| CN105159767A (zh) * | 2015-09-06 | 2015-12-16 | 北京京东尚科信息技术有限公司 | 用于基于zookeeper实现分布式调度的方法和装置 |
| CN106487597A (zh) * | 2016-10-26 | 2017-03-08 | 努比亚技术有限公司 | 一种基于Zookeeper的服务监控系统和方法 |
| CN106909451A (zh) * | 2017-02-28 | 2017-06-30 | 郑州云海信息技术有限公司 | 一种分布式任务调度系统及方法 |
| CN107729564A (zh) * | 2017-11-13 | 2018-02-23 | 北京众荟信息技术股份有限公司 | 一种分布式的聚焦网络爬虫网页爬取方法及系统 |
-
2018
- 2018-12-17 CN CN201811539040.8A patent/CN109684051B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030050860A (ko) * | 2001-12-19 | 2003-06-25 | 엘지전자 주식회사 | 다중 프로세서 시스템의 작업 함수 처리 방법 |
| CN103763378A (zh) * | 2014-01-24 | 2014-04-30 | 中国联合网络通信集团有限公司 | 基于分布式流式计算系统的任务处理方法、系统及节点 |
| CN104536809A (zh) * | 2014-11-26 | 2015-04-22 | 上海瀚之友信息技术服务有限公司 | 一种基于客户端、服务器系统的分布式定时任务调度系统 |
| CN105159767A (zh) * | 2015-09-06 | 2015-12-16 | 北京京东尚科信息技术有限公司 | 用于基于zookeeper实现分布式调度的方法和装置 |
| CN106487597A (zh) * | 2016-10-26 | 2017-03-08 | 努比亚技术有限公司 | 一种基于Zookeeper的服务监控系统和方法 |
| CN106909451A (zh) * | 2017-02-28 | 2017-06-30 | 郑州云海信息技术有限公司 | 一种分布式任务调度系统及方法 |
| CN107729564A (zh) * | 2017-11-13 | 2018-02-23 | 北京众荟信息技术股份有限公司 | 一种分布式的聚焦网络爬虫网页爬取方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109684051A (zh) | 2019-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109582466B (zh) | 一种定时任务执行方法、分布式服务器集群及电子设备 | |
| CN107451147B (zh) | 一种kafka集群动态切换的方法和装置 | |
| US8108623B2 (en) | Poll based cache event notifications in a distributed cache | |
| CN109684051B (zh) | 一种混合式大数据任务异步提交的方法和系统 | |
| US7698602B2 (en) | Systems, methods and computer products for trace capability per work unit | |
| CN107515784B (zh) | 一种在分布式系统中计算资源的方法与设备 | |
| CN105701099B (zh) | 用于在分布式环境中执行任务的方法、装置及系统 | |
| WO2017114176A1 (zh) | 一种分布式环境协调消费队列方法和装置 | |
| CN104166589A (zh) | 一种心跳包的处理方法和装置 | |
| CN112650599A (zh) | 一种日志处理方法、设备及存储介质 | |
| CN109614241B (zh) | 基于Yarn队列实现多集群多租户资源隔离的方法及系统 | |
| CN112346926B (zh) | 资源状态监控方法、装置及电子设备 | |
| US20210044653A1 (en) | Method, apparatus, client terminal, and server for data processing | |
| WO2020216077A1 (zh) | 一种区块链事件去重方法、装置、计算机设备及存储介质 | |
| CN114827049A (zh) | 一种基于kafka的堆积数据消费方法、终端设备及存储介质 | |
| CN114237891A (zh) | 资源调度方法、装置、电子设备及存储介质 | |
| CN112448883B (zh) | 消息推送方法、装置、计算机设备和存储介质 | |
| US20200236165A1 (en) | System and method for synchronization of media objects between devices operating in a multiroom system | |
| US8788601B2 (en) | Rapid notification system | |
| CN116594752A (zh) | 流程调度方法、装置、设备、介质和程序产品 | |
| CN115934292A (zh) | 微服务应用的调用方法、装置及设备 | |
| CN113064732A (zh) | 一种分布式系统及其管理方法 | |
| CN115373886A (zh) | 服务群组容器停机方法、装置、计算机设备和存储介质 | |
| CN112463514A (zh) | 分布式缓存集群的监测方法和装置 | |
| CN115562933A (zh) | 作业监控数据的处理方法及装置、存储介质、电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder | ||
| CP02 | Change in the address of a patent holder |
Address after: 311121 room 102-1 / F, room 102-2 / F, building 6, Haizhi center, 2301 yuhangtang Road, Cangqian street, Yuhang District, Hangzhou, Zhejiang Province Patentee after: HANGZHOU DAISHU TECHNOLOGY Co.,Ltd. Address before: 310030 8F, building 2, Hangzhou Internet innovation and entrepreneurship Park, 176 Zixia street, Xihu District, Hangzhou City, Zhejiang Province Patentee before: HANGZHOU DAISHU TECHNOLOGY Co.,Ltd. |