CN109669820A - 基于Kettle的任务监管方法和装置 - Google Patents

基于Kettle的任务监管方法和装置 Download PDF

Info

Publication number
CN109669820A
CN109669820A CN201811579629.0A CN201811579629A CN109669820A CN 109669820 A CN109669820 A CN 109669820A CN 201811579629 A CN201811579629 A CN 201811579629A CN 109669820 A CN109669820 A CN 109669820A
Authority
CN
China
Prior art keywords
node
task
master
master node
kettle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811579629.0A
Other languages
English (en)
Inventor
刘军
施孝鹏
陈金海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Junhai Network Technology Co Ltd
Original Assignee
Guangzhou Junhai Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Junhai Network Technology Co Ltd filed Critical Guangzhou Junhai Network Technology Co Ltd
Priority to CN201811579629.0A priority Critical patent/CN109669820A/zh
Publication of CN109669820A publication Critical patent/CN109669820A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1658—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
    • G06F11/1662—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit the resynchronized component or unit being a persistent storage device

Abstract

本发明公开了一种基于Kettle的任务监管方法和装置，其涉及：至少两个Master节点，通过选举选出一活跃Master节点，令其处于工作状态，其他Master节点处于待命状态，Master节点与各个Slave节点数据通讯；Master节点将接收到的请求执行任务分发到Slave节点，接收Slave节点反馈的任务运行结果，将任务信息、任务运行结果以及自身的状态信息发送到Monitor；若干个Slave节点，用于任务的执行，并定时将自身信息反馈给Master节点；Mon‑itor收集所有Master节点状态，存储Master节点状态、Master节点接收到的任务进度、Slave节点的状态及对应运行任务信息，判断Master节点和Slave节点是否工作异常；Zookeeper集群存储各节点状态和执行任务进度信息。本发明可以确保任务的执行不受Carte集群的影响，可更便捷的操作没有数据时间的增量数据同步。

Description

基于Kettle的任务监管方法和装置
技术领域
本发明涉及软件任务管理研究领域，特别涉及一种基于Kettle的任务监管方法和装置。
背景技术
Kettle是一款开源的ETL工具，其设计页面功能丰富、流程可视化，能够满足大部分的ETL任务设计。Kettle的执行任务分为transformation(转换)和job(作业)，可为用户提供不同的数据操作功能。transformation负责设计底层的数据操作，job负责整合多个job以及transformation的流程。Kettle编辑完成的transformation和job分类存储在本地文件系统或数据库中。Kettle的任务执行分为本地执行和服务级部署模式，carte为Kettle的服务级部署模式。
现有的carte为集群模式，主要组件分为Master(主节点)和Slave(从节点)，用于Kettle任务的执行。一般Master节点为单节点，Slave可进行扩展。在当前应用中，当Master节点出现异常进程退出或服务器宕机导致服务不可用时，Kettle无法调用carte执行任务。当Master接收到任务执行请求且分配了指定的Slave执行该任务时，Slave因异常进程退出或服务器宕机导致服务不可用时，该任务不会重新由Master进行分配Slave执行。
Kettle对数据进行ETL处理时，属于数据处理中的批处理。当需要持续对一类数据进行增量批处理存储时，上次处理的数据位置需要被记录以避免数据重复处理，当前的Kettle任务处理中是通过任务的组合对数据时间进行批处理，该方法不能完全保证数据的不重复。
发明内容
为了克服现有技术中Master节点/Slave节点因工作异常导致任务失败，以及实现增量数据同步，本发明提出一种基于Kettle的任务监管方法和装置。
本发明的目的通过以下的技术方案实现：基于Kettle的任务监管方法，包括：
设置至少两个Master节点，通过选举选出一活跃Master节点，令其处于工作状态，其他Master节点处于待命状态，活跃Master节点会与各个Slave节点进行数据通讯；
设置一监管节点Monitor，Monitor节点判断当前处于工作状态的活跃Master节点是否工作异常，如果异常，则从待命状态的多个Master节点中重新选举一个节点并将其切换到工作状态。
优选的，从待命状态的Master节点中选举一个节点并将其切换到工作状态，步骤是：
Monitor节点获取当前所有的Master节点心跳信息，当连续若干次间隔预定时间内没有收到来自当前活跃Master节点的心跳信息时，Monitor节点将发起选举请求给到所有的待命状态的Master节点触发Master选举；
所有待命状态的Master节点之间进行通讯和选举，直至选举出统一意见的Master节点，该节点作为新的活跃Master节点切换到工作状态并将选举信息发送到Monitor，其他节点将自动切换到待命状态；
待命状态的Master节点将只与活跃Master节点和Monitor节点进行通讯，与活跃Master节点进行任务信息的互通，与Monitor节点进行一个心跳信息的同步。
为了避免Slave节点因工作异常导致任务失败，本发明提出针对Slave节点的任务进行恢复方法，方法是：
Slave节点定时将自身心跳以及当前运行的任务信息、任务执行状态信息发送到对应的Monitor节点；
Monitor节点检测当前Slave节点是否工作异常，如果异常，则获取该Slave节点当前运行的未完成任务，将该未完成任务发送到活跃Master节点；
活跃Master节点重新分配新的Slave节点执行任务，将上述分配信息同步上传到Monitor节点；
新的Slave节点执行任务并定时将自身心跳以及当前运行的任务信息发送到对应的Monitor节点。
为了能够在增量批处理时实现数据同步，本发明提出一种增量数据同步方法，方法是：
在数据库input组件中增加offset记录，offset记录用于记录当前库表中数据处理的位置；
在进行增量批处理时，当前批任务完毕后，将该offset记录存储到Zookeeper集群中对应Kettle的工作目录下；
在下一次任务执行数据库查询时，在Zookeeper集群中查询对应任务的对应库表的offset记录；从获取到的offset记录记载的位置处开始获取数据；获取此次查询到的数据行数，更新offset记录信息。
优选的，使用web端进行基于Kettle的任务监管，在该web端上设有用于修改各任务执行参数及调度频率的窗口。
基于Kettle的任务监管装置，包括：
至少两个Master节点，通过选举选出一活跃Master节点，令其处于工作状态，其他Master节点处于待命状态，活跃Master节点将与各个Slave节点数据通讯；Master节点用于将接收到的请求执行任务分发到Slave节点，接收Slave节点反馈的任务运行结果，将任务信息、任务运行结果以及自身的状态信息发送到监管节点Monitor；
若干个Slave节点，用于任务的执行，并定时将自身信息反馈给Master节点；
监管节点Monitor，用于收集所有Master节点状态，并存储Master节点状态、Master节点接收到的任务进度、Slave节点的状态及对应运行任务信息，判断Master节点和Slave节点是否工作异常；
Zookeeper集群，用于存储各节点状态和执行任务进度信息。
优选的，所述基于Kettle的任务监管装置，包括一Master节点选举模块，该模块用于：
在当前活跃Master节点出现异常时，发送选举请求到各个Master节点，触发Master选举；
所有待命状态的Master节点之间进行通讯和选举，直至选举出统一意见的Master节点，该节点作为新的活跃Master节点切换到工作状态并将选举信息发送到Monitor，其他节点将自动切换到待命状态；
待命状态的Master节点将只与活跃Master节点和Monitor节点进行通讯，与活跃Master节点进行任务信息的互通，与Monitor节点进行一个心跳信息的同步。
优选的，所述基于Kettle的任务监管装置，包括一Slave节点任务恢复模块，该模块用于：
在当前Slave节点出现异常时，Monitor节点获取该Slave节点当前运行的未完成任务，将该未完成任务发送到活跃Master节点；
活跃Master节点重新分配新的Slave节点执行任务，将上述分配信息同步上传到Monitor节点；
新的Slave节点执行任务并定时将自身心跳以及当前运行的任务信息发送到对应的Monitor节点。
优选的，所述基于Kettle的任务监管装置，包括一增量数据同步模块，该模块用于：
在数据库input组件中增加offset记录，offset记录用于记录当前库表中数据处理的位置；
在进行增量批处理时，当前批任务完毕后，将该offset记录存储到Zookeeper集群中对应Kettle的工作目录下；
在下一次任务执行数据库查询时，在Zookeeper集群中查询对应任务的对应库表的offset记录；从获取到的offset记录记载的位置处开始获取数据；获取此次查询到的数据行数，更新offset记录信息。
优选的，所述基于Kettle的任务监管装置，使用web端进行基于Kettle的任务监管，在该web端上设有用于修改各任务执行参数及调度频率的窗口。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明通过设置多个Master节点和一监管节点，可以在Master节点出现异常时，及时进行切换，使得Kettle仍然可以继续调用carte执行任务，使得任务不会失败。
2、本发明监管节点可以定时获取各个Slave节点自身心跳以及当前运行的任务信息，可以判断Slave节点是否工作异常，如果异常可以根据记录的任务信息，令Master节点重新分配新的Slave节点执行任务，从而使得任务不会失败。
3、本发明通过在数据库input组件中增加offset记录，可以在进行增量批处理时，根据该offset记录的内容进行准确的增量数据同步，保证数据不会重复。
附图说明
图1是本实施例基于Kettle的任务监管装置的结构框图。
图2是本实施例Master节点选举的流程示意图。
图3是本实施例Slave节点任务恢复的流程示意图。
图4是本实施例增量数据同步的流程示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
如图1所示，本实施例基于Kettle的任务监管装置，主要包括Master节点、Slave节点、监管节点Monitor和Zookeeper集群。
Master节点为高可用模式，为了避免Master节点失效，本发明添加多个Master节点作为备用节点。工作时通过选举选出一活跃Master节点令其处于工作状态，其他Master节点处于待命状态，每个Master节点均与各个Slave节点数据通讯。Master节点用于将接收到的请求执行任务分发到Slave节点，接收Slave节点反馈的任务运行结果，将运行结果以及自身的状态信息发送到监管节点Monitor；
Slave节点主要用于任务的执行，并定时将自身心跳以及任务进度等信息反馈给其对应的Monitor节点。
监管节点Monitor，用于收集所有Master节点状态，并存储Master节点状态、Master节点接收到的任务进度、Slave节点的状态及对应运行任务信息，判断Master节点和Slave节点是否工作异常。
Zookeeper集群，用于存储各节点状态和执行任务进度信息。
当Master节点为2个时，其中处于工作状态的Master节点出现异常，那么另一个处于待命状态的Master节点自然切换成工作状态，继续上个节点的任务。
当Master节点有超过2个时，其中处于工作状态的Master节点出现异常时，需要通过Master节点选举模块从备用节点中选出一个，参见图2，方法是：
在当前Master节点出现异常时，发送选举请求到各个Master节点，触发Master选举；
所有待命状态的Master节点之间进行通讯和选举，直至选举出统一意见的Master节点，将选举结果信息同步到所有Master节点；
将该节点作为新的活跃Master节点切换到工作状态，其他节点自动切换到待命状态，并将选举结果信息发送到Monitor节点进行保存。
这里提供一种选举的实施例，选举是指当有两个Master节点时，两个服务之间会在自身生成一个数字，并将该数字和自身信息发送到其他Master节点，Master节点自身会将获取到的所有其他Master节点的数字和自身的数字进行排序，比较该数字的大小，数字大的Master节点将被定为新的活跃Master节点。
在一实施例中，所述基于Kettle的任务监管装置中的Slave节点定时将自身心跳以及当前运行的任务信息发送到对应的Monitor节点，一旦当前Slave节点工作异常，则通过Slave节点任务恢复模块将任务更新到其他Slave节点，参见图3，方法是：在当前Slave节点出现异常时，Monitor节点获取该Slave节点当前运行的未完成任务，将该未完成任务发送到对应的Master节点；Master节点重新分配新的Slave节点执行任务，将上述分配信息同步上传到Monitor节点；新的Slave节点执行任务并定时将自身心跳以及当前运行的任务信息发送到对应的Monitor节点。
在一实施例中，所述基于Kettle的任务监管装置中还设有增量数据同步模块，用于在增量批处理时实现数据同步，其方法如图4所示：在数据库input组件中增加offset记录，offset记录用于记录当前库表中数据处理的位置；在进行增量批处理时，当前次任务完毕后，将该offset记录存储到Zookeeper集群中对应Kettle的工作目录下；在下一次任务执行数据库查询时，在Zookeeper集群中查询对应的库表的offset记录；从获取到的offset记录记载的位置处开始获取数据；获取此次查询到的数据行数，更新offset记录信息。
在本实施例中，所述基于Kettle的任务监管装置，使用web端进行基于Kettle的任务监管，在该web端上设有用于修改各任务执行参数及调度频率的窗口。
本实施例基于Kettle的任务监管方法，主要包括三个方面的改进，分别是Master节点工作异常的改进、Slave节点工作异常的改进以及增量数据同步，下面对上述3个方法进行具体说明。
一、Master节点工作异常的改进
通过设置至少两个Master节点，选举其中一Master节点为活跃Master节点，令其处于工作状态，其他Master节点处于待命状态，每个Master节点均与各个Slave节点数据连接。当活跃Master节点工作异常时，从待命状态的Master节点中通过选举的方式选举出统一意见的新的活跃Master节点，将新的活跃Master节点切换到工作状态，具体选举过程参见图2。
二、Slave节点工作异常的改进
在一实施例中，Slave节点定时将自身心跳以及当前运行的任务信息发送到对应的Monitor节点，Monitor节点检测当前Slave节点是否工作异常，如果异常，则获取该Slave节点当前运行的未完成任务，将该未完成任务发送到对应的Master节点；Master节点重新分配新的Slave节点执行任务，将上述分配信息同步上传到Monitor节点；新的Slave节点执行任务并定时将自身心跳以及当前运行的任务信息发送到对应的Monitor节点。通过上述循环，可以一直的对每个Slave节点进行监控，确保每个任务都能够正常完成。具体流程参见图3。
三、增量数据同步
在一实施例中，在数据库input组件中增加offset记录，offset记录用于记录当前库表中数据处理的位置，可以具体是数据库表中的查询行数。在进行增量批处理时，当前批任务完毕后，将该offset记录存储到Zookeeper集群中对应Kettle的工作目录下。
在下一次任务执行数据库查询时，在Zookeeper集群中查询对应的库表的offset记录，从获取到的offset记录记载的位置处开始获取数据。
在此次查询完后，同样的，记录此次查询到的库表的数据行数，更新offset记录信息，将新的offset记录存储到Zookeeper集群中对应Kettle的工作目录下，以用于下一次的查询。
可通过各种手段实施本发明描述的技术。举例来说，这些技术可实施在硬件、固件、软件或其组合中。对于硬件实施方案，处理模块可实施在一个或一个以上专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑装置(PLD)、现场可编辑逻辑门阵列(FPGA)、处理器、控制器、微控制器、电子装置、其他经设计以执行本发明所描述的功能的电子单元或其组合内。
对于固件和/或软件实施方案，可用执行本文描述的功能的模块(例如，过程、步骤、流程等)来实施所述技术。固件和/或软件代码可存储在存储器中并由处理器执行。存储器可实施在处理器内或处理器外部。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于Kettle的任务监管方法，其特征在于，包括：
设置至少两个Master节点，通过选举选出一活跃Master节点，令其处于工作状态，其他Master节点处于待命状态，活跃Master节点会与各个Slave节点进行数据通讯；
设置一监管节点Monitor，Monitor节点判断当前处于工作状态的活跃Master节点是否工作异常，如果异常，则从待命状态的多个Master节点中重新选举一个节点并将其切换到工作状态。
2.根据权利要求1所述的基于Kettle的任务监管方法，其特征在于，从待命状态的Master节点中选举一个节点并将其切换到工作状态，步骤是：
Monitor节点获取当前所有的Master节点心跳信息，当连续若干次间隔预定时间内没有收到来自当前活跃Master节点的心跳信息时，Monitor节点将发起选举请求给到所有的待命状态的Master节点触发Master选举；
所有待命状态的Master节点之间进行通讯和选举，直至选举出统一意见的Master节点，该节点作为新的活跃Master节点切换到工作状态并将选举信息发送到Monitor，其他节点将自动切换到待命状态；
待命状态的Master节点将只与活跃Master节点和Monitor节点进行通讯，与活跃Master节点进行任务信息的互通，与Monitor节点进行一个心跳信息的同步。
3.根据权利要求1所述的基于Kettle的任务监管方法，其特征在于，所述基于Kettle的任务监管方法，还包括针对Slave节点的任务进行恢复方法，方法是：
Slave节点定时将自身心跳以及当前运行的任务信息、任务执行状态信息发送到对应的Monitor节点；
Monitor节点检测当前Slave节点是否工作异常，如果异常，则获取该Slave节点当前运行的未完成任务，将该未完成任务发送到活跃Master节点；
活跃Master节点重新分配新的Slave节点执行任务，将上述分配信息同步上传到Monitor节点；
新的Slave节点执行任务并定时将自身心跳以及当前运行的任务信息发送到对应的Monitor节点。
4.根据权利要求1所述的基于Kettle的任务监管方法，其特征在于，所述基于Kettle的任务监管方法，还包括增量数据同步方法，方法是：
在数据库input组件中增加offset记录，offset记录用于记录当前库表中数据处理的位置；
在进行增量批处理时，当前批任务完毕后，将该offset记录存储到Zookeeper集群中对应Kettle的工作目录下；
在下一次任务执行数据库查询时，在Zookeeper集群中查询对应任务的对应库表的offset记录；从获取到的offset记录记载的位置处开始获取数据；获取此次查询到的数据行数，更新offset记录信息。
5.根据权利要求1所述的基于Kettle的任务监管方法，其特征在于，使用web端进行基于Kettle的任务监管，在该web端上设有用于修改各任务执行参数及调度频率的窗口。
6.基于Kettle的任务监管装置，其特征在于，包括：
至少两个Master节点，通过选举选出一活跃Master节点，令其处于工作状态，其他Master节点处于待命状态，活跃Master节点将与各个Slave节点数据通讯；Master节点用于将接收到的请求执行任务分发到Slave节点，接收Slave节点反馈的任务运行结果，将任务信息、任务运行结果以及自身的状态信息发送到监管节点Monitor；
若干个Slave节点，用于任务的执行，并定时将自身信息反馈给Master节点；
监管节点Monitor，用于收集所有Master节点状态，并存储Master节点状态、Master节点接收到的任务进度、Slave节点的状态及对应运行任务信息，判断Master节点和Slave节点是否工作异常；
Zookeeper集群，用于存储各节点状态和执行任务进度信息。
7.根据权利要求6所述的基于Kettle的任务监管装置，其特征在于，所述基于Kettle的任务监管装置，包括一Master节点选举模块，该模块用于：
在当前活跃Master节点出现异常时，发送选举请求到各个Master节点，触发Master选举；
所有待命状态的Master节点之间进行通讯和选举，直至选举出统一意见的Master节点，该节点作为新的活跃Master节点切换到工作状态并将选举信息发送到Monitor，其他节点将自动切换到待命状态；
待命状态的Master节点将只与活跃Master节点和Monitor节点进行通讯，与活跃Master节点进行任务信息的互通，与Monitor节点进行一个心跳信息的同步。
8.根据权利要求6所述的基于Kettle的任务监管装置，其特征在于，所述基于Kettle的任务监管装置，包括一Slave节点任务恢复模块，该模块用于：
在当前Slave节点出现异常时，Monitor节点获取该Slave节点当前运行的未完成任务，将该未完成任务发送到活跃Master节点；
活跃Master节点重新分配新的Slave节点执行任务，将上述分配信息同步上传到Monitor节点；
新的Slave节点执行任务并定时将自身心跳以及当前运行的任务信息发送到对应的Monitor节点。
9.根据权利要求6所述的基于Kettle的任务监管装置，其特征在于，所述基于Kettle的任务监管装置，包括一增量数据同步模块，该模块用于：
在数据库input组件中增加offset记录，offset记录用于记录当前库表中数据处理的位置；
在进行增量批处理时，当前批任务完毕后，将该offset记录存储到Zookeeper集群中对应Kettle的工作目录下；
在下一次任务执行数据库查询时，在Zookeeper集群中查询对应任务的对应库表的offset记录；从获取到的offset记录记载的位置处开始获取数据；获取此次查询到的数据行数，更新offset记录信息。
10.根据权利要求6所述的基于Kettle的任务监管装置，其特征在于，所述基于Kettle的任务监管装置，使用web端进行基于Kettle的任务监管，在该web端上设有用于修改各任务执行参数及调度频率的窗口。
CN201811579629.0A 2018-12-24 2018-12-24 基于Kettle的任务监管方法和装置 Pending CN109669820A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811579629.0A CN109669820A (zh) 2018-12-24 2018-12-24 基于Kettle的任务监管方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811579629.0A CN109669820A (zh) 2018-12-24 2018-12-24 基于Kettle的任务监管方法和装置

Publications (1)

Publication Number Publication Date
CN109669820A true CN109669820A (zh) 2019-04-23

Family

ID=66146826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811579629.0A Pending CN109669820A (zh) 2018-12-24 2018-12-24 基于Kettle的任务监管方法和装置

Country Status (1)

Country Link
CN (1) CN109669820A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110597626A (zh) * 2019-08-23 2019-12-20 第四范式（北京）技术有限公司 在分布式系统中资源及任务的分配方法、装置及系统
CN110601903A (zh) * 2019-09-25 2019-12-20 广州荔支网络技术有限公司 一种基于消息队列中间件的数据处理方法及装置
CN111181765A (zh) * 2019-12-03 2020-05-19 中国建设银行股份有限公司 一种任务处理方法和装置
CN113010337A (zh) * 2021-01-21 2021-06-22 腾讯科技（深圳）有限公司 故障检测方法、总控节点、工作节点及分布式系统
CN113282649A (zh) * 2020-02-19 2021-08-20 北京国双科技有限公司 分布式任务的处理方法、装置和计算机设备
CN115102886A (zh) * 2022-06-21 2022-09-23 上海驻云信息科技有限公司 一种多个采集客户端的任务调度方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140006534A1 (en) * 2012-06-27 2014-01-02 Nilesh K. Jain Method, system, and device for dynamic energy efficient job scheduling in a cloud computing environment
CN103716182A (zh) * 2013-12-12 2014-04-09 中国科学院信息工程研究所 一种面向实时云平台的故障检测与容错方法及系统
CN106375342A (zh) * 2016-10-21 2017-02-01 用友网络科技股份有限公司 一种基于zookeeper技术的系统集群方法及系统
CN107992552A (zh) * 2017-11-28 2018-05-04 南京莱斯信息技术股份有限公司 一种数据交换平台及数据交换方法
CN108628717A (zh) * 2018-03-02 2018-10-09 北京辰森世纪科技股份有限公司 一种数据库系统及监控方法
CN108881489A (zh) * 2018-08-03 2018-11-23 高新兴科技集团股份有限公司 一种分布式服务的协调系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140006534A1 (en) * 2012-06-27 2014-01-02 Nilesh K. Jain Method, system, and device for dynamic energy efficient job scheduling in a cloud computing environment
CN103716182A (zh) * 2013-12-12 2014-04-09 中国科学院信息工程研究所 一种面向实时云平台的故障检测与容错方法及系统
CN106375342A (zh) * 2016-10-21 2017-02-01 用友网络科技股份有限公司 一种基于zookeeper技术的系统集群方法及系统
CN107992552A (zh) * 2017-11-28 2018-05-04 南京莱斯信息技术股份有限公司 一种数据交换平台及数据交换方法
CN108628717A (zh) * 2018-03-02 2018-10-09 北京辰森世纪科技股份有限公司 一种数据库系统及监控方法
CN108881489A (zh) * 2018-08-03 2018-11-23 高新兴科技集团股份有限公司 一种分布式服务的协调系统及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110597626A (zh) * 2019-08-23 2019-12-20 第四范式（北京）技术有限公司 在分布式系统中资源及任务的分配方法、装置及系统
CN110597626B (zh) * 2019-08-23 2022-09-06 第四范式（北京）技术有限公司 在分布式系统中资源及任务的分配方法、装置及系统
CN110601903A (zh) * 2019-09-25 2019-12-20 广州荔支网络技术有限公司 一种基于消息队列中间件的数据处理方法及装置
CN110601903B (zh) * 2019-09-25 2022-04-01 广州荔支网络技术有限公司 一种基于消息队列中间件的数据处理方法及装置
CN111181765A (zh) * 2019-12-03 2020-05-19 中国建设银行股份有限公司 一种任务处理方法和装置
CN113282649A (zh) * 2020-02-19 2021-08-20 北京国双科技有限公司 分布式任务的处理方法、装置和计算机设备
CN113010337A (zh) * 2021-01-21 2021-06-22 腾讯科技（深圳）有限公司 故障检测方法、总控节点、工作节点及分布式系统
CN115102886A (zh) * 2022-06-21 2022-09-23 上海驻云信息科技有限公司 一种多个采集客户端的任务调度方法及装置

Similar Documents

Publication Publication Date Title
CN109669820A (zh) 基于Kettle的任务监管方法和装置
CN106126346B (zh) 一种大规模分布式数据采集系统及方法
Pashkov et al. Controller failover for SDN enterprise networks
CN102521044B (zh) 一种基于消息中间件的分布式任务调度方法及系统
CN104079657B (zh) 基于模板的可配置的集群部署装置及方法
CN101571813B (zh) 一种多机集群中主从调度方法
CN109857558A (zh) 一种数据流处理方法及系统
CN109729129A (zh) 存储集群的配置修改方法、存储集群及计算机系统
CN109766194B (zh) 基于消息的低耦合计划任务组件的实现方法及其系统
CN106331098A (zh) 一种服务器集群系统
CN108616566A (zh) raft分布式系统选主方法、相关设备及系统
CN107203617B (zh) 基于MHA的mysql在线迁移系统及方法
CN105701159B (zh) 一种数据同步装置和方法
CN108563502A (zh) 一种任务调度方法和装置
CN113014634A (zh) 集群选举处理方法、装置、设备及存储介质
CN110611603B (zh) 一种集群网卡监控方法及装置
CN105527948B (zh) 一种基于工业过程的大规模分布式数据采集系统及方法
CN104977875A (zh) 具有同级间冗余性的控制器系统和操作该系统的方法
CN114070739B (zh) 一种集群部署方法、装置、设备和计算机可读存储介质
CN112631764A (zh) 任务调度方法、装置、计算机设备和计算机可读介质
CN111064672A (zh) 云平台通信系统、选举方法及资源调度管理方法
CN106230622B (zh) 一种集群实现方法及装置
CN111459639A (zh) 一种支持全球多机房部署的分布式任务管理平台及方法
CN117130730A (zh) 面向联邦Kubernetes集群的元数据管理方法
CN104320433B (zh) 数据处理方法和分布式数据处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190423

RJ01 Rejection of invention patent application after publication