CN102521044B - 一种基于消息中间件的分布式任务调度方法及系统 - Google Patents
一种基于消息中间件的分布式任务调度方法及系统 Download PDFInfo
- Publication number
- CN102521044B CN102521044B CN 201110453910 CN201110453910A CN102521044B CN 102521044 B CN102521044 B CN 102521044B CN 201110453910 CN201110453910 CN 201110453910 CN 201110453910 A CN201110453910 A CN 201110453910A CN 102521044 B CN102521044 B CN 102521044B
- Authority
- CN
- China
- Prior art keywords
- task
- node
- child node
- host
- host node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种基于消息中间件的分布式任务调度方法及系统,属于分布式系统的任务调度领域。本发明采用消息队列的方式进行分布式任务的调度,首先将待执行的任务保存到主节点的任务队列中,然后通过负载均衡将任务均衡地分配到主节点下的可用子节点中,由子节点启动各自独立的任务进程执行任务。在任务的调度执行过程中,通过监控节点对主节点和子节点的状态进行实时监控,当出现故障时,将待执行的任务或正在执行的任务切换到备用主节点或可用子节点中。通过本发明所述的方法及系统,保证了任务之间的独立性,提高了任务执行的效率。故障切换机制进一步保证了任务调度执行的可靠性。
Description
技术领域
本发明涉及分布式系统的任务调度领域,具体涉及一种基于消息中间件的分布式任务调度方法及系统。
背景技术
随着计算机应用范围的日益扩大,分布式实时系统应用越来越广泛。其中,对任务调度的问题是分布式实时系统一个关键的问题。合理的分布式实时系统的任务调度算法对发挥系统的并行性能、保证实时任务的可调度性、以及保持网络的负载平衡都具有非常重要的意义。
在现有的任务调度框架中,Quartz调度提供了简单而强大的任务调度机制,Quartz允许开发人员灵活地定义触发器的调度时间,并可以对触发器和任务进行关联映射,如可以根据时间间隔(或天)来调度作业。它实现了作业和触发器的多对多关系,另外,Quartz还提供了组件的监听器和插件,可以通过配置作业和触发器为全局监听或者是特定于作业和触发器的监听。可以通过Quartz来执行一个作业而创建简单的或复杂的调度。但是利用Quartz进行任务调度时,还是存在以下缺点:
1)单机版单进程应用,一旦发生宕机的情况,无法确保任务正确被触发;
2)由于是单进程应用,在任务数量过高时会产生内存溢出的风险,执行效率低;
3)容错性差,不存在故障切换的机制;
而上述缺点的存在,使得单一线性的任务调度系统越来越不能够满足现有的业务需求,本发明正是针对上述问题,在包含了Quartz所有特性的基础上,提供了一种基于消息中间件的分布式任务调度方法,保证任务调度执行的可靠性,并提供了故障切换机制,提高任务执行的效率。
发明内容
针对现有技术中存在的缺陷,本发明的目的在于提供一种基于消息中间件的分布式任务调度方法及系统,保证任务调度执行的可靠性,提高任务执行的效率。
为实现上述目的,本发明采用的技术方案如下:
一种基于消息中间件的分布式任务调度方法,包括以下步骤:
(1)将待处理的任务保存到主节点的任务队列中;
(2)将任务队列中的任务通过消息中间件由负载均衡管理器均衡分配到主节点下的可用子节点中,监听节点将第一个报上心跳信号的主节点指定为任命主节点,其它主节点为备用主节点,主节点在进行任务的调度分配时,会首先将要执行的任务信息同步到备用主节点中,然后再通过负载均衡后将任务分配到可用子节点中;由负载均衡管理器均衡分配的具体方式为:
a.主节点获取其列表下的一个可用子节点,并向该子节点发送请求,查看该子节点是否可用;
b.子节点接收到主节点的请求,将其执行状态回复主节点;
c.主节点接收到回复信息,如果子节点可用,则将任务分配到该子节点;如果子节点不可用,则返回步骤a;
(3)启动子节点的任务进程,由子节点的目标主机执行子节点的任务;当执行任务的子节点的目标主机发生故障时,将任务切换到子节点的其它目标主机上执行;当执行任务的子节点发生故障时,将任务切换到其它可用子节点上执行;当任命主节点发生故障时,启用备用主节点分配任务。
进一步,如上所述的一种基于消息中间件的分布式任务调度方法,该方法通过设置监听节点来监听主节点和子节点的心跳信号,通过心跳信号判断主节点和子节点是否正常。
进一步,如上所述的一种基于消息中间件的分布式任务调度方法,步骤a中,判断子节点是否可用的具体方式为:
①判断子节点的心跳信号是否正常,若是则进入步骤②;若否则子节点不可用;
②查看子节点上正在执行的任务个数是否达到子节点的上限,若是则子节点不可用;若否则子节点可用。
再进一步,如上所述的一种基于消息中间件的分布式任务调度方法,任命主节点与备用主节点中设有定时器,根据定时器的触发时间主节点将任务队列中的任务分配到其下的可用子节点上。
更进一步,如上所述的一种基于消息中间件的分布式任务调度方法,步骤(2)中,所述消息中间件的消息头中包括用于指定接收消息的子节点名称、用于指定消息类型的消息编号和消息的有效负载类型。
一种基于消息中间件的分布式任务调度系统,包括:
任务保存模块:用于将待处理的任务保存到主节点的任务队列中;
任务调度模块:用于将任务队列中的任务通过消息中间件分配到主节点下的可用子节点中;所述任务调度模块包括用于将任务均衡分配到主节点下的多个可用子节点的负载均衡管理器,以及用于主节点或者子节点发生故障时将任务切换到备用主节点或其它子节点的故障切换管理器,故障切换管理器在主节点或者子节点发生故障时将任务切换到备用主节点或其它子节点的具体方式为:
当执行任务的子节点的目标主机发生故障时,将任务切换到子节点的其它目标主机上执行;当执行任务的子节点发生故障时,将任务切换到其它可用子节点上执行;当任命主节点发生故障时,启用备用主节点分配任务;
任务执行模块:用于启动子节点的任务进程,由子节点的目标主机执行子节点的任务。
再进一步,如上所述的一种基于消息中间件的分布式任务调度系统,该系统还包括用于管理任务并通过发送状态请求命令监控任务执行状态的前台用户接口模块,以及用于接受前台用户接口模块发送的状态请求命令,并生成状态请求命令的响应后将响应发送到前台用户接口模块的平台管理模块。
本发明的效果在于:本发明所述的方法及系统,在现有的Quartz调度的基础上,采用消息队列的方式进行分布式的通信,利用消息中间件进行消息的路由,通过负载均衡技术合理的将任务分配到空闲的节点上执行,从而提高了系统运行性能。此外,本发明还提供了故障切换机制,最大限度的保证了系统的可靠性和稳定性,提高了任务执行的效率。
附图说明
图1为具体实施方式中基于消息中间件的分布式任务调度系统的结构框图;
图2为具体实施方式中基于消息中间件的分布式任务调度方法的流程图;
图3为具体实施方式中平台管理模块的结构示意图;
图4为具体实施方式中分布式任务调度模块及执行模块的结构示意图;
图5为具体实施方式中负载均衡管理器的工作示意图;
图6为具体实施方式中故障切换管理器的工作示意图;
图7为具体实施方式中分布式任务调度系统启动及初始化的流程图;
图8为具体实施方式中任务分配处理流程图;
图9为具体实施方式中主节点故障切换流程图;
图10为具体实施方式中子节点故障切换流程图;
图11为具体实施方式中系统增加主节点的流程图;
图12为具体实施方式中系统增加子节点的流程图。
具体实施方式
下面结合说明书附图与具体实施方式对本发明做进一步的详细说明。
图1示出了本发明一种基于消息中间件的分布式任务调度系统的结构框图,该系统主要包括以下模块:
前台用户接口模块11:用于管理任务并通过发送状态请求命令监控任务执行状态;
平台管理模块12:用于接受前台用户接口模块所发送的状态请求命令,并生成响应后将响应发送到用户接口模块;
任务保存模块13:用于将待处理的任务保存到任务调度模块中主节点的任务队列中;
任务调度模块14:用于将任务队列中的任务通过消息中间件分配到主节点下的可用子节点中;所述任务调度模块包括用于将任务均衡分配到主节点下的多个可用子节点的负载均衡器;
任务执行模块15:用于启动子节点的任务进程,由子节点的目标主机执行子节点的任务。
其中,前台用户接口模块11是通过web方式提供的一个友好的用户管理界面,通过该模块用户可以对任务进行管理,并监控当前任务执行情况。用户通过前台用户接口模块可以对任务进行实时的监控,查询任务的执行状态以及分配情况。这部分的实现流程是首先前台用户接口模块11向服务器端的平台管理模块12发送一个状态查询请求,平台管理模块12将该查询请求通过消息中间件发送一个查询命令到任务调度模块,通过任务调度模块得到当前正在运行的任务信息将最终响应通过平台管理模块转发到前台用户接口模块。
平台管理模块12的主要职责是接受客户通过前台用户接口模块11发送的请求,并调用相关的后台处理模块进行业务处理(任务调度模块),生成最终响应回复给客户,其工作示意图如图3所示,该模块主要用于处理方案管理请求、对需要执行的任务的相关状态进行任务执行状态的管理,包括任务方案计划管理、任务方案计划实例管理,以及节点状态监控管理(例如子节点是否正常)等。此模块被设计为一个请求控制器,作为用户接口与后台处理的桥梁,降低了系统的耦合性,使得系统更加灵活,增加了弹性。
任务调度模块14和任务执行模块15为整个分布式任务调度系统的主要部分,负责进行任务的分配及执行,其示意图如图4所示,首先待处理的任务保存到任务保存模块的主节点的任务队列中,然后由任务调度模块通过消息中间件分配到主节点下的子节点中。考虑到负载均衡和故障切换以及对采集和处理任务的分布式调度处理,在该模块还设置了用于将主节点任务队列中的任务均衡分配到其可用子节点中的负载均衡管理器,以及用于主节点或者子节点发生故障时将任务切换到备用主节点或其它子节点的故障切换管理器。负载均衡管理器及故障切换管理器的工作示意图分别如图5与图6所示,通过负载均衡管理器将待执行的多个任务调度分配到多个子节点中,在将任务分配到子节点后,由子节点的目标主机执行子节点的任务,当预期执行的目标主机发生故障时,故障切换管理器可以把任务切换到其它可用的目标主机上执行;同样如果是主节点发生故障,故障切换管理器会将主节点上的任务切换到备用主节点上,由备用主节点下的子节点执行任务。本发明所述的方法及系统中,任命主节点和备用节点的状态是实时同步的,与主节点维护着相同的子节点。
基于上述的分布式任务调度系统,本发明还提供了一种基于消息中间件的分布式任务调度方法,流程图如图2所示,包括以下步骤:
步骤S21:将待处理的任务保存到主节点的任务队列中;
将待处理的任务保存到任务保存模块中主节点的任务队列中。
步骤S22:将任务队列中的任务分配到主节点下的可用子节点中;
将任务队列中的任务通过消息中间件分配到主节点下的可用子节点中;通过消息中间件分配任务时,通过负载均衡管理器将任务均衡分配到主节点下的多个可用子节点中。在将任务分配到主节点下的可用子节点时,可以通过手动执行的方式(任务的手动执行方式是指通过前台手动配置任务并发送命令到平台管理模块,然后通过主节点负载平衡后分配到可用子节点),但在实际运行中,多采用自动执行的方式,在自动执行的情况下,通过在主节点设有任务定时器,任务分配时会自动按照定时器的触发时间将相关的任务分配到子节点上。
本发明所述的分布式任务调度的实现采用了服务器集群cluster技术,如图4所示,同时考虑了负载均衡(Load balancing)和故障切换(Failover),对采集和处理任务进行分布式调度处理。在主节点的任务队列中有多个任务(任务A、B、C、D等)等待执行,经过负载均衡处理选择可用的节点,并通过消息中间件将任务派发到多个子节点上。
在本发明的分布式任务调度系统中,共设有三种节点,监听节点,主节点,备用主节点和叶子节点(子节点)。其中,监听节点主要用于监听主节点和子节点的心跳信号,通过心跳信号是否正常来判断节点工作是否正常,并将第一个监听到的心跳信号的主节点指定为任命主节点,其它主节点作为备用主节点,此外,监听节点还用于提供可用叶子节点列表。
主节点主要用于分配当前待执行的任务,通过负载均衡管理器进行负载均衡,以及通过故障切换管理器对于出现故障的主节点进行故障切换。
备用节点主要用于备份子节点信息,作为主节点备份,用于故障切换。
子节点主要用于执行具体任务以及更改任务执行状态。
其中,判断子节点是否可用的具体方式如下:
1)首先,查看子节点心跳信号是否正常,监控节点会定时向主节点报告当前存活的子节点(心跳正常),如果子节点心跳不正常说明子节点出现故障不可用。在正常的情况下,进行进一步判断;
2)子节点上正在运行的任务是否已达到该节点的任务上限标准。每个子节点在启动时会指定该节点能够同时启动几个任务进程,如果当前已经达到设定的上限则不继续接受任务,需要等待某个正在执行的任务结束后才继续接受新任务。
主节点进行任务分配时,由负载均衡管理器将任务均衡分配到可用子节点的具体过程如下:
主节点中存在一个FIFO(先入先出)链表队列,用于维护当前存活的子节点名称(心跳信号正常),这些子节点信息是监控节点定期向主节点发送的。该队列的头部元素即最早进入队列的子节点,队列的尾部元素即是后进入队列的子节点。新的元素插入到队列的尾部,队列检索操作从队列头部获得元素。主节点在向子节点发送任务时,首先会从队列头部获取一个可用的元素,即子节点名称并随后将其重新添加到队列的尾部。主节点向选定的子节点发送握手请求,询问子节点是否可以接受新任务。子节点接到请求后根据子任务进程的执行情况判断是否接受新任务并将结果回复给主节点。主节点接受回馈,如果握手失败就重复以上步骤,重新从队列头部取出下一个可用的子节点。如果握手成功就向子节点发送任务信息。
本系统采用消息队列的方式进行分布式进程间通信。利用消息中间件(MOM)进行消息的路由,使用统一标准的JMS规范进行编程从而保证了系统的可移植性,降低应用程序与MOM的耦合性。本系统还提供了一套标准的数据传递模型,主要包括消息头和有效负载两部分,其中消息头提供了消息有关的元数据,包括如下信息:
①目标节点名(NODE_ID):用于指定接受消息的节点名称;
②消息编号(MSG_ID):用于指定消息类型,编码可以采用表1中的方式:
本系统中所采用的消息编号及其传输模型如表2所示:
表2
③有效负载类型(MSG_TYPE):用于指定有效负载的实际类型,JMS规范中包括了TextMessage,StreamMessage,MapMessage,ObjectMessage,BytesMessage等五种类型,如ObjectMessage用于传送任务,即传送Object对象。
步骤S23:启动子节点任务进程执行任务。
启动子节点的任务进程,由子节点的目标主机执行子节点的任务。考虑到系统的稳定性以及任务运行时内存占用量等情况,子节点为任务单元启动一个独立的工作进程来执行相应的任务。
在任务的调度执行过程中,当执行任务的子节点的目标主机发生故障时,故障切换管理器会将任务切换到子节点的其它目标主机上执行,当执行任务的子节点发生故障时,将任务切换到其它可用子节点上执行;当任命主节点发生故障时,启用备用主节点分配任务。定时器在主节点中根据触发时间主节点将任务分配到子节点上,子节点接受任务信息,并根据任务信息中描述的任务执行主路径、参数等相关信息启动任务子进程。
为了更好的理解本发明,下面对本发明所述系统及方法的整个工作流程进行更为详细的说明。
图7示出了分布式任务调度系统及其初始化的流程图,在启动阶段,监控节点(Monitor)对主节点(Root)及子节点(Leaf)的心跳信号进行监控,可以采用由主节点和子节点定时向监控节点定时发送心跳信号的方式进行监控。监控节点将第一个报上心跳的主节点设为任命主节点,其它的设为备用主节点,任命主节点即为当前主节点,主节点启动定时器根据设置的触发时间自动派发任务。主节点在进行任务的调度分配时,会首先将要执行的任务信息同步到备用主节点中,然后再通过负载均衡后将任务分配到可用子节点中,由子节点启动各自的任务进程执行任务,同时会对任务执行的状态进行监控,生成日志信息,记录任务的状态,具体流程图如图8所示。
本发明还提供了故障切换机制,当监控节点监听发现任命主节点的心跳信号异常即任命主节点出现故障时,会启动备用主节点,并将备用主节点设定为任命主节点,注册为当前主节点,由于在原任命主节点进行任务调度时,把待执行任务同步到了备用主节点,所以备用主节点成为新的任命主节点后,只需要启动定时器,把原任命主节点的任务切换到备用主节点执行即可,具体流程如图9所示。当监控节点通过监听心跳信号发现子节点发生故障时,监控节点更新当前可用子节点列表,通知主节点此故障子节点的信息,终止此故障子节点的任务,将待执行的任务切换到其它子节点执行,流程图如图10所示。
此外,通过本发明所述的分布式任务调度方法及系统进行任务调度时,可以根据需要,通过增加主节点或者子节点来进一步保证任务执行的效率及可靠性,新增主节点或者子节点的流程图如图11与图12所示,增加主节点后,如果系统中已经存在任命主节点,则将新增主节点设置为备用主节点,如果不存在任命主节点,则将新增主节点设置为任命主节点。增加子节点时,只需要将新增的子节点信息更新子节点信息列表中即可。在任务调度中,如果任务方案需要进行更新,则将更新的信息发送到该任务的任命主节点中,更新任命主节点的定时器中的方案计划列表中。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种基于消息中间件的分布式任务调度方法,包括以下步骤:
(1)将待处理的任务保存到主节点的任务队列中;
(2)将任务队列中的任务通过消息中间件由负载均衡管理器均衡分配到主节点下的可用子节点中,监听节点将第一个报上心跳信号的主节点指定为任命主节点,其它主节点为备用主节点,主节点在进行任务的调度分配时,会首先将要执行的任务信息同步到备用主节点中,然后再通过负载均衡后将任务分配到可用子节点中;由负载均衡管理器均衡分配的具体方式为:
a.主节点获取其列表下的一个可用子节点,并向该子节点发送请求,查看该子节点是否可用;
b.子节点接收到主节点的请求,将其执行状态回复主节点;
c.主节点接收到回复信息,如果子节点可用,则将任务分配到该子节点;如果子节点不可用,则返回步骤a;
(3)启动子节点的任务进程,由子节点的目标主机执行子节点的任务;当执行任务的子节点的目标主机发生故障时,将任务切换到子节点的其它目标主机上执行;当执行任务的子节点发生故障时,将任务切换到其它可用子节点上执行;当任命主节点发生故障时,启用备用主节点分配任务。
2.如权利要求1所述的一种基于消息中间件的分布式任务调度方法,其特征在于:该方法通过设置监听节点来监听主节点和子节点的心跳信号,通过心跳信号判断主节点和子节点是否正常。
3.如权利要求2所述的一种基于消息中间件的分布式任务调度方法,其特征在于:步骤a中,判断子节点是否可用的具体方式为:
①判断子节点的心跳信号是否正常,若是则进入步骤②;若否则子节点不可用;
②查看子节点上正在执行的任务个数是否达到子节点的上限,若是则子节点不可用;若否则子节点可用。
4.如权利要求1所述的一种基于消息中间件的分布式任务调度方法,其特征在于:任命主节点与备用主节点中设有定时器,根据定时器的触发时间主节点将任务队列中的任务分配到其下的可用子节点上。
5.如权利要求1所述的一种基于消息中间件的分布式任务调度方法,其特征在于:步骤(2)中,所述消息中间件的消息头中包括用于指定接收消息的子节点名称、用于指定消息类型的消息编号和消息的有效负载类型。
6.一种基于消息中间件的分布式任务调度系统,包括:
任务保存模块:用于将待处理的任务保存到主节点的任务队列中;
任务调度模块:用于将任务队列中的任务通过消息中间件分配到主节点下的可用子节点中;所述任务调度模块包括用于将任务均衡分配到主节点下的多个可用子节点的负载均衡管理器,以及用于主节点或者子节点发生故障时将任务切换到备用主节点或其它子节点的故障切换管理器,故障切换管理器在主节点或者子节点发生故障时将任务切换到备用主节点或其它子节点的具体方式为:
当执行任务的子节点的目标主机发生故障时,将任务切换到子节点的其它目标主机上执行;当执行任务的子节点发生故障时,将任务切换到其它可用子节点上执行;当任命主节点发生故障时,启用备用主节点分配任务;
任务执行模块:用于启动子节点的任务进程,由子节点的目标主机执行子节点的任务;
其中,监听节点将第一个报上心跳信号的主节点指定为任命主节点,其它主节点为备用主节点。
7.如权利要求6所述的一种基于消息中间件的分布式任务调度系统,其特征在于:该系统还包括用于任务管理并通过发送状态请求命令监控任务执行状态的前台用户接口模块,以及用于接受前台用户接口模块发送的状态请求命令,并生成状态请求命令的响应后将响应发送到前台用户接口模块的平台管理模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110453910 CN102521044B (zh) | 2011-12-30 | 2011-12-30 | 一种基于消息中间件的分布式任务调度方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110453910 CN102521044B (zh) | 2011-12-30 | 2011-12-30 | 一种基于消息中间件的分布式任务调度方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102521044A CN102521044A (zh) | 2012-06-27 |
CN102521044B true CN102521044B (zh) | 2013-12-25 |
Family
ID=46291979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110453910 Active CN102521044B (zh) | 2011-12-30 | 2011-12-30 | 一种基于消息中间件的分布式任务调度方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102521044B (zh) |
Families Citing this family (80)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103677994B (zh) * | 2012-09-19 | 2017-11-17 | 中国银联股份有限公司 | 分布式数据处理系统、设备及方法 |
CN103049330B (zh) * | 2012-12-05 | 2015-08-12 | 大连理工大学 | 一种托管型分布式任务调度方法和系统 |
CN103150162B (zh) * | 2013-02-22 | 2016-02-10 | 烽火通信科技股份有限公司 | 提高嵌入式软件代码共享程度的方法 |
CN103152420B (zh) * | 2013-03-11 | 2016-03-02 | 汉柏科技有限公司 | 一种避免Ovirt虚拟管理平台单点失效的方法 |
CN103546930B (zh) * | 2013-10-29 | 2016-05-11 | 重庆邮电大学 | 一种适于td-lte公网集群系统的小区切换方法 |
CN103559082A (zh) * | 2013-11-04 | 2014-02-05 | 北京华胜天成科技股份有限公司 | 一种基于队列的分布式任务调度方法、装置及系统 |
CN104639273A (zh) * | 2013-11-08 | 2015-05-20 | 沈阳高精数控技术有限公司 | 一种适用于lan网络下通信设备的时间同步方法 |
CN103645939B (zh) * | 2013-11-29 | 2018-03-27 | 北京奇虎科技有限公司 | 一种图片抓取的方法和系统 |
CN103679392B (zh) * | 2013-12-26 | 2018-01-09 | 拉卡拉支付股份有限公司 | 一种任务调度处理方法及系统 |
CN104253850A (zh) * | 2014-01-07 | 2014-12-31 | 深圳市华傲数据技术有限公司 | 一种任务分布式调度方法和系统 |
CN105022666A (zh) * | 2014-04-24 | 2015-11-04 | 中国电信股份有限公司 | 控制MapReduce任务调度的方法、装置和系统 |
CN105446801A (zh) * | 2014-06-23 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 分布式系统中的任务处理方法和装置 |
CN104219235B (zh) * | 2014-08-28 | 2018-02-23 | 福建新大陆软件工程有限公司 | 一种分布式交易请求方法及装置 |
CN105573824B (zh) * | 2014-10-10 | 2020-04-03 | 腾讯科技(深圳)有限公司 | 分布式计算系统的监控方法及系统 |
CN104348913B (zh) * | 2014-10-28 | 2016-08-24 | 浪潮电子信息产业股份有限公司 | 一种紧耦合可扩展的大数据交互方法 |
US20180198855A1 (en) * | 2014-11-24 | 2018-07-12 | Alibaba Group Holding Limited | Method and apparatus for scheduling calculation tasks among clusters |
CN105760240A (zh) * | 2014-12-16 | 2016-07-13 | 航天信息股份有限公司 | 分布式任务处理方法及装置 |
CN104503845B (zh) * | 2015-01-14 | 2017-07-14 | 北京邮电大学 | 一种任务分发方法和系统 |
CN106155802B (zh) * | 2015-03-30 | 2020-03-13 | 阿里巴巴集团控股有限公司 | 任务调度方法、装置及控制节点 |
CN104881294B (zh) * | 2015-06-10 | 2019-03-01 | 北京奇虎科技有限公司 | 实现自动打包的系统及方法 |
CN105187327A (zh) * | 2015-08-14 | 2015-12-23 | 广东能龙教育股份有限公司 | 一种分布式消息队列中间件 |
CN105100259B (zh) * | 2015-08-18 | 2018-02-16 | 北京京东尚科信息技术有限公司 | 一种分布式定时任务执行方法和系统 |
CN105243002A (zh) * | 2015-08-28 | 2016-01-13 | 浪潮软件股份有限公司 | 一种消息中间件的监控方法和系统 |
CN106569878A (zh) * | 2015-10-08 | 2017-04-19 | 北京奇虎科技有限公司 | 一种分布式定时任务管理方法和系统 |
CN105491108A (zh) * | 2015-11-19 | 2016-04-13 | 浪潮集团有限公司 | 一种处理遥感影像的系统及方法 |
CN105553760B (zh) * | 2015-12-11 | 2019-03-22 | 中国科学院信息工程研究所 | 一种基于心跳的软件模块故障处理方法及系统 |
CN106982168A (zh) * | 2016-01-19 | 2017-07-25 | 中国移动通信集团重庆有限公司 | 一种报文处理、节点管理、报文分发方法、装置及系统 |
CN105740326B (zh) * | 2016-01-21 | 2021-01-15 | 腾讯科技(深圳)有限公司 | 浏览器的线程状态监测方法及装置 |
CN105721595B (zh) * | 2016-03-03 | 2019-04-09 | 上海携程商务有限公司 | IOS系统的app的打包方法及系统 |
CN107291547B (zh) * | 2016-03-31 | 2021-02-05 | 创新先进技术有限公司 | 一种任务调度处理方法、装置及系统 |
CN107341051A (zh) * | 2016-05-03 | 2017-11-10 | 北京京东尚科信息技术有限公司 | 集群任务协调方法、系统和装置 |
CN107479963A (zh) * | 2016-06-08 | 2017-12-15 | 国家计算机网络与信息安全管理中心 | 一种任务分配方法及系统 |
CN106250254B (zh) * | 2016-07-21 | 2019-02-22 | 腾讯科技(深圳)有限公司 | 一种任务处理方法及系统 |
CN106549796A (zh) * | 2016-09-27 | 2017-03-29 | 努比亚技术有限公司 | 一种固件空间下载的资源控制方法及主节点 |
CN107479984B (zh) * | 2016-09-29 | 2021-01-08 | 北京超图软件股份有限公司 | 基于消息的分布式空间数据处理系统 |
CN106533738B (zh) * | 2016-10-20 | 2019-09-10 | 中国民生银行股份有限公司 | 分布式批处理的方法、装置和系统 |
CN106993019B (zh) * | 2016-11-29 | 2019-11-19 | 深圳壹账通智能科技有限公司 | 分布式任务调度方法和系统 |
CN106817408B (zh) * | 2016-12-27 | 2020-09-29 | 中国银联股份有限公司 | 一种分布式服务器集群调度方法及装置 |
CN108572863B (zh) * | 2017-03-13 | 2022-07-12 | 国家新闻出版广电总局广播电视卫星直播管理中心 | 分布式任务调度系统及方法 |
CN107092522B (zh) * | 2017-03-30 | 2020-07-21 | 阿里巴巴集团控股有限公司 | 实时数据的计算方法及装置 |
CN107122234A (zh) * | 2017-03-30 | 2017-09-01 | 武汉斗鱼网络科技有限公司 | 一种服务器系统、执行任务的方法和服务器 |
CN108733459B (zh) * | 2017-04-13 | 2023-07-14 | 腾讯科技(深圳)有限公司 | 一种分布式定时的方法、服务器以及系统 |
CN108733470A (zh) * | 2017-04-25 | 2018-11-02 | 深圳市优网科技有限公司 | 一种分布式任务调度系统及方法 |
CN107357662A (zh) * | 2017-07-21 | 2017-11-17 | 郑州云海信息技术有限公司 | 一种服务端信息采集任务的负载均衡方法及系统 |
CN109656690A (zh) * | 2017-10-11 | 2019-04-19 | 阿里巴巴集团控股有限公司 | 调度系统、方法和存储介质 |
CN107728643B (zh) * | 2017-11-10 | 2019-10-25 | 西安电子科技大学 | 一种动态环境下的无人机群分布式任务调度方法 |
CN109842500B (zh) * | 2017-11-24 | 2022-05-10 | 阿里巴巴集团控股有限公司 | 一种调度方法及系统、工作节点及监控节点 |
CN107908469B (zh) * | 2017-12-18 | 2020-08-28 | 北京搜狐新媒体信息技术有限公司 | 一种任务调度方法及系统 |
CN108234645A (zh) * | 2017-12-29 | 2018-06-29 | 北京奇虎科技有限公司 | 一种任务的处理方法和装置 |
CN108446179B (zh) * | 2018-03-14 | 2022-01-14 | 重庆邮电大学 | 基于负载均衡机制的权重优先Task任务调度方法 |
CN108734398B (zh) * | 2018-05-17 | 2020-11-20 | 恒生电子股份有限公司 | 任务流同步控制方法、装置及存储介质和电子设备 |
CN108737543B (zh) * | 2018-05-21 | 2021-09-24 | 高新兴智联科技有限公司 | 一种分布式物联网中间件及工作方法 |
CN108776618A (zh) * | 2018-06-26 | 2018-11-09 | 杭州比智科技有限公司 | 分布式工作流管理方法及装置 |
CN108845867A (zh) * | 2018-07-16 | 2018-11-20 | 郑州云海信息技术有限公司 | 一种分布式事务管理方法、装置、系统及存储介质 |
CN108667576A (zh) * | 2018-08-06 | 2018-10-16 | 百度在线网络技术(北京)有限公司 | 消息服务器的主备切换方法、装置和消息服务系统 |
CN109308219B (zh) * | 2018-08-23 | 2021-08-10 | 创新先进技术有限公司 | 任务处理方法、装置及分布式计算机系统 |
CN109376015A (zh) * | 2018-10-23 | 2019-02-22 | 苏州思必驰信息科技有限公司 | 用于任务调度系统的日志阻塞解决方法及系统 |
CN109542627A (zh) * | 2018-11-30 | 2019-03-29 | 北京金山云网络技术有限公司 | 节点切换方法、装置、管理机、节点设备和分布式系统 |
CN111309456B (zh) * | 2018-12-12 | 2023-04-18 | 深圳市茁壮网络股份有限公司 | 一种任务执行方法及系统 |
CN109656698A (zh) * | 2018-12-14 | 2019-04-19 | 平安城市建设科技(深圳)有限公司 | 任务处理方法、管理平台、执行端及计算机可读存储介质 |
CN111381972B (zh) * | 2018-12-27 | 2024-02-06 | 三六零科技集团有限公司 | 分布式任务调度方法、装置和系统 |
CN109857558A (zh) * | 2019-01-18 | 2019-06-07 | 苏宁易购集团股份有限公司 | 一种数据流处理方法及系统 |
CN112311832B (zh) * | 2019-07-31 | 2022-08-05 | 杭州萤石软件有限公司 | 一种任务处理方法、系统及节点 |
CN110502266A (zh) * | 2019-08-26 | 2019-11-26 | 中电九天智能科技有限公司 | 一种CIM server集群无缝更新方法 |
CN111221632B (zh) * | 2019-10-15 | 2024-06-25 | 中国平安财产保险股份有限公司 | 分布式并行任务调度方法、装置、计算机设备和存储介质 |
CN111580945A (zh) * | 2020-04-21 | 2020-08-25 | 智业互联(厦门)健康科技有限公司 | 微服务任务协调调度方法及系统 |
CN113297013A (zh) * | 2020-04-26 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 设备切换方法、装置、电子设备和存储介质 |
CN111858098B (zh) * | 2020-07-24 | 2023-11-17 | 成都成信高科信息技术有限公司 | 一种基于海量数据的数据交换方法 |
CN111858007A (zh) * | 2020-07-29 | 2020-10-30 | 广州海鹚网络科技有限公司 | 一种基于消息中间件的任务调度方法方法和装置 |
CN112054912B (zh) * | 2020-08-31 | 2023-06-13 | 北京易捷思达科技发展有限公司 | OpenStack开源云平台的资源计费系统和方法 |
CN114257586B (zh) * | 2020-09-11 | 2022-12-09 | 同方威视技术股份有限公司 | 分布式任务调度方法及系统 |
CN112615912B (zh) * | 2020-12-11 | 2022-07-12 | 中国建设银行股份有限公司 | 一种节点调度处理方法、装置及存储介质 |
CN112732437B (zh) * | 2020-12-30 | 2023-08-22 | 科来网络技术股份有限公司 | 一种高效的动态均衡分布式任务调度方法及系统 |
CN112631761B (zh) * | 2020-12-31 | 2024-08-06 | 中国农业银行股份有限公司 | 一种任务调度监控方法和装置 |
CN113190341B (zh) * | 2021-05-31 | 2024-07-23 | 内蒙古豆蔻网络科技有限公司 | 一种服务器资源调度方法及系统 |
CN113515363B (zh) * | 2021-08-10 | 2022-02-15 | 中国人民解放军61646部队 | 面向异型任务高并发的多层次数据处理系统动态调度平台 |
CN113641475A (zh) * | 2021-08-16 | 2021-11-12 | 京东科技控股股份有限公司 | 服务过滤方法、装置、电子设备与存储介质 |
CN113821329B (zh) * | 2021-11-24 | 2022-02-11 | 湖南大学 | 一种面向大规模数据的并行任务处理方法和系统 |
CN115391018A (zh) * | 2022-09-30 | 2022-11-25 | 中国建设银行股份有限公司 | 任务调度方法、装置和设备 |
CN116028245B (zh) * | 2023-02-09 | 2023-10-13 | 中国证券登记结算有限责任公司 | 一种基于消息中间件的业务消息处理方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1512729A (zh) * | 2002-12-31 | 2004-07-14 | 联想(北京)有限公司 | 网络设备自适应负载均衡的方法 |
CN101452406A (zh) * | 2008-12-23 | 2009-06-10 | 北京航空航天大学 | 一种对操作系统透明的机群负载平衡方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201452406U (zh) * | 2009-06-10 | 2010-05-12 | 邓小霞 | 纯不锈钢蚊帐撑杆 |
-
2011
- 2011-12-30 CN CN 201110453910 patent/CN102521044B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1512729A (zh) * | 2002-12-31 | 2004-07-14 | 联想(北京)有限公司 | 网络设备自适应负载均衡的方法 |
CN101452406A (zh) * | 2008-12-23 | 2009-06-10 | 北京航空航天大学 | 一种对操作系统透明的机群负载平衡方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102521044A (zh) | 2012-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102521044B (zh) | 一种基于消息中间件的分布式任务调度方法及系统 | |
CN106126346B (zh) | 一种大规模分布式数据采集系统及方法 | |
CN111506412B (zh) | 基于Airflow的分布式异步任务构建、调度系统及方法 | |
CN107087019B (zh) | 一种基于端云协同计算架构的任务调度方法及装置 | |
Wu et al. | Orchestrating bulk data transfers across geo-distributed datacenters | |
CN102387173B (zh) | 一种MapReduce系统及其调度任务的方法和装置 | |
CA3168286A1 (en) | Data flow processing method and system | |
WO2017128507A1 (zh) | 一种去中心化资源调度方法及系统 | |
CN105607954A (zh) | 一种有状态容器在线迁移的方法和装置 | |
CN102546839B (zh) | 面向大规模网络的高效、可靠的软件分发方法 | |
CN113742031A (zh) | 节点状态信息获取方法、装置、电子设备及可读存储介质 | |
CN112437129B (zh) | 集群的管理方法及集群的管理装置 | |
CN116627661B (zh) | 算力资源调度的方法和系统 | |
Li et al. | Task scheduling algorithm for heterogeneous real-time systems based on deadline constraints | |
CN112910937A (zh) | 容器集群中的对象调度方法、装置、服务器和容器集群 | |
CN116149827A (zh) | 分布式任务调度系统和分布式任务调度执行系统 | |
CN104484228A (zh) | 基于Intelli-DSC的分布式并行任务处理系统 | |
CN111475333A (zh) | 一种基于openstack的数据库备份方法及装置 | |
CN110502342A (zh) | 一种间歇网络环境下机动边缘信息服务网络 | |
CN115987872A (zh) | 一种基于资源路由的云系统 | |
CN114237858A (zh) | 一种基于多集群网络的任务调度方法及系统 | |
CN105591776B (zh) | Sdn网络设备的主备链路切换方法和装置 | |
CN113641480B (zh) | 一种基于Kubernetes集群组的任务调度系统及方法 | |
JP2021012481A (ja) | 計算機システム及びプログラム実行方法 | |
CN103139016A (zh) | 一种高可用集群资源监控的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |