CN105791354A - 作业调度方法和云调度服务器 - Google Patents

作业调度方法和云调度服务器 Download PDF

Info

Publication number
CN105791354A
CN105791354A CN201410815344.8A CN201410815344A CN105791354A CN 105791354 A CN105791354 A CN 105791354A CN 201410815344 A CN201410815344 A CN 201410815344A CN 105791354 A CN105791354 A CN 105791354A
Authority
CN
China
Prior art keywords
server
job
cloud
scheduling
zookeeper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410815344.8A
Other languages
English (en)
Inventor
郭蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201410815344.8A priority Critical patent/CN105791354A/zh
Priority to PCT/CN2015/074641 priority patent/WO2016101423A1/zh
Publication of CN105791354A publication Critical patent/CN105791354A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种作业调度方法，通过获取云作业服务器中部署的作业信息；根据获取的作业信息，远程调度云作业服务器上的作业。本发明还公开了一种提供云调度服务器。本发明可实现大规模分布式云批量作业调度；可动态增加或减少服务器数量，维护和部署灵活。

Description

作业调度方法和云调度服务器
技术领域
本发明涉及网络通讯领域，尤其涉及作业调度方法和云调度服务器。
背景技术
在现有的作业调度技术方案中，通常使用调度服务器集群(例如Java领域的QuartzScheduler)进行批量调度，集群中的每一台服务器的内容是完全一致的，且被调度的作业也是运行在该服务器上。现有技术存在的缺点和问题如下所示：
一、调度服务器集群维护困难，要更新被调度的作业时，往往需要对集群中的所有服务器均进行停机并重启；
二、无法设置权重，无法将更高的负载分配给性能更好的服务器；
三、现存系统不区分调度服务端和调度客户端，无法任意增加或减少服务器数量。
四、每台调度服务器部署的作业需要完全一致，若有变动所有服务器都得变动。
发明内容
本发明的主要目的在于提供一种作业调度方法和云调度服务器，旨在解决调度服务器集群维护和部署困难的问题。
为实现上述目的，本发明提供的所述作业调度方法包括以下步骤：
获取云作业服务器中部署的作业信息；
根据获取的作业信息，远程调度云作业服务器上的作业。
优选地，所述获取云作业服务器中部署的作业信息的步骤包括：
监听ZooKeeper服务器的作业节点，所述云作业服务器注册在ZooKeeper服务器的作业节点上；
根据监听的ZooKeeper服务器的作业节点，获取云作业服务器中部署的作业信息。
优选地，所述根据获取的作业信息，远程调用云作业服务器上的作业的步骤之前还包括：
将作业和Web服务暴露为远程服务。
优选地，所述根根据获取的作业信息，远程调用云作业服务器上的作业的步骤包括：
采用开源定时调度器QuartzScheduler进行定时调度设置；
通过作业的唯一标识Key启动定时调度、停止定时调度和暂停定时调度。
优选地，所述根据获取的作业信息，远程调用云作业服务器上的作业的步骤包括：
如果检测同一作业由云作业服务器中的多台服务器同时提供时，则采用负载均衡算法进行调度。
为了解决上述的技术问题，本发明进一步提供一种云调度服务器，所述云调度服务器包括：
获取模块，用于获取云作业服务器中部署的作业信息；
调度模块，用于根据获取的作业信息，远程调度云作业服务器上的作业。
优选地，所述获取模块包括：
监听单元，用于监听ZooKeeper服务器的作业节点，所述云作业服务器注册在ZooKeeper服务器的作业节点上；
获取单元，用于根据监听的ZooKeeper服务器的作业节点，获取云作业服务器中部署的作业信息。
优选地，所述云调度服务器还包括：
暴露模块，用于将作业和Web服务暴露为远程服务。
优选地，所述调度模块包括：
设置单元，用于采用QuartzScheduler进行定时调度设置；
调度单元，用于通过作业的唯一标识key启动定时调度、停止定时调度和暂停定时调度。
优选地，所述调度模块，还用于如果检测同一作业由云作业服务器中的多台服务器同时提供时，则采用负载均衡算法进行调度。
本发明提供的作业调度方法，通过获取云作业服务器中部署的作业信息；根据获取的作业信息，远程调度云作业服务器上的作业。本发明可实现大规模分布式云批量作业调度；可动态增加或减少服务器数量，维护和部署灵活。
附图说明
图1为本发明作业调度方法第一实施例的流程示意图；
图2为图1中所述获取云作业服务器中部署的作业信息的步骤的细化流程示意图；
图3为本发明作业调度方法第二实施例的流程示意图；
图4为图1中所述根据获取的作业信息，远程调用云作业服务器上的作业的步骤的细化流程示意图；
图5为本发明作业调度方法第三实施例的流程示意图；
图6为本发明云调度服务器第一实施例的功能模块示意图；
图7为图6中所述获取模块的功能模块示意图；
图8为本发明云调度服务器第二实施例的功能模块示意图；
图9为图6中所述调度模块的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种作业调度方法，参照图1，图1为本发明作业调度方法第一实施例的流程示意图，在第一实施例中，所述作业调度方法包括以下步骤：
步骤S100、获取云作业服务器中部署的作业信息。
云调度服务器启动时，会连接Zookeeper服务器。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，包含一个简单的原语集，是Hadoop和Hbase的重要组件，提供Java语言和C语言的接口。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，HBase(HadoopDatabase)，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可搭建起大规模结构化存储集群。其中，Zookeeper采用树形目录结构，使用Zookeeper的过程就是树节点的创建、删除和监听的过程。例如服务器A通过Zookeeper提供的客户端API(ApplicationProgrammingInterface，应用程序编程接口)创建了一个持久化节点，并在该节点注册监听器。任何其他服务器在该节点下创建子节点以及删除子节点，服务器A均会收到通知。如果创建的节点类型为临时节点，则服务器与Zookeeper断开连接后(例如服务器冗机)，节点将自动被删除，服务器A会收到通知。如果将作业的名字作为节点名创建临时节点，利用该特性，监听器就可以感知整个云中的所有作业；开发具体的调度作业并对其赋以唯一的名字，该名字就是该作业在云作业服务器中的唯一标识。所述Zookeeper服务器可以为Zookeeper服务器集群，所述云调度服务器可以为云调度服务器集群，所述云作业服务器可以为云作业服务器集群。Zookeeper服务器查询得到所有的作业调度节点，并在这些节点上添加监听器。因此，云调度服务器就可以通过Zookeeper服务器获取所有作业的信息，并且针对每一个作业，知道由哪些服务器提供了这些作业。
步骤S200、根据获取的作业信息，远程调度云作业服务器上的作业。
云调度服务器根据获取的作业信息，远程调度云作业服务器上的作业，具体的调度作业是指，采用工作流引擎开发的不含人工任务的流程，每个流程具备一个流程定义的key可以作为名字使用；具体的调度作业还可以是，实现了用户自定义Java接口的一个实现类，采用该类名作为名字；其中，具体的作业不局限于采用Java实现，也可以是数据库的存储过程，Linux下的Shell脚本，并可以通过Java接口的方式进行调用。作业名作为Zookeeper服务器的节点名称，在Zookeeper上创建持久化节点。如果云中的某一台云作业服务器启动时，连接Zookeeper服务器；将该服务器上的所有作业，都以作业的名字在Zookeeper服务器上创建持久化节点，并以Zookeeper服务器的地址(IP端口号)作为节点名，将子节点创建到每一个持久化节点下；当有多台服务器尝试创建相同名字的持久化作业节点时，Zookeeper会保证其先后顺序，如果第一台进行创建的服务器会创建成功，之后所有的服务器创建服务器地址子节点均会成功。
本实施例提供的作业调度方法，可实现大规模分布式云批量作业调度；可动态增加或减少服务器数量，从而维护和部署灵活。
如图2所示，图2为图1中所述步骤S100的细化流程示意图，所述步骤S100包括：
步骤S110、监听ZooKeeper服务器的作业节点，所述云作业服务器注册在ZooKeeper服务器的作业节点上。
云调度服务器启动时，会连接Zookeeper服务器，监听ZooKeeper服务器的作业节点，并查询得到所有的作业调度节点，并在这些节点上添加监听器。其中，云作业服务器自身是注册在Zookeeper上的作业节点上的。
步骤S120、根据监听的ZooKeeper服务器的作业节点，获取云作业服务器中部署的作业信息。
云调度服务器根据监听的ZooKeeper服务器的作业节点，就可以获取云作业服务器中部署的所有作业的信息，并且针对每一个作业，都知道有哪些服务器提供了这些作业；根据Zookeeper服务器临时节点的特性，当云中的某台作业执行服务器停止时，其在Zookeeper服务器上创建的临时节点将被删除，此时云调度服务器将收到通知；云调度服务器需要缓存作业及其执行服务器的信息，并根据监听器收到的通知，添加或删除缓存信息。
本实施例提供的作业调度方法，通过ZooKeeper服务器的作业节点获取云作业服务器中部署的作业信息，并将云调度服务器和云作业服务器很好地分离，可操作性强、维护方便。
如图3所示，图3为本发明作业调度方法第二实施例的流程示意图，在第一实施例的基础上，所述步骤S200之前还包括：
步骤S200A、将作业和Web服务暴露为远程服务。
云调度服务器启动时，作业必须同时暴露为远程服务，以便可以被远程调用，暴露接口或者Web服务以便提供远程调用能力。所述暴露是指露在外面，所述暴露接口是指将接口露在外面，以供使用的意思。其中，通过Web服务的方式暴露为远程服务，具体是指通过HTTP通道发布为SOAP(SimpleObjectAccessProtocol，简单对象访问协议)或RESTFul(RepresentationalStateTransferSoftwareArchitectureStyle，基于REST式的软件体系结构风格)这二种形式的Web服务。通过SpringFramework应用架构中的HttpInvoker(一个Spring远程调用协议)方式将其暴露为Http服务，Spring是Java世界里一个依赖注入框架，其提供了很多开箱即用的组建，HttpInvoker即Http调用器，通过该接口，可以方便的将服务发布为远程服务器，在客户端引用并调用；在本实施例中，暴露为远程服务并不局限于HTTP调用，还可以通过Socket以及RPC(RemoteProcedureCallProtocol，远程过程调用协议)、CORBA(CommonObjectRequestBrokerArchitecture，通用对象请求代理体系结构)等方式进行。
如图4所示，图4为图1中所述步骤S200的细化流程示意图，所述步骤S200包括：
步骤S210、采用QuartzScheduler进行定时调度设置。
云调度服务器采用QuartzScheduler开源定时调度器,进行调度服务端的开发，调度服务器启动时，可以通过Zookeeper查询得到所有作业的信息；一旦获取作业的信息，就可以通过引用远程服务的方式获取本地调度存根，从而进行远程调度。本地调度存根是指WebService本地接口，HttpInvoker(HTTP调用器)本地接口、RPC(RemoteProcedureCallProtocol，远程过程调用协议)或CORBA(CommonORBArchitecture，通用对象请求代理体系结构)本地实现的本地调用接口等；有了本地调用存根后，在指定的调度时间到达时，将可以进行远程调用。
步骤S220、通过作业的唯一标识key启动定时调度、停止定时调度和暂停定时调度。
云调度服务器对用户提供启动定时调度、停止定时调度、暂停定时调度的功能，这些功能通过作业的key进行调度。
如图5所示，图5为本发明作业调度方法第三实施例的流程示意图，在第一实施例的基础上，所述步骤S200包括：
步骤S200B、如果检测同一作业由云作业服务器中的多台服务器同时提供时，则采用负载均衡算法进行调度。
云调度服务器进行远程调度时，如果同一作业同时由云中的很多作业执行服务器提供，此时就可以采用负载均衡算法进行合理调用。也可以采用随机数的负载均衡算法，此算法即可以将负载随机分配到不同服务器上；还可以采用轮询的负载均衡算法，此算法依次将负载分配到不同服务器上。自定义权重的负载均衡算法，此算法要求云作业服务器在启动时，将自身的权重信息写入到Zookeeper指定节点上，并由云调度服务器读取该节点的内容，并在实际调用时计算云中各个云作业服务器的不同权重，将负载分配到各个不同云作业服务器上。
云调度服务器需要连接同一台数据库服务器，QuartzScheduler自身支持集群，连接到同一台数据库服务器后，其每一台云调度服务器就具备了集群特性。其中，可以随意增加或减少云调度服务器的数量，因为具体的作业在云作业服务器中执行，不会影响到作业的执行。同时QuartzScheduler自身支持集群特性，只要云调度服务器中还有一台服务器在运行，将保证整个系统的正常运行。
云作业服务器自身是注册在Zookeeper上的，并且由负载均衡算法决定了在哪一台具体的服务器上执行，增加一台服务器，可以提高整个系统的作业处理能力；而减少一台服务器，仅仅会影响到当前在该服务器上运行的作业，不会影响到未来还没有触发的作业。
本实施例提供的作业调度方法，如果检测同一作业由云作业服务器中的多台服务器同时提供时，则采用负载均衡算法进行调度，从而减轻了云作业服务器的业务量和负担，并且对云调度服务器和云作业服务器进行分离，可以在集群中动态增加或减少服务器数量。
如图6所示，图6为本发明云调度服务器第一实施例的功能模块示意图，在第一实施例中，所述云调度服务器包括：
获取模块10，用于获取云作业服务器中部署的作业信息；
调度模块20，用于根据获取的作业信息，远程调度云作业服务器上的作业。
云调度服务器启动时，会连接Zookeeper服务器。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，包含一个简单的原语集，是Hadoop和Hbase的重要组件，提供Java语言和C语言的接口。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，HBase(HadoopDatabase)，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可搭建起大规模结构化存储集群。其中，Zookeeper采用树形目录结构，使用Zookeeper的过程就是树节点的创建、删除和监听的过程。例如服务器A通过Zookeeper提供的客户端API(ApplicationProgrammingInterface，应用程序编程接口)创建了一个持久化节点，并在该节点注册监听器。任何其他服务器在该节点下创建子节点以及删除子节点，服务器A均会收到通知。如果创建的节点类型为临时节点，则服务器与Zookeeper断开连接后(例如服务器冗机)，节点将自动被删除，服务器A会收到通知。如果将作业的名字作为节点名创建临时节点，利用该特性，监听器就可以感知整个云中的所有作业；开发具体的调度作业并对其赋以唯一的名字，该名字就是该作业在云作业服务器中的唯一标识。所述Zookeeper服务器可以为Zookeeper服务器集群，所述云调度服务器可以为云调度服务器集群，所述云作业服务器可以为云作业服务器集群。Zookeeper服务器查询得到所有的作业调度节点，并在这些节点上添加监听器。因此，云调度服务器的获取模块10就可以通过Zookeeper服务器获取所有作业的信息，并且针对每一个作业，知道由哪些服务器提供了这些作业。
云调度服务器的调度模块20根据获取的作业信息，远程调度云作业服务器上的作业，具体的调度作业是指，采用工作流引擎开发的不含人工任务的流程，每个流程具备一个流程定义的key可以作为名字使用；具体的调度作业还可以是，实现了用户自定义Java接口的一个实现类，采用该类名作为名字；其中，具体的作业不局限于采用Java实现，也可以是数据库的存储过程，Linux下的Shell脚本，并可以通过Java接口的方式进行调用。作业名作为Zookeeper服务器的节点名称，在Zookeeper上创建持久化节点。如果云中的某一台云作业服务器启动时，连接Zookeeper服务器；将该服务器上的所有作业，都以作业的名字在Zookeeper服务器上创建持久化节点，并以Zookeeper服务器的地址(IP端口号)作为节点名，将子节点创建到每一个持久化节点下；当有多台服务器尝试创建相同名字的持久化作业节点时，Zookeeper会保证其先后顺序，如果第一台进行创建的服务器会创建成功，之后所有的服务器创建服务器地址子节点均会成功。
本实施例提供的云调度服务器，可实现大规模分布式云批量作业调度；可动态增加或减少服务器数量，从而维护和部署灵活。
如图7所示，图7为图6中所述获取模块的功能模块示意图，所述获取模块10包括：
监听单元11，用于监听ZooKeeper服务器的作业节点，所述云作业服务器注册在ZooKeeper服务器的作业节点上；
获取单元12，用于根据监听的ZooKeeper服务器的作业节点，获取云作业服务器中部署的作业信息。
云调度服务器启动时，会连接Zookeeper服务器，监听单元11监听ZooKeeper服务器的作业节点，并查询得到所有的作业调度节点，并在这些节点上添加监听器。其中，云作业服务器自身是注册在Zookeeper上的作业节点上的。
云调度服务器的获取单元12根据监听的ZooKeeper服务器的作业节点，就可以获取云作业服务器中部署的所有作业的信息，并且针对每一个作业，都知道有哪些服务器提供了这些作业；根据Zookeeper服务器临时节点的特性，当云中的某台作业执行服务器停止时，其在Zookeeper服务器上创建的临时节点将被删除，此时云调度服务器将收到通知；云调度服务器需要缓存作业及其执行服务器的信息，并根据监听器收到的通知，添加或删除缓存信息。
本实施例提供的云调度服务器，通过ZooKeeper服务器的作业节点获取云作业服务器中部署的作业信息，并将云作业服务器很好地分离，可操作性强、维护方便。
如图8所示，图8为本发明云调度服务器第二实施例的功能模块示意图，在第一实施例中，所述云调度服务器还包括：
暴露模块30，用于将作业和Web服务暴露为远程服务。
云调度服务器启动时，暴露模块30将作业必须同时暴露为远程服务，以便可以被远程调用；将暴露接口或者Web服务以便提供远程调用能力。其中，通过Web服务的方式暴露为远程服务，具体是指通过HTTP通道发布为SOAP或RESTFul这二种形式的Web服务。通过SpringFramework应用架构中的HttpInvoker(一个Spring远程调用协议)方式将其暴露为Http服务，Spring是Java世界里一个依赖注入框架，其提供了很多开箱即用的组建，HttpInvoker即Http调用器，通过该接口，可以方便的将服务发布为远程服务器，在客户端引用并调用；在本实施例中，暴露为远程服务并不局限于HTTP调用，还可以通过Socket以及RPC、CORBA等方式进行。
如图9所示，图9为图6中所述调度模块的功能模块示意图，所述获取调度模块20包括：
设置单元21，用于采用QuartzScheduler进行定时调度设置；
调度单元22，用于通过作业的唯一标识key启动定时调度、停止定时调度和暂停定时调度。
云调度服务器的设置单元21采用QuartzScheduler开源定时调度器,进行调度服务端的开发，调度服务器启动时，可以通过Zookeeper查询得到所有作业的信息；一旦获取作业的信息，就可以通过引用远程服务的方式获取本地调度存根，从而进行远程调度。本地调度存根是指WebService本地接口，HttpInvoker本地接口、RPC或CORBA本地实现的本地调用接口等；有了本地调用存根后，在指定的调度时间到达时，将可以进行远程调用。
云调度服务器的调度单元22对用户提供启动定时调度、停止定时调度、暂停定时调度的功能，这些功能通过作业的key进行调度。
进一步参见图6，第一实施例提供的调度模块，所述调度模块20，还用于如果检测同一作业由云作业服务器中的多台服务器同时提供时，则采用负载均衡算法进行调度。
云调度服务器的调度模块20进行远程调度时，如果同一作业同时由云中的很多作业执行服务器提供，此时就可以采用负载均衡算法进行合理调用。也可以采用随机数的负载均衡算法，此算法即可以将负载随机分配到不同服务器上；还可以采用轮询的负载均衡算法，此算法依次将负载分配到不同服务器上。自定义权重的负载均衡算法，此算法要求云作业服务器在启动时，将自身的权重信息写入到Zookeeper指定节点上，并由云调度服务器读取该节点的内容，并在实际调用时计算云中各个云作业服务器的不同权重，将负载分配到各个不同云作业服务器上。
云调度服务器需要连接同一台数据库服务器，QuartzScheduler自身支持集群，连接到同一台数据库服务器后，其每一台云调度服务器就具备了集群特性。其中，可以随意增加或减少云调度服务器的数量，因为具体的作业在云作业服务器中执行，不会影响到作业的执行。同时QuartzScheduler自身支持集群特性，只要云调度服务器中还有一台服务器在运行，将保证整个系统的正常运行。
云作业服务器自身是注册在Zookeeper上的，并且由负载均衡算法决定了在哪一台具体的服务器上执行，增加一台服务器，可以提高整个系统的作业处理能力；而减少一台服务器，仅仅会影响到当前在该服务器上运行的作业，不会影响到未来还没有触发的作业。
本实施例提供的云调度服务器，如果检测同一作业由云作业服务器中的多台服务器同时提供时，则采用负载均衡算法进行调度，从而减轻了云作业服务器的业务量和负担，并且云作业服务器进行分离，可以在集群中动态增加或减少服务器数量。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种作业调度方法，其特征在于，所述作业调度方法包括以下步骤：
获取云作业服务器中部署的作业信息；
根据获取的作业信息，远程调度云作业服务器上的作业。
2.如权利要求1所述的作业调度方法，其特征在于，所述获取云作业服务器中部署的作业信息的步骤包括：
监听ZooKeeper服务器的作业节点，所述云作业服务器注册在ZooKeeper服务器的作业节点上；
根据监听的ZooKeeper服务器的作业节点，获取云作业服务器中部署的作业信息。
3.如权利要求1或2所述的作业调度方法，其特征在于，所述根据获取的作业信息，远程调用云作业服务器上的作业的步骤之前还包括：
将作业和Web服务暴露为远程服务。
4.如权利要求1或2所述的作业调度方法，其特征在于，所述根据获取的作业信息，远程调用云作业服务器上的作业的步骤包括：
采用开源定时调度器QuartzScheduler进行定时调度设置；
通过作业的唯一标识Key启动定时调度、停止定时调度和暂停定时调度。
5.如权利要求1或2所述的作业调度方法，其特征在于，所述根据获取的作业信息，远程调用云作业服务器上的作业的步骤包括：
如果检测同一作业由云作业服务器中的多台服务器同时提供时，则采用负载均衡算法进行调度。
6.一种云调度服务器，其特征在于，所述云调度服务器包括：
获取模块，用于获取云作业服务器中部署的作业信息；
调度模块，用于根据获取的作业信息，远程调度云作业服务器上的作业。
7.如权利要求6所述云调度服务器，其特征在于，所述获取模块包括：
监听单元，用于监听ZooKeeper服务器的作业节点，所述云作业服务器注册在ZooKeeper服务器的作业节点上；
获取单元，用于根据监听的ZooKeeper服务器的作业节点，获取云作业服务器中部署的作业信息。
8.如权利要求6或7所述云调度服务器，其特征在于，所述云调度服务器还包括：
暴露模块，用于将作业和Web服务暴露为远程服务。
9.如权利要求6或7所述云调度服务器，其特征在于，所述调度模块包括：
设置单元，用于采用QuartzScheduler进行定时调度设置；
调度单元，用于通过作业的唯一标识key启动定时调度、停止定时调度和暂停定时调度。
10.如权利要求6或7所述云调度服务器，其特征在于，所述调度模块，还用于如果检测同一作业由云作业服务器中的多台服务器同时提供时，则采用负载均衡算法进行调度。
CN201410815344.8A 2014-12-23 2014-12-23 作业调度方法和云调度服务器 Pending CN105791354A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410815344.8A CN105791354A (zh) 2014-12-23 2014-12-23 作业调度方法和云调度服务器
PCT/CN2015/074641 WO2016101423A1 (zh) 2014-12-23 2015-03-19 作业调度方法和云调度服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410815344.8A CN105791354A (zh) 2014-12-23 2014-12-23 作业调度方法和云调度服务器

Publications (1)

Publication Number Publication Date
CN105791354A true CN105791354A (zh) 2016-07-20

Family

ID=56149045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410815344.8A Pending CN105791354A (zh) 2014-12-23 2014-12-23 作业调度方法和云调度服务器

Country Status (2)

Country Link
CN (1) CN105791354A (zh)
WO (1) WO2016101423A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874090A (zh) * 2017-01-23 2017-06-20 北京思特奇信息技术股份有限公司 基于云系统的作业调度方法和系统
CN107766147A (zh) * 2016-08-23 2018-03-06 上海宝信软件股份有限公司 分布式的数据分析任务调度系统
CN109525466A (zh) * 2019-01-03 2019-03-26 杭州云英网络科技有限公司 数据节点监听方法及装置
CN109697112A (zh) * 2018-12-24 2019-04-30 广东亿迅科技有限公司 分布式集约化一站式作业系统和实现方法
CN110633914A (zh) * 2019-09-20 2019-12-31 中国银行股份有限公司 批量作业调度处理方法及装置
CN110764910A (zh) * 2019-10-23 2020-02-07 中国银行股份有限公司 批量作业调度处理方法及装置
CN111163117A (zh) * 2018-11-07 2020-05-15 北京京东尚科信息技术有限公司 一种基于Zookeeper的对等式调度方法和装置
CN113037839A (zh) * 2021-03-08 2021-06-25 中国工商银行股份有限公司 一种分布式批量框架通讯系统及方法
CN114363332A (zh) * 2021-12-27 2022-04-15 徐工汉云技术股份有限公司 一种基于分布式的网关远程自动化运维方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528297A (zh) * 2016-11-14 2017-03-22 山东浪潮云服务信息科技有限公司 一种管理任务的系统
CN106980678A (zh) * 2017-03-30 2017-07-25 温馨港网络信息科技（苏州）有限公司 基于zookeeper技术的数据分析方法及系统
CN107181806B (zh) * 2017-05-27 2020-09-01 北京思特奇信息技术股份有限公司 一种基于dubbo的分布式业务处理系统及方法
CN109862101B (zh) * 2019-02-13 2021-12-17 中国银行股份有限公司 跨平台应用启动方法、装置、计算机设备和存储介质
CN110780869A (zh) * 2019-10-31 2020-02-11 辽宁振兴银行股份有限公司 一种分布式批量调度
CN113110922B (zh) * 2021-03-08 2024-04-12 北京世纪安图数码科技发展有限责任公司 一种基于Quartz与多线程的不动产登记方法
CN112835690B (zh) * 2021-04-07 2024-04-05 北京航天云路有限公司 一种可编排流程的定时作业执行的方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140528A (zh) * 2007-08-31 2008-03-12 中兴通讯股份有限公司 一种实现集群内定时任务负载均衡的方法、装置及系统
CN101702721A (zh) * 2009-10-26 2010-05-05 北京航空航天大学 一种多集群系统的可重组方法
CN101741904A (zh) * 2009-11-27 2010-06-16 中国林业科学研究院资源信息研究所 一种分布式空间计算服务节点的构建方法及网关装置
CN102033777A (zh) * 2010-09-17 2011-04-27 中国资源卫星应用中心 基于ice的分布式作业调度引擎
CN102801766A (zh) * 2011-11-18 2012-11-28 北京安天电子设备有限公司 一种云服务器负载均衡及数据冗余备份的方法及系统
CN102932210A (zh) * 2012-11-23 2013-02-13 北京搜狐新媒体信息技术有限公司 一种PaaS云平台的节点监控方法和系统
US20130117225A1 (en) * 2011-11-03 2013-05-09 Michael W. Dalton Distributed storage medium management for heterogeneous storage media in high availability clusters
CN103268245A (zh) * 2012-11-28 2013-08-28 北京建筑工程学院 一种气象数据快速处理流程化的方法
CN103530182A (zh) * 2013-10-22 2014-01-22 海南大学 一种作业调度方法和装置
CN103744734A (zh) * 2013-12-24 2014-04-23 中国科学院深圳先进技术研究院 一种任务作业处理方法、装置及系统
CN103986748A (zh) * 2014-04-22 2014-08-13 世纪禾光科技发展（北京）有限公司 实现服务化的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8620889B2 (en) * 2008-03-27 2013-12-31 Microsoft Corporation Managing data transfer between endpoints in a distributed computing environment
CN103617305A (zh) * 2013-10-22 2014-03-05 芜湖大学科技园发展有限公司 一种自适应的电力仿真云计算平台作业调度算法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140528A (zh) * 2007-08-31 2008-03-12 中兴通讯股份有限公司 一种实现集群内定时任务负载均衡的方法、装置及系统
CN101702721A (zh) * 2009-10-26 2010-05-05 北京航空航天大学 一种多集群系统的可重组方法
CN101741904A (zh) * 2009-11-27 2010-06-16 中国林业科学研究院资源信息研究所 一种分布式空间计算服务节点的构建方法及网关装置
CN102033777A (zh) * 2010-09-17 2011-04-27 中国资源卫星应用中心 基于ice的分布式作业调度引擎
US20130117225A1 (en) * 2011-11-03 2013-05-09 Michael W. Dalton Distributed storage medium management for heterogeneous storage media in high availability clusters
CN102801766A (zh) * 2011-11-18 2012-11-28 北京安天电子设备有限公司 一种云服务器负载均衡及数据冗余备份的方法及系统
CN102932210A (zh) * 2012-11-23 2013-02-13 北京搜狐新媒体信息技术有限公司 一种PaaS云平台的节点监控方法和系统
CN103268245A (zh) * 2012-11-28 2013-08-28 北京建筑工程学院 一种气象数据快速处理流程化的方法
CN103530182A (zh) * 2013-10-22 2014-01-22 海南大学 一种作业调度方法和装置
CN103744734A (zh) * 2013-12-24 2014-04-23 中国科学院深圳先进技术研究院 一种任务作业处理方法、装置及系统
CN103986748A (zh) * 2014-04-22 2014-08-13 世纪禾光科技发展（北京）有限公司 实现服务化的方法和装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766147A (zh) * 2016-08-23 2018-03-06 上海宝信软件股份有限公司 分布式的数据分析任务调度系统
CN106874090A (zh) * 2017-01-23 2017-06-20 北京思特奇信息技术股份有限公司 基于云系统的作业调度方法和系统
CN111163117A (zh) * 2018-11-07 2020-05-15 北京京东尚科信息技术有限公司 一种基于Zookeeper的对等式调度方法和装置
CN111163117B (zh) * 2018-11-07 2023-01-31 北京京东尚科信息技术有限公司 一种基于Zookeeper的对等式调度方法和装置
CN109697112A (zh) * 2018-12-24 2019-04-30 广东亿迅科技有限公司 分布式集约化一站式作业系统和实现方法
CN109525466B (zh) * 2019-01-03 2020-09-29 杭州云毅网络科技有限公司 数据节点监听方法、装置、电子设备及存储介质
CN109525466A (zh) * 2019-01-03 2019-03-26 杭州云英网络科技有限公司 数据节点监听方法及装置
CN110633914A (zh) * 2019-09-20 2019-12-31 中国银行股份有限公司 批量作业调度处理方法及装置
CN110764910A (zh) * 2019-10-23 2020-02-07 中国银行股份有限公司 批量作业调度处理方法及装置
CN113037839A (zh) * 2021-03-08 2021-06-25 中国工商银行股份有限公司 一种分布式批量框架通讯系统及方法
CN113037839B (zh) * 2021-03-08 2022-11-29 中国工商银行股份有限公司 一种分布式批量框架通讯系统及方法
CN114363332A (zh) * 2021-12-27 2022-04-15 徐工汉云技术股份有限公司 一种基于分布式的网关远程自动化运维方法
CN114363332B (zh) * 2021-12-27 2024-01-23 徐工汉云技术股份有限公司 一种基于分布式的网关远程自动化运维方法

Also Published As

Publication number Publication date
WO2016101423A1 (zh) 2016-06-30

Similar Documents

Publication Publication Date Title
CN105791354A (zh) 作业调度方法和云调度服务器
US11467890B2 (en) Processing event messages for user requests to execute program code
CN108132830B (zh) 一种任务调度方法、装置及系统
US10175957B1 (en) System and method for pervasive software platform-based model driven architecture application generator
CN112035228B (zh) 一种资源调度方法及装置
US10613853B2 (en) Updating software components through online stores
US9323556B2 (en) Programmatic event detection and message generation for requests to execute program code
CN111431740A (zh) 数据的传输方法、装置、设备及计算机可读存储介质
CN101741904B (zh) 一种分布式空间计算服务节点的构建方法及网关装置
CN105323282A (zh) 一种面向多租户的企业应用部署与管理系统
CN104536899A (zh) 一种基于智能集群的软件部署及其维护方法
CN103283209A (zh) 一种应用服务平台系统及其实现方法
CN107766136A (zh) 一种任务集群调度管理的方法
CN107483245A (zh) 一种基于karaf_agent的主动采集实现装置
US8326913B2 (en) Method and system for service contract discovery
CN113220431B (zh) 跨云的分布式数据任务调度方法、设备及存储介质
CN107465709B (zh) 分布式镜像构建任务方法及装置、系统
CN102420709A (zh) 一种基于任务框架的调度任务管理方法和设备
US10721260B1 (en) Distributed execution of a network vulnerability scan
CN113419818B (zh) 基础组件部署方法、装置、服务器及存储介质
JP5359835B2 (ja) 情報処理装置、配布システム及び受信方法
CN105827567B (zh) 服务管控方法及能力开放平台
CN115080338A (zh) 一种自动监测边缘设备容器内应用进程的系统及方法
CN111163117B (zh) 一种基于Zookeeper的对等式调度方法和装置
CN111200508B (zh) 一种消息发送方法及网关

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160720

WD01 Invention patent application deemed withdrawn after publication