CN111078411A - 基于混合云的任务调度系统及调度方法 - Google Patents

基于混合云的任务调度系统及调度方法 Download PDF

Info

Publication number
CN111078411A
CN111078411A CN201911273031.3A CN201911273031A CN111078411A CN 111078411 A CN111078411 A CN 111078411A CN 201911273031 A CN201911273031 A CN 201911273031A CN 111078411 A CN111078411 A CN 111078411A
Authority
CN
China
Prior art keywords
task
scheduling
database
execution
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911273031.3A
Other languages
English (en)
Inventor
王凯
张发恩
马鑫意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi (qingdao) Technology Co Ltd
Original Assignee
Innovation Qizhi (qingdao) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi (qingdao) Technology Co Ltd filed Critical Innovation Qizhi (qingdao) Technology Co Ltd
Priority to CN201911273031.3A priority Critical patent/CN111078411A/zh
Publication of CN111078411A publication Critical patent/CN111078411A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于混合云的任务调度系统、方法，其中，任务调度系统中包括：任务调度平台，用于提供给用户进行任务调度操作；LB负载均衡集群，用于将任务调度平台下发的调度任务平衡分摊给对应的云服务器；多个云服务器，每一个云服务器用于将所接收到的调度任务解析为需要执行的执行任务，并将执行任务存储到第一数据库中；多个任务执行单元，每个任务执行单元用于从第一数据库中自动获取需要执行的执行任务并执行，并在任务执行完毕后将任务执行结果反馈并存储至第一数据库中；任务调度平台通信连接第一数据库，用户可通过任务调度平台从第一数据库中获取各执行单元的任务执行结果。本发明可实现在多云环境下对执行任务的统一调度。

Description

基于混合云的任务调度系统及调度方法
技术领域
本发明涉及计算机技术领域，具体涉及一种基于混合云的任务调度系统及调度方法。
背景技术
在IT业，各企业部门或员工根据工作业务或生产需求，经常需要在服务器中编写一些任务程序，然后通过服务器比如云服务器将任务布置给不同的执行单元去执行。但目前，布置执行任务都是在单云环境下完成的，用户如果需要同时对多个云服务器布置任务，则需要登录到每一个云服务器中对各个云服务器布置任务，操作繁琐，工作效率低下，不符合IT企业对高效率工作的需求。所以，如何在多云环境下实现对执行任务的统一调度成为需要迫切解决的一个技术问题。
发明内容
本发明的目的在于提供一种基于混合云的任务调度系统，以解决上述技术问题。
为达此目的，本发明采用以下技术方案：
提供一种基于混合云的任务调度系统，用于在多云环境下实现对不同云服务器的任务调度、分配，包括：
一任务调度平台，用于提供给用户进行任务调度操作；
LB负载均衡集群，通信连接所述任务调度平台，用于将所述任务调度平台下发的调度任务平衡分摊给对应的所述云服务器；
多个所述云服务器，通信连接所述LB负载均衡集群，每一个所述云服务器用于将所接收到的所述调度任务解析为需要执行的执行任务，并将所述执行任务存储到第一数据库中；
多个任务执行单元，通信连接所述第一数据库，每个所述任务执行单元用于从所述第一数据库中自动获取需要执行的所述执行任务并执行，并在任务执行完毕后将任务执行结果反馈并存储至所述第一数据库中；
所述任务调度平台通信连接所述第一数据库，所述用户可通过所述任务调度平台从所述第一数据库中获取各所述执行单元的所述任务执行结果。
作为本发明的一种优选方案，所述任务调度平台可运行于智能终端中，所述任务调度平台具有一任务调度界面，所述任务调度平台中具体包括：
任务创建单元，用于提供给所述用户创建所述调度任务；
云服务器选择单元，用于提供给所述用户选择所述调度任务的指定云服务器发送对象；
任务布置单元，分别连接所述任务创建单元和所述云服务器选择单元，用于将所述调度任务通过所述LB负载均衡集群平衡分摊到所选择的所述对象的云服务器中。
作为本发明的一种优选方案，所述任务创建单元中具体包括：
单任务创建子单元，用于提供给所述用户创建单个所述调度任务；
任务组创建子单元，用于提供给所述用户创建调度任务组，每个所述调度任务组中包含有多个所述调度任务；
执行时间指定子单元，分别连接所述单任务创建子单元和所述任务组创建子单元，用于为各所述调度任务指定任务执行的时间。
作为本发明的一种优选方案，所述第一数据库为Redis远程字典服务数据库。
作为本发明的一种优选方案，所述任务调度系统还包括：
第二数据库，各所述云服务器同时将所述执行任务存储到所述第二数据库中；
所述第二数据库还通信连接所述第一数据库，所述第二数据库将自动同步存储于所述第一数据库中的数据。
作为本发明的一种优选方案，所述第二数据库为MySQL数据库。
本发明还提供了一种基于混合云的任务调度方法，通过应用所述任务调度系统实现，包括如下步骤：
步骤S1，所述任务调度平台根据所述用户的任务调度操作指令向所述LB负载均衡集群下发所述调度任务；
步骤S2，所述LB负载均衡集群将下发的所述调度任务平衡分摊给所述用户选择的所述云服务器；
步骤S3，所述用户所选的各所述云服务器将所接收到的所述调度任务解析为需要执行的所述执行任务，并将解析到的所述执行任务存储到所述第一数据库中；
步骤S4，各所述执行单元从所述第一数据库中自动获取需要执行的所述执行任务并执行，并在任务执行完毕后将所述任务执行结果反馈并存储至所述第一数据库中；
步骤S5，所述用户通过所述任务调度平台获取并查看存储于所述第一数据库中的所述任务执行结果。
作为本发明的一种优选方案，所述步骤S3或所述步骤S4中的所述第一数据库为Redis远程字典服务数据库。
本发明可实现在多云环境下对执行任务的统一调度，简化了对多个云服务器进行任务布置的操作过程，有利于提高员工的工作效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例所述的基于混合云的任务调度系统的结构示意图；
图2是本发明一实施例所述的基于混合云的任务调度系统中的任务调度平台的结构示意图；
图3是本发明一实施例所述的任务调度平台中的任务创建单元的结构示意图；
图4是本发明一实施例所述的基于混合云的任务调度方法的方法步骤图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供的基于混合云的任务调度系统，用于在多云环境下实现对不同云服务器的任务调度、分配，这里所述的云服务器包括例如百度云服务平台、阿里云服务平台和亚马逊云服务平台等的云服务平台。请参照图1，本实施例提供的基于混合云的任务调度系统包括：
任务调度平台1，任务调度平台1可运行与智能终端上，用于提供给用户进行任务调度操作；智能终端包括计算机、平板电脑、手机等智能设备。任务调度相关操作包括创建调度任务、选择调度任务的指定云服务器发送对象、制定调度任务定时发送计划、将调度任务发送给任务执行设备等。
LB(Load Balance)负载均衡集群2，通信连接任务调度平台1，用于将任务调度平台下发的调度任务平衡分摊给对应的云服务器；
多个云服务器3，通信连接LB负载均衡集群2，每一个云服务器用于将所接收到的调度任务解析为需要执行的执行任务，并将所述执行任务存储到第一数据库4中；
多个任务执行单元5，通信连接第一数据库4，每个任务执行单5元用于从第一数据库4中自动获取需要执行的执行任务并执行，并在任务执行完毕后将任务执行结果反馈并存储至第一数据库4中；
用户可通过任务调度平台1从第一数据库4中获取各执行单元的任务执行结果。
任务调度平台具有一任务调度界面，用于可通过任务调度界面完成任务调度相关操作，请参照图2，
任务调度平台1中具体包括：
任务创建单元11，用于提供给用户创建调度任务；
云服务器选择单元12，用于提供给用户选择调度任务的指定云服务器发送对象；
任务布置单元13，分别连接任务创建单元11和云服务器选择单元12，用于将调度任务通过LB负载均衡集群2平衡分摊到所选择的对象的云服务器3中。
请参照图3，任务创建单元11中具体包括：
单任务创建子单元111，用于提供给用户创建单个调度任务；
任务组创建子单元112，用于提供给用户创建调度任务组，每个调度任务组中包含有多个调度任务；
执行时间指定子单元113，分别连接单任务创建子单元111和任务组创建子单元112，用于为调度任务指定任务执行的时间。
上述技术方案中，第一数据库4优选为Redis(远程字典服务)数据库。
优选情况下，请参照图1，本实施例提供的基于混合云的任务调度系统还包括：
第二数据库6，各云服务器3同时将解析到的执行任务存储到第二数据库6中；
第二数据库6还通信连接第一数据库4，第二数据库6将自动同步存储于第一数据库4中的数据。
第二数据库6优选为MySQL数据库。
请参照图4，本发明还提供了一种基于混合云的任务调度方法，通过应用上述的任务调度系统实现，该任务调度方法包括如下步骤：
步骤S1，任务调度平台根据用户的任务调度操作指令向LB负载均衡集群下发调度任务；
步骤S2，LB负载均衡集群将下发的调度任务平衡分摊给用户选择的云服务器；
步骤S3，用户所选的各云服务器将所接收到的调度任务解析为需要执行的执行任务，并将解析到的执行任务存储到第一数据库中；
步骤S4，各执行单元(agent)从第一数据库中自动获取需要执行的执行任务并执行，并在任务执行完毕后将任务执行结果反馈并存储至第一数据库中；
步骤S5，用户通过任务调度平台获取并查看存储于第一数据库中的任务执行结果。
上述技术方案中，步骤S3或步骤S4中的所述第一数据库为Redis(远程字典服务)数据库。
综上，本发明可实现在多云环境下对执行任务的统一调度，简化了对多个云服务器进行任务布置的操作过程，有利于提高员工的工作效率。
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (8)

1.一种基于混合云的任务调度系统，用于在多云环境下实现对不同云服务器的任务调度、分配，其特征在于，包括：
一任务调度平台，用于提供给用户进行任务调度操作；
LB负载均衡集群，通信连接所述任务调度平台，用于将所述任务调度平台下发的调度任务平衡分摊给对应的所述云服务器；
多个所述云服务器，通信连接所述LB负载均衡集群，每一个所述云服务器用于将所接收到的所述调度任务解析为需要执行的执行任务，并将所述执行任务存储到第一数据库中；
多个任务执行单元，通信连接所述第一数据库，每个所述任务执行单元用于从所述第一数据库中自动获取需要执行的所述执行任务并执行，并在任务执行完毕后将任务执行结果反馈并存储至所述第一数据库中；
所述任务调度平台通信连接所述第一数据库，所述用户可通过所述任务调度平台从所述第一数据库中获取各所述执行单元的所述任务执行结果。
2.如权利要求1所述的基于混合云的任务调度系统，其特征在于，所述任务调度平台可运行于智能终端中，所述任务调度平台具有一任务调度界面，所述任务调度平台中具体包括：
任务创建单元，用于提供给所述用户创建所述调度任务；
云服务器选择单元，用于提供给所述用户选择所述调度任务的指定云服务器发送对象；
任务布置单元，分别连接所述任务创建单元和所述云服务器选择单元，用于将所述调度任务通过所述LB负载均衡集群平衡分摊到所选择的所述对象的云服务器中。
3.如权利要求2所述的基于混合云的任务调度系统，其特征在于，所述任务创建单元中具体包括：
单任务创建子单元，用于提供给所述用户创建单个所述调度任务；
任务组创建子单元，用于提供给所述用户创建调度任务组，每个所述调度任务组中包含有多个所述调度任务；
执行时间指定子单元，分别连接所述单任务创建子单元和所述任务组创建子单元，用于为各所述调度任务指定任务执行的时间。
4.如权利要求1所述的基于混合云的任务调度系统，其特征在于，所述第一数据库为Redis远程字典服务数据库。
5.如权利要求1所述的基于混合云的任务调度系统，其特征在于，还包括：
第二数据库，各所述云服务器同时将所述执行任务存储到所述第二数据库中；
所述第二数据库还通信连接所述第一数据库，所述第二数据库将自动同步存储于所述第一数据库中的数据。
6.如权利要求5所述的基于混合云的任务调度系统，其特征在于，所述第二数据库为MySQL数据库。
7.一种基于混合云的任务调度方法，通过应用如权1-6任意一项的所述任务调度系统实现，其特征在于，包括如下步骤：
步骤S1，所述任务调度平台根据所述用户的任务调度操作指令向所述LB负载均衡集群下发所述调度任务；
步骤S2，所述LB负载均衡集群将下发的所述调度任务平衡分摊给所述用户选择的所述云服务器；
步骤S3，所述用户所选的各所述云服务器将所接收到的所述调度任务解析为需要执行的所述执行任务，并将解析到的所述执行任务存储到所述第一数据库中；
步骤S4，各所述执行单元从所述第一数据库中自动获取需要执行的所述执行任务并执行，并在任务执行完毕后将所述任务执行结果反馈并存储至所述第一数据库中；
步骤S5，所述用户通过所述任务调度平台获取并查看存储于所述第一数据库中的所述任务执行结果。
8.如权利要求7所述的基于混合云的任务调度方法，其特征在于，所述步骤S3或所述步骤S4中的所述第一数据库为Redis远程字典服务数据库。
CN201911273031.3A 2019-12-12 2019-12-12 基于混合云的任务调度系统及调度方法 Pending CN111078411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911273031.3A CN111078411A (zh) 2019-12-12 2019-12-12 基于混合云的任务调度系统及调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911273031.3A CN111078411A (zh) 2019-12-12 2019-12-12 基于混合云的任务调度系统及调度方法

Publications (1)

Publication Number Publication Date
CN111078411A true CN111078411A (zh) 2020-04-28

Family

ID=70314101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911273031.3A Pending CN111078411A (zh) 2019-12-12 2019-12-12 基于混合云的任务调度系统及调度方法

Country Status (1)

Country Link
CN (1) CN111078411A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220431A (zh) * 2021-04-29 2021-08-06 西安易联趣网络科技有限责任公司 跨云的分布式数据任务调度方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140026144A1 (en) * 2012-07-23 2014-01-23 Brandon John Pack Systems And Methods For Load Balancing Of Time-Based Tasks In A Distributed Computing System
CN108762932A (zh) * 2018-05-31 2018-11-06 安徽四创电子股份有限公司 一种集群任务调度系统及处理方法
CN108762931A (zh) * 2018-05-31 2018-11-06 康键信息技术（深圳）有限公司 基于分布式调度系统的任务调度方法、服务器及存储介质
CN110266787A (zh) * 2019-06-14 2019-09-20 中国电子科技网络信息安全有限公司 一种混合云管理系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140026144A1 (en) * 2012-07-23 2014-01-23 Brandon John Pack Systems And Methods For Load Balancing Of Time-Based Tasks In A Distributed Computing System
CN108762932A (zh) * 2018-05-31 2018-11-06 安徽四创电子股份有限公司 一种集群任务调度系统及处理方法
CN108762931A (zh) * 2018-05-31 2018-11-06 康键信息技术（深圳）有限公司 基于分布式调度系统的任务调度方法、服务器及存储介质
CN110266787A (zh) * 2019-06-14 2019-09-20 中国电子科技网络信息安全有限公司 一种混合云管理系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220431A (zh) * 2021-04-29 2021-08-06 西安易联趣网络科技有限责任公司 跨云的分布式数据任务调度方法、设备及存储介质
CN113220431B (zh) * 2021-04-29 2023-11-03 西安易联趣网络科技有限责任公司 跨云的分布式数据任务调度方法、设备及存储介质

Similar Documents

Publication Publication Date Title
US11936745B2 (en) Automated platform provisioning system
CN110648054A (zh) 机器人流程自动化的任务并行处理方法及装置
CN102446303B (zh) 工艺路线组件的分配方法及装置
CN110162388A (zh) 一种任务调度方法、系统及终端设备
CN110413673B (zh) 数据库数据统一采集与分发方法及系统
CN105045607A (zh) 一种实现多种大数据计算框架统一接口的方法
CN107807815B (zh) 分布式处理任务的方法和装置
CN102880503A (zh) 数据分析系统及数据分析方法
CN111106948B (zh) 基于配置的指令适配方法
CN105260297B (zh) 一种测试数据管理系统及方法
CN113849312A (zh) 数据处理任务的分配方法、装置、电子设备及存储介质
CN112241316A (zh) 一种分布式调度应用的方法以及装置
CN105302709B (zh) 测试数据生成方法及设备
CN111158800B (zh) 基于映射关系构建任务dag的方法及装置
CN111078411A (zh) 基于混合云的任务调度系统及调度方法
US20180189054A1 (en) Automated platform re-creation system
CN110868330B (zh) 云平台可划分cpu资源的评估方法、装置及评估系统
CN103152428A (zh) 云平台上节点间进行服务通信的方法
CN115982273A (zh) 一种数据同步方法、系统、电子设备和存储介质
CN107608985A (zh) 大数据服务集成方法、装置及系统
CN102147750A (zh) 作业处理方法和系统
CN116010065A (zh) 分布式任务调度方法、装置以及设备
CN108572863B (zh) 分布式任务调度系统及方法
CN114490000A (zh) 任务处理方法、装置、设备及存储介质
US20210182284A1 (en) System and method for data ingestion and workflow generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200428