CN109634749B - 一种分布式统一调度方法及设备 - Google Patents

一种分布式统一调度方法及设备 Download PDF

Info

Publication number
CN109634749B
CN109634749B CN201811560111.2A CN201811560111A CN109634749B CN 109634749 B CN109634749 B CN 109634749B CN 201811560111 A CN201811560111 A CN 201811560111A CN 109634749 B CN109634749 B CN 109634749B
Authority
CN
China
Prior art keywords
server
scheduling
job
management server
resource management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811560111.2A
Other languages
English (en)
Other versions
CN109634749A (zh
Inventor
陈成乐
邱涛
翁安栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Shangji Network Technology Co ltd
Original Assignee
Xiamen Shangji Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Shangji Network Technology Co ltd filed Critical Xiamen Shangji Network Technology Co ltd
Priority to CN201811560111.2A priority Critical patent/CN109634749B/zh
Publication of CN109634749A publication Critical patent/CN109634749A/zh
Application granted granted Critical
Publication of CN109634749B publication Critical patent/CN109634749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer And Data Communications (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明涉及一种分布式统一调度方法,在分布式设置的客户端、条件管理服务器、调度服务器、资源管理服务器和调度代理服务器中,执行以下步骤:客户端生成作业运行所需的条件,并将生成的条件发送至条件管理服务器;条件管理服务器判断客户端数据库中预存的作业的运行条件是否满足,获取满足运行条件的作业并分发给调度服务器,当存在多个调度服务器时,根据各调度服务器的忙闲程度分配至各调度服务器;调度服务器根据作业的运行节点,将作业发送至对应运行节点的调度代理服务器;调度代理服务器执行并完成作业,并在完成该作业后,将该作业的运行状态发送给调度服务器;调度服务器在该作业完成后,向资源管理服务器发起请求,释放消耗的资源量。

Description

一种分布式统一调度方法及设备
技术领域
本发明涉及一种分布式统一调度方法及设备,属于通信领域。
背景技术
随着企业信息化建设的深入,数据的价值越来越重要,系统间的批量数据交换、各系统的批处理调度需求成了不可或缺的要素。在企业各系统的批处理环节,批处理多使用各自单独的调度(或手工调度),系统间互相依赖的任务不能及时调度,而且调度资源分散,调度重复部署,不利于系统间批处理数据流动的交互协调。
发明内容
为了解决上述现有技术中存在的问题,本发明提供一种分布式统一调度方法及设备,解决现有技术中,调度资源分散,调度重复部署的问题。
本发明的技术方案如下:
技术方案一:
一种分布式统一调度方法,在分布式设置的客户端、条件管理服务器、调度服务器、资源管理服务器和调度代理服务器中,分别相应执行以下步骤:
客户端生成作业运行所需的条件,并将生成的条件发送至条件管理服务器;
条件管理服务器判断客户端数据库中预存的作业的运行条件是否满足,获取满足运行条件的作业并分发给调度服务器,当存在多个调度服务器时,根据各调度服务器的忙闲程度均衡分配至各调度服务器;
调度服务器根据待运行的作业,向资源管理服务器发起请求,申请待运行的作业所需要的资源,当存在多个资源管理服务器时,调度服务器轮流向各资源管理服务器发起请求;
资源管理服务器确定该待运行的作业的运行节点并分配该待运行的作业需消耗的资源量至调度服务器;
调度服务器根据待运行的作业的运行节点,将待运行的作业发送至对应运行节点的调度代理服务器;
调度代理服务器执行并完成待运行的作业,并在完成该待运行的作业后,将该待运行的作业完成后的运行状态发送给调度服务器;调度服务器在该待运行的作业完成后,向资源管理服务器发起请求,资源管理服务器收到请求后,释放该待运行的作业消耗的资源量。
进一步的,当存在多个调度服务器时,在条件管理服务器中,还执行以下步骤:
条件管理服务器判断任一调度服务器是否可用;
当其中一调度服务器处于不可用状态时,条件管理服务器对该调度服务器进行隔离,不再向该调度服务器分发满足运行条件的作业;
在一调度服务器被隔离后,条件管理服务器定期判断该调度服务器是否可用,当该调度服务器恢复成可用状态时,条件管理服务器取消对该调度服务器的隔离,能够继续向该调度服务器分发满足运行条件的作业。
进一步的,当存在多个资源管理服务器时,在调度服务器中,还执行以下步骤:
调度服务器判断任一资源管理服务器是否可用;
当其中一资源管理服务器处于不可用状态时,调度服务器对该资源管理服务器进行隔离,不再向该资源管理服务器发起请求;
当一资源管理服务器被隔离后,调度服务器定期判断该资源管理服务器是否可用,当该资源管理服务器恢复成可用状态时,调度服务器取消对该资源管理服务器的隔离,能够继续向该资源管理服务器发起请求。
进一步的,在执行所述调度服务器根据待运行的作业的运行节点,将待运行的作业发送至对应运行节点的调度代理服务器步骤之前,还包括以下步骤:
调度服务器判断对应运行节点的调度代理服务器是否可用;
当该调度代理服务器处于不可用状态时,调度服务器对该调度代理服务器进行隔离,不再向该调度代理服务器发送待运行的作业;
当该调度代理服务器被隔离后,调度服务器定期判断该调度代理服务器是否可用,当该调度代理服务器恢复成可用状态时,调度服务器取消对该调度代理服务器的隔离,能够继续向该调度代理服务器发送待运行的作业。
进一步的,在执行所述调度代理服务器执行并完成待运行的作业,并在完成该待运行的作业后,将该待运行的作业完成后的运行状态发送给调度服务器步骤时,调度代理服务器默认将该待运行的作业完成后的运行状态发送给原该待运行的作业所在的调度服务器,在调度代理服务器发送该待运行的作业完成后的运行状态之前,还包括以下步骤:
调度代理服务器判断该待运行的作业所在的调度服务器是否可用;
当该调度服务器处于不可用状态时,调度代理服务器对该调度服务器进行隔离,不再发送待运行的作业完成后的运行状态至该调度服务器;如存在多个调度服务器,则将待运行的作业完成后的运行状态发送至其他调度服务器;
当一调度服务器被隔离后,调度代理服务器定期判断该调度服务器是否可用,当调度服务器恢复成可用状态时,调度代理服务器取消对该调度服务器的隔离,能够继续向该调度服务器发送待运行的作业完成后的运行状态。
技术方案二:
一种分布式统一调度设备,包括存储器、处理器以及分布式设置的客户端、条件管理服务器、调度服务器、资源管理服务器和调度代理服务器;所述存储器存储有指令,所述指令适于由处理器加载并执行以下步骤:
客户端生成作业运行所需的条件,并将生成的条件发送至条件管理服务器;
条件管理服务器判断客户端数据库中预存的作业的运行条件是否满足,获取满足运行条件的作业并分发给调度服务器,当存在多个调度服务器时,根据各调度服务器的忙闲程度均衡分配至各调度服务器;
调度服务器根据待运行的作业,向资源管理服务器发起请求,申请待运行的作业所需要的资源,当存在多个资源管理服务器时,调度服务器轮流向各资源管理服务器发起请求;
资源管理服务器确定该待运行的作业的运行节点并分配该待运行的作业需消耗的资源量至调度服务器;
调度服务器根据待运行的作业的运行节点,将待运行的作业发送至对应运行节点的调度代理服务器;
调度代理服务器执行并完成待运行的作业,并在完成该待运行的作业后,将该待运行的作业完成后的运行状态发送给调度服务器;调度服务器在该待运行的作业完成后,向资源管理服务器发起请求,资源管理服务器收到请求后,释放该待运行的作业消耗的资源量。
进一步的,当存在多个调度服务器时,在条件管理服务器中,还执行以下步骤:
条件管理服务器判断任一调度服务器是否可用;
当其中一调度服务器处于不可用状态时,条件管理服务器对该调度服务器进行隔离,不再向该调度服务器分发满足运行条件的作业;
在一调度服务器被隔离后,条件管理服务器定期判断该调度服务器是否可用,当该调度服务器恢复成可用状态时,条件管理服务器取消对该调度服务器的隔离,能够继续向该调度服务器分发满足运行条件的作业。
进一步的,当存在多个资源管理服务器时,在调度服务器中,还执行以下步骤:
调度服务器判断任一资源管理服务器是否可用;
当其中一资源管理服务器处于不可用状态时,调度服务器对该资源管理服务器进行隔离,不再向该资源管理服务器发起请求;
当一资源管理服务器被隔离后,调度服务器定期判断该资源管理服务器是否可用,当该资源管理服务器恢复成可用状态时,调度服务器取消对该资源管理服务器的隔离,能够继续向该资源管理服务器发起请求。
进一步的,在执行所述调度服务器根据待运行的作业的运行节点,将待运行的作业发送至对应运行节点的调度代理服务器步骤之前,还包括以下步骤:
调度服务器判断对应运行节点的调度代理服务器是否可用;
当该调度代理服务器处于不可用状态时,调度服务器对该调度代理服务器进行隔离,不再向该调度代理服务器发送待运行的作业;
当该调度代理服务器被隔离后,调度服务器定期判断该调度代理服务器是否可用,当该调度代理服务器恢复成可用状态时,调度服务器取消对该调度代理服务器的隔离,能够继续向该调度代理服务器发送待运行的作业。
进一步的,在执行所述调度代理服务器执行并完成待运行的作业,并在完成该待运行的作业后,将该待运行的作业完成后的运行状态发送给调度服务器步骤时,调度代理服务器默认将该待运行的作业完成后的运行状态发送给原该待运行的作业所在的调度服务器,在调度代理服务器发送该待运行的作业完成后的运行状态之前,还包括以下步骤:
调度代理服务器判断该待运行的作业所在的调度服务器是否可用;
当该调度服务器处于不可用状态时,调度代理服务器对该调度服务器进行隔离,不再发送待运行的作业完成后的运行状态至该调度服务器;如存在多个调度服务器,则将待运行的作业完成后的运行状态发送至其他调度服务器;
当一调度服务器被隔离后,调度代理服务器定期判断该调度服务器是否可用,当调度服务器恢复成可用状态时,调度代理服务器取消对该调度服务器的隔离,能够继续向该调度服务器发送待运行的作业完成后的运行状态。
本发明具有如下有益效果:
1、本发明通过对条件管理服务器、调度服务器、资源管理服务器和调度代理服务器各服务器进行分布式的独立部署,可以灵活部署调度各服务器,可扩展各服务器容量以提高企业级调度需求;部署调度代理服务器在各系统内,实现对各系统任务作业的统一协调调度,实现企业中所有系统的批处理任务集中统一调度。
2、在条件管理服务器分发作业至调度服务器之前,判断调度服务器是否可用,隔离不可用的调度服务器,防止分发作业到不可用的调度服务器中。
3、在调度服务器向资源管理服务器发起请求前,判断资源管理服务器是否可用,隔离不可用的资源管理服务器,防止向不可用的资源管理器发起请求。
4、在调度服务器分发作业至调度代理服务器之前,判断调度代理服务器是否可用,隔离不可用的调度代理服务器,防止向不可用的调度代理服务器分发作业。
5、在调度代理服务器发送作业运行状态至调度服务器之前,判断调度服务器是否可用,隔离不可用的调度服务器,防止发送作业运行状态到不可用的调度服务器中。
附图说明
图1为本发明实施例的流程图;
图2为本发明实施例的模块设计框图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
参见图1-2,一种分布式统一调度方法,在分布式设置的客户端、条件管理服务器、调度服务器、资源管理服务器和调度代理服务器中,分别相应执行以下步骤:
客户端生成作业运行所需的条件,当客户端检测到某个文件存在、某个文件消失或者数据库表中某个字段值的变化等状态时,客户端就生成对应的条件,并将生成的条件发送至条件管理服务器;
作业是预先在数据库中定义好的一序列元数据信息,条件管理服务器判断客户端数据库中预存的作业的运行条件是否满足,获取满足运行条件的作业并分发给调度服务器,当存在多个调度服务器时,根据各调度服务器的忙闲程度均衡分配至各调度服务器;
调度服务器根据待运行的作业,向资源管理服务器发起请求,申请待运行的作业所需要的资源,当存在多个资源管理服务器时,调度服务器轮流向各资源管理服务器发起请求;
资源管理服务器确定该待运行的作业的运行节点(运行节点指的是部署有调度代理服务器的机器,运行作业的机器节点)并并分配该待运行的作业作业需消耗的资源量至调度服务器;
调度服务器根据待运行的作业的运行节点,将待运行的作业发送至对应运行节点的调度代理服务器;
调度代理服务器执行并完成待运行的作业,并在完成该待运行的作业后,将该待运行的作业完成后的运行状态(作业执行成功或者执行失败)发送给调度服务器;调度服务器在该待运行的作业完成后,向资源管理服务器发起请求,资源管理服务器收到请求后,释放该待运行的作业消耗的资源量。
本实施例通过对条件管理服务器、调度服务器、资源管理服务器和调度代理服务器各服务器进行分布式的独立部署,可以灵活部署调度各服务器,比如果应用系统需要依赖的条件较多,需要更高效率处理这些条件,则可以部署多台条件服务器,同理其他服务器均可扩展以提高企业级调度需求。在各系统部署调度代理服务器,即可实现对各系统任务作业的统一协调调度,实现企业中所有系统的批处理任务集中统一调度。
实施例二
作为优选,当存在多个调度服务器时,在条件管理服务器中,还执行以下步骤:
条件管理服务器判断任一调度服务器是否可用;判断的方式为检查调度服务器网络连接的心跳信息,如果没有心跳则认为调度服务器不可用;
当其中一调度服务器处于不可用状态时,条件管理服务器对该调度服务器进行隔离,即条件管理服务器将该不可用的调度服务器排除在可用的服务器列表之外,不再向该调度服务器分发满足条件的作业;
在一调度服务器被隔离后,条件管理服务器定期判断该调度服务器是否可用,当该调度服务器恢复成可用状态时,条件管理服务器取消对该调度服务器的隔离,能够继续向该调度服务器分发满足条件的作业。
作为优选,当存在多个资源管理服务器时,在调度服务器中,还执行以下步骤:
调度服务器判断任一资源管理服务器是否可用;
当其中一资源管理服务器处于不可用状态时,调度服务器对该资源管理服务器进行隔离,不再向该资源管理服务器发起请求;
当一资源管理服务器被隔离后,调度服务器定期判断该资源管理服务器是否可用,当该资源管理服务器恢复成可用状态时,调度服务器取消对该资源管理服务器的隔离,能够继续向该资源管理服务器发起请求。
作为优选,在执行所述调度服务器根据待运行的作业的运行节点,将待运行的作业发送至对应运行节点的调度代理服务器步骤之前,还包括以下步骤:
调度服务器判断对应运行节点的调度代理服务器是否可用;
当该调度代理服务器处于不可用状态时,调度服务器对该调度代理服务器进行隔离,不再向该调度代理服务器发送待运行的作业;
当该调度代理服务器被隔离后,调度服务器定期判断该调度代理服务器是否可用,当该调度代理服务器恢复成可用状态时,调度服务器取消对该调度代理服务器的隔离,能够继续向该调度代理服务器发送待运行的作业。
进一步的,在执行所述调度代理服务器执行并完成待运行的作业,并在完成该待运行的作业后,将该待运行的作业完成后的运行状态发送给调度服务器步骤时,调度代理服务器默认将该待运行的作业完成后的运行状态发送给原该待运行的作业所在的调度服务器,在调度代理服务器发送该待运行的作业完成后的运行状态之前,还包括以下步骤:
调度代理服务器判断该待运行的作业所在的调度服务器是否可用;
当该调度服务器处于不可用状态时,调度代理服务器对该调度服务器进行隔离,不再发送待运行的作业完成后的运行状态至该调度服务器;如存在多个调度服务器,则将待运行的作业完成后的运行状态发送至其他调度服务器;
当一调度服务器被隔离后,调度代理服务器定期判断该调度服务器是否可用,当调度服务器恢复成可用状态时,调度代理服务器取消对该调度服务器的隔离,能够继续向该调度服务器发送待运行的作业完成后的运行状态。
本实施例不仅具备实施例一的有益效果,还提供了各服务器交互时的处理措施;在一个服务器往另一服务器发送指令时,预先判断待接收指令的服务器是否可以使用,如果不能使用就将该服务器排除在本服务器的可用服务器列表之外,防止往不可用的服务器发送各种指令而得不到预期的结构,浪费资源;定期判断被隔离后的服务器是否有心跳信息,如果有则将该服务器重新加入到可用的服务器列表中。
实施例三
参见图1-2,一种分布式统一调度设备,包括存储器、处理器以及分布式设置的客户端、条件管理服务器、调度服务器、资源管理服务器和调度代理服务器;所述存储器存储有指令,所述指令适于由处理器加载并执行以下步骤:
客户端生成作业运行所需的条件,当客户端检测到某个文件存在、某个文件消失或者数据库表中某个字段值的变化等状态时,客户端就生成对应的条件,并将生成的条件发送至条件管理服务器;
作业是预先在数据库中定义好的一序列元数据信息,条件管理服务器判断客户端数据库中预存的作业的运行条件是否满足,获取满足运行条件的作业并分发给调度服务器,当存在多个调度服务器时,根据各调度服务器的忙闲程度均衡分配至各调度服务器;
调度服务器根据待运行的作业,向资源管理服务器发起请求,申请待运行的作业所需要的资源,当存在多个资源管理服务器时,调度服务器轮流向各资源管理服务器发起请求;
资源管理服务器确定该待运行的作业的运行节点(运行节点指的是部署有调度代理服务器的机器,运行作业的机器节点)并并分配该待运行的作业作业需消耗的资源量至调度服务器;
调度服务器根据待运行的作业的运行节点,将待运行的作业发送至对应运行节点的调度代理服务器;
调度代理服务器执行并完成待运行的作业,并在完成该待运行的作业后,将该待运行的作业完成后的运行状态(作业执行成功或者执行失败)发送给调度服务器;调度服务器在该待运行的作业完成后,向资源管理服务器发起请求,资源管理服务器收到请求后,释放该待运行的作业消耗的资源量。
本实施例通过对条件管理服务器、调度服务器、资源管理服务器和调度代理服务器各服务器进行分布式的独立部署,可以灵活部署调度各服务器,比如果应用系统需要依赖的条件较多,需要更高效率处理这些条件,则可以部署多台条件服务器,同理其他服务器均可扩展以提高企业级调度需求。在各系统部署调度代理服务器,即可实现对各系统任务作业的统一协调调度,实现企业中所有系统的批处理任务集中统一调度。
实施例四
作为优选,当存在多个调度服务器时,在条件管理服务器中,还执行以下步骤:
条件管理服务器判断任一调度服务器是否可用;判断的方式为检查调度服务器网络连接的心跳信息,如果没有心跳则认为调度服务器不可用;
当其中一调度服务器处于不可用状态时,条件管理服务器对该调度服务器进行隔离,即条件管理服务器将该不可用的调度服务器排除在可用的服务器列表之外,不再向该调度服务器分发满足条件的作业;
在一调度服务器被隔离后,条件管理服务器定期判断该调度服务器是否可用,当该调度服务器恢复成可用状态时,条件管理服务器取消对该调度服务器的隔离,能够继续向该调度服务器分发满足条件的作业。
作为优选,当存在多个资源管理服务器时,在调度服务器中,还执行以下步骤:
调度服务器判断任一资源管理服务器是否可用;
当其中一资源管理服务器处于不可用状态时,调度服务器对该资源管理服务器进行隔离,不再向该资源管理服务器发起请求;
当一资源管理服务器被隔离后,调度服务器定期判断该资源管理服务器是否可用,当该资源管理服务器恢复成可用状态时,调度服务器取消对该资源管理服务器的隔离,能够继续向该资源管理服务器发起请求。
作为优选,在执行所述调度服务器根据待运行的作业的运行节点,将待运行的作业发送至对应运行节点的调度代理服务器步骤之前,还包括以下步骤:
调度服务器判断对应运行节点的调度代理服务器是否可用;
当该调度代理服务器处于不可用状态时,调度服务器对该调度代理服务器进行隔离,不再向该调度代理服务器发送待运行的作业;
当该调度代理服务器被隔离后,调度服务器定期判断该调度代理服务器是否可用,当该调度代理服务器恢复成可用状态时,调度服务器取消对该调度代理服务器的隔离,能够继续向该调度代理服务器发送待运行的作业。
进一步的,在执行所述调度代理服务器执行并完成待运行的作业,并在完成该待运行的作业后,将该待运行的作业完成后的运行状态发送给调度服务器步骤时,调度代理服务器默认将该待运行的作业完成后的运行状态发送给原该待运行的作业所在的调度服务器,在调度代理服务器发送该待运行的作业完成后的运行状态之前,还包括以下步骤:
调度代理服务器判断该待运行的作业所在的调度服务器是否可用;
当该调度服务器处于不可用状态时,调度代理服务器对该调度服务器进行隔离,不再发送待运行的作业完成后的运行状态至该调度服务器;如存在多个调度服务器,则将待运行的作业完成后的运行状态发送至其他调度服务器;
当一调度服务器被隔离后,调度代理服务器定期判断该调度服务器是否可用,当调度服务器恢复成可用状态时,调度代理服务器取消对该调度服务器的隔离,能够继续向该调度服务器发送待运行的作业完成后的运行状态。
本实施例不仅具备实施例三的有益效果,还提供了各服务器交互时的处理措施;在一个服务器往另一服务器发送指令时,预先判断待接收指令的服务器是否可以使用,如果不能使用就将该服务器排除在本服务器的可用服务器列表之外,防止往不可用的服务器发送各种指令而得不到预期的结构,浪费资源;定期判断被隔离后的服务器是否有心跳信息,如果有则将该服务器重新加入到可用的服务器列表中。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种分布式统一调度方法,其特征在于,在分布式设置的客户端、条件管理服务器、调度服务器、资源管理服务器和调度代理服务器中,分别相应执行以下步骤:
客户端生成作业运行所需的条件,并将生成的条件发送至条件管理服务器;
条件管理服务器判断客户端数据库中预存的作业的运行条件是否满足,获取满足运行条件的作业并分发给调度服务器,当存在多个调度服务器时,根据各调度服务器的忙闲程度均衡分配至各调度服务器;
调度服务器根据待运行的作业,向资源管理服务器发起请求,申请待运行的作业所需要的资源,当存在多个资源管理服务器时,调度服务器轮流向各资源管理服务器发起请求;
资源管理服务器确定该待运行的作业的运行节点并分配该待运行的作业需消耗的资源量至调度服务器;
调度服务器根据待运行的作业的运行节点,将待运行的作业发送至对应运行节点的调度代理服务器;
调度代理服务器执行并完成待运行的作业,并在完成该待运行的作业后,将该待运行的作业完成后的运行状态发送给调度服务器;调度服务器在该待运行的作业完成后,向资源管理服务器发起请求,资源管理服务器收到请求后,释放该待运行的作业消耗的资源量。
2.根据权利要求1所述的一种分布式统一调度方法,其特征在于,当存在多个调度服务器时,在条件管理服务器中,还执行以下步骤:
条件管理服务器判断任一调度服务器是否可用;
当其中一调度服务器处于不可用状态时,条件管理服务器对该调度服务器进行隔离,不再向该调度服务器分发满足运行条件的作业;
在一调度服务器被隔离后,条件管理服务器定期判断该调度服务器是否可用,当该调度服务器恢复成可用状态时,条件管理服务器取消对该调度服务器的隔离,能够继续向该调度服务器分发满足运行条件的作业。
3.根据权利要求1所述的一种分布式统一调度方法,其特征在于,当存在多个资源管理服务器时,在调度服务器中,还执行以下步骤:
调度服务器判断任一资源管理服务器是否可用;
当其中一资源管理服务器处于不可用状态时,调度服务器对该资源管理服务器进行隔离,不再向该资源管理服务器发起请求;
当一资源管理服务器被隔离后,调度服务器定期判断该资源管理服务器是否可用,当该资源管理服务器恢复成可用状态时,调度服务器取消对该资源管理服务器的隔离,能够继续向该资源管理服务器发起请求。
4.根据权利要求1所述的一种分布式统一调度方法,其特征在于,在执行所述调度服务器根据待运行的作业的运行节点,将待运行的作业发送至对应运行节点的调度代理服务器步骤之前,还包括以下步骤:
调度服务器判断对应运行节点的调度代理服务器是否可用;
当该调度代理服务器处于不可用状态时,调度服务器对该调度代理服务器进行隔离,不再向该调度代理服务器发送待运行的作业;
当该调度代理服务器被隔离后,调度服务器定期判断该调度代理服务器是否可用,当该调度代理服务器恢复成可用状态时,调度服务器取消对该调度代理服务器的隔离,能够继续向该调度代理服务器发送待运行的作业。
5.根据权利要求1所述的一种分布式统一调度方法,其特征在于,在执行所述调度代理服务器执行并完成待运行的作业,并在完成该待运行的作业后,将该待运行的作业完成后的运行状态发送给调度服务器步骤时,调度代理服务器默认将该待运行的作业完成后的运行状态发送给原该待运行的作业所在的调度服务器,在调度代理服务器发送该待运行的作业完成后的运行状态之前,还包括以下步骤:
调度代理服务器判断该待运行的作业所在的调度服务器是否可用;
当该调度服务器处于不可用状态时,调度代理服务器对该调度服务器进行隔离,不再发送待运行的作业完成后的运行状态至该调度服务器;如存在多个调度服务器,则将待运行的作业完成后的运行状态发送至其他调度服务器;
当一调度服务器被隔离后,调度代理服务器定期判断该调度服务器是否可用,当调度服务器恢复成可用状态时,调度代理服务器取消对该调度服务器的隔离,能够继续向该调度服务器发送待运行的作业完成后的运行状态。
6.一种分布式统一调度设备,其特征在于,包括存储器、处理器以及分布式设置的客户端、条件管理服务器、调度服务器、资源管理服务器和调度代理服务器;所述存储器存储有指令,所述指令适于由处理器加载并执行以下步骤:
客户端生成作业运行所需的条件,并将生成的条件发送至条件管理服务器;
条件管理服务器判断客户端数据库中预存的作业的运行条件是否满足,获取满足运行条件的作业并分发给调度服务器,当存在多个调度服务器时,根据各调度服务器的忙闲程度均衡分配至各调度服务器;
调度服务器根据待运行的作业,向资源管理服务器发起请求,申请待运行的作业所需要的资源,当存在多个资源管理服务器时,调度服务器轮流向各资源管理服务器发起请求;
资源管理服务器确定该待运行的作业的运行节点并分配该待运行的作业需消耗的资源量至调度服务器;
调度服务器根据待运行的作业的运行节点,将待运行的作业发送至对应运行节点的调度代理服务器;
调度代理服务器执行并完成待运行的作业,并在完成该待运行的作业后,将该待运行的作业完成后的运行状态发送给调度服务器;调度服务器在该待运行的作业完成后,向资源管理服务器发起请求,资源管理服务器收到请求后,释放该待运行的作业消耗的资源量。
7.根据权利要求6所述的一种分布式统一调度设备,其特征在于,当存在多个调度服务器时,在条件管理服务器中,还执行以下步骤:
条件管理服务器判断任一调度服务器是否可用;
当其中一调度服务器处于不可用状态时,条件管理服务器对该调度服务器进行隔离,不再向该调度服务器分发满足运行条件的作业;
在一调度服务器被隔离后,条件管理服务器定期判断该调度服务器是否可用,当该调度服务器恢复成可用状态时,条件管理服务器取消对该调度服务器的隔离,能够继续向该调度服务器分发满足运行条件的作业。
8.根据权利要求6所述的一种分布式统一调度设备,其特征在于,当存在多个资源管理服务器时,在调度服务器中,还执行以下步骤:
调度服务器判断任一资源管理服务器是否可用;
当其中一资源管理服务器处于不可用状态时,调度服务器对该资源管理服务器进行隔离,不再向该资源管理服务器发起请求;
当一资源管理服务器被隔离后,调度服务器定期判断该资源管理服务器是否可用,当该资源管理服务器恢复成可用状态时,调度服务器取消对该资源管理服务器的隔离,能够继续向该资源管理服务器发起请求。
9.根据权利要求6所述的一种分布式统一调度设备,其特征在于,在执行所述调度服务器根据待运行的作业的运行节点,将待运行的作业发送至对应运行节点的调度代理服务器步骤之前,还包括以下步骤:
调度服务器判断对应运行节点的调度代理服务器是否可用;
当该调度代理服务器处于不可用状态时,调度服务器对该调度代理服务器进行隔离,不再向该调度代理服务器发送待运行的作业;
当该调度代理服务器被隔离后,调度服务器定期判断该调度代理服务器是否可用,当该调度代理服务器恢复成可用状态时,调度服务器取消对该调度代理服务器的隔离,能够继续向该调度代理服务器发送待运行的作业。
10.根据权利要求6所述的一种分布式统一调度设备,其特征在于,在执行所述调度代理服务器执行并完成待运行的作业,并在完成该待运行的作业后,将该待运行的作业完成后的运行状态发送给调度服务器步骤时,调度代理服务器默认将该待运行的作业完成后的运行状态发送给原该待运行的作业所在的调度服务器,在调度代理服务器发送该待运行的作业完成后的运行状态之前,还包括以下步骤:
调度代理服务器判断该待运行的作业所在的调度服务器是否可用;
当该调度服务器处于不可用状态时,调度代理服务器对该调度服务器进行隔离,不再发送待运行的作业完成后的运行状态至该调度服务器;如存在多个调度服务器,则将待运行的作业完成后的运行状态发送至其他调度服务器;
当一调度服务器被隔离后,调度代理服务器定期判断该调度服务器是否可用,当调度服务器恢复成可用状态时,调度代理服务器取消对该调度服务器的隔离,能够继续向该调度服务器发送待运行的作业完成后的运行状态。
CN201811560111.2A 2018-12-20 2018-12-20 一种分布式统一调度方法及设备 Active CN109634749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811560111.2A CN109634749B (zh) 2018-12-20 2018-12-20 一种分布式统一调度方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811560111.2A CN109634749B (zh) 2018-12-20 2018-12-20 一种分布式统一调度方法及设备

Publications (2)

Publication Number Publication Date
CN109634749A CN109634749A (zh) 2019-04-16
CN109634749B true CN109634749B (zh) 2020-10-27

Family

ID=66075737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811560111.2A Active CN109634749B (zh) 2018-12-20 2018-12-20 一种分布式统一调度方法及设备

Country Status (1)

Country Link
CN (1) CN109634749B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110716801B (zh) * 2019-10-09 2020-05-19 电子科技大学 一种具有多个竞争代理的多任务调度方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220114A (zh) * 2017-05-24 2017-09-29 北京计算机技术及应用研究所 基于资源统一调度的分布式资源调度方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104426979B (zh) * 2013-09-04 2018-02-16 中国科学院声学研究所 一种基于社交关系的分布式缓存调度系统与方法
CN105373429A (zh) * 2014-08-20 2016-03-02 腾讯科技(深圳)有限公司 任务调度方法、装置及系统
CN104657214A (zh) * 2015-03-13 2015-05-27 华存数据信息技术有限公司 一种基于多队列和多优先级的大数据任务管理系统和方法
CN105550025B (zh) * 2015-12-08 2019-04-16 北京航空航天大学 分布式基础设施即服务(IaaS)调度方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220114A (zh) * 2017-05-24 2017-09-29 北京计算机技术及应用研究所 基于资源统一调度的分布式资源调度方法

Also Published As

Publication number Publication date
CN109634749A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
EP3522013B1 (en) Method and system for migration of containers in a container orchestration platform between compute nodes
CN110351384B (zh) 大数据平台资源管理方法、装置、设备及可读存储介质
WO2017128507A1 (zh) 一种去中心化资源调度方法及系统
CN113569987A (zh) 模型训练方法和装置
CN106790092B (zh) 远程过程调用服务端控制系统及方法
CN103414712B (zh) 一种分布式虚拟桌面管理系统和方法
CN106817408B (zh) 一种分布式服务器集群调度方法及装置
CN111274033B (zh) 一种资源部署方法、装置、服务器以及存储介质
US20100121904A1 (en) Resource reservations in a multiprocessor computing environment
US20030135617A1 (en) Intelligent system control agent
CN110134533B (zh) 一种可批量调度数据的系统及方法
CN114615308A (zh) 基于rpc的异步多线程并发网络通讯方法及装置
CN114816730A (zh) 一种机器人流程自动化云服务系统及实现方法
CN112231223A (zh) 基于mqtt的分布式自动化软件测试方法及系统
CN109634749B (zh) 一种分布式统一调度方法及设备
CN111240824A (zh) 一种cpu资源调度方法及电子设备
CN108073426B (zh) 一种基于云计算的软件管理方法、装置及系统
CN114745377B (zh) 边缘云集群服务系统及实现方法
CN109032674B (zh) 一种多进程管理方法、系统及网络设备
CN116954871B (zh) 异步分发任务数据链管理方法及系统
CN113703930A (zh) 任务调度方法、装置及系统、计算机可读存储介质
CN110647440A (zh) 一种基于状态机的大数据任务处理方法及系统
CN118093121B (zh) 基于Kubernetes的数据库性能测试方法及系统
CN112968897B (zh) 一种在去中心化系统中运行的容器计算方法
CN113204434B (zh) 基于k8s的计划任务执行方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant