CN107291545B - 计算集群中多用户的任务调度方法及设备 - Google Patents

计算集群中多用户的任务调度方法及设备 Download PDF

Info

Publication number
CN107291545B
CN107291545B CN201710666610.9A CN201710666610A CN107291545B CN 107291545 B CN107291545 B CN 107291545B CN 201710666610 A CN201710666610 A CN 201710666610A CN 107291545 B CN107291545 B CN 107291545B
Authority
CN
China
Prior art keywords
node
task
tasks
nodes
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710666610.9A
Other languages
English (en)
Other versions
CN107291545A (zh
Inventor
陈夏明
吕程
刘汪根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Transwarp Technology Shanghai Co Ltd
Original Assignee
Xinghuan Information Technology (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinghuan Information Technology (shanghai) Co Ltd filed Critical Xinghuan Information Technology (shanghai) Co Ltd
Priority to CN201710666610.9A priority Critical patent/CN107291545B/zh
Publication of CN107291545A publication Critical patent/CN107291545A/zh
Application granted granted Critical
Publication of CN107291545B publication Critical patent/CN107291545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请的目的是提供一种计算集群中多用户的任务调度方法及设备，通过确定所述计算集群中各服务器的当前的剩余总资源量配额，确定各用户当前的剩余任务数量配额，能够对当前集群负载主动感知，通过从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，并对所有节点进行节点优先级排序，无需预先为任务指定固定的资源池，调度策略无需随着调度器的配置而固定下来，调度策略能够动态的生成，实现计算集群的计算资源灵活、动态分配，实现更加细粒度的资源分配和任务调度。

Description

计算集群中多用户的任务调度方法及设备
技术领域
本申请涉及计算机领域，尤其涉及一种计算集群中多用户的任务调度方法及设备。
背景技术
大数据技术依托于海量的数据，而这样新型的数据处理任务是单台计算机不能胜任的，需要采用分布式的计算集群(计算引擎)。分布式计算引擎是将大型的处理任务，在若干中间处理阶段，分割成类型相同的小任务，然后分发到不同的分布式节点进行计算。如何将接收到的任务分发出去，便是引擎调度模块(调度器)负责的。
分布式计算平台上，往往很多用户如多租户使用同一个计算集群，并且使用集群运行不同类型的运算任务(混合负载)。在这样的场景中，如何合理、高效地分配资源，是计算任务顺利完成的关键，而其核心技术在于计算集群(计算引擎)的调度功能。而现有的调度器调度方案无法可靠保证多用户和混合负载场景下的计算引擎对任务的执行效率，同时影响了用户的使用体验。
发明内容
本申请的一个目的是提供一种计算集群中多用户的任务调度方法及设备，能够解决现有的调度器调度方案无法可靠保证多用户和混合负载场景下的计算引擎对任务的执行效率的问题。
根据本申请的一个方面，提供了一种计算集群中多用户的任务调度方法，该方法包括：
根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额；
根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额；
从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，其中，所述筛选出的所有任务的需求总资源量小于或等于所述当前的剩余总资源量配额；
获取所述筛选出的任务的任务类型，按任务类型对所述筛选出的任务进行任务优先级排序；
按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，所述资源池中的节点对应于所述计算集群中的服务器；
根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序；
按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一节点上的任务按所述任务优先级调度；
更新计算集群中对应服务器的当前占用总资源量和各用户当前运行的任务数。
进一步的，上述方法中，每个节点上的资源指标包括：CPU资源量、内存资源量、权重、保留资源量和最大资源量。
进一步的，上述方法中，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序，包括：
若某个节点上的分配的任务的需求资源量小于该节点上的保留资源量，则将该节点的节点优先级设置得较高；
若某个节点上的分配的任务的需求资源量超过该节点上的保留资源量且小于该节点的最大资源量，则按该节点的权重设置该节点的节点优先级高低。
进一步的，上述方法中，所述资源池中的节点组成树形结构，其中，节点之间满足以下约束：
子节点只使用父节点的最大资源量；
同级兄弟节点使用的资源量总和不超过父节点最大资源量；
同级兄弟节点相互借用超过同级兄弟节点的最大资源量的父节点的最大资源量的剩余资源量。
进一步的，上述方法中，当所述资源池中的节点组成树形结构时，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，包括：
按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的叶子节点上。
进一步的，上述方法中，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的叶子节点上，包括：
根据同一用户下的每个叶子节点的当前占用资源量额和/或当前任务数量，将同一用户的任务均衡分配到同一用户下各个叶子节点上。
进一步的，上述方法中，当所述资源池中的节点组成树形结构时，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序，包括：
对树形结构中的叶子节点的父节点即树形结构的倒数第二层节点进行优先级排序，其中，根据所有叶子节点的上层节点上分配的任务的需求资源量和资源指标对倒数第二层节点进行优先级排序，树形结构中除叶子节点外的每一上层节点上分配的任务的需求资源量为其下层节点上的分配的任务的需求资源量之和；
根据叶子节点上分配的任务的需求资源量和资源指标分别对每个倒数第二层节点下的叶子节点进行优先级排序；
根据所述倒数第二层节点和叶子节点的优先级排序，得到所有叶子节点的优先级排序。
进一步的，上述方法中，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序，包括：
根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级一次排序；
在所述节点优先级一次排序的基础上，按照用户的等级对所有节点进行节点优先级二次排序，在同一节点内的任务，保持所述任务优先级的排序结果。
进一步的，上述方法中，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序，包括：
对树形结构中的叶子节点的父节点即树形结构的倒数第二层节点进行优先级排序，其中，根据所有叶子节点的上层节点上分配的任务的需求资源量和资源指标对倒数第二层节点进行优先级排序，其中，树形结构中除叶子节点外的每一上层节点上分配的任务的需求资源量为其下层节点上的分配的任务的需求资源量之和；
根据叶子节点上分配的任务的需求资源量和资源指标分别对每个倒数第二层节点下的叶子节点进行优先级排序；
根据所述倒数第二层节点和叶子节点的优先级排序，得到所有叶子节点的优先级一次排序；
在所有叶子节点的优先级一次排序的基础上，按照叶子节点所属的用户的等级进行所有叶子节点的优先级二次排序，在同一叶子节点内的任务，保持所述任务优先级的排序结果。
进一步的，上述方法中，，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上的步骤中，
不同的用户之间共享被分配到的节点上的一部分或全部资源。
进一步的，上述方法中，获取所述筛选出的任务的任务类型中，所述任务类型包括：
用户身份和任务类型信息，其中，用户身份信息包括用户的角色和/或分组、服务保证等级、用户使用的服务器地址。
进一步的，上述方法中，按任务类型对所述筛选出的任务进行任务优先级排序，包括：
按任务类型、计算集群中的服务器的当前运行状态和历史运行状态、服务器上运行的任务的当前运行状态和历史运行状态，对所述筛选出的任务进行任务优先级排序。
根据本申请的另一方面，还提供了一种计算集群中多用户的任务调度设备，该设备包括：
集群负载感知模块，用于根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额；及根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额；
策略应用模块，用于从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，其中，所述筛选出的所有任务的需求总资源量小于或等于所述当前的剩余总资源量配额，按所属的用户将由所述任务类型感知模块任务优先级排序后的任务分配到资源池中对应的用户的节点上，所述资源池中的节点对应于所述计算集群中的服务器；根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序；按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一节点上的任务按所述任务优先级调度；通知所述集群负载感知模块更新计算集群中对应服务器的当前占用总资源量和各用户当前运行的任务数；
任务类型感知模块，用于获取所述筛选出的任务的任务类型，按任务类型对所述筛选出的任务进行任务优先级排序；
进一步的，上述设备中，每个节点上的资源指标包括：CPU资源量、内存资源量、权重、保留资源量和最大资源量。
进一步的，上述设备中，所述策略应用模块，用于若某个节点上的分配的任务的需求资源量小于该节点上的保留资源量，则将该节点的节点优先级设置得较高；若某个节点上的分配的任务的需求资源量超过该节点上的保留资源量且小于该节点的最大资源量，则按该节点的权重设置该节点的节点优先级高低。
进一步的，上述设备中，所述资源池中的节点组成树形结构，其中，节点之间满足以下约束：
子节点只使用父节点的最大资源量；
同级兄弟节点使用的资源量总和不超过父节点最大资源量；
同级兄弟节点相互借用超过同级兄弟节点的最大资源量的父节点的最大资源量的剩余资源量。
进一步的，上述设备中，所述策略应用模块，用于当所述资源池中的节点组成树形结构时，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的叶子节点上。
进一步的，上述设备中，所述策略应用模块，用于根据同一用户下的每个叶子节点的当前占用资源量额和/或当前任务数量，将同一用户的任务均衡分配到同一用户下各个叶子节点上。
进一步的，上述设备中，所述策略应用模块，用于当所述资源池中的节点组成树形结构时，对树形结构中的叶子节点的父节点即树形结构的倒数第二层节点进行优先级排序，其中，根据所有叶子节点的上层节点上分配的任务的需求资源量和资源指标对倒数第二层节点进行优先级排序，树形结构中除叶子节点外的每一上层节点上分配的任务的需求资源量为其下层节点上的分配的任务的需求资源量之和；根据叶子节点上分配的任务的需求资源量和资源指标分别对每个倒数第二层节点下的叶子节点进行优先级排序；根据所述倒数第二层节点和叶子节点的优先级排序，得到所有叶子节点的优先级排序。
进一步的，上述设备中，所述策略应用模块，用于根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级一次排序；
在所述节点优先级一次排序的基础上，按照用户的等级对所有节点进行节点优先级二次排序，在同一节点内的任务，保持所述任务优先级的排序结果。
进一步的，上述设备中，所述策略应用模块，用于对树形结构中的叶子节点的父节点即树形结构的倒数第二层节点进行优先级排序，其中，根据所有叶子节点的上层节点上分配的任务的需求资源量和资源指标对倒数第二层节点进行优先级排序，其中，树形结构中除叶子节点外的每一上层节点上分配的任务的需求资源量为其下层节点上的分配的任务的需求资源量之和；根据叶子节点上分配的任务的需求资源量和资源指标分别对每个倒数第二层节点下的叶子节点进行优先级排序；根据所述倒数第二层节点和叶子节点的优先级排序，得到所有叶子节点的优先级一次排序；在所有叶子节点的优先级一次排序的基础上，按照叶子节点所属的用户的等级进行所有叶子节点的优先级二次排序，在同一叶子节点内的任务，保持所述任务优先级的排序结果。
进一步的，上述设备中，所述策略应用模块，用于让不同的用户之间共享被分配到的节点上的一部分或全部资源。
进一步的，上述设备中，所述任务类型感知模块获取的所述任务类型包括：用户身份和任务类型信息，其中，用户身份信息包括用户的角色和/或分组、服务保证等级、用户使用的服务器地址。
进一步的，上述设备中，所述集群负载感知模块，用于获取计算集群中的服务器的当前运行状态和历史运行状态、服务器上运行的任务的当前运行状态和历史运行状态；
所述任务类型感知模块，用于按任务类型、计算集群中的服务器的当前运行状态和历史运行状态、服务器上运行的任务的当前运行状态和历史运行状态，对所述筛选出的任务进行任务优先级排序。
根据本申请的另一面，还提供一种基于计算的设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额；
根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额；
从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，其中，所述筛选出的所有任务的需求总资源量小于或等于所述当前的剩余总资源量配额；
获取所述筛选出的任务的任务类型，按任务类型对所述筛选出的任务进行任务优先级排序；
按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，所述资源池中的节点对应于所述计算集群中的服务器；
根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序；
按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一节点上的任务按所述任务优先级调度；
更新计算集群中对应服务器的当前占用总资源量和各用户当前运行的任务数。
根据本申请的另一面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令被处理器执行时使得该处理器：
根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额；
根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额；
从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，其中，所述筛选出的所有任务的需求总资源量小于或等于所述当前的剩余总资源量配额；
获取所述筛选出的任务的任务类型，按任务类型对所述筛选出的任务进行任务优先级排序；
按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，所述资源池中的节点对应于所述计算集群中的服务器；
根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序；
按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一节点上的任务按所述任务优先级调度；
更新计算集群中对应服务器的当前占用总资源量和各用户当前运行的任务数。
与现有技术相比，本申请通过根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额，根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额，能够对当前集群负载主动感知，通过从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，并对所有节点进行节点优先级排序，无需预先为任务指定固定的资源池，调度策略无需随着调度器的配置而固定下来，调度策略能够动态的生成，实现计算集群的计算资源灵活、动态分配，实现更加细粒度的资源分配和任务调度。
另外，通过获取所述筛选出的任务的任务类型，能够对当前任务类型的主动感知，通过按任务类型对所述筛选出的任务进行任务优先级排序，能够满足不同类型任务(如交互式和批处理任务)的响应需求，在保证计算集群的计算资源被充分使用的前提下，实现不同类型的任务在合理时间内完成，同时提高使用者的体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种计算集群中多用户的任务调度方法及设备的原理图；
图2示出本申请中一实施例的资源池中的节点组成树形结构示意图；
图3示出根据本申请另一实施例的资源池中的节点组成树形结构的示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
本申请提供一种计算集群中多用户的任务调度方法，包括：
步骤S1，根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额；例如，一计算集群中所有服务器的总资源量配额为100，计算集群中所有服务器的当前占用总资源量为60，则所述计算集群中各服务器的当前的剩余总资源量配额为100-60＝40；
步骤S2，根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额；例如，用户A的任务配额是10，计算集群中各服务器上用户A当前运行的任务数量为3，则用户A当前的剩余任务数量配额为10-3＝7；用户B的任务配额是13，计算集群中各服务器上用户B当前运行的任务数量为8，则用户A当前的剩余任务数量配额为13-8＝5；用户B的任务配额是20，计算集群中各服务器上用户B当前运行的任务数量为10，则用户A当前的剩余任务数量配额为20-10＝10；
步骤S3，从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，其中，所述筛选出的所有任务的需求总资源量小于或等于所述当前的剩余总资源量配额；
步骤S4，获取所述筛选出的任务的任务类型，按任务类型对所述筛选出的任务进行任务优先级排序；在此，每一用户对应的筛选出的任务可以分别按任务类型进行任务优先级排序，例如，用户A的筛选出的6个任务分别按任务类型进行任务优先级排序，用户B的筛选出的4个任务分别按任务类型进行任务优先级排序，用户C的筛选出的8个任务分别按任务类型进行任务优先级排序；
步骤S5，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，所述资源池中的节点对应于所述计算集群中的服务器；在此，每个用户与资源池对应的节点对应，不同用户可以对应资源池中相同或不同的节点，所述资源池中的节点与所述计算集群中的服务器，根据实际需要，可以是一对多的关系，也可以是多对一的关系，还可以是一对一的关系；
步骤S6，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序；
步骤S7，按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一节点上的任务按所述任务优先级调度；
步骤S8，更新计算集群中对应服务器的当前占用总资源量和各用户当前运行的任务数。
在此，本实施例，通过根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额，根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额，能够对当前集群负载主动感知，通过从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，并对所有节点进行节点优先级排序，无需预先为任务指定固定的资源池，调度策略无需随着调度器的配置而固定下来，调度策略能够动态的生成，实现计算集群的计算资源灵活、动态分配，实现更加细粒度的资源分配和任务调度。
另外，通过获取所述筛选出的任务的任务类型，能够对当前任务类型的主动感知，通过按任务类型对所述筛选出的任务进行任务优先级排序，能够满足不同类型任务(如交互式和批处理任务)的响应需求，在保证计算集群的计算资源被充分使用的前提下，实现不同类型的任务在合理时间内完成，同时提高使用者的体验。
本申请的计算集群中多用户的任务调度方法一实施例中，步骤S6中，每个节点上的资源指标包括：CPU资源量、内存资源量、权重、保留资源量和最大资源量等。其中，所述保留资源量是该节点专属的资源量，其它节点不能占用；每个节点的最大资源量大于该节点的保留资源量。
本申请的计算集群中多用户的任务调度方法一实施例中，步骤S6，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序，包括：
若某个节点上的分配的任务的需求资源量小于该节点上的保留资源量，则将该节点的节点优先级设置得较高；
若某个节点上的分配的任务的需求资源量超过该节点上的保留资源量且小于该节点的最大资源量，则按该节点的权重设置该节点的节点优先级高低，从而保证优先级设置得更精确。例如，权重大的，将该节点的节点优先级设置得较高，权重小的，将该节点的节点优先级设置得较低。
本申请的计算集群中多用户的任务调度方法一实施例中，步骤S5中，所述资源池中的节点组成树形结构，其中，节点之间满足以下约束：
子节点只能使用父节点的最大资源量；如图2所示，节点n2为节点n21和n22的父节点，根节点root为节点n1和n2的父节点，如父节点n2的最大资源量为60，那么节点n21和n22只能共同使用60的最大资源量；
同级兄弟节点(如n1和n2)使用的资源量总和不超过父节点最大资源量；如图2所示，节点n21和n22使用的资源量总和不超过父节点的最大资源量60；
同级兄弟节点直接可以相互借用超过兄弟节点的最大资源量的父节点的最大资源量的剩余资源量。如图3所示，节点n3为节点n31、n32和n33的父节点，节点n3的最大资源量为100，节点n31使用了其自己的最大资源量30，节点n32使用了其自己的最大资源量40，那么节点n33可以使用父节点n3的最大资源量的剩余资源量100-30-40＝30。
在此，每个节点上的分配的任务的需求资源量即为该节点的使用的资源量。
本申请的计算集群中多用户的任务调度方法一实施例中，步骤S5，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上的步骤中，
不同的用户之间共享被分配到的节点上的一部分或全部资源，例如，如图2所示，租户A使用n21的所有资源、并和租户B、C共享n2的资源，租户B、C共享n2的资源，从而保证每个节点资源的充分利用。
本申请的计算集群中多用户的任务调度方法一实施例中，当所述资源池中的节点组成树形结构时，步骤S5，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，包括：
步骤S51，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的叶子节点上。
在此，如图2所示，所述叶子节点时树形结构中最下一层的子节点，同级叶子节点为兄弟节点，同级中间节点为兄弟节点，图2中n1、n21、n22为叶子节点，任务t1被最终分配到叶子节点n1上，任务t2、t3被最终分配到叶子节点n21上，任务t4被最终分配到叶子节点n22上。
本申请的计算集群中多用户的任务调度方法一实施例中，步骤S51，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的叶子节点上的步骤中，
所述任务被分配到资源池中最大资源量大于且接近所述任务的需求资源量的叶子节点，以充分利用每一叶子节点的资源。
本申请的计算集群中多用户的任务调度方法一实施例中，步骤S51，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的叶子节点上的步骤中，
根据同一用户下的每个叶子节点的当前占用资源量额和/或当前任务数量，将同一用户的任务均衡分配到同一用户下各个叶子节点上，从而保证同一用户下各个叶子节点的当前占用资源量额和/或当前任务数量保持均衡。
本申请的计算集群中多用户的任务调度方法一实施例中，如图2所示，当所述资源池中的节点组成树形结构时，步骤S6，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序，包括：
对树形结构中的叶子节点的父节点即树形结构的倒数第二层节点进行优先级排序，其中，根据所有叶子节点的上层节点上分配的任务的需求资源量和资源指标对倒数第二层节点进行优先级排序，树形结构中除叶子节点外的每一上层节点上分配的任务的需求资源量为其下层节点上的分配的任务的需求资源量之和；
在此，所述资源指标是指某一节点的资源限额，可以从根节点开始对每一层节点排序，下一层节点的排序可以根据上一层节点的优先级排序和本层节点上分配的任务的需求资源量和资源指标得到；例如，如图2所示，倒数第二层节点n1、n2的优先级排序是n2、n1；
根据叶子节点上分配的任务的需求资源量和资源指标分别对每个倒数第二层节点下的叶子节点进行优先级排序；例如，如图2所示，倒数第二层节点n2下的叶子节点n21、n22的优先级排序是n22、n21；
根据所述倒数第二层节点和叶子节点的优先级排序，得到所有叶子节点的优先级排序。例如，如图2所示，所有叶子节点的节点的优先级排序为n22、n21、n1。
在此，对应的，步骤S7，按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一节点上的任务按所述任务优先级调度，包括：
按所述叶子节点的节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一叶子节点上的任务按所述任务优先级调度。
本申请的计算集群中多用户的任务调度方法一实施例中，步骤S6，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序，包括：
步骤S6-1，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级一次排序；
步骤S6-2，在所述节点优先级一次排序的基础上，按照用户的等级对所有节点进行节点优先级二次排序，在同一节点内的任务，保持步骤S4的所述任务优先级的排序结果。
在此，例如用户A的节点上有两个任务t5、t6，用户B的节点上有两个任务t7、t8，步骤S4的任务优先级的排序结果依次为t5、t6、t8、t7，步骤S6-1中节点优先级一次排序的结果依次为用户A的节点、用户B的节点，S6-2中节点优先级一次排序的结果依次为用户B的节点、用户A的节点，则任务优先级的排序结果进一步调整为t8、t7、t5、t6，通过对节点进行两次优先级排序，使节点优先级更准确。
本申请的计算集群中多用户的任务调度方法一实施例中，步骤S6，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序，包括：
步骤S6-1，对树形结构中的叶子节点的父节点即树形结构的倒数第二层节点进行优先级排序，其中，根据所有叶子节点的上层节点上分配的任务的需求资源量和资源指标对倒数第二层节点进行优先级排序，其中，树形结构中除叶子节点外的每一上层节点上分配的任务的需求资源量为其下层节点上的分配的任务的需求资源量之和；在此，可以从根节点开始对每一层节点排序，下一层节点的排序可以根据上一层节点的优先级排序和本层节点上分配的任务的需求资源量和资源指标得到；例如，如图2所示，倒数第二层节点n1、n2的优先级排序是n2、n1；
根据叶子节点上分配的任务的需求资源量和资源指标分别对每个倒数第二层节点下的叶子节点进行优先级排序；例如，如图2所示，倒数第二层节点n2下的叶子节点n21、n22的优先级排序是n22、n21；
根据所述倒数第二层节点和叶子节点的优先级排序，得到所有叶子节点的优先级一次排序；
步骤S6-2，在所有叶子节点的优先级一次排序的基础上，按照叶子节点所属的用户的等级进行所有叶子节点的优先级二次排序，在同一叶子节点内的任务，保持步骤S4的所述任务优先级的排序结果。
本申请的计算集群中多用户的任务调度方法一实施例中，步骤S4，获取所述筛选出的任务的任务类型中，所述任务类型包括：
用户身份和任务类型信息，其中，用户身份信息包括用户的角色和/或分组、服务保证等级(SLA)、用户使用的服务器地址等相关信息，任务类型信息包括发出任务的业务类型(如批处理还是交互查询)、任务资源消耗、任务提交时间、预计执行时间等。
本申请的计算集群中多用户的任务调度方法一实施例中，步骤S4，按任务类型对所述筛选出的任务进行任务优先级排序，包括：
按任务类型、计算集群中的服务器的当前运行状态和历史运行状态、服务器上运行的任务的当前运行状态和历史运行状态，对所述筛选出的任务进行任务优先级排序，从而保证任务优先级排序更精准。
详细的，对于任何的计算平台来讲，调度器的功能在于将资源合理分配到任务上，实现计算资源利用的最大化。要实现较高的分配效率，调度器除了自身结构之外，还需要能够对系统运行状态有所感知，将任务调度-执行-感知-调度的过程实现信息闭环，从而动态生成最优的调度策略。本申请的任务调度流程如图1所示：
4.1输入/输出模块
输入为一个或多个待执行的任务，输出为任务在计算集群上的执行方案。
在本申请中，任务可以被抽象为一组描述，其基本信息包括提交任务的租户、任务处理的数据对象、执行逻辑、以及输出对象。多个任务之间或相互独立、或存在一定的依赖关系。
4.2集群负载感知模块
负责采集、分析计算集群中的服务器的当前运行状态和历史运行状态、服务器上运行的任务的当前运行状态和历史运行状态，为策略生成模块提供输入信息。当前运行状态和历史运行状态可以包括服务器或任务占用的CPU资源量、内存资源量、运行花费时间、出错概率等等。
本申请中，计算集群中的服务器的当前运行状态和历史运行状态、服务器上运行的任务的当前运行状态和历史运行状态为包含集群中软件和硬件的状态信息的集合。软硬件信息标志着集群运行状态的好坏，在本申请中拥有两个基本的功能实现：
一是帮助调度器探查资源池中各节点的任务执行状态，对计算集群当前的处理能力进行评估；
二是探查已经下发的策略对集群状态性能的影响，实现策略和状态变化间的正反馈，进而帮助策略生成模块优化未来的调度策略。
采集、分析计算集群中的服务器的历史运行状态、服务器上运行的任务的历史运行状态，可以是负责对已经调度完成的任务进行统计分析，得到任务画像，其基本信息包括：哪些输入数据为访问热点、不同任务的执行频次、执行时间分布、与集群状态变化的关联等。
4.3任务类型感知模块
负责结合多源信息，对任务类优先级进行评估。输入为任务描述，输出为任务优先级标识，如1,2,3。
任务类型感知模块中，可以用到两种信息来源，即租户身份和任务类型信息。前者包括租户的角色/分组、服务保证等级(SLA)、租户使用的服务器地址等相关信息，后者包括发出任务的业务类型(如批处理还是交互查询)、任务资源消耗、任务提交时间、预计执行时间等。
任务感知模块综合这两类信息，对任务的优先级进行评定，并将评定结果传递给策略生成模块。例如，判断租户的服务保证等级，服务等级高的则优先调度。
4.4策略生成模块
策略生成模块是调度器的核心模块，通过综合集群负载和任务类型信息，输出新任务的调度策略。
调度策略通过实现一组规则动态生成，包括：
1)判断集群负载是否满足当前任务的运行，如果满足则优先调度，同时，判断租户的资源控制，资源使用低于预分配资源的则优先调度，即步骤S1，根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额，步骤S2，根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额，步骤S3，从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务；
2)按照4.3中生成的任务优先级将待调度的任务进行排序，优先级高的先进行调度，即步骤S4，按任务类型对所述筛选出的任务进行任务优先级排序；
3)对生成的任务策略传递给转发适配到调度资源池上，实现任务需求和资源的关联，即步骤S5，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，所述资源池中的节点对应于所述计算集群中的服务器。
4.5调度器资源池结构
资源池采用树形数据结构进行存储，如图2所示的3级树结构中，总的资源池由树的根节点标识，即root。其包含两个子节点n1和n2，同时n2也包含两个子节点。该结构中，叶子节点为任务的提交节点，即n1,n21,n22，也就是提交的任务被关联到这些节点上。
每个节点上的资源指标包括：CPU、内存资源、权重、保留资源量、最大资源量等。其中，保留资源量是该节点专属的资源量，每个节点的最大资源量大于该节点的保留资源量。
节点之间满足以下约束：
子节点只能使用父节点的最大资源量；如图2所示，节点n2为节点n21和n22的父节点，根节点root为节点n1和n2的父节点，如父节点n2的最大资源量为60，那么节点n21和n22只能共同使用60的最大资源量；
同级兄弟节点(如n1和n2)使用的资源量总和不超过父节点最大资源量；如图2所示，节点n21和n22使用的资源量总和不超过父节点的最大资源量60；
同级兄弟节点直接可以相互借用超过兄弟节点的各自最大资源量的父节点的最大资源量的剩余资源量。如图3所示，节点n3为节点n31、n32和n33的父节点，节点n3的最大资源量为100，节点n31使用了其自己的最大资源量30，节点n32使用了其自己的最大资源量40，那么节点n33可以使用父节点n3的最大资源量的剩余资源量100-30-40＝30。
同时在资源池上，对租户优先级越高的权限进行了控制，具体规则如下：
对于每个租户，仅能够使用资源池中的一部分或全部资源，如租户A使用n21的所有资源、并和租户B、C共享n22的资源。
不同租户可以共享一部分或全部资源，如租户B、C共享相同的资源。
4.6策略应用模块
策略应用模块根据4.4的策略规则和4.5的资源池结构，对新任务进行调度，并提交计算集群中对应的服务器进行执行。
这里的策略应用模块包括执行以下主要步骤：
步骤S3，从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，其中，所述筛选出的所有任务的需求总资源量小于或等于所述当前的剩余总资源量配额，如筛选出满足条件的任务，则进入下一步，不满足则等待；
步骤S4，获取所述筛选出的任务的任务类型，按任务类型对所述筛选出的任务进行任务优先级排序；
步骤S5，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，所述资源池中的节点对应于所述计算集群中的服务器；在此，这里的用户可以是租户，将每个租户的任务分配到资源池中该租户拥有的节点上，如租户A提交的任务被分配到n2和n21；
步骤S6-1，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级一次排序；在此，如图2所示，可以从root节点出发，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对节点进行递归排序，排序越靠前则优先级越高；
步骤S6-2，对步骤S6-1中的结果按照租户SLA等级对所有节点进行节点优先级二次排序，在同一节点内的任务，保持步骤S4的任务优先级的排序结果；
步骤S7，按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一节点上的任务按所述任务优先级调度；
步骤S8，更新计算集群中对应服务器的当前占用总资源量和各用户当前运行的任务数，在此，可以根据任务进度对应更新调度资源池状态；
步骤S9，如果调度器通过步骤S1，根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额，和步骤S2，根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额，监测到计算集群中的服务器有空闲资源释放，则返回S3进入下一轮调度。
根据本申请的另一面，还提供一种计算集群中多用户的任务调度设备，该设备包括：
集群负载感知模块，用于根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额；及根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额；
策略应用模块，用于从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，其中，所述筛选出的所有任务的需求总资源量小于或等于所述当前的剩余总资源量配额，按所属的用户将由所述任务类型感知模块任务优先级排序后的任务分配到资源池中对应的用户的节点上，所述资源池中的节点对应于所述计算集群中的服务器；根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序；按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一节点上的任务按所述任务优先级调度；通知所述集群负载感知模块更新计算集群中对应服务器的当前占用总资源量和各用户当前运行的任务数；
任务类型感知模块，用于获取所述筛选出的任务的任务类型，按任务类型对所述筛选出的任务进行任务优先级排序；
本申请一实施例的计算集群中多用户的任务调度设备中，每个节点上的资源指标包括：CPU资源量、内存资源量、权重、保留资源量和最大资源量。
本申请一实施例的计算集群中多用户的任务调度设备中，所述策略应用模块，用于若某个节点上的分配的任务的需求资源量小于该节点上的保留资源量，则将该节点的节点优先级设置得较高；若某个节点上的分配的任务的需求资源量超过该节点上的保留资源量且小于该节点的最大资源量，则按该节点的权重设置该节点的节点优先级高低。
本申请一实施例的计算集群中多用户的任务调度设备中，所述资源池中的节点组成树形结构，其中，节点之间满足以下约束：
子节点只使用父节点的最大资源量；
同级兄弟节点使用的资源量总和不超过父节点最大资源量；
同级兄弟节点相互借用超过同级兄弟节点的最大资源量的父节点的最大资源量的剩余资源量。
本申请一实施例的计算集群中多用户的任务调度设备中，所述策略应用模块，用于当所述资源池中的节点组成树形结构时，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的叶子节点上。
本申请一实施例的计算集群中多用户的任务调度设备中，所述策略应用模块，用于根据同一用户下的每个叶子节点的当前占用资源量额和/或当前任务数量，将同一用户的任务均衡分配到同一用户下各个叶子节点上。
本申请一实施例的计算集群中多用户的任务调度设备中，所述策略应用模块，用于当所述资源池中的节点组成树形结构时，对树形结构中的叶子节点的父节点即树形结构的倒数第二层节点进行优先级排序，其中，根据所有叶子节点的上层节点上分配的任务的需求资源量和资源指标对倒数第二层节点进行优先级排序，树形结构中除叶子节点外的每一上层节点上分配的任务的需求资源量为其下层节点上的分配的任务的需求资源量之和；根据叶子节点上分配的任务的需求资源量和资源指标分别对每个倒数第二层节点下的叶子节点进行优先级排序；根据所述倒数第二层节点和叶子节点的优先级排序，得到所有叶子节点的优先级排序。
本申请一实施例的计算集群中多用户的任务调度设备中，所述策略应用模块，用于根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级一次排序；
在所述节点优先级一次排序的基础上，按照用户的等级对所有节点进行节点优先级二次排序，在同一节点内的任务，保持所述任务优先级的排序结果。
本申请一实施例的计算集群中多用户的任务调度设备中，所述策略应用模块，用于对树形结构中的叶子节点的父节点即树形结构的倒数第二层节点进行优先级排序，其中，根据所有叶子节点的上层节点上分配的任务的需求资源量和资源指标对倒数第二层节点进行优先级排序，其中，树形结构中除叶子节点外的每一上层节点上分配的任务的需求资源量为其下层节点上的分配的任务的需求资源量之和；根据叶子节点上分配的任务的需求资源量和资源指标分别对每个倒数第二层节点下的叶子节点进行优先级排序；根据所述倒数第二层节点和叶子节点的优先级排序，得到所有叶子节点的优先级一次排序；在所有叶子节点的优先级一次排序的基础上，按照叶子节点所属的用户的等级进行所有叶子节点的优先级二次排序，在同一叶子节点内的任务，保持所述任务优先级的排序结果。
本申请一实施例的计算集群中多用户的任务调度设备中，所述策略应用模块，用于让不同的用户之间共享被分配到的节点上的一部分或全部资源。
本申请一实施例的计算集群中多用户的任务调度设备中，所述任务类型感知模块获取的所述任务类型包括：用户身份和任务类型信息，其中，用户身份信息包括用户的角色和/或分组、服务保证等级、用户使用的服务器地址。
本申请一实施例的计算集群中多用户的任务调度设备中，所述集群负载感知模块，用于获取计算集群中的服务器的当前运行状态和历史运行状态、服务器上运行的任务的当前运行状态和历史运行状态；
所述任务类型感知模块，用于按任务类型、计算集群中的服务器的当前运行状态和历史运行状态、服务器上运行的任务的当前运行状态和历史运行状态，对所述筛选出的任务进行任务优先级排序。
根据本申请的另一面，还提供一种基于计算的设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额；
根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额；
从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，其中，所述筛选出的所有任务的需求总资源量小于或等于所述当前的剩余总资源量配额；
获取所述筛选出的任务的任务类型，按任务类型对所述筛选出的任务进行任务优先级排序；
按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，所述资源池中的节点对应于所述计算集群中的服务器；
根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序；
按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一节点上的任务按所述任务优先级调度；
更新计算集群中对应服务器的当前占用总资源量和各用户当前运行的任务数。
根据本申请的另一面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令被处理器执行时使得该处理器：
根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额；
根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额；
从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，其中，所述筛选出的所有任务的需求总资源量小于或等于所述当前的剩余总资源量配额；
获取所述筛选出的任务的任务类型，按任务类型对所述筛选出的任务进行任务优先级排序；
按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，所述资源池中的节点对应于所述计算集群中的服务器；
根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序；
按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一节点上的任务按所述任务优先级调度；
更新计算集群中对应服务器的当前占用总资源量和各用户当前运行的任务数。
上述设备的各实施例的详细内容具体可参见各方法实施例的对应部分，在此，不再赘述。
综上所述，本申请通过根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额，根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额，能够对当前集群负载主动感知，通过从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，并对所有节点进行节点优先级排序，无需预先为任务指定固定的资源池，调度策略无需随着调度器的配置而固定下来，调度策略能够动态的生成，实现计算集群的计算资源灵活、动态分配，实现更加细粒度的资源分配和任务调度。
另外，本申请通过获取所述筛选出的任务的任务类型，能够对当前任务类型的主动感知，通过按任务类型对所述筛选出的任务进行任务优先级排序，能够满足不同类型任务(如交互式和批处理任务)的响应需求，在保证计算集群的计算资源被充分使用的前提下，实现不同类型的任务在合理时间内完成，同时提高使用者的体验。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (26)

1.一种计算集群中多用户的任务调度方法，其中，该方法包括：
根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额；
根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额；
从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，其中，所述筛选出的所有任务的需求总资源量小于或等于所述当前的剩余总资源量配额；
获取所述筛选出的任务的任务类型，按任务类型对所述筛选出的任务进行任务优先级排序；
按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，所述资源池中的节点对应于所述计算集群中的服务器；
根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序；
按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一节点上的任务按所述任务优先级调度；
更新计算集群中对应服务器的当前占用总资源量和各用户当前运行的任务数。
2.根据权利要求1所述的方法，其中，每个节点上的资源指标包括：CPU资源量、内存资源量、权重、保留资源量和最大资源量。
3.根据权利要求2所述的方法，其中，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序，包括：
若某个节点上的分配的任务的需求资源量小于该节点上的保留资源量，则将该节点的节点优先级设置得较高；
若某个节点上的分配的任务的需求资源量超过该节点上的保留资源量且小于该节点的最大资源量，则按该节点的权重设置该节点的节点优先级高低。
4.根据权利要求1所述的方法，其中，所述资源池中的节点组成树形结构，其中，节点之间满足以下约束：
子节点只使用父节点的最大资源量；
同级兄弟节点使用的资源量总和不超过父节点最大资源量；
同级兄弟节点相互借用父节点的剩余资源量，其中，所述父节点的剩余资源量等于父节点的最大资源量减去同级兄弟节点的最大资源量。
5.根据权利要求4所述的方法，其中，当所述资源池中的节点组成树形结构时，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，包括：
按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的叶子节点上。
6.根据权利要求5所述的方法，其中，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的叶子节点上，包括：
根据同一用户下的每个叶子节点的当前占用资源量额和/或当前任务数量，将同一用户的任务均衡分配到同一用户下各个叶子节点上。
7.根据权利要求5所述的方法，其中，当所述资源池中的节点组成树形结构时，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序，包括：
对树形结构中的叶子节点的父节点即树形结构的倒数第二层节点进行优先级排序，其中，根据所有叶子节点的上层节点上分配的任务的需求资源量和资源指标对倒数第二层节点进行优先级排序，树形结构中除叶子节点外的每一上层节点上分配的任务的需求资源量为其下层节点上的分配的任务的需求资源量之和；
根据叶子节点上分配的任务的需求资源量和资源指标分别对每个倒数第二层节点下的叶子节点进行优先级排序；
根据所述倒数第二层节点和叶子节点的优先级排序，得到所有叶子节点的优先级排序。
8.根据权利要求5所述的方法，其中，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序，包括：
根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级一次排序；
在所述节点优先级一次排序的基础上，按照用户的等级对所有节点进行节点优先级二次排序，在同一节点内的任务，保持所述任务优先级的排序结果。
9.根据权利要求5所述的方法，其中，根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序，包括：
对树形结构中的叶子节点的父节点即树形结构的倒数第二层节点进行优先级排序，其中，根据所有叶子节点的上层节点上分配的任务的需求资源量和资源指标对倒数第二层节点进行优先级排序，其中，树形结构中除叶子节点外的每一上层节点上分配的任务的需求资源量为其下层节点上的分配的任务的需求资源量之和；
根据叶子节点上分配的任务的需求资源量和资源指标分别对每个倒数第二层节点下的叶子节点进行优先级排序；
根据所述倒数第二层节点和叶子节点的优先级排序，得到所有叶子节点的优先级一次排序；
在所有叶子节点的优先级一次排序的基础上，按照叶子节点所属的用户的等级进行所有叶子节点的优先级二次排序，在同一叶子节点内的任务，保持所述任务优先级的排序结果。
10.根据权利要求1所述的方法，其中，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上的步骤中，
不同的用户之间共享被分配到的节点上的一部分或全部资源。
11.根据权利要求1所述的方法，其中，获取所述筛选出的任务的任务类型中，所述任务类型包括：
用户身份和任务类型信息，其中，用户身份信息包括用户的角色和/或分组、服务保证等级、用户使用的服务器地址。
12.根据权利要求1至11任一项所述的方法，其中，按任务类型对所述筛选出的任务进行任务优先级排序，包括：
按任务类型、计算集群中的服务器的当前运行状态和历史运行状态、服务器上运行的任务的当前运行状态和历史运行状态，对所述筛选出的任务进行任务优先级排序。
13.一种计算集群中多用户的任务调度设备，其中，该设备包括：
集群负载感知模块，用于根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额；及根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额；
策略应用模块，用于从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，其中，所述筛选出的所有任务的需求总资源量小于或等于所述当前的剩余总资源量配额，按所属的用户将由所述任务类型感知模块任务优先级排序后的任务分配到资源池中对应的用户的节点上，所述资源池中的节点对应于所述计算集群中的服务器；根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序；按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一节点上的任务按所述任务优先级调度；通知所述集群负载感知模块更新计算集群中对应服务器的当前占用总资源量和各用户当前运行的任务数；
任务类型感知模块，用于获取所述筛选出的任务的任务类型，按任务类型对所述筛选出的任务进行任务优先级排序。
14.根据权利要求13所述的设备，其中，每个节点上的资源指标包括：CPU资源量、内存资源量、权重、保留资源量和最大资源量。
15.根据权利要求14所述的设备，其中，所述策略应用模块，用于若某个节点上的分配的任务的需求资源量小于该节点上的保留资源量，则将该节点的节点优先级设置得较高；若某个节点上的分配的任务的需求资源量超过该节点上的保留资源量且小于该节点的最大资源量，则按该节点的权重设置该节点的节点优先级高低。
16.根据权利要求13所述的设备，其中，所述资源池中的节点组成树形结构，其中，节点之间满足以下约束：
子节点只使用父节点的最大资源量；
同级兄弟节点使用的资源量总和不超过父节点最大资源量；
同级兄弟节点相互借用父节点的剩余资源量，其中，所述父节点的剩余资源量等于父节点的最大资源量减去同级兄弟节点的最大资源量。
17.根据权利要求16所述的设备，其中，所述策略应用模块，用于当所述资源池中的节点组成树形结构时，按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的叶子节点上。
18.根据权利要求17所述的设备，其中，所述策略应用模块，用于根据同一用户下的每个叶子节点的当前占用资源量额和/或当前任务数量，将同一用户的任务均衡分配到同一用户下各个叶子节点上。
19.根据权利要求17所述的设备，其中，所述策略应用模块，用于当所述资源池中的节点组成树形结构时，对树形结构中的叶子节点的父节点即树形结构的倒数第二层节点进行优先级排序，其中，根据所有叶子节点的上层节点上分配的任务的需求资源量和资源指标对倒数第二层节点进行优先级排序，树形结构中除叶子节点外的每一上层节点上分配的任务的需求资源量为其下层节点上的分配的任务的需求资源量之和；根据叶子节点上分配的任务的需求资源量和资源指标分别对每个倒数第二层节点下的叶子节点进行优先级排序；根据所述倒数第二层节点和叶子节点的优先级排序，得到所有叶子节点的优先级排序。
20.根据权利要求17所述的设备，其中，所述策略应用模块，用于根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级一次排序；
在所述节点优先级一次排序的基础上，按照用户的等级对所有节点进行节点优先级二次排序，在同一节点内的任务，保持所述任务优先级的排序结果。
21.根据权利要求17所述的设备，其中，所述策略应用模块，用于对树形结构中的叶子节点的父节点即树形结构的倒数第二层节点进行优先级排序，其中，根据所有叶子节点的上层节点上分配的任务的需求资源量和资源指标对倒数第二层节点进行优先级排序，其中，树形结构中除叶子节点外的每一上层节点上分配的任务的需求资源量为其下层节点上的分配的任务的需求资源量之和；根据叶子节点上分配的任务的需求资源量和资源指标分别对每个倒数第二层节点下的叶子节点进行优先级排序；根据所述倒数第二层节点和叶子节点的优先级排序，得到所有叶子节点的优先级一次排序；在所有叶子节点的优先级一次排序的基础上，按照叶子节点所属的用户的等级进行所有叶子节点的优先级二次排序，在同一叶子节点内的任务，保持所述任务优先级的排序结果。
22.根据权利要求13所述的设备，其中，所述策略应用模块，用于让不同的用户之间共享被分配到的节点上的一部分或全部资源。
23.根据权利要求13所述的设备，其中，所述任务类型感知模块获取的所述任务类型包括：用户身份和任务类型信息，其中，用户身份信息包括用户的角色和/或分组、服务保证等级、用户使用的服务器地址。
24.根据权利要求13至23任一项所述的设备，其中，所述集群负载感知模块，用于获取计算集群中的服务器的当前运行状态和历史运行状态、服务器上运行的任务的当前运行状态和历史运行状态；
所述任务类型感知模块，用于按任务类型、计算集群中的服务器的当前运行状态和历史运行状态、服务器上运行的任务的当前运行状态和历史运行状态，对所述筛选出的任务进行任务优先级排序。
25.一种基于计算的设备，其中，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额；
根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额；
从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，其中，所述筛选出的所有任务的需求总资源量小于或等于所述当前的剩余总资源量配额；
获取所述筛选出的任务的任务类型，按任务类型对所述筛选出的任务进行任务优先级排序；
按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，所述资源池中的节点对应于所述计算集群中的服务器；
根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序；
按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一节点上的任务按所述任务优先级调度；
更新计算集群中对应服务器的当前占用总资源量和各用户当前运行的任务数。
26.一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：
根据计算集群中所有服务器的当前占用总资源量，确定所述计算集群中各服务器的当前的剩余总资源量配额；
根据所述计算集群中各服务器上各用户当前运行的任务数量，确定各用户当前的剩余任务数量配额；
从新接收的任务中筛选出数量小于或等于各用户当前的剩余任务数量配额的任务，其中，所述筛选出的所有任务的需求总资源量小于或等于所述当前的剩余总资源量配额；
获取所述筛选出的任务的任务类型，按任务类型对所述筛选出的任务进行任务优先级排序；
按所属的用户将所述任务优先级排序后的任务分配到资源池中对应的用户的节点上，所述资源池中的节点对应于所述计算集群中的服务器；
根据每个节点上的分配的任务的需求资源量和每个节点上的资源指标对所有节点进行节点优先级排序；
按所述节点优先级排序调度对应的服务器执行所述节点上分配的任务，其中，同一节点上的任务按所述任务优先级调度；
更新计算集群中对应服务器的当前占用总资源量和各用户当前运行的任务数。
CN201710666610.9A 2017-08-07 2017-08-07 计算集群中多用户的任务调度方法及设备 Active CN107291545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710666610.9A CN107291545B (zh) 2017-08-07 2017-08-07 计算集群中多用户的任务调度方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710666610.9A CN107291545B (zh) 2017-08-07 2017-08-07 计算集群中多用户的任务调度方法及设备

Publications (2)

Publication Number Publication Date
CN107291545A CN107291545A (zh) 2017-10-24
CN107291545B true CN107291545B (zh) 2019-12-10

Family

ID=60105339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710666610.9A Active CN107291545B (zh) 2017-08-07 2017-08-07 计算集群中多用户的任务调度方法及设备

Country Status (1)

Country Link
CN (1) CN107291545B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112039709A (zh) * 2020-09-02 2020-12-04 北京首都在线科技股份有限公司 资源调度方法、装置、设备和计算机可读存储介质

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109936604B (zh) * 2017-12-18 2022-07-26 北京图森智途科技有限公司 一种资源调度方法、装置和系统
CN109993334A (zh) * 2017-12-29 2019-07-09 顺丰科技有限公司 配额预测方法、装置、设备及存储介质
CN108377268B (zh) * 2018-02-26 2020-12-11 深圳微众信用科技股份有限公司 一种调整任务优先级的方法与系统
CN108595678B (zh) * 2018-05-02 2022-05-31 网易（杭州）网络有限公司 任务数据处理方法及装置、电子设备、存储介质
CN108958941B (zh) * 2018-07-16 2022-03-04 东软医疗系统股份有限公司 图像处理方法和装置
CN109271251A (zh) * 2018-08-09 2019-01-25 深圳市瑞云科技有限公司 一种通过约束来调度节点机的方法
CN108881495B (zh) * 2018-08-13 2022-07-22 中国平安财产保险股份有限公司 资源分配方法、装置、计算机设备及存储介质
CN110928649A (zh) * 2018-09-19 2020-03-27 北京国双科技有限公司 资源调度的方法和装置
CN111083244B (zh) * 2018-10-22 2022-09-06 浙江宇视科技有限公司 集群地址分配方法及装置
CN109614211A (zh) * 2018-11-28 2019-04-12 新华三技术有限公司合肥分公司 分布式任务预调度方法及装置
CN109784646A (zh) * 2018-12-14 2019-05-21 深圳壹账通智能科技有限公司 任务分配方法、装置、存储介质及服务器
CN109561346A (zh) * 2018-12-25 2019-04-02 上海极链网络科技有限公司 一种视频的分布式解析方法及系统
CN111475278B (zh) * 2019-01-24 2023-04-28 阿里巴巴集团控股有限公司 一种基于意向链驱动的弹性调度方法、装置及电子设备
CN111580951B (zh) * 2019-02-15 2023-10-10 杭州海康威视数字技术股份有限公司 一种任务分配方法及资源管理平台
CN109995669B (zh) * 2019-04-09 2024-05-03 深圳前海微众银行股份有限公司 分布式限流方法、装置、设备及可读存储介质
CN110308979A (zh) * 2019-06-27 2019-10-08 苏宁消费金融有限公司 基于任务调度的异步处理框架及其实现方法
CN114222985A (zh) * 2019-07-17 2022-03-22 阿韦瓦软件有限责任公司 包括用于访问和管理利用和作业数据的数据库模式的系统和服务器
CN110795233B (zh) * 2019-09-18 2022-04-05 北京你财富计算机科技有限公司 分布式资源配给方法、装置和电子设备
CN110795217B (zh) * 2019-09-27 2022-07-15 广东浪潮大数据研究有限公司 一种基于资源管理平台的任务分配方法及系统
CN112783637B (zh) * 2019-11-07 2023-09-22 北京京东振世信息技术有限公司 一种资源调控方法和装置
CN111104217B (zh) * 2019-11-27 2021-06-25 江苏艾佳家居用品有限公司 基于语义分析的渲染农场智能流量调度方法和系统
CN111176833A (zh) * 2019-12-06 2020-05-19 航天信息股份有限公司 一种多处理节点的任务分配方法及系统
CN111045808B (zh) * 2019-12-17 2023-04-18 广东工业大学 一种分布式网络任务调度方法及装置
CN113014408B (zh) * 2019-12-19 2023-04-25 阿里巴巴集团控股有限公司 分布式系统及其管理方法
CN111190544A (zh) * 2019-12-27 2020-05-22 天津中科曙光存储科技有限公司 一种用于分布式存储的流控方法和装置
CN111124688A (zh) * 2019-12-31 2020-05-08 青梧桐有限责任公司 服务器资源控制方法和系统
CN111240841B (zh) * 2020-01-10 2023-09-05 支付宝(杭州)信息技术有限公司 用于执行新任务或处理资源撤回请求的方法和系统
CN111176852B (zh) * 2020-01-15 2024-04-16 上海依图网络科技有限公司 资源分配方法、装置、芯片及计算机可读存储介质
CN111491006B (zh) * 2020-03-03 2021-11-02 天津大学 负载感知的云计算资源弹性分配系统及方法
CN111405012A (zh) * 2020-03-06 2020-07-10 深圳市瑞驰信息技术有限公司 一种基于mqtt及http的ai算力池集群管理方法
WO2021180092A1 (zh) * 2020-03-11 2021-09-16 上海商汤智能科技有限公司 任务调度方法和装置
CN111427694A (zh) * 2020-03-26 2020-07-17 北京金山云网络技术有限公司 任务执行方法、装置、系统和服务器
CN111539685A (zh) * 2020-04-21 2020-08-14 中船重工信息科技有限公司 基于私有云的船舶设计制造协同管理平台及方法
CN111651246A (zh) * 2020-04-24 2020-09-11 平安科技（深圳）有限公司 终端和服务器之间的任务调度方法、装置和调度器
CN111597028B (zh) * 2020-05-19 2023-08-25 北京百度网讯科技有限公司 用于任务调度的方法和装置
CN113742036B (zh) * 2020-05-28 2024-01-30 阿里巴巴集团控股有限公司 指标处理方法、装置及电子设备
CN113760472A (zh) * 2020-06-03 2021-12-07 北京沃东天骏信息技术有限公司 推数任务调度的方法和装置
CN111708627B (zh) * 2020-06-22 2023-06-20 中国平安财产保险股份有限公司 基于分布式调度框架的任务调度方法以及装置
CN111798113A (zh) * 2020-06-28 2020-10-20 北京小米松果电子有限公司 资源分配方法、装置、存储介质和电子设备
CN113938392B (zh) * 2020-07-09 2023-11-14 亚信科技（南京）有限公司 资源分配方法、装置、电子设备及计算机可读存储介质
CN112130586B (zh) * 2020-09-29 2021-12-21 南京航空航天大学 一种基于资源树的分布式异构无人机联盟构成方法
CN112486670B (zh) * 2020-11-13 2022-12-20 苏州浪潮智能科技有限公司 一种基于AEP内存的HBase集群性能优化方法及系统
CN114297808B (zh) * 2020-12-02 2023-04-07 北京航空航天大学 航空电子系统的任务分配与资源调度方法
CN112363819A (zh) * 2020-12-02 2021-02-12 深圳市房多多网络科技有限公司 大数据任务动态编排调度方法、装置及计算设备
CN112738812B (zh) * 2020-12-24 2024-05-03 普联国际有限公司 一种无线网络自动调节方法、装置、终端设备及存储介质
CN112698943A (zh) * 2020-12-29 2021-04-23 北京顺达同行科技有限公司 资源分配方法、装置、计算机设备以及存储介质
CN112948079B (zh) * 2021-02-18 2022-06-28 北京百度网讯科技有限公司 任务调度方法、装置、设备和计算机存储介质
CN113419827A (zh) * 2021-05-11 2021-09-21 北京天云融创软件技术有限公司 一种高性能计算资源调度公平分享方法
CN113343147B (zh) * 2021-06-18 2024-01-19 北京百度网讯科技有限公司 信息处理方法、装置、设备、介质及程序产品
CN117178257A (zh) * 2021-08-13 2023-12-05 华为技术有限公司 任务调度架构和方法
CN113886052A (zh) * 2021-10-26 2022-01-04 上海商汤科技开发有限公司 任务调度方法、装置、设备、存储介质
CN114356542A (zh) * 2021-11-30 2022-04-15 杭州光云科技股份有限公司 海量任务异步处理方法、装置、计算机设备及存储介质
CN115495224B (zh) * 2022-11-18 2023-03-24 天河超级计算淮海分中心 基于优先级的超算节点使用方法、电子设备和存储介质
CN116225669B (zh) * 2023-05-08 2024-01-09 之江实验室 一种任务执行方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092698A (zh) * 2012-12-24 2013-05-08 中国科学院深圳先进技术研究院 云计算应用自动部署系统及方法
CN104317658A (zh) * 2014-10-17 2015-01-28 华中科技大学 一种基于MapReduce的负载自适应任务调度方法
CN104915251A (zh) * 2015-06-05 2015-09-16 北京京东尚科信息技术有限公司 任务调度方法及装置
CN106201695A (zh) * 2016-07-15 2016-12-07 郑州飞机装备有限责任公司 适用于嵌入式软件系统的多任务调度方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100509794B1 (ko) * 2005-03-09 2005-08-23 주식회사 퓨전소프트 데이터베이스 관리시스템을 이용하는 작업들의 실시간 처리를 위한 스케줄링 방법
US8429657B2 (en) * 2008-04-28 2013-04-23 Oracle International Corporation Global avoidance of hang states via priority inheritance in multi-node computing system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092698A (zh) * 2012-12-24 2013-05-08 中国科学院深圳先进技术研究院 云计算应用自动部署系统及方法
CN104317658A (zh) * 2014-10-17 2015-01-28 华中科技大学 一种基于MapReduce的负载自适应任务调度方法
CN104915251A (zh) * 2015-06-05 2015-09-16 北京京东尚科信息技术有限公司 任务调度方法及装置
CN106201695A (zh) * 2016-07-15 2016-12-07 郑州飞机装备有限责任公司 适用于嵌入式软件系统的多任务调度方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112039709A (zh) * 2020-09-02 2020-12-04 北京首都在线科技股份有限公司 资源调度方法、装置、设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN107291545A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN107291545B (zh) 计算集群中多用户的任务调度方法及设备
US11275609B2 (en) Job distribution within a grid environment
US9141432B2 (en) Dynamic pending job queue length for job distribution within a grid environment
US10169090B2 (en) Facilitating tiered service model-based fair allocation of resources for application servers in multi-tenant environments
US8437029B2 (en) Method and apparatus for assigning candidate processing nodes in a stream-oriented computer system
US8458720B2 (en) Methods and systems for assigning non-continual jobs to candidate processing nodes in a stream-oriented computer system
US10754704B2 (en) Cluster load balancing based on assessment of future loading
Cheng et al. Cross-platform resource scheduling for spark and mapreduce on yarn
US11030014B2 (en) Concurrent distributed graph processing system with self-balance
US20080249757A1 (en) Method and Apparatus for Grid Project Modeling Language
EP2341432A1 (en) System and method of co-allocating a reservation spanning different compute resources types
CN111464659A (zh) 节点的调度、节点的预选处理方法、装置、设备及介质
Lin et al. Online optimization scheduling for scientific workflows with deadline constraint on hybrid clouds
US20160127382A1 (en) Determining variable wait time in an asynchronous call-back system based on calculated average sub-queue wait time
CN115543577B (zh) 基于协变量的Kubernetes资源调度优化方法、存储介质及设备
CN110782122A (zh) 数据处理方法、装置及电子设备
CN117519930A (zh) 批量任务的执行方法、装置及电子设备
CN116820729A (zh) 离线任务调度方法、装置及电子设备
Ru et al. An efficient deadline constrained and data locality aware dynamic scheduling framework for multitenancy clouds
CN110008002B (zh) 基于平稳分布概率的作业调度方法、装置、终端和介质
Toporkov et al. Budget and Cost-aware Resources Selection Strategy in Cloud Computing Environments
Qiao et al. An online workflow scheduling algorithm considering license limitation in heterogeneous environment
CN113127178B (zh) 资源抢占方法及装置、计算机可读存储介质、电子设备
Louis et al. A best effort heuristic algorithm for scheduling timely constrained tasks in the cloud
Benmohammed-Mahieddine An evaluation of load balancing algorithms for distributed systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 200233 11-12 / F, building B, 88 Hongcao Road, Xuhui District, Shanghai

Patentee after: Star link information technology (Shanghai) Co.,Ltd.

Address before: 200233 11-12 / F, building B, 88 Hongcao Road, Xuhui District, Shanghai

Patentee before: TRANSWARP TECHNOLOGY (SHANGHAI) Co.,Ltd.

CP01 Change in the name or title of a patent holder