CN109086142B - 一种基于Openlava的资源调度方法及装置 - Google Patents

一种基于Openlava的资源调度方法及装置 Download PDF

Info

Publication number
CN109086142B
CN109086142B CN201811119651.7A CN201811119651A CN109086142B CN 109086142 B CN109086142 B CN 109086142B CN 201811119651 A CN201811119651 A CN 201811119651A CN 109086142 B CN109086142 B CN 109086142B
Authority
CN
China
Prior art keywords
resources
resource
job
priority
preemption
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811119651.7A
Other languages
English (en)
Other versions
CN109086142A (zh
Inventor
张书博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811119651.7A priority Critical patent/CN109086142B/zh
Publication of CN109086142A publication Critical patent/CN109086142A/zh
Application granted granted Critical
Publication of CN109086142B publication Critical patent/CN109086142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
    • G06F9/524—Deadlock detection or avoidance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/48—Indexing scheme relating to G06F9/48
    • G06F2209/484—Precedence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Multi Processors (AREA)

Abstract

本发明实施例公开了一种基于openlava的资源调度方法及装置，所述方法包括：当需要抢占资源时，使优先级高的作业按照预设的抢占调度策略抢占优先级低的作业的资源；抢占结束后，恢复公平共享调度策略执行作业资源的调度。所述装置包括资源抢占模块，用于当需要抢占资源时，使优先级高的作业按照预设的抢占调度策略抢占优先级低的作业的资源；作业调度模块，用于资源抢占结束后，恢复公平共享调度策略执行作业资源的调度。通过预设抢占调度策略，可以避免优先级高的作业抢占资源时出现“抢占锁”而导致资源浪费，影响作业效率。

Description

一种基于Openlava的资源调度方法及装置
技术领域
本发明涉及集群作业资源调度技术，尤指一种基于Openlava的资源调度方法及装置。
背景技术
Openlava是集群作业调度系统LSF的开源版本，基于Openlava开发的集群作业调度软件可以根据主机的负载条件和应用程序的资源需求在整个应用服务平台中选择最合适的计算资源，从而提高整个集群的计算效率。
集群作业调度算法是集群作业调度系统的核心，目前Openlava存在先进先出，公平共享调度(Fairshare)，资源抢占等策略。然而，公平共享调度策略只提供了固定份额资源的分配，抢占式策略会将优先级低的作业的资源抢占给优先级高的作业使用。若优先级高的作业将优先级低的所有资源抢占，优先级低的作业挂起，而优先级高的作业运行过程中又需要被抢占的优先级低的作业的结果，此时就产生了“抢占锁”。
因此，集群作业中资源的合理分配调度，是一个迫切需要解决的问题。
发明内容
为了解决上述技术问题，本发明实施例提供了一种基于Openlava的资源调度方法及装置，可以有效避免优先级高的作业抢占资源时可能出现的“抢占锁”而导致资源浪费，影响作业效率。
为了达到本发明目的，本发明实施例提供了一种基于Openlava的资源调度方法，包括：当需要抢占资源时，使优先级高的作业按照预设的抢占调度策略抢占优先级低的作业的资源；
抢占结束后，恢复公平共享调度策略执行作业资源的调度。
与现有技术相比，本发明包括当需要抢占资源时，使优先级高的作业按照预设的抢占调度策略抢占优先级低的作业的资源；抢占结束后，恢复公平共享调度策略执行作业资源的调度。通过预设抢占调度策略，可以避免优先级高的作业抢占资源时出现“抢占锁”而导致资源浪费，影响作业效率。
进一步地，所述按照预设的抢占调度策略抢占优先级低的作业的资源，包括：根据比例公平共享调度策略设置的资源抢占权重，对优先级低的作业的资源进行抢占。
进一步地，所述方法还包括：在抢占资源前，按照作业的优先级，执行公平共享调度策略，确定不同优先级作业的可用资源量。
进一步地，所述方法还包括：在确定不同优先级作业的可用资源量后，将相同优先级内的可用资源按照比例公平共享调度策略进行分配。
进一步地，所述方法具体包括：在确定不同优先级作业的可用资源量后，当判断所述优先级高的作业的参数包括优先级低的作业的结果时，设置所述优先级低的作业资源的抢占权重，避免被所述优先级高的作业抢占，或者，对所述优先级低的作业所处的优先级内的作业资源按照预定的比例进行调整，并对调整后的各优先级低的作业资源设置不同的抢占权重，避免所述优先级高的作业抢占自身参数涉及的优先级低的作业资源。
为了达到本发明目的，本发明实施例还提供了一种基于Openlava的资源调度装置，包括：
资源抢占模块，用于当需要抢占资源时，使优先级高的作业按照预设的抢占调度策略抢占优先级低的作业的资源；
作业调度模块，用于资源抢占结束后，恢复公平共享调度策略执行作业资源的调度。
进一步地，所述按照预设的抢占调度策略抢占优先级低的作业的资源，包括：根据比例公平共享调度策略设置的资源抢占权重，对优先级低的作业的资源进行抢占。
进一步地，本发明提供的资源调度装置，还包括：
资源分配模块，用于在抢占资源前，按照作业的优先级，执行公平共享调度策略，确定不同优先级作业的可用资源量。
进一步地，所述资源分配模块还用于在确定不同优先级作业的可用资源量后，将相同优先级内的可用资源按照比例公平共享调度策略进行分配。
进一步地，所述资源分配模块具体用于确定不同优先级作业的可用资源量后，当判断所述优先级高的作业的参数包括来自优先级低的作业的结果时，设置所述优先级低的作业资源的抢占权重，避免被所述优先级高的作业抢占，或者，对所述优先级低的作业所处的优先级内的可用资源按照预定的比例进行调整，并对调整后的各优先级低的作业资源设置不同的抢占权重，避免所述优先级高的作业抢占自身参数涉及的优先级低的作业资源。
本发明实施例提供的基于Openlava的资源调度方法及装置，通过将公平共享调度策略与比例公平共享调度策略相结合，在按照作业的优先级，执行公平共享调度策略分配资源时，如果检测发现优先级高的作业的参数包括了优先级低的作业的结果，则根据比例公平共享策略，设置所述优先级低的作业资源的抢占权重，避免被所述优先级高的作业抢占；或者对所述优先级低的作业所处的优先级内的作业资源按照预定的比例进行调整，并对调整后的各优先级低的作业资源设置不同的抢占权重，避免优先级高的作业抢占资源时出现“抢占锁”而导致资源浪费，影响作业效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本申请实施例提供的一种基于Openlava的资源调度方法示意图；
图2为本申请实施例提供的一种基于Openlava的资源调度装置示意图；
图3为本申请实施例提供的一种基于Openlava的资源调度方法示范性实施例示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图1所示，本申请实施例提供的一种基于Openlava的资源调度方法，包括：
步骤S12：当需要抢占资源时，使优先级高的作业按照预设的抢占调度策略抢占优先级低的作业的资源；
步骤S14：抢占结束后，恢复公平共享调度策略执行作业资源的调度。
其中，所述按照预设的抢占调度策略抢占优先级低作业的资源，包括：根据比例公平共享调度策略设置的资源抢占权重，对优先级低的作业的资源进行抢占。
在步骤S12前，还包括步骤S10：按照作业的优先级分配，执行公平共享调度(Fairshare)策略，确定不同优先级作业的可用资源量。
在确定不同优先级作业的可用资源量时，将相同优先级内的可用资源按照比例公平共享调度策略进行分配。
具体地，在按照作业的优先级分配，执行公平共享调度策略，确定不同优先级作业的可用资源量后，分析优先级高的作业的参数是否包括优先级低的作业的结果，当判断所述优先级高的作业的参数包括优先级低的作业的结果时，设置所述优先级低的作业资源的抢占权重，避免被所述优先级高的作业抢占，或者，对所述优先级低的作业所处的优先级内的作业资源按照预定的比例进行调整，并对调整后的各优先级低的作业资源设置不同的抢占权重，避免所述优先级高的作业抢占自身参数涉及的优先级低的作业资源。
例如，如果优先级高的作业的参数中，包括了优先级低的作业的结果，即优先级高的作业的多个参数中，其中某个或某些参数，是优先级低的作业的结果。为避免优先级高的作业抢占，导致优先级低的作业无法进行，从而导致优先级高的作业的相关参数无法获取而出现锁死现象，需要合理分配优先级的作业资源，避免这部分资源被优先级高的作业抢占。所述对优先级低的作业所处的优先级内的作业资源按照预定的比例进行调整，包括：以预定的比例重新分配优先级低的作业所处的优先级内的作业资源，以确保所述优先级低的作业的资源需求。
例如，可以通过探测分析优先级高的作业的相关参数的数据链关系，如果优先级高的作业的某个参数属于优先级低的作业的结果，则根据比例公平共享策略，将优先级高的作业参数涉及的优先级低的作业的资源设置为禁止优先级高的作业抢占(例如，可以设置抢占权重为0)；或者，以确保优先级高的作业参数涉及的优先级低的作业的资源需求的比例分配方式，重新分配优先级内的作业资源，并将优先级高的作业参数涉及的优先级低的作业的资源设置为禁止优先级高的作业抢占(例如，可以设置抢占权重为0)，所述优先级低的作业的相同优先级内的其它资源分别设置抢占权重。即优先级高的作业抢占资源时，可以抢占该优先级低的作业的同等优先级的作业资源中的其它资源，尽可能保证优先级高的作业参数涉及的优先级低的作业的资源不被抢占，从而避免资源抢占锁死“抢占锁”现象的发生，导致资源浪费所带来的损失。
本申请实施例提供的基于Openlava的资源调度方法，通过将公平共享调度策略与比例公平共享调度策略相结合，在按照作业的优先级，执行公平共享调度策略分配资源时，如果检测发现优先级高的作业的参数包括了优先级低的作业的结果，则根据比例公平共享策略，设置所述优先级低的作业资源的抢占权重，避免被所述优先级高的作业抢占，或者对所述优先级低的作业所处的优先级内的作业资源按照预定的比例进行调整，并对调整后的各优先级低的作业资源设置不同的抢占权重，避免优先级高的作业抢占资源时出现“抢占锁”而导致资源浪费，影响作业效率。
如图2所示，本申请实施例还提供了一种基于Openlava的资源调度装置，包括：
资源抢占模块20，用于当需要抢占资源时，使优先级高的作业按照预设的抢占调度策略抢占优先级低的作业的资源；
作业调度模块22，用于资源抢占结束后，恢复公平共享调度策略执行作业资源的调度。
其中，所述按照预设的抢占调度策略抢占优先级低的作业的资源，包括：根据比例公平共享调度策略设置的资源抢占权重，对优先级低的作业资源进行抢占。
可选地，所述装置还包括：
资源分配模块24，用于在抢占资源前，按照作业的优先级，执行公平共享调度策略，确定不同优先级作业的可用资源量。
进一步地，所述资源分配模块还用于在确定不同优先级作业的可用资源量后，将相同优先级内的可用资源按照比例公平共享调度策略分配资源。
可选地，资源分配模块具体用于确定不同优先级作业的可用资源量后，当判断所述优先级高的作业的参数包括来自优先级低的作业的结果时，设置所述优先级低的作业资源的抢占权重，避免被所述优先级高的作业抢占，或者，对所述优先级低的作业所处的优先级内的作业资源按照预定的比例进行调整，并对调整后的各优先级低的作业资源设置不同的抢占权重，避免所述优先级高的作业抢占自身参数涉及的优先级低的作业资源。
例如，如果优先级高的作业的参数中，包括了优先级低的作业的结果，即优先级高的作业的多个参数中，其中某个或某些参数，是优先级低的作业的结果。为避免优先级高的作业抢占，导致优先级低的作业无法进行，从而导致优先级高的作业的相关参数无法获取而出现锁死现象，需要合理分配优先级的作业资源，避免这部分资源被优先级高的作业抢占。所述对优先级低的作业所处的优先级内的作业资源按照预定的比例进行调整，包括：以预定的比例重新分配优先级低的作业所处的优先级内的可用资源，以确保所述优先级低的作业的资源需求。
例如，可以通过探测分析优先级高的作业的相关参数的数据链关系，如果优先级高的作业的某个参数属于优先级低的作业的结果，则根据比例公平共享调度策略，将优先级高的作业参数涉及的优先级低的作业资源设置为禁止优先级高的作业抢占(例如可以设置抢占权重为0)，所述优先级低的作业的相同优先级内的其它作业资源分别设置抢占权重；或者，以确保优先级高的作业参数涉及的优先级低的作业的资源需求的比例分配方式，重新分配优先级内的可用资源，并将优先级高的作业参数涉及的优先级低的作业资源设置为禁止优先级高的作业抢占(例如可以设置抢占权重为0)，所述优先级低的作业的相同优先级内的其它作业资源分别设置抢占权重。即优先级高的作业抢占资源时，优先抢占该优先级低的作业的同等优先级的作业资源中的其它资源，保证优先级高的作业参数涉及的优先级低的作业的资源不被抢占，从而避免资源抢占锁死“抢占锁”现象的发生，导致资源浪费所带来的损失。
本申请实施例提供的基于Openlava的资源调度装置，通过将公平共享调度策略与比例公平共享调度策略相结合，在按照作业的优先级，执行公平共享调度策略分配资源时，如果检测发现优先级高的作业的参数包括了优先级低的作业的结果，则设置所述优先级低的作业资源的抢占权重，避免被所述优先级高的作业抢占，或者对所述优先级低的作业所处的优先级内的作业资源按照预定的比例进行调整，并对调整后的各优先级低的作业资源设置不同的抢占权重，避免优先级高的作业抢占资源时出现“抢占锁”而导致资源浪费，影响作业效率。
下面，结合示范性实施例对本申请进行进一步的说明。
如图3所示，一种示范性的基于Openlava的资源调度方法，具体实施过程如下：
步骤S30：先将集群可用资源根据作业的优先级，按照Fairshare(公平共享)调度策略分配，以保证资源的公平访问和按需分配，避免一个用户或队列独占整个集群的资源；
步骤S32：在按照Fairshare调度策略分配后，探测分析优先级高的作业的参数是否包括优先级低的作业的结果；如果包括，则根据比例公平共享策略，设置所述优先级低的作业资源的抢占权重，避免被所述优先级高的作业抢占，或者对所述优先级低的作业的相同优先级内的作业资源，按照预定的比例进行调整，并对调整后的各优先级低的作业资源设置不同的抢占权重，避免所述优先级高的作业抢占自身参数涉及的优先级低的作业资源。
例如，Openlava的公平共享调度是通过预先人工设置的比例去分配资源，比如队列一的1、2、3三个作业分配1:1:1，队列二的1、2两个作业分配1:2，队列一和队列二分配比例为1:1，类似这种整体的分配，相对固定死板。
比例公平共享调度是相对细致的划分，包括：设置各个作业资源的抢占权重，或者进行作业资源的比例调整、并设置各个作业资源的抢占权重。
假设作业1、作业2、作业3属于相同的优先级低的作业，如果探测发现优先级高的作业的参数中，包括作业2的结果，例如，可能存在以下两种情形：
1)假设按照公平共享调度策略分配的优先级低的作业资源为3CPU+6G内存，作业1要求资源为1CPU+2G内存，作业2要求资源1CPU+1G内存，作业3要求资源为1CPU+2G内存，根据Fairshare策略，用户固定设置作业资源比例为1:1:1，作业1、作业2、作业3可以正常运行；根据作业2的性质，设置其资源抢占权重为0(即禁止抢占)。作业1的资源抢占权重可以设置为80％，作业3的资源抢占权重为20％(具体比重，可以根据作业1、3的性质、资源使用效率或其他因素确定)，只要抢占作业1的资源已满足优先级高的作用需求，则不抢占作业3的资源；如果仅抢占作业1的资源还不够，则继续抢占作业3的资源，但作业2的资源不受影响。
或者，
2)假设按照公平共享调度策略分配的优先级低的作业资源为4CPU+6G内存，作业1要求资源为1CPU+1G内存，作业2要求资源2CPU+3G内存、作业3要求资源为1CPU+1G内存，根据Fairshare策略，用户固定设置作业资源比例为1:1:1，作业1、作业3可以正常运行，作业2资源不够不运行(空闲资源1CPU+1.5G内存不能满足作业2的需求，作业2可以抢占优先级更低的作业资源)。根据作业2的性质，修改优先级低的作业资源的分配比例为1:2:1，则作业1、作业2、作业3均满足作业资源要求，设置作业2的资源抢占权重为0(禁止抢占)；作业1的资源抢占权重为70％，作业3的资源抢占权重为30％(具体比重，可以根据作业1、3的性质、资源使用效率或其他因素确定)，即优先级高的作业抢占优先级低的作业资源时，优先抢占作业1的资源，如果不够可以继续抢占作业3的资源，但禁止抢占作业2的资源，从而可以有效避免因抢占作业2的资源而发生“抢占锁”现象。
步骤S34：抢占资源时，可用资源按照抢占调度策略分配，将优先级低的作业的资源提供给优先级高的作业使用；
步骤S36：抢占结束后，恢复到Fairshare调度策略，保证用户提交的作业都有资源可用。
本实施例，在将集群可用资源根据优先级，按照Fairshare调度策略分配时，采用的是人工设置比例分配方式，以保证资源的公平访问和按需分配，避免一个用户或队列独占整个集群的资源。但是，如果优先级高的作业中的参数包括了优先级低的作业的结果，一旦发生资源抢占，则无法有效避免该优先级低的作业的资源被优先级高的作业抢占而无法正常运行，导致优先级高的作业也无法顺利完成。通过预先探测优先级高的作业的相关参数数据链，如果某个或某些参数涉及优先级低的作业的结果，则根据比例公平共享策略，对优先级低的作业的相同优先级内的可用资源，设置不同资源的抢占权重，或者，对所述优先级低的作业的相同优先级内的可用资源按照预定的比例进行调整，并对调整后的各优先级低的作业资源设置不同的抢占权重，可以有效避免该优先级低的作业的资源被优先级高的作业抢占，从而避免发生“抢占锁”现象，保证作业资源的合理应用，避免资源浪费，提高作业效率。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (6)

1.一种基于Openlava的资源调度方法，其特征在于，包括：
当需要抢占资源时，使优先级高的作业按照预设的抢占调度策略抢占优先级低的作业的资源；
抢占结束后，恢复公平共享调度策略执行作业资源的调度；
所述按照预设的抢占调度策略抢占优先级低的作业的资源，包括：根据比例公平共享调度策略设置的资源抢占权重，对优先级低的作业的资源进行抢占；
所述根据比例公平共享调度策略设置的资源抢占权重，对优先级低的作业的资源进行抢占，包括：
当判断所述优先级高的作业的参数包括优先级低的作业的结果时，设置所述优先级低的作业资源的抢占权重，避免被所述优先级高的作业抢占；或者，对所述优先级低的作业所处的优先级内的作业资源按照预定的比例进行调整，并对调整后的各优先级低的作业资源设置不同的抢占权重，避免所述优先级高的作业抢占自身参数涉及的优先级低的作业资源。
2.根据权利要求1所述的资源调度方法，其特征在于，还包括：在抢占资源前，按照作业的优先级，执行公平共享调度策略，确定不同优先级作业的可用资源量。
3.根据权利要求2所述的资源调度方法，其特征在于，还包括：在确定不同优先级作业的可用资源量后，将相同优先级内的可用资源按照比例公平共享调度策略进行分配。
4.一种基于Openlava的资源调度装置，其特征在于，包括：
资源抢占模块，用于当需要抢占资源时，使优先级高的作业按照预设的抢占调度策略抢占优先级低的作业的资源；
作业调度模块，用于资源抢占结束后，恢复公平共享调度策略执行作业资源的调度；
所述按照预设的抢占调度策略抢占优先级低的作业的资源，包括：根据比例公平共享调度策略设置的资源抢占权重，对优先级低的作业的资源进行抢占；
根据比例公平共享调度策略设置的资源抢占权重，对优先级低的作业的资源进行抢占，包括：
当判断所述优先级高的作业的参数包括优先级低的作业的结果时，设置所述优先级低的作业资源的抢占权重，避免被所述优先级高的作业抢占；或者，对所述优先级低的作业所处的优先级内的作业资源按照预定的比例进行调整，并对调整后的各优先级低的作业资源设置不同的抢占权重，避免所述优先级高的作业抢占自身参数涉及的优先级低的作业资源。
5.根据权利要求4所述的资源调度装置，其特征在于，还包括：
资源分配模块，用于在抢占资源前，按照作业的优先级，执行公平共享调度策略，确定不同优先级作业的可用资源量。
6.根据权利要求5所述的资源调度装置，其特征在于，所述资源分配模块还用于在确定不同优先级作业的可用资源量后，将相同优先级内的可用资源按照比例公平共享调度策略进行分配。
CN201811119651.7A 2018-09-25 2018-09-25 一种基于Openlava的资源调度方法及装置 Active CN109086142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811119651.7A CN109086142B (zh) 2018-09-25 2018-09-25 一种基于Openlava的资源调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811119651.7A CN109086142B (zh) 2018-09-25 2018-09-25 一种基于Openlava的资源调度方法及装置

Publications (2)

Publication Number Publication Date
CN109086142A CN109086142A (zh) 2018-12-25
CN109086142B true CN109086142B (zh) 2022-03-25

Family

ID=64842393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811119651.7A Active CN109086142B (zh) 2018-09-25 2018-09-25 一种基于Openlava的资源调度方法及装置

Country Status (1)

Country Link
CN (1) CN109086142B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110471713A (zh) * 2019-08-15 2019-11-19 深圳开立生物医疗科技股份有限公司 一种超声系统资源管理方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101063947A (zh) * 2006-04-27 2007-10-31 国际商业机器公司 便于确定作业的调度优先级的方法和系统
CN101499041A (zh) * 2009-03-17 2009-08-05 成都优博创技术有限公司 一种避免主机在访问共享设备造成异常死锁的方法
CN102298539A (zh) * 2011-06-07 2011-12-28 华东师范大学 一种用于分布式并行处理的共享资源调度方法及系统
CN102426542A (zh) * 2011-10-28 2012-04-25 中国科学院计算技术研究所 数据中心资源管理系统及作业调度方法
CN102567086A (zh) * 2010-12-30 2012-07-11 中国移动通信集团公司 一种任务调度的方法、设备和系统
CN103699437A (zh) * 2013-12-20 2014-04-02 华为技术有限公司 一种资源调度方法及设备
CN106488560A (zh) * 2015-09-01 2017-03-08 中兴通讯股份有限公司 一种资源选择方法及装置
CN108123980A (zh) * 2016-11-30 2018-06-05 中移(苏州)软件技术有限公司 一种资源调度方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8060878B2 (en) * 2007-11-27 2011-11-15 International Business Machines Corporation Prevention of deadlock in a distributed computing environment
EP3506715A4 (en) * 2016-09-22 2019-08-21 Huawei Technologies Co., Ltd. FUNCTIONAL CONFIGURATION PROCESS AND DEVICE

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101063947A (zh) * 2006-04-27 2007-10-31 国际商业机器公司 便于确定作业的调度优先级的方法和系统
CN101499041A (zh) * 2009-03-17 2009-08-05 成都优博创技术有限公司 一种避免主机在访问共享设备造成异常死锁的方法
CN102567086A (zh) * 2010-12-30 2012-07-11 中国移动通信集团公司 一种任务调度的方法、设备和系统
CN102298539A (zh) * 2011-06-07 2011-12-28 华东师范大学 一种用于分布式并行处理的共享资源调度方法及系统
CN102426542A (zh) * 2011-10-28 2012-04-25 中国科学院计算技术研究所 数据中心资源管理系统及作业调度方法
CN103699437A (zh) * 2013-12-20 2014-04-02 华为技术有限公司 一种资源调度方法及设备
CN106488560A (zh) * 2015-09-01 2017-03-08 中兴通讯股份有限公司 一种资源选择方法及装置
CN108123980A (zh) * 2016-11-30 2018-06-05 中移(苏州)软件技术有限公司 一种资源调度方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
开放式实时系统资源共享环境下的调度方法分析;钟樑;《小型微型计算机系统》;20121115;第33卷(第11期);第2362-2366页 *

Also Published As

Publication number Publication date
CN109086142A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
US11977784B2 (en) Dynamic resources allocation method and system for guaranteeing tail latency SLO of latency-sensitive application
US11032212B2 (en) Systems and methods for provision of a guaranteed batch
US10754706B1 (en) Task scheduling for multiprocessor systems
CN108123980B (zh) 一种资源调度方法及系统
US7206890B2 (en) System and method for reducing accounting overhead during memory allocation
CN110515704B (zh) 基于Kubernetes系统的资源调度方法及装置
US20100205395A1 (en) Optimal memory allocation for guested virtual machine(s)
CN112269641B (zh) 一种调度方法、装置、电子设备及存储介质
WO2021008225A1 (zh) 数据中心面向微服务的电力资源分配的方法和系统
EP4209903A1 (en) Task scheduling method and apparatus
CN110971623B (zh) 微服务实例弹性伸缩方法、装置以及存储介质
EP1410199A2 (en) A method and a system for allocation of a budget to a task
CN108762665B (zh) 一种控制存储设备读写的方法及装置
CN109960591B (zh) 一种面向租户资源侵占的云应用资源动态调度的方法
US20200385726A1 (en) Oversubscription scheduling
CN109086142B (zh) 一种基于Openlava的资源调度方法及装置
CN113010309B (zh) 集群资源调度方法、装置、存储介质、设备和程序产品
KR20170023280A (ko) 멀티코어 프로세서 시스템 및 상기 시스템에서의 공유 캐시 관리 방법
EP4177745A1 (en) Resource scheduling method, electronic device, and storage medium
CN112214288A (zh) 基于Kubernetes集群的Pod调度方法、装置、设备和介质
CN117369990A (zh) 一种算力资源调度方法及装置、系统、设备、存储介质
CN115774614A (zh) 资源调控方法、终端及存储介质
US11895692B2 (en) Resource contention arbitration apparatus, resource contention arbitration method and program
CN113986484A (zh) 社交软件的任务处理全局调度方法
KR20210157246A (ko) 임베디드시스템에서 동적자원관리방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant