CN106293950B - 一种面向集群系统的资源优化管理方法 - Google Patents

一种面向集群系统的资源优化管理方法 Download PDF

Info

Publication number
CN106293950B
CN106293950B CN201610706357.0A CN201610706357A CN106293950B CN 106293950 B CN106293950 B CN 106293950B CN 201610706357 A CN201610706357 A CN 201610706357A CN 106293950 B CN106293950 B CN 106293950B
Authority
CN
China
Prior art keywords
task
queue
priority
resource
group system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610706357.0A
Other languages
English (en)
Other versions
CN106293950A (zh
Inventor
朱焰冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Calabar Inforamtion Technology Ltd By Share Ltd
Original Assignee
Chengdu Calabar Inforamtion Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Calabar Inforamtion Technology Ltd By Share Ltd filed Critical Chengdu Calabar Inforamtion Technology Ltd By Share Ltd
Priority to CN201610706357.0A priority Critical patent/CN106293950B/zh
Publication of CN106293950A publication Critical patent/CN106293950A/zh
Application granted granted Critical
Publication of CN106293950B publication Critical patent/CN106293950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/503—Resource availability

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Exchange Systems With Centralized Control (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种面向集群系统的资源优化管理方法，包括将节点整合为不同队列，将任务分配进不同的队列，通过计算任务的优先级而决定完成任务的顺序，当有节点被占用却处于空闲状态时，使空闲节点根据不同的策略，挑选其他任务完成；本发明一种面向集群系统的资源优化管理方法，通过系统内部对空闲节点的灵活调用与安排，达到提升集群系统中的节点利用率，提升集群系统整体效率的目的。

Description

一种面向集群系统的资源优化管理方法
技术领域
本发明涉及群集系统优化方法，具体涉及一种面向集群系统的资源优化管理方法。
背景技术
集群系统是指一组相互独立的计算机，利用高速通信网络组成一个计算机系统，每个群集节点，即集群中的每台计算机，都是运行期自己进程的一个独立服务器。这些进程可以彼此通信，对网络客户机来说就像是形成了一个单一系统，协同起来向用户提供应用程序、系统资源和数据处理，并以单一系统的模式加以管理。然而现在的集群系统中，会存在由于资源分配不当，使得很多节点大部分时间都处于空闲状态，而该空闲状态的节点所在队列里又仍有很多待完成的作业，由于这种情况，使得集群系统的节点利用率变得极低，造成集群系统工作效率低下。
发明内容
本发明的目的在于提供一种面向集群系统的资源优化管理方法，解决目前的集群系统中存在即是在有大量待完成的作业的情况下，仍有许多节点由于系统原因而处于空闲状态，导致的集群系统效率低下的问题，达到提升集群系统节点利用率，改善集群系统整体工作效率的目的。
本发明通过下述技术方案实现：
一种面向集群系统的资源优化管理方法，包括：步骤一、将集群系统中的计算节点整合为不同的队列，当任务进入某一队列，则计算出该任务在所述队列中的配置属性；步骤二、根据任务的优先级影响因子，计算该任务在队列中的优先级，并按照优先级高低在队列中为任务设定执行顺序，执行顺序为从高优先级到低优先级；步骤三、检查队列中是否有高优先级任务已经占据了部分资源，却因为尚未获取所有需要的资源而导致任务暂时无法执行且所占用的资源处于空闲状态；步骤四、若步骤四中判断有处于空闲的资源，则在不影响高优先级任务的前提下，根据分配策略的选择，将处于空闲状态的资源分配给该队列中低优先级的任务。
进一步的，步骤二中任务的优先级影响因子包括，
任务来源：提交该任务的用户的级别；
公平共享：提交该任务的用户的资源使用历史记录；
任务申请资源：该任务索要占用的计算节点数；CPU个数、GPU个数、DSP个数、内存；
服务级别：任务排队等待的时间和任务所需时间的比值、任务已经在队列中排队的时间。
进一步的，分配策略包括：
首次适应策略：扫描队列中处于排队状态的任务，执行第一个能放入处于空闲状态的计算节点的任务；
最优适应策略：扫描队列中处于排队状态的任务，执行能够最大程度利用处于空闲状态的计算节点的数量和其空闲实现的任务；
贪婪适应策略：扫描队列中处于排队状态的任务，挑选出优先级最高的任务分配给空闲节点，达到最大程度上使得系统中的空闲节点完全被利用起来的情况，提升了系统的整体效率。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明一种面向集群系统的资源优化管理方法， 通过系统内部对空闲节点的灵活调用与安排，达到提升集群系统中的节点利用率，提升集群系统整体效率的目的。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
本发明一种面向集群系统的资源优化管理方法，包括：
步骤一、将集群系统中的计算节点整合为不同的队列，当任务进入某一队列，则计算出该任务在所述队列中的配置属性；
步骤二、根据任务的优先级影响因子，计算该任务在队列中的优先级，并按照优先级高低在队列中为任务设定执行顺序，执行顺序为从高优先级到低优先级；
步骤三 、检查队列中是否有高优先级任务已经占据了部分资源，却因为尚未获取所有需要的资源而导致任务暂时无法执行且所占用的资源处于空闲状态；
步骤四、若步骤四中判断有处于空闲的资源，则在不影响高优先级任务的前提下，根据分配策略的选择，将处于空闲状态的资源分配给该队列中低优先级的任务。
进一步的，步骤二中任务的优先级影响因子包括，
任务来源：提交该任务的用户的级别；
公平共享：提交该任务的用户的资源使用历史记录；
任务申请资源：该任务索要占用的计算节点数；CPU个数、GPU个数、DSP个数、内存；
服务级别：任务排队等待的时间和任务所需时间的比值、任务已经在队列中排队的时间。
进一步的，分配策略包括：
首次适应策略：扫描队列中处于排队状态的任务，执行第一个能放入处于空闲状态的计算节点的任务；
最优适应策略：扫描队列中处于排队状态的任务，执行能够最大程度利用处于空闲状态的计算节点的数量和其将处于空闲状态的持续时长；该任务通过计算处于空闲状态的计算节点的梳理
贪婪适应策略：扫描队列中处于排队状态的任务，挑选出优先级最高的任务分配给空闲节点。该策略最大程度上保障了利用空闲节点完成优先级为第二高的任务。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种面向集群系统的资源优化管理方法，其特征在于，包括： 步骤一、将集群系统中的计算节点整合为不同的队列，当任务进入某一队列，则计算出该任务在所述队列中的配置属性； 步骤二、根据任务的优先级影响因子，计算该任务在所述队列中的优先级，并按照优先级高低在队列中为任务设定执行顺序，执行顺序为从高优先级到低优先级； 步骤三、检查队列中是否有高优先级任务已经占据了部分资源，却因为尚未获取所有需要的资源而导致任务暂时无法执行且所占用的资源处于空闲状态； 步骤四、若所述步骤四中判断有处于空闲的资源，则在不影响高优先级任务的前提下，根据分配策略的选择，将处于空闲状态的资源分配给该队列中低优先级的任务；所述分配策略包括： 首次适应策略：扫描队列中处于排队状态的任务，执行第一个能放入处于空闲状态的计算节点的任务； 最优适应策略：扫描队列中处于排队状态的任务，执行能够最大程度利用处于空闲状态的计算节点的数量和其将处于空闲状态的持续时长； 贪婪适应策略：扫描队列中处于排队状态的任务，挑选出优先级最高的任务分配给空闲节点。
2.根据权利要求1所述的一种面向集群系统的资源优化管理方法，其特征在于，所述步骤二中任务的优先级影响因子包括， 任务来源：提交该任务的用户的级别； 公平共享：提交该任务的用户的资源使用历史记录； 任务申请资源：该任务索要占用的计算节点数；CPU个数、GPU个数、DSP个数、内存； 服务级别：任务排队等待的时间和任务所需时间的比值、任务已经在队列中排队的时间。
CN201610706357.0A 2016-08-23 2016-08-23 一种面向集群系统的资源优化管理方法 Active CN106293950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610706357.0A CN106293950B (zh) 2016-08-23 2016-08-23 一种面向集群系统的资源优化管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610706357.0A CN106293950B (zh) 2016-08-23 2016-08-23 一种面向集群系统的资源优化管理方法

Publications (2)

Publication Number Publication Date
CN106293950A CN106293950A (zh) 2017-01-04
CN106293950B true CN106293950B (zh) 2019-08-13

Family

ID=57615487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610706357.0A Active CN106293950B (zh) 2016-08-23 2016-08-23 一种面向集群系统的资源优化管理方法

Country Status (1)

Country Link
CN (1) CN106293950B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066332B (zh) * 2017-01-25 2020-03-13 广东神马搜索科技有限公司 分布式系统及其调度方法和调度装置
CN108446169B (zh) * 2017-02-16 2022-04-26 阿里巴巴集团控股有限公司 一种作业调度方法及装置
CN109936604B (zh) * 2017-12-18 2022-07-26 北京图森智途科技有限公司 一种资源调度方法、装置和系统
CN108153593A (zh) * 2017-12-22 2018-06-12 合肥寰景信息技术有限公司 一种高并发的gpu集群架构及其负载均衡方法
CN108279980A (zh) * 2018-01-22 2018-07-13 上海联影医疗科技有限公司 资源分配方法及系统和资源分配终端
CN108762896B (zh) * 2018-03-26 2022-04-12 福建星瑞格软件有限公司 一种基于Hadoop集群任务调度方法及计算机设备
CN109189571A (zh) * 2018-07-30 2019-01-11 南京邮电大学 计算任务调度方法及系统、边缘节点、存储介质和终端
CN109542617A (zh) * 2018-10-30 2019-03-29 精硕科技（北京）股份有限公司 系统资源的处理方法及装置
CN111314401B (zh) * 2018-12-12 2023-06-23 百度在线网络技术（北京）有限公司 资源配置方法、装置、系统、终端和计算机可读存储介质
CN111813564B (zh) * 2020-09-11 2020-12-18 北京达佳互联信息技术有限公司 集群资源管理方法、装置及容器集群管理系统
CN112463339A (zh) * 2020-12-11 2021-03-09 北京浪潮数据技术有限公司 一种多任务调度方法、系统、设备及存储介质
CN112486657A (zh) * 2020-12-16 2021-03-12 广东电网有限责任公司惠州供电局 一种任务调度方法及系统
CN114785790B (zh) * 2022-04-29 2024-03-08 杭州海康威视系统技术有限公司 跨域分析系统、跨域资源调度方法、装置及存储介质
CN115952988A (zh) * 2022-12-28 2023-04-11 广州宏远传媒信息科技有限公司 一种基于数据交互的公交车智能管理系统
CN116737397A (zh) * 2023-08-15 2023-09-12 北京麟卓信息科技有限公司 一种基于嵌入式平台的算力柔性组合方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101958808A (zh) * 2010-10-18 2011-01-26 华东交通大学 一种服务于多网格接入的集群任务调度管理器
CN102063336A (zh) * 2011-01-12 2011-05-18 国网电力科学研究院 一种分布式计算多应用功能异步并发调度方法
CN103699445A (zh) * 2013-12-19 2014-04-02 北京奇艺世纪科技有限公司 一种任务调度方法、装置及系统
CN104657214A (zh) * 2015-03-13 2015-05-27 华存数据信息技术有限公司 一种基于多队列和多优先级的大数据任务管理系统和方法
US9378051B1 (en) * 2012-07-13 2016-06-28 Google Inc. Systems and methods for performing scheduling for a cluster

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101958808A (zh) * 2010-10-18 2011-01-26 华东交通大学 一种服务于多网格接入的集群任务调度管理器
CN102063336A (zh) * 2011-01-12 2011-05-18 国网电力科学研究院 一种分布式计算多应用功能异步并发调度方法
US9378051B1 (en) * 2012-07-13 2016-06-28 Google Inc. Systems and methods for performing scheduling for a cluster
CN103699445A (zh) * 2013-12-19 2014-04-02 北京奇艺世纪科技有限公司 一种任务调度方法、装置及系统
CN104657214A (zh) * 2015-03-13 2015-05-27 华存数据信息技术有限公司 一种基于多队列和多优先级的大数据任务管理系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
自适应集群的资源调度策略研究;游九龙;《中国优秀硕士学位论文全文数据库 信息科技辑》;20131215(第S2期);I138-810

Also Published As

Publication number Publication date
CN106293950A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106293950B (zh) 一种面向集群系统的资源优化管理方法
CN110162388A (zh) 一种任务调度方法、系统及终端设备
CN109901926A (zh) 基于大数据行为调度应用任务的方法、服务器及存储介质
Hoenisch et al. Workflow scheduling and resource allocation for cloud-based execution of elastic processes
CN110187960A (zh) 一种分布式资源调度方法及装置
CN106598735B (zh) 一种分布式计算方法、主控节点和计算系统
CN110489217A (zh) 一种任务调度方法及系统
CN106502767B (zh) 一种进程管理方法及其装置
CN103023980B (zh) 一种云平台处理用户服务请求的方法和系统
CN103500119B (zh) 一种基于预调度的任务分配方法
CN106528288A (zh) 一种资源管理方法、装置和系统
CN103593229A (zh) 异构云操作系统的集成与统一调度框架及调度方法
CN109522101A (zh) 用于调度多个操作系统任务的方法、系统和/或装置
US7793293B2 (en) Per processor set scheduling
CN103425536A (zh) 一种面向分布式系统性能测试的测试资源管理方法
CN110187956A (zh) 一种多智能体平台的分层实时任务调度方法和系统
JP2022539955A (ja) タスクスケジューリング方法及び装置
CN108681481A (zh) 业务请求的处理方法及装置
CN109582436A (zh) 基于容器集群平台的细粒度抢占式资源调度系统及方法
CN109871273A (zh) 一种自适应任务迁移方法及装置
CN111159859B (zh) 一种云容器集群的部署方法及系统
CN110134506A (zh) 基于处理器内核动态的实时动态关键路径多核调度方法
CN111404818A (zh) 一种面向通用多核网络处理器的路由协议优化方法
CN105550028B (zh) 一种基于缓存锁的多任务时序执行方法及系统
CN109582467A (zh) 一种存储系统中io请求的处理方法、系统及相关装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A cluster oriented resource optimization management method

Effective date of registration: 20220517

Granted publication date: 20190813

Pledgee: Bank of Chengdu science and technology branch of Limited by Share Ltd.

Pledgor: CHENGDU CALABAR INFORMATION TECHNOLOGY CO.,LTD.

Registration number: Y2022510000125

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230720

Granted publication date: 20190813

Pledgee: Bank of Chengdu science and technology branch of Limited by Share Ltd.

Pledgor: CHENGDU CALABAR INFORMATION TECHNOLOGY CO.,LTD.

Registration number: Y2022510000125

PC01 Cancellation of the registration of the contract for pledge of patent right