CN106126347A - 一种云平台下有效实现主机集群资源调度的方法 - Google Patents

一种云平台下有效实现主机集群资源调度的方法 Download PDF

Info

Publication number
CN106126347A
CN106126347A CN201610678030.7A CN201610678030A CN106126347A CN 106126347 A CN106126347 A CN 106126347A CN 201610678030 A CN201610678030 A CN 201610678030A CN 106126347 A CN106126347 A CN 106126347A
Authority
CN
China
Prior art keywords
resource
platform
scheduling
iass
cloud platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610678030.7A
Other languages
English (en)
Inventor
李永信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201610678030.7A priority Critical patent/CN106126347A/zh
Publication of CN106126347A publication Critical patent/CN106126347A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Abstract

本发明公开了一种云平台下有效实现主机集群资源调度的方法，属于云平台领域，本发明要解决的技术问题为如何实现对这些Iass层物理资源的合理利用成为各大平台，采用的技术方案为：该方法包括如下步骤：（1）、云平台通过Iass平台接口同步获取对应的Iass平台所有物理资源的元数据信息并存储到平台端；（2）、对Iass平台所有物理资源进行分类并打上对应的标签，将此标签作为资源调度的依据，所有通过Iass平台发起的资源申请任务，都会经过调度策略进行分配，获取最终的资源；（3）、通过调度策略调度完成后，对平台端的元数据信息进行更新。

Description

一种云平台下有效实现主机集群资源调度的方法
技术领域
本发明涉及云平台领域，具体地说是一种云平台下有效实现主机集群资源调度的方法。
背景技术
大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。
从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。
随着信息化水平的发展，当今社会的数据量日益膨胀，云计算与大数据技术应运而生，越来越多的厂商开始构建自己的商业化云平台，平台的运转依托于Iass层物理资源，如何实现对这些Iass层物理资源的合理利用成为各大平台急需解决的问题。
发明内容
本发明的技术任务是提供一种云平台下有效实现主机集群资源调度的方法，来解决如何实现对这些Iass层物理资源的合理利用成为各大平台的问题。
本发明的技术任务是按以下方式实现的，一种云平台下有效实现主机集群资源调度的方法，该方法包括如下步骤：
（1）、云平台通过Iass平台接口同步获取对应的Iass平台所有物理资源的元数据信息并存储到平台端；
（2）、对Iass平台所有物理资源进行分类并打上对应的标签，将此标签作为资源调度的依据，所有通过Iass平台发起的资源申请任务，都会经过调度策略进行分配，获取最终的资源；
（3）、通过调度策略调度完成后，对平台端的元数据信息进行更新，确保平台端的元数据信息与Iass平台真实管理的资源数据的一致性。
作为优选，所述物理资源的元数据信息包括平台物理主机、主机挂载的物理存储和CPU信息。
作为优选，所述调度策略会针对用户申请的资源进行三层评估，分别为：
第一层评估：评估当前资源是否可以满足申请需求，并计算获得集群中各主机提供该资源的可用倍数，若可用倍数均低于1，则平台资源不足以满足该申请，调度结束；
第二层评估：满足第一层评估后，算法会根据调度策略对用户申请的资源进行分配，默认采用资源分散策略，将资源分散到不同的主机；比如申请了6份资源，总共4台物理主机，则优先将4台主机各分配一份，剩下的两份会在这4台中择优调度选择。
第三次评估：根据申请资源的特性与物理资源的标签做匹配度的对比，优先选择匹配度高的资源进行分配。
更优地，所述申请资源的特性包括性能型和存储型。
作为优选，所述步骤（3）中平台端通过启用定时任务进行元数据同步拉取和更新。
本发明的云平台下有效实现主机集群资源调度的方法具有以下优点：
1、本发明能够最大化的利用云平台的物理资源，在云平台的环境下对集群资源进行有效调度、合理分配，云平台的资源调用模块按照调度策略来实现，可以解决传统物理资源利用低下、维护混乱等问题，实现对云平台资源的有效管理、维护及利用，同时既可保证云平台运行的功能稳定性，又实现了对Iass平台资源高效合理的利用；
2、本发明通过调度策略对Iass平台的集群资源进行合理分配，保证云平台正常运转过程中保持较高的计算性能和资源利用率；云平台对所有可用集群物理资源进行打标签，这些资源包括物理主机CPU、内存以及存储等，同时存储并维护其对应的元数据到Iass平台，作为资源调度策略的依据，每次进行资源的申请及使用时实时更新元数据信息，保证平台调度的准确性以及平台功能的稳定性，增强了云平台的智能型；
3、本发明可以精准、智能的对Iass 层物理资源进行筛选、分配，保证云平台运行更新稳定，资源申请更加合理、智能，保证平台运行的功能稳定性，又能实现对Iass资源高效合理的利用，同时支持多种策略进行调度，可满足多种类型的资源申请。
故本发明具有设计合理、结构简单、使用方便、一物多用等特点，因而，具有很好的推广使用价值。
附图说明
下面结合附图对本发明进一步说明。
附图1为云平台下有效实现主机集群资源调度的方法的流程框图。
具体实施方式
参照说明书附图和具体实施例对本发明的云平台下有效实现主机集群资源调度的方法作以下详细地说明。
实施例：
如附图1所示，本发明的云平台下有效实现主机集群资源调度的方法, 该方法包括如下步骤：
（1）、云平台通过Iass平台接口同步获取对应的Iass平台所有物理资源的元数据信息并存储到平台端；物理资源的元数据信息包括平台物理主机、主机挂载的物理存储和CPU信息。
（2）、对Iass平台所有物理资源进行分类并打上对应的标签，将此标签作为资源调度的依据，所有通过Iass平台发起的资源申请任务，都会经过调度策略进行分配，获取最终的资源；调度策略会针对用户申请的资源进行三层评估，分别为：第一层评估：评估当前资源是否可以满足申请需求，并计算获得集群中各主机提供该资源的可用倍数，若可用倍数均低于1，则平台资源不足以满足该申请，调度结束；第二层评估：满足第一层评估后，算法会根据调度策略对用户申请的资源进行分配，默认采用资源分散策略，将资源分散到不同的主机；比如申请了6份资源，总共4台物理主机，则优先将4台主机各分配一份，剩下的两份会在这4台中择优调度选择。第三次评估：根据申请资源的特性与物理资源的标签做匹配度的对比，优先选择匹配度高的资源进行分配。申请资源的特性包括性能型和存储型。
（3）、通过调度策略调度完成后，对平台端的元数据信息进行更新，确保平台端的元数据信息与Iass平台真实管理的资源数据的一致性，平台端通过启用定时任务进行元数据同步拉取和更新。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的一种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (5)

1.一种云平台下有效实现主机集群资源调度的方法，其特征在于该方法包括如下步骤：
（1）、云平台通过Iass平台接口同步获取对应的Iass平台所有物理资源的元数据信息并存储到平台端；
（2）、对Iass平台所有物理资源进行分类并打上对应的标签，将此标签作为资源调度的依据，所有通过Iass平台发起的资源申请任务，都会经过调度策略进行分配，获取最终的资源；
（3）、通过调度策略调度完成后，对平台端的元数据信息进行更新。
2.根据权利要求1所述的云平台下有效实现主机集群资源调度的方法，其特征在于所述物理资源的元数据信息包括平台物理主机、主机挂载的物理存储和CPU信息。
3.根据权利要求1所述的云平台下有效实现主机集群资源调度的方法，其特征在于所述调度策略会针对用户申请的资源进行三层评估，分别为：
第一层评估：评估当前资源是否可以满足申请需求，并计算获得集群中各主机提供该资源的可用倍数，若可用倍数均低于1，则平台资源不足以满足该申请，调度结束；
第二层评估：满足第一层评估后，算法会根据调度策略对用户申请的资源进行分配，默认采用资源分散策略，将资源分散到不同的主机；
第三次评估：根据申请资源的特性与物理资源的标签做匹配度的对比，优先选择匹配度高的资源进行分配。
4.根据权利要求3所述的云平台下有效实现主机集群资源调度的方法，其特征在于所述申请资源的特性包括性能型和存储型。
5.根据权利要求1所述的云平台下有效实现主机集群资源调度的方法，其特征在于所述步骤（3）中平台端通过启用定时任务进行元数据同步拉取和更新。
CN201610678030.7A 2016-08-17 2016-08-17 一种云平台下有效实现主机集群资源调度的方法 Pending CN106126347A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610678030.7A CN106126347A (zh) 2016-08-17 2016-08-17 一种云平台下有效实现主机集群资源调度的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610678030.7A CN106126347A (zh) 2016-08-17 2016-08-17 一种云平台下有效实现主机集群资源调度的方法

Publications (1)

Publication Number Publication Date
CN106126347A true CN106126347A (zh) 2016-11-16

Family

ID=57278564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610678030.7A Pending CN106126347A (zh) 2016-08-17 2016-08-17 一种云平台下有效实现主机集群资源调度的方法

Country Status (1)

Country Link
CN (1) CN106126347A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107465765A (zh) * 2017-09-21 2017-12-12 深圳市视维科技股份有限公司 一种基于容器云的智能应用网关实现方法
CN109684065A (zh) * 2018-12-26 2019-04-26 北京云联万维技术有限公司 一种资源调度方法、装置及系统
CN110233747A (zh) * 2018-03-06 2019-09-13 中移(苏州)软件技术有限公司 一种数据上报方法及云平台
CN111221644A (zh) * 2018-11-27 2020-06-02 阿里巴巴集团控股有限公司 资源调度方法、装置及设备
CN111881123A (zh) * 2020-07-22 2020-11-03 北京浪潮数据技术有限公司 分布式系统之间的数据同步方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248659A (zh) * 2012-02-13 2013-08-14 北京华胜天成科技股份有限公司 一种云计算资源调度方法和系统
CN103458052A (zh) * 2013-09-16 2013-12-18 北京搜狐新媒体信息技术有限公司 一种基于IaaS云平台的资源调度方法和装置
CN105183561A (zh) * 2015-09-02 2015-12-23 浪潮(北京)电子信息产业有限公司 一种资源分配方法和系统
CN105260235A (zh) * 2015-09-23 2016-01-20 浪潮集团有限公司 一种云平台中基于应用场景的资源调度方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103248659A (zh) * 2012-02-13 2013-08-14 北京华胜天成科技股份有限公司 一种云计算资源调度方法和系统
CN103458052A (zh) * 2013-09-16 2013-12-18 北京搜狐新媒体信息技术有限公司 一种基于IaaS云平台的资源调度方法和装置
CN105183561A (zh) * 2015-09-02 2015-12-23 浪潮(北京)电子信息产业有限公司 一种资源分配方法和系统
CN105260235A (zh) * 2015-09-23 2016-01-20 浪潮集团有限公司 一种云平台中基于应用场景的资源调度方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107465765A (zh) * 2017-09-21 2017-12-12 深圳市视维科技股份有限公司 一种基于容器云的智能应用网关实现方法
CN107465765B (zh) * 2017-09-21 2020-07-14 深圳市视维科技股份有限公司 一种基于容器云的智能应用网关实现方法
CN110233747A (zh) * 2018-03-06 2019-09-13 中移(苏州)软件技术有限公司 一种数据上报方法及云平台
CN110233747B (zh) * 2018-03-06 2022-06-14 中移(苏州)软件技术有限公司 一种数据上报方法及云平台
CN111221644A (zh) * 2018-11-27 2020-06-02 阿里巴巴集团控股有限公司 资源调度方法、装置及设备
CN111221644B (zh) * 2018-11-27 2023-06-13 阿里巴巴集团控股有限公司 资源调度方法、装置及设备
CN109684065A (zh) * 2018-12-26 2019-04-26 北京云联万维技术有限公司 一种资源调度方法、装置及系统
CN109684065B (zh) * 2018-12-26 2020-11-03 北京云联万维技术有限公司 一种资源调度方法、装置及系统
CN111881123A (zh) * 2020-07-22 2020-11-03 北京浪潮数据技术有限公司 分布式系统之间的数据同步方法及系统
CN111881123B (zh) * 2020-07-22 2022-04-22 北京浪潮数据技术有限公司 分布式系统之间的数据同步方法及系统

Similar Documents

Publication Publication Date Title
CN106126347A (zh) 一种云平台下有效实现主机集群资源调度的方法
Ang Determinants of foreign direct investment in Malaysia
CN103401938B (zh) 分布式云架构下基于业务特性的资源分配系统及其方法
CN107395731A (zh) 一种基于服务编排的容器集群的调节方法和装置
CN104050042B (zh) Etl作业的资源分配方法及装置
CN105700948A (zh) 一种用于在集群中调度计算任务的方法与设备
EP4068090A1 (en) Container scheduling method and apparatus, and non-volatile computer-readable storage medium
CN106909451A (zh) 一种分布式任务调度系统及方法
CN104407926B (zh) 一种云计算资源的调度方法
CN102981893B (zh) 一种虚拟机调度方法及系统
CN102932279A (zh) 一种云环境数据中心多维资源调度系统及方法
CN109075988A (zh) 任务调度和资源发放系统和方法
CN105808341B (zh) 一种资源调度的方法、装置和系统
CN102222174A (zh) 一种基因计算系统和方法
CN105183561A (zh) 一种资源分配方法和系统
CN109324880A (zh) 一种适用于实时系统周期任务模型的低功耗调度方法
CN102521014A (zh) 虚拟机的部署方法及装置
CN105404549B (zh) 基于yarn架构的虚拟机调度系统
CN107590181A (zh) 一种大数据的智能分析系统
CN106326003A (zh) 一种作业调度和计算资源分配方法
CN108920265A (zh) 一种基于服务器集群的任务执行方法及服务器
Sharma et al. An improved task allocation strategy in cloud using modified k-means clustering technique
CN110278257A (zh) 一种动态化配置分布式集群节点标签的方法
CN103810238A (zh) 一种基于异步处理的大数据量Excel文件导出方法
CN109408228A (zh) 基于预算调配的群智感知任务分配方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20161116