CN110198356A - 一种基于混合云的用户请求调度机制 - Google Patents

一种基于混合云的用户请求调度机制 Download PDF

Info

Publication number
CN110198356A
CN110198356A CN201910497766.8A CN201910497766A CN110198356A CN 110198356 A CN110198356 A CN 110198356A CN 201910497766 A CN201910497766 A CN 201910497766A CN 110198356 A CN110198356 A CN 110198356A
Authority
CN
China
Prior art keywords
cluster
request
user
priority
unit process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910497766.8A
Other languages
English (en)
Inventor
莫毓昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910497766.8A priority Critical patent/CN110198356A/zh
Publication of CN110198356A publication Critical patent/CN110198356A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开了一种基于混合云的用户请求调度机制，包括请求分区、优先级、单个作业调度、集群内负载平衡和集群间负载平衡，所述请求分区模块将给定的用户请求划分为一组单元作业；所述优先级模块将为每个单元作业分配一个优先级值，该值可能随着集群状态的更改而更新；所述单个作业调度模块将根据优先级和系统状态将每个单元作业放置在适当的位置；通过集群内部和集群之间的负载平衡模块解决组之间的负载和集群之间的负载不平衡，用以确定单元作业以及每个作业将在何处执行或排队。

Description

一种基于混合云的用户请求调度机制
技术领域
本发明涉及云计算技术领域，具体为一种基于混合云的用户请求调度机制。
背景技术
大规模和结构复杂性是当前云环境的两大趋势，要使云计算发挥最大潜力，需要向云弹性的方向转变，设计弹性云的一个主要挑战是避免云管理系统中的单点故障。
在现有技术中，云管理系统大多依赖于主节点复杂的集中式管理系统，由于存在主节点故障或过载严重而导致的混合云局部故障或工作受阻，极大的增加了对主节点硬件的需求性以及所需的维护程度，降低工作效率的同时增加了成本。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于混合云的用户请求调度机制，解决了在现有技术中，云管理系统大多依赖于主节点复杂的集中式管理系统，由于存在主节点故障或过载严重而导致的混合云局部故障或工作受阻，极大的增加了对主节点硬件的需求性以及所需的维护程度的问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于混合云的用户请求调度机制，包括请求分区、优先级、单个作业调度、集群内负载平衡和集群间负载平衡，所述请求分区模块将给定的用户请求划分为一组单元作业；所述优先级模块将为每个单元作业分配一个优先级值，该值可能随着集群状态的更改而更新；所述单个作业调度模块将根据优先级和系统状态将每个单元作业放置在适当的位置；通过集群内部和集群之间的负载平衡模块解决组之间的负载和集群之间的负载不平衡，用以确定单元作业以及每个作业将在何处执行或排队。
优选的，所述在请求区里，调度器将首先检查系统是否将不堪重负，以确定即将到来的用户请求是否会被拒绝；否则，每个传入的用户请求将被划分为单元作业，并对每个单元作业进行优先排序。
优选的，所述优先级度量给定的单元作业对调度程序的重要性。
优选的，所述单个调度工作的优先级高于预定义的优先级阈值时，调度程序迁移到一个组在当前的集群。
优选的，所述在进行集群内负载平衡时，调度器将尝试最小化需要将单元作业迁移到其他作业的组的基线比例高度之和。集群内负载平衡算法的本质是寻找一种将单元作业从“不堪重负”的组迁移到“空闲”组的最佳方法。
优选的，所述当从集群中迁移出的工作数量大于一个集群能接受来自其他组的单元作业数量时，将进行集群间负载均衡。
(三)有益效果
本发明提供了一种基于混合云的用户请求调度机制。具备以下有益效果：
该基于混合云的用户请求调度机制，采用分区后分配优先级值后，将作业单个调度，同时维持集群内负载平衡的方式保证节点的工作效率，充分的利用了硬件资源，避免局部节点工作量过载以及局部节点空闲时间较长的情况，提高工作效率的同时减少了对节点硬件的需求程度以及所需的维护程度，提高工作效率的同时降低了成本。
附图说明
图1为基于混合云的用户请求调度机制的示意图；
图2为带集群内负载均衡(a)的实际用户请求完工时间与不带集群内负载均衡(b)的实际用户请求完工时间示意图(表1)；
图3为在没有集群内部或集群内部负载平衡(a)与集群内部负载平衡(b)与集群内部负载平衡(c)的情况下实际用户请求的比较示意图(表2)；
图4为算法1的流程示意图；
图5为算法2的流程示意图；
图6为算法3的流程示意图；
图7为算法4的流程示意图；
图8为算法5的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-8，本发明提供一种技术方案：一种基于混合云的用户请求调度机制，包括请求分区、优先级、单个作业调度、集群内负载平衡和集群间负载平衡，请求分区模块将给定的用户请求划分为一组单元作业；优先级模块将为每个单元作业分配一个优先级值，该值可能随着集群状态的更改而更新；单个作业调度模块将根据优先级和系统状态将每个单元作业放置在适当的位置；通过集群内部和集群之间的负载平衡模块解决组之间的负载和集群之间的负载不平衡，用以确定单元作业以及每个作业将在何处执行或排队。
进一步的，请求区里，调度器将首先检查系统是否将不堪重负，以确定即将到来的用户请求是否会被拒绝。用户请求接收机制如算法1(图4)所示。
进一步的，优先级度量给定的单元作业对调度程序的重要性。分层优先级机制如算法2(图5)所示，该算法首先评估给定用户请求对集群的重要性，然后评估每个对应的单元作业对请求的重要性，最后将它们组合在一起得到单元作业的优先级。
进一步的，当单个调度工作的优先级高于预定义的优先级阈值时，调度程序迁移到一个组在当前的集群，它至少会影响群体的最大完工时间估计累积比率计算如算法3(图6)所示。
进一步的，所述集群内负载平衡，调度器将尝试最小化需要将单元作业迁移到其他作业的组的基线比例高度之和，如算法4(图7)所示。
进一步的，所述集群间负载均衡是当从集群中迁移出的工作数量大于一个集群能接受来自其他组的单元作业数量时发生。算法如算法5(图8)所示。
为了说明本发明的技术效果，采用具体的应用实例对本发明进行实施验证。
实验流程：
我们考虑一个云提供商管理四个集群，每个集群有四种类型的机器组。我们使用四个集群，因为这是对一个云提供商可以构建和操作的集群数量的合理估计。其中分别代表超高速组，高速组，中低速组。不同的计算能力在这四组反映在执行时间设置,如机器组计算能力表所示。
其他用于我们实验的参数如下:是随机到达用户请求数量的平均值,它遵循泊松分布。该系统不断地产生新的用户请求，到达间隔服从指数分布。对四个不同组的请求是随机生成的。同时，每个请求可以划分为的单元作业的数量也是随机生成的，并且限制在[1～20]范围内。在进行集群间负载均衡时，定义了一种基于UDP的集群间通信协议。集群对之间主要有两种通信方式:一种用于集群间负载均衡请求和响应，另一种用于实现作业传输。我们使用一个UDP的生存时间(即生成此消息的时间)来度量其可靠性。每次进行集群间负载平衡时，集群都倾向于遵循最可靠的UDP来进行传输决策。
机器组计算能力表
实验结果及分析：
在集群内负载均衡的情况下，我们比较了集群内负载均衡和没有集群内负载均衡的情况下，4组用户平均实际请求完工时间M(Rl)。实验结果如图2所示。
部署集群内负载均衡后，四组间的M(Rl)增长均较慢，平均M(Rl)显著下降。这四个组都运行得很顺利，而且整个集群比原来不涉及集群内负载平衡的情况保持得更好。
集群间负载均衡我们仍然使用平均实际用户请求完工时间M(Rl)作为性能指标，比较集群间负载均衡和不集群间负载均衡情况下的四组性能。
图3中的实验结果表明，我们的集群内负载均衡和集群间负载均衡能够有效地保持整个系统的均衡，并防止平均实际用户请求的最大完工时间显著增加。我们以平均实际用户请求为基准，不考虑集群内或集群间负载均衡。在集群内进行负载均衡时，平均实际完工时间比基线平均降低20％左右，最大降幅达35％。当增加集群间负载均衡时，平均实际完工时间比基线显著降低。平均降幅在50％左右，最大降幅高达65％。此外，集群内和集群间负载均衡会使平均实际完工时间比没有集群内或集群间负载均衡的情况下随着用户请求数量的增加而增加得慢得多。
综上所述，该基于混合云的用户请求调度机制，采用分区后分配优先级值后，将作业单个调度，同时维持集群内负载平衡的方式保证节点的工作效率，充分的利用了硬件资源，避免局部节点工作量过载以及局部节点空闲时间较长的情况，提高工作效率的同时减少了对节点硬件的需求程度以及所需的维护程度，提高工作效率的同时降低了成本。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于混合云的用户请求调度机制，包括请求分区、优先级、单个作业调度、集群内负载平衡和集群间负载平衡，其特征在于：所述请求分区模块将给定的用户请求划分为一组单元作业；所述优先级模块将为每个单元作业分配一个优先级值，该值可能随着集群状态的更改而更新；所述单个作业调度模块将根据优先级和系统状态将每个单元作业放置在适当的位置；通过集群内部和集群之间的负载平衡模块解决组之间的负载和集群之间的负载不平衡，用以确定单元作业以及每个作业将在何处执行或排队。
2.根据权利要求1所述的一种基于混合云的用户请求调度机制，其特征在于：在请求区里，调度器将首先检查系统是否将不堪重负，以确定即将到来的用户请求是否会被拒绝；否则，每个传入的用户请求将被划分为单元作业，并对每个单元作业进行优先排序。
3.根据权利要求1所述的一种基于混合云的用户请求调度机制，其特征在于：优先级度量给定的单元作业对调度程序的重要性。
4.根据权利要求1所述的一种基于混合云的用户请求调度机制，其特征在于：单个调度工作的优先级高于预定义的优先级阈值时，调度程序迁移到一个组在当前的集群。
5.根据权利要求1所述的一种基于混合云的用户请求调度机制，其特征在于：在进行集群内负载平衡时，调度器将尝试最小化需要将单元作业迁移到其他作业的组的基线比例高度之和。集群内负载平衡算法的本质是寻找一种将单元作业从“不堪重负”的组迁移到“空闲”组的最佳方法。
6.根据权利要求1所述的一种基于混合云的用户请求调度机制，其特征在于：当从集群中迁移出的工作数量大于一个集群能接受来自其他组的单元作业数量时，将进行集群间负载均衡。
CN201910497766.8A 2019-06-10 2019-06-10 一种基于混合云的用户请求调度机制 Pending CN110198356A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910497766.8A CN110198356A (zh) 2019-06-10 2019-06-10 一种基于混合云的用户请求调度机制

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910497766.8A CN110198356A (zh) 2019-06-10 2019-06-10 一种基于混合云的用户请求调度机制

Publications (1)

Publication Number Publication Date
CN110198356A true CN110198356A (zh) 2019-09-03

Family

ID=67754291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910497766.8A Pending CN110198356A (zh) 2019-06-10 2019-06-10 一种基于混合云的用户请求调度机制

Country Status (1)

Country Link
CN (1) CN110198356A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813558A (zh) * 2020-07-23 2020-10-23 莫毓昌 一种面向混合云的资源调度方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110099403A1 (en) * 2009-10-26 2011-04-28 Hitachi, Ltd. Server management apparatus and server management method
CN102426542A (zh) * 2011-10-28 2012-04-25 中国科学院计算技术研究所 数据中心资源管理系统及作业调度方法
CN102682117A (zh) * 2012-05-15 2012-09-19 浪潮电子信息产业股份有限公司 一种数据库集群数据快速复制的方法
CN103650426A (zh) * 2011-05-06 2014-03-19 思杰系统有限公司 用于在公共云与私有云之间进行云桥接的系统和方法
CN104375897A (zh) * 2014-10-27 2015-02-25 西安工程大学 基于最小相对负载不均衡度的云计算资源调度方法
CN104852934A (zh) * 2014-02-13 2015-08-19 阿里巴巴集团控股有限公司 基于前端调度实现流量分配的方法、装置和系统
CN105516325A (zh) * 2015-12-18 2016-04-20 内蒙古农业大学 一种根据应用负载进行弹性扩容和流量分发扩展的云负载平衡手段
CN105744006A (zh) * 2016-05-10 2016-07-06 中国民航大学 一种面向多类型服务的粒子群优化用户请求调度方法
CN105893158A (zh) * 2016-06-08 2016-08-24 北京工业大学 私有云条件下的大数据混合调度模型
CN109446641A (zh) * 2018-10-26 2019-03-08 龚玉环 一种云计算服务系统的多阶段可靠性建模分析方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110099403A1 (en) * 2009-10-26 2011-04-28 Hitachi, Ltd. Server management apparatus and server management method
CN103650426A (zh) * 2011-05-06 2014-03-19 思杰系统有限公司 用于在公共云与私有云之间进行云桥接的系统和方法
CN102426542A (zh) * 2011-10-28 2012-04-25 中国科学院计算技术研究所 数据中心资源管理系统及作业调度方法
CN102682117A (zh) * 2012-05-15 2012-09-19 浪潮电子信息产业股份有限公司 一种数据库集群数据快速复制的方法
CN104852934A (zh) * 2014-02-13 2015-08-19 阿里巴巴集团控股有限公司 基于前端调度实现流量分配的方法、装置和系统
CN104375897A (zh) * 2014-10-27 2015-02-25 西安工程大学 基于最小相对负载不均衡度的云计算资源调度方法
CN105516325A (zh) * 2015-12-18 2016-04-20 内蒙古农业大学 一种根据应用负载进行弹性扩容和流量分发扩展的云负载平衡手段
CN105744006A (zh) * 2016-05-10 2016-07-06 中国民航大学 一种面向多类型服务的粒子群优化用户请求调度方法
CN105893158A (zh) * 2016-06-08 2016-08-24 北京工业大学 私有云条件下的大数据混合调度模型
CN109446641A (zh) * 2018-10-26 2019-03-08 龚玉环 一种云计算服务系统的多阶段可靠性建模分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAORAN WEI等: "A Novel Scheduling Mechanism For Hybrid Cloud Systems", 《2016 IEEE 9TH INTERNATIONAL CONFERENCE ON CLOUD COMPUTING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813558A (zh) * 2020-07-23 2020-10-23 莫毓昌 一种面向混合云的资源调度方法
CN111813558B (zh) * 2020-07-23 2024-03-22 福建省凯特科技有限公司 一种面向混合云的资源调度方法

Similar Documents

Publication Publication Date Title
Usmani et al. A survey of virtual machine placement techniques in a cloud data center
Li et al. An improved max-min task-scheduling algorithm for elastic cloud
US20130198755A1 (en) Apparatus and method for managing resources in cluster computing environment
Liu et al. A survey on virtual machine scheduling in cloud computing
CN107977271B (zh) 一种数据中心综合管理系统负载均衡方法
Patni et al. Load balancing strategies for grid computing
Rajabzadeh et al. New comprehensive model based on virtual clusters and absorbing Markov chains for energy-efficient virtual machine management in cloud computing
Nie et al. Energy-aware multi-dimensional resource allocation algorithm in cloud data center
Moens et al. Design and evaluation of a hierarchical application placement algorithm in large scale clouds
CN110198356A (zh) 一种基于混合云的用户请求调度机制
Lu et al. An efficient load balancing algorithm for heterogeneous grid systems considering desirability of grid sites
CN103176850A (zh) 一种基于负载均衡的电力系统网络集群任务分配方法
CN103268261A (zh) 一种适用于大规模高效能计算机的层次式计算资源管理方法
He et al. Stochastic modeling and performance analysis of energy-aware cloud data center based on dynamic scalable stochastic petri net
Thiam et al. An energy-efficient VM migrations optimization in cloud data centers
Malarvizhi et al. Hierarchical load balancing scheme for computational intensive jobs in Grid computing environment
Nandagopal et al. Sender initiated decentralized dynamic load balancing for multi cluster computational grid environment
Nandagopal et al. Hierarchical status information exchange scheduling and load balancing for computational grid environments
CN106227600B (zh) 一种基于能量感知的多维虚拟资源分配方法
Nandagopal et al. Decentralized dynamic load balancing for multi cluster grid environment
Srivastava et al. Load management model for cloud computing using cloudsim
Son et al. Multi-objective optimization method for resource scaling in cloud computing
Saxena et al. Analysis of threshold based centralized load balancing policy for heterogeneous machines
Znati et al. Dilation Based Bidding Schemes For Dynamic Load Balancing On Distributed Processing system
Qin et al. Improving effective bandwidth of networks on clusters using load balancing for communication-intensive applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190903