CN102662760A - 一种基于虚拟机性能向量的任务调度方法 - Google Patents
一种基于虚拟机性能向量的任务调度方法 Download PDFInfo
- Publication number
- CN102662760A CN102662760A CN2012100766280A CN201210076628A CN102662760A CN 102662760 A CN102662760 A CN 102662760A CN 2012100766280 A CN2012100766280 A CN 2012100766280A CN 201210076628 A CN201210076628 A CN 201210076628A CN 102662760 A CN102662760 A CN 102662760A
- Authority
- CN
- China
- Prior art keywords
- virtual machine
- task
- performance
- scheduling
- vectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种基于虚拟机性能向量的任务调度方法,基于虚拟机性能向量的任务调度方法位于任务调度节点上,它包括虚拟机资源信息维护模块、性能向量计算模块、路由分析模块、任务调度模块四个部分,提出了虚拟机性能量、虚拟机性能方向和虚拟机性能圆三个概念,该方法抽象虚拟机的计算能力、存储量、虚拟机到调度节点的通信量和路由特性,针对各任务的计算量、存储量、网络通信量的需求,计算虚拟机的性能向量,从量和方向的差异化角度调度任务,使任务能够分配到高效执行该类特点的任务的虚拟机上,由于采用了方向和量的差异化计算,能达到负载均衡的目的。
Description
技术领域
本发明涉及一种基于虚拟机性能向量的任务调度方法,该方法应用于基于云计算的平台,属于计算机科学与技术领域。
背景技术
目前搜索引擎、电子商务等应用都采用云计算技术或网络化操作系统,任务调度技术作为云计算中的关键技术之一,对于服务程序的稳定、高性能运行有着至关重要的作用。
云计算的一个重要特点是资源虚拟化,它把服务器的计算能力、存储能力、网络通信能力等资源抽象成虚拟资源,这些虚拟资源组合成虚拟机。这样,一台物理服务器可以被抽象成多台具有独立计算能力的虚拟机。
计算能力、存储能力、网络通信能力等资源抽象成虚拟资源后,对这些虚拟资源的管理变得更加复杂。支持云计算的平台(云平台)为此建立了强大的虚拟机资源管理系统,以支撑服务程序(包含多个任务)的任务调度、资源分配等。
从技术角度看,服务程序的任务调度实质是对云平台中虚拟机资源的利用,从服务角度看,用户希望服务程序在执行时间、网络通信方面是可保障的,服务程序(或任务)的执行时间是一个重要指标。但从云平台运行稳定、高效的角度看,云平台给服务程序的运行分配的资源应该是公平、高效的,需要考虑虚拟机执行任务的负载均衡,将系统内的任务映射到合理的虚拟机上,达到充分、均衡的利用系统资源的目的,同时要考虑任务的特点,需要考虑服务的高效性。
目前,云平台中任务调度算法有Min-min算法、Max-min算法、遗传算法、模拟退火算法、Sufferage算法、蚁群算法等。对于快速发展的云计算,其主要有超大规模、虚拟化、高可靠性、按需服务以及高扩展性等特点,这些算法还有一定的距离,而对于传统的任务调度算法和网格计算下的任务调度算法,其目标更多的是快速的响应来自用户的任务请求,已经不能完全适应云计算的各个特点。因此提出适用于云平台的任务调度方式非要紧迫。
本发明提出一种基于虚拟机性能向量的任务调度方法,该方法首先抽象虚拟机的计算能力、存储量、虚拟机到调度节点的通信量和路由特性,针对各任务的需求(或特性,如计算量、存储量、网络通信量),计算虚拟机的性能向量,从量、方向的角度调度任务,使任务能够分配到高效执行该类特点的任务的虚拟机上,由于采用了方向和量的差异化计算,总体上能达到负载均衡的目的。
发明内容
针对背景技术所述,本发明的目的在于提出一种基于虚拟机性能向量的任务调度方法。
本发明采用以下技术方案来实现:
本发明一种基于虚拟机性能向量的任务调度方法,该方法位于起任务调度作用云平台管理系统上,这里称谓任务调度节点,是云平台管理系统的一个软件模块。任务调度节点(调度节点)的位置如图1所示,大型网站或服务有大量的服务器,入口也很多,用户通过内容分发网络(Content Delivery Network)接入到不同的入口服务器,这里的入口服务器承担任务调度,所以一个入口服务器是一个调度节点;每个调度节点管理着一批虚拟机,这些虚拟机在一个管理域中,这里称谓内容分发网络管理域(CDN管理域)。每个调度节点之间采用任务调度链来连接,方便调度节点之间的任务调度。
任务调度节点所在CDN管理域的任务调度,基于虚拟机性能向量的任务调度方法位于任务调度节点上,它包括虚拟机资源信息维护模块、性能向量计算模块、路由分析模块、任务调度模块四个部分。图2是基于虚拟机性能向量的任务调度方法的各个组成部分及信息利用关系。下面介绍各组成部分。
(1)虚拟机资源信息维护模块(VMIM,Virtual Machine InformationModule):该模块记录管理域内每个虚拟机的计算能力、存储能力以及虚拟机到调度节点的网络吞吐量和路径。VMIM的这些信息是通过人工输入配置的。
(2)路由分析模块(RAM,Routing Analysis Module):该模块针对每个虚拟机分析虚拟机到任务调度节点之间的路由,避免新任务的调度引起网络通信的阻塞。
(3)性能向量计算模块(PVCM,Performance Vector CountingModule):该模块实现虚拟机的内存、计算能力、存储能力以及虚拟机到调度节点的网络吞吐量和路径的量化计算。针对服务程序任务,依次对每个虚拟机,根据虚拟机的计算能力、存储能力以及虚拟机到调度节点的网络吞吐量和路径计算出用户任务所花费的时间,最后把计算时间和方向(这里称谓性能向量)以表的形式存放。
(4)任务调度模块(TSM,Task Schedule Module):该模块把用户的服务程序按功能、计算等分成不同的并行任务,它依据任务调度方法,把分解的任务调度到所管理的虚拟机上执行。
一种基于虚拟机性能向量的任务调度方法包括图3所示的7个步骤:
(1)虚拟机资源信息维护:VMIM模块通过人工输入、配置、任务调度信息,记录和维护虚拟机的内存、计算能力、存储能力等现状信息,通过网络测量(如测量RTT(Round Trip Time)的方式)获得虚拟机到调度节点的网络吞吐量、路径和时延等信息。
(2)虚拟机路由分析:RAM根据(1)中维护的虚拟机到任务调度节点的路径(这里称谓虚拟机路径),检查虚拟机路由的相关性,计算出虚拟机路由的相关系数(α)。
(3)虚拟机性能值计算:任务调度节点接到用户服务程序运行的请求后,把服务程序分解成不同的任务,每个任务量化成计算量(C)、通信数据量(M)、存储容量(N)。结合(1)中的虚拟机资源信息(计算能力Cr,通信吞吐量Mr,存储量),PVCM计算出虚拟机性能值P=C/Cr+M/Mr。虚拟机性能值的单位是个时间单位(例如毫秒)。这样针对服务程序的每个任务,每个虚拟机都有一个性能值。
(4)虚拟机性能向量计算:PVCM根据虚拟机性能值(P)和路由(R),形成虚拟机性能向量:V=<P,R>,其中P是虚拟机性能向量的大小,R是虚拟机性能向量的方向。
(5)虚拟机性能圆确定:任务调度模块TSM把所有虚拟机性能向量以任务调度节点为中心画成如图4所示的辐射视图,而有的服务程序需要一定的执行时间要求,所以需要一个执行时间阈值Et作为虚拟机性能圆的半径,而每个任务的执行时间最好接近或小于Et,为此,TSM以Et画出性能圆,确定最佳的虚拟机来执行该任务。
(6)最佳虚拟机的确定:根据虚拟机性能圆内的虚拟机,排序确定其中虚拟机性能量最小的虚拟机。如果找不到虚拟机性能圆内的虚拟机,则调度失败。
(7)虚拟机方向的确定:检查最佳虚拟机在路径上是否和其它虚拟机的执行有相互影响,如果是,则需要去除该虚拟机后回到步骤(6)开始执行,否则该最佳虚拟机就被选中,并分配任务,完成调度。
根据虚拟机的性能向量和性能圆可以确定服务程序的每个任务由哪些虚拟机来执行,由于同一个应用的多个任务在不同方向,通信上不会相互影响,另外由于任务的不同特点,性能向量会不同或差异化,以达到任务分配均衡、任务达到有效的性能。
本发明从量化、方向化的角度调度任务,使任务能够分配到高效执行该类特点的任务的虚拟机上,由于采用了方向和量的差异化计算,总体上能达到负载均衡的目的。本发明的详细优势在于(1)每个任务依据计算、存储、网络状况,计算出的虚拟机性能向量视图不同,使不同的任务能在自己的特点下找到自己最合适的虚拟机,提高了服务程序的执行性能。(2)由于每个任务由自己的虚拟机性能向量视图,这种差异性能保证任务在虚拟机中比较均衡的分配。(3)由于采用了虚拟机性能向量中的方向,能一定程度上避免了网络流量的拥塞等。(4)虚拟机性能圆能很好地控制任务的执行时间。
附图说明
图1任务调度节点、CDN管理域的关系
图2基于虚拟机性能向量的任务调度方法各个组成部分及信息利用关系
图3基于虚拟机性能向量的任务调度步骤
图4由虚拟机性能向量形成的性能圆视图
图5任务1的性能向量和性能圆视图
图6任务2的性能向量和性能圆视图
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例也仅仅是本发明的一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了说明一种基于虚拟机性能向量的任务调度方法,这里给出了一个实例。实例中的服务程序有两个任务:任务1和任务2。任务1需要的通行数据量为20Mbps,计算量为30,存储为500MB。
虚拟机资源信息维护模块VMIM中,虚拟机a的计算能力是10每毫秒,网络吞吐量是10Mbps,存储容量为1000MB。可以看出虚拟机a满足任务1的要求。虚拟机性能向量计算模块PVCM计算出虚拟机a针对任务1的性能值P=C/Cr+M/Mr=20/10+30/10=5毫秒。同样可以算出其它虚拟机b,c,d,e,f,g,h,i针对任务1的性能值为11,8,6,7,10,12,10,9,分别用a(5),b(11),c(8),d(6),e(7),f(10),g(12),h(10),i(9)来表示。
虚拟机路由分析模块RAM根据虚拟机的路由给出各个虚拟机的方向,任务调度模块根据任务1给出如图5所示的任务1的虚拟机性能向量。而该服务程序需要在9毫秒内执行完,任务调度模块以9为半径画出任务1的虚拟机性能圆。任务调度模块发现a,c,d,e满足性能要求,虚拟机a是性能最佳的。
任务调度模块采用同样的方法,可以计算出服务程序中任务2的虚拟机性能向量和性能圆如图6所示。其中a(10),b(2),c(8),d(6),i(7),g(7),5个虚拟机满足服务程序的性能要求,可以看出虚拟机b是满足任务2的最佳性能要求,但是虚拟机b和执行任务1虚拟a在同一个方向上,可能会产生通信的阻塞,所以任务调度模块选择性能值其次的虚拟机d(6)来执行任务2。
用户的服务程序包括了两个任务:任务1和任务2,虚拟机的调度模块依据虚拟机性能值、虚拟机方向构成的虚拟机性能向量,采用虚拟机性能圆来寻找执行任务,分别找到了虚拟机a来执行任务1,找到虚拟机d来执行任务2。这样,任务调度模块能把任务均衡的分布到不同虚拟机上去执行,并能达到较好的性能。
Claims (1)
1.针对云计算管理系统对任务调度的负载分配不均衡、虚拟机网络通信拥塞、任务执行有效性不够问题,提出了本专利。本专利:一种基于虚拟机性能向量的任务调度方法,该方法位于云计算管理系统的任务调度节点上,它包括虚拟机资源信息维护模块、性能向量计算模块、路由分析模块、任务调度模块四个部分,该方法抽象虚拟机的计算能力、存储量、虚拟机到调度节点的通信量和路由特性,针对各任务的计算量、存储量、网络通信量的需求,计算虚拟机的性能向量,从量和方向的差异化角度调度任务,使任务能够分配到高效执行该类特点的任务的虚拟机上,由于采用了方向和量的差异化计算,能达到负载均衡的目的。其特点在于:
虚拟机性能量的计算。本专利实现虚拟机的内存、计算能力、存储能力以及虚拟机到调度节点的网络吞吐量和路径的量化计算。针对服务程序任务,依次对每个虚拟机,根据虚拟机的计算能力、存储能力以及虚拟机到调度节点的网络吞吐量和路径计算出用户任务所花费的时间,作为虚拟机的性能量。
虚拟机性能向量的计算。根据虚拟机性能值和路由,形成虚拟机性能向量,虚拟机性能向量包括虚拟机性能向量的大小和虚拟机性能的方向。
虚拟机性能圆的确定。把所有虚拟机性能向量以任务调度节点为中心画成辐射视图,其中执行时间阈值Et是虚拟机性能圆的半径,虚拟机性能圆的功能是确定最佳的虚拟机来执行任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012100766280A CN102662760A (zh) | 2012-03-22 | 2012-03-22 | 一种基于虚拟机性能向量的任务调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012100766280A CN102662760A (zh) | 2012-03-22 | 2012-03-22 | 一种基于虚拟机性能向量的任务调度方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102662760A true CN102662760A (zh) | 2012-09-12 |
Family
ID=46772259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012100766280A Pending CN102662760A (zh) | 2012-03-22 | 2012-03-22 | 一种基于虚拟机性能向量的任务调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102662760A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104702502A (zh) * | 2013-12-09 | 2015-06-10 | 中兴通讯股份有限公司 | 网络路径计算方法及装置 |
CN106095581A (zh) * | 2016-06-18 | 2016-11-09 | 南京采薇且歌信息科技有限公司 | 一种私有云条件下的网络存储虚拟化调度方法 |
CN106998303A (zh) * | 2017-03-24 | 2017-08-01 | 中国联合网络通信集团有限公司 | 路由节点的负载均衡方法和负载均衡系统 |
CN107038059A (zh) * | 2016-02-03 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 虚拟机部署方法及装置 |
CN111143037A (zh) * | 2019-12-31 | 2020-05-12 | 联想(北京)有限公司 | 一种虚拟机资源分配方法、设备、系统及存储介质 |
CN118484313A (zh) * | 2024-07-16 | 2024-08-13 | 北京安联通科技有限公司 | 基于数据特征的智能算力调用管理系统及方法 |
-
2012
- 2012-03-22 CN CN2012100766280A patent/CN102662760A/zh active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104702502A (zh) * | 2013-12-09 | 2015-06-10 | 中兴通讯股份有限公司 | 网络路径计算方法及装置 |
CN107038059A (zh) * | 2016-02-03 | 2017-08-11 | 阿里巴巴集团控股有限公司 | 虚拟机部署方法及装置 |
CN106095581A (zh) * | 2016-06-18 | 2016-11-09 | 南京采薇且歌信息科技有限公司 | 一种私有云条件下的网络存储虚拟化调度方法 |
CN106998303A (zh) * | 2017-03-24 | 2017-08-01 | 中国联合网络通信集团有限公司 | 路由节点的负载均衡方法和负载均衡系统 |
CN111143037A (zh) * | 2019-12-31 | 2020-05-12 | 联想(北京)有限公司 | 一种虚拟机资源分配方法、设备、系统及存储介质 |
CN111143037B (zh) * | 2019-12-31 | 2023-11-21 | 联想(北京)有限公司 | 一种虚拟机资源分配方法、设备、系统及存储介质 |
CN118484313A (zh) * | 2024-07-16 | 2024-08-13 | 北京安联通科技有限公司 | 基于数据特征的智能算力调用管理系统及方法 |
CN118484313B (zh) * | 2024-07-16 | 2024-10-11 | 北京安联通科技有限公司 | 基于数据特征的智能算力调用管理系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107465708B (zh) | 一种cdn带宽调度系统及方法 | |
Liu et al. | On arbitrating the power-performance tradeoff in SaaS clouds | |
CN102662760A (zh) | 一种基于虚拟机性能向量的任务调度方法 | |
CN105656973B (zh) | 一种分布式节点组内任务调度方法及系统 | |
CN103179217B (zh) | 一种用于web应用服务器群组的负载均衡方法和装置 | |
CN109218355A (zh) | 负载均衡引擎,客户端,分布式计算系统以及负载均衡方法 | |
CN108170530B (zh) | 一种基于混合元启发式算法的Hadoop负载均衡任务调度方法 | |
Nazir et al. | Cuckoo optimization algorithm based job scheduling using cloud and fog computing in smart grid | |
CN104038540A (zh) | 一种应用代理服务器自动选择方法及系统 | |
CN102447719A (zh) | Web GIS服务的动态负载均衡信息处理系统 | |
CN105515977B (zh) | 获取网络中传输路径的方法、装置和系统 | |
CN105242956A (zh) | 虚拟功能服务链部署系统及其部署方法 | |
Nazar et al. | Modified shortest job first for load balancing in cloud-fog computing | |
CN106131227A (zh) | 负载平衡方法、元数据服务器系统及负载平衡系统 | |
Kang et al. | A cluster-based decentralized job dispatching for the large-scale cloud | |
CN104283963B (zh) | 一种分布合作式的cdn负载均衡方法 | |
Yao et al. | A network-aware virtual machine allocation in cloud datacenter | |
CN102932271A (zh) | 负载均衡的实现方法和装置 | |
CN102333120A (zh) | 一种负载均衡处理的流存储系统 | |
CN103997515A (zh) | 一种分布式云中计算中心选择方法及其应用 | |
Jangiti et al. | Resource ratio based virtual machine placement in heterogeneous cloud data centres | |
Mohamed et al. | A survey of big data machine learning applications optimization in cloud data centers and networks | |
Batra et al. | A brief overview of load balancing techniques in fog computing environment | |
KR20130060350A (ko) | Atca-기반 장비에서 통신 트래픽을 스케줄링하기 위한 방법 및 장치 | |
Rekha et al. | Cost based data center selection policy for large scale networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20120912 |