CN109740870B - 云计算环境下Web应用的资源动态调度方法 - Google Patents

云计算环境下Web应用的资源动态调度方法 Download PDF

Info

Publication number
CN109740870B
CN109740870B CN201811544693.5A CN201811544693A CN109740870B CN 109740870 B CN109740870 B CN 109740870B CN 201811544693 A CN201811544693 A CN 201811544693A CN 109740870 B CN109740870 B CN 109740870B
Authority
CN
China
Prior art keywords
bidding
instance
resource
type
turning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811544693.5A
Other languages
English (en)
Other versions
CN109740870A (zh
Inventor
刘段
蔡志成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201811544693.5A priority Critical patent/CN109740870B/zh
Publication of CN109740870A publication Critical patent/CN109740870A/zh
Application granted granted Critical
Publication of CN109740870B publication Critical patent/CN109740870B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种云计算环境下Web应用的资源动态调度方法，考虑了用户请求的动态变化、应用的时延要求、云资源的异构性、竞价实例价格波动等。该方法包括：A）基于负载预测和应用的时延要求确定最佳资源量；B）基于竞价实例价格预测选择成本最低的竞价类型；C）采用预租赁减少资源请求和创建所造成的时延增加。步骤A的主要特点是将预测负载作为排队模型的到达率，结合应用的时延约束，求解所需租赁的最小虚拟机数量；步骤B的主要特点是基于价格预测选择预测成本最低的竞价类型进行租赁；步骤C的主要特点是在计费点到达前进行预租赁。本发明通过负载预测、应用时延约束、价格预测和预租赁来实现资源动态调度，能够在保证应用性能的同时降低云资源租赁成本。

Description

云计算环境下Web应用的资源动态调度方法
技术领域
本发明属于云计算资源调度技术领域，特别是一种云计算环境下Web应用的资源动态调度方法。
背景技术
作为新兴的计算服务模型，云计算利用虚拟化技术使得计算资源池化和共享化，提升了计算能力、降低了资源管理开销，使云用户能够即付即用、动态按需租赁。由于弹性高效、便捷廉价，云计算已被广泛应用于数据分析和科学计算等领域。中小企业按照需求租赁云计算硬件和软件资源，解决了其处理海量数据和计算密集型应用时所面临的系统成本投资高、部署任务耗时长等瓶颈，使得企业能够更专注于业务逻辑及软件开发。
对于云用户来说，实现计算或存储任务与所租赁的资源类型及规模之间的合理映射是保证应用性能、减少资源租赁成本的关键。云资源提供商根据处理器、性能特点和存储容量等标准为用户提供多种类型的虚拟机。采用不同的计费模式，虚拟机又分为按需实例、保留实例和竞价实例。云实例通常按小时计费。价格固定的按需资源成本高昂，稳定性高；竞价实例是基于拍卖的形式，价格随市场需求随机波动，具有极低的价格，但存在竞标失败引起的虚拟机失效风险。若用户资源租赁规模较小，会导致应用响应时间过长、系统性能下降；反之则造成虚拟机资源浪费、租赁成本过高。因此云用户急需一种有效的资源动态供应方法，来求解最佳的资源租赁类型和数量，以保证系统性能的前提下最小化资源租赁成本。
处理用户实时提交请求的应用被称为在线应用，云计算在线应用可以主要分为两种不同类型：交互式应用、海量数据处理或计算密集型应用。基于Web的应用属于交互式应用，其特点是任务请求数量多、单个任务资源需求量少。就单层的Web应用而言，到达系统的相互独立的请求任务可根据到达时间或任务优先级等被分派到虚拟机上并行执行，该过程可用排队知识进行建模。多层Web应用可建模为多个级联的排队模型。
在实际运用中，需要考虑Web应用负载的动态变化以及竞价实例价格的随机波动，同时还需要考虑虚拟机的请求时间和建立时间，这些都给云资源动态供应和调度方法的制定带来了挑战。目前已有诸多方法和项目专注于解决云环境下Web应用的资源调度问题，但是这些方法中大多是基于云实例同构的假设，很少涉及含有竞价实例的异构资源系统。
发明内容
本发明的发明目的在于提供一种云计算环境下Web应用的资源动态调度方法。现有针对Web应用的云资源动态供应方法大多基于价格固定的按需实例，忽略了价格极低的竞价实例。本发明提出的云环境下Web应用的弹性资源供应方法，设计基于竞价实例价格预测和预租赁的异构资源租赁模型，以保证系统性能，同时减少资源租赁成本。
技术方案：一种云计算环境下的Web应用资源调度方法，包括以下步骤：
A.基于负载预测和时延要求确定最佳资源量：利用时间序列分析方法建立负载预测模型；将预测负载作为排队系统的到达率，构建
Figure 10708DEST_PATH_IMAGE001
多服务台排队模型；将时延要求作为参数，反推出满足时延要求的最小虚拟机数量；
B. 基于竞价价格预测调整异构资源租赁策略：根据步骤A得到所需最小资源量，寻找最佳的按需实例和竞价实例组合租赁方案；选择竞价类型时，利用价格预测租赁预测成本最低的竞价类型；
C. 基于预租赁减少响应时间震荡：在实例计费点到达之前触发该事件，调用步骤A和步骤B来得到最佳租赁方案，对比系统当前的租赁情况，对新增的实例资源进行预租赁，将要释放的资源添加到释放列表，在真正的计费点到达时进行释放。
所述步骤A中基于负载预测的排队模型及时延约束来确定系统所需最小资源量的具体步骤包括：
A1. 对应用请求数据进行预处理，得到按分钟统计的请求数量的时间序列；
A2. 选择负载预测模型参数，对请求时间序列做平稳性、自回归和偏自回归检验，选择合适的差分阶数
Figure DEST_PATH_IMAGE002
、自回归系数
Figure 82176DEST_PATH_IMAGE003
和偏自回归系数
Figure DEST_PATH_IMAGE004
，建立自回归滑动平均求和模型
Figure 127492DEST_PATH_IMAGE005
；
A3. 进行负载预测，利用步骤A2得到的
Figure 194805DEST_PATH_IMAGE005
模型进行负载预测，选择当前时间窗口的历史数据训练模型得到自回归系数和滑动平均系数，预测未来间隔内的请求到达数量
Figure DEST_PATH_IMAGE006
；
A4. 构建排队模型，将步骤A3得到的预测负载作为排队模型的到达率
Figure 540336DEST_PATH_IMAGE007
，假设请求的到达时间间隔及虚拟机的处理时间间隔均服从指数分布，构建多服务窗的排队模型
Figure 97219DEST_PATH_IMAGE001
；
A5. 计算系统所需最小资源量
Figure DEST_PATH_IMAGE008
，首先基于步骤A4建立的排队模型，得到应用时延与虚拟机数量之间的关系
Figure 20045DEST_PATH_IMAGE009
，其中
Figure DEST_PATH_IMAGE010
、
Figure 750103DEST_PATH_IMAGE011
，
Figure DEST_PATH_IMAGE012
，
Figure 622245DEST_PATH_IMAGE013
是资源系统中给定的按需资源的处理能力，
Figure DEST_PATH_IMAGE014
是虚拟机数量；接着计算最小虚拟机数量
Figure 772865DEST_PATH_IMAGE015
，排队系统要求
Figure DEST_PATH_IMAGE016
，则对应最大时延
Figure 792774DEST_PATH_IMAGE017
；再计算最小时延
Figure DEST_PATH_IMAGE018
，
Figure 733048DEST_PATH_IMAGE019
是系统允许的最大虚拟机数量，因此
Figure DEST_PATH_IMAGE020
；构建函数
Figure 646646DEST_PATH_IMAGE021
,其中
Figure DEST_PATH_IMAGE022
是应用给定的时延条件，当
Figure 607649DEST_PATH_IMAGE023
时，利用R提供的
Figure DEST_PATH_IMAGE024
函数，求出虚拟机数量
Figure 255799DEST_PATH_IMAGE025
使得
Figure DEST_PATH_IMAGE026
，即
Figure 62081DEST_PATH_IMAGE027
为满足时延要求的最小虚拟机数量，则所需最小资源量为
Figure DEST_PATH_IMAGE028
。
所述步骤B中，包括：
B1. 基于步骤A所获得的最小资源量
Figure 871598DEST_PATH_IMAGE008
且按需虚拟机的数量
Figure 3502DEST_PATH_IMAGE029
给定时，根据当前系统状态计算租赁竞价类型最小和最大组数为
Figure DEST_PATH_IMAGE030
、
Figure 873370DEST_PATH_IMAGE031
，
Figure DEST_PATH_IMAGE032
代表当前系统中已租赁的竞价类型组，
Figure 483342DEST_PATH_IMAGE033
是容错水平，
Figure DEST_PATH_IMAGE034
代表所有竞价类型数，
Figure 433850DEST_PATH_IMAGE035
是系统设置允许租赁的最大竞价类型组数；
B2. 初始化策略候选集为空
Figure DEST_PATH_IMAGE036
，初始化
Figure 143180DEST_PATH_IMAGE037
；
B3. 如果
Figure DEST_PATH_IMAGE038
，是转步骤B4，否则转步骤B14；
B4. 初始化当前查找的策略为空，
Figure 985496DEST_PATH_IMAGE039
，计算当前按需资源成本
Figure DEST_PATH_IMAGE040
，
Figure 399160DEST_PATH_IMAGE041
为每台按需虚拟机的价格，添加到策略
Figure DEST_PATH_IMAGE042
中，再计算新增租赁的竞价类型组数
Figure 954906DEST_PATH_IMAGE043
和每组竞价实例组应满足的资源需求
Figure DEST_PATH_IMAGE044
，其中
Figure 287667DEST_PATH_IMAGE045
，
Figure DEST_PATH_IMAGE046
是每台按需实例具有的资源；
B5. 计算每一种已租赁的竞价实例类型需要的虚拟机数量及成本，添加到租赁策略
Figure 928864DEST_PATH_IMAGE042
中；
B6. 判断
Figure 83902DEST_PATH_IMAGE047
是否成立，成立则当前的方案不需要额外租赁竞价实例组，转步骤B12，否则转步骤B7；
B7. 计算每种未租赁的竞价实例类型的投标,
Figure DEST_PATH_IMAGE048
，
Figure 507537DEST_PATH_IMAGE049
为所需资源均由按需实例提供的费用，
Figure DEST_PATH_IMAGE050
为满足资源需求
Figure 152145DEST_PATH_IMAGE051
的
Figure DEST_PATH_IMAGE052
竞价类型的实例数量；
B8. 预测竞价类型的实例价格，分析竞价实例价格历史，对其进行平稳性、自回归和偏自回归检验，选择合适的差分阶数
Figure 218321DEST_PATH_IMAGE002
、自回归系数
Figure 239367DEST_PATH_IMAGE003
和偏自回归系数
Figure 35284DEST_PATH_IMAGE004
，建立自回归滑动平均求和模型
Figure 241006DEST_PATH_IMAGE005
，以当前窗口的价格数据训练模型，基于训练的模型预测未来时刻的价格
Figure 387954DEST_PATH_IMAGE053
，选择投标价格大于其预测价格的实例类型添加到可用竞价类型列表
Figure DEST_PATH_IMAGE054
，根据竞价实例组的资源要求
Figure 947111DEST_PATH_IMAGE051
，计算相应竞价类型的成本
Figure 800798DEST_PATH_IMAGE055
；
B9. 将
Figure 724892DEST_PATH_IMAGE054
中可用的竞价类型按照其租赁成本进行升序排序，得到
Figure DEST_PATH_IMAGE056
；
B10. 判断可用的竞价类型数是否大于当前查找策略
Figure 155873DEST_PATH_IMAGE042
所需要的实例组数，是则转步骤B11，否则转步骤B13；
B11. 选择
Figure 144820DEST_PATH_IMAGE056
中前
Figure 180909DEST_PATH_IMAGE057
个成本较低的竞价类型，添加到租赁策略
Figure 338221DEST_PATH_IMAGE042
；
B12. 将
Figure 131864DEST_PATH_IMAGE042
添加到租赁策略候选集
Figure DEST_PATH_IMAGE058
中；
B13.
Figure 767245DEST_PATH_IMAGE059
，转到步骤B3；
B14. 如果
Figure DEST_PATH_IMAGE060
，则转步骤B15，否则转步骤B16；
B15. 返回租赁策略候选集
Figure 313633DEST_PATH_IMAGE058
中成本最低
Figure 907425DEST_PATH_IMAGE061
的策略，退出；
B16. 返回空，退出。
所述步骤C中，包括：
C1. 获取即将到达计费点的实例类型
Figure DEST_PATH_IMAGE062
；
C2. 判断实例类型，如果是按需实例类型转步骤C3，否则转步骤C9；
C3. 判断按需资源能否满足最低比例要求，是转步骤C4，否则转步骤C16；
C4. 假设从资源方案中删除当前按需实例，计算剩余的按需资源
Figure 922786DEST_PATH_IMAGE063
；
C5. 判断剩余资源能否满足按需资源要求，即
Figure DEST_PATH_IMAGE064
，能转步骤C6，否则转步骤C16；
C6. 分别查找继续租赁和释放当前实例两种情况下的最佳租赁方案
Figure 627437DEST_PATH_IMAGE065
与
Figure DEST_PATH_IMAGE066
，计算相应成本
Figure 792445DEST_PATH_IMAGE067
和
Figure DEST_PATH_IMAGE068
；
C7. 若
Figure 291560DEST_PATH_IMAGE069
，转步骤C8，否则转步骤C16；
C8. 根据
Figure 122113DEST_PATH_IMAGE066
更新当前策略
Figure 505821DEST_PATH_IMAGE042
，需要预租赁的资源发送租赁请求，转步骤C15；
C9. 判断当前实例是否为孤儿实例，是转步骤C15，否则转步骤C10；
C10. 获取当前实例所在实例组的类型
Figure DEST_PATH_IMAGE070
；
C11. 假设从资源方案中删除当前实例，计算其所在的实例组的剩余资源；
C12. 判断剩余资源能否满足资源要求
Figure 636588DEST_PATH_IMAGE051
，能转步骤C15，否则转步骤C13；
C13. 判断
Figure 696816DEST_PATH_IMAGE071
，是转步骤C16，否则转步骤C14；
C14. 预租赁当前竞价类型的实例，发送租赁请求；
C15. 将当前实例添加到释放列表
Figure DEST_PATH_IMAGE072
，在其计费点到达时真正从系统中删除；
C16. 预租赁操作结束，退出。
本发明与现有技术相比，其显著优点为：（1）利用基于负载预测与应用时延约束相结合的排队模型反向求解出最佳资源租赁规模，在保证应用性能的同时最小化租赁资源量；（2）选择租赁的竞价实例组时，采用竞价实例价格预测来租赁成本最低的竞价类型，减少资源租赁成本；（3）同时考虑到虚拟机的请求和创建时间，本发明采用预租赁操作，在实例计费点到达之前进行资源的预租赁，有效减少处于请求或创建中的虚拟机造成的系统性能下降。
附图说明
图1是本发明实施例实现云计算环境下Web应用资源调度方法的结构图。
图2是本发明实施例中基于负载预测和时延约束计算最小资源量的流程图。
图3是本发明实施例中由价格预测选取成本最低的竞价类型的流程图。
图4是本发明实施例中预租赁部分的流程图。
具体实施方式
下面结合具体实施例和说明书附图对本发明作进一步说明。
图1是本发明实施例实现云计算环境下Web应用的弹性资源供应方法的结构图。如图1所示，包括云服务提供商11、Web应用12、资源调度器13和虚拟数据中心14。本实施例中假设所述云环境中主要包含两种角色，即云服务供应商（例如IaaS供应商）和云服务用户。云服务供应商向云服务用户提供资源租赁服务（例如虚拟机和存储资源），资源租赁按照时间区间计费。云用户通过租赁云服务供应商的资源，组建自己的虚拟数据中心以服务于自己的应用。资源调度器为云用户提供自动规模调整机制，帮助用户在保证应用性能的前提下最小化资源租赁成本。
图2是本发明实施例中基于负载预测和实验约束计算最小资源量的流程图。如图2所示，具体步骤如下：
步骤s201. 获取动态窗口的训练数据，得到动态
Figure 811403DEST_PATH_IMAGE005
；
步骤s202. 进行负载预测，得到下个间隔的负载到达率
Figure 795539DEST_PATH_IMAGE073
；
步骤s203. 计算满足排队系统要求的最小虚拟机数量
Figure DEST_PATH_IMAGE074
；
步骤s204. 计算对应的最大时延
Figure 187338DEST_PATH_IMAGE017
；
步骤s205. 若已知应用的时延要求
Figure 293834DEST_PATH_IMAGE023
，转步骤s206，否则转步骤s207；
步骤s206. 利用R中
Figure 98979DEST_PATH_IMAGE024
函数，反推出满足时延要求的最小虚拟机数量
Figure 575222DEST_PATH_IMAGE025
，所需最小资源量
Figure 149423DEST_PATH_IMAGE075
，退出；
步骤s207. 若
Figure DEST_PATH_IMAGE076
，转步骤s208，否则转步骤s209；
步骤s208. 返回最小虚拟机数量
Figure 161241DEST_PATH_IMAGE015
，退出；
步骤s209. 返回最大虚拟机数量
Figure 125786DEST_PATH_IMAGE019
，退出。
图3是本发明实施例中由价格预测选取成本最低的竞价实例类型的流程图。如图3所示，预租赁操作的具体步骤如下：
步骤s301. 按需资源量给定时，根据当前系统状态计算租赁竞价类型最小和最大组数为
Figure 717304DEST_PATH_IMAGE030
、
Figure 208328DEST_PATH_IMAGE031
，
Figure 594310DEST_PATH_IMAGE033
是容错水平，
Figure 560998DEST_PATH_IMAGE034
代表所有竞价类型数，
Figure 690628DEST_PATH_IMAGE035
是系统设置允许租赁的最大竞价类型组数；
步骤s302. 初始化策略候选集为空
Figure 36159DEST_PATH_IMAGE036
，
Figure 858621DEST_PATH_IMAGE077
；
步骤s303. 如果
Figure 797759DEST_PATH_IMAGE038
，是转步骤s304，否则转步骤s314；
步骤s304. 初始化当前查找的策略为空，
Figure 731080DEST_PATH_IMAGE039
，计算当前按需资源量
Figure DEST_PATH_IMAGE078
及成本
Figure 665538DEST_PATH_IMAGE079
，
Figure 344387DEST_PATH_IMAGE040
，添加到策略
Figure 833137DEST_PATH_IMAGE042
中，再计算新增租赁的竞价类型组数
Figure 366887DEST_PATH_IMAGE043
和每组竞价实例组应满足的资源需求
Figure 624693DEST_PATH_IMAGE044
；
步骤s305. 计算每一种已租赁的竞价实例类型需要的虚拟机数量及成本，添加到租赁策略
Figure 726641DEST_PATH_IMAGE042
中；
步骤s306. 判断
Figure 437108DEST_PATH_IMAGE047
是否成立，成立则当前的方案不需要额外租赁竞价实例组，转步骤s312，否则转步骤s307；
步骤s307. 计算每种未租赁的竞价实例类型的投标,
Figure 774549DEST_PATH_IMAGE048
；
步骤s308. 预测竞价类型的实例价格，首先利用当前窗口的价格数据训练模型
Figure 152440DEST_PATH_IMAGE005
，预测未来时刻的价格
Figure 143399DEST_PATH_IMAGE053
，选择投标价格大于其预测价格的实例类型添加到可用竞价类型列表
Figure 872320DEST_PATH_IMAGE054
，计算每种可用竞价类型的成本
Figure 482293DEST_PATH_IMAGE055
；
步骤s309. 将
Figure 652375DEST_PATH_IMAGE054
中可用的竞价类型按照其租赁成本进行升序排序，得到
Figure 892863DEST_PATH_IMAGE056
；
步骤s310. 判断可用的竞价类型数是否大于当前查找策略
Figure 905819DEST_PATH_IMAGE042
所需要的实例组数，是则转步骤s311，否则转步骤s313；
步骤s311. 选择
Figure 522745DEST_PATH_IMAGE056
中前
Figure 298065DEST_PATH_IMAGE057
个成本较低的竞价类型，添加到租赁策略
Figure 975034DEST_PATH_IMAGE042
；
步骤s312. 将
Figure 209706DEST_PATH_IMAGE042
添加到租赁策略候选集
Figure 364744DEST_PATH_IMAGE058
中；
步骤s313.
Figure 509417DEST_PATH_IMAGE059
，转到步骤s303；
步骤s314. 如果
Figure 91709DEST_PATH_IMAGE060
，则转步骤s315，否则转步骤s316；
步骤s315. 返回租赁策略候选集
Figure 813677DEST_PATH_IMAGE058
中成本最低
Figure 772406DEST_PATH_IMAGE061
的策略；
步骤s316. 返回空。
图4是本发明实施例中在实例到达之前的预租赁部分的流程图。如图4所示，预租赁操作的具体步骤如下：
步骤s401. 获取即将到达计费点的实例类型
Figure 20853DEST_PATH_IMAGE062
；
步骤s402. 判断实例类型，按需实例类型转步骤s403，否则转步骤s409；
步骤s403. 判断按需资源能否满足最低比例要求，是转步骤s404，否则退出；
步骤s404. 假设从资源方案中删除当前按需实例，计算剩余的按需资源；
步骤s405. 判断剩余资源能否满足按需资源要求，能转步骤s406，否则退出；
步骤s406. 分别查找继续租赁和释放当前实例两种情况下的最佳租赁方案
Figure 39625DEST_PATH_IMAGE065
与
Figure 248889DEST_PATH_IMAGE066
，计算相应成本
Figure 417834DEST_PATH_IMAGE067
和
Figure 333837DEST_PATH_IMAGE068
；
步骤s407. 若
Figure 585827DEST_PATH_IMAGE069
，转步骤s408，否则退出；
步骤s408. 根据
Figure 220070DEST_PATH_IMAGE066
更新当前策略
Figure 217806DEST_PATH_IMAGE042
，需要预租赁的资源发送租赁请求，转步骤s415；
步骤s409. 判断当前实例是否为孤儿实例，是转步骤s415，否则转转步骤s410；
步骤s410. 获取当前实例所在实例组的类型
Figure 988316DEST_PATH_IMAGE070
；
步骤s411. 假设从资源方案中删除当前实例，计算其所在的实例组的剩余资源；
步骤s412. 判断剩余资源能否满足资源要求
Figure 411207DEST_PATH_IMAGE051
，能转步骤s415，否则转步骤s413；
步骤s413. 判断
Figure 532747DEST_PATH_IMAGE071
，是转步骤s416，否则转步骤s414；
步骤s414. 预租赁当前竞价类型的实例，发送租赁请求；
步骤s415. 将当前实例添加到释放列表
Figure 309073DEST_PATH_IMAGE072
，在其计费点到达时真正从系统中删除，退出；
通过上述过程，本发明实现云计算环境下Web应用的资源动态供应，在有效保证系统性能的情况下，最小化了系统总资源的租赁成本。

Claims (4)

1.一种云计算环境下Web应用的资源动态调度方法，其特征在于，该方法包括以下步骤：
A.基于负载预测和时延要求确定最佳资源量：利用时间序列分析方法建立负载预测模型；将预测负载作为排队系统的到达率，构建M/M/S多服务台排队模型；将时延要求作为参数，求解出满足时延要求的最小虚拟机数量；
B.基于竞价实例价格预测调整异构资源租赁策略：根据步骤A得到所需最小资源量，寻找最佳的按需实例和竞价实例组合租赁方案；选择竞价实例类型时，利用竞价实例价格预测选择预测成本最低的竞价类型；
C.基于预租赁减少响应时间振荡：在实例计费点到达前，调用步骤A和步骤B预测下一时刻系统的最佳租赁方案，对比系统当前的租赁情况，对下一时刻需要新增的实例资源提前租赁，将要释放的资源添加到释放列表，在真正的计费点到达时进行释放；
步骤C中包括：
C1.获取即将到达计费点的实例类型curVMconfig；
C2.判断实例类型，如果是按需实例类型转步骤C3，否则转步骤C9；
C3.判断按需资源能否满足系统给定的最低按需资源比例要求O，是转步骤C4，否则转步骤C16；
C4.假设从资源方案中删除当前按需实例，计算剩余的按需资源rewithoutn；
C5.判断剩余资源能否满足按需资源要求O，即rewithoutn≥R·O，能转步骤C6，否则转步骤C16；
C6.分别查找继续租赁和释放当前实例两种情况下的最佳租赁方案Pn与Pn-1，计算相应成本Cost(Pn)和Cost(Pn-1)；
C7.若Cost(Pn)>Cost(Pn-1)，转步骤C8，否则转步骤C16；
C8.根据Pn-1更新当前策略P，需要预租赁的资源发送租赁请求，转步骤C15；
C9.判断当前实例是否为孤儿实例(orphan)，孤儿实例是指该实例不存在任何一个竞价类型组里面，是转步骤C15，否则转步骤C10；
C10.获取当前实例所在实例组的类型configofGroup；
C11.假设从资源方案中删除当前实例，计算其所在的实例组的剩余资源；
C12.判断剩余资源能否满足资源要求Q，能转步骤C15，否则转步骤C13；
C13.判断curVMconfig＝＝configofGroup，是转步骤C16，否则转步骤C14；
C14.预租赁当前竞价类型的实例，发送租赁请求；
C15.将当前实例添加到释放列表toRemove.add(vm)，在其计费点到达时真正从系统中删除；
C16.预租赁操作结束，退出。
2.如权利要求1所述的云计算环境下Web应用的资源动态调度方法，其特征在于，所述步骤A中包括:
A1.对应用请求数据进行预处理，得到按分钟统计的请求数量的时间序列；
A2.选择负载预测模型参数，对请求时间序列做平稳性、自回归和偏自回归检验，选择合适的差分阶数d、自回归系数q和偏自回归系数p，建立自回归滑动平均求和模型ARIMA(p,d,q)；
A3.进行负载预测，利用步骤A2得到的ARIMA(p,d,q)模型进行负载预测，选择当前时间窗口的历史数据训练模型得到自回归系数和滑动平均系数，预测未来间隔内的请求到达数量Reqnumpre；
A4.构建排队模型，将步骤A3得到的预测负载作为排队模型的到达率λ,λ＝Reqnumpre，假设请求的到达时间间隔及虚拟机的处理时间间隔均服从指数分布，构建多服务窗的排队模型M/M/S,其中第一个M代表请求的到达时间间隔服从指数分布，第二个M代表虚拟机的处理时间间隔服从指数分布，S代表虚拟机数量；
A5.计算系统所需最小资源量R，首先基于步骤A4建立的排队模型，得到应用时延T与虚拟机数量m之间的关系，
Figure FDA0003712388950000021
其中
Figure FDA0003712388950000022
Figure FDA0003712388950000023
μ是资源系统中给定的按需资源的处理能力，m是虚拟机数量；接着计算最小虚拟机数量n0，由于排队系统要求
Figure FDA0003712388950000024
因此取最小的虚拟机数量为
Figure FDA0003712388950000025
则对应最大时延maxT，
Figure FDA0003712388950000026
再计算最小时延minT，N是系统允许的最大虚拟机数量，因此
Figure FDA0003712388950000027
构建函数
Figure FDA0003712388950000028
其中delay是应用给定的时延条件，当delay∈[minT,maxT]时，利用R提供的uniroot()函数，求出虚拟机数量n∈[n0,N]使得f＝0，即n为满足时延要求的最小虚拟机数量，则所需最小资源量为R＝n·μ。
3.如权利要求1所述的云计算环境下Web应用的资源动态调度方法，其特征在于，所述步骤B中包括：
B1.基于步骤A所获得的最小资源量R且按需虚拟机的数量
Figure FDA0003712388950000039
给定时，根据当前系统状态计算租赁竞价类型最小和最大组数为minGroups＝max(|curGroups|,f+1)、maxGroups＝min(|A|,S)，curGroups代表当前系统中已租赁的竞价类型组，f是容错水平，A代表所有竞价类型数，S是系统设置允许租赁的最大竞价类型组数；
B2.初始化策略候选集为空
Figure FDA0003712388950000031
初始化s＝minGroups；
B3.判断s≤maxGroups是否成立，是转步骤B4，否则转步骤B14；
B4.初始化当前查找的策略为空
Figure FDA0003712388950000032
计算当前按需资源成本
Figure FDA0003712388950000033
Figure FDA0003712388950000034
为每台按需虚拟机的价格，添加到策略P中，再计算新增租赁的竞价类型组数k＝s-|curGroups|和每组竞价实例组应满足的资源需求
Figure FDA0003712388950000035
其中
Figure FDA0003712388950000036
μo是每台按需实例具有的资源；
B5.计算每一种已租赁的竞价实例类型需要的虚拟机数量及成本，添加到租赁策略P中；
B6.判断s＝＝|curGroups|是否成立，成立则当前的方案不需要额外租赁竞价实例组，转步骤B12，否则转步骤B7；
B7.计算每种未租赁的竞价实例类型的投标,
Figure FDA0003712388950000037
c0为所需资源均由按需实例提供的费用，
Figure FDA0003712388950000038
为满足资源需求Q的vmi竞价类型的实例数量；
B8.预测竞价类型的实例价格，选择投标价格大于其预测价格的实例类型添加到可用竞价类型列表availGroups，计算每种可用竞价类型的成本；
B9.将availGroups中可用的竞价类型按照其租赁成本进行升序排序，得到sortedGroups；
B10.判断可用的竞价类型数是否大于当前查找策略P所需要的实例组数，是则转步骤B11，否则转步骤B13；
B11.选择sortedGroups中前k个成本较低的竞价类型，添加到租赁策略P；
B12.将P添加到租赁策略候选集candPrivisions中；
B13.s＝s+1，转到步骤B3；
B14.如果
Figure FDA0003712388950000043
则转步骤B15，否则转步骤B16；
B15.返回租赁策略候选集candPrivisions中成本最低optimalP的策略，退出；
B16.返回空，退出。
4.如权利要求3所述的云计算环境下Web应用的资源动态调度方法，其特征在于，所述步骤B8中，基于竞价类型的预测价格计算每种可用竞价类型的成本：(1)分析竞价类型的竞价价格历史，对其进行平稳性、自回归和偏自回归检验，选择合适的差分阶数d、自回归系数q和偏自回归系数p，建立自回归滑动平均求和模型ARIMA(p,d,q)，以当前窗口的价格数据训练模型，基于训练的模型预测未来时刻的价格
Figure FDA0003712388950000041
(2)根据预测的竞价价格及竞价实例组的资源要求Q，计算相应竞价类型的成本
Figure FDA0003712388950000042
进而在步骤B11中系统选择预测成本最低的实例类型，而非基于历史竞价价格计算的成本。
CN201811544693.5A 2018-12-17 2018-12-17 云计算环境下Web应用的资源动态调度方法 Expired - Fee Related CN109740870B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811544693.5A CN109740870B (zh) 2018-12-17 2018-12-17 云计算环境下Web应用的资源动态调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811544693.5A CN109740870B (zh) 2018-12-17 2018-12-17 云计算环境下Web应用的资源动态调度方法

Publications (2)

Publication Number Publication Date
CN109740870A CN109740870A (zh) 2019-05-10
CN109740870B true CN109740870B (zh) 2022-09-06

Family

ID=66360350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811544693.5A Expired - Fee Related CN109740870B (zh) 2018-12-17 2018-12-17 云计算环境下Web应用的资源动态调度方法

Country Status (1)

Country Link
CN (1) CN109740870B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111045827B (zh) * 2019-12-17 2023-11-24 华东理工大学 云雾环境中基于资源共享的时间有效性的任务调度方法
CN112156453B (zh) * 2020-10-21 2022-06-03 腾讯科技（深圳）有限公司 实例自适应调整方法、装置、计算机可读存储介质及设备
CN114489922A (zh) * 2020-11-12 2022-05-13 华为云计算技术有限公司 虚拟实例设置方法及装置
CN114780232B (zh) * 2022-03-25 2023-04-07 阿里巴巴（中国）有限公司 云应用调度方法、装置、电子设备及存储介质
CN118521388A (zh) * 2024-07-22 2024-08-20 杭州嗨豹云计算科技有限公司 一种高稳定性云服务器在线租赁管理系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339924A (zh) * 2016-08-29 2017-01-18 东南大学 一种基于工作流的云计算资源混合租赁方法
CN106453557A (zh) * 2016-10-13 2017-02-22 内蒙古工业大学 一种IaaS服务中的双时间尺度用户动态竞价和资源管理算法
JP2017142673A (ja) * 2016-02-10 2017-08-17 日本電信電話株式会社 クラウドリソース選択装置、クラウドリソース選択方法およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130346227A1 (en) * 2012-06-22 2013-12-26 Microsoft Corporation Performance-Based Pricing for Cloud Computing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017142673A (ja) * 2016-02-10 2017-08-17 日本電信電話株式会社 クラウドリソース選択装置、クラウドリソース選択方法およびプログラム
CN106339924A (zh) * 2016-08-29 2017-01-18 东南大学 一种基于工作流的云计算资源混合租赁方法
CN106453557A (zh) * 2016-10-13 2017-02-22 内蒙古工业大学 一种IaaS服务中的双时间尺度用户动态竞价和资源管理算法

Also Published As

Publication number Publication date
CN109740870A (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
CN109740870B (zh) 云计算环境下Web应用的资源动态调度方法
Ali et al. Grouped tasks scheduling algorithm based on QoS in cloud computing network
CN104239141B (zh) 数据中心中基于工作流关键路径的任务优化调度方法
CN103761147B (zh) 一种云平台中计算实例的管理方法及系统
CN103064744B (zh) 一种基于SLA的面向多层Web应用的资源优化方法
CN103491024B (zh) 一种面向流式数据的作业调度方法及装置
CN106506670A (zh) 一种云平台虚拟资源高速调度方法与系统
Niu et al. Building semi-elastic virtual clusters for cost-effective HPC cloud resource provisioning
CN104407912A (zh) 一种虚拟机配置方法及装置
Sharma et al. An improved task allocation strategy in cloud using modified k-means clustering technique
Karthick et al. An efficient Tri Queue job Scheduling using dynamic quantum time for cloud environment
Cong et al. Personality-and value-aware scheduling of user requests in cloud for profit maximization
Singh et al. A comparative study of various scheduling algorithms in cloud computing
CN106802822A (zh) 一种基于飞蛾算法的云数据中心认知资源调度方法
Liu et al. An instance reservation framework for cost effective services in geo-distributed data centers
Islam et al. Dynamic scheduling approach for data-intensive cloud environment
Cao et al. Online cost-rejection rate scheduling for resource requests in hybrid clouds
CN110866591B (zh) 基于需求预测进行前瞻式云制造服务租赁配置的方法
Zhao et al. Cost minimization in multiple IaaS clouds: A double auction approach
Assudani et al. Cost efficient resource scheduling in cloud computing: a survey
CN109559024B (zh) 一种面向电力系统无服务器架构下的资源动态调度方法
CN111080368A (zh) 一种云代理针对多周期预留实例的实时分层选择方法
CN112367349B (zh) 一种协同优化云运营商能耗和用户开销的方法和系统
Hossny et al. Towards automated user-centric cloud provisioning: Job provisioning and scheduling on heterogeneous virtual machines
WO2024032239A1 (zh) 应用调度方法、云服务平台以及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220906