CN106095581B - 一种私有云条件下的网络存储虚拟化调度方法 - Google Patents

一种私有云条件下的网络存储虚拟化调度方法 Download PDF

Info

Publication number
CN106095581B
CN106095581B CN201610438405.2A CN201610438405A CN106095581B CN 106095581 B CN106095581 B CN 106095581B CN 201610438405 A CN201610438405 A CN 201610438405A CN 106095581 B CN106095581 B CN 106095581B
Authority
CN
China
Prior art keywords
resource
scheduling
user
task
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610438405.2A
Other languages
English (en)
Other versions
CN106095581A (zh
Inventor
王丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Caiwei And Song Mdt Infotech Ltd
Original Assignee
Nanjing Caiwei And Song Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Caiwei And Song Mdt Infotech Ltd filed Critical Nanjing Caiwei And Song Mdt Infotech Ltd
Priority to CN201610438405.2A priority Critical patent/CN106095581B/zh
Publication of CN106095581A publication Critical patent/CN106095581A/zh
Application granted granted Critical
Publication of CN106095581B publication Critical patent/CN106095581B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G06F9/5088—Techniques for rebalancing the load in a distributed system involving task migration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及云计算技术领域，特别是一种私有云条件下的网络存储虚拟化调度方法，该调度方法包含了任务分析模块、资源监控和维护模块、调度器模块等。任务分析模块根据用户的请求分析任务的需求，资源监控和维护模块负责资源的分配、释放、更新等，另外也负责物理资源中网络状态的监控，调度器模块根据任务分析模块和资源监控和维护模块的信息，利用效用计算的方法进行任务调度，且根据任务的资源请求和资源释放，启动不同的调度策略。本发明利用效用计算的方法，能够根据不同的情况执行不同的调度策略，有效的减少调度的复杂度，实现效用的最大化，保证调度的实时性，满足用户的需求和收益。

Description

一种私有云条件下的网络存储虚拟化调度方法
技术领域
本发明涉及云计算技术领域，特别是一种私有云条件下的网络存储虚拟化调度方法。
背景技术
云计算是一个新的商业模式，其核心思想是将大量用网络连接的资源统一管理和调度，构成一个资源池向用户按需服务。云计算包括私有云和公有云两种。其中，私有云是为一个公司或组织单独使用而建设的，因为能够提供更私密的数据、更高的安全性和更好的服务质量而受到关注。
私有云的主要问题是峰值问题。如果私有云按照满足工作负载的所有约束进行建设，高峰负荷将要求私有云投资更多的硬件资源，造成资源的空闲和浪费，如果不按照高峰负荷进行建设，会造成资源短缺和用户体验变差。解决该问题的主要方法是利用网络存储虚拟化技术，把分散在网络中的存储设备统一起来，为存储用户提供统一的虚拟存储池，当有大量任务请求使用资源时，利用调度技术达到资源的优化利用，满足用户的需求。因此，调度要解决如何将存储和计算资源合理分配给任务，保证用户的QoS，尤其是当用户数较多时，能使得在满足业务QoS的前提下，给尽量多的用户提供服务。
当前的调度方法主要存在以下问题：1)当前的调度方法主要基于公有云或者混合云，很少基于私有云，公有云和私有云的调度目标和调度空间都不尽相同；2)大多调度方法都考虑用户的QoS，或者资源的利用率等，很少有调度方法考虑在网络约束的情况下，怎么满足用户的需求。下面通过两个相关的发明进行分析说明。
中国发明专利CN 104657220 A公开了一种混合云中基于截止时间和费用约束的调度模型及方法，提出了两个调度策略-截止时间优先和费用优先策略，该方法的费用优先策略不适合私有云的场景，且这两种方法的共同缺点是没有考虑底层的性能约束，任务无法高效执行，且可能使得部分任务很早完成，而另外一些任务无法在时间截至前完成。
中国发明专利CN 102662760 A公开了一种基于虚拟机性能向量的任务调度方法，分析了节点之间的通信量和路由特性，使任务能够分配到高效执行任务的虚拟机上，达到负载均衡的目的。该发明的任务调度方法只考虑了底层的物理限制，没有考虑任务的实时性等要求，可能造成无法满足业务的QoS，用户体验较差。
发明内容
本发明针对现有技术的上述缺陷，提出了一种私有云条件下基于效用计算实现网络存储虚拟化调度的方法，该调度方法包含了任务分析模块、资源监控和维护模块、调度器模块等。任务分析模块根据用户的请求分析任务的资源需求、时间要求等，资源监控和维护模块负责资源的分配、释放、更新等，另外也负责对物理资源的网络状态进行监控，调度器模块根据任务分析模块和资源监控和维护模块的信息，利用效用计算的方法进行任务调度，且根据任务的资源请求和资源释放，启动不同的调度策略，其中，当新任务到达请求资源时，进行空闲资源调度和非空闲资源调度两步；当任务完成释放资源时，只执行空闲资源调度。
更进一步的，本调度方法采用的效用计算方法如下：
本调度方法主要针对的是私有云资源，不考虑价格因素，总收益为各个用户的收益之和：
Figure BDA0003595700260000031
其中，Uk(Sk)为用户k的收益，假设一个用户只有一个任务，则用户k的收益计算方法为
Figure BDA0003595700260000032
其中，a≥0，体现了超时的严重程度，wk表示任务的优先级，Treq，k表示用户k的任务完成要求的时间，Tcom，k表示用户k的任务需要执行的时间。当要求的时间远远大于需要执行的时间时，说明任务不紧急，收益较小；当要求的时间远远接近需要执行的时间时，说明任务紧急，收益较大。如果是对时间没有要求的任务，则Treq取一个较大的整数。这里，执行时间包括传输时间、计算时间，可以根据具体的部署情况获取。需要说明的是，为了简单起见，假设一个用户只有一个任务，本发明也适用于一个用户有多个任务的情况。
本发明还将调度的启动分为两种情况：1)有新任务到达请求资源；2)有任务完成释放资源。调度器根据这两种情况执行不同的调度策略。
更进一步，当有新任务到达请求资源时，本调度方法分别进行空闲资源调度和非空闲资源调度。
更进一步，当有任务释放资源时，本调度方法只进行空闲资源调度。
更进一步，本调度方法采用的空闲资源调度策略为：当有空闲资源时，将资源分配给效用增加值最大的用户和任务，系统能够获得最大的效用，其中，资源r调度策略为：
Figure BDA0003595700260000041
其中，Uold，r为未分配资源r时获取的收益。此时，系统总收益的增加值为：
ΔUk，r＝Unew，k，r-Uold，r
Unew，k，r为将资源r分配给用户k后获取的收益。ΔUk，r为将资源r分配给用户k后获取的收益增加值。因为调度新任务会对旧任务产生影响，比如会占用网络带宽从而减少其他用户所用带宽，增加其他用户的传输时间，造成ΔUn，r＜0。如果ΔUn，r＞0，则将资源r调度给用户k；如果ΔUn，r＜0，则不进行调度。
更进一步，本调度方法采用的非空闲资源调度策略为：当没有空闲资源且有新任务到达时，需要对任务占用的资源进行调整，释放一部分已经被占用的资源分配给新任务，其中，资源r调度策略为：
Figure BDA0003595700260000042
其中，Uold，r为资源重新分配前的系统收益，此时系统总收益的增加值为：
ΔUm，k，r＝Unew， m，k，r-Uold，r
其中，Unew， m，k，r为将用户m的资源r分配给用户k后系统的收益。ΔUm，k，r将用户m 的资源r分配给用户k后系统的收益增加值。这里，系统收益改变的原因包括三部分：用户n释放资源r的收益，用户I获得资源r的收益，以及资源改变后对已调度用户的影响。如果ΔUn，I，r＞0，将用户n的资源r重新调度给用户I；如果ΔUn，I，r≤0，则不进行调度。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明调度方法的系统框图
图2为本发明调度方法流程图
图中：1为用户接口模块，2为任务分析模块，3为调度器，4为虚拟资源块，5 为虚拟资源池，6为资源虚拟化映射模块，7为物理资源池，8为物理资源块，9 为网络，10为资源监控和维护模块
具体实施方式
如图1所示，本发明一种私有云条件下基于网络存储虚拟化调度方法，包括：物理资源池7，虚拟资源池5，资源虚拟化映射模块6，任务分析模块2、资源监控和维护模块10、调度器3。其中，物理资源池7是由各种物理资源块8通过网络9连接而成。虚拟资源池5是由各种虚拟资源块4组成。物理资源池7 通过资源虚拟化模块6映射为虚拟资源池5，资源监控和维护模块监控10和维护物理资源池7、虚拟资源池5、以及资源虚拟化映射模块6。任务分析模块2 分析用户接口模块1获得的用户提交的任务，调度器3根据资源监控和维护模块10以及任务分析模块2的信息进行调度。
其中，调度器3采用总效用最大化的方法进行调度，其中，总效用为各个用户的效用之和：
Figure BDA0003595700260000051
其中，Uk(Sk)为用户k的收益，假设一个用户只有一个任务，则用户k的收益计算方法为
Figure BDA0003595700260000052
其中，a≥0，体现了超时的严重程度，Treq，k表示用户k的任务完成要求的时间，Tcom，k表示用户k的任务需要执行的时间。当要求的时间远远大于需要执行的时间时，说明任务不紧急，收益较小；当要求的时间远远接近需要执行的时间时，说明任务紧急，收益较大。如果是对时间没有要求的任务，则Treq取一个较大的整数。这里，执行时间包括传输时间、计算时间，可以根据具体的部署情况获取。
进一步的，本发明还将调度的启动分为两种情况：1)有新任务到达请求资源；2)有任务完成释放资源。调度器3根据这两种情况执行不同的调度策略，如图2所示。
进一步的，当有新任务到达请求资源时，调度器3分别进行空闲资源调度和非空闲资源调度。当有任务释放资源时，调度器3只进行空闲资源调度。
进一步的，图2中调度器3采用的空闲资源调度策略为：当有空闲资源时，将资源分配给效用增加值最大的用户和任务，系统能够获得最大的效用，其中，资源r调度策略为：
Figure BDA0003595700260000061
其中，Uold，r为未分配资源r时获取的收益。此时，系统总收益的增加值为：
ΔUk，r＝Unew，k，r-Uold，r
Unew，k，r为将资源r分配给用户k后获取的收益。ΔUk，r为将资源r分配给用户k后获取的收益增加值。如果ΔUn，r＞0，则将资源r调度给用户k；如果ΔUn，r＜0，则不进行调度。
进一步的，图2中调度器3采用的非空闲资源调度策略为：当没有空闲资源且有新任务到达时，需要对任务进行调整，释放一部分已经被占用的资源分配给新任务，其中，资源r调度策略为：
Figure BDA0003595700260000062
其中，Uold，r为资源重新分配前的系统收益，此时系统总收益的增加值为：
ΔUm，k，r＝Unew， m，k，r-Uold，r
其中，Unew， m，k，r为将用户m的资源r分配给用户k后系统的收益。ΔUm，k，r将用户m 的资源r分配给用户k后系统的收益增加值。这里，系统收益改变的原因包括三部分：用户n释放资源r的收益，用户I获得资源r的收益，以及资源改变后对已调度用户的影响。如果ΔUn，I，r＞0，将用户n的资源r重新调度给用户I；如果ΔUn，I，r≤0，则不进行调度。
本发明一种私有云条件下基于网络存储虚拟化调度方法工作过程如下：当用户通过用户接口1提交任务时，任务分析模块2对该任务需要的资源、完成时间等信息进行评估，调度器3判断出有新任务到达，根据任务分析模块2的评估结果和资源监控和维护模块10中的信息，执行图2所示的调度策略流程。当资源监控和维护模块10检测到有任务完成时，通知调度器3有资源释放，调度器3根据任务的需求和已调度信息执行图2所示的调度流程。
虽然以上描述了本发明的具体实施方式，但是本领域熟练技术人员应当理解，这些仅是举例说明，可以对本实施方式作出多种变更或修改，而不背离本发明的原理和实质，本发明的保护范围仅由所附权利要求书限定。

Claims (1)

1.一种私有云条件下的网络存储虚拟化调度方法，其特征在于：调度方法包含了任务分析模块、资源监控和维护模块、调度器模块；所述调度器模块利用效用计算的方法进行任务调度，根据任务的资源请求和资源释放，启动不同的调度策略，当新任务到达请求资源时，进行空闲资源调度和非空闲资源调度两步，当任务完成释放资源时，执行空闲资源调度；其中，
(1)空闲资源调度的方法为：
当有空闲资源时，将资源分配给效用增加值最大的用户和任务，系统能够获得最大的效用，其中，资源r调度策略为：
Figure FDA0003595700250000011
其中，Uold，r为未分配资源r时获取的收益； 此时，系统总收益的增加值为：
ΔUk，r＝Unew，k，r-Uold，r
Unew，k，r为将资源r分配给用户k后获取的收益； ΔUk，r为将资源r分配给用户k后获取的收益增加值；如果ΔUn，r＞0，则将资源r调度给用户k；如果ΔUn，r＜0，则不进行调度；
(2)非空闲资源调度的方法为：
当没有空闲资源且有新任务到达时，需要对任务占用的资源进行调整，释放一部分已经被占用的资源分配给新任务，其中，资源r调度策略为：
Figure FDA0003595700250000012
其中，Uold，r为未分配资源r时获取的收益，此时系统总收益的增加值为：
ΔUm，k，r＝Unew，m，k，r-Uold，r
其中，Unew，m，k，r为将用户m的资源r分配给用户k后系统的收益；ΔUm，k，r将用户m的资源r分配给用户k后系统的收益增加值；这里，系统收益改变的原因包括三部分：用户n释放资源r的收益，用户I获得资源r的收益，以及资源改变后对已调度用户的影响；如果ΔUn，I，r＞0，将用户n的资源r重新调度给用户I；如果ΔUn，I，r≤0，则不进行调度；
(3)所述效用和收益的计算方法为：
用户k的收益计算方法为
Figure FDA0003595700250000013
其中，a≥0，体现了超时的严重程度，wk表示任务的优先级，Treq，k表示用户k的任务完成要求的时间，Tcom，k表示用户k的任务需要执行的时间。
CN201610438405.2A 2016-06-18 2016-06-18 一种私有云条件下的网络存储虚拟化调度方法 Expired - Fee Related CN106095581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610438405.2A CN106095581B (zh) 2016-06-18 2016-06-18 一种私有云条件下的网络存储虚拟化调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610438405.2A CN106095581B (zh) 2016-06-18 2016-06-18 一种私有云条件下的网络存储虚拟化调度方法

Publications (2)

Publication Number Publication Date
CN106095581A CN106095581A (zh) 2016-11-09
CN106095581B true CN106095581B (zh) 2022-07-26

Family

ID=57236252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610438405.2A Expired - Fee Related CN106095581B (zh) 2016-06-18 2016-06-18 一种私有云条件下的网络存储虚拟化调度方法

Country Status (1)

Country Link
CN (1) CN106095581B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053086B (zh) * 2017-09-30 2019-01-11 广州筑网网络科技有限公司 一种遗体处理过程的资源智能调度方法及系统
CN109032809A (zh) * 2018-08-13 2018-12-18 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于遥感影像存储位置的异构并行调度系统
CN109815019B (zh) * 2019-02-03 2021-06-15 普信恒业科技发展（北京）有限公司 任务调度方法、装置、电子设备及可读存储介质
CN111240841B (zh) * 2020-01-10 2023-09-05 支付宝(杭州)信息技术有限公司 用于执行新任务或处理资源撤回请求的方法和系统
CN114090271B (zh) * 2022-01-24 2022-04-29 中诚华隆计算机技术有限公司 云计算资源分配方法、装置、计算设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101937368A (zh) * 2010-08-31 2011-01-05 苏州阊亦宏环保科技有限公司 一种面向云计算的数据中心管理系统
WO2013107141A1 (zh) * 2012-01-19 2013-07-25 中兴通讯股份有限公司 一种用于云计算的策略调度系统和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546379B (zh) * 2010-12-27 2014-12-31 中国移动通信集团公司 一种虚拟化资源调度的方法及虚拟化资源调度系统
CN102662760A (zh) * 2012-03-22 2012-09-12 北京邮电大学 一种基于虚拟机性能向量的任务调度方法
CN103699445B (zh) * 2013-12-19 2017-02-15 北京奇艺世纪科技有限公司 一种任务调度方法、装置及系统
CN104010028B (zh) * 2014-05-04 2017-11-07 华南理工大学 一种云平台下性能加权的虚拟资源动态管理策略方法
CN104657220B (zh) * 2015-03-12 2018-04-17 广东石油化工学院 混合云中基于截止时间和费用约束的调度模型及方法
CN105141697A (zh) * 2015-09-16 2015-12-09 国云科技股份有限公司 一种多QoS约束的云计算任务调度方法
CN105260244B (zh) * 2015-10-30 2019-11-22 北京奇艺世纪科技有限公司 一种分布式系统任务调度的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101937368A (zh) * 2010-08-31 2011-01-05 苏州阊亦宏环保科技有限公司 一种面向云计算的数据中心管理系统
WO2013107141A1 (zh) * 2012-01-19 2013-07-25 中兴通讯股份有限公司 一种用于云计算的策略调度系统和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
私有云构建中资源和数据管理的研究;周祥;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑(月刊)》;20130115(第01期);I138-1031 *

Also Published As

Publication number Publication date
CN106095581A (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
CN106095581B (zh) 一种私有云条件下的网络存储虚拟化调度方法
US9218213B2 (en) Dynamic placement of heterogeneous workloads
US10772115B2 (en) Resource scheduling method and server
US9112782B2 (en) Reactive auto-scaling of capacity
Dakshayini et al. An optimal model for priority based service scheduling policy for cloud computing environment
US7774457B1 (en) Resource evaluation for a batch job and an interactive session concurrently executed in a grid computing environment
US9128767B2 (en) Canceling and locking personal reservation if the workload associated with personal reservation exceeds window of time allocated within a resource reservation
CN109582448B (zh) 一种面向关键度和时效性的边缘计算任务调度方法
CN109783225B (zh) 一种多租户大数据平台的租户优先级管理方法及系统
CN109861850B (zh) 一种基于sla的无状态云工作流负载均衡调度的方法
CN108337109A (zh) 一种资源分配方法及装置和资源分配系统
WO2009048892A2 (en) Hierarchical reservation resource scheduling infrastructure
CN103179048A (zh) 云数据中心的主机QoS策略变换方法及系统
Khalifa¹ et al. Collaborative autonomic resource management system for mobile cloud computing
CN113064712A (zh) 基于云边环境的微服务优化部署控制方法、系统及集群
Biswas et al. An auto-scaling framework for controlling enterprise resources on clouds
US20120324466A1 (en) Scheduling Execution Requests to Allow Partial Results
CN116991585A (zh) 一种ai算力自动调度方法、装置及介质
Adhikari et al. Load balancing the essential factor in cloud computing
CN107122235B (zh) 基于应用优先级的公共基础设施资源调度方法
Kaur et al. Load balancing techniques of cloud computing
Dubey et al. QoS driven task scheduling in cloud computing
Kella et al. VM Live Migration Algorithm Based on Stable Matching Model to Improve Energy Consumption and Quality of Service.
CN110955522B (zh) 一种协调性能隔离和数据恢复优化的资源管理方法及系统
Rahman et al. Group based resource management and pricing model in cloud computing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220726