CN111782355A - 一种基于混合负载的云计算任务调度方法及系统 - Google Patents
一种基于混合负载的云计算任务调度方法及系统 Download PDFInfo
- Publication number
- CN111782355A CN111782355A CN202010495237.7A CN202010495237A CN111782355A CN 111782355 A CN111782355 A CN 111782355A CN 202010495237 A CN202010495237 A CN 202010495237A CN 111782355 A CN111782355 A CN 111782355A
- Authority
- CN
- China
- Prior art keywords
- task
- sensitive
- throughput
- queue
- delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 65
- 238000013461 design Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000010076 replication Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- ODINCKMPIJJUCX-UHFFFAOYSA-N Calcium oxide Chemical compound [Ca]=O ODINCKMPIJJUCX-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multi Processors (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于混合负载的云计算任务调度方法及系统，包括：步骤M1：设置延迟敏感任务队列和吞吐量敏感任务队列记录所有的云计算任务；步骤M2：任务调度器根据新的云计算任务标记，将新的云计算任务加入到相应的任务队列之中；步骤M3：当虚拟机处于空闲状态时，任务调度器优先考虑延迟敏感任务优先调度策略，从延迟敏感任务队列中选取计算任务执行；当延迟敏感任务队列中的计算任务不满足预设条件时，则任务调度器考虑吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中选取计算任务执行；本发明通过此调度算法分配任务到相应的虚拟机上，提高云计算服务质量，降低云服务成本，解决云计算集群存在的性能瓶颈。
Description
技术领域
本发明涉及云计算以及任务调度领域，具体地，涉及一种基于混合负载的云计算任务调度方法及系统，更为具体地，涉及一种混合负载下的云计算任务高效调度算法。
背景技术
随着云计算服务客户数量的不断增多，快速高效且低成本地对任务进行调度从而提高云计算资源利用率是目前云计算领域一个重要的研究课题。由于云计算服务业的蓬勃发展，客户需求的云服务种类越来越多，不同的服务对计算资源需求又各有千秋，有些任务对延迟要求比较高，不能等待过于长的时间，比如网站服务访问等等；有些任务对吞吐量要求比较高，它们希望在单位时间内完成的任务数量越多越好，比如大数据批处理分析任务等等。这就要求云计算服务提供商要更多地关注客户云服务的需求，比如有云服务总计完成时间、总成本、可靠性等等。所以云服务提供商要在满足客户云服务需求的基础之上，提高云计算集群整体资源利用率并且降低云计算平台机器成本开销。任务调度是将任务分配映射到计算资源上的过程。一种合理且有效的任务调度策略就是不仅能满足客户服务需求，还可以降低服务提供商的成本。目前大多数云计算平台的任务调度策略没有考虑混合任务负载下的云计算资源调度，即延迟敏感任务与吞吐量敏感任务的混合调度，因而就会导致调度过程中有大量的小型延迟敏感任务出现超时的现象，这在实际应用场景中对于用户来说是难以接受的。因此，研究出一种混合任务负载的云计算资源调度机制对于云服务客户和云服务提供商两方面都具有十分重要的意义和利用价值。
现有的云计算独立任务调度算法如遗传算法、粒子群算法等通常都面临着无法处理混合负载下的任务调度问题，因而就会导致调度过程中有大量的小型延迟敏感任务出现超时的现象，这在实际应用场景中会难以保证云计算的服务质量。因此，在复杂的云环境中，如何设计一种支持混合任务负载的云计算资源调度机制对于云平台性能的优化至关重要。
专利文献CN110502323A(申请号：201910651299.X)公开了一种云计算任务实时调度方法，包括以下步骤：A)建立服务器节点列表S，建立通信耗时表T，负荷率表L；B)确定服务器节点算力Csi，设置性能评分Psi；C)根据新任务的数据量以及任务类型，确定其所需的总算力Ca；D)选取服务器节点集合D；E)将新任务划分为若干个子任务，分配给集合D中的服务器节点，使子任务基本同时完成；F)更新服务器性能评分Psi，重复步骤C-E。
专利文献CN108108225B(申请号：201711340244.4)公开了一种面向云计算平台的任务调度方法，包括：遍历DAG图中的所有任务结点，依次计算得到每个结点任务的静态优先级；按照静态优先级降序排列任务，将任务依次放入任务优先级队列中；对于任务优先级队列中各个任务，只要能够提前当前任务的开始执行时间，且已经被调度的任务不被延迟的情况下，就复制当前任务的父任务，而不仅仅复制当前任务的关键父任务。相对于传统算法，提前了任务复制的开始阶段，先任务复制，然后再选择虚拟机，使任务能在使它完成最快的虚拟机上执行，使虚拟机的选择更加合理。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于混合负载的云计算任务调度方法及系统。
根据本发明提供的一种基于混合负载的云计算任务调度方法，包括：
步骤M1：设置延迟敏感任务队列和吞吐量敏感任务队列记录所有的云计算任务；
步骤M2：任务调度器根据新的云计算任务标记，将新的云计算任务加入到相应的任务队列之中；
步骤M3：当虚拟机处于空闲状态时，任务调度器优先考虑延迟敏感任务优先调度策略，从延迟敏感任务队列中选取计算任务执行；当延迟敏感任务队列中的计算任务不满足预设条件时，则任务调度器考虑吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中选取计算任务执行；
所述延迟敏感任务是不能承受超时现象的任务；
所述吞吐量敏感任务是在单位时间内完成的数量达到预设值的任务。
优选地，所述步骤M3中延迟敏感任务优先调度策略包括：
延迟敏感任务优先调度策略步骤A.1：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间小于等于预设值，则选取当前最短剩余服务时间的任务；
延迟敏感任务优先调度策略步骤A.2：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p大于等于计算机系统随机生成值，则调用当前最短剩余服务时间的任务。
优选地，所述步骤M3中吞吐量敏感任务优先调度策略包括：
吞吐量敏感任务优先调度策略步骤B.1：当延迟敏感任务队列为空，则从吞吐量敏感任务队列中选取计算任务并调用；
吞吐量敏感任务优先调度策略步骤B.2：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间大于预设值，则从吞吐量敏感任务队列中选取计算任务并调用；
吞吐量敏感任务优先调度策略步骤B.3：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p小于计算机系统随机生成值，则从吞吐量敏感任务队列中选取计算任务并调用。
优选地，所述步骤M3中概率p包括：
其中，A0和k是参数项，均为正数；M0是经验系数，代表不超时地完成所有延迟敏感型任务的最少机器总数，X是预先设置的可承受的任务超时率，N是超时的任务数；M是已经运行结束的任务数。
优选地，所述概率p采用了反馈控制，得到计算概率p的公式，再根据概率p来选取任务调度。
优选地，所述吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中随机选取计算任务并调用。
根据本发明提供的一种基于混合负载的云计算任务调度系统，包括：
模块M1：设置延迟敏感任务队列和吞吐量敏感任务队列记录所有的云计算任务；
模块M2：任务调度器根据新的云计算任务标记，将新的云计算任务加入到相应的任务队列之中；
模块M3：当虚拟机处于空闲状态时，任务调度器优先考虑延迟敏感任务优先调度策略，从延迟敏感任务队列中选取计算任务执行；当延迟敏感任务队列中的计算任务不满足预设条件时，则任务调度器考虑吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中选取计算任务执行；
所述延迟敏感任务是不能承受超时现象的任务；
所述吞吐量敏感任务是在单位时间内完成的数量达到预设值的任务。
优选地，所述模块M3中延迟敏感任务优先调度策略包括：
延迟敏感任务优先调度策略模块A.1：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间小于等于预设值，则选取当前最短剩余服务时间的任务；
延迟敏感任务优先调度策略模块A.2：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p大于等于计算机系统随机生成值，则调用当前最短剩余服务时间的任务。
优选地，所述模块M3中吞吐量敏感任务优先调度策略包括：
吞吐量敏感任务优先调度策略模块B.1：当延迟敏感任务队列为空，则从吞吐量敏感任务队列中选取计算任务并调用；
吞吐量敏感任务优先调度策略模块B.2：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间大于预设值，则从吞吐量敏感任务队列中选取计算任务并调用；
吞吐量敏感任务优先调度策略模块B.3：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p小于计算机系统随机生成值，则从吞吐量敏感任务队列中选取计算任务并调用。
优选地，所述模块M3中概率p包括：
其中，A0和k是参数项，均为正数；M0是经验系数，代表不超时地完成所有延迟敏感型任务的最少机器总数，X是预先设置的可承受的任务超时率，N是超时的任务数；M是已经运行结束的任务数；
所述概率p采用了反馈控制，得到计算概率p的公式，再根据概率p来选取任务调度；
所述吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中随机选取计算任务并调用。与现有技术相比，本发明具有如下的有益效果：
1、本发明提出的混合负载下的云计算任务调度策略能够在复杂环境下的云计算任务调度过程中使用反馈控制的机制来保证最终最终所有任务完成时，超时任务的数量不会超过用户预先设置的阈值，并且同时达到最优的系统吞吐量指标。因此此算法在解决复杂云计算环境下任务调度问题时具有明显的效率和性能优势；
2、本发明通过此调度算法分配任务到相应的虚拟机上，提高云计算服务质量，降低云服务成本，解决云计算集群存在的性能瓶颈；
3、本发明通过细分云计算混合负载并分别设计了优先调度策略，实现了最大程度上降低了云计算任务的超时现象，保障了云服务用户的使用体验。另一方面，通过使用反馈控制的机制来设计调度策略，在保障了用户使用体验的同时，还极大程度上提高了云服务提供商的利润和收益。总之，为优化云服务性能提供了一种新的设计方式。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为延迟敏感任务优先调度策略流程图；
图2为吞吐量敏感任务优先调度策略流程图；
图3为混合负载下的云计算任务调度结果示例。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明针对了云计算集群任务调度超时现象严重、成本高昂的问题，提出了一种混合负载下的云计算任务调度算法，从而优化云计算环境下的任务调度问题。本发明通过将反馈控制机制与传统任务调度算法相结合，实现了云计算环境下的任务调度目标，结合并利用了反馈控制机制与传统算法各自的优势，大大提高了算法的效率和性能，缩短了任务执行总时间，降低了机器成本开销，减少了超时任务的数量，提高了云计算服务。在本方法的支持下，云服务提供商可以节约大量时间成本和机器成本，从而提供更廉价的云服务。
本发明设计了两种支持混合负载的云计算任务调度策略。
延迟敏感任务优先调度策略的调度流程如图1所示，通过设计两个任务队列存放新到来的任务、优先考虑延迟敏感任务队列中的计算任务、按照一定的概率不断地选取调度任务直到任务队列为空来获取算法的最优解。当满足算法终止条件时终止算法，并输出最终的最优解。
吞吐量敏感任务优先调度策略的调度流程如图2所示，通过设计两个任务队列存放新到来的任务、优先考虑吞吐量敏感任务队列中的计算任务、按照一定的概率不断地选取调度任务直到任务队列为空来获取算法的最优解。当满足算法终止条件时终止算法，并输出最终的最优解。
实施例1
根据本发明提供的一种基于混合负载的云计算任务调度方法，包括：
步骤M1：设置延迟敏感任务队列和吞吐量敏感任务队列记录所有的云计算任务；
步骤M2：任务调度器根据新的云计算任务标记，将新的云计算任务加入到相应的任务队列之中；
步骤M3：当虚拟机处于空闲状态时，任务调度器优先考虑延迟敏感任务优先调度策略，从延迟敏感任务队列中选取计算任务执行；当延迟敏感任务队列中的计算任务不满足预设条件时，则任务调度器考虑吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中选取计算任务执行；
具体地，所述步骤M3中延迟敏感任务优先调度策略包括：
延迟敏感任务优先调度策略步骤A.1：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间小于等于预设值，则选取当前最短剩余服务时间的任务；
延迟敏感任务优先调度策略步骤A.2：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p大于等于计算机系统随机生成值，则调用当前最短剩余服务时间的任务。
具体地，所述步骤M3中吞吐量敏感任务优先调度策略包括：
吞吐量敏感任务优先调度策略步骤B.1：当延迟敏感任务队列为空，则从吞吐量敏感任务队列中选取计算任务并调用；
吞吐量敏感任务优先调度策略步骤B.2：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间大于预设值，则从吞吐量敏感任务队列中选取计算任务并调用；
吞吐量敏感任务优先调度策略步骤B.3：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p小于计算机系统随机生成值，则从吞吐量敏感任务队列中选取计算任务并调用。
具体地，所述吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中随机选取计算任务并调用。
具体地，所述步骤M3中概率p包括：
其中，A0和k是参数项，均为正数；M0是经验系数，代表不超时地完成所有延迟敏感型任务的最少机器总数，X是预先设置的可承受的任务超时率，N是超时的任务数；M是已经运行结束的任务数。
所述延迟敏感任务是不能承受超时现象的任务；
所述吞吐量敏感任务是在单位时间内完成的数量达到预设值的任务。
具体地，所述概率p采用了反馈控制，得到计算概率p的公式，再根据概率p来选取任务调度。
根据本发明提供的一种基于混合负载的云计算任务调度系统，包括：
模块M1：设置延迟敏感任务队列和吞吐量敏感任务队列记录所有的云计算任务；
模块M2：任务调度器根据新的云计算任务标记，将新的云计算任务加入到相应的任务队列之中；
模块M3：当虚拟机处于空闲状态时，任务调度器优先考虑延迟敏感任务优先调度策略，从延迟敏感任务队列中选取计算任务执行；当延迟敏感任务队列中的计算任务不满足预设条件时，则任务调度器考虑吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中选取计算任务执行；
所述延迟敏感任务是不能承受超时现象的任务；
所述吞吐量敏感任务是在单位时间内完成的数量达到预设值的任务。
具体地，所述模块M3中延迟敏感任务优先调度策略包括：
延迟敏感任务优先调度策略模块A.1：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间小于等于预设值，则选取当前最短剩余服务时间的任务；
延迟敏感任务优先调度策略模块A.2：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p大于等于计算机系统随机生成值，则调用当前最短剩余服务时间的任务。
具体地，所述模块M3中吞吐量敏感任务优先调度策略包括：
吞吐量敏感任务优先调度策略模块B.1：当延迟敏感任务队列为空，则从吞吐量敏感任务队列中选取计算任务并调用；
吞吐量敏感任务优先调度策略模块B.2：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间大于预设值，则从吞吐量敏感任务队列中选取计算任务并调用；
吞吐量敏感任务优先调度策略模块B.3：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p小于计算机系统随机生成值，则从吞吐量敏感任务队列中选取计算任务并调用。
具体地，所述模块M3中概率p包括：
其中，A0和k是参数项，均为正数；M0是经验系数，代表不超时地完成所有延迟敏感型任务的最少机器总数，X是预先设置的可承受的任务超时率，N是超时的任务数；M是已经运行结束的任务数；
所述概率p采用了反馈控制，得到计算概率p的公式，再根据概率p来选取任务调度；
所述吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中随机选取计算任务并调用。
实施例2
实施例2是实施例1的变化例
为了能够获取更高的云计算服务质量以及利润，我们提出了一种混合负载下的云计算任务高效调度算法，并在其中引入了反馈控制的机制。我们设计了两种支持混合负载的云计算任务调度策略，分别是延迟敏感任务优先调度策略和吞吐量敏感任务优先调度策略。以上两种策略都能够极大地提高云计算服务质量和效益。
包括如下步骤：
延迟敏感任务优先调度策略：
步骤1.1：本发明设计了两个任务队列来记录所有的云计算任务，一个队列存放所有的延迟敏感任务，另一个队列存放所有的吞吐量敏感任务。每当有新的云计算任务到来时，任务调度器便把它加入到相应的任务队列之中。
步骤1.2：每当有虚拟机处于空闲状态时，就意味着需要选择下一个调度的任务，任务调度器优先考虑延迟敏感任务队列中的计算任务，如果延迟敏感任务队列不为空，则以P的概率按照最短剩余服务时间原则选取并调度任务，以1-P的概率从吞吐量敏感任务队列中随机取出一个执行；如果延迟敏感任务队列为空，则直接从吞吐量敏感任务队列中随机取出一个执行。概率P的计算公式如下所示，其中M是已经运行结束的任务数，N是超时的任务数，X是用户预先设置的可承受的任务超时率，A0和k是参数项，均为正数，M0是经验系数，代表可以不超时地完成所有延迟敏感型任务的最少机器总数。
步骤1.3：判断云计算任务是否全部被执行完毕以及云计算服务是否完成，如果是则算法结束并退出，否则就回到步骤2。
吞吐量敏感任务优先调度策略:
步骤2.1：本发明设计了两个任务队列来记录所有的云计算任务，一个队列存放所有的延迟敏感任务，另一个队列存放所有的吞吐量敏感任务。每当有新的云计算任务到来时，任务调度器便把它加入到相应的任务队列之中。
步骤2.2：每当有虚拟机处于空闲状态时，就意味着需要选择下一个调度的任务，任务调度器优先考虑延迟敏感任务队列中的计算任务，挑选出最接近截止时间的任务，如果距离截止时间小于预先设置的阈值T，则以P的概率选取并调度此任务，以1-P的概率从吞吐量敏感任务队列中随机取出一个执行；如果延迟敏感任务队列为空，则直接从吞吐量敏感任务队列中随机取出一个执行。概率P的计算公式如下所示，其中M是已经运行结束的任务数，N是超时的任务数，X是用户预先设置的可承受的任务超时率，A0和k是参数项，均为正数，M0是经验系数，代表可以不超时地完成所有延迟敏感型任务的最少机器总数。
步骤2.3：判断云计算任务是否全部被执行完毕以及云计算服务是否完成，如果是则算法结束并退出，否则就回到步骤2。
具体地，所述步骤1.1中，本发明提出的延迟敏感任务优先调度策略设计了两个任务队列分别存放两种类型的任务负载以供后续算法执行。
具体地，所述步骤1.2中，本发明提出的延迟敏感任务优先调度策略是按照最短剩余服务时间的原则优先考虑延迟敏感任务队列中的任务的。
具体地，所述步骤1.2中，本发明提出的延迟敏感任务优先调度策略采用了反馈控制，设计了计算概率P的公式，然后根据概率P来选取任务调度。
具体地，所述步骤2.1中，本发明提出的吞吐量敏感任务优先调度策略设计了两个任务队列分别存放两种类型的任务负载以供后续算法执行。
具体地，所述步骤2.2中，本发明提出的吞吐量敏感任务优先调度策略优先考虑了延迟敏感任务队列中接近截止时间、即将超时并且距离截止时间超过阈值T的任务。
具体地，所述步骤2.2中，本发明提出的吞吐量敏感任务优先调度策略采用了反馈控制，设计了计算概率P的公式，然后根据概率P来选取任务调度。
队列设计：由于目标是设计混合负载下的云计算任务调度策略，所以我们需要设计一种数据结构来区分不同类型的任务负载。通过队列设计来存放不同类型的任务负载可以有效提高算法的性能和效率。
优先调度：由于研究的是混合负载下的云计算任务调度策略，所以我们针对两种不同类型的任务负载，分别提出了一种优先调度策略：延迟敏感任务优先调度策略和吞吐量敏感任务优先调度策略，这两种调度策略都采用了“优先调度”。延迟敏感任务优先调度策略优先考虑调度延迟敏感任务队列中的所有任务，它会以较高的概率从此队列中挑选出符合要求的任务调度执行；吞吐量敏感任务优先调度策略则优先考虑延迟敏感任务队列中接近截止时间、即将超时的任务，它会以较高的概率从此队列中挑选出符合要求的任务调度执行。
反馈控制：在某些特定场景下，云服务提供商可能允许以一定数量的任务超时为代价的前提下，来提高系统整体的吞吐量。因此我们允许云服务提供商事先设定一个任务超时比例阈值X，然后通过在选取任务调度的过程中调整调度器从某个任务队列中选取任务的概率P来实现控制最终的任务超时比例的目标。其中概率P的计算公式如下所示：
其中X是用户预先设置的可承受的任务超时率，A0和k是可以调整的参数项，均是正数，M0是经验系数，代表可以不超时地完成所有延迟敏感型任务的最少机器总数。
实施例3
实施例3是实施例1和/或实施例2的变化例
以下对本发明的实施实例做详细说明。本实例在本发明技术方案和算法的前提下进行实施，并给出详细实施方式和具体操作过程，但是适用的内容不限于下述实例。
以下通过举例详细说明本发明的运行过程：
1.延迟敏感任务优先调度策略：
假设有9个任务，我们需要把这些任务分配到4台虚拟机上执行。那么首先根据每个任务的到达时间和任务类型，把它们依次放进相应的任务队列之中。然后遍历所有的虚拟机，如果发现有虚拟机处于空闲状态，则从延迟敏感任务队列中按照最短剩余服务时间原则挑选出一个任务，并根据之前提到的公式计算概率P，以P的概率选取此任务并返回，以1-P的概率从吞吐量敏感任务队列中随机选取一个任务并返回，直到所有任务队列为空，算法结束。算法的一种可能运行结果如图3所示，代表了最终虚拟机上1被分配了任务1，7、虚拟机2上被分配了任务2，6、9、虚拟机3上被分配了任务4，8、虚拟机4上被分配了任务3，5。
这里只是给出了一种可能的分配情况。比如说虚拟机1在第1秒处于空闲，此时敏感任务队列中有1，2，3，4号任务，其中1号任务执行时间最短，然后假设P值根据实际参数计算出为0.8，同时生成了一个随机数0.4小于0.8，那么就把任务1分配到虚拟机1上。然后寻找下一台空闲的虚拟机，按照以上策略不断重复执行，直到所有任务都分配完毕。
2.吞吐量敏感任务优先调度策略：
假设有9个任务，我们需要把这些任务分配到4台虚拟机上执行。那么首先根据每个任务的到达时间和任务类型，把它们依次放进相应的任务队列之中。然后遍历所有的虚拟机，如果发现有虚拟机处于空闲状态，则从延迟敏感任务队列中挑选出离截止时间最近的任务，如果距离截止时间超过了预先设置的阈值T，则根据之前提到的公式计算概率P，以P的概率选取此任务并返回，以1-P的概率从吞吐量敏感任务队列中随机选取一个任务并返回；否则直接从吞吐量敏感任务队列中随机选取一个任务并返回。如此循环直到所有任务队列为空，算法结束。算法的一种可能运行结果如图3所示，代表了最终虚拟机上1被分配了任务1，7、虚拟机2上被分配了任务2，6、9、虚拟机3上被分配了任务4，8、虚拟机4上被分配了任务3，5。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于混合负载的云计算任务调度方法，其特征在于，包括：
步骤M1：设置延迟敏感任务队列和吞吐量敏感任务队列记录所有的云计算任务；
步骤M2：任务调度器根据新的云计算任务标记，将新的云计算任务加入到相应的任务队列之中；
步骤M3：当虚拟机处于空闲状态时，任务调度器优先考虑延迟敏感任务优先调度策略，从延迟敏感任务队列中选取计算任务执行；当延迟敏感任务队列中的计算任务不满足预设条件时，则任务调度器考虑吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中选取计算任务执行；
所述延迟敏感任务是不能承受超时现象的任务；
所述吞吐量敏感任务是在单位时间内完成的数量达到预设值的任务。
2.根据权利要求1所述的基于混合负载的云计算任务调度方法，其特征在于，所述步骤M3中延迟敏感任务优先调度策略包括：
延迟敏感任务优先调度策略步骤A.1：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间小于等于预设值，则选取当前最短剩余服务时间的任务；
延迟敏感任务优先调度策略步骤A.2：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p大于等于计算机系统随机生成值，则调用当前最短剩余服务时间的任务。
3.根据权利要求1所述的基于混合负载的云计算任务调度方法，其特征在于，所述步骤M3中吞吐量敏感任务优先调度策略包括：
吞吐量敏感任务优先调度策略步骤B.1：当延迟敏感任务队列为空，则从吞吐量敏感任务队列中选取计算任务并调用；
吞吐量敏感任务优先调度策略步骤B.2：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间大于预设值，则从吞吐量敏感任务队列中选取计算任务并调用；
吞吐量敏感任务优先调度策略步骤B.3：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p小于计算机系统随机生成值，则从吞吐量敏感任务队列中选取计算任务并调用。
4.根据权利要求2或3所述的基于混合负载的云计算任务调度方法，其特征在于，所述步骤M3中概率p包括：
其中，A0和k是参数项，均为正数；M0是经验系数，代表不超时地完成所有延迟敏感型任务的最少机器总数，X是预先设置的可承受的任务超时率，N是超时的任务数；M是已经运行结束的任务数。
5.根据权利要求1所述的基于混合负载的云计算任务调度方法，其特征在于，所述概率p采用了反馈控制，得到计算概率p的公式，再根据概率p来选取任务调度。
6.根据权利要求1所述的基于混合负载的云计算任务调度方法，其特征在于，所述吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中随机选取计算任务并调用。
7.一种基于混合负载的云计算任务调度系统，其特征在于，包括：
模块M1：设置延迟敏感任务队列和吞吐量敏感任务队列记录所有的云计算任务；
模块M2：任务调度器根据新的云计算任务标记，将新的云计算任务加入到相应的任务队列之中；
模块M3：当虚拟机处于空闲状态时，任务调度器优先考虑延迟敏感任务优先调度策略，从延迟敏感任务队列中选取计算任务执行；当延迟敏感任务队列中的计算任务不满足预设条件时，则任务调度器考虑吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中选取计算任务执行；
所述延迟敏感任务是不能承受超时现象的任务；
所述吞吐量敏感任务是在单位时间内完成的数量达到预设值的任务。
8.根据权利要求7所述的基于混合负载的云计算任务调度系统，其特征在于，所述模块M3中延迟敏感任务优先调度策略包括：
延迟敏感任务优先调度策略模块A.1：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间小于等于预设值，则选取当前最短剩余服务时间的任务；
延迟敏感任务优先调度策略模块A.2：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p大于等于计算机系统随机生成值，则调用当前最短剩余服务时间的任务。
9.根据权利要求7所述的基于混合负载的云计算任务调度系统，其特征在于，所述模块M3中吞吐量敏感任务优先调度策略包括：
吞吐量敏感任务优先调度策略模块B.1：当延迟敏感任务队列为空，则从吞吐量敏感任务队列中选取计算任务并调用；
吞吐量敏感任务优先调度策略模块B.2：当延迟敏感任务队列不为空时，则选取当延迟敏感任务队列中最短剩余服务时间的任务，当最短剩余服务时间大于预设值，则从吞吐量敏感任务队列中选取计算任务并调用；
吞吐量敏感任务优先调度策略模块B.3：当选取当前最短剩余服务时间的任务时，计算当前最短剩余服务时间的任务的执行概率p，当执行概率p小于计算机系统随机生成值，则从吞吐量敏感任务队列中选取计算任务并调用。
10.根据权利要求8或9所述的基于混合负载的云计算任务调度系统，其特征在于，所述模块M3中概率p包括：
其中，A0和k是参数项，均为正数；M0是经验系数，代表不超时地完成所有延迟敏感型任务的最少机器总数，X是预先设置的可承受的任务超时率，N是超时的任务数；M是已经运行结束的任务数；
所述概率p采用了反馈控制，得到计算概率p的公式，再根据概率p来选取任务调度；
所述吞吐量敏感任务优先调度策略，从吞吐量敏感任务队列中随机选取计算任务并调用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010495237.7A CN111782355B (zh) | 2020-06-03 | 2020-06-03 | 一种基于混合负载的云计算任务调度方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010495237.7A CN111782355B (zh) | 2020-06-03 | 2020-06-03 | 一种基于混合负载的云计算任务调度方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111782355A true CN111782355A (zh) | 2020-10-16 |
| CN111782355B CN111782355B (zh) | 2024-05-28 |
Family
ID=72753364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010495237.7A Active CN111782355B (zh) | 2020-06-03 | 2020-06-03 | 一种基于混合负载的云计算任务调度方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111782355B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112395052A (zh) * | 2020-12-03 | 2021-02-23 | 华中科技大学 | 一种面向混合负载基于容器的集群资源管理方法及系统 |
| CN112667356A (zh) * | 2020-12-30 | 2021-04-16 | 上海交通大学 | 时延可预测的NVMe存储虚拟化方法和系统 |
| CN113075994A (zh) * | 2021-04-26 | 2021-07-06 | 华南理工大学 | 面向x86和arm混合云计算的节能调度系统、方法和存储介质 |
| CN113312323A (zh) * | 2021-06-03 | 2021-08-27 | 中国人民解放军国防科技大学 | 并行文件系统中降低访问延迟的io请求调度方法及系统 |
| CN113806044A (zh) * | 2021-08-31 | 2021-12-17 | 天津大学 | 一种用于计算机视觉应用的异构平台任务瓶颈消除方法 |
| WO2023015787A1 (zh) * | 2021-08-10 | 2023-02-16 | 天津大学 | 一种高吞吐云计算资源回收系统 |
| CN117376423A (zh) * | 2023-12-08 | 2024-01-09 | 西南民族大学 | 一种深度学习推理服务调度方法、系统、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120082598A (ko) * | 2011-01-14 | 2012-07-24 | 대전대학교 산학협력단 | 클라우드 컴퓨팅에서 다중 워크플로우를 위한 비용기반 스케줄링 방법 및 그 시스템 |
| CN103605567A (zh) * | 2013-10-29 | 2014-02-26 | 河海大学 | 面向实时性需求变化的云计算任务调度方法 |
| WO2014073949A1 (en) * | 2012-11-12 | 2014-05-15 | Mimos Berhad | A system and method for virtual machine reservation for delay sensitive service applications |
| CN107341041A (zh) * | 2017-06-27 | 2017-11-10 | 南京邮电大学 | 基于优先队列的云任务多维约束回填调度方法 |
| CN107454017A (zh) * | 2017-06-05 | 2017-12-08 | 上海交通大学 | 一种云数据中心网络中混合数据流协同调度方法 |
| CN108108225A (zh) * | 2017-12-14 | 2018-06-01 | 长春工程学院 | 一种面向云计算平台的任务调度方法 |
| CN109491761A (zh) * | 2018-11-07 | 2019-03-19 | 中国石油大学(华东) | 基于eda-ga混合算法的云计算多目标任务调度方法 |
| CN109542608A (zh) * | 2018-11-30 | 2019-03-29 | 北京仿真中心 | 一种基于混合排队网络的云仿真任务调度方法 |
-
2020
- 2020-06-03 CN CN202010495237.7A patent/CN111782355B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120082598A (ko) * | 2011-01-14 | 2012-07-24 | 대전대학교 산학협력단 | 클라우드 컴퓨팅에서 다중 워크플로우를 위한 비용기반 스케줄링 방법 및 그 시스템 |
| WO2014073949A1 (en) * | 2012-11-12 | 2014-05-15 | Mimos Berhad | A system and method for virtual machine reservation for delay sensitive service applications |
| CN103605567A (zh) * | 2013-10-29 | 2014-02-26 | 河海大学 | 面向实时性需求变化的云计算任务调度方法 |
| CN107454017A (zh) * | 2017-06-05 | 2017-12-08 | 上海交通大学 | 一种云数据中心网络中混合数据流协同调度方法 |
| CN107341041A (zh) * | 2017-06-27 | 2017-11-10 | 南京邮电大学 | 基于优先队列的云任务多维约束回填调度方法 |
| CN108108225A (zh) * | 2017-12-14 | 2018-06-01 | 长春工程学院 | 一种面向云计算平台的任务调度方法 |
| CN109491761A (zh) * | 2018-11-07 | 2019-03-19 | 中国石油大学(华东) | 基于eda-ga混合算法的云计算多目标任务调度方法 |
| CN109542608A (zh) * | 2018-11-30 | 2019-03-29 | 北京仿真中心 | 一种基于混合排队网络的云仿真任务调度方法 |
Non-Patent Citations (2)
| Title |
|---|
| 常乃超;张智刚;卢强;郭建成;姚建国;南贵林;陶洪铸;刘金波;: "智能电网调度控制系统新型应用架构设计", 电力系统自动化, no. 01, 10 January 2015 (2015-01-10) * |
| 赵增华，舒炎泰: "无线局域网中基于WRR的实时业务调度算法", 计算机应用, no. 04, 28 April 2005 (2005-04-28) * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112395052A (zh) * | 2020-12-03 | 2021-02-23 | 华中科技大学 | 一种面向混合负载基于容器的集群资源管理方法及系统 |
| CN112395052B (zh) * | 2020-12-03 | 2024-02-06 | 华中科技大学 | 一种面向混合负载基于容器的集群资源管理方法及系统 |
| CN112667356A (zh) * | 2020-12-30 | 2021-04-16 | 上海交通大学 | 时延可预测的NVMe存储虚拟化方法和系统 |
| CN113075994A (zh) * | 2021-04-26 | 2021-07-06 | 华南理工大学 | 面向x86和arm混合云计算的节能调度系统、方法和存储介质 |
| CN113312323A (zh) * | 2021-06-03 | 2021-08-27 | 中国人民解放军国防科技大学 | 并行文件系统中降低访问延迟的io请求调度方法及系统 |
| CN113312323B (zh) * | 2021-06-03 | 2022-07-19 | 中国人民解放军国防科技大学 | 并行文件系统中降低访问延迟的io请求调度方法及系统 |
| WO2023015787A1 (zh) * | 2021-08-10 | 2023-02-16 | 天津大学 | 一种高吞吐云计算资源回收系统 |
| CN113806044A (zh) * | 2021-08-31 | 2021-12-17 | 天津大学 | 一种用于计算机视觉应用的异构平台任务瓶颈消除方法 |
| CN113806044B (zh) * | 2021-08-31 | 2023-11-07 | 天津大学 | 一种用于计算机视觉应用的异构平台任务瓶颈消除方法 |
| CN117376423A (zh) * | 2023-12-08 | 2024-01-09 | 西南民族大学 | 一种深度学习推理服务调度方法、系统、设备及存储介质 |
| CN117376423B (zh) * | 2023-12-08 | 2024-03-12 | 西南民族大学 | 一种深度学习推理服务调度方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111782355B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111782355B (zh) | 一种基于混合负载的云计算任务调度方法及系统 | |
| JP3008896B2 (ja) | 共有バス型マルチプロセッサシステムの割り込み負荷分散システム | |
| CN108628674A (zh) | 基于云平台的任务调度方法、云平台及计算机存储介质 | |
| CN105389206B (zh) | 一种云计算数据中心虚拟机资源快速配置方法 | |
| CN106980532A (zh) | 一种作业调度方法和装置 | |
| CN109542608B (zh) | 一种基于混合排队网络的云仿真任务调度方法 | |
| CN103927225A (zh) | 一种多核心架构的互联网信息处理优化方法 | |
| CN103873587B (zh) | 一种基于云平台实现调度的方法及装置 | |
| CN106569887A (zh) | 一种云环境下细粒度任务调度方法 | |
| Down et al. | The N-network model with upgrades | |
| Derakhshan et al. | Optimization of tasks in cloud computing based on MAX-MIN, MIN-MIN and priority | |
| CN104598311A (zh) | 一种面向Hadoop的实时作业公平调度的方法和装置 | |
| Sharma et al. | A Dynamic optimization algorithm for task scheduling in cloud computing with resource utilization | |
| CN106775975B (zh) | 进程调度方法及装置 | |
| CN116610422A (zh) | 一种任务调度方法、装置和系统 | |
| CN114675953A (zh) | 资源动态调度方法、装置、设备及计算机可读存储介质 | |
| CN118152084A (zh) | 云计算环境中spark集群多作业调度方法 | |
| Dubey et al. | QoS driven task scheduling in cloud computing | |
| EP4300305A1 (en) | Methods and systems for energy-efficient scheduling of periodic tasks on a group of processing devices | |
| CN110968420A (zh) | 一种多爬虫平台的调度方法、装置、存储介质及处理器 | |
| CN110008002B (zh) | 基于平稳分布概率的作业调度方法、装置、终端和介质 | |
| CN107589985A (zh) | 一种面向大数据平台的两阶段作业调度方法及系统 | |
| CN110058941A (zh) | 任务调度管理方法、装置、设备及存储介质 | |
| CN117032969B (zh) | 异构多核处理器的任务分配方法、系统、装置及存储介质 | |
| Jananee et al. | Enhancing Cloud Computing Resource Allocation with LSTM-Based Predictive Modeling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |