CN108540557A - 一种基于动态限速的云应用负载调度方法 - Google Patents

一种基于动态限速的云应用负载调度方法 Download PDF

Info

Publication number
CN108540557A
CN108540557A CN201810335819.1A CN201810335819A CN108540557A CN 108540557 A CN108540557 A CN 108540557A CN 201810335819 A CN201810335819 A CN 201810335819A CN 108540557 A CN108540557 A CN 108540557A
Authority
CN
China
Prior art keywords
load
speed limit
server
processing
slo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810335819.1A
Other languages
English (en)
Inventor
周红卫
周博
吴昊
张晓洲
王钟沛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Run He Software Inc Co
Original Assignee
Jiangsu Run He Software Inc Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Run He Software Inc Co filed Critical Jiangsu Run He Software Inc Co
Priority to CN201810335819.1A priority Critical patent/CN108540557A/zh
Publication of CN108540557A publication Critical patent/CN108540557A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/101—Server selection for load balancing based on network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

发明涉及一种基于动态限速的云应用负载调度方法。面向长时间运行的云应用，根据负载历史记录生成r‑b曲线以描述存储和网络利用率，基于动态规划为每类负载自动生成限速参数，并选择能够满足SLO要求的服务器。在保障处理负载的性能满足SLO的约束下，通过对自动化设置存储和网络限速参数，调度并整合负载以最小化处理负载的服务器数量，从而提高资源利用率并减少能耗。

Description

一种基于动态限速的云应用负载调度方法
技术领域
本发明涉及一种基于动态限速的云应用负载调度方法，属于软件技术领域。
背景技术
在云计算环境中，云服务提供商为多个客户提供共享的计算、网络和存储资源以最大化资源利用率，降低总体能耗，从而减少数据中心的运营成本，同时保障良好性能，如满足请求处理延迟时间，以提升客户满意度。客户通常定义服务水平目标（SLO，ServiceLevel Object）以描述处理负载的性能要求，比如“80%的请求必须在100毫秒内完成”。那么，需要具有高效的负载调度方法，服务器在满足性能目标的前提下，能够处理多样化的负载。为了应对整合负载所带来的网络拥塞问题，云服务提供者和客户通常会达成限速协议，客户静态设定限速规则，服务提供商则进行相应的优化，以实现性能最大化。当前负载调度方法是，为客户预先保留一定数量的资源，或者以尽最大努力的方式处理负载。Silo（KeonJang, Justine Sherry, Hitesh Ballani, and Toby Moncaster. 2015. Silo:Predictable Message Latency in the Cloud. In ACM SIGCOMM. ACM, 435–448.）设计限速方案以保障网络延迟；pClock（Ajay Gulati, Arif Merchant, and Peter J.Varman. 2007. pClock: an arrival curve based approach for QoS guarantees inshared storage systems. In Proceedings of the 2007 ACM SIGMETRICSinternational conference on Measurement and modeling of computer systems.ACM, New York, NY, USA, 13–24.）设计限速方案以保障存储延迟；文献（Nohhyun Park,Irfan Ahmad, and David J. Lilja. 2012. Romano: Autonomous Storage ManagementUsing Performance Prediction in Multi-tenant Datacenters.In Proceedings ofthe Third ACM Symposium on Cloud Computing. ACM,New York, NY, USA, Article21, 14 pages.）采用性能预测的方法动态调整等待处理的负载。然而，面对大量负载，难以实现通过预留资源来满足处理延迟，尤其是，短期突发性负载会对处理延迟产生显著影响。同时，难以为不同的负载类型设置合理的限速参数。
发明内容
本发明的目的：面向长时间运行的云应用，在保障处理负载的性能满足SLO的约束下，将负载调度并整合到目标服务器，以最小化处理负载的服务器数量。
本发明的原理：刻画负载，描述其对处理延迟的影响，通过对存储和网络进行限速，并设置负载的优先级，在满足处理延迟的条件下，自动化的减少服务器数量。
本发明技术解决方案：一种基于动态限速的云应用负载调度方法，其特点在于实现步骤如下：
（1）生成r-b曲线以描述负载处理速率r与令牌桶容积b之间的关系。当请求到达时，令牌添加到令牌桶中，如果令牌桶中有足够的空间来添加令牌，即不超过令牌桶大小为b，则允许继续处理请求。否则，请求就会排队等待，直到令牌桶中有足够的空间。令牌以速率r不断地从桶中流出，空间逐渐变得可用。对于给定的r值，通过重放具有速率r以及无限大小令牌桶在任意时间点的执行轨迹，计算得到不需要排队的请求数量b。输入r与输出b构成<r,b>元组作为点，连接形成分段r-b曲线。对r值进行标准化处理（例如，网络流量除以网络带宽），那么，r=1.0表示负载占用了所有带宽资源。传输的数据量取决于请求类型（例如，读/写），分别生成不同的r-b曲线；
（2）选择限速参数：使用网络微积分方程计算，由于在服务器上排队而导致的处理延迟，对于优先级p的负载，处理延迟的上限为：
，
其中，<rj，bj>是负载j的限速设置，bj是负载j的令牌桶大小，rj是负载j的处理速率，pj是负载j的优先级,其高于或等于p，SLOp是与优先级p关联的SLO。进而可以得到下式：
，
使用分段线性凸函数r-b曲线，可以将bi表示为ri的函数，进而利用线性规划方法求解得到每个限速元组<rj，bj>，满足约束条件：
，
每个负载关联r-b曲线，当新的负载调度到该服务器时，动态重新计算现有负载共享该服务器的限速设置。
（3）选择处理负载的服务器：本发明通过线性规划求解，将负载分发给SLOs能够满足的服务器，采用首先匹配的策略。在通常情况下，大多数服务器几乎都是满载的，所以新负载不能分发给几乎满负载的服务器。因此，本发明提出了快速首次匹配方法，跟踪每个服务器上配置的速率总和，跳过将负载放到接近满负载的服务器，避免了不必要的运行线性规划计算过程。
本发明与现有技术相比具有如下优点：
（1）能够根据服务的实际资源使用状态，动态调整限速参数，即负载处理速度r和令牌桶容积b；
（2）在保障处理负载的性能满足SLO的约束下，将负载调度并整合到目标服务器，以最小化处理负载的服务器数量；
（3）能够满足在同一台服务器上，不同类型负载对于处理延迟的要求。
附图说明
图1为云应用负载调度系统架构。
具体实施方式
以下结合具体实施例和附图对本发明进行详细说明，如图1所示，本发明实施例方法流程：
本发明将阿里云弹性块存储云服务作为典型应用场景，客户连接到一个或多个块存储服务器实例，产生网络负载来访问存储在服务器上的数据。负载调度器由五个组件构成：
（1）r-b曲线生成器：根据处理负载的历史记录生成r-b曲线，描述负载的存储和网络利用率，并根据客户需求定义SLO；
（2）部署器：标识可以分发负载的候选服务器；
（3）优化器：为每个负载配置<r, b>限速参数，并决定在哪个服务器上放置负载来满足处理延迟要求；
（4）延迟检查器：确定负载的候选位置和<r, b>元组是否能够满足负载的SLO要求；
（5）实施器：配置适当的存储和网络限速，并将负载分配给服务器。
请求调度方法的执行流程如下：
（1）r-b曲线生成器根据负载类型的历史执行记录生成网络或内存的r-b曲线（即线性分段函数b=f(r)），并将用户定义的负载SLO要求，一同发送给部署器；
（2）部署器选择可以分发负载的服务器，并生成候选服务器列表，即存在较充足资源的服务器；
（3）优化器使用线性规划方法计算服务器上共存的各类负载的<r, b>元组参数，并将计算结果发送给延迟检查器：
，
其中，<rj，bj>是负载j的限速设置，bj是负载j的令牌桶大小，rj是负载j的处理速率，pj是负载j的优先级,其高于或等于p，SLOp是与优先级p关联的SLO满足约束条件：
。
（4）延迟检查器检测在候选服务器以及<r, b>元组是否能够满足用户所定义的SLO要求，如果能满足则将候选服务器以及<r, b>元组信息发送给实施器，否则重新发回部署器以生成新的方案；
（5）实施器将负载发送给选定的候选服务器，并设置<r, b>元组参数。

Claims (1)

1.方法特征在于实现步骤如下：
第一步，生成r-b曲线：根据处理负载的历史执行记录生成网络和内存的r-b曲线，其中，r是处理负载的速率，b是令牌桶容积，并定义负载的处理延迟要求；
第二步，选择候选服务器：选择较充足内存和网络资源的服务器，生成候选服务器列表；
第三步，计算参数r和b：使用线性规划方法计算服务器上共存的各类负载的<r,b>元组：，其中，rj和bj是负载类型j的参数，bj是负载j的令牌桶大小，rj是负载j的处理速率，p是用户定义的优先级，pj p是负载j的优先级， SLOp是与优先级p关联的处理延迟，满足约束条件：；
第四步，检测候选服务器以及限速参数r和b是否能够满足用户所定义的负载处理延迟要求，如果能满足则生成候选服务器以及限速参数r和b，否则重复第三步执行。
CN201810335819.1A 2018-04-16 2018-04-16 一种基于动态限速的云应用负载调度方法 Pending CN108540557A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810335819.1A CN108540557A (zh) 2018-04-16 2018-04-16 一种基于动态限速的云应用负载调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810335819.1A CN108540557A (zh) 2018-04-16 2018-04-16 一种基于动态限速的云应用负载调度方法

Publications (1)

Publication Number Publication Date
CN108540557A true CN108540557A (zh) 2018-09-14

Family

ID=63480655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810335819.1A Pending CN108540557A (zh) 2018-04-16 2018-04-16 一种基于动态限速的云应用负载调度方法

Country Status (1)

Country Link
CN (1) CN108540557A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112242959A (zh) * 2019-07-16 2021-01-19 中国移动通信集团浙江有限公司 微服务限流控制方法、装置、设备及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101174986A (zh) * 2007-11-07 2008-05-07 中兴通讯股份有限公司 动态反馈负载分发方法和装置
CN102209107A (zh) * 2011-05-11 2011-10-05 奇智软件（北京）有限公司 一种智能限速方法和装置、一种下载系统
CN103929366A (zh) * 2014-04-02 2014-07-16 华为技术有限公司 流量控制方法、装置及设备
US20140365659A1 (en) * 2013-06-05 2014-12-11 Sap Ag Load controller framework

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101174986A (zh) * 2007-11-07 2008-05-07 中兴通讯股份有限公司 动态反馈负载分发方法和装置
CN102209107A (zh) * 2011-05-11 2011-10-05 奇智软件（北京）有限公司 一种智能限速方法和装置、一种下载系统
US20140365659A1 (en) * 2013-06-05 2014-12-11 Sap Ag Load controller framework
CN103929366A (zh) * 2014-04-02 2014-07-16 华为技术有限公司 流量控制方法、装置及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112242959A (zh) * 2019-07-16 2021-01-19 中国移动通信集团浙江有限公司 微服务限流控制方法、装置、设备及计算机存储介质

Similar Documents

Publication Publication Date Title
US20200314168A1 (en) Distributed code execution involving a serverless computing infrastructure
US8930731B2 (en) Reducing power consumption in data centers having nodes for hosting virtual machines
US8214843B2 (en) Framework for distribution of computer workloads based on real-time energy costs
US20150067028A1 (en) Message driven method and system for optimal management of dynamic production workflows in a distributed environment
US20160378570A1 (en) Techniques for Offloading Computational Tasks between Nodes
US20160218950A1 (en) Proactive identification of hotspots in a cloud computing environment
US20120323988A1 (en) Task allocation in a computer network
US7925785B2 (en) On-demand capacity management
US20140344398A1 (en) Control systems and methods for cloud resource management
US8862729B2 (en) Forecast-less service capacity management
US20150133214A1 (en) Video encoding based on areas of interest
US20100251258A1 (en) Recording medium having load balancing program recorded thereon, load balancing apparatus and method thereof
US20120324111A1 (en) Task allocation in a computer network
WO2024016596A1 (zh) 容器集群调度的方法、装置、设备及存储介质
US9244718B2 (en) Virtual machine resource allocation based on connection time coverage exceeding a minimum threshold
US20160292609A1 (en) Optimization of workload placement
Stavrinides et al. Cost‐aware cloud bursting in a fog‐cloud environment with real‐time workflow applications
CN113132456A (zh) 一种基于截止时间感知的边云协同任务调度方法及系统
CN112600761A (zh) 一种资源分配的方法、装置及存储介质
US20130227113A1 (en) Managing virtualized networks based on node relationships
CN116225679A (zh) 算力网络调度方法、装置及存储介质
Deochake Cloud cost optimization: A comprehensive review of strategies and case studies
CN108540557A (zh) 一种基于动态限速的云应用负载调度方法
US10979359B1 (en) Polling resource management system
CN110308991A (zh) 一种基于随机任务的数据中心节能优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180914