CN109901922B - 一种面向多层服务的容器云资源调度优化方法 - Google Patents

Abstract

本发明公开了一种面向多层服务的容器云资源调度优化方法，该方法包括如下的步骤：根据为多个多层服务提供服务的需求，构建由多个异构容器构成的容器云架构；根据该架构，建立云服务提供商对于容器云的整体收益函数；根据排队论提供多层服务下各层服务的响应状态，结合收益函数得出整体的收益模型，并根据各层服务的服务要求，为收益模型设定初始解；针对上述模型的优化问题，给出一种资源分配优化算法，进而根据算法的解进行资源分配，从而达到云服务提供商效益最大化。本方法能够为云服务提供商提供一种容器云的优化策略，考虑了多层相关微服务在容器云中的弹性运营策略，能够根据用户的需求动态的分配资源，提高了云资源的利用率。

Description

一种面向多层服务的容器云资源调度优化方法

技术领域

本发明涉及云计算资源调度技术领域，更具体地，涉及一种面向多层服务的容器云资源调度优化方法。

背景技术

根据全球知名的研究咨询公司Gartner提供的报告，2018年全球公有云计算市场规模已经达到1758亿美元，随着传统IT服务向云端服务转移，预计到2021 年，全球公有云计算市场规模将增加58.3％，达到2783亿美元，云计算已经成为IT行业重要的支撑产业。由云计算提供商(如Amazon,Microsoft,IBM等) 提供的云计算服务，其目标用户来自于各行各业。然而不同行业对于服务质量的要求不尽相同，例如响应时间的要求，可用率与吞吐量等。为了保证提供商的服务质量，需要制定合适的服务等级协定(SLA)作为约束。对于云计算服务提供商而言，在提供与服务等级协议(SLA)相应的服务同时，应尽量优化资源配置以降低服务成本和避免因SLA违约而向用户支付惩罚费用从而保证收益。

目前，随着持续集成(CI)以及集成了开发、测试、部署和运营为一体的 DevOps等技术在软件开发中的引入，很多企业采用微服务、容器和云虚拟机结合的方式进行产品开发和部署。其中，采用微服务架构的软件能够克服传统单体软件的高耦合、复用性等不足；结合应用容器技术(如Docker)可以增强系统的弹性、稳定性和开发的敏捷性；云虚拟机可以节省基础设施的支出。根据目前这种市场需求，云服务提供商推出了虚拟机和容器结合的容器云产品(如Amazon 的Elastic Container Service，Google的App Engine)。具体的，用户可以直接将自己开发的服务托管到云服务提供商的容器云服务上，由云中心根据服务等级协定(SLA)进行弹性的部署(在访问量增加，系统负载变大的时候，适当增加部署的容器数量；反之，则适当的减少)，而用户只需要支付应用实际消耗的单位价格。这种平台即服务(PaaS)模式的服务，能够进一步实现云计算“按需付费”、快速弹性伸缩的理念，但是也对云计算提供商提出了新的问题。

微服务架构的优点有很多，如模块间耦合性低，易于开发维护，完善了故障隔离等，但是也存在一些不足。微服务框架每个服务实例功能专一且部署独立，为了完成整个业务的功能，需要多层服务间配合，这就造成了额外的通信开销，因此部署在容器云中的微服务实例对于响应时间是敏感的。云服务提供商需要在以响应时间为主要SLA约束的情况下对容器云进行资源配置。

综上所述，需要提供一种在满足容器云中多层服务请求的响应时间要求的情况下，最大化云计算提供商总收益的资源调度与优化方法。

发明内容

本发明的目的在于提供一种面向多层服务的容器云资源调度优化方法，综合考虑请求任务到达率，系统负载和已分配资源等不同因素的变化，能够较优选地为各层服务配置合适的资源，从而最小化云服务提供商的总成本并且保证多层服务实例请求的延迟时间要求。

为达到上述目的，本发明采用下述技术方案：

根据本发明的一个方面，建立了云服务提供商收益的模型，包括：确定云计算提供商在容器云中总收益的定义方式；为了能够保证多层服务相应时间以满足 SLA需求，基于排队论描述各层服务情况；进而根据各层服务实例的服务状态和容器云总收益构建多服务整体收益的效应函数。

根据本发明的另一方面，提供了多层服务容器云模型基于SLA的资源优化配置方法，包括：容器云的资源分配策略，根据给定的负载、要求响应时间和实际动态的请求量，对模型进行优化求解，得到当前容器云内多个多层服务的初始最优解；以及给出基于SLA的容器云资源优化策略，根据初始解和当前的系统状态，采用一种基于蝙蝠算法的优化算法，保证云计算提供商的收益和对用户的服务质量。

根据本发明的上述方面，针对目前实际情况中多层微服务实例结合容器部署在云环境中的总体架构，在考虑各层服务实例响应时间作为SLA约束的基础上，使得云计算提供商在处理容器云资源调度问题上获得最大的利润。

综上，一种面向多层服务的容器云资源调度优化方法，该方法包括如下的步骤：

1)根据为多个多层服务提供服务的需求，构建由多个异构容器构成的容器云架构；

2)根据该架构，建立云服务提供商对于容器云的整体收益函数；

3)根据排队论提供多层服务下各层服务的响应状态，结合2)中的收益函数得出整体的收益模型，并根据各层服务的服务要求，为收益模型设定初始解；

4)针对上述模型的优化问题，给出一种资源分配优化算法，进而根据算法的解进行资源分配，从而达到云服务提供商效益最大化。

具体步骤如下：

第一步，根据需求构建由多个异构容器构成的容器云架构。

第二步，所述的云服务提供商在容器云中的整体收益函数为：

Profit(C)＝Revenue(C)-Cost(C)

其中，C为容器配置方案，N为容器云中部署的多层服务的个数，M为多层服务的服务层数，τ为单位时间长度，i为多层服务的序数，j为每个服务层数的序数， k为每个请求类型的序数；

为在τ时间内请求k在多层服务i的总任务到达率，

为在τ时间内请求k在多层服务i中的平均响应时间，R_i，k为请求k在多层服务 i中SLA约定的响应时间，α_i，k为请求k在多层服务i中SLA约定的响应超时率，β_i，k为请求k在多层服务i中的单位请求惩罚，

为τ时间内请求k在多层服务i 中响应超时的请求数；c_{i，j，k，w}为请求k在第i个多层服务第j层的w类容器上执行的单位消耗费用。

进一步，实际中的消耗根据使用实际容器消耗费用计算，其中，

为τ时间内多层服务系统i中j层容器w的数量，

在τ时间内w容器的单位满负荷消耗费用，

为在τ时间内多层服务i中j层容器w的使用率即CPU使用率。

第三步，根据排队论提供多层服务下各层服务的具体响应时间。其中，多层服务系统中0层所运行的为n_i，0个任务调度器，当请求k以λ_i，k，0的请求到达率到达时，每个调度器以μ_i，k，0请求分配处理率进行处理，调度器中存在的请求个数u 的概率p_u如下：

p₀为调度器空闲的概率，ρ_i，k，0为λ_i，k，0/μ_i，k，0。

调度器层的平均响应时间r_i，k，0为：

进一步，多层服务i的第1层到第M_i层为根据用户部署的具体处理请求服务层，每层的多个服务实例相同，对应的容器处理能力相同，每层的请求到达率为λ_i，k，j，取决于k类请求在多层服务i中j-1层请求需要访问j层的概率p_i，k，j-1,即：

对于每一请求服务层j，每一个具体处理容器为一个M/G/1模型，具体的：

λ_i，k，j＝p_i，k，j-1·λ_i，k，j-1＝n_i，jλ_{i，k，j，w}

其中，R_{i，k，j，w}为k类请求在多层服务i中第j层每个容器节点w的平均响应时间，μ_{i，k，j，w}为多层服务i中第j层每个容器节点w对k类请求的处理率，λ_{i，k，j，w}为多层服务i第j层每个容器节点w的k类请求到达率。

通过对容器云中调度器和具体服务容器响应时间的把握，得到多层服务i中对k类请求的平均响应时间的计算方式：

进一步得到整体的收益模型优化形式转化为：

Max{Profit(C)}

n_i，jμ_i，k_，j，w＞λ_i，k_，j

第四步，所述获取资源优化配置方案的方法是：以混沌映射的方式初始化蝙蝠种群在解空间的位置和速度，设定其它相关参数包括最大音量、最大脉冲发生率、搜索脉冲频率范围和最大迭代次数等；更新每个个体的搜索脉冲频率、速度和位置；采用均匀分布生成随机数，如果该随机数大于对应蝙蝠的脉冲发生率，则对当前最优解进行随机扰动，为该蝙蝠产生一个新解并进行越界处理；按照均匀分布生成随机数，如果该随机数小于对应蝙蝠的音量且当前的解为更优解，则接受该新解则更新该蝙蝠的脉冲发生率和音量；对所有蝙蝠的适应度值进行排序，找出当前的最优解和最优适应度值；以此循环，直到达到设定的最大迭代次数，此状态下的最优解即为能够最大化提供商的收益并满足响应要求的资源配置策略。

本发明的有益效果如下：

1.该方法能够为云服务提供商提供一种容器云的优化策略，在云服务提供商提供更细粒度，更具弹性的PaaS服务的同时，满足不同用户的不同请求响应要求，提高了容器云服务的有效全局收益。

2.在微服务，容器和云平台结合的实际应用环境中，考虑了多层相关微服务在容器云中的弹性运营策略，能够根据用户的需求动态的分配资源，提高了云资源的利用率。

附图说明

图1一种面向多层服务的容器云资源调度优化方法的组成示意图。

图2容器云系统的整体架构图。

图3多层服务动态服务模型图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。

第一步，根据需求构建由多个异构容器构成的容器云架构。

所述架构如图2所示。其中每个多层服务由多层多个服务实例组成，每一个服务实例运行在与其一一对应的容器中。容器为资源调度的最小单位，同一层的服务实例相同且部署在同构的容器上，根据系统负载压力由单个或多个容器实例同时提供服务；不同层运行的服务实例和数量不同，且其对应的容器环境可以为异构。实际中容器启动时间为秒级，且微服务实例系统开销小，因此对于本架构中容器的启动可视为瞬时响应。到达系统的请求通常为微服务中常用的RESTful 请求，也可以是其他的RPC请求，根据请求的具体内容，其需要到达不同的服务层次以完成请求。在请求到达容器云之后，首先要进入一个符合先来先服务 (FCFS)队列中等待，通过多个同构的调度器进行调度，然后到达相应的多层服务的第一层进行处理。其中，每一层的多个容器由一个负载均衡器进行控制，因此，理想状态中请求流在多个容器中平均分配。

第二步，所述的云服务提供商在容器云中的整体收益函数为：

Profit(C)＝Revenue(C)-Cost(C)

其中，C为容器配置方案，N为容器云中部署的多层服务的个数，M为多层服务的服务层数，τ为单位时间长度，i为多层服务的序数，j为每个服务层数的序数， k为每个请求类型的序数；

为在τ时间内请求k在多层服务i的总任务到达率，

为在τ时间内请求k在多层服务i中的平均响应时间，R_i，k为请求k在多层服务 i中SLA约定的响应时间，α_i，k为请求k在多层服务i中SLA约定的响应超时率，β_i，k为请求k在多层服务i中的单位请求惩罚，

为τ时间内请求k在多层服务i 中响应超时的请求数；c_{i，j，k，w}为请求k在第i个多层服务第j层的w类容器上执行的单位消耗费用。

在实际中的消耗根据使用实际容器消耗费用计算，其中，

为τ时间内多层服务系统i中j层容器w的数量，

在τ时间内w容器的单位满负荷消耗费用，

为在τ时间内多层服务i中j层容器w的CPU使用率。

第三步，根据排队论提供多层服务下各层服务的具体响应时间。

多层服务的排队模型如图3所示。其中，多层服务系统中0层所运行的实例为n_i，0个任务调度器，当请求k以λ_i，k，0的请求到达率到达时，每个调度器以μ_i，k，0请求分配处理率进行处理，调度器中存在的请求个数u的概率p_u如下：

p₀为调度器空闲的概率，ρ_i，k，0为λ_i，k，0/μ_i，k，0。

调度器层的平均响应时间r_i，k，0为：

进一步，多层服务i的第1层到第M_i层为根据用户部署的具体处理请求服务层，每层的多个服务实例相同，对应的容器处理能力相同，每层的请求到达率为λ_i，k，j，取决于k类请求在多层服务i中j-1层请求需要访问j层的概率p_i，k，j-1,即：

对于每一请求服务层j，每一个具体处理容器可以看作一个M/G/1模型，具体的：

λ_i，k，j＝p_i，k，j-1·λ_i，k，j-1＝n_i，jλ_{i，k，j，w}

其中，R_{i，k，j，w}为k类请求在多层服务i中第j层每个容器节点w的平均响应时间，μ_{i，k，j，w}为多层服务i中第j层每个容器节点w对k类请求的处理率，λ_{i，k，j，w}为多层服务i第j层每个容器节点w的k类请求到达率。

通过对容器云中调度器和具体服务容器响应时间的把握，可得到多层服务i 中对k类请求的平均响应时间的计算方式：

进一步得到整体的收益模型优化形式可转化为：

Max{Profit(C)}

n_i，jμ_{i，k，j，w}＞λ_i，k，j

进一步，根据各层服务的服务要求，为收益模型设定初始解。具体的为根据用户对于每个服务预估的请求到达量、服务对应容器类型和最小的服务实例数等确定初始的各层容器数量n_i，j，并根据具体需求增加对于模型的约束。如要求多层应用i的第j层应具有最少N_i，j个服务实例，则为整个模型添加约束n_i，j≥N_i，j第五步，优选地，所述获取资源优化配置方案的方法是：以混沌映射的方式初始化蝙蝠种群在解空间的位置和速度，设定其它相关参数包括最大音量、最大脉冲发生率、搜索脉冲频率范围和最大迭代次数等；更新每个个体的搜索脉冲频率、速度和位置；采用均匀分布生成随机数，如果该随机数大于对应蝙蝠的脉冲发生率，则对当前最优解进行随机扰动，为该蝙蝠产生一个新解并进行越界处理；按照均匀分布生成随机数，如果该随机数小于对应蝙蝠的音量且当前的解为更优解，则接受该新解则更新该蝙蝠的脉冲发生率和音量；对所有蝙蝠的适应度值进行排序，找出当前的最优解和最优适应度值；以此循环，直到达到设定的最大迭代次数，此状态下的最优解即为能够最大化提供商的收益并满足响应要求的资源配置策略。

应当理解，以上实施对本发明的技术方案进行的详细说明是示意性的而非限制性的。本领域的普通技术人员在阅读本发明说明书的基础上可以对各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (1)

1.一种面向多层服务的容器云资源调度优化方法，其特征在于：该方法包括如下的步骤，

第一步，根据需求构建由多个异构容器构成的容器云架构；

第二步，云服务提供商在容器云中的整体收益函数为：

Profit(C)＝Revenue(C)-Cost(C)

其中，C为容器配置方案，N为容器云中部署的多层服务的个数，M为多层服务的服务层数，τ为单位时间长度，i为多层服务的序数，j为每个服务层数的序数，k为每个请求类型的序数；

为在τ时间内请求k在多层服务i的总任务到达率，

为在τ时间内请求k在多层服务i中的平均响应时间，R_i，k为请求k在多层服务i中SLA约定的响应时间，α_i，k为请求k在多层服务i中SLA约定的响应超时率，β_i，k为请求k在多层服务i中的单位请求惩罚，

为τ时间内请求k在多层服务i中响应超时的请求数；c_{i，j，k，w}为请求k在第i个多层服务第j层的w类容器上执行的单位消耗费用；

实际中的消耗根据使用实际容器消耗费用计算，其中，

为τ时间内多层服务系统i中j层容器w的数量，

在τ时间内w容器的单位满负荷消耗费用，

为在τ时间内多层服务i中j层容器w的使用率即CPU使用率；

第三步，根据排队论提供多层服务下各层服务的具体响应时间；其中，多层服务系统中0层所运行的为n_i，0个任务调度器，当请求k以λ_i，k，0的请求到达率到达时，每个调度器以μ_i，k，0请求分配处理率进行处理，调度器中存在的请求个数u的概率p_u如下：

p₀为调度器空闲的概率，ρ_i，k，0为λ_i，k，0/μ_i，k，0；

调度器层的平均响应时间r_i，k，0为：

多层服务i的第1层到第M_i层为根据用户部署的具体处理请求服务层，每层的多个服务实例相同，对应的容器处理能力相同，每层的请求到达率为λ_i，k，j，取决于k类请求在多层服务i中j-1层请求需要访问j层的概率p_i，k，j-1，即：

对于每一请求服务层j，每一个具体处理容器为一个M/G/1模型，具体的：

λ_i，k，j＝p_i，k，j-1·λ_i，k，j-1＝n_i，jλ_{i，k，j，w}

其中，R_{i，k，j，w}为k类请求在多层服务i中第j层每个容器节点w的平均响应时间，μ_{i，k，j，w}为多层服务i中第j层每个容器节点w对k类请求的处理率，λ_{i，k，j，w}为多层服务i第j层每个容器节点w的k类请求到达率；

通过对容器云中调度器和具体服务容器响应时间的把握，得到多层服务i中对k类请求的平均响应时间的计算方式：

进一步得到整体的收益模型优化形式转化为：

Max{Profit(C)}

n_i，jμ_{i，k，j，w}＞λ_i，k，j

第四步，获取资源优化配置方案的方法是：以混沌映射的方式初始化蝙蝠种群在解空间的位置和速度，设定其它相关参数包括最大音量、最大脉冲发生率、搜索脉冲频率范围和最大迭代次数等；更新每个个体的搜索脉冲频率、速度和位置；采用均匀分布生成随机数，如果该随机数大于对应蝙蝠的脉冲发生率，则对当前最优解进行随机扰动，为该蝙蝠产生一个新解并进行越界处理；按照均匀分布生成随机数，如果该随机数小于对应蝙蝠的音量且当前的解为更优解，则接受该新解则更新该蝙蝠的脉冲发生率和音量；对所有蝙蝠的适应度值进行排序，找出当前的最优解和最优适应度值；以此循环，直到达到设定的最大迭代次数，此状态下的最优解即为能够最大化提供商的收益并满足响应要求的资源配置策略。

Images