CN114629858A - Kubernetes中基于自适应处理率的网状微服务资源控制方法 - Google Patents

Abstract

本发明公开了一种Kubernetes中基于自适应处理率的网状微服务资源控制方法，面向基于Kubernetes的云中网状微服务系统，考虑同步调用对容器性能的负面影响。本发明主要工作有：A)提出一种自适应处理率的排队模型来应对不同业务类型请求的比例变化对容器处理率的影响；B)提出基于预测的前馈控制方法；C)提出排队长度感知基于排队长度感知的反馈控制方法；考虑每个微服务的排队长度，构建Jackson排队网络准确计算瓶颈服务对其他服务的影响；D)基于线性规划的虚拟机供应策略，最大化资源利用率。本发明应用在基于Kubernetes部署的网状微服务系统，通过上述方法，能够大幅度提高系统服务质量。

Description

Kubernetes中基于自适应处理率的网状微服务资源控制方法

技术领域

本发明属于云计算资源供应领域，具体涉及一种Kubernetes中基于自适应处理率的网状微服务资源控制方法。

背景技术

基于微服务的体系结构有利于构建灵活的软件系统。由于容器比虚拟机(VM)更轻量和便捷，在从公共云供应商租用的容器中部署微服务能够提供弹性处理能力。Kubernetes(简称K8s)是一种流行的容器应用编排和管理系统。许多公有云厂商提供基于K8s的容器应用运行平台，如Amazon Elastic Kubernetes Service(Amazon EKS)和阿里云Kubernetes(ACK)。

应用解耦为多个微服务，并部署在K8s集群中时，如何为每一个微服务供给合适的资源是一个关键问题。大部分基于K8s平台的容器调度算法研究针对单独批处理任务或批处理任务与Web系统混合负载的资源调度方法，动态申请与释放Pods，以降低资源成本。在这些工作中，它们假定批处理作业和Web系统消耗固定数量的资源。但是对于Web系统来说，系统消耗的资源是随着负载的改变而改变的。有许多研究针对单一微服务，提出了一些资源缩放策略。K8s内置的HPA(Horizontal Pod Autoscaler，水平Pod自动缩放器)是基于阈值的资源伸缩策略。HPA根据CPU或内存利用率调整pod的数量。它对性能变化的反应很慢。Toka等人提出了HPA+(Toka L,Dobreff G,Fodor B,et al.Adaptive AI-based auto-scaling for Kubernetes[C]//2020 20th IEEE/ACM International Symposium onCluster,Cloud and Internet Computing(CCGRID).IEEE,2020:599-608.)，将CPU消耗与用户的请求数目联系起来。它使用LSTM(Long Short-Term Memory)来预测请求的数量，以提高系统对变化的负载的处理能力，。然而，纯基于阈值的方法总是会导致控制延迟。通过动态地调整分配的容器数量，排队论和控制理论的混合方法(Cai Z,Buyya R.InverseQueuing Model based Feedback Control for Elastic Container Provisioning ofWeb Systems in Kubernetes[J].IEEE Transactions on Computers,2021:1.DOI:10.1109/TC.2021.3049598.)几乎能够使平均响应时间遵循给定的参考时间。但这些方法都是针对单层系统设计的，没有考虑网状微服务之间的影响。

现有的只有少数工作考虑网状服务系统，而且大多数工作都是考虑资源的分配或者迁移并没有考虑服务之间的调用关系。DAI等人(DAI Zhiming,ZHOU Mingtuo,YANGYang,LI Jian,LIU Jun.Fog computing resource scheduling in intelligentfactories[J].Journal of University of Chinese Academy of Sciences,2021,38(5):702-711.)利用Socks Shop这个网状微服务容器系统开展仿真实验，基于遗传算法IDGSA指导为处理任务的容器分配资源，同时调度容器的位置。Xu等人(Xu M,BuyyaR.BrownoutCon:A software system based on brownout and containers for energy-efficient cloud computing[J].Journal of Systems and Software,2019,155:91-103.)结合滑动窗口策略，对Socks Shop的每个微服务的容器资源进行伸缩，但主要考虑的是在负载增加的情况下利用断开策略，保证系统性能，并且节约了能耗。Jackson排队网络(Jackson queuing network，JQN)被广泛应用于建模网状多服务队列之间的影响。例如Lei等(Lei Y,Cai Z,Wu H,et al.Cloud Resource Provisioning and BottleneckEliminating for Meshed Web Systems[C]//2020 IEEE 13th InternationalConference on Cloud Computing(CLOUD).IEEE,2020:512-516.)提出的JPRM，利用Holt-Winter预测模型加上JQN来预测各层的到达率以及瓶颈层对其他层的影响，同时利用M/M/N排队模型估计租赁的虚拟机数目。但是JPRM没有考虑各层的排队长度在计算瓶颈层对其他层的影响时。同时在真实生产环境下，同步调用其他服务会占用一些服务器线程和连接数。同步调用使容器处理能力的估计和系统瓶颈的识别变得复杂。

发明内容

本发明的目的在于提供一种Kubernetes中基于自适应处理率的网状微服务资源控制方法，面向基于Kubernetes的云中网状微服务系统，考虑同步调用对容器性能的负面影响；采用排队长度感知的Jackson排队网络，量化瓶颈层对其他微服务的影响。

实现本发明目的的技术解决方案为：一种Kubernetes中基于自适应处理率的网状微服务资源控制方法，包括以下步骤：

A)基于服务产生同步调用的比例，为微服务集群建立自适应处理率的排队模型；

B)按照虚拟机的定价间隔执行基于预测的前馈控制，生成微服务之间的调用概率矩阵；

C)按照控制间隔执行基于排队长度感知的反馈控制；

D)基于线性规划的虚拟机供应策略：采用线性规划计算能够刚好满足容器需求的虚拟机数目；策略要求立即租赁需要的虚拟机，释放虚拟机需要等到下一次定价间隔。

进一步的，步骤A)具体如下：

给定一个系统：S＝{S_i|i∈{1,2,3...,n}}，其中S是系统中服务的集合；B＝{b_l|l∈{1,2,3...,L}}，其中B是系统中业务的集合；b_l＝(S_l,1,...,S_l,k,...)，S_l,k∈S是b_l中第k个被访问的服务；服务同步调用其他服务会降低自身的请求处理率；根据用户访问系统业务不同，建立自适应处理率的排队模型。

进一步的，步骤B)按照虚拟机的定价间隔执行基于预测的前馈控制方法，过程如下：

统计用户历史访问数据，利用负载预测方法预测下一区间的用户请求到率；根据预测的请求到达率以及步骤A中的排队模型租赁供应合适的容器数目。

进一步的，步骤C)中，反馈控制方法在前馈控制方法之间执行，检测系统瓶颈服务；并且根据用户访问业务比例生成服务之间的调用概率矩阵Ψ，利用排队长度感知的JQN量化服务之间的影响，计算最终的请求到达率；并根据步骤A中的排队模型供应合适的容器数目，保证系统的稳定。

进一步的，步骤D)中，根据步骤B)、C)中的容器数目，

为系统中所有服务所需的Pod的总和，N_i为服务S_i的Pod数目；采用线性规划计算能够刚好满足容器需求的虚拟机数目；策略要求立即租赁需要的虚拟机，释放虚拟机需要等到下一次定价间隔。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的Kubernetes中基于自适应处理率的网状微服务资源控制方法。

本发明与现有的技术相比，其优点在于：(1)考虑业务类型比例变化的自适应处理速率计算方法有助于提高排队模型的精度；(2)基于预测的前馈控制方法可以预防负载变化带来的负面影响；(3)排队长度感知的JQN反馈控制方法通过同时考虑新到达请求和累积请求的影响，能够提高系统稳定性；(4)容器与虚拟机结合的资源供应策略能够在保证服务质量的同时，控制租赁成本。

下面结合附图对本发明作进一步详细描述。

附图说明

图1是基于Kubernetes的资源管理架构示意图。

图2是用户访问不同业务的例子示意图。

图3是基于预测方法的前馈控制方法活动图。

图4是基于排队长感知的反馈控制方法活动图。

具体实施方式

本发明改进了JPRM的前馈控制和反馈控制的混合资源配置体系结构。在基于实际生产平台的测试中，容器对于不同业务类型下的请求的处理能力是变化的。为此，本发明提出了一种基于自适应处理速率的排队模型，该模型根据同步调用的比例动态调整容器的处理速率。在前馈控制算法部分，利用时间序列分析方法对每个服务的请求到达速率进行了预测。然后通过自适应排队模型得到每一个服务所需要的容器的最小数量。当某些服务的资源由于供应不足或者其他原因成为瓶颈时，通过该服务去调用其他服务的请求会受到该服务总处理率(小于到达速率)的限制。许多请求会阻塞在服务请求队列中。JPRM假设增加的调用其他服务的速率等于到达率减去原始的处理率，这就忽略了瓶颈层队列中有许多任务，这些任务也会生成对其他层的调用。因此，本发明将考虑排队任务的影响。在反馈控制算法部分，利用JQN考虑瓶颈层(服务)对其他层的影响，快速消除瓶颈。对比其他方法能够提高服务质量。

下面结合具体实施例和说明书附图对本发明作进一步说明。

图1描述了本发明中的Kubernetes资源管理架构。Master节点负责管理K8s集群。每个容器通常嵌入在一个Pod中，Pod是K8s中的最小调度单元。Pod需要部署在节点中，每个节点是从云服务供应商租赁的虚拟机。每个服务的容器可能来自不同Worker节点。Traefik是一个前端负载均衡器，负责将访问系统中服务的请求分发到后端容器。本发明搭建了Kubernetes Controller资源控制器，其中Resource Auto-scaler(资源自动缩放器)组件通过API连接K8s集群根据算法动态调整节点或者Pod数量；Log Manager(日志管理器)收集和分析前端负载均衡器的日志，获得每个服务的平均响应时间、排队长度等信息。

本发明提出一种Kubernetes中基于自适应处理率的网状微服务资源控制方法，面向云中的网状微服务系统，考虑同步调用对容器性能的负面影响；采用排队长度感知的Jackson排队网络(Jackson Queuing Network，JQN)，量化瓶颈层对其他微服务的影响。

面向网状微服务系统的资源控制器Kubernetes Controller根据用户负载动态调整资源，包括以下步骤：

步骤1，如图2展示了用户访问系统中业务的例子。不同用户调用系统业务有不同的服务访问路径。基于服务产生同步调用的比例，为微服务集群建立自适应处理率的排队模型，过程如下：

步骤1.1，假定μ_i是没有同步调用时候的原始处理率，ρ_i是服务产生同步调用时的处理率降低率。因此在业务类型b_l下S_i的处理率被计算为μ_i,l＝μ_i×α_l,b_l∈B_i，B_i是包含S_i的业务的集合，

α_l为系数；当业务b_l中的S_i会产生同步调用时，α_l＝ρ_i，否则α_l＝1；因此业务b_l中S_i的平均处理时间为

同时服务S_i中处于b_l业务中的请求到达率是λ_i,l，S_i的总请求到达率是λ_i。因此S_i所有请求的响应时间期望是：

S_i的容器处理率更新为：

步骤1.2，基于M/M/N排队模型，服务S_i里没有请求的概率为

期望响应时间为

步骤1.3基于上述公式，给定一个最低响应时间

S_i需要的最小容器数目是

其中Z⁺是正整数集。

步骤2，如图3展示了基于预测的前馈控制方法活动图。按照定价间隔执行基于预测的前馈控制方法包括以下步骤：

数据输入：原始的处理率μ_i，处理率下降度ρ_i，参考响应时间

步骤2.1，收集每种服务的总到达率λ_i和业务到达率λ_i,l；

步骤2.2，利用Holt-Winter模型预测下一个时间间隔的到达率

步骤2.3，根据自适应处理率排队模型计算服务的容器基于当前不同业务类型组合的实时处理率

步骤2.4，基于设定的参考响应时间，将预测的到达率

与处理率

代入排队模型可以得到每个服务需要的容器数目N_i；

步骤2.5，如果预测得到的处理率低于当前的处理率，那就使用当前的到达率来计算需要的容器数量。

步骤2.6，根据得到的容器数量N_i来决定是新增还是释放容器。

步骤3，如图4展示了基于排队长感知的反馈控制方法活动图。按照控制间隔排队长感知的反馈控制方法的具体步骤包括：

数据输入：处理率

响应时间限制W_Si，当前存在的容器数目

步骤3.1，收集每种服务的总到达率λ_i和业务到达率λ_i,l，服务的排队长q_i；

步骤3.2，当服务S_i的平均响应时间大于响应时间限制

S_i被判定为瓶颈层；

步骤3.3，由下式计算瓶颈层产生的多余的向其他层的调用(增加的请求率)；

步骤3.4，根据用户调用不同业务的负载模式构建矩阵Ψ，即

其中ψ_ij(i,j≠0)是S_i调用S_j的比率；Ψ随着系统中各种业务的比例的改变而改变；因此在每一个前馈控制周期，根据当前的业务模式可以更新矩阵Ψ；

步骤3.5，基于Ψ和Δλ，最终的到达率λ′_i为：

步骤3.6，每一个服务S_i所需的容器数目N_i可以通过排队模型计算得到；

步骤3.7.当N_i大于当前容器数目

的时候，额外的容器才会被分配给服务S_i。

步骤4，基于线性规划的虚拟机供应策略的具体步骤为：

步骤4.1，H_m,m∈{1,2,...,M}为第m种虚拟机所能容纳的Pod(容器)数量；

为当前所有服务的已经分配的Pod数目之和；当

个Pod应该被增加；建立如下所示的整数线性规划(ILP)模型，求解得到最优的虚拟机数量；

minΔC^pod

s.t.ΔC^pod>gap

其中

是需要租赁的m类型的虚拟机数目。

步骤4.2，当

个Pod需要被释放。此时ILP模型如下所示：

minΔC^pod

s.t.ΔC^pod<gap

其中

是m类型的虚拟机释放的数目；由于虚拟机一般按小时计价的特性，无论虚拟机在何时决定要释放，只有到下一个定价间隔才会执行释放操作。

利用本发明与K8s内置的两种HPA作比较，分别是HPA-CPU(以CPU利用率阈值作为伸缩依据)与HPA-Request(以请求到达率阈值作为伸缩依据)。Kubernetes系统包含如图2所示的网状微服务以及业务系统。采用JMeter作为负载发生器，利用基于维基百科的用户访问数据发送请求。实验持续时间1200min，前馈控制方法调度间隔720s，反馈控制方法调度间隔为180s。对比不同控制器的SLA(服务等级协议)违反区间所占百分比，本发明取得了最好的性能表现，保证了系统的服务质量。

Claims (10)

1.一种Kubernetes中基于自适应处理率的网状微服务资源控制方法，其特征在于，包括以下步骤：

A)基于服务产生同步调用的比例，为微服务集群建立自适应处理率的排队模型；

B)按照虚拟机的定价间隔执行基于预测的前馈控制，生成微服务之间的调用概率矩阵；

C)按照控制间隔执行基于排队长度感知的反馈控制；

D)基于线性规划的虚拟机供应策略：采用线性规划计算能够刚好满足容器需求的虚拟机数目；策略要求立即租赁需要的虚拟机，释放虚拟机需要等到下一次定价间隔。

2.根据权利要求1所述的Kubernetes中基于自适应处理率的网状微服务资源控制方法，其特征在于，步骤A)具体如下：

给定一个系统：S＝{S_i|i∈{1,2,3...,n}}，其中S是系统中服务的集合；B＝{b_l|l∈{1,2,3...,L}}，其中B是系统中业务的集合；b_l＝(S_l,1,...,S_l,k,...)，S_l,k∈S是b_l中第k个被访问的服务；服务同步调用其他服务会降低自身的请求处理率；根据用户访问系统业务不同，建立自适应处理率的排队模型。

3.根据权利要求2所述的Kubernetes中基于自适应处理率的网状微服务资源控制方法，其特征在于，建立自适应处理率的排队模型，具体步骤包括：

A1.排队模型常常被用于建模处理率μ，服务器数目N，请求到达率λ和期望响应时间之间的关系；假定μ_i是没有同步调用时候的原始处理率，ρ_i是服务产生同步调用时的处理率降低率；因此在业务类型b_l下S_i的处理率被计算为μ_i,l＝μ_i×α_l,b_l∈B_i，B_i是包含S_i的业务的集合，

α_l为系数；当业务b_l中的S_i会产生同步调用时，α_l＝ρ_i，否则α_l＝1；因此业务b_l中S_i的平均处理时间为

同时服务S_i中处于b_l业务中的请求到达率是λ_i,l，S_i的总请求到达率是λ_i；因此S_i所有请求的响应时间期望是：

S_i的容器处理率更新为：

A2.基于M/M/N排队模型，服务S_i里没有请求的概率为：

期望响应时间为：

A3.基于上述公式，给定一个最低响应时间

S_i需要的最小容器数目是

其中Z⁺是正整数集。

4.根据权利要求1所述的Kubernetes中基于自适应处理率的网状微服务资源控制方法，其特征在于，步骤B)按照虚拟机的定价间隔执行基于预测的前馈控制方法，过程如下：

统计用户历史访问数据，利用负载预测方法预测下一区间的用户请求到率；根据预测的请求到达率以及步骤A中的排队模型租赁供应合适的容器数目。

5.根据权利要求4所述的Kubernetes中基于自适应处理率的网状微服务资源控制方法，其特征在于，按照定价间隔执行基于预测的前馈控制方法包括以下步骤：

数据输入：原始的处理率μ_i，处理率下降度ρ_i，参考响应时间

i∈{1,2,...,n}；

B1.收集每种服务的总到达率λ_i和业务到达率λ_i,l；

B2.利用Holt-Winter模型预测下一个时间间隔的到达率

B3.基于当前不同业务类型组合的计算每个服务的容器实时处理率

B4.基于设定的参考响应时间，由预测的到达率

与处理率

得到每个服务需要的容器数目N_i；

B5.如果预测得到的处理率低于当前的处理率，则使用当前的到达率来计算需要的容器数量；

B6.根据得到的容器数量N_i来决定是新增还是释放容器。

6.根据权利要求1所述的Kubernetes中基于自适应处理率的网状微服务资源控制方法，其特征在于，步骤C)中，反馈控制方法在前馈控制方法之间执行，检测系统瓶颈服务；并且根据用户访问业务比例生成服务之间的调用概率矩阵Ψ，利用排队长度感知的JQN量化服务之间的影响，计算最终的请求到达率；并根据步骤A中的排队模型供应合适的容器数目，保证系统的稳定。

7.根据权利要求6所述的Kubernetes中基于自适应处理率的网状微服务资源控制方法，其特征在于，按照控制间隔排队长感知的反馈控制，具体步骤包括：

数据输入：处理率

响应时间限制

当前存在的容器数目

i∈{1,2,...,n}

C1.收集每种服务的总到达率λ_i、业务到达率λ_i,l和排队请求长q_i；

C2.当服务S_i的平均响应时间大于响应时间限制，S_i被判定为瓶颈层；

C3.由下式计算瓶颈层产生的多余的向其他层的调用；

C4.根据用户调用不同业务的负载模式构建矩阵Ψ，即

其中ψ_ij是S_i调用S_j的比率，i,j≠0；Ψ随着系统中各种业务的比例的改变而改变；因此在每一个前馈控制周期，根据当前的业务模式可更新矩阵Ψ；

C5.基于Ψ和Δλ，最终的到达率λ_i′可由下式得到；

C6.每一个服务S_i所需的容器数目N_i通过自适应处理率的排队模型计算得到；

C7.当N_i大于当前容器数目

的时候，额外的容器才会被分配给服务S_i。

8.根据权利要求1所述的Kubernetes中基于自适应处理率的网状微服务资源控制方法，其特征在于，步骤D)中，根据步骤B)、C)中的容器数目，

为系统中所有服务所需的Pod的总和，N_i为服务S_i的Pod数目；采用线性规划计算能够刚好满足容器需求的虚拟机数目；策略要求立即租赁需要的虚拟机，释放虚拟机需要等到下一次定价间隔。

9.根据权利要求8所述的Kubernetes中基于自适应处理率的网状微服务资源控制方法，其特征在于，基于线性规划的虚拟机供应策略，具体步骤为：

D1.H_m,m∈{1,2,...,M}为第m种虚拟机所能容纳的Pod数量；

为当前所有服务的已经分配的Pod数目之和；当

个Pod应该被增加；建立如下所示的整数线性规划模型，求解得到最优的虚拟机数量；

minΔC^pod

s.t.ΔC^pod>gap

其中

是需要租赁的m类型的虚拟机数目；

D2.当

个Pod需要被释放；此时ILP模型如下所示：

minΔC^pod

s.t.ΔC^pod<gap

其中

是m类型的虚拟机释放的数目；无论虚拟机在何时决定要释放，只有到下一个定价间隔才会执行释放操作。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-9中任一所述的Kubernetes中基于自适应处理率的网状微服务资源控制方法。

Images