CN114650297A - 一种多微服务调用环境下自适应自动缩放方法及系统 - Google Patents

Abstract

本发明公开了一种多微服务调用环境下自适应自动缩放方法及系统，包括：根据微服务的压测时延情况，确定每个微服务初始的服务算力常数值；在微服务运行时，基于服务算力常数值与服务请求流量情况，计算每个微服务的实时服务算力；通过对微服务状态的监测，自适应调整微服务的预期服务算力；对比每个微服务的实时服务算力和自适应调整的预期服务算力，决策微服务实例是否需要缩放，当条件满足缩放条件时，对微服务的实例进行缩放；基于缩放决策，实时调整微服务的服务算力，将流量比率反映到下游服务，递归地调整下游服务的服务算力。利用本发明，可以在复杂微服务集群中，针对服务请求和时延情况动态地调整微服务的实例数量。

Description

一种多微服务调用环境下自适应自动缩放方法及系统

技术领域

本发明属于微服务领域，尤其是涉及一种多微服务调用环境下自适应自动缩放方法及系统。

背景技术

kubernetes是Google公司基于Borg系统开源出来的容器编排调度引擎，提供了一个规范用以描述集群的架构。kubernetes中原生的水平自动扩缩(Horizontal PodAutoscaler)可以针对资源的监控，设定度量指标来进行自动拓缩容。但原生HPA技术面向的是静态的规则，依赖于维护人员的经验值设定，当服务负载出现波动时，并不能很及时或者准确地将微服务实例数调整到最佳。

在复杂微服务调用环境下，多个服务可能存在上下游调用关系，单一的规则制定不能很好的响应服务负载的变动。当上游进行拓缩容的同时，下游微服务的负载会受到一定的影响。为满足服务质量的需求，同时保持实例数量不被浪费，针对微服务调用链上的缩放方法，可以通过一些时序预测的手段，介入到微服务的实例调整中。这里提到的微服务实例通常面向的是无状态计算节点，而有状态存储节点一般不考虑进行缩放或者不能简单地进行水平方向上的拓容。

如公开号为CN111130908A的中国专利文献公开了一种基于调用流量分析预测的微服务动态聚合拆分系统，包括：调用链流量分析统计模块，该模块根据整个微服务系统的调用链统计信息，并分析得出每个服务的调用量随时序的变化和每个微服务之间的调用拓扑关系进而提供数据支持；流量趋势智能预测模块，该模块基于数据支持采用趋势预测模型提前做出流量趋势变化的实时决策；微服务自动部署扩缩容模块，该模块基于实时决策，对不同的微服务实例进行动态的扩容或缩容；以及微服务路径扫描和聚合拆分模块，该模块通过扫描微服务的路径，对微服务进行动态的拆分或聚合。

现如今服务等级协议(SLA)作为服务提供者的重要指标，包含可用性、准确性、系统容量和时延。当微服务集群收到网关转发的请求时，每个微服务除了处理自己的业务需要占据计算时间，还要考虑到微服务之间的服务调用。当上游业务受到不同的流量负载时，下游的微服务也会受到流量负载带来的影响。若出现请求堆积、丢失等情况，服务的时延就会较大幅度的提高，影响到用户的体验。此时若能根据负载的预测，再加上考虑到单个服务实例个数的修改对下游链路造成的影响，能够使微服务集群内部动态地进行调整。因此，亟需设计一种可以根据负载情况，自动对微服务实例数量进行增减的方法。

发明内容

本发明提供了一种多微服务调用环境下自适应自动缩放方法，可以在复杂微服务集群中，针对服务请求和时延情况动态地调整微服务的实例数量。

一种多微服务调用环境下自适应自动缩放方法，包括以下步骤：

(1)根据微服务的压测时延情况，确定每个微服务初始的服务算力常数值h；

(2)在微服务运行时，基于服务算力常数值h与服务请求流量情况，计算每个微服务的实时服务算力HM，公式为：HM＝h×R，其中，R代表微服务接收的请求量；

(3)通过对微服务状态的监测，自适应调整微服务的预期服务算力HP；

(4)对比每个微服务的实时服务算力HM和自适应调整的预期服务算力HP，决策微服务实例是否需要缩放，当条件满足缩放条件时，对微服务的实例进行缩放；

(5)基于缩放决策，实时调整微服务的服务算力，将流量比率反映到下游服务，递归地调整下游服务的服务算力。

进一步地，步骤(1)的具体过程为：

采用流量压测的方法，逐步增加请求量，同时记录关键时延参数p50、p75和p95，拟合请求量R以及对应服务算力常数h的曲线；

当请求量超过服务承载上限后，此时成功的请求数到达一个极大值点，对应的时延参数曲线出现斜率激增，利用此点的时延数据，计算初始的服务算力常数值h，公式如下：

其中，P95代表时延为后5％的请求平均响应时间，p75代表时延为后25％的请求平均响应时间，p50作为时延中位数。

步骤(3)的具体过程为：

根据实时服务算力常数值与预计算好的服务算力常数值进行比对；在一个时间周期T内，当存在实时服务算力小于预期服务算力的情况，且周期内服务算力常数的监测平均值位于平稳区间，则自适应地对预期服务算力进行增加调整；当存在实时服务算力大于预期服务算力，且周期内服务算力常数的监测平均值超过平稳区间，则自适应地对预期服务算力进行缩减调整。

周期内服务算力常数的监测平均值的公式如下：

为周期T内服务算力常数的监测平均值，C_i，T为周期T内的采样次数，

表示周期T内微服务S_i的平均请求数，HM_i，t表示周期T内微服务S_i在时刻t的实时服务算力，i表示微服务的编号；

周期内服务算力常数的监测平均值位于平稳区间时，满足：

自适应地对预期服务算力进行增加调整为：

周期内服务算力常数的监测平均值超过平稳区间时，满足：

自适应地对预期服务算力进行缩减调整为：

其中，h_i为微服务S_i的初始服务算力常数值，HP_i为微服务S_i的预期服务算力值。

步骤(4)中，决策微服务实例是否需要缩放的具体过程为：

若在一个时间窗口ΔT内，实时服务算力HM超过自适应的预期服务算力HP的比例超过设定阈值上限，则决策对该微服务实例进行拓容；若在一个时间窗口内，实时服务算力HM低于自适应的预期服务算力HP的比例低于设定阈值下限，则决策对该微服务实例进行缩容。

在一个时间窗口ΔT内，设定一个超期阈值α作为决策拓容的参考，另一个超期阈值β作为决策缩容的参考；

时间窗口ΔT设为5分钟，监控值计算的间隔为2秒，以D_t作为时间窗口ΔT内第t时间间隔下的决策统计量：

若当前窗口表示式

则进行拓容操作，

若当前窗口表示式

则进行缩容操作。

步骤(5)的具体过程为：

基于上游至下游流量数据，递归地将上游微服务缩放决策实例数带来的变化转换到的流量的变化上，反馈到下游服务中，实时地更新下游服务的计算流量值作为下游服务的流量，以调整下游服务的服务算力，再根据缩放决策方法，调整下游链路上微服务的实例数量。

本发明还提供了一种多微服务调用环境下自适应自动缩放系统，包括服务算力常数初始模块、服务算力自适应计算模块、微服务缩放决策模块和链路缩放调整模块，其中，服务算力自适应计算模块、微服务缩放决策模块和链路缩放调整模块之间通过消息机制传递信息；

所述的服务算力常数初始模块用于根据微服务的压测时延情况，确定每个微服务初始的服务算力常数值h；

服务算力自适应计算模块用于通过对微服务状态的监测，自适应调整微服务的预期服务算力HP；

所述的微服务缩放决策模块用于根据实时服务算力HM和自适应调整的预期服务算力HP，决策微服务实例是否需要缩放；

所述的链路缩放调整模块用于调整微服务集群中下游服务的实例。

与现有技术相比，本发明具有以下有益效果：

1、本发明综合考虑了微服务响应时间以及微服务请求数量，以自适应的方式定量且动态地去衡量微服务实例的承载能力。根据服务算力指标以及监测指标，可以对微服务实例的缩放进行决策。即使微服务调用者没有调整微服务实例数目的先验经验，该方法也可以由于自适应服务算力的加入完成对于服务实例数目的控制以及管理。

2、本发明考虑到上游微服务实例缩放对于下游微服务节点的影响，因服务算力指标结合了请求数，可以在上游服务做出缩放后，实时地将实例数变化带来的请求数影响传递到下游服务，帮助下游服务应对上游的变化快速做出反应。

附图说明

图1为本发明一种多微服务调用环境下自适应自动缩放系统的模块图；

图2为单微服务时延、请求上限与总请求数量关系示意图；

图3为服务算力常数的初始化方法流程图；

图4为自适应调整服务算力的方法流程图；

图5为微服务缩放决策的方法流程图；

图6为微服务链路调整的方法流程图；

图7为微服务调用流量比率示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

本发明可以在各种容器编排调度引擎中实行，如背景技术中提到的kubernetes。在kubernetes中，对应的缩放对象则是pod。pod是kubernetes中最小的调度、计划、管理、创建单元。一个pod相当于在容器环境下的逻辑虚拟计算机。一个pod中可能包含多个应用，而本发明提到的放缩对象是抽象的微服务实例，每个微服务在kubernetes环境下以pod方式进行部署与管理。部署于pod中的一个微服务，以pod的处理能力作为微服务的处理能力。当pod的实例数进行扩展的时候，相当于一个微服务获得更多的计算资源，可以进行更多的逻辑运算，能够处理更多到达该微服务的请求。

如图1所示，微服务实例集群通过kubernetes进行编排管理。Istio Gateway包含监控和配置路由规则的Istio特性来管理集群的流量，作为整个集群的流量入口。各个微服务通过Istio服务网络进行代理，流量由Istio统一管理，其中Mixer组件自动地收集所有的网格内流量，并生成新的指标，由时序数据库做指标的采集存储和查询组件。收集的参数包含每个微服务的请求流量统计、请求时延统计以及每个服务对下呀服务调用的请求流量统计。整个微服务调用环境下自适应自动缩放系统，包含四个模块：服务算力常数初始模块，服务算力自适应计算模块，多微服务缩放决策模块，链路缩放调整模块。后三个模块间通过消息队列进行解耦。

自动缩放需要根据整体服务的状态进行决策。首先需要对整体服务的指标以及情况进行收集，包括服务时延监控详情，每个微服务对于下游微服务的请求调用量，当前微服务的请求调用量。时延作为重要的服务体验指标，在实时动态调整服务中较为直观的反应了微服务当前的响应情况。由于不同的服务处理请求的时延特征具有一定差异，可以单个服务正常情况下的时延情况做一个统计值，当做一个微服务的特征。

根据提到的服务算力常数值hi，在微服务进行正式部署之前进行确定。采用流量压测的方法，逐步增加请求量，同时记录关键时延参数p50，p75，p95，拟合请求量R以及对应服务算力常数h的曲线。如图2所示，当请求量找过服务承载上限后，会出现大量的请求丢失、超时情况，此时成功的请求数将到达一个极大值点，对应的时延参数曲线将出现斜率激增，而p95的增加幅度最大，通过将时延成比例的方式，在达到服务临界上限时，这个时延比例就会出现极大的变化。考虑到不同服务的特性不同，因此采用三段时延作为服务算力常数的参考。图3所示的流程对应的服务算力常数初始化模块负责根据不同的微服务Si，确定不同微服务的服务常数hi。

其中P95代表时延为后5％的请求平均响应时间，p75作为后25％的请求响应时间，p50作为时延中位数。

第i个服务S_i的正常处理能力常数可以表述为：

为综合考虑到微服务时延和能够处理的请求数，微服务S_i接受的请求数定义为R_i，那么微服务S_i的实时服务算力HM_i定义为：

HM_i＝h_i×R_i

根据处理能力常数反映的整体服务时延情况以及整体微服务的请求总量，转化成实时微服务的处理能力。当时延分布不稳定，高时延请求占比提高时，处理能力常数就会减小，相应的微服务Si的实时处理能力HM_i值也会下降；当微服务处理情况较为稳定，请求时延分布较为均匀，整体请求都能被叫为快速地响应时，处理能力常数同时增加，微服务S_i的实时处理能力HM_i值也会上升。微服务S_i受到的并发请求数也是一个对微服务实时服务算力HM_i产生影响的关键值。在一定程度上，对于一个微服务来说，并发数越高，则实时服务算力越强。涉及到自动缩放问题时，实例数的增加会使得微服务的服务算力提高。而不同的微服务之间的服务算力不尽相同，随着实例数的变化也会改变，需要有个预期服务算力值作为评判缩放情况的标准。

根据提到的预期服务算力值，在微服务实例运行的过程中，图1中提到的服务算力自适应模块动态地去维护预期服务算力值HP_i。微服务的实时处理能力HM_i可以通过实时指标的度量进行计算。将微服务实时能力与预期服务算力值进行对比，超过一定阈值，并具有一定的置信度，则对微服务实例数进行拓展；相反，低于一定阈值则对微服务实例数进行缩减。当一个窗口内处理能力常数高于h_i时，可以认为部分接口在超出时间比例的情况下才能得到响应，或者出现超时的情况导致处理能力常数下降。

其中所述的自适应调整方法，如图4所示。首先冷启动的时候，获取初始化服务算力值HP_i以及服务算力常数值。

若在一个时间周期T内，共计有C_i，T次采样，

为T周期内的服务周期常数监测平均值：

微服务S_i的实时服务算力值HM_i＞HP_i，且此周期内服务算力常数值满足：

则对HP_i进行自适应增加：

若在一个时间周期T内，微服务S_i的实时服务算力值HM_i＜HP_i，且此时服务算力常数值：

则对HP_i进行自适应减少：

在各个微服务进行部署之前，需要事先确定各个指标参数与具体实例伸缩策略之间的映射关系。也就是确定在一定条件环境下，是维持当前微服务的实例数，还是针对状况进行缩放。理想状况是在最少的服务实例数下，请求能够有尽量低并满足SLA的时延。本方法采用自适应确定服务算力值HP_i的方式，根据服务算力自适应计算模块提供的方法，动态调整微服务S_i的服务算力值HP_i。缩放策略则通过自适应的HP_i与实时量HM_i进行决策。当微服务部署完成后，HP_i通过h_i调整，逐渐稳定。在一个时间窗口T内，设定一个超期阈值α作为统计量HM_i扩张的参考，超期阈值β作为统计量HM_i决策缩容的参考。时间窗口预设值T设为5分钟，监控值计算的间隔i为2秒，以D_t作为窗口T内第t时间间隔下的决策统计量：

若当前窗口表示式

则进行拓容操作。

若当前窗口表示式

则进行缩容操作。

当根据提到的策略将微服务S_i缩放后，N_i作为微服务S_i的实例数，N_i′作为更新后服务S_i的实例数。HP_i作为衡量服务算力的自适应值，当缩放发生后，HP_i需要根据实例数进行更新。

通过以上方式服务算力值都够快速响应，再根据服务算力自适应模块提供的方法自适应调整，提高自适应方法的响应效率。

收集的下游服务调用量可以作为响应链路缩放的度量。单个微服务对于下游的调用总量记为P_i，微服务i对于微服务j的调用量记做R_i，j。每个服务对于下游的请求比率为

将时间窗口内的服务调用量通过时序数据库进行记录，可以根据每个微服务在指定时间窗口T内，对于下游不同微服务的调用比率。所述的请求调用比率，将在图1提到的链路缩放调整模块中用作实时传递上游服务实例数改变情况，动态反馈给下游的服务。

当多服务决策模块监测到服务需要进行缩放时，就会通过kubernetes缩放的适配器，将实例数的预测调整到集群中。当该服务的实例数被调整之后，触发链路缩放调整模块，实时的在这个时间周期中，将上游的服务实例数变化，反应给调用链路中下游的多服务缩放决策模块。

多服务缩放决策模块如图6所示的方法，每个微服务根据都包含独立的缩放策略，根据不同的状态进行实时预测，并做出缩放决策。当多服务决策模块监测到服务需要进行缩放时，就会通过kubernetes缩放的适配器，将实例数的预测调整到集群中，同时将决策前后的实例数以及服务信息加入到实时更新队列，触发链路缩放调整模块，实时的在这个时间周期中，将上游的服务实例数变化，反应给调用链路中下游的多服务缩放决策模块。

链路缩放调整模块的核心功能，是将微服务实例数量改变的情况，即微服务处理能力的变化，传入到下游。链路上的各个微服务被抽象成一个节点，节点可以有多个实例，每个节点具有不同的服务处理能力。每个服务可以由S_i来表示。如图7所示，各个微服务之间的调用，可以通过有向边进行抽象，比如S_a到S_b节点的有向边，可以表示服务a到服务b之间的调用请求数量。服务间的调用，一般可以由单位时间整体的调用数量、平均的调用时延进行定量表述，图7中如服务a、b之间的请求调用数量，用R_a，b表示。微服务集群的服务入口，通常要经过网关层进行转发。若将网关纳入到整体的服务链路之中，整个多微服务群可以看成是一个有向无环图，请求到达网关后，被分发到指定微服务节点进行处理。处理过程中，微服务之间可能会出现互相之间的调用，经过整个链路的处理后，将结果反馈给调用客户端一方。服务间的调用，最终都会返回到调用入口侧，比如微服务1调用了微服务2，微服务2继续调用微服务3，最终微服务3处理完成后，将结果反馈到微服务2，微服务2又将结果反馈到微服务1，链路是1-＞2-＞3-＞2-＞1，但是整个过程可以抽象成从微服务1到微服务2再到微服务3。在考虑微服务实例自动缩放这种情况之下，上游对下游的请求总量以及时延需要主要纳入考虑，因此建立有向无环图就能切合服务实例缩放这一点。

链路缩放调整模块具体过程如图6所示，多服务缩放决策模块根据预测，将服务的实例数，由N_i改变至N′_i，微服务Si到微服务Sj之间的流量变化为

对应根据流量变化计算Sj服务的实时服务算力HP_j，更新S_j服务的实时服务算力值，将上游拓缩容的影响反映到下游服务。假设服务a的下游包含服务b，c，d，那么服务a的实例数决策将首先影响到下游的服务，下游的b，c，d服务的多服务缩放决策模块通过链路缩放调整模块收集到上游的信息后，将信息纳入到b，c，d服务本身决策的考量之中。若下游b，c，d服务需要进行缩放，则链路缩放调整模块相继介入到决策之中，以类似泛洪的方式，递归地将缩放信息传递至下游服务。

根据图6所述链路缩放调整模块，调整下游的流量计算值

此时利用预测量将R′_j代入到实时服务算力中，HM_j＝h_j×RC′_j。运用这种替代，将上游的流量变化快速地反映到下游服务的服务算力决策量中，提高下游服务缩放决策的反映速度，使得下游服务在链路调整的过程中，利用流量计算值应对上游缩放带来的流量变化。完成服务j的实时服务能力HM_j后，将实时服务能力HM_j加入到实时服务能力队列中。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多微服务调用环境下自适应自动缩放方法，其特征在于，包括以下步骤：

(1)根据微服务的压测时延情况，确定每个微服务初始的服务算力常数值h；

(2)在微服务运行时，基于服务算力常数值h与服务请求流量情况，计算每个微服务的实时服务算力HM，公式为：HM＝h×R，其中，R代表微服务接收的请求量；

(3)通过对微服务状态的监测，自适应调整微服务的预期服务算力HP；

(4)对比每个微服务的实时服务算力HM和自适应调整的预期服务算力HP，决策微服务实例是否需要缩放，当条件满足缩放条件时，对微服务的实例进行缩放；

(5)基于缩放决策，实时调整微服务的服务算力，将流量比率反映到下游服务，递归地调整下游服务的服务算力。

2.根据权利要求1所述的多微服务调用环境下自适应自动缩放方法，其特征在于，步骤(1)的具体过程为：

采用流量压测的方法，逐步增加请求量，同时记录关键时延参数p50、p75和p95，拟合请求量R以及对应服务算力常数h的曲线；

当请求量超过服务承载上限后，此时成功的请求数到达一个极大值点，对应的时延参数曲线出现斜率激增，利用此点的时延数据，计算初始的服务算力常数值h，公式如下：

其中，P95代表时延为后5％的请求平均响应时间，p75代表时延为后25％的请求平均响应时间，p50作为时延中位数。

3.根据权利要求1所述的多微服务调用环境下自适应自动缩放方法，其特征在于，步骤(3)的具体过程为：

在一个时间周期T内，当存在实时服务算力小于预期服务算力的情况，且周期内服务算力常数的监测平均值位于平稳区间，则自适应地对预期服务算力进行增加调整；当存在实时服务算力大于预期服务算力，且周期内服务算力常数的监测平均值超过平稳区间，则自适应地对预期服务算力进行缩减调整。

4.根据权利要求3所述的多微服务调用环境下自适应自动缩放方法，其特征在于，周期内服务算力常数的监测平均值的公式如下：

为周期T内服务算力常数的监测平均值，C_i,T为周期T内的采样次数，

表示周期内微服务S_i的平均请求数，HM_i,t表示周期T内微服务S_i在时刻t的实时服务算力，i表示微服务的编号；

周期内服务算力常数的监测平均值位于平稳区间时，满足：

自适应地对预期服务算力进行增加调整为：

周期内服务算力常数的监测平均值超过平稳区间时，满足：

自适应地对预期服务算力进行缩减调整为：

其中，h_i为微服务S_i的初始服务算力常数值，HP_i为微服务S_i的预期服务算力值。

5.根据权利要求1所述的多微服务调用环境下自适应自动缩放方法，其特征在于，步骤(4)中，决策微服务实例是否需要缩放的具体过程为：

若在一个时间窗口ΔT内，实时服务算力HM超过自适应的预期服务算力HP的比例超过设定阈值上限，则决策对该微服务实例进行拓容；若在一个时间窗口内，实时服务算力HM低于自适应的预期服务算力HP的比例低于设定阈值下限，则决策对该微服务实例进行缩容。

6.根据权利要求5所述的多微服务调用环境下自适应自动缩放方法，其特征在于，在一个时间窗口ΔT内，设定一个超期阈值α作为决策拓容的参考，另一个超期阈值β作为决策缩容的参考；

时间窗口ΔT设为5分钟，监控值计算的间隔为2秒，以D_t作为时间窗口ΔT内第t时间间隔下的决策统计量：

若当前窗口表示式

则进行拓容操作，

若当前窗口表示式

则进行缩容操作。

7.根据权利要求1所述的多微服务调用环境下自适应自动缩放方法，其特征在于，步骤(5)的具体过程为：

基于上游至下游流量数据，递归地将上游微服务缩放决策实例数带来的变化转换到的流量的变化上，反馈到下游服务中，实时地更新下游服务的计算流量值作为下游服务的流量，以调整下游服务的服务算力，再根据缩放决策方法，调整下游链路上微服务的实例数量。

8.一种多微服务调用环境下自适应自动缩放系统，其特征在于，包括服务算力常数初始模块、服务算力自适应计算模块、微服务缩放决策模块和链路缩放调整模块，其中，服务算力自适应计算模块、微服务缩放决策模块和链路缩放调整模块之间通过消息机制传递信息；

所述的服务算力常数初始模块用于根据微服务的压测时延情况，确定每个微服务初始的服务算力常数值h；

服务算力自适应计算模块用于通过对微服务状态的监测，自适应调整微服务的预期服务算力HP；

所述的微服务缩放决策模块用于根据实时服务算力HM和自适应调整的预期服务算力HP，决策微服务实例是否需要缩放；

所述的链路缩放调整模块用于调整微服务集群中下游服务的实例。

Images