CN115858155A - 一种算力网络平台的应用资源动态扩缩容方法及装置 - Google Patents

Abstract

本申请公开了一种算力网络平台的应用资源动态扩缩容方法及装置，其中，所述方法包括：采集所述算力网络平台中的集群对应时刻的负载信息和当前副本数信息，根据对应时刻的负载信息确定集群综合负载率序列；利用所述集群综合负载率序列建立预测模型，根据所述预测模型对所述集群的资源综合负载进行预测，获得集群综合负载率预测序列；利用所述集群综合负载率预测序列进行扩缩规划，调整所述集群的当前副本数信息。

Description

一种算力网络平台的应用资源动态扩缩容方法及装置

技术领域

本申请涉及算力网络平台的资源配置技术领域，尤其涉及一种算力网络平台的应用资源动态扩缩容方法及装置。

背景技术

随着大数据和人工智能的发展，服务应用逐渐由消费型应用向生产型应用转变，对数据中心的资源需求呈现大规模、多样性、动态化等特点，需要进行不同形式的资源编排以及资源的弹性、实时和自动分配来应对应用的多样化需求，对微服务应用资源弹性伸缩技术和系统的研究至关重要。

在“容器集群”的云端生产环境中，随着业务需求的不断变化，应用资源的在线负载也会随之处于动态的变化中，所以常面临资源的容量规划满足不了在线负载变化的困境。当应用按需获得资源时，如果按照资源需求的上限分配，会造成大量资源的闲置和浪费；如果按照资源需求的下限分配，虽然会降低成本，但访问高峰到来时，应用往往会严重阻塞甚至系统崩溃。

在微服务应用资源弹性伸缩技术上，很多研究应用采用响应缩放的弹性缩放技术，弹性动作根据一定的阈值或规则触发，系统根据工作负载的变化触发响应的动作，以适应相应的变化。响应缩放会导致系统响应滞后于工作负载的变化，应对突变的工作负载时会导致服务质量下降，这是其缺点所在。

因此，亟需一种微应用资源动态扩缩容方案，以实现无感知的动态扩缩容，使得云端生成环境的资源配置符合各种业务需求场景。

发明内容

鉴于此，本申请提出一种算力网络平台的应用资源动态扩缩容方法及装置，解决了系统响应滞后于工作负责的变化而造成的服务质量下降的问题。

为实现上述目的，本申请实施方式提供一种算力网络平台的应用资源动态扩缩容方法，所述方法包括：

采集所述算力网络平台中的集群对应时刻的负载信息和当前副本数信息，根据对应时刻的负载信息确定集群综合负载率序列；

利用所述集群综合负载率序列建立预测模型，根据所述预测模型对所述集群的资源综合负载进行预测，获得集群综合负载率预测序列；

利用所述集群综合负载率预测序列进行扩缩规划，调整所述集群的当前副本数信息。

对应地，为实现上述目的，本申请实施方式提供一种算力网络平台的应用资源动态扩缩容装置，所述装置包括存储器和处理器；其中，

所述存储器，用于存储计算机程序指令；

所述处理器，用于执行所述计算机程序指令以实现上述所述算力网络平台的应用资源动态扩缩容方法。

通过以上技术手段，可以实现以下有益效果：本披露揭示的技术方案改进了传统的动态扩缩容系统架构，新增了预测策略，并优化了监控采集、扩缩规模，采用灰色预测模型，降低了预测时间间隔，减少预测耗时，有效解决了传统扩缩容策略的不及时和频繁伸缩的问题，提高了服务质量。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请披露一种算力网络平台的应用资源动态扩缩容方法流程图；

图2为集群负载因子图；

图3为预测模型建立流程图；

图4为扩缩规划流程图；

图5为算力网络平台的所有集群的负载区间示意图；

图6为本申请披露一种算力网络平台的应用资源动态扩缩容装置示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

由于传统的任务处理方式和能力逐渐难以满足企业应用服务需求，业界探索了云计算、边缘计算、SD-WAN、云网融合等解决方案使得网络与计算融合以满足新型业务多样化的算力需求。由云网融合逐渐向以算力网络为代表的算网融合演进已成为重要发展方向。基于云计算集群的算力网络平台则是算力网络实现各类新型业务处理的系统，它能够对算力和网络资源、业务和用户状态进行感知，实现用户无感知的动态扩缩容等能力。

随着应用类型的多样性发展，应用对算力网络资源的需求也出现更加丰富的态势。如在面临容量突发情况时，需要对WEB应用副本进行弹性的增加，以分流访问流量达到缓解访问服务的压力目的；而当应用负载下降时，需要及时回收闲置副本，以节约成本。在面临分布式集群规模扩大情况时，系统组件的访问压力也会随着扩大，所以，为了让集群更加健康和高效率的提供服务，需要系统组件能根据集群规模的变化来自动伸缩相应副本数等。当扩展的应用节点资源将资源池容量消耗殆尽时，需要集群扩展资源池容量；而当资源池容量闲置时，需要集群及时回收资源，节约成本。

目前，关于资源弹性伸缩的研究应用很多，比如：陈雁、黄嘉鑫等发表的论文披露了基于Kubernetes应用的弹性伸缩策略，介绍了Kubernetes内置的水平Pod自动缩放器HPAfHorizontal Pod Autoscaler)。HPA根据观测到的CPU或者其他定制的指标来计算副本数量，同时将设定的CPU或内存的目标使用率与可能部署的副本数区间进行比较，从而确定最终副本数，达到自动伸缩的效果。经分析可知，该方案有如下缺点：

1)Kubernetes内置的Horizontal Pod弹性缩放算法在扩容和收缩上采用相同的伸缩机制，会造成频繁的扩容和收缩问题。针对这一点，在应对大规模突发流量时，Kubernetes的扩容幅度不足以应对大规模流量，就会造成访问中断；在访问流量骤降的时候，Kubemetes内置算法则会迅速收缩Pod的数量，收缩速度太快，当出现第二次突发流量，收缩后的Pod还来不及扩展，就会导致应用负载过大，造成应用崩溃。

2)HPA响应存在延时。针对这一点，Pod的自动缩放需要时间，在缩放的这段时间内，系统已经资源紧张饱和，若此时请求流量不降反增，系统服务响应时间增加，会引起请求的拥堵并引发服务调用链中的连锁反应，直接影响上下游业务系统，甚至会直接导致服务的不可用，破坏了系统的可用性。

3)单一衡量指标无法适应负载应用场景。针对这一点，在Kubernetes的HPA中提供了集群平台层面的CPU和内存的数据指标，但是缺少其他统计指标，在面对复杂应用系统时，应用涉及多种资源类型的消耗可能会随着时间和业务的变化而发生变化，单一衡量指标无法准确地衡量应用整体负载的情况。

进一步地，赵树君，黄倩等发表的论文披露了基于Kubernetes云原生的弹性伸缩研究。在HPA上基础设计了一种基于预测负载的水平弹性伸缩系统。该系统对Kubernetes原生监控方案进行完善，重新设计了一套资源监控系统，实现了监控数据的持久化存储；并且新增了资源预测系统，能够通过基于负载数据(CPU使用率、内存使用率)统计，根据历史负载数据使用LSTM来预测未来的负载，从而进行动态的、提前感知的、顺滑的动态伸缩，在不影响现有交易数据的情况下实现服务Pod的动态伸缩。经分析，该方案有如下缺点：

1)LSTM所需的数据量较多，在实际应用系统中，需要大量采集负载数据，不适合负载预测这种小样本时间预测任务。实际应用系统中，由于采集样本过多，会导致扩缩容模块需要算力过多，占用系统资源。

2)LSTM模型训练时间较长，预测负载信息时花费时间较长，且预测时间间隔过大，预测结果可能会存在滞后，导致实际应用中会存在扩容滞后，引发拥堵，缩容滞后，引发浪费，带来不好的用户体验，严重时会导致应用崩溃。

鉴于此，本申请披露了一种基于历史数据预测的算力网络平台中应用资源动态扩缩容方案，根据工作负载的波动，采用预测缩放技术、响应技术、水平伸缩方式，通过增加或减少资源配置来扩展服务集群，可以在保证QoS的同时降低资源的发放成本。

如图1所示，本申请披露一种算力网络平台的应用资源动态扩缩容方法流程图。所述方法包括：

步骤101)：采集所述算力网络平台中的集群对应时刻的负载信息和当前副本数信息，根据对应时刻的负载信息确定集群综合负载率序列；

步骤102)：利用所述集群综合负载率序列建立预测模型，根据所述预测模型对所述集群的资源综合负载进行预测，获得集群综合负载率预测序列；

步骤103)：利用所述集群综合负载率预测序列进行扩缩规划，调整所述集群的当前副本数信息。

本技术方案是基于历史指标预测的动态扩缩容方案，该方案改进了传统的动态扩缩容方案，基于实时收集的算力网络平台中每个集群的资源状态以及当前副本数等信息，基于这些信息获得对应的集群综合负载率，随着算力网络平台的运行，时序性的集群综合负载率也就产生了，基于时序性集群综合负载率，可以预测出未来某段时间的集群负载情况，根据预测的未来负载情况来进行集群资源的弹性伸缩。每个步骤可以设置对应的组件，针对算力网络平台的微服务，这些组件通过异步工作方式的对微服务实例进行增减，实现对集群的当前副本数进行调整的目的。

算网应用进行动态扩缩容操作时，不仅需要集群的内存使用情况、CPU使用情况，更要考虑集群的磁盘利用率、网络带宽利用率，这些都是重要的负载指标，这些负载指标所占的权重根据具体情况而定。如图2所示，为集群负载因子图。由此可知，动态扩缩容方案在监控采集负载数据范围时，在传统集群平台层面的CPU和内存的数据指标的基础上，考虑基于应用的具体的业务处理指标，比如集群的磁盘利用情况和网络带宽利用情况，采用多个衡量指标，能够准确衡量应用整体的负载情况，满足复杂应用场景下扩缩容的需求。

在本技术方案中，基于历史指标预测中，定义了集群综合负载率为L。从算力网络平台的资源状况中获取CPU使用情况为C，内存使用情况为M，磁盘使用情况为D，网络带宽使用情况为B，权重分别定义为ω_C，ω_M，ω_D，ω_B，其中：C，M，D，B ∈[0，1]。系统的综合负载情况为：

L＝ω_cC+ω_MM+ω_DD+ω_B B (2)

ω_C+ω_M+ω_D+ω_B＝1 (3)

在公式(2)、公式(3)中，4个计量参数的权重根据指标重要性不一样进行调整，但是，所有权重之和是1，而且在计算过后的集群综合负载率L ∈[0，1]。其中L越大说明系统负载越大，系统越需要动态扩容。

在实际情况中，需要根据应用类型的不同来动态设置每个负载因子的权重，权重ω_C，ω_M，ω_D，ω_B的大小由资源映射关系决定，不同的任务对资源的消耗也是不同的，对这些影响因素基于不同的权重进行量化。

随着算力网络平台的运行，实时监控采集对应集群的当前副本集的资源负载指标数据，时序性的负载指标也就产生，这些负载指标由对应时刻集群运行时的CPU、内存、磁盘和带宽等这些使用情况共同组成，时序性的负载指标是根据公式(2)获得的对应时刻的集群综合负载构成的序列。基于这些负载指标数据序列，可以预测出未来某段时间的集群负载使用情况，并根据预测的未来某段时间的集群使用情况来进行集群资源的弹性伸缩。该问题可以看作是一个时序预测问题，时间段T对应的每个时刻的集群综合负载率组成的一组时序数据，利用该时序数据预测短期的未来时序数据。时间段T可以基于扩缩容周期确定，也可以基于自定义模式，也可以基于经验值确定。

目前，常用的一些预测方法是回归分析、神经网络等，需要较大的样本，对于少样本的情况就会造成比较大的误差，使预测目标失效。而灰色预测模型所需的建模信息少、运算方便、建模精度高，是处理小样本预测问题的有效工具。因此，本实施例拟采用灰色预测模型来对集群综合负载率进行预测。

如图3所示，为预测模型建立流程图。基于图3所示流程图获得预测模型对集群负载指标进行预测，以此提前进行弹性伸缩来应对突变的工作负载需求。预测模型建立的流程如下：

步骤a)：对所述集群综合负载序列进行累加处理，获得对应的累加结果序列。

在本步骤中，设集群综合负载率序列：

对集群综合负载序列进行一次累加，得到一次累加负载序列数据：/>

步骤b)：利用所述累加结果序列以及对应的所述集群综合负载率序列，获得数据级比。

在本步骤中，数据级比的公式(5)为：

步骤c)：根据所述数据级比对所述集群综合负载率序列进行处理。

在本步骤中，如果所有的级比都落入在可容覆盖区间

内，则进行灰色预测；否则，对没有落入区间内的数据序列进行变换处理，使其落入可容覆盖区间内。变化处理方式是取适当的常数C，做平移变换的公式(6)为：

步骤d)：利用处理后的集群综合负载率序列进行建模，获得预测模型。

在本步骤中，预测模型表达式为：

用回归分析求得a，b的估计值，于是，根据公式(7)获得对应的白化模型为：

解为：

进一步地，基于公式9，获得集群综合负载率预测序列：

公式(10)表示预测结果为一个时序序列，表示未来一段时间集群可能的资源使用量。未来保证服务质量，即用户感知延迟不上升，选取预测序列中的最大值，表示未来时间段t内集群的微服务可能达到的资源使用量最大值，作为主要指标进行算力网络平台的应用资源动态扩缩容依据，从而进行下一步规划。

在进行下一步规划时，采用阶梯扩缩容的方式进行扩缩操作。利用公式(7)表示的预测模型对集群资源负载未来的趋势进行分析，从而提前做出扩容或缩容操作。如果扩缩决策是扩容，那么就执行扩容命令让集群的资源副本数变多；如果扩缩决策是缩容，那么就会执行缩容命令让集群的资源副本数量变少。具体的流程如图4所示，利用所述集群综合负载率预测序列进行扩缩规划的步骤包括：

从所述集群综合负载率预测序列中选取预测最大值；

所述预测最大值与扩缩容阈值进行比较，根据比较结果进行扩缩规划。

其中，所述比较结果为所述预测最大值大于所述扩缩容阈值，则所述集群的当前副本数信息乘以扩容步长，获得的第一结果与副本数最大值进行比较，如果所述第一结果大于所述副本数最大值，则将副本数最大值作为扩容依据来对所述集群的当前副本数信息进行调整；如果所述第一结果小于等于副本数最大值，则将第一结果作为扩容依据来对所述集群的当前副本数信息进行调整。

其中，所述比较结果为所述预测最大值小于等于所述扩缩容阈值，则所述集群的当前副本数信息乘以缩容步长，获得的第二结果与副本数最小值进行比较，如果所述第二结果小于所述副本数最小值，则将副本数最小值作为缩容依据来对所述集群的当前副本数信息进行调整；如果所述第二结果大于等于所述副本数最小值，则将第二结果作为缩容依据来对所述集群的当前副本数信息进行调整。

图1～图4披露的面向动态扩缩容方案内容均针对单个集群内部。在缩放方式上，业界大量研究应用采用垂直缩放，通过伸缩单个集群的硬件资源来实现动态扩缩容，这种缩放方式对应用系统本身无感，但是对云端算力平台的提供商要求较高，另外单台集群的资源有限，业务高峰时可能无法满足要求。为了实现不同集群间协作的扩缩容能力，提出自适应阈值迁移方案，极大地优化了整个算力网络平台的资源与能耗。

自适应阈值迁移算法具体如下：

设有单变量数据集X₁，X₂，X₃，...，X_p，其中，X_i表示集群在i时刻的集群综合负载率，p为经验值，采取K-means聚类算法划分数据集(X₁，X₂，X₃，...，X_p)成q组(Y₁，Y₂，Y₃，...，Y_q)，其中，q为经验值，而

0＝j₀＜j₁＜j₂＜j₃＜j₄＜j₅＝p。接着获得每一组的平均值，如公式(11)所示：

其中，1≤s≤5。接着得到Y(Y_A1，Y_A2，Y_A3，...，Y_A5)的MAD(Median AbsoluteDeviation)值。MAD如公式(12)所示：

MAD＝median_Ap(|Y_Ap-median_Aq(Y_Aq)|) (12)

其中，A1≤Ap≤A5，median_Aq(Y_Aq)是Y_Aq中值。自适应阈值迁移算法中的3个自适应阈值(S_L，S_M，S_H)如公式(13)、公式(14)、公式(15)所示：

S_L＝0.5(1-r×MAD) (13)

S_M＝0.9(1-r×MAD) (14)

S_H＝1-r×MAD (15)

在公式(13)、公式(14)、公式(15)中，参数r∈R⁺指的是算法迁移合并集群的激烈程度。如果r值越大，合并带来的能耗越高，SLA违约率越少。如果r值越小，合并带来的能耗越低，SLA违约率越高。

因此，采用自适应阈值迁移算法计算出S_L，S_M和S_H，其中，0＜＜S_L＜S_M＜S_H＜＜1。三个阈值将算力网络平台的各个集群分为四个负载区间，如图5所示。是个负载区间分别为：负载过轻的集群区间、负载较轻的集群区间、负载正常的集群区间、负载较重的集群区间。根据每个集群的集群综合负载率L能够确定该集群处于何种负载情况。

自适应阈值迁移算法把负载过轻区间中的所有集群迁移到负载较轻区间上的集群中，然后将负载过轻区间中的集群处于休眠状态，可以节约算力网络平台的资源和能耗；负载较轻区间和负载正常区间中原本存在的集群不产生变动，集群的频繁迁移可能会引起SLA违约率和性能下降；选择负载较重区间内一些合适的集群迁移到负载较轻区间中的集群内，从而降低负载较重区间内的集群的资源和能耗，极大地优化了整个算力网络平台的包容性与灵活性。

如图6所示，为本申请披露一种算力网络平台的应用资源动态扩缩容装置示意图。所述装置包括存储器和处理器；其中，

所述存储器，用于存储计算机程序指令；

所述处理器，用于执行所述计算机程序指令以实现如图1～图5示出的所述算力网络平台的应用资源动态扩缩容方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施方式或者实施方式的某些部分所述的方法。

本说明书中的各个实施方式均采用递进的方式描述，各个实施方式之间相同相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。尤其，针对客户端和服务器的实施方式来说，均可以参照前述方法的实施方式的介绍对照解释。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

Claims (10)

1.一种算力网络平台的应用资源动态扩缩容方法，其特征在于，所述方法包括：

采集所述算力网络平台中的集群对应时刻的负载信息和当前副本数信息，根据对应时刻的负载信息确定集群综合负载率序列；

利用所述集群综合负载率序列建立预测模型，根据所述预测模型对所述集群的资源综合负载进行预测，获得集群综合负载率预测序列；

利用所述集群综合负载率预测序列进行扩缩规划，调整所述集群的当前副本数信息。

2.如权利要求1所述的方法，其特征在于，所述负载信息包括CPU使用率、内存使用率、磁盘使用率、带宽使用率。

3.如权利要求2所述的方法，其特征在于，所述根据对应时刻的负载信息确定集群综合负载序列的步骤包括：

根据所述CPU使用率、所述内存使用率、所述磁盘使用率和所述带宽使用率获得对应时刻的集群综合负载率；

获得的所有集群综合负载率构成所述集群综合负载率序列。

4.如权利要求1所述的方法，其特征在于，利用所述集群综合负载率序列建立预测模型的步骤包括：

对所述集群综合负载序列进行累加处理，获得对应的累加结果序列；

利用所述累加结果序列以及对应的所述集群综合负载率序列，获得数据级比；

根据所述数据级比对所述集群综合负载率序列进行处理；

利用处理后的集群综合负载率序列进行建模，获得预测模型。

5.如权利要求1所述的方法，其特征在于，利用所述集群综合负载率预测序列进行扩缩规划的步骤包括：

从所述集群综合负载率预测序列中选取预测最大值；

所述预测最大值与扩缩容阈值进行比较，根据比较结果进行扩缩规划。

6.如权利要求5所述的方法，其特征在于，所述比较结果为所述预测最大值大于所述扩缩容阈值，则所述集群的当前副本数信息乘以扩容步长，获得的第一结果与副本数最大值进行比较，如果所述第一结果大于所述副本数最大值，则将副本数最大值作为扩容依据来对所述集群的当前副本数信息进行调整；如果所述第一结果小于等于副本数最大值，则将第一结果作为扩容依据来对所述集群的当前副本数信息进行调整。

7.如权利要求5所述的方法，其特征在于，所述比较结果为所述预测最大值小于等于所述扩缩容阈值，则所述集群的当前副本数信息乘以缩容步长，获得的第二结果与副本数最小值进行比较，如果所述第二结果小于所述副本数最小值，则将副本数最小值作为缩容依据来对所述集群的当前副本数信息进行调整；如果所述第二结果大于等于所述副本数最小值，则将第二结果作为缩容依据来对所述集群的当前副本数信息进行调整。

8.如权利要求1～7任一权利要求所述的方法，其特征在于，还包括：

根据所述集群对应的集群综合负载率明确所述集群属于何种负载情况；

根据所述负载情况决定对所述集群是否迁移处理。

9.如权利要求8所述的方法，其特征在于，所述负载情况的确定步骤包括：

根据自适应阈值迁移算法确定第一阈值、第二阈值、第三阈值；

利用所述第一阈值、所述第二阈值、所述第三阈值对算力网络平台的所有集群划分为四个负载区间，明确每个集群的负载情况。

10.一种算力网络平台的应用资源动态扩缩容装置，其特征在于，所述装置包括存储器和处理器；其中，

所述存储器，用于存储计算机程序指令；

所述处理器，用于执行所述计算机程序指令以实现所述权利要求1～9任一项权利要求所述算力网络平台的应用资源动态扩缩容方法。

Images