CN110990159A - 一种基于历史数据分析的容器云平台资源配额预测方法 - Google Patents

Abstract

本发明公开了一种基于历史数据分析的容器云平台资源配额预测方法，该方法创新性地基于混合统计学模型，根据容器实例的不同资源维度历史负载，在满足服务质量前提下获得服务的不同维度资源消耗的关系；在请求负载一定的情况下，通过数据分析的方法，选出待选配额值中最优的配额值；通过不同级别负载测试实验，得到相应负载级别下的资源分配量，根据这些对应不同服务负载下的资源分配量协同负载预测方法进行资源分配预测，优化资源配额方法，通过得到特定场景下服务所需资源量，结合考虑负载预测特性的调度方法，能预先针对负载做出调度及扩缩容决策，降低调度对服务质量影响，提升容器云平台稳定性。

Description

一种基于历史数据分析的容器云平台资源配额预测方法

技术领域

本发明属于云计算领域，具体属于容器云平台资源配额、资源预测领域，尤其涉及一种历史数据分析的容器云平台资源配额预测方法及装置。

背景技术

云计算技术迅速发展，基于云平台的应用也层出不穷。云平台通过虚拟化技术将计算机资源整合成资源池，以按需付费的方式实现了用户对计算资源的弹性需求。云计算发展至今，虚拟化技术一直是云平台中的关键技术，而容器技术则是近年来新兴的一种虚拟化技术。它的出现给传统虚拟化技术带来了挑战，为构建高效的云平台提供了新的思路。

现今各大云计算运营商正在大量的构建基于Docker容器技术的云平台。其中kubernetes是一个全新的基于容器技术的分布式架构领先方案。Kubernetes在Docker的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性。然而kubernetes在Pod的资源配额中，不同维度配额值关系，配额值粒度大小应该设置多少是普遍存在的一个问题，其直接导致现在的Pod资源利用率低，资源配额碎片化；另外，现阶段还存在服务调度扩缩容的延时性等问题。

针对不同的服务对不同维度的资源有着不同的需求，如果不考虑这个特性，那么针对服务的资源分配会存在较大的浪费和碎片化问题，这将大大减少对于资源的有效利用。同时，对服务在特定负载级别下所需资源值的预估也对资源的分布、分配以致对于资源利用率的提升都有着十分重要的应用，结合负载预测的调度算法，能够提高服务的稳定性。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于历史数据分析的容器云平台资源配额预测方法。本发明是一种资源配额、资源预估方法，用于解决现在kubernetes资源调度存在的资源利用不均衡、资源配额碎片化严重、调度扩缩容的延时性等问题。

本发明的目的是通过以下技术方案来实现的：一种基于历史数据分析的容器云平台资源配额预测方法，包括以下步骤：

(1)分别在实验环境和线上环境监控kubernetes服务实例并获得服务负载数据和资源使用量数据；所述资源使用量数据包括CPU资源使用量和内存资源使用量等。

(2)根据步骤(1)得到的服务负载数据和资源使用量数据，基于统计学模型获取CPU资源使用量和内存资源使用量之间的关系。

(3)设置CPU参考配额值，并通过均匀采样生成一组CPU待选配额值；再根据步骤(2)获取的CPU资源使用量和内存资源使用量之间的关系，得到对应的内存待选配额值，构成CPU、内存配额值组；对不同的配额值组重复配额实验，根据实验得到的最小资源占用值确定配额较优值组。

(4)将服务配额设定为步骤(3)得到的配额较优值组，采用不同级别负载作为实验环境的服务请求，记录不同级别请求负载对应的CPU资源使用量。

(5)根据步骤(4)得到的不同级别请求负载对应的CPU资源使用量，通过线性回归的方法得到请求负载和服务CPU资源使用量的函数关系，从而根据请求负载预测CPU资源使用量。

进一步地，所述步骤(1)包括以下子步骤：

(11)同时在实验环境和线上环境下，在kubernetes的每一个容器节点运行cAdvisor，用于实时获取容器节点的资源使用量数据，包括CPU资源使用量R和内存资源使用量M，并按照时间排序，生成CPU时序序列Tscpu和内存时序序列Tsmem；在kubernetes的每一个主机节点上部署node-exporter工具，配置普罗米修斯用于汇集服务质量指标数据；在kubernetes中安装部署Prometheus custom metrics API adapter和k8s-prometheus-adapter工具用于配置水平自动扩缩容；

(12)在实验环境下，根据服务质量指标为服务配置水平自动扩缩容，根据线上环境的历史服务请求数据提取服务负载周期Tload，模拟线上环境的单位时间请求数配置实验环境的服务请求负载。

进一步地，所述步骤(2)包括以下子步骤：

(21)初始化箱型图方法阈值T、线性相关系数阈值C，记录CPU时序序列Tscpu和内存时序序列Tsmem；统一CPU资源使用量R的单位为mCPU，内存资源使用量M的单位为MB；

(22)获得步骤(21)得到的内存时序序列Tsmem和CPU时序序列Tscpu的比值序列ratio＝Tsmem/Tscpu；利用箱型图方法得到比值序列ratio的上四分位数Q₃和下四分位数Q₁以及中位值Median；如果|Q₃-Q₁|≤T，则CPU资源使用量R和内存资源使用量M之间的关系为M＝R×Median；否则，执行步骤(23)；

(23)计算步骤(21)得到的CPU时序序列Tscpu和内存时序序列Tsmem的皮尔逊积矩相关系数

其中，σ_cpu、σ_内存分别为Tscpu、Tsmem的方差；如果|ρ|≥C，则对Tscpu和Tsmem一元线性回归得到线性函数，作为CPU资源使用量R和内存资源使用量M之间的关系；否则，执行步骤(24)；

(24)以一个步骤(12)提取的服务负载周期Tload为时间窗口，分别对CPU时序序列Tscpu、内存时序序列Tsmem和时间的关系曲线求积分，得到CPU积分面积area_cpu和内存积分面积area_mem，再计算比值area_ratio＝area_mem/area_cpu，则CPU资源使用量R和内存资源使用量M之间的关系为M＝R×area_ratio。

进一步地，所述步骤(3)包括以下子步骤：

(31)设置CPU参考配额值initcpu、采样区间长度lengthofsample、采样数numberofsample，其中initcpu-lengthofsample/2>0；从配额值闭区间[initcpu-lengthofsample/2,initcpu+lengthofsample/2]中均匀采样得到numberofsample个CPU待选配额值；再根据步骤(2)获取的CPU资源使用量R和内存资源使用量M之间的关系，得到对应的内存待选配额值，构成CPU、内存配额值组；

(32)根据步骤(31)得到的CPU、内存配额值组配置服务pod内存资源配额参数memRequest和CPU资源配额参数cpuRequest，重复lengthofsample次相同请求负载的实验，每次的实验时间为一个服务负载周期Tload，按相同采样间隔Δt获取Pod实例数NumOfPod，CPU资源使用量R＝cpuRequest*NumOfPod；

(33)在下式中选择一个计算步骤(32)中单次实验的CPU资源使用量时序对应的资源占用值A：

或

其中，R_i为步骤(32)中第i次实验的CPU资源使用量R，Δt为采样间隔；n为单次实验的采样次数；取lengthofsample次实验中资源占用值A最小的CPU、内存配额值组作为配额较优值组。

进一步地，所述步骤(4)具体为：实验环境配置为配额较优值组，初始化负载持续时间间隔Tc和请求负载步长D；取步骤(1)得到的线上环境的负载请求数据的峰值P作为实验环境模拟的请求负载峰值L_峰值，从0次/s开始，以相同的负载持续时间间隔Tc和请求负载步长D增加请求负载直到达到L_峰值，记录第x次实验的请求负载及其对应的CPU资源使用量为<L_x,R_x>。

进一步地，所述步骤(5)包括以下子步骤：

(51)利用一元线性回归的方法，得到请求负载L与CPU资源使用量R之间的函数关系R＝a×L+b。

(52)构建请求负载与CPU资源使用量映射关系函数如下：当0≤请求负载≤L_峰值，去除请求负载为0的情况，如L_x-1＜请求负载≤L_x，则CPU资源使用量R＝R_x；当L_峰值＜请求负载，则CPU资源使用量

本发明的有益效果是：本发明提供了一种基于历史数据分析的容器云平台kubernetes资源配额及所需资源量预测方法。该方法创新性地基于混合统计学模型，根据容器实例的不同资源维度历史负载，在满足服务质量前提下获得服务的不同维度资源消耗的关系；在请求负载一定的情况下，通过AUC的方法，选出待选配额值中最优的配额值；通过不同级别负载测试实验，得到相应负载级别下的资源分配量，根据这些对应不同服务负载下的资源分配量协同负载预测方法进行资源分配预测，优化资源配额方法，通过得到特定场景下服务所需资源量，结合考虑负载预测特性的调度方法，能预先针对负载做出调度及扩缩容决策，降低调度对服务质量影响，提升容器云平台稳定性。

附图说明

图1为容器云平台资源配额方法数据采集的主体架构图；

图2为利用水平自动扩缩容控制服务质量指标在指定值邻域示意图；

图3为根据服务历史数据分析服务cpu和内存关系流程图；

图4为可直接用Median作为CPU和内存比值关系的样例箱型图；

图5为不可直接用Median作为CPU和内存比值关系的示例ratio数据折线图；

图6为通过线性回归得到CPU和内存比值关系的回归图；

图7为根据实验历史数据确定资源较优配额示意图；

图8为负载记录实验程序流程图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

本发明kubernetes资源配额方法数据采集的主体架构如图1所示，该方法为监控容器云平台kubernetes上每个Pod和容器实例，获取Pod及容器实例历史负载数据及衡量服务质量维度指标，创新性地提出混合统计学模型方法，根据Pod、容器实例监控数据汇聚成的服务的不同资源维度历史负载，在满足服务质量前提下获得服务的不同维度资源消耗的关系；在请求负载一定的情况下，在不同粒度的Pod配额策略中根据实验数据选出待选配额值中最优配额值；在此Pod配额值基础上，通过梯度提升的不同级别负载测试实验，得到相应负载级别下的所需Pod数，根据这些对应不同服务负载下的所需Pod数协同负载预测方法进行资源分配预测，通过得到不同负载场景下服务所需Pod数及资源量，结合考虑负载预测特性的调度方法，能预先针对负载做出调度及扩缩容决策，降低调度对服务质量影响，优化容器云平台资源碎片化问题，提升集群服务稳定性；具体包括以下步骤：

(1)分别在验证环境和线上环境监控容器实例的负载数据和服务质量指标。具体包括：

(11)在kubernetes的每一个容器节点运行cAdvisor，在每一个物理节点部署node-exporter工具，实时获取容器节点的资源利用率数据和服务质量指标数据，包括容器CPU、内存、磁盘、网络、响应时间等多个维度和集群主机硬件和操作系统数据。

(12)集群中的普罗米修斯汇集这些指标，部分收集的数据经过处理持久化到数据库中。

(13)如图2所示，在集群中安装部署Prometheus custom metrics API adapter和k8s-prometheus-adapter等工具以支持自定义指标水平自动扩缩容。实验环境下，为指定的服务根据服务质量指标M配置水平自动扩缩容，使得实验中服务的实时指标M’长期在M的邻域内。根据线上环境的历史服务请求数据利用模拟单位时间请求数配置实验环境的服务请求。

(2)根据每个容器实例的历史负载数据，基于统计学模型获取相应服务CPU和内存的关系。如图3所示，具体包括：

(21)初始化箱型图方法阈值T，线性相关系数阈值C及相应服务CPU、内存历史数据，相应服务CPU、内存历史数据进行单位变换，CPU单位为mCPU，内存单位为MB。转化格式分别转化为例如CPU数据{<Timestamp₁,Valueofcpu₁>,<Timestamp₂,Valueofcpu₂>,…,<Timestamp_n,Valueofcpu_n>}，内存数据{<Timestamp₁,Valueofmem₁>…,<Timestamp_n,Valueofmem_n>}形式。

(22)按照对应时间得到对应内存序列与CPU序列之间的比值ratio，利用箱型图的方法，得到上四分位数Q3和下四分位数Q1以及中位值Median，如果比值数据大体上分布集中，即|Q3-Q1|≤T，数据样例箱型图如图4，直接以中位值Median作为CPU和内存之间的关系：内存＝CPU×Median。

(23)如果|Q3-Q1|＞T，即ratio数据的折线图如图5所示，则按照对应的时间序列，分析CPU时间序列和内存时间序列的线性相关性，得到皮尔逊积矩相关系数

其中，Cov(Tscpu,Tsmem)为CPU时间序列Tscpu和内存时间序列Tsmem的相关系数，σ_cpu、σ_内存分别为Tscpu、Tsmem的方差，如果线性相关系数|ρ|≥C，则进行一元线性回归得到线性函数：内存＝k×CPU+b作为CPU和内存之间的关系。例如图6所示，线性函数为：内存＝290.94×CPU+397.73。

(24)如果|ρ|≥C，以一个周期为时间窗口，将CPU数据和内存数据分别利用积分进行面积的计算，得到面积的比值area_ratio，将area_ratio作为CPU和内存之间的关系。

(3)根据物理节点上各个容器的下一个时间窗口的负载预测值，计算各个物理节点下一个时间窗口的综合负载，并根据综合负载情况，为其设置负载标志。如图7所示，具体包括：

(31)设置CPU参考配额值initcpu，及采样区间长度lengthofsample(需满足initcpu-lengthofsample/2>0)，采样数numberofsample，利用均匀采样的方法，从闭区间[initcpu-lengthofsample/2,initcpu+lengthofsample/2]产生一组numberofsample个CPU配额待选值{x₁,x₂,…x_{numberofsample}}。例如产生待选值个数numberofsample为9个，lengthofsample为0.4，CPU参考配额值为0.5mCPU，假设我们得到的CPU和内存之间的关系为内存＝1000*CPU,得到CPU和内存参考配额值<initcpu,initmem>为<0.5,500>,我们可以得到一组待选值为{<0.30,300>,<0.35,350>,<0.40,400>,<0.45,450>,<0.5,500>,<0.55,550>,<0.60,600>,<0.65,650>,<0.7,700>}。

(32)分别根据待选配额值重复lengthofsample次相同请求负载的实验，每次实验时间保持为请求负载的1个周期Tload，按相同采样间隔Δt＝timestamp₂-timestamp₁获取CPU资源使用量数据。获取的数据序列按时间戳排序为Exam₁{<timestamp₁,资源使用量₁>,<timestamp₂,资源使用量₂>,<timestamp₃,资源使用量₃>…<timestamp_n,资源使用量_n>}，Exam₂{<timestamp₁,资源使用量₁>,<timestamp₂,资源使用量₂>,<timestamp₃,资源使用量₃>…<timestamp_n,资源使用量₃>}…Exam₉{<timestamp₁,资源使用量₁>,<timestamp₂,资源使用量₂>,<timestamp₃,资源使用量₃>…<timestamp_n,资源使用量_n>}；其中资源使用量＝服务CpuRequest*Pod数。

(33)分别针对得到的实验数据用积分方法得到资源占用值A，并取最小值对应的策略作为配额较优值。即针对每一个Exam_x{<timestamp₁,资源使用量₁>,<timestamp₂,资源使用量₂>,<timestamp₃,资源使用量₃>,…,<timestamp_n,资源使用量_n>}，通过计算A＝(timestamp₂-timestamp₁)×((资源使用量₁+资源使用量_n)/2+资源使用量₂+…+资源使用量_n-1)，分别得到{A₁,A₂,…,A₉}，取min{A₁,A₂,…,A₉}对应的实验配额值作为较优配额值。优化计算过程我们可以针对每一个Exam_x数据通过计算中间变量B＝(资源使用量₁+资源使用量₂+…+资源使用量_n)，即分别得到{B₁,B₂,…,B₉}，取min{B₁,B₂,…,B₉}对应的实验配额值作为较优配额值。

(4)在服务配额为步骤(33)得到的较优配额值的基础上用不同请求负载作为验证环境的服务请求，记录不同级别下的所需要的资源量。具体程序示意图如图8所示，具体为:

(41)实验环境配置好较优配额值后，初始化负载持续时间间隔Tc，请求负载步长D，根据真实上线的负载请求数据，取峰值P作为我们实验环境模拟的请求负载峰值L_峰值，初始化按照均匀间隔从0次/s开始依次按照相同间隔Tc依次以请求负载步长D增加请求负载，并记录不同负载级别所需资源值。记录按照负载排序，形式为{<L₁,R₁>,<L₂,R₂>,<L₃,R₃>…<L_峰值,R_峰值>}。

(5)根据得到的不同负载级别对应的资源量通过线性回归的方法结合历史记录得到请求负载和资源量的对应关系。根据请求级别是否在记录阈值内，返回相应资源所需量预估结果。具体包括：

(51)用一元线性回归的方法，得到负载L与服务CPU资源使用量R之间的函数关系。记为R＝a×L+b。

(52)构建返回映射关系函数，即当0≤负载请求≤L_峰值，去除负载请求为0的情况，则此时有L_x-1＜负载请求≤L_x，返回值为所需资源量_x；当L_峰值＜负载请求，则此时返回

Claims (6)

1.一种基于历史数据分析的容器云平台资源配额预测方法，其特征在于，包括以下步骤：

(1)分别在实验环境和线上环境监控kubernetes服务实例并获得服务负载数据和资源使用量数据；所述资源使用量数据包括CPU资源使用量和内存资源使用量等。

(2)根据步骤(1)得到的服务负载数据和资源使用量数据，基于统计学模型获取CPU资源使用量和内存资源使用量之间的关系。

(3)设置CPU参考配额值，并通过均匀采样生成一组CPU待选配额值；再根据步骤(2)获取的CPU资源使用量和内存资源使用量之间的关系，得到对应的内存待选配额值，构成CPU、内存配额值组；对不同的配额值组重复配额实验，根据实验得到的最小资源占用值确定配额较优值组。

(4)将服务配额设定为步骤(3)得到的配额较优值组，采用不同级别负载作为实验环境的服务请求，记录不同级别请求负载对应的CPU资源使用量。

(5)根据步骤(4)得到的不同级别请求负载对应的CPU资源使用量，通过线性回归的方法得到请求负载和服务CPU资源使用量的函数关系，从而根据请求负载预测CPU资源使用量。

2.根据权利要求1所述基于历史数据分析的容器云平台资源配额预测方法，其特征在于，所述步骤(1)包括以下子步骤：

(11)同时在实验环境和线上环境下，在kubernetes的每一个容器节点运行cAdvisor，用于实时获取容器节点的资源使用量数据，包括CPU资源使用量R和内存资源使用量M，并按照时间排序，生成CPU时序序列Tscpu和内存时序序列Tsmem；在kubernetes的每一个主机节点上部署node-exporter工具，配置普罗米修斯用于汇集服务质量指标数据；在kubernetes中安装部署Prometheus custom metrics API adapter和k8s-prometheus-adapter工具用于配置水平自动扩缩容；

(12)在实验环境下，根据服务质量指标为服务配置水平自动扩缩容，根据线上环境的历史服务请求数据提取服务负载周期Tload，模拟线上环境的单位时间请求数配置实验环境的服务请求负载。

3.根据权利要求2所述基于历史数据分析的容器云平台资源配额预测方法，其特征在于，所述步骤(2)包括以下子步骤：

(21)初始化箱型图方法阈值T、线性相关系数阈值C，记录CPU时序序列Tscpu和内存时序序列Tsmem；统一CPU资源使用量R的单位为mCPU，内存资源使用量M的单位为MB；

(22)获得步骤(21)得到的内存时序序列Tsmem和CPU时序序列Tscpu的比值序列ratio＝Tsmem/Tscpu；利用箱型图方法得到比值序列ratio的上四分位数Q₃和下四分位数Q₁以及中位值Median；如果|Q₃-Q₁|≤T，则CPU资源使用量R和内存资源使用量M之间的关系为M＝R×Median；否则，执行步骤(23)；

(23)计算步骤(21)得到的CPU时序序列Tscpu和内存时序序列Tsmem的皮尔逊积矩相关系数

其中，σ_cpu、σ_内存分别为Tscpu、Tsmem的方差；如果|ρ|≥C，则对Tscpu和Tsmem一元线性回归得到线性函数，作为CPU资源使用量R和内存资源使用量M之间的关系；否则，执行步骤(24)；

(24)以一个步骤(12)提取的服务负载周期Tload为时间窗口，分别对CPU时序序列Tscpu、内存时序序列Tsmem和时间的关系曲线求积分，得到CPU积分面积area_cpu和内存积分面积area_mem，再计算比值area_ratio＝area_mem/area_cpu，则CPU资源使用量R和内存资源使用量M之间的关系为M＝R×area_ratio。

4.根据权利要求2所述基于历史数据分析的容器云平台资源配额预测方法，其特征在于，所述步骤(3)包括以下子步骤：

(31)设置CPU参考配额值initcpu、采样区间长度lengthofsample、采样数numberofsample，其中initcpu-lengthofsample/2>0；从配额值闭区间[initcpu-lengthofsample/2,initcpu+lengthofsample/2]中均匀采样得到numberofsample个CPU待选配额值；再根据步骤(2)获取的CPU资源使用量R和内存资源使用量M之间的关系，得到对应的内存待选配额值，构成CPU、内存配额值组；

(32)根据步骤(31)得到的CPU、内存配额值组配置服务pod内存资源配额参数memRequest和CPU资源配额参数cpuRequest，重复lengthofsample次相同请求负载的实验，每次的实验时间为一个服务负载周期Tload，按相同采样间隔Δt获取Pod实例数NumOfPod，CPU资源使用量R＝cpuRequest*NumOfPod；

(33)在下式中选择一个计算步骤(32)中单次实验的CPU资源使用量时序对应的资源占用值A：

或

其中，R_i为步骤(32)中第i次实验的CPU资源使用量R，Δt为采样间隔；n为单次实验的采样次数；取lengthofsample次实验中资源占用值A最小的CPU、内存配额值组作为配额较优值组。

5.根据权利要求1所述基于历史数据分析的容器云平台资源配额预测方法，其特征在于，所述步骤(4)具体为：实验环境配置为配额较优值组，初始化负载持续时间间隔Tc和请求负载步长D；取步骤(1)得到的线上环境的负载请求数据的峰值P作为实验环境模拟的请求负载峰值L_峰值，从0次/s开始，以相同的负载持续时间间隔Tc和请求负载步长D增加请求负载直到达到L_峰值，记录第x次实验的请求负载及其对应的CPU资源使用量为<L_x,R_x>。

6.根据权利要求1所述基于历史数据分析的容器云平台资源配额预测方法，其特征在于，所述步骤(5)包括以下子步骤：

(51)利用一元线性回归的方法，得到请求负载L与CPU资源使用量R之间的函数关系R＝a×L+b。

(52)构建请求负载与CPU资源使用量映射关系函数如下：当0≤请求负载≤L_峰值，去除请求负载为0的情况，如L_x-1＜请求负载≤L_x，则CPU资源使用量R＝R_x；当L_峰值＜请求负载，则CPU资源使用量

Images