CN109710500A - 一种基于自动伸缩Docker集群的组合预测方法 - Google Patents

Abstract

本发明公开的一种基于自动伸缩Docker集群的组合预测方法，通过负载预测每隔T时间从监控集群的数据中心中分别提取的历史CPU工作负载与内存工作负载时间序列，通过对时间序列数据进行线性和非线性时间序列的预测的融合，实现了Docker集群负载的预测，解决了并发访问的突发性导致的工作负载急剧增加和负载量的下降的问题，提高伸缩性能。在面对工作负载的急剧上升和下降时，组合式预测方法能更快地响应并进行扩容及缩容。

Description

一种基于自动伸缩Docker集群的组合预测方法

技术领域

本发明属于虚拟化技术领域，涉及一种基于自动伸缩Docker集群的组合预测方法。

背景技术

Docker是一种轻量级虚拟化技术，建立于Linux容器之上，构造了一个全新的容器引擎。自动伸缩是通过对Docker集群进行监控并且做出扩容和缩容。传统的自动伸缩存在一定的局限性，当遇到访问量爆发式增长，扩容不及时，就会导致服务质量变差，相反，遇到访问量突发下降，集群又没有及时释放资源，缩容以降低成本。

针对解决优化这突发式负载变化的问题，本发明提出一种组合预测方法，针对集群负载进行预测，提前解决负载均衡问题，节约扩容和缩容时间，提升自动伸缩性能。所提出的组合预测方法在线性部分采用GM(1,1)模型，通过对时间序列中隐含的灰色信息进行挖掘从而进行线性时间序列的预测，由于它的预测结果中不包含非线性关系，因此本发明在非线性部分采用BP神经网络模型，表达出数据的非线性关系。因为真实环境中的时间序列既包含非线性关系也包含线性关系，所以将两者融合便能同时表达出非线性与线性关系，并实现了工作负载预测的自动伸缩，预测应用未来某个时间段的资源需求量，然后基于预测值提前进行资源扩展和缩容。

发明内容

本发明的目的是提供一种基于自动伸缩Docker集群的组合预测方法，解决了并发访问的突发性导致的工作负载急剧增加时的及时扩容问题和集群负载量急剧下降的缩容问题，提高伸缩性能。

本发明所采用的技术方案是，一种基于自动伸缩Docker集群的组合预测方法，包括如下步骤：

步骤1、负载预测每隔T时间从监控集群的数据中心中分别提取各服务的历史CPU使用率X＝{X(1),X(2),X(3)...X(n)}与内存工作负载 Y＝{Y(1),Y(2),Y(3)...Y(n)}，并根据此负载序列进行负载预测；

步骤2、用GM(1,1)模型分别对历史CPU使用率X＝{X(1),X(2),X(3)...X(n)} 和内存工作负载Y＝{Y(1),Y(2),Y(3)...Y(n)}进行建模，分别表达出其中的线性关系，分别得到CPU工作负载预测值序列和内存工作负载预测值序列

步骤3、然后用BP神经网络对GM(1,1)模型产生的CPU工作负载预测值序列和内存工作负载预测值序列分别进行建模，得到CPU工作负载最终预测的误差序列e₁和内存工作负载最终预测的误差序列e₂；

步骤4、将CPU工作负载预测值序列与CPU工作负载最终预测的误差序列e₁相加得到修正误差后的CPU工作负载预测值序列将内存工作负载预测值序列与内存工作负载最终预测的误差序列e₂相加得到修正误差后的内存工作负载修正误差后的预测值序列

本发明的特点还在于，

步骤2具体为：

步骤2.1、弱化原始时间序列的随机性，需要先对原始时间序列CPU工作负载的时间序列X＝{X(1),X(2),X(3)...X(n)}和内存工作负载的时间序列 Y＝{Y(1),Y(2),Y(3)...Y(n)}进行数据处理，采用的是累加法处理，累加后得到CPU负载的一次累加序列X⁽¹⁾＝{X⁽¹⁾(1),X⁽¹⁾(2),X⁽¹⁾(3)...X⁽¹⁾(n)}与内存负载的一次累加序列Y⁽¹⁾＝{Y⁽¹⁾(1),Y⁽¹⁾(2),Y⁽¹⁾(3)...Y⁽¹⁾(n)}；

步骤2.2、利用步骤2.1生成X⁽¹⁾(k)与Y⁽¹⁾(k)的紧邻域Z⁽¹⁾(k)_x和Z⁽¹⁾(k)_y，其中，X⁽¹⁾(k)代表CPU负载第k次累加序列，Y⁽¹⁾(k)代表内存负载第k次累加序列；

步骤2.3、根据X⁽¹⁾(k)和Y⁽¹⁾(k)分别建立灰色微分方程，利用最小二乘法分别对微分方程中参数a_x，u_x和a_y，u_y的值分别进行估计，得到的参数向量，求解微分方程；

步骤2.4、再根据累减法还原序列，可以得到序列在下一个t周期的预测值。这样就得到了CPU工作负载线性关系预测值与内存工作负载线性关系预测值

步骤3具体为：

步骤3.1、通过以步骤2可知通过GM(1,1)得到的CPU工作负载预测值序列和内存工作负载预测值序列存在一定误差序列e_t1、e_t2；

步骤3.2、将误差序列e_t1、e_t2作为BP神经网络的输入层，初始化神经网络的权和阈值；

步骤3.3、计算BP神经网络的神经元在隐藏层的数量，公式为其中，n为输入层神经元个数，m为输出层神经元个数，a 为[1,10]之间的常数。因为需要预测的结果是下一个t周期的，所以这里BP 神经网络的输出层神经元个数为1，那么隐藏层神经元个数为

步骤3.4、对步骤3.2中每个训练样本误差序列e_t1、e_t2进行步骤3.5到步骤3.6；

步骤3.5、计算各个网络层的实际输出；

步骤3.6、计算每层的权值和偏置的偏导；

步骤3.7、计算全局误差；

步骤3.8、修正权值和阈值；

步骤3.9、当样本集中的所有样本都经历了步骤3.5到步骤3.6，即完成了一个训练周期，如果各层神经元的输入权值以及偏置与神经网络的输出无限接近期望输出，即停止训练；否则，跳转到步骤3.3，继续下一个训练周期；

步骤3.10、训练完成后可得到CPU工作负载最终预测的误差序列e₁和内存工作负载最终预测的误差序列e₂。

步骤4具体为：

步骤4.1、将通过BP神经网络预测模型得到预测值相加，

得到CPU使用率修正误差后的预测值序列和内存工作负载修正误差后的预测值序列

本发明的有益效果是，

1、并发访问的突发性导致Docker集群工作负载急剧增加时，Docker 集群会及时扩容。

2、Docker集群负载量急剧下降时，集群能及时缩容以减少开销。

3、提高Docker集群自动伸缩的性能。

附图说明

图1是本发明基于自动伸缩Docker集群的组合预测方法的算法流程图；

图2是工作负载预测BP神经网络结构图；

图3是应用Test的实例个数变化图；

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

图1为本发明一种基于自动伸缩Docker集群的组合预测方法的算法流程图，结合流程图，具体的步骤如下：

步骤1、负载预测每隔T时间从监控集群的数据中心中分别提取各服务的历史CPU使用率X＝{X(1),X(2),X(3)...X(n)}与内存工作负载 Y＝{Y(1),Y(2),Y(3)...Y(n)}，并根据此负载序列进行负载预测；

步骤2、用GM(1,1)模型分别对历史CPU使用率X＝{X(1),X(2),X(3)...X(n)} 和内存工作负载Y＝{Y(1),Y(2),Y(3)...Y(n)}进行建模，分别表达出其中的线性关系，分别得到CPU工作负载预测值序列和内存工作负载预测值序列

步骤2.1、弱化原始时间序列的随机性，需要先对原始时间序列CPU工作负载的时间序列X＝{X(1),X(2),X(3)...X(n)}和内存工作负载的时间序列 Y＝{Y(1),Y(2),Y(3)...Y(n)}进行数据处理，采用的是累加法，公式为：

累加后得到CPU负载的一次累加序列X⁽¹⁾＝{X⁽¹⁾(1),X⁽¹⁾(2),X⁽¹⁾(3)... X⁽¹⁾(n)}与内存负载的一次累加序列Y⁽¹⁾＝{Y⁽¹⁾(1),Y⁽¹⁾(2),Y⁽¹⁾(3)...Y⁽¹⁾(n)}。

步骤2.2、生成X⁽¹⁾(k)与Y⁽¹⁾(k)的紧邻域，相邻域的生成公式为：

Z⁽¹⁾(k)_x＝0.5X⁽¹⁾(k)+0.5X⁽¹⁾(k-1)

Z⁽¹⁾(k)_y＝0.5Y⁽¹⁾(k)+0.5Y⁽¹⁾(k-1)

其中，X⁽¹⁾(k)代表CPU负载第k次累加序列，Y⁽¹⁾(k)代表内存负载第k 次累加序列。Z⁽¹⁾(k)_x代表X⁽¹⁾(k)生产的紧邻域，Z⁽¹⁾(k)_y代表Y⁽¹⁾(k)生产的紧邻域。

步骤2.3、根据X⁽¹⁾(k)和Y⁽¹⁾(k)分别建立灰色微分方程：

步骤2.4、利用最小二乘法对步骤2.3中参数a_x，u_x和a_y，u_y的值分别进行估计，得到的参数向量如下所示：

其中，矩阵B_x，B_y和向量X_N，Y_N可以表示为：

求解微分方程，即可得

步骤2.5、再根据累减法还原序列，就可以得到序列在下一个t周期的预测值，公式如下所示：

由以上公式得的下一个t周期的所有预测值的组合，就是t周期的工作负载线性关系预测序列，即为CPU工作负载预测值序列和内存工作负载预测值序列

步骤3、然后用BP神经网络对GM(1,1)模型产生的CPU工作负载预测值序列和内存工作负载预测值序列分别进行建模，得到CPU工作负载最终预测的误差序列e₁和内存工作负载最终预测的误差序列e₂；

步骤3.1、通过以步骤2可知通过GM(1,1)得到的CPU工作负载预测值序列和内存工作负载预测值序列存在一定误差序列e_t1、e_t2，其代表了非线性关系，公式如下：

其中，为CPU工作负载真实值，为内存工作负载真实值。

步骤3.2、将误差序列e_t1和e_t2作为BP神经网络的输入层，初始化神经网络的权和阈值；

步骤3.3、计算BP神经网络的神经元在隐藏层的数量，公式为其中，n为输入层神经元个数，m为输出层神经元个数，a为 [1,10]之间的常数。因为需要预测的结果是下一个t周期的，所以这里BP神经网络的输出层神经元个数为1，那么隐藏层神经元个数为BP 神经网络示意图结构如图2所示；

步骤3.4、对每个训练样本误差序列e_t1和e_t2进行步骤3.5到步骤3.6；

步骤3.5、计算各个网络层的实际输出：

x^(l)＝f(s^(l))＝f(w_ij ^(l)x^(l-1)+b_i ^(l))

其中，x^(l)中l为第l层，f(s^(l))为激活函数，w_ij ^(l)为从l-1层第j个神经元与l层第i个神经元之间的连接权重。b_i ^(l)为第l层第i个神经元的偏置。

步骤3.6、计算每层的权值和偏置的偏导：

第l层的权值和偏置的偏导可以表示为：

其中，E(i)为单个样本的训练误差，公式为：

其中，d_k(i)为对应输入误差序列e_t1和e_t2的期望输出。y_k(i)为第k层的输出向量。

步骤3.7、计算全局误差：

即结果为：

其中，m为训练样本误差序列e_t1和e_t2的个数。

步骤3.8、修正权值和阈值；

步骤3.9、当样本集中的所有样本都经历了步骤3.5到步骤3.6，即完成了一个训练周期，如果各层神经元的输入权值以及偏置与神经网络的输出无限接近期望输出，即停止训练。否则，跳转到步骤3.3，继续下一个训练周期；

步骤3.10、训练完成后可得到CPU工作负载最终预测的误差序列e₁和内存工作负载最终预测的误差序列e₂；

步骤4、将CPU工作负载预测值序列与CPU工作负载最终预测的误差序列e₁相加得到修正误差后的CPU工作负载预测值序列将内存工作负载预测值序列与内存工作负载最终预测的误差序列e₂相加得到修正误差后的内存工作负载修正误差后的预测值序列

步骤4.1、将通过BP神经网络预测模型得到预测值相加，得到CPU使用率修正误差后的预测值序列和内存工作负载修正误差后的预测值序列公式为：

实施例

步骤1、编写用于测试的程序Test，将其打包为Docker镜像，作为应用服务运行在集群的容器中，初始时实例的个数为1。该应用是用Java语言的 Spring Boot框架开发，

步骤2、对外暴露三个URL，分别为“little”、“medium”、“large”，其中当访问“little”时新建10KB的数组，访问“medium”时新建1MB的数组，访问“large”新建10MB的数组，而且每次访问这三个URL新建数组 2秒后会释放该数组所占的内存空间和对象。

步骤3、利用JMeter进行测试，测试策略为：

(1)利用拥有10个线程的线程组，让其中的各个线程连续执行访问“little”与“medium”接口的动作，把访问间隔设置为800ms，线程组的任务时间为1分钟。

(2)在第一组线程启动1分钟后使用拥有30个线程的线程组，让其线程执行连续访问“large”的动作，把访问间隔设置为400ms，线程组的任务时间为2分钟。

(3)在第二组线程启动6分钟后使用拥有30个线程的线程组，让其线程执行连续访问“large”的动作，把访问间隔设置为400ms，线程组的任务时间为2分钟。

(4)在这种变化访问压力的环境下，利用本发明的组合预测方法对Docker集群根据工作负载进行扩容或缩容。

(5)对比实验，利用非预测式自动伸缩方法对Docker集群根据工作负载同样进行扩容和缩容，与(4)对比实验效果。

从图3中得到，本发明提出的预测式自动伸缩和非预测式自动伸缩分别在接受突发访问时集群中实例个数的变化情况，预测式明显地迅速扩容至所需资源量，使得容器数量增加到了21个，而响应式自动伸缩需要较长时间逐步进行扩容。在缩容过程中，预测式自动伸缩能够提前进行缩容使得实例数迅速减少至7个，而响应式自动伸缩则逐步进行缩容时间较长。

应用Test在基于工作负载预测的自动伸缩集群上的测试结果如表1集群压力测试统计所示。从表中分析能够知道，基于工作负载预测的自动伸缩集群能够有效应对密集型访问高峰，于整个测试中共计处理了约6000次访问，与无自动伸缩集群相比增加了2000次，平均响应时间也从700ms改善到了200ms。

表1

Claims (4)

1.一种基于自动伸缩Docker集群的组合预测方法，其特征在于，包括如下步骤：

步骤1、负载预测每隔T时间从监控集群的数据中心中分别提取各服务的历史CPU使用率X＝{X(1),X(2),X(3)...X(n)}与内存工作负载Y＝{Y(1),Y(2),Y(3)...Y(n)}，并根据此负载序列进行负载预测；

步骤2、用GM(1,1)模型分别对历史CPU使用率X＝{X(1),X(2),X(3)...X(n)}和内存工作负载Y＝{Y(1),Y(2),Y(3)...Y(n)}进行建模，分别表达出其中的线性关系，分别得到CPU工作负载预测值序列和内存工作负载预测值序列

步骤3、然后用BP神经网络对GM(1,1)模型产生的CPU工作负载预测值序列和内存工作负载预测值序列分别进行建模，得到CPU工作负载最终预测的误差序列e₁和内存工作负载最终预测的误差序列e₂；

步骤4、将CPU工作负载预测值序列与CPU工作负载最终预测的误差序列e₁相加得到修正误差后的CPU工作负载预测值序列将内存工作负载预测值序列与内存工作负载最终预测的误差序列e₂相加得到修正误差后的内存工作负载修正误差后的预测值序列

2.根据权利要求1所述的一种基于自动伸缩Docker集群的组合预测方法，其特征在于，步骤2具体为：

步骤2.1、弱化原始时间序列的随机性，需要先对原始时间序列CPU工作负载的时间序列X＝{X(1),X(2),X(3)...X(n)}和内存工作负载的时间序列Y＝{Y(1),Y(2),Y(3)...Y(n)}进行数据处理，采用的是累加法处理，累加后得到CPU负载的一次累加序列X⁽¹⁾＝{X⁽¹⁾(1),X⁽¹⁾(2),X⁽¹⁾(3)...X⁽¹⁾(n)}与内存负载的一次累加序列Y⁽¹⁾＝{Y⁽¹⁾(1),Y⁽¹⁾(2),Y⁽¹⁾(3)...Y⁽¹⁾(n)}；

步骤2.2、利用步骤2.1生成X⁽¹⁾(k)与Y⁽¹⁾(k)的紧邻域Z⁽¹⁾(k)_x和Z⁽¹⁾(k)_y，其中，X⁽¹⁾(k)代表CPU负载第k次累加序列，Y⁽¹⁾(k)代表内存负载第k次累加序列；

步骤2.3、根据X⁽¹⁾(k)和Y⁽¹⁾(k)分别建立灰色微分方程，利用最小二乘法分别对微分方程中参数a_x，u_x和a_y，u_y的值分别进行估计，得到的参数向量，求解微分方程；

步骤2.4、再根据累减法还原序列，可以得到序列在下一个t周期的预测值，这样就得到了CPU工作负载线性关系预测值与内存工作负载线性关系预测值

3.根据权利要求1所述的一种基于自动伸缩Docker集群的组合预测方法，其特征在于，步骤3具体为：

步骤3.1、通过以步骤2可知通过GM(1,1)得到的CPU工作负载预测值序列和内存工作负载预测值序列存在一定误差序列e_t1、e_t2；

步骤3.2、将误差序列e_t1、e_t2作为BP神经网络的输入层，初始化神经网络的权和阈值；

步骤3.3、计算BP神经网络的神经元在隐藏层的数量，公式为其中，n为输入层神经元个数，m为输出层神经元个数，a为[1,10]之间的常数；因为需要预测的结果是下一个t周期的，所以这里BP神经网络的输出层神经元个数为1，那么隐藏层神经元个数为

步骤3.4、对步骤3.2中每个训练样本误差序列e_t1、e_t2进行步骤3.5到步骤3.6；

步骤3.5、计算各个网络层的实际输出；

步骤3.6、计算每层的权值和偏置的偏导；

步骤3.7、计算全局误差；

步骤3.8、修正权值和阈值；

步骤3.9、当样本集中的所有样本都经历了步骤3.5到步骤3.6，即完成了一个训练周期，如果各层神经元的输入权值以及偏置与神经网络的输出无限接近期望输出，即停止训练；否则，跳转到步骤3.3，继续下一个训练周期；

步骤3.10、训练完成后可得到CPU工作负载最终预测的误差序列e₁和内存工作负载最终预测的误差序列e₂。

4.根据权利要求3所述的一种基于自动伸缩Docker集群的组合预测方法，其特征在于，步骤4具体为：

步骤4.1、将通过BP神经网络预测模型得到预测值相加，得到CPU使用率修正误差后的预测值序列和内存工作负载修正误差后的预测值序列