CN111274530A - 一种容器云资源的预测方法 - Google Patents

Abstract

本发明公开了一种容器云资源预测方法，通过在建立密集型宽度学习模型中，利用比例‑积分‑微分(PID)算法与自适应矩估计方法(ADAM)分别计算特征节点和增强节点的输出权值矩阵，能够在降低计算负担过重和提高计算效率的情况下提高算法的泛化性能，在一定程度上能够满足容器云资源预测的需要，同时为更准确地进行容器云资源预测提供了新思路和新途径。

Description

一种容器云资源的预测方法

技术领域

本发明属于云计算与大数据技术领域，具体涉及一种容器云资源的预测方法。

背景技术

近年来，容器凭借着其灵活、快速、高效的特点，使云计算高弹性、高可用性等特征更加显著，构建了新一代的云计算生态体系。大量的国内外学者、互联网公司和传统企业积极研发和落地容器技术，容器技术的生态圈逐渐形成，基于容器技术的容器云也迅速发展。如何在保证容器云环境安全和稳定运行的前提下，对资源进行合理和高效的管理，成为当前的研究热点问题之一。

容器云发展时间较短，成熟度低，并且面临着复杂的资源管理问题。例如，企业通常在购置设备时不得不考虑经济成本和公司规模，因此不像云服务商那样拥有大量的备用设备。对于企业，资源的预留、分配与回收等成为一个非常重要的问题，如果能较准确地提前预知未来一段时间内自身应用对资源的需求量，对于资源不足的情况，就可以提前申请和购买相应设备，避免因物理资源不足导致业务停止运行，给企业造成负面影响的状况发生；如果未来一段时间资源需求量远低于现有设备数，就可以进行数据和业务迁移，以停止某些设备的运行，降低能耗，提高企业的经济效益和资源利用率。容器云资源预测对推进容器云理论和技术更进一步发展、提高企业经济效益、避免资源浪费等具有重要意义，值得研究。而如何对平台历史资源负荷数据进行时效性、准确性的预测，是研究容器云资源预测的重要问题之一。

设计预测模型与学习算法是容器云资源研究的关键问题。现有技术中采用基于传统的宽度学习预测模型，该预测模型利用岭回归方法，通过试凑法获取最优正则化系数的方式，求取输出权值矩阵，这种方法计算负担过重、计算效率低，从而降低了泛化性能，因此设计高效的预测模型对容器云资源预测具有十分重要的意义。

发明内容

有鉴于此，本发明提供了一种容器云资源预测方法，通过构建的密集型宽度学习模型，实现了对容器云资源的精确预测，有效提高了预测精度和效率。

本发明提供的一种容器云资源的预测方法，其特征在于，包括以下步骤：

采用容器云资源需求量的历史数据构建训练样本集，样本中的输出为选定时间点的容器云资源需求量，输入为所述选定时间点前的多个时间点的容器云资源需求量；

建立基于密集型宽度学习的容器云资源预测模型，随机产生输入到特征节点之间的输入权值矩阵、特征节点到密集型增强节点之间的输入权值矩阵、特征节点的偏置和密集型增强节点的偏置，将所述训练样本集输入到建立的所述预测模型中，采用比例-积分-微分算法求解特征节点的输出权值矩阵，计算特征节点产生的误差值，在此基础上，采用自适应矩估计法根据所述误差值求解密集型增强节点的输出权值矩阵，完成所述预测模型的训练；

采用当前时间点前的多个时间点的容器云资源需求量输入到训练得到的所述预测模型中，预测当前时间点的容器云资源需求量。

进一步地，所述采用比例-积分-微分算法求解特征节点的输出权值矩阵的过程，包括以下步骤：

定义，L为所述预测模型中的第L个密集型特征节点，L的初始值为L＝1，且1≤L≤b，b为密集型特征节点的总个数；E为所述预测模型的误差，其初始值为E₀＝0，E₁＝||Y^N×1||₂，Y^N×1为所述预测模型的理想输出矩阵；N表示样本个数；

步骤2.1、根据比例-积分-微分算法采用公式(1)计算所述预测模型中第L个密集型特征节点的输出权值：

式中，k_p,k_q,k_d为设定的比例-积分-微分算法中的参数；E_L-1表示当所述预测模型中包含L-1个密集型特征节点时，所述预测模型存在的误差；W_L表示第L个密集型特征节点的输出权值，且W₀＝0；

步骤2.2、采用公式(2)计算所述预测模型当前的误差值：

式中，E_L表示当所述预测模型中包含L个密集型特征节点时，所述预测模型存在的误差；

表示第L个密集型特征节点的输出矩阵；

步骤2.3、令L自加1，当L≤b，执行步骤2.1；否则，则完成训练，输出全部密集型特征节点的误差矩阵

及特征节点的输出权值矩阵W^b×1，结束本流程。

进一步地，所述采用自适应矩估计法根据所述误差值求解密集型增强节点的输出权值矩阵的过程，包括以下步骤：

步骤3.1、随机产生密集型增强节点的输出权值矩阵

一阶矩矩阵估计

二阶矩矩阵估计

设置迭代步长α、迭代次数m、一阶矩矩估计的指数衰减率λ₁和二阶矩矩估计的指数衰减率λ₂，且0≤λ₁<1、0≤λ₂<1；密集型增强节点的编号为k，且令k＝1；

步骤3.2、采用带有误差矩阵

的公式(3)计算第k次迭代训练的梯度矩阵：

式中，

为所述预测模型中密集型增强节点矩阵；

步骤3.3、采用公式(4)计算带偏置的一阶矩矩阵估计：

步骤3.4、采用公式(5)计算带偏置的二阶矩矩阵估计：

步骤3.5、采用公式(6)计算带偏置的一阶矩矩阵估计的修正量：

步骤3.6、采用公式(7)计算带偏置的二阶矩矩阵估计的修正量：

步骤3.7、采用公式(8)更新密集型增强节点的输出权值矩阵：

步骤3.8、令k自加1，当k≤m，执行步骤3.2；否则，则完成训练，输出密集型增强节点的输出权值矩阵

结束本流程。

进一步地，所述时间点的单位为天，所述时间点的容器的资源使用量为当天0时到24时的容器的资源使用量的平均值。

有益效果：

本发明通过在建立密集型宽度学习模型中，利用比例-积分-微分(PID)算法与自适应矩估计方法(ADAM)分别计算特征节点和增强节点的输出权值矩阵，能够在降低计算负担过重和提高计算效率的情况下提高算法的泛化性能，在一定程度上能够满足容器云资源预测的需要，同时为更准确地进行容器云资源预测提供了新思路和新途径。

具体实施方式

下面举实施例，对本发明进行详细描述。

本发明提供的一种容器云资源预测方法，核心思想是：建立密集型宽度学习模型，在此基础上，利用比例-积分-微分(PID)算法与自适应矩估计方法(ADAM)分别计算特征节点和增强节点的输出权值矩阵，从而完成对密集型宽度学习模型的训练，采用容器云资源的历史数据输入训练得到的预测模型求得当前容器云资源需求量。

本发明提供的一种容器云资源预测方法，主要包括以下步骤：

步骤一、采集容器云资源历史数据形成训练样本。

采集预测时间点前M天的容器云资源需求量(本实施例中“时间点”的单位为“天”)，记录每天从0时到24时容器云资源需求量，再对记录到的结果求平均值作为当天的容器云资源需求量，一共记录M个时间点的数据，M>4，形成历史数据集K＝{k₁,k₂,…,k_m,…,k_M}，其中，k_m为第m天的容器云资源需求量。

从历史数据集K＝{k₁,k₂,…,k_m,…,k_M}中选取训练样本的输入和输出，其中输出为第j个时间点的容器云资源需求量，表达为y_j＝k_j；对应的输入为第j个时间之前的连续Q个时间点的容器云资源需求量，Q为大于或等于2的正整数。这里可以设定由宽度为Q＝4个时间点的滑动窗口按照1个时间点的宽度为步长移动选择作为输入的时间点，那么第j个时间的输入样本表达为x_j＝[k_j-1,k_j-2,k_j-3,k_j-4]。那么建立的训练样本集为

j表示第j个样本，N为训练样本集中样本的总数。

步骤二、建立基于密集型宽度学习的容器云资源需求量预测模型为式(1)，并利用训练样本集进行训练：

其中，F^N×1∈R^N×1表示预测模型的输出数据，N表示样本个数，b表示密集型特征节点的个数，d表示密集型增强节点的个数，

表示密集型特征节点矩阵，

表示密集型增强节点矩阵，W^b×1表示密集型特征节点输出权值矩阵，W^d×1表示密集型增强节点输出权值矩阵，W^(b+d)×1表示输出权值矩阵；Z_i ^N×1表示第i个特征节点向量，X^N×M∈R^N×M表示预测模型的输入数据，M表示每个输入样本向量的特征维数，

表示输入到第i个特征节点之间的输入权值矩阵，

表示第i个特征节点的偏置；H_i ^N×1表示第i个增强节点向量，

表示特征节点到第i个增强节点之间的输入权值矩阵，

表示第i个增强节点的偏置；φ与

均为可选择的非线性激活函数；

和

均为随机生成，且生成后保持不变。其中，现有技术中特征节点矩阵由特征节点向量构成，而本发明中的密集型特征节点矩阵是由公式(1)中的

构成，由此可见，密集型特征节点矩阵中的特征节点向量是由特征节点向量线性组合而成，即每项密集型特征节点矩阵中的特征节点向量为每项特征节点向量与其前向特征节点向量的和；同理，密集型增强节点矩阵是由公式(1)中的

构成，密集型增强节点矩阵是由增强节点向量线性组合而成，即每项密集型增强节点矩阵中的增强节点向量为每项增强节点向量与其前向增强节点向量的和。

步骤三，采用训练样本训练预测模型，本发明首先采用比例-积分-微分(PID)算法求解特征节点的输出权值矩阵，在此基础上，以完成训练的特征节点形成的误差作为输入，采用自适应矩估计方法(ADAM)求解增强节点的输出权值矩阵，从而完成预测模型的训练。

训练样本分为两个部分，一部分用于训练，另一部分用于测试；当预测模型的训练完成后，利用测试样本进行测试。

上述过程中，本发明首先采用比例-积分-微分算法求解特征节点的输出权值矩阵，在此基础上，以完成训练的特征节点形成的误差E_b ^N×1作为输入，采用自适应矩估计方法求解增强节点的输出权值矩阵，使模型较易收敛，从而提高了密集型宽度学习模型的学习速度、缩短了模型的训练时间，并且能够在降低计算负担过重和提高计算效率的情况下提高算法的泛化性能。

步骤四：基于比例-积分-微分和自适应矩估计的预测模型预测容器云资源需求量。

利用上述方法训练得到的预测模型，可对待预测容器云资源使用量进行预测，将当前时间点之前的连续Q个时间点的容器云资源使用量输入上述预测模型中，便可得到当前时间点的容器云资源使用量。

本发明中提出的采用比例-积分-微分算法求解特征节点的输出权值矩阵的过程，具体包括以下步骤：

定义，L为所述密集型宽度学习模型中的第L个密集型特征节点，L的初始值为L＝1，且1≤L≤b；E为所述密集型宽度学习模型的误差，其初始值为E₀＝0,E₁＝||Y^N×1||₂，W₀＝0，Y^N×1为所述密集型宽度学习模型的理想输出矩阵；

步骤1.1、设定比例-积分-微分算法中参数k_p,k_i,k_d，采用公式(2)计算第L个密集型特征节点的输出权值：

式中，E_L-1表示当所述密集型宽度学习模型中包含L-1个密集型特征节点时，所述密集型宽度学习模型存在的误差；W_L表示第L个密集型特征节点的输出权值；

步骤1.2、根据步骤1.1中计算出的输出权值，采用公式(3)计算所述密集型宽度学习模型当前的误差值：

式中，E_L表示当所述密集型宽度学习模型中包含L个密集型特征节点时，所述密集型宽度学习模型存在的误差；

表示第L个密集型特征节点的输出矩阵。

步骤1.3、令L自加1，当L≤b，执行步骤1.1；否则，则完成训练，输出全部密集型特征节点的误差矩阵

及特征节点的输出权值矩阵W^b×1，结束本流程。

本发明中提出的基于集型特征节点的误差采用自适应矩估计方法利用求解增强节点的输出权值矩阵的过程，具体包括如下步骤：

步骤2.1、随机产生密集型增强节点的输出权值矩阵

一阶矩矩阵估计

二阶矩矩阵估计

人为设置迭代步长α、迭代次数m、一阶矩矩估计的指数衰减率λ₁和二阶矩矩估计的指数衰减率λ₂，且0≤λ₁<1、0≤λ₂<1，密集型增强节点的编号为k，且令k＝1；

步骤2.2、采用公式(4)计算第k次迭代训练的梯度矩阵；

步骤2.3、采用公式(5)计算带偏置的一阶矩矩阵估计：

步骤2.4、采用公式(6)计算带偏置的二阶矩矩阵估计：

步骤2.5、采用公式(7)计算带偏置的一阶矩矩阵估计的修正量：

步骤2.6、采用公式(8)计算带偏置的二阶矩矩阵估计的修正量：

步骤2.7、采用公式(9)更新密集型增强节点的输出权值矩阵：

步骤2.8、令k自加1，当k≤m，执行步骤3.2；否则，则完成训练，输出密集型增强节点的输出权值矩阵

结束本流程。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种容器云资源的预测方法，其特征在于，包括以下步骤：

采用容器云资源需求量的历史数据构建训练样本集，样本中的输出为选定时间点的容器云资源需求量，输入为所述选定时间点前的多个时间点的容器云资源需求量；

建立基于密集型宽度学习的容器云资源预测模型，随机产生输入到特征节点之间的输入权值矩阵、特征节点到密集型增强节点之间的输入权值矩阵、特征节点的偏置和密集型增强节点的偏置，将所述训练样本集输入到建立的所述预测模型中，采用比例-积分-微分算法求解特征节点的输出权值矩阵，计算特征节点产生的误差值，在此基础上，采用自适应矩估计法根据所述误差值求解密集型增强节点的输出权值矩阵，完成所述预测模型的训练；

采用当前时间点前的多个时间点的容器云资源需求量输入到训练得到的所述预测模型中，预测当前时间点的容器云资源需求量。

2.根据权利要求1所述的方法，其特征在于，所述采用比例-积分-微分算法求解特征节点的输出权值矩阵的过程，包括以下步骤：

定义，L为所述预测模型中的第L个密集型特征节点，L的初始值为L＝1，且1≤L≤b，b为密集型特征节点的总个数；E为所述预测模型的误差，其初始值为E₀＝0，E₁＝||Y^N×1||₂，Y^N×1为所述预测模型的理想输出矩阵；N表示样本个数；

步骤2.1、根据比例-积分-微分算法采用公式(1)计算所述预测模型中第L个密集型特征节点的输出权值：

式中，k_p,k_q,k_d为设定的比例-积分-微分算法中的参数；E_L-1表示当所述预测模型中包含L-1个密集型特征节点时，所述预测模型存在的误差；W_L表示第L个密集型特征节点的输出权值，且W₀＝0；

步骤2.2、采用公式(2)计算所述预测模型当前的误差值：

式中，E_L表示当所述预测模型中包含L个密集型特征节点时，所述预测模型存在的误差；

表示第L个密集型特征节点的输出矩阵；

步骤2.3、令L自加1，当L≤b，执行步骤2.1；否则，则完成训练，输出全部密集型特征节点的误差矩阵

及特征节点的输出权值矩阵W^b×1，结束本流程。

3.根据权利要求2所述的方法，其特征在于，所述采用自适应矩估计法根据所述误差值求解密集型增强节点的输出权值矩阵的过程，包括以下步骤：

步骤3.1、随机产生密集型增强节点的输出权值矩阵

一阶矩矩阵估计

二阶矩矩阵估计

设置迭代步长α、迭代次数m、一阶矩矩估计的指数衰减率λ₁和二阶矩矩估计的指数衰减率λ₂，且0≤λ₁<1、0≤λ₂<1；密集型增强节点的编号为k，且令k＝1；

步骤3.2、采用带有误差矩阵

的公式(3)计算第k次迭代训练的梯度矩阵：

式中，

为所述预测模型中密集型增强节点矩阵；

步骤3.3、采用公式(4)计算带偏置的一阶矩矩阵估计：

步骤3.4、采用公式(5)计算带偏置的二阶矩矩阵估计：

步骤3.5、采用公式(6)计算带偏置的一阶矩矩阵估计的修正量：

步骤3.6、采用公式(7)计算带偏置的二阶矩矩阵估计的修正量：

步骤3.7、采用公式(8)更新密集型增强节点的输出权值矩阵：

步骤3.8、令k自加1，当k≤m，执行步骤3.2；否则，则完成训练，输出密集型增强节点的输出权值矩阵

结束本流程。

4.根据权利要求2所述的方法，其特征在于，所述时间点的单位为天，所述时间点的容器的资源使用量为当天0时到24时的容器的资源使用量的平均值。