CN113835964A - 基于小样本学习的云数据中心服务器能耗预测方法 - Google Patents

Abstract

本发明提出一种基于小样本学习的云数据中心服务器能耗预测方法。包括以下步骤：1)对所采集的云服务器多变量时间序列数据集进行预处理后将数据集分为元训练任务和元测试任务；2)将元训练任务中的数据划分为支持集和查询集用于训练模型，而元测试任务中的数据划分为支持集和查询集用于测试模型，然后进行基于双向线性插值的数据增强；3)构建基于元学习的模型，用增强的元训练任务对模型进行训练，生成模型的初始参数；4)最后使用元测试任务中的增强支持集和查询集分别对模型进行微调和评估。本发明主要针对小样本下的云服务器能耗预测，使用双向线性插值原理和元学习技术，提高了模型的泛化能力。

Description

基于小样本学习的云数据中心服务器能耗预测方法

技术领域

本发明主要涉及到云数据中心服务器能耗预测技术领域，特别涉及基于小样本学习的云数据中心服务器能耗预测方法领域。

背景技术

随着数字经济地快速发展，云服务商加大了云基础设施方面地投入。作为一种大规模的计算基础设施，云数据中心已经成为了能耗大户，严重制约企业和全社会地绿色发展。服务器是云数据中心的主要耗能设备。为了实现碳达峰、碳中和，在绿色节能的趋势下，对云数据中心服务器的能耗进行监测和预测是管理和优化云数据中心能耗的关键。

众所周知，现有机器学习的成功，部分归功于数据量的增长和硬件的发展。其中，数据量的增长有助于提高模型的泛化性。云数据中心服务器能耗预测模型的良好表现依赖于大量数据，然而实际应用中，由于精力、技术、成本、环保等原因，常常难以采集到大量且高质量的数据。而且，不管使用何种采样率，时间序列都存在着无法完全采集的特性，即所采集的数据集中可能没有包含足够的原始数据点，因此可以认为时间序列中存在无法采集的真实数据点。这种情况下，没有充足的训练数据给模型进行训练，模型会出现过拟合的现象。针对以上问题，目前的主要解决办法是，通过设计更强大的模型来高效提取时间序列特征，或使用对抗神经网络生成更多具有相同分布的数据。这些方法专注于研究模型的特征提取能力，忽略了时间序列的时间依赖性和无法完全采集性，而且在不同样本下的泛化能力较差，以及难以快速学习。在小样本情况下，如何高效利用模型进行云数据中心服务器能耗预测和增强模型在不同样本下的泛化能力，这是一件很有意义的研究。

发明内容

本发明公开了一种基于小样本学习的云数据中心服务器能耗预测方法，提供一种基于双向线性插值原理的数据增强方法和一种基于元学习的网络模型，有效地改善云数据中心服务器能耗预测的小样本问题，提高模型的泛化能力，并减少模型对错误标签的记忆和对抗样本的敏感性。

根据本发明的背景技术，提出一种小样本下用于云数据中心服务器能耗预测的时间序列数据增强方法和基于元学习的网络模型，包括以下步骤：

步骤1、以云数据中心服务器在工作环境下与能耗相关的多变量特征值和功率值作为时间序列原始数据集，对所采集的数据集进行预处理，然后将数据集划分为元训练任务和元测试任务；

步骤2、将元训练任务中的数据划分为支持集和查询集用于训练模型，而元测试任务中的数据划分为支持集和查询集用于测试模型；

步骤3、对步骤2中的元训练任务和元测试任务支持集进行基于双向线性插值的数据增强，得到双向增强数据；

步骤4、构建基于元学习的云数据中心服务器能耗预测模型，用步骤3中的双向增强元训练任务对模型进行训练，生成模型的初始参数；

步骤5、用步骤3中的双向增强元测试任务支持集和步骤2中的元测试任务查询集，对步骤4中训练成功的云数据中心服务器能耗预测模型进行微调和评估，并对结果进行分析。

进一步地，在所述步骤1中对所采集的云服务器多变量时间序列数据集进行的预处理包括数据集的合并，以及异常值处理和归一化。

进一步地，预处理后的数据集，表示为T＝{T_1，1，T_2，2，…，T_n，n}，而

其中

表示功率相关多变量特征，y_j表示功率。

进一步地，对数据集进行划分后，元训练任务的表示为D_meta-train，元测试任务的表示为D_meta-test。

进一步地，在所述步骤3中对元训练任务和元测试任务支持集进行基于双向线性插值的数据增强，包括以下步骤：

1)取时间序列中相邻的两点数据T_i，i和T_i+1，i+1，利用T_i，i的x_i和T_i+1，i+1的y_i+1构造新的数据点T_i，i+1，利用T_i，i的y_i和T_i+1，i+1的x_i+1构造新的数据点T_i+1，i；

2)基于beta分布获取多变量的权重值weight，使用所得权重值，对T_i，i和T_i+1，i两点进行X轴方向的线性插值计算，得到插值结果M_i，公式为：

M_i＝T_i，i*weight+T_i+1，i*(1-weight)

3)使用所得权重值，对T_i，i+1和T_i+1，i+1两点进行X轴方向的线性插值计算，得到插值结果M_i+1，公式为：

M_i+1＝T_i，i+1*weight+T_i+1，i+1*(1-weight)

4)使用所得权重值，对M_i和M_i+1两点进行Y轴方向的线性插值计算，得到最终的插值结果N_i，公式为：

N_i＝M_i*(1-weight)+M_i+1*weight

进一步地，在所述步骤4中构建基于元学习的云数据中心服务器能耗预测模型，该模型包含四个子网络模块，第一个为基于残差思想的特征提取器，第二个为基于注意力机制的特征强化器，第三个为基于线性映射的预测器，第四个为基于元学习的学习器，具体的模型训练过程包括以下内容：

1)利用基于残差思想的特征提取器，提取元训练任务中每个时间步的隐状态，对隐状态进行时间序列的特征提取，并在特征提取的过程中进行特征融合；

2)利用基于注意力机制的特征强化器，结合多头注意力机制和残差思想，强化所提取的特征，丰富特征信息，得到上下文向量；

3)利用基于线性映射的预测器对上下文向量和最后一个隐状态进行线性映射，得到最终的预测结果；

4)利用基于元学习的学习器对每个参数的梯度进行计算，在计算两重梯度后更新模型的参数。

进一步地，基于残差思想的特征提取器的表达式为：

H_t＝LSTMBlock(T)

H(x)＝F(x)+H_t

其中，隐状态矩阵H_t＝{h₁，h₂，…，h_t}，H(x)表示所期望的特征，F(x)表示经过映射后的残差特征；

进一步地，在基于注意力机制的特征强化器中，多头注意力机制的表达式为：

MultiHead(H，h_t)＝Concat(head₁，...，head_n)

其中，H表示最后一个隐向量之前的得所有向量，h_t表示最后一个隐向量，而

表示经过卷积后的单变量时间模式向量；

进一步地，在基于注意力机制的特征强化器中，残差权重的表达式为：

α′_i＝α_i+h_t-1

其中，α_i表示注意力权重，

表示经过卷积后的单变量时间模式向量，而h_t和h_t-1表示隐向量；

进一步地，基于线性映射的预测器的表达式为：

yh_t＝w_h*h_t+w_v*v_t

out＝Dense(sigmoid(yh_t))

其中，w_h和w_v表示权重值，h_t表示隐向量，v_t表示上下文向量，out表示最终的输出值；

进一步地，基于元学习的学习器的表达式为：

其中，θ_i表示原模型的参数，θ′_i表示经过梯度下降后的模型参数，α和β表示学习率；

与现有技术相比，本发明具有以下优点：

1、本发明受启发于时间序列的时间依赖性和无法完全采集性，使用基于双向线性插值原理对时间序列数据点进行重构，达到增强数据集的目的，所提出的数据增强方法简单高效，计算所需的开销小，具有很好的归纳能力，提高了数据的分布密度和多样性；

2、本发明遵循奥卡姆剃刀定律，提出一种基于元学习的网络模型，该模型由特征提取器、特征强化器、预测器和学习器组成，模型具有快速学习的能力，能以最少的训练样本来快速适应新的目标任务；

3、本发明提出的数据增强方法和网络模型，用于云数据中心服务器能耗预测，能有效地改善该领域下多变量时间序列数据的小样本问题，提高预测模型的泛化能力，并减少模型对错误标签的记忆和对抗样本的敏感性，有潜力成为小样本下用于云数据中心服务器能耗预测的时间序列通用方法。

附图说明

图1是本发明基于小样本学习的云数据中心服务器能耗预测方法的流程图；

图2是数据集在不同增强阶段的示意图，其中(a)为构造T_i,i+1和T_i+1，i两点数据的示意图；(b)为数据沿着X轴方向进行线性插值计算的示意图；(c)为对X轴方向的增强数据沿着Y轴方向进行双向线性插值计算的示意图；

图3是本发明所提出的基于元学习的网络模型架构图；

图4是本发明所提出的基于元学习的网络模型训练过程图。

具体实施方式

小样本下用于云数据中心服务器能耗预测的时间序列数据增强方法，如图1所示，具体步骤为：

步骤1、以云数据中心服务器在工作环境下的能耗相关多变量特征和功率作为时间序列原始数据集，对所采集的数据集进行预处理，预处理的包括数据集的合并，异常值处理和归一化。预处理后的数据集，表示为T＝{T_1，1，T_2，2，…，T_n，n}，而

其中

表示功率相关多变量特征，y_j表示功率。最后，然后将数据集划分为元训练任务D_meta-train和元测试任务D_meta-test；

步骤2、将元训练任务中的数据划分为支持集和查询集用于训练模型，而元测试任务中的数据划分为支持集和查询集用于模型的微调和性能的测试；

步骤3、对步骤2中的元训练任务和元测试任务支持集进行基于双向线性插值的数据增强，得到双向增强数据，具体包括以下步骤：

1)如图2(a)所示，取时间序列中相邻的两点数据T_i，i和T_i+1，i+1，利用T_i，i的x_i和T_i+1，i+1的y_i+1构造新的数据点T_i，i+1，利用T_i，i的y_i和T_i+1，i+1的x_i+1构造新的数据点T_i+1，i；

2)如图2(b)所示，基于beta分布获取多变量的权重值weight，使用所得权重值，对T_i，i和T_i+1，i两点进行X轴方向的线性插值计算，得到插值结果M_i，公式为：

M_i＝T_i，i*weight+T_i+1，i*(1-weight)

3)如图2(b)所示，使用所得权重值，对T_i，i+1和T_i+1，i+1两点进行X轴方向的线性插值计算，得到插值结果M_i+1，公式为：

M_i+1＝T_i，i+1*weight+T_i+1，i+1*(1-weight)

4)如图2(c)所示，使用所得权重值，对M_i和M_i+1两点进行Y轴方向的线性插值计算，得到最终的插值结果N_i，公式为：

N_i＝M_i*(1-weight)+M_i+1*weight

步骤4、构建基于元学习的云数据中心服务器能耗预测模型，用步骤3中的双向增强元训练任务对模型进行训练，该模型包含四个子网络模块，如图3所示，第一个为基于残差思想的特征提取器，第二个为基于注意力机制的特征强化器，第三个为基于线性映射的预测器，第四个为基于元学习的学习器；如图4所示，训练过程具体包括以下步骤：

1)利用基于残差思想的特征提取器，提取元训练任务中每个时间步的隐状态，对隐状态进行时间序列的特征提取，并在特征提取的过程中进行特征融合，表达式为：

H_t＝LSTMBlock(T)

H(x)＝F(x)+H_t

其中，隐状态矩阵H_t＝{h₁，h₂，…，h_t}，H(x)表示所期望的特征，F(x)表示经过映射后的残差特征；

2)利用基于注意力机制的特征强化器，结合多头注意力机制和残差思想，强化所提取的特征，丰富特征信息，得到上下文向量：

MultiHead(H，h_t)＝Concat(head₁，...，head_n)

其中，H表示最后一个隐向量之前的得所有向量，h_t表示最后一个隐向量，而

表示经过卷积后的单变量时间模式向量；

α′_i＝α_i+h_t-1

其中，α_i表示注意力权重，

表示经过卷积后的单变量时间模式向量，而h_t和h_t-1表示隐向量；

3)利用基于线性映射的预测器对上下文向量和最后一个隐状态进行线性映射，得到最终的预测结果，表达式为：

yh_t＝w_h*h_t+w_v*v_t

out＝Dense(sigmoid(yh_t))

其中，w_h和w_v表示权重值，h_t表示隐向量，v_t表示上下文向量，out表示最终的输出值；

4)利用基于元学习的学习器对每个参数的梯度进行计算，在计算两重梯度后更新模型的参数，表达式为：

其中，θ_i表示原模型的参数，θ′_i表示经过梯度下降后的模型参数，α和β表示学习率。

步骤5、用步骤3中的双向增强元测试任务支持集和步骤2中的元测试任务查询集，对步骤4中训练成功的云数据中心服务器能耗预测模型进行微调和评估，并对结果进行分析。

Claims (3)

1.基于小样本学习的云数据中心服务器能耗预测方法，其特征在于，所述方法至少包括以下步骤：

步骤1、以云数据中心服务器在工作环境下的能耗相关多变量特征和功率作为时间序列原始数据集，对所采集的数据集进行预处理，预处理的包括数据集的合并，异常值处理和归一化。预处理后的数据集，表示为T＝{T_1，1，T_2，2，…，T_n，n}，而

其中

表示功率相关多变量特征，y_j表示功率。最后，然后将数据集划分为元训练任务D_meta-train和元测试任务D_meta-test；

步骤2、将元训练任务中的数据划分为支持集和查询集用于训练模型，而元测试任务中的数据划分为支持集和查询集用于模型的微调和性能的测试；

步骤3、对步骤2中的元训练任务和元测试任务支持集进行基于双向线性插值的数据增强，得到双向增强数据；

步骤4、构建基于元学习的云数据中心服务器能耗预测模型，用步骤3中的双向增强元训练任务对模型进行训练，该模型包含四个子网络模块，第一个为基于残差思想的特征提取器，第二个为基于注意力机制的特征强化器，第三个为基于线性映射的预测器，第四个为基于元学习的学习器；

步骤5、用步骤3中的双向增强元测试任务支持集和步骤2中的元测试任务查询集，对步骤4中训练成功的云数据中心服务器能耗预测模型进行微调和评估，并对结果进行分析。

2.根据权利要求1所述的基于小样本学习的云数据中心服务器能耗预测方法，其特征在于，其中根据时间序列的无法完全采集性和时间依赖性所提出基于双向线性插值原理的数据增强方法，所述方法至少包括以下步骤：

1)取时间序列中相邻的两点数据T_i，i和T_i+1，i+1，利用T_i，i的x_i和T_i+1，i+1的y_i+1构造新的数据点T_i，i+1，利用T_i，i的y_i和T_i+1，i+1的x_i+1构造新的数据点T_i+1，i；

2)基于beta分布获取多变量的权重值weight，使用所得权重值，对T_i，i和T_i+1，i两点进行X轴方向的线性插值计算，得到插值结果M_i，公式为：

M_i＝T_i，i*weight+T_i+1，i*(1-weight)

3)使用所得权重值，对T_i，i+1和T_i+1，i+1两点进行X轴方向的线性插值计算，得到插值结果M_i+1，公式为：

M_i+1＝T_i，i+1*weight+T_i+1，i+1*(1-weight)

4)使用所得权重值，对M_i和M_i+1两点进行Y轴方向的线性插值计算，得到最终的插值结果N_i，公式为：

N_i＝M_i*(1-weight)+M_i+1*weight

3.根据权利要求1所述的基于小样本学习的云数据中心服务器能耗预测方法，其特征在于，其中根据奥卡姆剃刀定律所提出的基于元学习的网络模型，所述模型由特征提取器、特征强化器、预测器和学习器组成，训练过程至少包括以下步骤：

1)利用基于残差思想的特征提取器，提取元训练任务中每个时间步的隐状态，对隐状态进行时间序列的特征提取，并在特征提取的过程中进行特征融合，表达式为：

H_t＝LSTMBlock(T)

H(x)＝F(x)+H_t

其中，隐状态矩阵H_t＝{h₁，h₂，…，h_t}，H(x)表示所期望的特征，F(x)表示经过映射后的残差特征；

2)利用基于注意力机制的特征强化器，结合多头注意力机制和残差思想，强化所提取的特征，丰富特征信息，得到上下文向量：

MultiHead(H，h_t)＝Concat(head₁，...，head_n)

其中，H表示最后一个隐向量之前的得所有向量，h_t表示最后一个隐向量，而

表示经过卷积后的单变量时间模式向量；

α′_i＝α_i+h_t-1

其中，α_i表示注意力权重，

表示经过卷积后的单变量时间模式向量，而h_t和h_t-1表示隐向量；

3)利用基于线性映射的预测器对上下文向量和最后一个隐状态进行线性映射，得到最终的预测结果，表达式为：

yh_t＝w_h*h_t+w_v*v_t

out＝Dense(sigmoid(yh_t))

其中，w_h和w_v表示权重值，h_t表示隐向量，v_t表示上下文向量，out表示最终的输出值；

4)利用基于元学习的学习器对每个参数的梯度进行计算，在计算两重梯度后更新模型的参数，表达式为：

其中，θ_i表示原模型的参数，θ′_i表示经过梯度下降后的模型参数，α和β表示学习率。

Images