CN112667912A

CN112667912A - 一种边缘服务器的任务量预测方法

Info

Publication number: CN112667912A
Application number: CN202110051087.5A
Authority: CN
Inventors: 张伟文; 陈磊; 叶海明; 马卓
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2021-01-14
Filing date: 2021-01-14
Publication date: 2021-04-16
Anticipated expiration: 2041-01-14
Also published as: CN112667912B

Abstract

本发明提供了一种边缘服务器的任务量预测方法，首先收集各个边缘服务器的使用率数据；将数据进行归一化处理后的输入到Savitzky‑Golay滤波器进行平滑处理后将数据集划分为训练集、验证集和测试集；建立包含一维卷积层、双向长短期循环网络和注意力机制层的预测模型并对改预测模型进行训练，将测试集输入训练好的预测模型中得出预测结果从而对边缘服务器进行配置。本发明能够在满足预测准确的基础上，大幅度降低训练和预测的时间。

Description

一种边缘服务器的任务量预测方法

技术领域

本发明涉及服务器任务量的预测算法领域，更具体地，涉及一种边缘服务器的任务量预测方法。

背景技术

随着云计算的发展，越来越多的应用提供商将自己的应用放在云服务器上进行维护，造成了云计算中心的负载压力和由于距离用户较远带来的难以容忍的时延，特别是对于自动驾驶、人脸识别以及VR游戏等时延敏感的应用。为了解决这一难题，边缘计算作为一种新的计算范式被提出和应用，以提供丰富的计算资源和低延时服务。

然而，当云服务器的多个用户请求同时到达时，工作负载将爆炸，因此可用资源可能不足；相反，当工作负载处于较低水平时会发生空闲状态，从而导致资源浪费。工作负载的变化会导致资源的过度供应或供应不足，从而导致不必要的开销。供应商必须能够快速确定资源配置策略，以保证服务质量，同时提高资源利用率。因此，工作量预测需要具有准确性和快速学习的能力。为了实现这些目标，边缘计算需要一种更快速且具有学习能力的工作负载预测方法。

目前，大多数对于时间序列预测的方法虽然有较强的学习能力，但是往往忽略了时间序列之间的相关性，因此在预测方面会造成的误差较大。循环神经网络(RNN)和长短时间记忆网络(LSTM)的方法能够拥有较强的学习能力和利用时序之间的相关性进行预测。例如专利文献CN111191113A(公开日2020年05月22日)公开了一种基于边缘计算环境的数据资源需求预测和调整方法，利用相似度系数、专家经验参数、场景偏好系数等来调整的数据预测输出方法。但是它的训练时间和预测时间较长，不能够配合边缘服务器进行快速的资源调整，降低由于资源配置不恰当带来的负面效果。

为了提高云服务器的资源利用率并保证服务质量，迫切需要一种全新的预测方法，以提高边缘计算的准确率并缩短预测时间。

发明内容

本发明为克服上述现有技术所述的准确率不高、预测时间较长的缺陷，提供一种边缘服务器的任务量预测方法。

为解决上述技术问题，本发明的技术方案如下：一种边缘服务器的任务量预测方法，具体包括以下步骤：

S1、按照预定时间间隔收集各个边缘服务器的使用率数据；

S2、将收集到的使用率数据进行归一化处理后进行平滑处理；将平滑处理后的数据集划分为训练集、验证集和测试集；

S3、建立预测模型，所述预测模型包括依次连接的一维卷积层(Conv1D)、一维最大池化层、双向长短期循环网络(BiLSTM)、残差层和注意力机制层注意力机制(AttentionMechanism)，数据集输入值能够依次通过一维卷积层、一维最大池化层、双向长短期循环网络并输出数据，将所述输出数据与数据集输入值在残差层做残差操作后通过注意力机制层并最终输出结果；

S4、采用mini-batch的方法来训练数据，每次输入一个批(batch)的数据，采用梯度下降的方法更新预测模型的权重，直到训练集的所有批(batch)都被输入到预测模型，之后将验证集输入到预测模型中进行验证，从而完成一次训练；通过对预测模型进行多次训练直至验证集的损失函数值不再改变，则认为预测模型已被训练到最优，退出训练；

S5、将测试集输入到训练好的预测模型中得到预测结果，以此来调整边缘服务器的配置。

优选地，步骤S2中，采用公式(1)对使用率数据进行归一化处理，将数据变成0到1之间的小数：

其中，X_max为使用率数据中的最大值，X_min为使用率数据中的最小值，X为使用率数据，

为归一化之后的数据。

优选地，采用Savitzky-Golay滤波器对数据进行平滑处理，需确定Savitzky-Golay滤波器的窗口值和拟合多项式值并将数据进行平滑，具体过程包括：

S21、将归一化之后的数据表示为一个时间序列

t∈N⁺＝{1,2,...}，取

n∈[m+1,t-m]为

的一个子序列，m为Savitzky-Golay滤波器窗口值的一半，则Y_n的长度为2m+1，n为子序列Y_n的中心数值；

S22、利用公式(2)来拟合子序列Y_n；

其中，p(b)为利用多项式输出的拟合值，γ为给定的多项式阶且γ＜2m+1,a_r为多项式系数，b为子序列Y_n的值；

S23、由于最小二乘法标准要求，在所有时隙上，使观察值x_m+b与计算值p(b)之间的完全平方差的和ε最小，利用公式(3)计算ε

S24、最后利用子序列Y_n中心点的拟合值作为一次平滑过程的平滑数据点，整个过程采用滑动窗口的形式进行，每次滑动一个时隙，直到所有数据都被平滑结束滤波过程。

优选地，所述Savitzky-Golay滤波器的窗口值大于所述拟合多项式的值，其中所述窗口值为奇数，所述窗口值越大和/或拟合多项式的值越小，平滑后的数据与归一化之后的数据偏离越大。

优选地，将平滑后的数据按照4：2：4的比例划分为训练集、验证集和测试集，并将三个数据集构造成(输入数据，标签)的数据形状，其中输入数据为

标签为

t为时间标记，n为需要的历史数据长度，d为预测长度。

优选地，步骤S3中建立预测模型后首先需要设定一维卷积层的滤波器个数、卷积核大小和激活函数；设定一维最大池化层的池化窗口的参数、双向长短期记忆网络的神经元个数以及注意力机制层的激活函数。

优选地，设定一维卷积层的滤波器个数为64，卷积核大小为1，一维最大池化层的池化窗口的参数为18，双向长短期记忆网络的神经元个数为128。

优选地，所述一维卷积层和注意力机制层的激活函数包括sigmoid函数：

和Relu函数：

f(x)＝max{0,x}.(5)

优选地，步骤S3中还需要设置SG-CBA模式的优化器和损失函数，其中所述损失函数选择均方误差：

其中，

为预测值，y_i为真实值，i为取值的下标。

优选地，步骤S5中，根据样本数量、输入维度、时间步长和预测步长，将成符合预测模型输入的测试数据集格式测试集构造X′＝(样本数，时间步，数据特征维度)，用滑动窗口的形式即每次往后移动一个测试数据集的长度，直到所有测试集数据都输入到预测模型中。

优选地，设置每次训练的样本数为128个，时间步长为18，数据特征维度为1维。

与现有技术相比，本发明技术方案的有益效果是：本发明提出了一种边缘服务器的任务量预测方法，能够在满足预测准确的基础上，大幅度降低训练和预测的时间。本发明一方面利用Savitzky-Golay滤波器对收集地数据进行平滑处理，去除了数据中的异常点，为之后的预测提高了准确性；另一方面，为了配合边缘服务器快速调整资源配置，本发明利用Conv1D-BiLSTM网络结构以及注意力机制，在提高了预测准确性的同时，缩短了预测所花费的时间。

附图说明

图1为本发明实施例提供的一种边缘服务器的任务量预测方法的步骤流程图。

图2为本发明实施例提供的一种边缘服务器的任务量预测方法的预测模型的网络结构图。

图3为本发明实施例提供的一种边缘服务器的任务量预测方法的训练集和验证集的损失值对比图。

图4为本发明实施例提供的一种边缘服务器的任务量预测方法的预测结果与原始数据的拟合情况。

图5为本发明实施例提供的一种边缘服务器的任务量预测方法的验证集的均方误差和绝对值误差的变化对比图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

注意力机制(Attention Mechanism)源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。人类视网膜不同的部位具有不同程度的信息处理能力，即敏锐度(Acuity)，只有视网膜中央凹部位具有最强的敏锐度。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它。例如，人们在阅读时，通常只有少量要被读取的词会被关注和处理。综上，注意力机制主要有两个方面：决定需要关注输入的哪部分；分配有限的信息处理资源给重要的部分。因此，本发明提出了一种基于Conv1D-BiLSTM的预测模型，能够在满足预测准确的基础上，大幅度降低训练和预测的时间，同时为了进一步提升预测的准确性，本发明加入了对数据的平滑处理和在预测模型中加入了注意力机制。

在具体实施过程中，所述一种边缘服务器的任务量预测方法，参见图1，具体包括以下步骤：

S1、按照预定时间间隔收集各个边缘服务器CPU的使用率数据；在本实施例中，由于边缘服务器的CPU、内存使用率一直在变换，所以每10秒记录一下服务器的资源状态。

S2、将收集到的使用率数据进行归一化处理后的输入到Savitzky-Golay滤波器进行平滑处理；将平滑处理后的数据集划分为训练集、验证集和测试集；

S3、建立预测模型，参见图2，所述预测模型包括依次连接的一维卷积层(Conv1D)、一维最大池化层、双向长短期循环网络(BiLSTM)、残差层和注意力机制层注意力机制(Attention Mechanism)，数据集输入值能够依次通过一维卷积层、一维最大池化层、双向长短期循环网络并输出数据，将所述输出数据与数据集输入值在残差层做残差操作后通过注意力机制层并最终输出结果；

S4、采用mini-batch的方法来训练数据，每次输入一个批(batch)的数据，采用梯度下降的方法更新预测模型的权重，直到训练集的所有批(batch)都被输入到预测模型，之后将验证集输入到预测模型中进行验证，从而完成一次训练；通过对预测模型进行多次训练直至验证集的损失函数值不再改变，则认为预测模型已被训练到最优，退出训练；其中批(batch)的大小为样本数。

S5、将测试集输入到训练好的预测模型中得到预测结果，以此来调整边缘服务器CPU的配置，实现资源的合理利用。

根据预测的结果可知未来的边缘服务器CPU的使用率，若预测结果大于此刻的CPU占用率，则提高CPU频率，加快处理任务的速度；反之，则降低CPU频率，减少能量的消耗。

参见图4为本发明实施例提供的基于SG-CBA模式边缘服务器任务量预测方法的预测结果与原始数据的拟合情况。

在具体实施过程中，步骤S2中，采用公式(1)对使用率数据进行归一化处理，将数据变成0到1之间的小数：

为归一化之后的数据。

对使用率数据进行归一化处理之后，需要确定Savitzky-Golay滤波器的窗口值和拟合多项式值，数据平滑的过程为：

S21、将归一化之后的数据表示为一个时间序列

t∈N⁺＝{1,2,...}，取

n∈[m+1,t-m]为

S22、利用公式(2)来拟合子序列Y_n；

具体地，所述Savitzky-Golay滤波器的窗口值大于所述拟合多项式的值，其中所述窗口值为奇数，其中窗口值越大与原始数据偏离越大，拟合多项式值越大与原始数据偏离越小；将平滑后的数据按照4：2：4的比例划分为训练集、验证集和测试集，并将三个数据集构造成(输入数据，标签)的数据形状，其中输入数据为

标签为

t为时间标记，n为需要的历史数据长度，d为预测长度。

具体地，步骤S3中建立预测模型后首先需要设定一维卷积层的滤波器个数、卷积核大小和激活函数；设定一维最大池化层的池化窗口的参数、双向长短期记忆网络的神经元个数以及注意力机制层的激活函数。设定一维卷积层的滤波器个数为64，卷积核大小为1，一维最大池化层的池化窗口的参数为18，双向长短期记忆网络的神经元个数为128。

其中，一维卷积层的激活函数为：

f(x)＝max{0,x}.(4)

注意力机制层的激活函数为：

进一步地，步骤S3中还需要设置SG-CBA模式的优化器为自适应矩估计优化器(adam)；训练次数(epoch)为100次；在训练过程中添加了早退出机制，监测验证集的损失函数值，若在3次迭代中损失函数值没有改变则结束训练；同时添加了自动调整学习率机制，当在2次迭代中损失函数值没有改变则调整学习率为原来0.1倍；损失函数为均方误差公式如下：

其中，

为预测值，y_i为真实值，i为取值的下标。参见图5为本发明实施例提供的一种边缘服务器的任务量预测方法的验证集的均方误差和绝对值误差的变化对比图。

步骤S5中，根据样本数量、输入维度、时间步长和预测步长，将测试集构造成符合预测模型输入的测试数据集X′＝(样本数，时间步，数据特征维度)，用滑动窗口的形式即每次往后移动一个测试数据集的长度，直到所有测试集数据都输入到预测模型中。其中的样本数即为批(batch)大小。设置每次训练的样本数为128个，时间步长为18，数据特征维度为1维。

表1是对比了长短期记忆网络(LSTM)、双向长短期记忆网络(BiLSTM)、循环神经网络(RNN)、门控循环单元(GRU)和本发明提出的模型SG-CBA对有无使用Savitzky-Golay平滑数据在均方误差、适应度、训练时间和预测时间的效果对比。

	均方误差	适应度值	周期的训练时间(秒)	预测时间(秒)
					长短期记忆网络	0.003145	0.594585	2.52008	0.43
双向长短期记忆网络	0.002623	0.783783	4.41890	0.53
					门控单元网络	0.002413	0.755931	2.96004	0.41
循环网络	0.002378	0.779669	1.72335	0.39
					SG-CBA	0.001047	0.867958	1.50722	0.52

从表1可以看出，本发明的SG-CBA模式边缘计算的服务器任务量预测方法相较于传统的长短时记忆网络(LSTM)、双向长短期记忆网络(BiLSTM)、门控单元网络(GRU)、循环网络(RNN)，每个周期的训练时间与训练时间和大幅度降低。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims

1.一种边缘服务器的任务量预测方法，其特征在于包括以下步骤：

S1、按照预定时间间隔收集各个边缘服务器的使用率数据；

S3、建立预测模型，所述预测模型包括依次连接的一维卷积层、一维最大池化层、双向长短期循环网络、残差层和注意力机制层，数据集输入值能够依次通过一维卷积层、一维最大池化层、双向长短期循环网络并输出数据，将所述输出数据与数据集输入值在残差层做残差操作后通过注意力机制层并最终输出结果；

S4、将训练集输入预测模型中进行训练数据，之后将验证集输入到预测模型中进行验证，从而完成一次训练；通过对预测模型进行多次训练直至验证集的损失函数值不再改变，则认为预测模型已被训练到最优，退出训练；

2.根据权利要求1所述的边缘服务器的任务量预测方法，其特征在于所述步骤S2中，采用公式(1)对使用率数据进行归一化处理，将数据变成0到1之间的小数：

为归一化之后的数据。

3.根据权利要求2所述的边缘服务器的任务量预测方法，其特征在于步骤S2中，采用Savitzky-Golay滤波器对数据进行平滑处理，需确定Savitzky-Golay滤波器的窗口值和拟合多项式值并将数据进行平滑，具体过程包括：

S21、将归一化之后的数据表示为一个时间序列

t∈N⁺＝{1,2,...}，取

为

S22、利用公式(2)来拟合子序列Y_n；

4.根据权利要求3所述的边缘服务器的任务量预测方法，其特征在于所述Savitzky-Golay滤波器的窗口值大于所述拟合多项式的值，其中所述窗口值为奇数，所述窗口值越大和/或拟合多项式的值越小，平滑后的数据与归一化之后的数据偏离越大。

5.根据权利要求4所述的边缘服务器的任务量预测方法，其特征在于将平滑后的数据按照4：2：4的比例划分为训练集、验证集和测试集，并将三个数据集构造成(输入数据，标签)的数据形状，其中输入数据为

标签为

t为时间标记，n为需要的历史数据长度，d为预测长度。

6.根据权利要求1所述的边缘服务器的任务量预测方法，其特征在于步骤S3中建立预测模型后首先需要设定一维卷积层的滤波器个数、卷积核大小和激活函数；设定一维最大池化层的池化窗口的参数、双向长短期记忆网络的神经元个数以及注意力机制层的激活函数。

7.根据权利要求6所述的边缘服务器的任务量预测方法，其特征在于设定一维卷积层的滤波器个数为64，卷积核大小为1，一维最大池化层的池化窗口的参数为18，双向长短期记忆网络的神经元个数为128。

8.根据权利要求6所述的边缘服务器的任务量预测方法，其特征在于所述一维卷积层的激活函数为Relu函数：

f(x)＝max{0,x}. (5)

注意力机制层的激活函数为sigmoid函数：

步骤S3中还需要设置优化器和损失函数，其中所述损失函数选择均方误差：

其中，

为预测值，y_i为真实值，i为取值的下标。

9.根据权利要求1所述的边缘服务器的任务量预测方法，其特征在于步骤S4中，采用mini-batch的方法来训练数据，将所述训练集分成若干批，每次输入一个批的数据，采用梯度下降的方法更新预测模型的权重，直到训练集的所有批都被输入到预测模型。

10.根据权利要求9所述的边缘服务器的任务量预测方法，其特征在于步骤S5中，根据样本数量、输入维度、时间步长和预测步长，将测试集构造成符合预测模型输入的测试数据集格式X′＝(样本数，时间步，数据特征维度)，用滑动窗口的形式即每次往后移动一个测试数据集的长度，直到所有测试集数据都输入到预测模型中。