CN108197083B - 小波神经网络融合线性回归的数据中心工作负载预测方法 - Google Patents

Abstract

本发明公开了一种线性回归与小波神经网络融合的短期工作负载预测方法，包括：第一步，通过数据中心系统日志文件建立历史工作负载数据库；第二步，针对数据中心数天或数月同时段工作负载的相对稳定性，采用线性回归预测短期工作负载；第三步，由于数据中心一天内各时段工作负载具有相对波动性和局部稳定性，本专利采用误差反馈传播小波神经网络技术预测工作负载；第四步，融合线性回归与小波神经网络预测技术预测数据中心短期工作负载；第五步，以当前时段数据中心实际工作负载更新历史工作负载信息数据库，循环执行第二、三、四步预测工作负载。本发明较之现有技术具有精度高等优势，能为数据中心资源管理和能耗控制提供有力技术保障。

Description

小波神经网络融合线性回归的数据中心工作负载预测方法

技术领域

本发明涉及高性能数据中心资源管理技术领域，特别涉及一种小波神经网络融合线性回归的数据中心工作负载预测方法。

背景技术

数据中心是计算机、通信与互联网技术发展融合的产物，是各种大规模企业级业务、大数据、云计算的基础支撑平台，得到了产业界和学术界的高度重视。国际IT企业巨头如IBM、Google、微软、思科、惠普等纷纷推出其数据中心解决方案，并大量部署和拥有数据中心。国内信息技术产业公司如万国数据、腾讯、中国电信、阿里巴巴等也提出了自己的解决方案，且都拥有大型集中或分布式数据中心。这些数据中心都承担着核心运营支持、数据存储和备份、核心计算、信息资源服务等功能。因而数据中心在信息产业具有重要的地位，其可靠、稳定、安全运行是IT业务开展的必要条件。

然而，随着以虚拟化技术为核心的云数据中心飞速发展，数据中心规模和功能日新月异，传统的资源静态分配、服务器负载静态管理、应用与基础设施紧耦合的运维管理方式已不能适应现代数据中心要求。特别是随着数据中心规模不断扩大，能耗也成为当前数据中心的核心问题，因而亟需对数据中心以节省能耗为目的进行资源动态管理。然而，数据中心资源动态管理的核心是工作负载。高负载时需要大量资源，低负载时资源空闲量大，通过关闭这些闲置资源将节省能耗。例如证券交易数据中心在非交易时间内业务量很少，可以关闭部分资源以减少能耗。而如何正确预测数据中心工作负载则成为动态管理资源的关键。

预测技术与方法是一个经典问题，在社会经济生活很多领域有广泛应用，如股票走势、交通流量、电荷负载、经济趋势等。在长年研究中已积累了大量实用预测方法，如基于线性理论的时间序列分析法和卡尔曼滤波法、基于计算机人工智能的神经网络法和非参数回归法、基于非线性理论的小波分析法等。然而，这些理论与方法都不适合高性能数据中心工作负载预测。针对此问题，本专利提出线性回归与小波神经网络融合的短期工作负载预测方法，该方法利用数据中心长期同时段工作负载具有相对稳定性和当天工作负载具有较大波动性与局部稳定性来预测短期数据中心工作负载，因而准确度高，对提高数据中心的高可用性、安全性和节省能耗具有重要意义。

发明内容

本发明针对数据中心工作负载的波动性和难以预测性，提出一种集线性回归与小波神经网络为一体的短期工作负载预测技术与方法。采用该方法预测数据中心短期工作负载的误差率远远低于小波神经网络预测值。由于其与实际工作负载较接近，因而是一种可以接受的数据中心短期工作负载预测技术。

为实现上述技术目的，本发明所采用的技术方案为：

一种小波神经网络融合线性回归的数据中心工作负载预测方法，包括如下步骤：

步骤一，通过数据中心系统的日志文件得到历史作业及每个作业使用的资源量，从而计算得到数据中心历史工作负载，同时根据日志文件中的历史作业数及执行工作的时间，创建数据中心历史工作负载信息数据库；

步骤二，将每天的时间划分为多个时间段，并确定需要进行预测工作负载的时间段，根据数据中心历史工作负载信息数据库中记录的数天或数月中每天同一时间段的数据，将时间段内的作业数和工作负载作为线性组合，建立线性方程组来进行该时间段的线性回归短期工作负载预测；

步骤三，同样取步骤二中需要进行预测工作负载的时间段，以该时间段的未知工作负载预测作为输出，与该时间段相邻时间段的已知工作负载数据作为输入，采用包括输入、隐藏和输出的经典三层前馈小波神经网络模型，对该时间段的工作负载进行预测；

步骤四，引入权值，以融合步骤二和步骤三的预测值，得到最终的工作负载预测值；

步骤五，以当前时段数据中心实际工作负载更新历史工作负载信息数据库，循环执行第二、三、四步，预测数据中心工作负载。

所述的一种小波神经网络融合线性回归的数据中心工作负载预测方法，所述的步骤一中，通过以下公式计算数据中心历史工作负载：

其中N是作业数、Job_i是第i个作业，R_i是第i个作业所使用的资源数， TR是数据中心资源总量。

所述的一种小波神经网络融合线性回归的数据中心工作负载预测方法，所述的步骤二包括以下步骤：

将数据中心历史工作负载作为四元组W＝＜D,T,J,C＞，其中D是历史数据的天数，T是一天内的时间段数，J是一个D×T二维数组即矩阵，表示数据中心平均运行作业数，J_d,t即表示d天t时间段内数据中心平均运行作业数，同理，C表示数据中心平均工作负载矩阵，C_d,t是表示d天t时间段内数据中心平均工作负载矩阵；则有：

其中，Max_{1≤x≤D,1≤y≤T}{J_x,y}表示历史数据中运行作业的最大数；

采用过去数天或数月t-1、t和t+1时段历史信息预测未来d天t时段线性工作负载ξ_d,t，以如下公式表示为过去k天t时间段工作量与服从正态分布随机误差的线性组合：

这里

是线性预测模型系数，其中k＝1,2,3,…，a_d是零均值白噪声序列， d-k天工作量ξ_d-k,t为t-1、t和t+1时段作业数、工作负载的线性组合，即：

其中δ是作业数与工作负载的权值，为了获知d天t时段线性预测模型系数

和随机误差a_d，使用数据中心d天t时段前已知的作业数和工作负载数据J_d,1…J_d,t-1,C_d,1…C_d,t-1，并且建立如下线性方程组：

其中系数为

和误差a_d，通过高斯-约当消元法解上述线性方程组，得到未来这一时段数据中心短期工作负载。

所述的一种小波神经网络融合线性回归的数据中心工作负载预测方法，所述的步骤三包括以下步骤：

使用一天内最近10个时段数据中心工作负载ξ_d,t-1,ξ_d,t-2,…,ξ_d,t-10，通过经典三层前馈小波神经网络模型预测第t时段工作负载η_d,t，

其中隐藏层中间输出值WS(j)表示为

其中ω_i,j是输入层与隐藏层间的权值，l为隐含层节点数；Wbf_(j)函数为采用Morlet母小波基函数：

cos为余弦，exp为以自然常数e为底的指数函数，x为Wbf_(j)函数中的变量；

小波神经网络模型的输出值η_d,t为所有隐藏层输出值WS(j)和权值ω_j相乘之和，即：

在神经网络初始训练阶段，权值ω_i,j、ω_j由系统随机产生，尺度参数r_j，转换参数o_j设置为j，并使用误差反馈传播法训练小波神经网络以获得最小误差；对于d天t时段，小波神经网络预测误差值e_d,t是神经网络输出η_d,t与数据中心计算资源实际利用率C_d,t间的绝对差，即：

e_d(t)＝|η_d(t)-C_d,t|

为了找到参数向量

如何影响成对误差

采用梯度法迭代法最小化E_d(t)，在每次迭代中，使用以下学习规则更新参数向量

其中

是学习率，τ是一个恒定动量。

所述的一种小波神经网络融合线性回归的数据中心工作负载预测方法，所述的步骤四中，通过引入权值θ，融合步骤二和步骤三的预测值，得到最终的工作负载预测值WR_d,t为

WR_d,t＝θξ_d,t+(1-θ)η_d(t) θ∈(0,1)。

所述的一种小波神经网络融合线性回归的数据中心工作负载预测方法，输入层与隐藏层节点间权值ω_i,j的更新规则是:

隐藏层节点与输出节点间参数ω_j的更新规则是：

尺度参数r_j的更新规则是：

转换参数o_j的更新规则是：

本发明的技术效果在于，利用数据中心长期同时段工作负载具有相对稳定性和当天工作负载具有较大波动性与局部稳定性来预测短期数据中心工作负载，因而准确度高，对提高数据中心的高可用性、安全性和节省能耗具有重要意义。

下面结合附图对本发明作进一步说明。

附图说明

图1是数据中心一天内作业数和工作负载分布图；

图2是数据中心100天中每天9：10的作业数和工作负载分布图；

图3是小波神经网络工作模型；

图4是不同权值θ的MLWNN数据中心工作负载预测实验结果；

图5是MLWNN、WNN和数据中心实际工作负载预测实验结果。

具体实施方式

本实施例包括以下步骤：

1、建立数据中心历史工作负载信息数据库

通过高性能数据中心系统日志文件，可以检索历史作业及每个作业使用的资源量，从而利用如下公式可以计算数据中心工作负载。

其中N是作业数、Job_i是第i个作业，R_i是第i个作业所使用的资源数， TR是数据中心资源总量。利用公式(1)计算得到数据中心工作负载，并根据日志文件中记录的相应作业数及时间，可以建立数据中心历史工作负载数据库表，其表结构如表1所示。

表1 数据中心历史工作负载表

ID	Num	Workload	Time
				1800192809	305	0.93	2017-3-26 12:34

图1是某数据中心一天内运行作业数和工作负载历史分布图。此数据中心业务主要集中在通信服务、在线教育、金融信息和资源租赁方面。由图1 可知，数据中心高负载时间大约在8点到20点，资源利用率较高；其他时间工作负载相对较轻，有大量资源闲置。由图1亦可知，作业数和工作负载具有一定的正相关性，作业数多时数据中心工作负载就重，作业少时工作负载相对较轻。另一方面，数据中心长时间某时段作业数和工作负载具有相对稳性。图2是是数据中心100天中每天9：10的作业数和工作负载分布图。由图2可知，在上午9：10时段数据中心的工作负载一直维持较高状态：大部分时间在0.9以上。由以上分析可知，对于某短时段如9：10，其数据中心工作负载与当天最近时间负载有关，也与同一时段最近数天或数月有紧密关联。因而本专利提出了一种集线性回归与小波神经网络为一体的短期工作负载预测方法。

2、最近数天或数月的线性回归短期工作负载预测方法

本实施例定义数据中心历史工作负载为四元组W＝＜D,T,J,C＞，其中D是历史数据的天数，T是一天内的时间段数；本实施例把一天分成288个时间段即T＝288，也就说历史数据是数据中心每隔五分钟的平均值；J是一个D×T二维数组即矩阵，表示数据中心平均运行作业数，J_d,t即表示d天t时间段内数据中心平均运行作业数；同理，C表示数据中心平均工作负载矩阵，C_d,t是表示d天t时间段内数据中心平均工作负载矩阵。由于数据中心某时段作业数与工作负载具有相互关联性，因而本实施例采用如下公式2把二维数组J_d,t规格化为[0,1]。

其中，Max_{1≤x≤D,1≤y≤T}{J_x,y}负责计算历史数据中运行作业的最大数。为了预测短期d天t时段工作负载，本专利采用过去数天或数月t-1、t和t+1时段历史信息。因此，未来d天t时段线性工作负载ξ_d,t可以表示为过去k天t时间段工作量与服从正态分布随机误差的线性组合，如下公式所示。

这里

是线性预测模型系数，其中k＝1,2,3,…，a_d是零均值白噪声序列， d-k天工作量ξ_d-k,t为t-1、t和t+1时段作业数、工作负载的线性组合，用数学公式表示为：

其中δ是作业数与工作负载的权值。本专利核心是数据中心负载，因而对权值δ取值侧重于工作负载，所以取为δ＝0.9。为了获知d天t时段线性预测模型系数

和随机误差a_d，本实施例使用数据中心d天t时段前已经运行出来的作业数和工作负载数据J_d,1…J_d,t-1,C_d,1…C_d,t-1，并且建立如下线性方程组：

其中

此线性代数方程组可以重写为如下矩阵形式。

其中系数为

和误差a_d，并可通过著名的高斯-约当(Gauss-Jordan) 消元法解上述线性方程组。因此，我们可以通过已知同一时段过去数据预测未来这一时段数据中心短期工作负载。

3、一天内小波神经网络工作负载预测技术

一天内数据中心工作负载具有长时间不稳定和非线性性、短时间局部相关和稳定性。这些特性非常适合小波神经网络预测技术预测数据中心短期工作负载。本专利针对数据中心工作负载特性，以包括输入、隐藏和输出的经典三层前馈小波神经网络模型和误差反馈传播算法为基础，以一天内数据为核心预测短期工作负载。本实施例使用一天内最近10个时段数据中心工作负载ξ_d,t-1,ξ_d,t-2,…,ξ_d,t-10预测第t时段工作负载η_d,t，这也是小波神经网络模型中的唯一输出。本实施例采用的小波神经网络模型如图3所示。

隐藏层中间输出值WS(j)可形式表示为

这里，ω_i,j是输入层与隐藏层间的权值，Wbf_(j)函数是统一采用Morlet母小波基函数，其数学描述如下：

其中cos为余弦，exp为以自然常数e为底的指数函数，x为Wbf_(j)函数中的变量。

小波神经网络的输出值η_d,t就是所有隐藏层输出值WS(j)和权值ω_j相乘之和，可描述如下：

在神经网络初始训练阶段，权值ω_i,j、ω_j由系统随机产生，尺度参数r_j，转换参数o_j设置为j。本实施例使用误差反馈传播法训练小波神经网络以期获得最小误差。对于d天t时段，小波神经网络预测误差值e_d,t是神经网络输出η_d,t与数据中心计算资源实际利用率C_d,t间的绝对差，可定义为：

e_d(t)＝|η_d(t)-C_d,t| (10)

本专利核心是找到参数向量

如何影响成对误差

并且采用最速递降迭代法最小化E_d(t)。在每次迭代中，本专利使用以下(Δ) 学习规则更新参数向量

这种规则基于各自误差函数偏导数。

这里

是学习率，τ是一个恒定动量能帮助学习规则规避振荡。对于输入层与隐藏层节点间权值ω_i,j，其更新规则是

因而

相应的，隐藏层节点与输出节点间参数ω_j，尺度参数r_j和转换参数o_j将遵循如下规则更新：

4、线性回归与小波神经网络融合短期工作负载预测法

数据中心短期工作负载预测法基于上述多元线性回归和小波神经网络预测技术，因而本专利引入权值θ，以期在过去数天线性回归预测与当天小波神经网络预测中获得折衷。因此，数据中心短期工作负载WR_d,t预测值为：

WR_d,t＝θξ_d,t+(1-θ)η_d(t) θ∈(0,1) (16)。

Claims (5)

1.一种小波神经网络融合线性回归的数据中心工作负载预测方法，其特征在于，包括如下步骤：

步骤一，通过数据中心系统的日志文件得到历史作业及每个作业使用的资源量，从而计算得到数据中心历史工作负载，同时根据日志文件中的历史作业数及执行工作的时间，创建数据中心历史工作负载信息数据库；

步骤二，将每天的时间划分为多个时间段，并确定需要进行预测工作负载的时间段，根据数据中心历史工作负载信息数据库中记录的数天或数月中每天同一时间段的数据，将时间段内的作业数和工作负载作为线性组合，建立线性方程组来进行该时间段的线性回归短期工作负载预测；

步骤三，同样取步骤二中需要进行预测工作负载的时间段，以该时间段的未知工作负载预测作为输出，与该时间段相邻时间段的已知工作负载数据作为输入，采用包括输入、隐藏和输出的经典三层前馈小波神经网络模型，对该时间段的工作负载进行预测；

步骤四，引入权值，以融合步骤二和步骤三的预测值，得到最终的工作负载预测值；

步骤五，以当前时段数据中心实际工作负载更新历史工作负载信息数据库，循环执行第二、三、四步，预测数据中心工作负载；

所述的步骤二包括以下步骤：

将数据中心历史工作负载作为四元组W＝＜D,T,J,C＞，其中D是历史数据的天数，T是一天内的时间段数，J是一个D×T二维数组即矩阵，表示数据中心平均运行作业数，J_d,t即表示d天t时间段内数据中心平均运行作业数，同理，C表示数据中心平均工作负载矩阵，C_d,t是表示d天t时间段内数据中心平均工作负载矩阵；则有：

其中，Max_{1≤x≤D,1≤y≤T}{J_x,y}表示历史数据中运行作业的最大数；

采用过去数天或数月t-1、t和t+1时段历史信息预测未来d天t时段线性工作负载ξ_d,t，以如下公式表示为过去k天t时间段工作量与服从正态分布随机误差的线性组合：

这里

是线性预测模型系数，其中k＝1,2,3,…，a_d是零均值白噪声序列，d-k天工作量ξ_d-k,t为t-1、t和t+1时段作业数、工作负载的线性组合，即：

其中δ是作业数与工作负载的权值，为了获知d天t时段线性预测模型系数

和随机误差a_d，使用数据中心d天t时段前已知的作业数和工作负载数据J_d,1…J_d,t-1,C_d,1…C_d,t-1，并且建立如下线性方程组：

其中系数为

和误差a_d，

通过高斯-约当消元法解上述线性方程组，得到未来这一时段数据中心短期工作负载。

2.根据权利要求1所述的一种小波神经网络融合线性回归的数据中心工作负载预测方法，其特征在于，所述的步骤一中，通过以下公式计算数据中心历史工作负载：

其中N是作业数、Job_i是第i个作业，R_i是第i个作业所使用的资源数，TR是数据中心资源总量。

3.根据权利要求1所述的一种小波神经网络融合线性回归的数据中心工作负载预测方法，其特征在于，所述的步骤三包括以下步骤：

使用一天内最近10个时段数据中心工作负载ξ_d,t-1,ξ_d,t-2,…,ξ_d,t-10，通过经典三层前馈小波神经网络模型预测第t时段工作负载η_d,t，

其中隐藏层中间输出值WS(j)表示为

其中ω_i,j是输入层与隐藏层间的权值，l为隐含层节点数；Wbf_(j)函数为采用Morlet母小波基函数：

cos为余弦，exp为以自然常数e为底的指数函数，x为Wbf_(j)函数中的变量；

小波神经网络模型的输出值η_d,t为所有隐藏层输出值WS(j)和权值ω_j相乘之和，即：

在神经网络初始训练阶段，权值ω_i,j、ω_j由系统随机产生，尺度参数r_j，转换参数o_j设置为j，并使用误差反馈传播法训练小波神经网络以获得最小误差；对于d天t时段，小波神经网络预测误差值e_d,t是神经网络输出η_d,t与数据中心计算资源实际利用率C_d,t间的绝对差，即：

e_d(t)＝|η_d(t)-C_d,t|

为了找到参数向量

如何影响成对误差

采用梯度法迭代法最小化E_d(t)，在每次迭代中，使用以下学习规则更新参数向量

其中

是学习率，τ是一个恒定动量。

4.根据权利要求3所述的一种小波神经网络融合线性回归的数据中心工作负载预测方法，其特征在于，所述的步骤四中，通过引入权值θ，融合步骤二和步骤三的预测值，得到最终的工作负载预测值WR_d,t为

WR_d,t＝θξ_d,t+(1-θ)η_d(t) θ∈(0,1)。

5.根据权利要求3所述的一种小波神经网络融合线性回归的数据中心工作负载预测方法，其特征在于，输入层与隐藏层节点间权值ω_i,j的更新规则是:

隐藏层节点与输出节点间参数ω_j的更新规则是：

尺度参数r_j的更新规则是：

转换参数o_j的更新规则是：

Images