CN110704221A - 一种基于数据增强的数据中心故障预测方法 - Google Patents

Abstract

本发明公开了一种基于数据增强的数据中心故障预测方法，将数据点归一化得到故障预测模型的输入输出数据对，确定与故障相关的输入向量x构成真实故障数据集D_{fault_real}；然后建立数据增强模型，对真实故障数据集D_{fault_real}进行数据增强，生成器产生样本，用生成样本和真实样本更新判别器，判别器如果能分辨生成样本和真实样本，则固定判别器，更新生成器重新产生样本，如不能够分辨生成样本和真实样本，则进行数据合并，生成数据增强后的数据集D_full；最后使用数据集D_full训练故障预测模型至模型损失无法下降，按数据集D_full的数据格式要求将当前时间点的数据输入模型，输出就是预测视野后的时间点发生故障的概率,实现故障预测。本方法有效提高了故障预测的准确率。

Description

一种基于数据增强的数据中心故障预测方法

技术领域

本发明属于数据中心故障预测技术领域，具体涉及一种基于数据增强的数据中心故障预测方法。

背景技术

近年来随着移动互联网的发展，互联网数据量呈现爆炸式增长，越来越多的互联网业务也都基于对大数据的分析。这些都导致了对计算资源的需求飞速提升。单机的计算能力已经不能满足需求。因此云计算应运而生。云计算是分布式计算、并行计算、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。云计算将大量的服务器通过虚拟机技术虚拟为一个个计算资源节点，用户无需关心硬件的实现和维护，只需要在云端购买计算资源，即可快速的获取自己所需的资源。而云计算的背后离不开数据中心的支撑。

数据中心是由数万台服务器，数百台网络设备，以及冷却设备、供电设备等构成。而且设备数量随着云计算的发展仍在继续增长。随着这些平台的规模和复杂性的不断增长，数据中心系统的可靠性成为一个主要问题，因为系统的平均故障间隔时间(MTBF)随着系统组件数量的增加而减少。最近的研究结果表明，现有数据中心和云计算系统的可靠性受到10-100小时平均故障间隔时间的限制。数据中心通常具有很高的故障率，因为它具有许多服务器和组件。此外，长时间运行的应用程序和密集的工作负载在这些设施中很常见。系统的性能取决于机器的可用性，如果不能很好地处理故障，机器的可用性很容易受到影响，从而影响系统整体性能。而且对于这样的高可用性计算环境，当集群中的一台服务器故障时，它的工作负载通常被转移到同一集群中的另一台机器上，这增加了其他服务器故障的可能性。

服务器故障会导致数据丢失，以及由于机器突然失效而导致的资源阻塞。在最坏的情况下，这些故障可能会使数据中心瘫痪，导致意外停机。数据恢复需要非常高的成本。据Ponemon Institute在2016年发布的数据中心停机报告可知，恢复数据最少为9000美元/分钟，最高为17000美元/分钟。在微软云系统的所有服务器节点中，每天有接近0.1％的节点遇到故障，它对目标为99.999％或更高可用性的服务具有重大影响。因此，节点故障是导致服务停机的主要原因之一。

故障预测技术可以提前预警故障，从而执行修复程序或者提醒管理员进行相关操作以避免故障。因此，节点故障预测技术在数据中心系统中是非常必要的。

节点故障预测技术可以分为专家系统和数据驱动的两种方式。基于专家系统的节点故障预测技术通过人为设定的规则去分析系统情况，从而预测故障的发生。然而随着数据中心设备增多导致的复杂性提高，以及数据中心中云应用的多样化，基于专家系统的节点故障预测技术已经变得难以设计而且其准确率较低。基于数据驱动的节点故障预测技术通过端到端的方法直接从数据中学习故障预测规则，在复杂的数据中心中取得了良好的效果。然而，这种方法往往需要大量的数据才能取得比较好的效果。数据中心中故障虽然一定发生，但是其概率在总体上是比较低的，这就导致与故障有关的数据较少，而正常运行的数据非常多，导致训练数据集不均衡，影响方法的训练效果。

当数据集中正负样本不均衡时，常常会对较少的样本进行扩充。当找不到更多的所需样本的时候，常常对已有的样本做一些处理以产生新的样本，来扩充样本数量，这被称为数据增强。现有的数据增强技术大部分是针对图像数据的，通过放缩，旋转等方法产生新数据，不适合于时间序列数据。针对时间序列数据的方法较少，有添加高斯噪声等方法，其效果不佳。

综上所述，数据驱动的节点故障预测技术虽然适合高复杂性的数据中心，但是往往受到与故障相关数据较少，训练集不均衡的影响，导致其准确率较低。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于数据增强的数据中心故障预测方法，基于自编码器与生成式对抗网络相结合，通过对真实数据的学习生成虚拟数据，从而增加与故障相关的数据量，最后通过LSTM网络作故障预测，有效提高准确率。

本发明采用以下技术方案：

一种基于数据增强的数据中心故障预测方法，首先进行数据集预处理，将数据点归一化，得到故障预测模型的输入输出数据对，确定与故障相关的输入向量x构成真实故障数据集D_{fault_real}；然后建立数据增强模型，对真实故障数据集D_{fault_real}进行数据增强，生成器产生样本，用生成样本和真实样本更新判别器，判别器如果能分辨生成样本和真实样本，则固定判别器，更新生成器重新产生样本，如不能够分辨生成样本和真实样本，则进行数据合并，生成数据增强后的数据集D_full；最后使用数据集D_full训练故障预测模型至模型损失无法下降，按数据集D_full的数据格式要求将当前时间点的数据输入模型，输出就是预测视野后的时间点发生故障的概率,实现故障预测。

具体的，数据集预处理中，假设预测视野为t₁，使用时间点t以及之前的R-1个数据作为预测依据，L(t)为t时间点的数据点，故障预测模型的输入输出数据对为：

x_T＝(L(T-R+1),L(T-R+2),......,L(T))

y_T＝B(T+t₁)

其中，T为某个时间点，B(t)为二值函数，所有的输入输出数据对构成真实数据集将y＝1的输入输出数据对取出，输入向量x构成了构成真实故障数据集D_{fault_real}，输入向量记作x_real。

进一步的，二值函数B(t)为：

具体的，数据增强模型包括生成器和判别器，对真实故障数据集进行数据增强中，生成器的输入从高斯混合模型中进行采样，具体为：

首先根据D_{fault_real}建立高斯混合模型，采取EM算法确定高斯混合模型的参数，得到一个高斯混合模型P_G(z)；

然后从P_G(z)中采样得到z作为生成器的输入，生成器的输出是与x同维的向量，记作G(z)，作为生成故障样本；

输出的样本构成生成故障数据集D_{fault_generated}，D_{fault_generated}和D_{fault_real}共同构成判别器的输入数据集；如果输入的是D_{fault_generated}中的数据,判别器输出0，即判断样本为假；如果输入的是D_{fault_real}中的数据，判别器输出1，即判断样本为真。

进一步的，生成器采用自编码器模型，包括编码器和解码器，编码器由一个单层的LSTM层构成，输入是P_G(z)中采样得到的z，输出是编码器提取出的特征向量；解码器由一个单层的LSTM层构成，输入是编码器提取出的特征向量，输出是与x_real同维的向量；

判别器由一个单层的LSTM层构成，输入是从D_{fault_real}和D_{fault_generated}中采样得到的样本。

进一步的，数据增强模型的目标函数为：

其中，m是样本总个数，θ是生成器的参数，w是判别器的参数，f()代表判别器的输入输出映射，g()代表生成器的输入输出映射。

具体的，数据增强模型的训练过程如下：

首先训练生成器产生生成故障数据集，然后训练判别器识别数据是真实或生成的；再固定判别器的参数，训练生成器产生判别器无法识别的样本；然后固定生成器的参数，训练判别器识别数据是真实的或是生成的；依此循环，直至算法收敛，即判别器无法分辨数据是真实或生成的；模型优化器使用RMSprop优化器。

具体的，故障预测模型由一个LSTM层和两个全连接层构成；模型的输入是故障预测模型的数据集D_full中的x_T，即T时间点之前的R个数据点构成的向量；模型的输出是T+t₁时间点是否会发生故障；模型的损失函数使用交叉熵函数；模型的优化器使用Adam优化器，训练直至算法收敛为止，即损失不再下降为止。

进一步的，数据增强模型训练完成后，故障数据集D_{fault_generated}中的样本构成故障预测输入输出数据对如下：

x_T∈D_{fault_generated}

y_T＝1

其中，数据对与真实数据集D_{full_real}共同构成故障预测模型的数据集D_full。

与现有技术相比，本发明至少具有以下有益效果：

本发明提出的基于数据增强的数据中心故障预测方法，相比于之前的数据驱动的数据中心故障预测方法，针对数据集中与故障相关样本数量过少导致预测准确率不高的问题，提出采用自编码器与生成式对抗网络结合来对数据集中较少的与故障相关的样本进行数据增强，充分考虑了样本的时序特征，提高了数据增强质量。本方法通过数据增强增加了与故障相关的样本数量，保证数据集中正负样本的均衡性，提高了故障预测的准确率。

进一步的，在数据增强过程中，使用生成式对抗网络来生成故障相关数据，模型通过生成器和判别器间的零和博弈生成新的样本。模型相比于添加高斯噪声等方法，其生成的样本与真实样本符合同一个分布，样本却又不完全一致，有利于下一步故障预测的模型的训练，提高了故障预测的准确率。

进一步的，在生成式对抗网络中使用自编码器作为生成器，充分考虑了故障相关数据是时序数据的特点，模型通过自编码器来学习数据的时间特征，提高了生成的样本的质量。

进一步的，故障预测模型使用LSTM网络和全连接网络。LSTM网络可以提取数据中的时间特征，全连接网络将提取到的特征映射到样本标记空间。两个网络相结合可以更好地从数据中学习到与故障相关的特征，提高了故障预测的准确率。

综上所述，本发明提出的基于数据增强的数据中心故障预测方法针对训练数据集中正负样本不均衡的问题，提出了通过数据增强的方法来生成与故障相关的样本，从而平衡了样本的数量，提高了故障预测模型的训练效果，提高了故障预测的精度。本方法提出了结合自编码器和生成式对抗网络的数据增强方法，充分考虑了样本是时序数据的特点，通过学习真实样本的分布来产生高质量的生成样本。本方法提出的故障预测模型充分考虑了样本的时间特征，提高了故障预测的准确率。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明方法流程图；

图2为数据增强模型结构图；

图3为故障预测模型结构图。

具体实施方式

本发明提供了一种基于数据增强的数据中心故障预测方法，针对前述数据驱动的节点故障预测技术受到与故障相关数据较少，训练集数据分布不均衡导致其准确率较低的问题提出了一种基于数据增强的数据中心故障预测方法，即基于自编码器与生成式对抗网络相结合，通过对真实数据的学习来生成虚拟数据，从而增加与故障相关的数据量，最后通过LSTM网络作故障预测。

请参阅图1，本发明一种基于数据增强的数据中心故障预测方法，包括以下步骤：

S1、数据集预处理

首先将数据点归一化。假设预测视野为t₁，使用时间点t以及之前的的R-1个数据作为预测的依据，L(t)为t时间的数据点，由此得到故障预测模型的输入输出数据对：

x_T＝(L(T-R+1),L(T-R+2),......,L(T))

y_T＝B(T+t₁)

其中，T为某个时间点，B(t)为二值函数，其定义为

所有的输入输出数据对构成了真实数据集D_{full_real}；然后将y＝1的数据取出，它们的输入向量x构成了真实故障数据集D_{fault_real}，这些输入向量记作x_real。

S2、对真实故障数据集进行数据增强

生成器产生样本，用生成样本和真实样本更新判别器，判别器如果不能分辨生成样本和真实样本，则固定判别器，更新生成器重新产生样本，如不能够分辨生成样本和真实样本，则进行数据合并；

请参阅图2，数据增强模型由生成器和判别器两部分构成；原始的生成式对抗网络中生成器的输入是从单一高斯分布中进行采样作为输入。由于单一高斯分布过于简单，与真实样本的分布差距过大，导致生成器不能很好地模拟真实样本的分布。因此本方法中生成器的输入从高斯混合模型中进行采样，以提高模型精度。

首先根据D_{fault_real}建立高斯混合模型，采取EM算法确定高斯混合模型的参数，得到一个高斯混合模型P_G(z)。

其中，N(z|u_k,∑_k)是第k个高斯模型的概率密度函数，为：

从P_G(z)中采样得到z作为生成器的输入。生成器的输出是与x同维的向量，记作G(z)，作为生成故障样本；

输出的样本构成了生成故障数据集D_{fault_generated}，D_{fault_generated}和D_{fault_real}共同构成判别器的输入数据集；如果输入的是D_{fault_generated}中的数据,那么判别器应该输出0，即判断样本为假。如果输入的是D_{fault_real}中的数据，那么判别器应该输出1，即判断样本为真；

模型整体采用Wasserstein距离生成式对抗网络架构，故障预测模型的目标函数为：

其中，m是样本总个数，θ是生成器的参数，w是判别器的参数，f()代表判别器的输入输出映射，g()代表生成器的输入输出映射。

生成器采用自编码器模型，由编码器和解码器构成。

编码器由一个单层的LSTM层构成，输入是P_G(z)中采样得到的z，输出是编码器提取出的特征向量。

解码器由一个单层的LSTM层构成，输入是编码器提取出的特征向量，输出是与x_real同维的向量，

判别器由一个单层的LSTM层构成，输入是从D_{fault_real}和D_{fault_generated}中采样得到的样本，当样本是属于D_{fault_real}中时，判别器的目标是输出1。当样本是属于D_{fault_generated}中时，判别器的目标是输出0。

故障预测模型的训练过程如下：

首先训练生成器产生生成故障数据集，然后训练判别器识别数据是真实的或是生成的；

然后固定判别器的参数，训练生成器产生判别器无法识别的样本；

然后固定生成器的参数，训练判别器识别数据是真实的或是生成的；

依此循环，直至算法收敛，即判别器无法分辨数据是真实的或是生成的。

模型优化器使用RMSprop优化器。

数据增强部分算法伪代码如下所示

算法：数据增强算法

输入：真实故障数据集和生成样本的数量

输出：生成故障数据集

1：function DataAugmentation(RealFaultDataset，number)

2：LossPre＝10000

3：Loss＝9999

4：GaussModel＝fit_gauss_model(RealFaultDataset)

5:while Loss<LossPre do

6：for i in 0to number do

7：Z＝sampling_from(GaussModel)

8：Code＝encoder(Z)

9：GeneratedSampleDataset[i]＝decoder(Code)

10：end for

11：RealSample＝sampling_from(RealFaultDataset)

12：GeneratedSample＝sampling_from(GeneratedSampleDataset)

13：train_discriminator(RealSample,GeneratedSample)

14：update_encoder_and_decoder()

15：LossPre＝Loss

16：Loss＝calculate_loss()//函数返回值小于等于1

17：end while

18：return GeneratedSampleDataset

S3、训练故障预测模型，进行故障预测

在步骤S2中产生了生成故障数据集D_{fault_generated}，数据集中的样本构成故障预测输入输出数据对：

x_T∈D_{fault_generated}

y_T＝1

这些数据对与真实数据集D_{full_real}一起共同构成了故障预测模型的数据集，记作D_full。

请参阅图3，故障预测模型由一个LSTM层和两个全连接层构成。

模型的输入是D_full中的x_T，即T时间点之前的R个数据点构成的向量。

模型的输出是T+t₁时间点是否会发生故障。

模型的损失函数使用交叉熵函数。

模型的优化器使用Adam优化器，训练直至算法收敛为止，即损失不再下降为止。

模型训练完成后，将当前时间点的x_T输入模型，输出就是预测视野t₁后的时间点发生故障的概率。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种基于数据增强的数据中心故障预测方法，其特征在于，首先进行数据集预处理，将数据点归一化，得到故障预测模型的输入输出数据对，确定与故障相关的输入向量x构成真实故障数据集D_{fault_real}；然后建立数据增强模型，对真实故障数据集D_{fault_real}进行数据增强，生成器产生样本，用生成样本和真实样本更新判别器，判别器如果能分辨生成样本和真实样本，则固定判别器，更新生成器重新产生样本，如不能够分辨生成样本和真实样本，则进行数据合并，生成数据增强后的数据集D_full；最后使用数据集D_full训练故障预测模型至模型损失无法下降，按数据集D_full的数据格式要求将当前时间点的数据输入模型，输出就是预测视野后的时间点发生故障的概率,实现故障预测。

2.根据权利要求1所述的基于数据增强的数据中心故障预测方法，其特征在于，数据集预处理中，假设预测视野为t₁，使用时间点t以及之前的R-1个数据作为预测依据，L(t)为t时间点的数据点，故障预测模型的输入输出数据对为：

x_T＝(L(T-R+1),L(T-R+2),......,L(T))

y_T＝B(T+t₁)

其中，T为某个时间点，B(t)为二值函数，所有的输入输出数据对构成真实数据集将y＝1的输入输出数据对取出，输入向量x构成了构成真实故障数据集D_{fault_real}，输入向量记作x_real。

3.根据权利要求2所述的基于数据增强的数据中心故障预测方法，其特征在于，二值函数B(t)为：

4.根据权利要求1所述的基于数据增强的数据中心故障预测方法，其特征在于，数据增强模型包括生成器和判别器，对真实故障数据集进行数据增强中，生成器的输入从高斯混合模型中进行采样，具体为：

首先根据D_{fault_real}建立高斯混合模型，采取EM算法确定高斯混合模型的参数，得到一个高斯混合模型P_G(z)；

然后从P_G(z)中采样得到z作为生成器的输入，生成器的输出是与x同维的向量，记作G(z)，作为生成故障样本；

输出的样本构成生成故障数据集D_{fault_generated}，D_{fault_generated}和D_{fault_real}共同构成判别器的输入数据集；如果输入的是D_{fault_generated}中的数据,判别器输出0，即判断样本为假；如果输入的是D_{fault_real}中的数据，判别器输出1，即判断样本为真。

5.根据权利要求4所述的基于数据增强的数据中心故障预测方法，其特征在于，生成器采用自编码器模型，包括编码器和解码器，编码器由一个单层的LSTM层构成，输入是P_G(z)中采样得到的z，输出是编码器提取出的特征向量；解码器由一个单层的LSTM层构成，输入是编码器提取出的特征向量，输出是与x_real同维的向量；

判别器由一个单层的LSTM层构成，输入是从D_{fault_real}和D_{fault_generated}中采样得到的样本。

6.根据权利要求1或4所述的基于数据增强的数据中心故障预测方法，其特征在于，数据增强模型的目标函数为：

其中，m是样本总个数，θ是生成器的参数，w是判别器的参数，f()代表判别器的输入输出映射，g()代表生成器的输入输出映射。

7.根据权利要求1所述的基于数据增强的数据中心故障预测方法，其特征在于，数据增强模型的训练过程如下：

首先训练生成器产生生成故障数据集，然后训练判别器识别数据是真实或生成的；再固定判别器的参数，训练生成器产生判别器无法识别的样本；然后固定生成器的参数，训练判别器识别数据是真实的或是生成的；依此循环，直至算法收敛，即判别器无法分辨数据是真实或生成的；模型优化器使用RMSprop优化器。

8.根据权利要求1所述的基于数据增强的数据中心故障预测方法，其特征在于，故障预测模型由一个LSTM层和两个全连接层构成；模型的输入是故障预测模型的数据集D_full中的x_T，即T时间点之前的R个数据点构成的向量；模型的输出是T+t₁时间点是否会发生故障；模型的损失函数使用交叉熵函数；模型的优化器使用Adam优化器，训练直至算法收敛为止，即损失不再下降为止。

9.根据权利要求8所述的基于数据增强的数据中心故障预测方法，其特征在于，数据增强模型训练完成后，故障数据集D_{fault_generated}中的样本构成故障预测输入输出数据对如下：

x_T∈D_{fault_generated}

y_T＝1

其中，数据对与真实数据集D_{full_real}共同构成故障预测模型的数据集D_full。

Images