CN110471820A

CN110471820A - 一种基于循环神经网络的云存储系统磁盘故障预测方法

Info

Publication number: CN110471820A
Application number: CN201910715416.4A
Authority: CN
Inventors: 王刚; 刘冬实; 王博; 许畅; 刘晓光
Original assignee: Nankai University
Current assignee: Nankai University
Priority date: 2019-08-05
Filing date: 2019-08-05
Publication date: 2019-11-19
Anticipated expiration: 2039-08-05
Also published as: CN110471820B

Abstract

一种基于循环神经网络的云存储系统磁盘故障预测方法，适用于解决基于磁盘SMART属性预测磁盘故障问题。本发明的方法包括：1、设定网络结构：包括输入层、隐含层、健康度层和输出层；2、前向计算：将SMART属性、上一时刻隐含层和输出层作为输入，计算迁移率或误迁移率；3、反向计算：若磁盘生命期未结束，将健康度层误差向隐含层和输入层反馈，反之计算输出层的反馈；4、模型迭代：迭代至收敛，输出权重矩阵；5、模型测试：读入权重矩阵，计算迁移率和误迁移率数值，统计准确率、误报率和提前预测时间。本发明能够有效提高递归神经网络在迁移率和误迁移率上的性能表现，同时在准确率等指标上取得性能提升，更有利于数据迁移和保护。

Description

一种基于循环神经网络的云存储系统磁盘故障预测方法

技术领域

本发明属于磁盘故障预测技术领域，特别涉及一种基于数据迁移率和误迁移率的递归神经网络方法。

背景技术

随着大数据时代的到来，全球数据总量大幅增加，大型数据中心在人们的日常生活中起到了越来越重要的作用。磁盘作为目前信息的主要存储载体，发挥着不容忽视的作用。尽管磁盘个体安全性很高，但在拥有成千上万块磁盘的大型数据中心中，磁盘故障仍然屡见不鲜。磁盘故障会使实际数据中心的系统可靠性和可用性面临挑战，甚至会导致磁盘存储数据的丢失问题，对企业和用户造成大量损失。

传统的被动容错一般使用副本或纠删码技术等冗余机制来应对可能发生的磁盘故障问题，这无疑会增加系统的构建成本，且在对磁盘故障进行处理的过程中，会导致系统的服务能力的降低。因此对磁盘故障进行预测，即主动容错机制，便体现出了它的价值。对磁盘故障进行主动预测，根据预警对危险数据进行迁移操作，不仅可以减少系统的备份冗余开销，而且可以减少发生数据丢失的情况，大幅提高存储系统的性能。

SMART(Self-Monitoring,Analysis and Reporting Technology)技术广泛应用于现在的磁盘当中，实现对磁盘的一些重要属性的实时监测，为磁盘故障预测提供了便利条件。通过统计学或机器学习的方法，利用磁盘SMART属性建立模型，为磁盘故障预测提供了可能。

前人研究的磁盘故障预测模型大多以故障预测准确率和误报率为权衡指标，只能区分磁盘为健康磁盘或故障磁盘，并根据模型预测结果，为所有预测出的故障磁盘的预警迁移操作分配相同的系统资源。因为预测出的不同故障磁盘发生故障的紧急程度不同，如此分配系统资源必然会使用很多系统资源，影响系统效果。

后来有工作尝试对磁盘剩余寿命进行预测，根据不同寿命区间设置相应的迁移速率。预测方法根据预测到相应区间的准确率来评价模型性能，但仍把每条样本看成单独的输入实例，没有关注同一个磁盘对应样本数据的关联性，且预测性能不够理想，不能满足实际数据中心的要求。

故障迁移率和误迁移率的新评价指标，从数据迁移角度建立磁盘故障预测模型。新评价指标的目标不仅仅是预测出危险数据，而是对危险数据进行及时的迁移和保护，更符合实际数据中心的需求，提高了云存储系统的可靠性和可用性。

递归神经网络模型(ReccurentNeural Network，RNN)具有反馈系统，而不是单纯的正向传播机制。因此，由于特殊的网络结构，递归神经网络特别适合模拟时序数据，用于磁盘故障预测可以充分体现磁盘健康度的时序性特征。

前人研究中以故障预测准确率和误报率为评价指标的递归神经网络模型包括输入层、隐含层、输出层和相应层与层之间的权重矩阵。输入层包括w(t)和s(t-1)两部分。w(t)为当前输入的磁盘SMART记录数据，即RNN模型的输入数据；s(t-1)为隐层向输入层的反馈，其中包含了当前时刻之前的信息，是RNN模型时序性的体现。s(t)为隐层数据，y(t)为输出层数据。输出层被划分为level1到level6六个结点，代表6个预期剩余寿命区间，结点值代表RNN模型将当前SMART数据预测到相应预期剩余寿命区间的概率。U、W是输入层和隐层之间的权重矩阵，V是隐层和输出层之间的权重矩阵。RNN模型的主要输出就是这三个权重矩阵，用于根据SMART数据对磁盘故障进行预测。

用下标i表示对w(t)的遍历，j表示对隐层s(t)的遍历，l表示对s(t-1)的遍历，k表示对输出层的遍历。

RNN模型的原理是最大化公式似然函数：

据此得出模型各部分的计算公式。在前向计算过程中，隐层s(t)：

输出层y(t)：

其中

把上面的表示写成向量形式：

s(t)＝f(Uw(t)+Ws(t-1))

y(t)＝g(Vs(t))

在反向传播过程中，各权重矩阵更新公式为：

V(t+1)＝V(t)+α·e_o(t)·s(t)^T-β·V(t)

U(t+1)＝U(t)+α·e_h(t)·w(t)^T-β·U(t)

W(t+1)＝W(t)+α·e_h·s(t-1)^T-β·W(t)

其中

e_o(t)＝d(t)-y(t)

e_h(t)＝d_h(e_o(t)^T·V,t)

d_hj(x,t)＝x·s_j(t)·(1-s_j(t))

公式中α为学习率，β为正规化参数，e为误差向量。d(t)为目标值，对于目标预期寿命剩余区间其值为1，对于其他预期剩余寿命区间其值为0。

在训练过程中，使用反向传播方法相比使用一般的反向传播可以记录更多的时序信息，取得更优的训练效果。BPTT结构应用于隐层s(t)向输入层s(t-1)反馈的过程中，将误差传递的更远，类似于将原来的网络折叠打开，可以更好的保存历史信息。相比RNN训练方法，增加BPTT结构后，各权重矩阵计算公式调整如下：

e_h(t-τ-1)＝d_h(e_h(t-τ)^TW,t-τ-1)

V(t+1)＝V(t)+α·e_o(t)·s(t)^T-β·V(t)

尽管前人研究中的RNN模型可以达到97.71％的预测准确率和0.06％的误报率，模型在数据迁移上的性能表现较差，仅可达到79.92％的迁移率和0.01％的误迁移率。

发明内容

本发明的目的是针对现有的递归神经网络模型在迁移率和误迁移率性能上的不足，提供一种新型的基于迁移率和误迁移率评价指标的递归神经网络模型，能够有效地提高模型在迁移率和误迁移率指标上的性能表现，同时在准确率、误报率和故障提前预测时间等原始评价指标上也有一定的性能提升。

为实现上述发明的目的，本发明采用的技术方案是：

一种基于循环神经网络的云存储系统磁盘故障预测方法，主要步骤包括：

S1，设定网络结构，包括输入层、隐含层、健康度层和输出层四层，初始化网络；

S2，前向计算时，对每条SMART记录，将SMART属性、上一时刻隐含层和输出层节点值作为输入，根据层与层之间的权重矩阵，计算隐含层和健康度层节点值，选取隐含层中数值最大的节点，根据其对应的健康度区间和预定义好的迁移速率计算迁移率或误迁移率数值；

S3，反向计算时，对同一磁盘，若磁盘生命期未结束，对每条SMART记录，将健康度层的误差向隐含层和输入层反馈，更新权重矩阵，用隐含层和输出层节点值代替隐含层作为下一时刻输入，反之，计算输出层到健康度层、隐含层和输入层的反馈，并将输出层节点值清零；

S4，全部磁盘数据计算结束，完成一次迭代，重复迭代多次至网络收敛，训练结束，输出当前层与层之间权重矩阵数值；

S5，测试时，读入训练得到的权重矩阵，初始化网络，前向计算迁移率和误迁移率数值，同时可统计准确率、误报率和故障提前预测时间等指标。

其中，步骤1所述的健康度层是指该层每个节点对应一个磁盘预期剩余寿命区间，反应磁盘的健康程度；磁盘预期剩余寿命区间是指磁盘从被预测出可能发生故障，到实际发生故障的时间。

步骤2所述的迁移率和误迁移率，其中迁移率是指存在潜在故障磁盘上及时迁移的数据的比例；误迁移率是指健康磁盘上数据被误迁移的比例；迁移速率是指根据磁盘剩余寿命区间设定的磁盘每小时数据迁移量，对于健康磁盘对应的剩余寿命区间，迁移速率为0，对于故障磁盘对应的剩余寿命区间，根据不同的区间设定不同的速率。

步骤3所述的磁盘生命期结束是指读入训练集合中一块磁盘的最后一条SMART记录。

步骤5所述的准确率、误报率和故障提前预测时间，其中准确率是指成功预测出的故障磁盘占故障磁盘总数的比例；误报率是指错误预测成故障磁盘的健康磁盘占健康磁盘总数的比例；故障提前预测时间是指故障磁盘被提前预测出来的平均时间。

附图说明

图1是本发明的基于迁移率和误迁移率的递归神经网络模型流程图；

图2是本发明的基于迁移率和误迁移率的递归神经网络模型示意图；

图3是本发明的递归神经网络在W数据集上性能的ROC曲线图。

具体实施方式

为便于理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，下述实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的方法思想和实施例，本领域的技术人员所获得的其他实施例，都属于本发明的保护范畴。

本发明基于循环神经网络的云存储系统磁盘故障预测方法，包括以下步骤：

步骤1，设定网络结构，包括输入层、隐含层、健康度层和输出层四层，初始化网络；

步骤2，前向计算时，对每条SMART记录，将SMART属性、上一时刻隐含层和输出层节点值作为输入，根据层与层之间的权重矩阵，计算隐含层和健康度层节点值，选取隐含层中数值最大的节点，根据其对应的健康度区间和预定义好的迁移速率计算迁移率或误迁移率数值；

步骤3，反向计算时，对同一磁盘，若磁盘生命期未结束，对每条SMART记录，将健康度层的误差向隐含层和输入层反馈，更新权重矩阵，用隐含层和输出层节点值代替隐含层作为下一时刻输入，反之，计算输出层到健康度层、隐含层和输入层的反馈，并将输出层节点值清零；

步骤4，全部磁盘数据计算结束，完成一次迭代，重复迭代多次至网络收敛，训练结束，输出当前层与层之间权重矩阵数值；

步骤5，测试时，读入训练得到的权重矩阵，初始化网络，前向计算迁移率和误迁移率数值，同时可统计准确率、误报率和故障提前预测时间等指标。

实施例1：

如图2所示，设定网络结构时，我们设置输入层节点数为19，其中13个节点为输入的SMART属性，其余6个节点各用3个表示前一时刻迁移率和误迁移率的数值。输入SMART属性不足13个时，剩余节点用随机初始值替代。隐含层和健康度层各六个节点，输出层两个节点，分别表示当前时刻迁移率和误迁移率数值。对于健康度层的六个节点，分别对应六个剩余寿命区间，每个剩余寿命区间对应相应的迁移速率。剩余寿命区间划分和迁移率设定如表1所示，其中m为磁盘存储容量。

表1

健康度	剩余寿命区间(小时)	迁移速率(每小时)
			1	0-72	m/24
2	73-144	m/72
			3	145-240	m/144
4	241-360	m/240
			5	361-500	m/360
6	>500	0

我们用(-0.1,0.1)间的随机数初始化网络节点和节点间权重矩阵的数值。对应图1和图2，对每条SMART记录，前向计算时，我们根据输入层节点和层与层之间权重矩阵数值，计算隐含层和健康度层节点值。因为健康度层节点值计算使用softmax函数，所以节点数值表示预测为该节点的概率。因此，我们选取健康度层中数值最大的节点，如图2中的节点3，并在表1中找到其对应的迁移速率m/144，计算出当前SMART记录对应的数据迁移量，对于故障磁盘记录，我们累加此数值到输出层中表示迁移率的节点，对于健康磁盘记录，我们累加此数值到输出层中表示误迁移率的节点。在误差反馈过程中，在磁盘生命期结束前，我们按照背景技术中描述的原始递归神经网络方法，将健康度层误差反馈到隐含层和输入层，并更新层与层之间的权重矩阵。不同点是我们用迁移率和误迁移率的数值代替了原本隐含层向输入层的反馈。在磁盘生命期结束时，我们将输出层的误差反馈，并将输出层节点值清零，其中迁移率的目标值为1，误迁移率的目标值为0，误差计算公式与健康度层相同。全部磁盘数据计算结束，完成一次迭代，重复迭代多次至网络收敛，训练结束，输出当前层与层之间权重矩阵。测试时读入训练得到的权重矩阵，初始化网络节点和权重矩阵值，前向计算迁移率和误迁移率数值，同时可统计预测准确率、误报率和故障提前预测时间等评价指标。

实施例2：

我们在一个来自实际数据中心的数据集(用“W”表示)上测试递归神经网络方法性能。W数据集包括22,962块健康磁盘和433块故障磁盘，采样区间分别为7天和20天。健康磁盘和故障磁盘各有3,837,568和158,150条SMART记录，每条记录包含13个SMART属性。在数据集划分上，我们按照7:1.5:1.5的比例将数据集划分为训练集、验证集和测试集。我们对比了本发明的递归神经网络方法和原始递归神经网络方法在各个指标下的性能，如表2所示。

表2

模型	准确率(％)	误报率(％)	提前预测时间(h)	迁移率(％)	误迁移率(％)
						原始	95.83	0.03	255	79.92	0.01
本发明	100.0	0.02	263	98.06	0.00

可以看出，本发明的递归神经网络方法相比原始方法在除误迁移率外的各项评价指标上均取得了性能提升，而小于千分之一的误迁移率增加并不会对云存储系统的性能产生明显影响。本发明的递归神经网络方法在W数据集上的ROC曲线如图3所示。

为了测试模型在中小数据集上的性能，我们按照10％，25％，50％和75％的比例对W数据集的健康磁盘和故障磁盘数据分别进行选取，模拟新的数据集，分别用A，B，C和D表示，并在其上测试了方法性能。实验结果如表3所示。

表3

数据集	准确率(％)	误报率(％)	提前预测时间(h)	迁移率(％)	误迁移率(％)
						A	100.0	0.02	263	98.06	0.40
B	100.0	0.04	263	97.89	0.24
						C	100.0	0.04	263	98.06	0.30
D	100.0	0.02	263	97.83	0.12

可以看出，随着数据集规模的减小，方法性能会有轻微下降，但本发明的递归神经网络方法在中小规模数据集上仍可以取得很好的性能。

实施例3：

为了验证方法在其他型号磁盘上的性能，我们在来自另一个实际数据中心的两个数据集(分别用“S”和“M”表示)上对方法性能进行了测试。S和M数据集信息描述如表4所示。

表4

每条SMART记录包含9个SMART属性。数据集划分方式与W数据集相同，方法性能如表5所示。

表5

数据集	准确率(％)	误报率(％)	提前预测时间(h)	迁移率(％)	误迁移率(％)
						S	100.0	0.01	570	98.58	0.02
M	100.0	0.02	528	98.75	0.03

可以看出本发明的递归神经网络方法在其他型号磁盘上也可以取得较好的性能。

实际数据中心中通常包含多个机房和多种型号的磁盘，尽管为每种型号磁盘单独建立模型会取得更好的效果，但实际中某些型号磁盘可能不具有足够的数据用于建立模型。因此我们模拟了以下两种情形：(1)一种型号磁盘有足够的数据，其他型号磁盘数据量不足；(2)每种型号磁盘数据量不足，但将各种型号磁盘混合后有足够的数据量。

为了测试方法在以下两种情况下的性能，我们用S数据集作为训练集，以M数据集作为测试集(表示为S->M)或用M数据集作为训练集，以S数据集作为测试集(表示为M>S)来模拟情形1。实验结果如表6所示。

表6

数据集	准确率(％)	误报率(％)	提前预测时间(h)	迁移率(％)	误迁移率(％)
						S->M	100.0	0.20	528	98.75	0.16
M>S	100.0	0.00	570	99.78	0.00

为了模拟情形2，我们将S和M数据集的健康磁盘和故障磁盘数据分别按照25％的比例进行抽取，并将抽取后的数据混合构成新的数据集，用MS表示。我们以MS为训练集，分别以S，M和MS为测试集对模型性能进行测试，分别用MS->S，MS->M和MS->MS表示。实验结果如表7所示。

表7

数据集	准确率(％)	误报率(％)	提前预测时间(h)	迁移率(％)	误迁移率(％)
						MS->M	100.0	0.44	528	100.0	0.44
MS->S	100.0	0.00	570	100.0	0.00
						MS->MS	100.0	0.01	551	99.22	0.00

有表6和表7的实验结果可以看出，本发明的递归神经网络方法在以上两种情形均可取得很好的性能。

以上对本发明的基于迁移率和误迁移率的递归神经网络方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种基于循环神经网络的云存储系统磁盘故障预测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于：步骤1所述的健康度层是指该层每个节点对应一个磁盘预期剩余寿命区间，反应磁盘的健康程度。

3.根据权利要求2所述的方法，其特征在于：磁盘预期剩余寿命区间是指磁盘从被预测出可能发生故障，到实际发生故障的时间。

4.根据权利要求1所述的方法，其特征在于：步骤2所述的迁移率和误迁移率包括：

迁移率：存在潜在故障磁盘上及时迁移的数据的比例；

误迁移率：健康磁盘上数据被误迁移的比例。

5.根据权利要求1所述的方法，其特征在于：步骤2所述的迁移速率是指根据磁盘剩余寿命区间设定的磁盘每小时数据迁移量，对于健康磁盘对应的剩余寿命区间，迁移速率为0，对于故障磁盘对应的剩余寿命区间，根据不同的区间设定不同的迁移速率。

6.根据权利要求1所述的方法，其特征在于：步骤3所述的磁盘生命期结束是指读入训练集合中一块磁盘的最后一条SMART记录。

7.根据权利要求1所述的方法，其特征在于：步骤5所述的准确率、误报率和故障提前预测时间包括：

准确率：成功预测出的故障磁盘占故障磁盘总数的比例；

误报率：错误预测成故障磁盘的健康磁盘占健康磁盘总数的比例；

故障提前预测时间：故障磁盘被提前预测出来的平均时间。