CN112115004B - 一种基于反向传播贝叶斯深度学习的硬盘寿命预测方法 - Google Patents

Abstract

一种基于反向传播贝叶斯深度学习的硬盘寿命预测方法，对硬盘的SMART参数进行优选，筛选出具有预测性能的SMART参数，然后进行标准化处理，再将标准化处理后的数据划分为序列样本；提取硬盘的历史时序信息和未来时序特征；将历史时序信息和未来时序特征输入至线性全连接层，并调整激活函数与学习率，完成剩余寿命预测网络的构建；根据训练后分布参数生成剩余寿命预测网络的权重参数及偏置参数，然后进行剩余寿命预测；本发明融合硬盘的多维度特征，充分利用硬盘数据的长时依赖性，提取硬盘数据中的时序信息，利用深度学习框架，在实现高精度剩余寿命预测的同时，量化预测的不确定性，输出对硬盘维修决策具有更高指导意义的预测置信度。

Description

一种基于反向传播贝叶斯深度学习的硬盘寿命预测方法

技术领域

本发明涉及数据中心硬盘寿命预测方法，具体为一种基于反向传播贝叶斯深度学习的硬盘寿命预测方法。

背景技术

数据中心是现代信息系统的核心，而硬盘驱动器(简称硬盘)则作为这些海量数据的最主要存贮载体，它在商业领域的数据备份及高性能数据中心的计算存储中占据着至关重要的地位。一旦硬盘发生坏损，不但会造成重要数据的丢失还有可能会造成整个存储计算系统当机，给个人或企业造成不可估量的财产损失。因此，对硬盘的故障进行提前预警排查一直是各大数据中心关注的焦点。

近年来，以机器学习、深度学习为代表的数据驱动的智能预测算法在硬盘剩余寿命预测中逐渐发挥作用。与传统寿命预测方法需要进行数据采集、健康指标构建、健康状态划分和寿命预测不同，基于深度学习的寿命预测模型将硬盘寿命预测简化为两步骤：硬盘监测数据的获取和剩余寿命预测。在深度学习中，剩余寿命预测被看作一个回归任务，只需将硬盘监测数据作为模型输入，硬盘剩余寿命作为输出即使用深度学习算法进行训练和验证。

然而，由于硬盘监测数据受到噪声干扰带来的数据不确定性、预测模型本身的模型不确定性以及硬盘运行环境的随机性导致硬盘的剩余寿命预测是具有不确定性的。而一般的深度学习方法只能对剩余寿命给出一个确定性的点估计，无法量化这种预测的不确定性。

发明内容

针对现有技术中存在的不足，本发明的目的是提供了一种基于反向传播贝叶斯深度学习的寿命预测方法，该方法解决了一般的深度学习寿命预测方法无法量化寿命预测不确定性的问题。

为实现上述目的，本发明是通过以下技术方案来实现：

一种基于反向传播贝叶斯深度学习的硬盘寿命预测方法，

采用单调性以及SMART参数F与时间T的相关性为指标对硬盘的SMART参数进行优选，筛选出具有预测性能的SMART参数，然后进行标准化处理，再将标准化处理后的数据划分为序列样本；

通过正向的门控循环神经网络提取硬盘的历史时序信息，通过反向的门控循环神经网络提取硬盘的未来时序特征；将历史时序信息和未来时序特征输入至线性全连接层，并调整激活函数与学习率，完成剩余寿命预测网络的构建；

采用贝叶斯变分推断方法估计寿命预测网络的分布参数，并训练，生成剩余寿命预测网络的权重参数及偏置参数，然后进行剩余寿命预测；

将序列样本采用剩余寿命预测网络实现对硬盘寿命的预测。

本发明进一步的改进在于，SMART参数F与时间T的相关性Corr(F,T)：

其中，

其中，N为时间的总数，F(t_i)为t_i时刻的SMART参数，

为F的均值，t为任意一个时刻，

为t的均值。

本发明进一步的改进在于，单调性Mon(F)＝|Z|；

检验统计量Z为：

其中，预测特征S为：

其中，t_j表示不同于t_i时刻的时间点，F(t_j)为t_j时刻的SMART参数；

其中

本发明进一步的改进在于，具有预测性能的SMART参数为[F₁ F₂ F₃ F₄ F₅]；其中，F₁为磁盘坏道，F₂为读扇区计数，F₃为写扇区计数，F₄为读错误计数，F₅为写错误计数。

本发明进一步的改进在于，对具有预测性能的SMART参数采用Z-score方法进行标准化处理。

本发明进一步的改进在于，通过正向的门控循环神经网络提取硬盘的历史时序信息的具体过程为：

使用重置门r_t对历史状态信息h_t-1进行筛选，筛选出的有效历史信息和由当前时刻的输入x_t生成的候选隐藏状态

共同经过更新门z_t控制，更新和输出循环单元新的状态信息h_t，从而得到历史时序信息。

本发明进一步的改进在于，通过训练样本D＝(X_i,y_i)采用反向传播算法对对分布参数θ＝(μ,σ)进行训练；其中，X_i为序列样本，y_i为剩余寿命，μ为均值，σ为方差。

与现有技术比较，本发明的有益效果为：

1)本发明基于硬盘原始SMART数据的单调性和其与硬盘寿命之间的相关性优选的SMART参数能够更好的反映硬盘的退化过程，有助于预测算法更加高效的对硬盘剩余寿命进行预测；

2)本发明采用的门控循环网络单元可以通过更新门高效的提取硬盘数据的时序特征，捕捉硬盘数据的长时依赖性；

3)本发明采用的双向循环网络结构可以将历史和未来的时序趋势相结合，能更好的学习硬盘的寿命时序特征，提高预测的精度；

4)本发明采用的贝叶斯变分推断方法，可以有效的将传统预测网络的确定性点参数转变为具有不确定性的随机变量，能够有效量化模型的不确定性；

5)本发明设计的剩余寿命预测网络，可以实现对硬盘剩余寿命这个随机变量的预测，量化预测的不确定性；

6)本发明的硬盘寿命预测方法精度高、可靠性好，在兼顾深度学习的高预测精度的同时，能够给出预测结果的不确定性分布，量化预测结果的不确定性，为硬盘的维修更换决策提供更加科学的建议。

进一步的，本发明采用的硬盘寿命归一化方法，能够避免由于不同硬盘寿命差距过大而导致模型出现欠拟合的问题。

附图说明

图1为本发明提出的基于反向传播贝叶斯深度学习的硬盘寿命预测方法的流程图。

图2为标准化的硬盘优选SMART参数。

图3为门控循环单元的结构简图。

图4双向门控循环网络的结构简图。

图5为网络训练时网络参数的分布示意图。

图6为1000次预测的剩余寿命预测结果频数图。

图7为最终的剩余寿命预测结果。

具体实施方式

为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

在工程实践中，预测不确定性的量化是十分有必要的，因为需要以此为依据得到剩余寿命预测的置信度，从而给出更为科学的硬盘维修更换决策。因此，本发明使用一种基于反向传播贝叶斯深度学习的硬盘寿命预测方法，使用深度学习的框架，并通过贝叶斯变分推断量化硬盘剩余寿命预测的不确定性。

下面结合具体的事例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。

参照图1所示，本发明提供了一种基于反向传播贝叶斯深度学习的硬盘寿命预测方法为：使用单调性和与时间相关性为指标对硬盘的SMART参数进行优选，筛选出具有良好预测性能的SMART参数，对筛选后的SMART参数进行标准化处理，再使用移动窗口将标准化处理后的数据划分为序列样本；通过双向门控循环网络和一个全部连接层搭建寿命预测网络框架；使用贝叶斯变分推断方法估计寿命预测网络的参数分布，构造具有不确定性的贝叶斯深度预测网络；将序列样本采用贝叶斯深度预测网络实现对硬盘寿命的预测并量化预测的不确定性以评估预测结果的可靠性。

本发明利用基于贝叶斯深度学习的预测模型预测硬盘剩余寿命按以下具体步骤实施：

(1)特征优选；

首先，采集硬盘SMART参数，对采集的硬盘SMART参数进行性能评估，选取出对硬盘退化过程较为敏感的SMART参数。选用两种常见的评价指标——相关性与单调性，并构建综合指标对特征的性能进行评估。

硬盘的全寿命SMART参数设为F＝[F(t₁),F(t₂),...F(t_N)]，F(t₁)为t₁时刻的SMART参数，F(t₂)为t₂时刻的SMART参数，F(t_i)为t_i时刻的SMART参数，时间序列为T＝[t₁,t₂,...t_N]，t₁为t₁时刻，t₂为t₂时刻，t_N为硬盘最终寿命。硬盘随着运行时间的推移会出现逐渐退化的趋势，因此，预测性能良好的特征与运行时间有明显的相关关系，即相关性Corr(F,T)：

其中，

其中，N为时间的总数，F(t_i)为t_i时刻的SMART参数，

为F的均值，t为任意一个时刻，

为t的均值。

在实际中，硬盘的故障部件是无法自愈的，这意味着硬盘的退化是不可逆的，因此，一个合适的预测特征应该具备单调递增或单调递减的趋势，使用Mann-Kendall检验法进行度量，定义预测特征S为：

其中，S为预测特征，t_j表示不同于t_i时刻的时间点，F(t_j)为t_j时刻的SMART参数。

其中

检验统计量Z为：

序列单调性Mon(F)＝|Z|。

然后，使用相关性和单调性综合筛选出适合硬盘寿命预测的SMART数据，最后选取出磁盘坏道、读扇区计数、写扇区计数、读错误计数和写错误计数五个SMART参数[F₁ F₂ F₃F₄ F₅]。其中，F₁为磁盘坏道，F₂为读扇区计数，F₃为写扇区计数，F₄为读错误计数，F₅为写错误计数。

对具有预测性能的SMART参数使用Z-score方法获得标准化的硬盘SMART参数，并将硬盘的剩余寿命归一化至[0,1]区间作为预测模型的标签y。

最后，将每15个连续时间的标准化后的SMART参数作为一个序列样本X_i，将第15个时间点的剩余寿命y_i作为该样本的标签。生成样本之后，将样本随机打乱作为预测模型的输入。

(2)剩余寿命预测网络框架构建；

首先，网络的第一层是一个正向的门控循环神经网络，通过正向的门控循环神经网络提取的硬盘数据的历史时序信息，具体过程为：使用重置门r_t对历史状态信息h_t-1进行筛选，筛选出的有效历史信息和由当前时刻的输入x_t生成的候选隐藏状态

共同经过更新门z_t控制，更新和输出循环单元新的状态信息h_t，从而得到历史时序信息；

z_t＝σ(w_xzx_t+w_hzh_t-1+b_z)

r_t＝σ(w_xrx_t+w_hrh_t-1+b_r)

式中：σ为sigmoid函数，x_t为t时刻的输入，h_t-1为t-1时刻的隐藏状态，w和b分别为网络的权重参数和偏置参数(统称为网络参数)，⊙为Hadamard积。

其次，网络的第二层是一个反向的门控循环神经网络，通过反向的门控循环神经网络从后至前提取硬盘的未来时序特征；

然后，将两向的历史时序信息和未来时序特征联接，输入至网络的最后一层，即线性全连接层；

最后，调整网络的激活函数与学习率等超参数，完成剩余寿命预测网络框架的构建。

(3)网络参数分布的估计：

首先，将步骤(2)构建的预测网络框架中确定性的网络的权重参数w和偏置参数b视作具有不确定性分布的随机参数(以下过程以网络的权重参数w为例进行说明)；

其次，将步骤(1)中的序列样本X_i和剩余寿命y_i作为训练样本D＝(X_i,y_i)，求取网络的权重参数w的后验概率P(w|D)，由于后验概率难以直接获得，使用变分概率分布q_θ(w|D)逼近真实后验概率分布p(w|D)，其中q_θ(w|D)是由分布参数θ＝(μ,σ)控制的高斯分布，μ为均值，σ为方差。通过最小化两个分布之间的Kullback-Leibler散度求解最优分布参数θ^*。

为变分自由能。又：

进一步的，为了避免复杂的积分计算，引入蒙特卡洛采样方法将变分自由能近似为：

其中，w⁽ⁱ⁾表示变分后验q(w⁽ⁱ⁾|θ)中的第i次蒙特卡洛采样的样本。

然后，蒙特卡洛近似后的变分自由能联合均方误差函数MSE作为网络的最终损失Loss：

其中，λ为变分自由能的损失权重，y_i为样本的实际标签，

为模型输出的预测值。

最后，使用反向传播算法对分布参数θ＝(μ,σ)进行训练。

进一步的，为了避免更新过程中标准差σ出现负值，令：

σ＝log(1+exp(ρ))

将网络的权重参数改写为：

其中，

为点乘运算，ε为高斯分布的噪声，满足q(ε)dε＝q(w|θ)dw。再令：

f(w,θ)＝logq_θ(w|D)-logp(w)p(D|w)

均值μ和方差ρ即可表示为：

再根据反向传播算法对分布参数进行更新：

μ←μ-αΔ_μ

ρ←ρ-αΔ_ρ

其中，α为模型的学习率。

(4)硬盘剩余寿命预测即预测不确定性估计：

首先，在每次预测之前，根据步骤(3)中训练得到的分布参数θ＝(μ,σ)随机生成剩余寿命预测网络的权重参数w及偏置参数b；

然后重复一千次预测，得到相应的预测结果，统计评估预测的不确定性：

其中，

为t时刻的剩余寿命预测均值，

为第i次的t时刻剩余寿命预测值，σ_yt为t时刻的剩余寿命预测标准差。

最后，网络预测的t时刻剩余寿命分布为以

为均值，

为方差的标准正态分布

其95％的置信区间为

以下给出一个具体应用实例过程，同时验证了本发明在工程应用中的有效性。

利用本发明所述方法，对硬盘剩余寿命预测具体过程如下：

(1)特征优选：

首先，为了找到硬盘SMART众多参数中适合剩余寿命预测的相关参数，计算各种参数的单调性和与时间的相关性。构造出综合指标，选取综合指标最高的前5项SMART参数作为硬盘剩余寿命的预测输入参数，包括：磁盘坏道(G-list)、读扇区计数(Read sectorcount)、读错误计数(Read error count)、写扇区计数(Write sector count)、写错误计数(Write error count)；

然后，对硬盘参数进行Z-score标准化处理，处理后的硬盘参数如图2所示，在将硬盘的剩余寿命进行归一化处理。

最后，以15为时间步长，将硬盘的数据构造成长度为15的时间序列样本，每个样本的标签为第15个时刻硬盘的剩余寿命。

(2)故障模式识别网络构建

在本发明中，如图3所示，使用门控循环单元提取硬盘数据的时序与特征，门控循环单元通过重置门对上一时刻的单元状态h_t-1进行重置和遗忘，再通过更新门实现对细胞单元状态的更新。

如图4所示，双向门控循环单元可以全面的提取硬盘数据的时序特征，正向网络层提取硬盘历史信息，反向网络层提取硬盘未来信息，然后将两向的信息连接为综合时序特征。

最后，经过一个线性全连接层，调整网络激活函数与学习率等超参数，完成剩余寿命预测网络框架的构建

(3)网络参数分布的估计

在本发明中，使用贝叶斯变分推断方法和蒙特卡洛采样法对预测模型的网络参数分布进行估计，使用标准高斯分布逼近网络参数的真实分布。使用训练样本对模型进行训练，在训练过程中，如图5所示，阴影部分表示模型的真实参数分布，实线即为变分推断方法估计的参数分布，通过最小化变分自由能，可以使实线的分布状态逐渐逼近阴影部分的分布状态。这样就可以将预测模型参数视作一个标准高斯分布的随机变量，在预测时即可通过分布的均值及标准差参数来生成预测模型的参数。

(4)硬盘剩余寿命预测即预测不确定性估计

首先，训练完成后网络的权重和偏置都是随机变量，训练确定了这些变量的均值及标准差，在每次预测时，都会根据这些分布参数生成网络的预测参数。

然后，对训练集的样本进行预测，为了量化预测的不确定性，要对相同的样本进行多次预测，由于每次预测时网络的样本都是重新随机生成的，所以每次预测结果是不相同的，如图6中(a)、(b)和(c)所示，表示了1000次预测中在第1229.5、1304.5、1382小时时的剩余寿命预测结果频数图，预测结果大致成标准高斯分布。

统计计算预测结果的均值与方差，即可得到剩余寿命分布的预测，如图7所示，X轴为时间轴，Y轴为剩余寿命轴，Z轴为概率密度轴。X-Y平面的实线为硬盘的真实剩余寿命，虚线为预测的剩余寿命，X-Z平面的曲线代表了当前时刻的预测的剩余寿命分布，分布曲线越高，说明预测不确定性越低，反之，不确定性越高。

通过实施以上四部分流程，由实施例结果表明，本发明提出的基于反向传播贝叶斯深度学习的硬盘寿命预测方法，不仅可以利用神经网络实现高精度的剩余寿命估计，同时弥补了一般神经网络只能进行点估计，无法量化预测不确定性的不足，实现了神经网络对硬盘剩余寿命分布的估计，量化了预测的不确定性，能够为硬盘的维修跟换决策提供更为科学的依据。

本发明在使用深度神经网络进行硬盘剩余寿命高精度预测的同时，得到剩余寿命的分布状态，量化预测的不确定性，给出预测的置信度。通过多次预测并统计得到预测的均值与标准差，量化寿命预测的不确定性，给定预测的剩余寿命分布。该方法可以融合硬盘的多维度特征，充分利用硬盘数据的长时依赖性，提取硬盘数据中的时序信息，利用深度学习框架，在实现高精度剩余寿命预测的同时，量化预测的不确定性，输出对硬盘维修决策具有更高指导意义的预测置信度。

Claims (5)

1.一种基于反向传播贝叶斯深度学习的硬盘寿命预测方法，其特征在于，

采用单调性以及SMART参数F与时间T的相关性为指标对硬盘的SMART参数进行优选，筛选出具有预测性能的SMART参数，然后进行标准化处理，再将标准化处理后的数据划分为序列样本；其中，SMART参数F与时间T的相关性Corr(F,T)：

其中，

其中，N为时间的总数，F(t_i)为t_i时刻的SMART参数，

为F的均值，t为任意一个时刻，

为t的均值；

通过正向的门控循环神经网络提取硬盘的历史时序信息，通过反向的门控循环神经网络提取硬盘的未来时序特征；将历史时序信息和未来时序特征输入至线性全连接层，并调整激活函数与学习率，完成剩余寿命预测网络的构建；

采用贝叶斯变分推断方法估计寿命预测网络的分布参数，并训练，生成剩余寿命预测网络的权重参数及偏置参数，然后进行剩余寿命预测；

将序列样本采用剩余寿命预测网络实现对硬盘寿命的预测；

其中，通过正向的门控循环神经网络提取硬盘的历史时序信息的具体过程为：

使用重置门r_t对历史状态信息h_t-1进行筛选，筛选出的有效历史信息和由当前时刻的输入x_t生成的候选隐藏状态

共同经过更新门z_t控制，更新和输出循环单元新的状态信息h_t，从而得到历史时序信息。

2.根据权利要求1所述的一种基于反向传播贝叶斯深度学习的硬盘寿命预测方法，其特征在于，单调性Mon(F)＝|Z|；

检验统计量Z为：

其中，预测特征S为：

其中，t_j表示不同于t_i时刻的时间点，F(t_j)为t_j时刻的SMART参数；

其中

。

3.根据权利要求1所述的一种基于反向传播贝叶斯深度学习的硬盘寿命预测方法，其特征在于，具有预测性能的SMART参数为[F₁ F₂ F₃ F₄ F₅]；其中，F₁为磁盘坏道，F₂为读扇区计数，F₃为写扇区计数，F₄为读错误计数，F₅为写错误计数。

4.根据权利要求1所述的一种基于反向传播贝叶斯深度学习的硬盘寿命预测方法，其特征在于，对具有预测性能的SMART参数采用Z-score方法进行标准化处理。

5.根据权利要求1所述的一种基于反向传播贝叶斯深度学习的硬盘寿命预测方法，其特征在于，通过训练样本D＝(X_i,y_i)采用反向传播算法对分布参数θ＝(μ,σ)进行训练；其中，X_i为序列样本，y_i为剩余寿命，μ为均值，σ为方差。

Images