CN111158964B

CN111158964B - 一种磁盘故障预测方法、系统、装置及存储介质

Info

Publication number: CN111158964B
Application number: CN201911174528.XA
Authority: CN
Inventors: 吴振宇; 施畅; 吕潇萌
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2019-11-26
Filing date: 2019-11-26
Publication date: 2021-06-08
Anticipated expiration: 2039-11-26
Also published as: CN111158964A

Abstract

本发明提供一种磁盘故障预测方法、系统、装置及存储介质，所述磁盘故障预测方法，包括：采集第二磁盘的SMART数据；利用第二磁盘的磁盘故障预测模型和采集到的所述第二磁盘的SMART数据，对所述第二磁盘进行故障预测；其中，所述第二磁盘的磁盘故障预测模型，是利用所述第二磁盘的正常样本的SMART数据对第一磁盘的磁盘故障预测模型进行迁移学习得到的；所述第一磁盘与所述第二磁盘型号不同。解决了真实场景中不同型号磁盘属性分布存在差异且新型号磁盘又不具有故障样本的问题，能在新型号磁盘零故障样本的情况下，训练得到新型号磁盘故障预测模型，并能在新型号磁盘发生故障之前及时进行预测。

Description

一种磁盘故障预测方法、系统、装置及存储介质

技术领域

本发明属于磁盘故障预测技术领域，具体是一种磁盘故障预测方法、系统、装置及存储介质。

背景技术

近年来，云计算技术的安全性及可靠性成为众多企业关注的焦点。云计算的基础是云存储，全世界接近90％的数据存储在数据中心的磁盘中。由于磁盘存储自身的机制，磁盘一旦损坏，存储在其中的数据将永久性丢失。尽管随着磁盘制造工艺的进步，磁盘发生故障的概率越来越低，但由于云存储中磁盘的数量规模极其庞大，云环境下的磁盘故障依然是多发的。因此，对磁盘进行早期的故障预测是十分必要的。

针对磁盘早期故障的预测，目前已有很多研究，但仍然存在下述挑战：

新型号磁盘零故障样本的情况下，难以进行早期故障预测模型的构建。对于不同厂商不同型号的磁盘而言，它们具有不同的属性分布，利用同一故障预测模型进行预测会导致预测结果不准确，大多研究对此提供的解决方案是迁移学习，采用不同型号磁盘的正常与故障样本数据进行训练，缩小不同样本间的差距，进而进行模型的迁移；而对于新型号的磁盘而言，往往具有较少的磁盘样本而且需要经过很长一段时间才会获得其故障样本，这在早期仅具有正常样本的情况下，不足以进行故障预测模型的迁移。

发明内容

本发明提供一种磁盘故障预测方法、系统、装置及存储介质，在早期磁盘仅具有正常样本的情况下，对磁盘故障实现预测。

本发明的技术方案如下：

第一方面，本发明提供一种磁盘故障预测方法，包括：

采集第二磁盘的SMART数据；

利用第二磁盘的磁盘故障预测模型和采集到的所述第二磁盘的SMART数据，对所述第二磁盘进行故障预测；

其中，所述第二磁盘的磁盘故障预测模型，是利用所述第二磁盘的正常样本的SMART数据对第一磁盘的磁盘故障预测模型进行迁移学习得到的；所述第一磁盘与所述第二磁盘型号不同。

更进一步地，所述利用所述第二磁盘的正常样本的SMART数据对第一磁盘的磁盘故障预测模型进行迁移学习，包括：

采集第一磁盘正常样本的SMART数据和故障样本的SMART数据作为第一源域数据，采集第二磁盘正常样本的SMART数据作为第一目标域数据；

利用所述第一源域数据进行第一生成网络训练，得到的第一生成网络作为第一磁盘的故障预测模型；

利用所述第一目标域数据和所述第一源域数据，对所述第一磁盘的故障预测模型进行迁移学习，得到第二磁盘的故障预测模型。

更进一步地，所述利用所述第一源域数据进行第一生成网络训练，得到的第一生成网络作为第一磁盘的故障预测模型之前，还包括：对所述第一磁盘正常样本的SMART数据和故障样本的SMART数据进行标注处理，分别标注为0和1作为标签。

更进一步地，所述利用第一源域数据进行生成网络训练，得到的生成网络作为第一磁盘的故障预测模型，包括：

从所述第一源域数据中提取出表征第一磁盘故障的SMART数据作为特征数据；

对所述特征数据进行过采样，增加所述第一源域数据中第一磁盘故障样本的SMART数据；

利用所述第一源域数据进行第一生成网络训练，得到的第一生成网络作为第一磁盘的故障预测模型。

更进一步地，所述从第一源域数据中提取出表征第一磁盘故障的SMART数据作为特征数据，包括：

利用pettitt突变点检测方法确定第一源域数据中的突变点；

利用DTW方法从所述第一源域数据中的突变点中提取表征第一磁盘故障的SMART数据作为特征数据。

更进一步地，采用SMOTE技术对所述特征数据进行过采样，增加第一源域数据中第一磁盘故障样本的SMART数据。

更进一步地，所述利用所述第一目标域数据和所述第一源域数据，对所述第一磁盘的故障预测模型进行迁移学习，得到第二磁盘的故障预测模型，包括：

对第一源域数据和第一目标域数据进行特征提取，获得第一磁盘的正常样本特征表示、第一磁盘的故障样本特征表示和第二磁盘的正常样本特征表示；

利用所述第一磁盘的正常样本特征表示生成第一磁盘的伪故障样本，计算所述第一磁盘的伪故障样本与所述第一磁盘的故障样本特征表示之间的最大均值差异，作为第一损失；

利用所述第二磁盘的正常样本特征表示生成第二磁盘的伪故障样本；

将所述第一磁盘的正常样本特征表示及故障样本特征表示作为第二源域数据，将所述第二磁盘的正常样本特征表示及其生成的伪故障样本作为第二目标域数据，计算所述第二源域数据与所述第二目标域数据之间的最大均值差异，作为第二损失；

利用所述第二源域数据和所述第二目标域数据训练得到第二生成网络，获得所述第二生成网络的分类损失；

将使总损失最小的所述第二生成网络作为第二磁盘的故障预测模型，所述总损失为所述第一损失、所述第二损失与所述分类损失之和。

第二方面，本发明提供一种磁盘故障预测系统，包括：

数据采集模块，用于采集第二磁盘的SMART数据；

故障预测模块，用于利用第二磁盘的磁盘故障预测模型和采集到的所述第二磁盘的SMART数据，对所述第二磁盘进行故障预测；

第三方面，本发明提供一种磁盘故障预测装置，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现所述的磁盘故障预测方法。

第四方面，本发明提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现所述的磁盘故障预测方法。

本发明解决了真实场景中不同型号磁盘属性分布存在差异且新型号磁盘又不具有故障样本的问题，能在新型号磁盘零故障样本的情况下，训练得到新型号磁盘故障预测模型，并能在新型号磁盘发生故障之前及时进行预测。该方案无需新型号磁盘的故障样本，缩短了样本获取的时间，节省了维护磁盘的成本，且具有通用性，可用于不同厂商不同型号磁盘早期故障的预测。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例一提供的磁盘故障预测方法流程图；

图2是本发明实施例一提供的步骤S2的具体流程图；

图3是本发明实施例一提供的步骤S22的具体流程图；

图4是本发明实施例一提供的步骤S23的具体流程图；

图5是本发明实施例二提供的磁盘故障预测系统框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

由于不同厂商不同型号磁盘属性分布不同，在对不同型号的磁盘进行故障预测时，磁盘故障预测模型一般无法通用。而对于模型的迁移学习，需要新型号磁盘数据中包含故障样本，事实上，对于新型号磁盘而言，往往很难具有故障样本，在仅具有正常样本的磁盘数据的情况下，模型的迁移学习很难进行。本发明提供了一种磁盘故障预测方法、系统、装置及存储介质，解决了真实场景中不同型号磁盘属性分布存在差异，且新型号磁盘又不具有故障样本的情况下，进行磁盘故障预测的问题，可以根据旧型号磁盘的正常样本的SMART数据和故障样本的SMART数据训练第一生成网络作为磁盘故障预测模型，将新型号磁盘的正常样本的SMART数据输入第一生成网络，可以生成新型号磁盘对应的故障样本，最终根据新旧两种型号的磁盘的正常样本的SMART数据和故障样本的SMART数据，对磁盘故障预测模型进行迁移学习，得到第二生成网络，即新型号磁盘的故障预测模型。

实施例一

本实施例提供一种磁盘故障预测方法，如图1所示，包括：

步骤S1、采集第二磁盘的SMART数据；

步骤S2、利用第二磁盘的磁盘故障预测模型和采集到的第二磁盘的SMART数据，对所述第二磁盘进行故障预测；

其中，第二磁盘的磁盘故障预测模型，是利用第二磁盘的正常样本的SMART数据对第一磁盘的磁盘故障预测模型进行迁移学习得到的；第一磁盘与第二磁盘型号不同。

具体地，第二磁盘作为新型号的磁盘，仅具有较少的磁盘样本，且需要经过很长时间才可能获得故障样本，因此在第二磁盘零故障样本的情况下，步骤S2利用第二磁盘的正常样本的SMART数据对第一磁盘的磁盘故障预测模型进行迁移学习，如图2所示，包括：

步骤S21、采集第一磁盘正常样本的SMART数据和故障样本的SMART数据作为第一源域数据，采集第二磁盘正常样本的SMART数据作为第一目标域数据；同时可以进一步对第一磁盘正常样本的SMART数据和故障样本的SMART数据进行标注处理，分别标注为0和1作为标签，便于后续数据处理过程使用。

步骤S22、利用第一源域数据进行第一生成网络训练，得到的第一生成网络作为第一磁盘的故障预测模型；其中的第一生成网络包括但不限于卷积神经网络(ConvolutionalNeural Networks，CNN)。

步骤S23、利用第一目标域数据和第一源域数据，对第一磁盘的故障预测模型进行迁移学习，得到第二磁盘的故障预测模型。

进一步地，步骤S22利用第一源域数据进行生成网络训练，得到的生成网络作为第一磁盘的故障预测模型，如图3所示，包括：

步骤S221、从第一源域数据中提取出表征第一磁盘故障的SMART数据作为特征数据；

进一步地从第一源域数据中提取出表征第一磁盘故障的SMART数据作为特征数据，可以包括：

首先，利用pettitt突变点检测方法确定第一源域数据中的突变点；

pettitt突变点检测方法的原理如下：

设定时间序列为X＝{x₁，x₂…，x_n}，构造统计量S_k(某时刻i的SMART数据不等于j时刻的累计个数，i＝1，……，k)：

其中，θ＝x_i-x_j，对应上面的三种情况，n为整个时间序列的时间点总数；

进行秩序列突变检验：设定t₀时刻

t₀时刻即为突变点；

通过突变点检测能够选择出在第一磁盘故障发生早期有明显变化的SMART数据。

然后，利用DTW(Dynamic Time Warping，动态时间归整)方法从第一源域数据中的突变点中提取表征第一磁盘故障的SMART数据作为特征数据。

具体地，利用DTW方法计算时间序列之间的相似性距离，进一步挑选出第一源域数据中与正常磁盘的SMART数据的时间序列有明显差异的时间序列，从而找出更可靠的能够表征第一磁盘故障的特征数据。

本实施例中，利用pettitt突变点检测方法确定第一源域数据中的突变点，再利用DTW方法从第一源域数据中的突变点中提取表征第一磁盘故障的SMART数据作为特征数据，两者结合能够更有效地提取有用的特征数据，为后续训练第一磁盘的故障预测模型提供数据保障。

步骤S222、对特征数据进行过采样，增加第一源域数据中第一磁盘故障样本的SMART数据；

采用SMOTE(Synthetic Minority Oversampling Technique，合成少数类过采样技术)技术对特征数据进行过采样，对故障磁盘的样本进行非均衡处理，增加第一源域数据中第一磁盘故障样本的SMART数据。具体包括如下步骤：

首先，计算故障样本中的每个SMART数据样本x的欧式距离，并计算它和故障样本集中其他SMART数据样本之间的距离，找到它的k个近邻样本；

其次，根据不平衡的比例设定一个采样比例，从而确定采样的倍率N。针对每一个x，从它的k个近邻样本中任意选定几个，并定义为

再次，对选定的每一个

分别将其与原数据样本x按照下面的公式进行新样本的构造：

最后，将产生的新的SMART数据样本和原故障样本中的SMART数据样本合并，更新到第一源域数据。

步骤S223、利用第一源域数据进行第一生成网络训练，得到的第一生成网络作为第一磁盘的故障预测模型。

进一步地，步骤S23利用第一目标域数据和第一源域数据，对第一磁盘的故障预测模型进行迁移学习，得到第二磁盘的故障预测模型，如图4所示，包括如下步骤：

步骤S231、对第一源域数据和第一目标域数据进行特征提取，获得第一磁盘的正常样本特征表示、第一磁盘的故障样本特征表示和第二磁盘的正常样本特征表示；

步骤S232、利用第一磁盘的正常样本特征表示生成第一磁盘的伪故障样本，计算第一磁盘的伪故障样本与第一磁盘的故障样本特征表示之间的最大均值差异MMD(MaximumMean Discrepancy)，作为第一损失Loss1；

步骤S233、利用第二磁盘的正常样本特征表示生成第二磁盘的伪故障样本；

步骤S234、将第一磁盘的正常样本特征表示及故障样本特征表示作为第二源域数据，将第二磁盘的正常样本特征表示及其生成的伪故障样本作为第二目标域数据，计算第二源域数据与第二目标域数据之间的最大均值差异，作为第二损失Loss2；

具体地，利用TCA(Transfer Componet Analysis，迁移成分分析)缩小第二源域数据和第二目标域数据之间的样本选择偏差，利用最大均值差异(MMD)来衡量第二源域数据与第二目标域数据之间的距离。

步骤S235、利用第二源域数据和第二目标域数据训练得到第二生成网络，获得第二生成网络的分类损失Loss3。

步骤S236、将使总损失L最小的第二生成网络作为第二磁盘的故障预测模型，用于预测第二磁盘早期故障。

其中，总损失L为第一损失Loss1、第二损失Loss2与分类损失Loss3之和，即L＝Loss1+Loss2+Loss3。

在一些实施例中，上述利用第一目标域数据和第一源域数据，对第一磁盘的故障预测模型进行迁移学习，得到第二磁盘的故障预测模型的步骤，可以通过如下模块实现：

特征提取器模块，将第一源域数据中第一磁盘正常样本的SMART数据和第一磁盘故障样本的SMART数据输入到特征提取器中，能获得对应的正常样本特征表示和故障样本特征表示，特征提取器模块是在CNN(卷积神经网络)分类损失最小的基础上，去掉全连接层得到的网络。

样本生成器模块，将第一磁盘的正常样本特征表示输入到样本生成器模块中，能够获得相应的伪故障样本，同时计算第一磁盘的伪故障样本与第一磁盘的故障样本特征表示之间的最大均值差异MMD，作为样本生成器模块的损失，即第一损失Loss1。其中，样本生成器模块由多层卷积层构成。

同时，将第二磁盘正常样本的SMART数据通过相同的特征提取器模块及样本生成器模块，获得第二磁盘的伪故障样本。

迁移学习模块，将第一磁盘的正常样本特征表示及故障样本特征表示作为第二源域数据，将第二磁盘的正常样本特征表示及其生成的伪故障样本作为第二目标域数据，计算第二源域数据与第二目标域数据之间的最大均值差异，作为第二损失Loss2，利用TCA(迁移成分分析)缩小第二源域数据和第二目标域数据之间的样本选择偏差，利用最大均值差异(MMD)来衡量第二源域与第二目标域之间的距离。

CNN分类器模块，将通过迁移学习模块后得到的第二源域数据与第二目标域数据，输入到CNN分类器中，训练得到第二生成网络，并获得分类损失Loss3。通过计算整个第二生成网络的总损失L＝Loss1+Loss2+Loss3，优化整个第二生成网络(包括特征提取器模块、样本生成器模块和CNN分类器模块)，使总损失L最小，最终获得可用于预测第二磁盘早期故障的分类器，即第二磁盘的故障预测模型。

实施例二

与实施例一对应，本实施例提供一种磁盘故障预测系统，如图5所示，包括：

数据采集模块1，用于采集第二磁盘的SMART数据；

故障预测模块2，用于利用第二磁盘的磁盘故障预测模型和采集到的第二磁盘的SMART数据，对第二磁盘进行故障预测；

显然，本领域技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或者步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

本实施例还提供一种磁盘故障预测装置，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被该处理器执行时实现上述的磁盘故障预测方法。

本实施例还提供一种存储介质，该存储介质上存储有计算机程序，该计算机程序被一个或多个处理器执行时，实现上述的磁盘故障预测方法。

其中，在处理器上执行的计算机程序被执行时所实现的磁盘故障预测方法可参照本发明提供的磁盘故障预测方法的实施例，此处不再赘述。

上述处理器可以是一种集成电路芯片，具有信息处理能力。上述处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种磁盘故障预测方法，其特征在于，包括：

采集第二磁盘的SMART数据；

其中，所述第二磁盘的磁盘故障预测模型，是利用所述第二磁盘的正常样本的SMART数据对第一磁盘的磁盘故障预测模型进行迁移学习得到的；所述第一磁盘与所述第二磁盘型号不同；

所述利用所述第二磁盘的正常样本的SMART数据对第一磁盘的磁盘故障预测模型进行迁移学习，包括：

利用所述第一目标域数据和所述第一源域数据，对所述第一磁盘的故障预测模型进行迁移学习，得到第二磁盘的故障预测模型；

所述利用所述第一目标域数据和所述第一源域数据，对所述第一磁盘的故障预测模型进行迁移学习，得到第二磁盘的故障预测模型，包括：

2.根据权利要求1所述的磁盘故障预测方法，其特征在于，所述利用所述第一源域数据进行第一生成网络训练，得到的第一生成网络作为第一磁盘的故障预测模型之前，还包括：对所述第一磁盘正常样本的SMART数据和故障样本的SMART数据进行标注处理，分别标注为0和1作为标签。

3.根据权利要求1所述的磁盘故障预测方法，其特征在于，所述利用第一源域数据进行生成网络训练，得到的生成网络作为第一磁盘的故障预测模型，包括：

4.根据权利要求3所述的磁盘故障预测方法，其特征在于，所述从第一源域数据中提取出表征第一磁盘故障的SMART数据作为特征数据，包括：

利用pettitt突变点检测方法确定第一源域数据中的突变点；

5.根据权利要求3所述的磁盘故障预测方法，其特征在于，采用SMOTE技术对所述特征数据进行过采样，增加第一源域数据中第一磁盘故障样本的SMART数据。

6.一种磁盘故障预测系统，其特征在于，包括：

数据采集模块，用于采集第二磁盘的SMART数据；

7.一种磁盘故障预测装置，其特征在于，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的磁盘故障预测方法。

8.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被一个或多个处理器执行时，实现如权利要求1至5中任一项所述的磁盘故障预测方法。