CN110647456A

CN110647456A - 一种存储设备的故障预测方法、系统及相关装置

Info

Publication number: CN110647456A
Application number: CN201910931364.4A
Authority: CN
Inventors: 王团结; 苏楠; 李辉
Original assignee: Suzhou Wave Intelligent Technology Co Ltd
Current assignee: Suzhou Wave Intelligent Technology Co Ltd
Priority date: 2019-09-29
Filing date: 2019-09-29
Publication date: 2020-01-03
Anticipated expiration: 2039-09-29
Also published as: CN110647456B

Abstract

本申请提供一种存储设备的故障预测方法，包括：获取所述存储设备的最新状态数据；对所述最新状态数据基于tsfresh库做预设特征提取窗口的时序特征提取，得到时序特征值；根据所述时序特征值和原始SMART RAW值得到所述存储设备的测试特征值；将所述测试特征值输入二分类模型，得到故障预测结果。本申请根据历史坏存储设备的统计分析，基于阈值对数据集重新打标签，扩展了正样本的数量；基于tsfresh时序特征提取，将SMART特征的动态和静态特征相结合，突破了二分类的局限性，能够提高存储设备的故障预测准确率。本申请还提供一种存储设备的故障预测系统、计算机可读存储介质和故障预测终端，具有上述有益效果。

Description

一种存储设备的故障预测方法、系统及相关装置

技术领域

本申请涉及存储设备领域，特别涉及一种存储设备的故障预测方法、系统及相关装置。

背景技术

针对大规模数据中心存储系统存储设备故障导致性能降低甚至数据丢失问题，涌现很多故障预测方法的研究由于坏存储设备少好存储设备多，正负样本比例失衡(约3：100)，可得到的正样本数量较少，另外，经验表明，单纯依靠存储设备当前的SMART特征值不能有效的判断存储设备故障与否，SMART值的变化情况更能反映存储设备的潜在故障，所以利用上述方法构建出来的模型精确率和召回率偏低，难以应用在正常的生产环境中。

发明内容

本申请的目的是提供一种存储设备的故障预测方法、系统、计算机可读存储介质和故障预测终端，能够提高存储设备的故障预测准确率。

为解决上述技术问题，本申请提供一种存储设备的故障预测方法，具体技术方案如下：

获取所述存储设备的最新状态数据；

对所述最新状态数据基于tsfresh库做预设特征提取窗口的时序特征提取，得到时序特征值；

根据所述时序特征值和原始SMART RAW值得到所述存储设备的测试特征值；

将所述测试特征值输入二分类模型，得到故障预测结果。

其中，获取所述存储设备的最新状态数据之前，还包括：

生成所述二分类模型。

其中，所述生成所述二分类模型包括：

以所述预设特征提取窗口和坏盘阈值对所述存储设备添加标签；

确定所述存储设备的所述原始SMART RAW值；

以所述预设特征提取窗口做时序特征提取，得到时序特征值；

根据所述原始SMART RAW值和所述时序特征值得到训练特征值；

以所述训练特征值作为输入，所述标签为输出并基于xgboost算法生成二分类模型。

其中，所述原始SMART RAW值为5、184、187、188和198。

其中，所述预设特征提取窗口包括第一窗口和第二窗口时，所述对所述最新状态数据基于tsfresh库做预设特征提取窗口的时序特征提取，得到时序特征值包括：

对所述最新状态数据基于tsfresh库分别做所述第一窗口和所述第二窗口的时序特征提取，得到第一时序特征值和第二时序特征值。

其中，根据所述时序特征值和原始SMART RAW值得到所述存储设备的测试特征值包括：

根据所述第一时序特征值、所述第二时序特征值和原始SMART RAW值得到所述存储设备的第一测试特征值和第二测试特征值。

其中，所述将所述测试特征值输入二分类模型，得到故障预测结果包括：

将所述第一测试特征值和所述第二测试特征值输入二分类模型，得到第一故障预测结果和第二故障预测结果；

根据所述第一故障预测结果和所述第二故障预测结果样本正负关系确定故障预测结果。

本申请还提供一种存储设备的故障预测系统，包括：

数据获取模块，用于获取所述存储设备的最新状态数据；

时序特征提取模块，用于对所述最新状态数据基于tsfresh库做预设特征提取窗口的时序特征提取，得到时序特征值；

测试特征值计算模块，用于根据所述时序特征值和原始SMART RAW值得到所述存储设备的测试特征值；

故障预测模块，用于将所述测试特征值输入二分类模型，得到故障预测结果。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。

本申请还提供一种存储设备的故障预测终端，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。

本申请提供一种存储设备的故障预测方法，包括：获取所述存储设备的最新状态数据；对所述最新状态数据基于tsfresh库做预设特征提取窗口的时序特征提取，得到时序特征值；根据所述时序特征值和原始SMART RAW值得到所述存储设备的测试特征值；将所述测试特征值输入二分类模型，得到故障预测结果

本申请采用基于阈值重新打标签、基于tsfresh做时序特征提取和集成两个二分类模型。根据历史坏存储设备的统计分析，基于阈值对数据集重新打标签，扩展了正样本的数量；基于tsfresh时序特征提取，将SMART特征的动态和静态特征相结合，突破了二分类的局限性，能够提高存储设备的故障预测准确率。本申请还提供一种存储设备的故障预测系统、计算机可读存储介质和故障预测终端，具有上述有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种存储设备的故障预测方法的流程图；

图2为本申请实施例所提供的一种存储设备的故障预测系统结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种存储设备的故障预测方法的流程图，该方法包括：

S101：获取所述存储设备的最新状态数据；

需要注意的是，默认在本步骤之前，还需要生成所述二分类模型。

具体的，生成二分类模型包括：

步骤1、以预设特征提取窗口和坏盘阈值对存储设备添加标签；

步骤2、确定存储设备的原始SMART RAW值；

步骤3、以预设特征提取窗口做时序特征提取，得到时序特征值；

步骤4、根据原始SMART RAW值和时序特征值得到训练特征值；

步骤5、以训练特征值作为输入，标签为输出并基于xgboost算法生成二分类模型。

在此对于预设特征提取窗口、坏盘阈值、预设特征提取窗口和原始SMART RAW值不作限定，均可由本领域技术人员根据历史坏盘周期经验和数据进行相应设定。坏盘阈值通常根据对历史坏存储设备的统计分析得到。步骤1中即根据统计分析得到的坏盘阈值重新添加标签。原始SMART RAW值是存储设备中的原始数据，SMART指Self-MonitoringAnalysis And Reporting Technology，原始SMART RAW值包括001、002、003…013，以及170、171、172、173、174、177，180～212等等。本申请对于选取的原始SMART RAW值的数量和具体数值均不作限定，可由本领域技术人员根据经验确定。

添加标签的标准在此不作具体限定，通常根据SMART值与所有坏盘在预设特征提取窗口时间段内的统计值作比较，若特征值大于等于统计值，则标记为正样本，否则标记为负样本。举例而言，若预设特征提取窗口为14天，则可以判断SMART——198特征值是否大于等于所有坏盘最后14天的统计值，大于标记为正样本，否则标记为负样本。若预设特征提取窗口为60天，可以判断SMART是否大于等于所有坏盘最后60天的统计值，是则标记为正样本，否则标记为负样本。

在二分类时，如果该点与正样本窗口最后一天的SMART值相同，标记也要相同，这是由于SMART值的粘性，即不易变化的特点。

存储设备的最新状态数据通常指对存储设备进行故障预测前最后一天的数据。为了保证预测准确性，需要选取一定时长内的状态数据，通常以24小时的状态数据作预测。

S102：对所述最新状态数据基于tsfresh库做预设特征提取窗口的时序特征提取，得到时序特征值；

tsfresh是开源的提取时序数据特征的python包，能够提取出超过4000种特征。本步骤中主要利用tsfresh库作特征提取，以得到时序特征值。

具体的，从tsfresh库中选取一组时序特征，对于预设特征提取窗口而言，从该天开始，往前推预设特征提取窗口值减一的天数作为一个时间序列，结合tsfresh库中选取的时序特征，作时序特征提取。再对最后的预设特征提取窗口值的天数做类似的时序特征提取。最终，每个存储设备可以得到相当于预设特征提取窗口值2倍数量的样本。

S103：根据所述时序特征值和原始SMART RAW值得到所述存储设备的测试特征值；

将S102中的时序特征值与原始SMART RAW值相结合得到测试特征值，作为模型的输入数据。

S104：将所述测试特征值输入二分类模型，得到故障预测结果。

本申请实施例采用基于阈值重新打标签、基于tsfresh做时序特征提取和集成两个二分类模型。根据历史坏存储设备的统计分析，基于阈值对数据集重新打标签，扩展了正样本的数量；基于tsfresh时序特征提取，将SMART特征的动态和静态特征相结合，突破了二分类的局限性，能够提高存储设备的故障预测准确率。

基于上述实施例，作为优选的实施例，所述预设特征提取窗口包括第一窗口和第二窗口时，基于上述实施例，步骤S102可以具体包括：

基于上一实施例，步骤S103可以具体包括：

基于上一实施例，步骤S104可以具体包括：

下文以SMART特征值为(5/184/187/188/198)、预设特征提取窗口分别为14天和60天为例对上述内容进行说明：

首先以8:2比例划分训练集和测试集，然后对数据集基于统计出来的阈值重新打标签，针对5个SMART特征值(5/184/187/188/198)做时序特征提取，体现出一个窗口期内的变化特征，特征提取窗口选择14天和60天各做一次，最后的训练特征加上SMART RAW值，体现该样本的静态特征，最后使用xgboost算法做模型训练，训练出两个模型，分别为窗口14天模型和窗口60天模型，将存储设备状态分成三类：红、黄、绿，其中红代表坏存储设备，黄代表快坏的存储设备，绿代表好存储设备。

窗口14天模型打标签实现时主要包括以下几个步骤：

1)基于阈值打标签,选取存储设备最后1-14天为正样本窗口，判断存储设备SMART_198_RAW特征值是否大于等于8，满足条件标记为正样本,否则标记为负样本

2)选取存储设备最后15-28天为负样本窗口，判断存储设备SMART_198_RAW特征值是否与最后14天的SMART值相同，满足条件标记为与最后14天相同的标签，否则标记为负样本。

窗口60天模型打标签实现时主要包括以下几个步骤：

1)基于阈值打标签,选取存储设备最后1-60天为正样本窗口，判断存储设备SMART_198_RAW特征值是否大于等于1，满足条件标记为正样本,否则标记为负样本。

2)选取存储设备最后61-120天为负样本窗口，判断存储设备SMART_198_RAW特征值是否与最后60天的SMART值相同，满足条件标记与最后60天相同的标签,否则标记为负样本。

特征提取实现时主要包括以下几个步骤：

1)选取存储设备原始SMART特征值smart_5_raw、smart_184_raw、smart_187_raw、smart_188_raw、smart_198_raw,体现存储设备的当前静态特征

2)以该天开始，往前推13天，共计14天作为一个时间序列，输入tsfresh库抽取一组默认的时序特征，如均值、方差等，体现出一个窗口期内的变化特征，对最后28天做如上的时序特征提取，则一个存储设备共得到28个样本(一天一个样本)。

3)以该天开始，往前推59天，共计60天作为一个时间序列，输入tsfresh库抽取一组默认的时序特征，如均值、方差等，体现出一个窗口期内的变化特征,对最后120天做如上的时序特征提取。一个存储设备共得到120个样本。

4)上述SMART RAW原始值加上步骤2)得到的时序特征值，作为窗口14模型的训练特征值

5)上述SMART RAW原始值加上步骤3)得到的时序特征值，作为窗口60模型的训练特征值

二分类模型训练实现，即生成二分类模型时主要包括以下几个步骤：

1)以窗口14模型的训练特征值作为输入，以窗口14模型的标签作为输出，基于xgboost算法训练二分类模型

2)以窗口60模型的训练特征值作为输入，以窗口60模型的标签作为输出，基于xgboost算法训练二分类模型

以最新状态数据为最后一天数据为例，则模型预测实现时主要包括以下几个步骤：

1)对测试存储设备的最后1天数据，基于tsfresh库做窗口14的时序特征提取，结合原始SMART RAW值，作为存储设备的测试特征值，方法如同训练时特征提取

2)对测试存储设备的最后1天数据，基于tsfresh库做窗口60的时序特征提取，结合原始SMART RAW值，作为存储设备的测试特征值，方法如同训练时特征提取

3)用窗口14天模型进行预测，得到第一预测结果

4)用窗口60天模型进行预测，得到第二预测结果

5)若第一预测结果输出为正样本，则判断该存储设备为坏设备；若第一预测结果输出为负样本，第二预测结果输出为正样本，则判断该存储设备为即将坏的设备；若第二预测结果输出为负样本，则判断该存存储设备为好设备。

本申请实施例采用基于阈值重新打标签、基于tsfresh做时序特征提取、集成两个二分类模型将存储设备状态分成红黄绿三类。根据历史坏存储设备的统计分析，基于阈值对数据集重新打标签，扩展了正样本的数量；基于tsfresh时序特征提取，将SMART特征的动态和静态特征结合起来；集成两个二分类模型，将存储设备状态分成红黄绿三类，突破了二分类的局限性。

下面对本申请实施例提供的存储设备的故障预测系统进行介绍，下文描述的故障预测系统与上文描述的存储设备的故障预测方法可相互对应参照。

本申请还提供一种存储设备的故障预测系统，包括：

数据获取模块100，用于获取所述存储设备的最新状态数据；

时序特征提取模块200，用于对所述最新状态数据基于tsfresh库做预设特征提取窗口的时序特征提取，得到时序特征值；

测试特征值计算模块300，用于根据所述时序特征值和原始SMART RAW值得到所述存储设备的测试特征值；

故障预测模块400，用于将所述测试特征值输入二分类模型，得到故障预测结果。

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种存储设备的故障预测终端，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述存储设备的故障预测终端还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种存储设备的故障预测方法，其特征在于，包括：

获取所述存储设备的最新状态数据；

将所述测试特征值输入二分类模型，得到故障预测结果。

2.根据权利要求1所述的故障预测方法，其特征在于，获取所述存储设备的最新状态数据之前，还包括：

生成所述二分类模型。

3.根据权利要求2所述的故障预测方法，其特征在于，所述生成所述二分类模型包括：

确定所述存储设备的所述原始SMART RAW值；

根据所述原始SMART RAW值和所述时序特征值得到训练特征值；

4.根据权利要求1所述的故障预测方法，其特征在于，所述原始SMART RAW值为5、184、187、188和198。

5.根据权利要求1所述的故障预测方法，其特征在于，所述预设特征提取窗口包括第一窗口和第二窗口时，所述对所述最新状态数据基于tsfresh库做预设特征提取窗口的时序特征提取，得到时序特征值包括：

6.根据权利要求5所述的故障预测方法，其特征在于，根据所述时序特征值和原始SMART RAW值得到所述存储设备的测试特征值包括：

7.根据权利要求6所述的故障预测方法，其特征在于，所述将所述测试特征值输入二分类模型，得到故障预测结果包括：

8.一种存储设备的故障预测系统，其特征在于，包括：

数据获取模块，用于获取所述存储设备的最新状态数据；

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的故障预测方法的步骤。

10.一种存储设备的故障预测终端，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-7任一项所述的故障预测方法的步骤。