CN115687038B - 一种基于大数据的硬盘故障预测系统及方法 - Google Patents

Abstract

本发明公开了一种基于大数据的硬盘故障预测系统及方法，包括：硬盘数据采集模块、数据库、训练数据管理模块、硬盘筛选模块和硬盘故障预测模块，通过硬盘数据采集模块采集历史训练数据和硬盘的扇区计数变化数据，通过数据库存储采集到的所有数据，通过训练数据管理模块选择最佳间隔时间对训练数据进行采集，筛除部分训练数据，通过硬盘筛选模块建立硬盘故障概率预测模型，对硬盘故障概率进行预测，筛选出需要预测故障时间的硬盘，通过硬盘故障预测模块预测筛选出的硬盘的故障时间，对硬盘的维护时间进行规划，减少无效数据的输入加快了故障预测速度并减少了资源占用，帮助相关人员及时对即将发生故障的硬盘进行设备维护，减少了数据损失。

Description

一种基于大数据的硬盘故障预测系统及方法

技术领域

本发明涉及硬盘故障预测技术领域，具体为一种基于大数据的硬盘故障预测系统及方法。

背景技术

随着互联网、云计算计数的不断发展，数据的存储需求与日俱增，大规模海量数据存储中心是必不可少的基础性设施，虽然新的存储介质例如SSD，已经在很多方面拥有了比硬盘更好的性能，但就目前来讲，其高昂的花费仍然使大部分数据中心难以负担，因此，大型数据中心依然会采用传统的机械硬盘作为存储介质，在服务器硬件故障中，硬盘故障占比达到48％以上，是影响服务器运行可靠性的重要因素，早在上个世纪九十年代，人们就意识到数据的宝贵性远胜于硬盘自身价值，渴望有种技术能对硬盘故障进行预测并实现相对安全的数据保护；

然而，针对硬盘故障问题，目前比较普遍的做法是收到故障告警后，由专业的运维人员对发生故障的硬盘进行干预、恢复，这种方式增加了人力运维的成本，并且依赖于运维人员的经验和技术，效率低且可靠性不足；另外，在对硬盘进行故障预测时还会出现以下问题：首先，通过采集大量硬盘SMART信息对硬盘故障进行预测，硬盘SMART信息含有很多特征，但并非所有特征都能反映故障预测结果，现有技术无法预先筛除部分无效特征以加快预测速度；其次，采集信息间隔时间不同，采集到的有效信息量不同，现有技术无法预先选择合适的间隔时间采集信息，无法有效提高训练数据采集的效率以进一步加快预测速度；最后，采用机器学习建模的方式对硬盘进行故障预测只能预测得到硬盘的故障概率，并不能预测硬盘剩余的可使用时间，无法帮助相关人员及时对硬盘进行维护以减少数据损失。

所以，人们需要一种基于大数据的硬盘故障预测系统及方法来解决上述问题。

发明内容

本发明的目的在于提供一种基于大数据的硬盘故障预测系统及方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种基于大数据的硬盘故障预测系统，所述系统包括：硬盘数据采集模块、数据库、训练数据管理模块、硬盘筛选模块和硬盘故障预测模块；

所述硬盘数据采集模块的输出端连接所述数据库的输入端，所述数据库的输出端连接所述训练数据管理模块的输入端，所述训练数据管理模块的输出端连接所述硬盘筛选模块的输入端，所述硬盘筛选模块的输出端连接所述硬盘故障预测模块的输入端；

所述硬盘数据采集模块用于采集历史训练数据和硬盘的扇区计数变化数据；

所述数据库用于存储采集到的所有数据；

所述训练数据管理模块用于选择最佳间隔时间对训练数据进行采集，并筛除部分训练数据；

所述硬盘筛选模块用于建立硬盘故障概率预测模型，将按最佳间隔时间采集到的训练数据输入到预测模型中，得到硬盘概率预测结果，筛选出需要预测故障时间的硬盘；

所述硬盘故障预测模块用于预测筛选出的硬盘的故障时间，对硬盘的维护时间进行规划。

进一步的，所述硬盘数据采集模块包括扇区信息采集单元和训练数据采集单元；

所述扇区信息采集单元和训练数据采集单元的输出端连接所述数据库的输入端；

所述扇区信息采集单元用于采集硬盘重分配的扇区计数的实时变化数据；

所述训练数据采集单元用于采集硬盘的SMART属性特征数据以及以往设置的采集对应数据的间隔时间，将采集到的全部数据传输到所述数据库中。

进一步的，所述训练数据管理模块包括采集时间规划单元和数据筛除管理单元；

所述采集时间规划单元的输入端连接所述数据库的输出端，所述采集时间规划单元的输出端连接所述数据筛除管理单元的输入端；

所述采集时间规划单元用于分析并比较以往设置不同的训练数据采集间隔时间时，对硬盘故障概率预测结果影响度低的SMART属性特征数量，根据比较结果选择最佳间隔时间对训练数据进行采集；

所述数据筛除管理单元用于筛除对预测结果影响度低的SMART属性特征数据。

进一步的，所述硬盘筛选模块包括预测模型建立单元和扇区变化分析单元；

所述预测模型建立单元的输入端连接所述数据筛除管理单元的输出端，所述预测模型建立单元的输出端连接所述扇区变化分析单元的输入端；

所述预测模型建立单元用于建立硬盘故障概率预测模型，将筛除后并按最佳间隔时间采集到的训练数据输入到预测模型中，得到故障概率预测结果，设置故障概率阈值，筛选出需要预测故障时间的硬盘：故障概率超出阈值的硬盘，利用随机森林算法建立硬盘故障概率预测模型，提高了硬盘故障预测结果的准确度；

所述扇区变化分析单元用于分析筛选出的硬盘重分配的扇区计数，建立硬盘故障时间预测模型。

进一步的，所述硬盘故障预测模块包括故障时间预测单元和硬盘维护规划单元；

所述故障时间预测单元的输入端连接所述扇区变化分析单元的输出端，所述扇区变化分析单元的输出端连接所述硬盘维护规划单元的输入端；

所述故障时间预测单元用于依据硬盘故障时间预测模型对硬盘的故障时间进行预测；

所述硬盘维护规划单元用于根据预测结果规划对不同硬盘进行维护的时间。

一种基于大数据的硬盘故障预测方法，包括以下步骤：

Z1：采集历史训练数据和硬盘的扇区计数变化数据；

Z2：分析历史训练数据，判断以往设置的训练数据采集间隔时间的适应度，选择最佳间隔时间对训练数据进行采集，并筛除部分训练数据；

Z3：建立硬盘故障概率预测模型，将按最佳间隔时间采集到的训练数据输入到预测模型中，得到故障概率预测结果，筛选出需要预测故障时间的硬盘；

Z4：分析当前已采集到的硬盘重分配的扇区计数的实时变化数据，建立硬盘故障时间预测模型，对硬盘的故障时间进行预测；

Z5：对硬盘的维护时间进行规划。

进一步的，在步骤Z1中：在以往对随机一个型号的硬盘进行故障预测时：采集到输入到硬盘故障预测模型中的SMART属性特征数量为n，获取到共设置了k个不同的间隔时间对对应硬盘的SMART属性特征数据进行采集，间隔时间集合为t＝{t1，t2，…，ti，…，tk}，采集到设置间隔时间为ti时：共采集了m次对应硬盘的SMART属性特征数据，获取到m次采集的随机一维SMART属性特征值集合为A＝{A1，A2，…，Am}，在步骤Z2中：根据公式 计算m次采集到的对应SMART属性特征值的标准差si，其中，Aj表示随机一次采集的随机一维SMART属性特征值，根据相同计算方式得到n维SMART属性特征值的标准差集合为s＝{s1，s2，…，sn}，设置标准差阈值为S_阈，比较si和S_阈：若si≥S_阈，判断对应 SMART属性特征对预测结果的影响度高；若si<S_阈，判断对应SMART属性特征对预测结果的影响度低，通过计算标准差的方式判断不同SMART属性特征对预测结果的影响度，对预测结果影响度低的特征值变化小，目的在于统计按照不同间隔时间采集数据时采集到的无效数据量：对预测结果影响度低的数据，将其作为影响选择最佳间隔时间结果的因素之一，同时有利于在对同一型号硬盘进行故障预测时预先筛除掉无效数据，在不影响预测结果的前提下减少了资源占用。

进一步的，统计到对预测结果影响度低的SMART属性特征数量为Bi，获取到设置不同间隔时间时对预测结果影响度低的SMART属性特征数量集合为B＝{B1，B2，…，Bi，…，Bk}，根据公式计算设置间隔时间为ti时采集SMART属性特征数据的适应度Wi，得到设置不同间隔时间采集SMART属性特征数据的适应度集合为W＝{W1，W2，…，Wi，…，Wk}，比较适应度：选择最高适应度对应的间隔时间为采集对应型号硬盘SMART属性特征数据的最佳间隔时间，最佳间隔时间为t’，以最佳间隔时间采集对应型号硬盘的SMART属性特征数据，并在将采集到的数据输入到预先训练好的硬盘故障概率预测模型中前，筛除对预测结果影响度低的SMART属性特征数据，在步骤Z3中：将经过筛除处理后的SMART属性特征数据输入到预先训练好的硬盘故障概率预测模型中，调用predict函数对硬盘进行故障预测，得到硬盘的故障概率，predict函数为指定列返回一个或一组预测值，设置故障概率阈值为q，比较预测的硬盘故障概率和q，筛选出故障概率超出q的硬盘，对筛选出的硬盘的故障时间进行预测，通过计算按不同间隔时间采集数据时采集到的对预测结果影响度低的特征数据量占比判断设置不同间隔时间时采集数据的适应度，适应度越高，表示采集效率越高，选择适应度最高的间隔时间采集训练数据，有利于提高硬盘预测效率并加快预测速度。

进一步的，在步骤Z4中：获取到前f次采集到的硬盘重分配的扇区计数序列为 C⁽⁰⁾＝{C⁽⁰⁾(1)，C⁽⁰⁾(2)，…，C⁽⁰⁾(f)}，构造累加生成序列为C⁽¹⁾＝{C⁽¹⁾(1)，C⁽¹⁾(2)，…，C⁽¹⁾(f)}，其中，令X⁽¹⁾为C⁽¹⁾的紧邻均值生成序列，X⁽¹⁾＝{X⁽¹⁾(2)， X⁽¹⁾(3)，…，X⁽¹⁾(f)}，/>根据下列公式构造数据矩阵M 和数据向量N：

设置硬盘的重分配的扇区计数阈值为C’，建立硬盘故障时间预测模型： 其中，C⁽¹⁾(p+1)表示前p+1次累计采集到的硬盘重分配的扇区计数，a表示发展灰数，b表示内生控制灰数，将C’代入硬盘故障时间预测模型中，令C⁽¹⁾(p+1)＝C′，求得当第p’次采集硬盘重分配的扇区计数时硬盘会发生故障，得到预测结果：预测硬盘会在距当前时间后(p’-f)*t’的时间发生故障，在步骤Z5中：采集到以往替换与对应硬盘型号相同的故障硬盘需要的时长集合为U＝{U1， U2，…，Ui，…，Ug}，其中，Ui表示随机一次替换故障硬盘需要的时长，g表示替换故障硬盘的次数，选择在预测的对应硬盘故障时间前/>对对应硬盘进行替换，选择对故障概率高的硬盘进行故障时间预测，利用灰色预测模型对硬盘的故障时间进行预测，选择的参数为硬盘重分配的扇区计数，硬盘重分配的扇区计数是最能直接反映所有型号硬盘是否故障的特征，硬盘重分配的扇区计数越多，表示硬盘的故障概率越高，有利于帮助相关人员及时对即将发生故障的硬盘进行设备维护，减少了数据损失。

与现有技术相比，本发明所达到的有益效果是：

本发明通过随机森林算法建立硬盘故障概率预测模型，将采集到的训练数据：SMART属性特征数据输入到硬盘故障概率预测模型中，得到预测结果：硬盘的故障概率，提高了故障概率预测结果的准确度；通过大数据分析以往设置不同的采集间隔时间时采集到的SMART属性特征数据对预测结果的影响度，统计影响度低的SMART属性特征数据量，选择最佳间隔时间采集数据，并预先筛除影响度低的SMART属性特征数据，在不影响预测结果的前提下减少了资源占用，减少无效数据的输入加快了故障预测速度；选择对故障概率高的硬盘进行故障时间预测，利用灰色预测模型对硬盘的故障时间进行预测，帮助相关人员及时对即将发生故障的硬盘进行设备维护，减少了数据损失。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明一种基于大数据的硬盘故障预测系统的结构图；

图2是本发明一种基于大数据的硬盘故障预测方法的流程图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

请参阅图1-图2，本发明提供技术方案：一种基于大数据的硬盘故障预测系统，系统包括：硬盘数据采集模块、数据库、训练数据管理模块、硬盘筛选模块和硬盘故障预测模块；

硬盘数据采集模块的输出端连接数据库的输入端，数据库的输出端连接训练数据管理模块的输入端，训练数据管理模块的输出端连接硬盘筛选模块的输入端，硬盘筛选模块的输出端连接硬盘故障预测模块的输入端；

硬盘数据采集模块用于采集历史训练数据和硬盘的扇区计数变化数据；

数据库用于存储采集到的所有数据；

训练数据管理模块用于选择最佳间隔时间对训练数据进行采集，并筛除部分训练数据；

硬盘筛选模块用于建立硬盘故障概率预测模型，将按最佳间隔时间采集到的训练数据输入到预测模型中，得到硬盘概率预测结果，筛选出需要预测故障时间的硬盘；

硬盘故障预测模块用于预测筛选出的硬盘的故障时间，对硬盘的维护时间进行规划。

硬盘数据采集模块包括扇区信息采集单元和训练数据采集单元；

扇区信息采集单元和训练数据采集单元的输出端连接数据库的输入端；

扇区信息采集单元用于采集硬盘重分配的扇区计数的实时变化数据；

训练数据采集单元用于采集硬盘的SMART属性特征数据以及以往设置的采集对应数据的间隔时间，将采集到的全部数据传输到数据库中。

训练数据管理模块包括采集时间规划单元和数据筛除管理单元；

采集时间规划单元的输入端连接数据库的输出端，采集时间规划单元的输出端连接数据筛除管理单元的输入端；

采集时间规划单元用于分析并比较以往设置不同的训练数据采集间隔时间时，对硬盘故障概率预测结果影响度低的SMART属性特征数量，根据比较结果选择最佳间隔时间对训练数据进行采集；

数据筛除管理单元用于筛除对预测结果影响度低的SMART属性特征数据。

硬盘筛选模块包括预测模型建立单元和扇区变化分析单元；

预测模型建立单元的输入端连接数据筛除管理单元的输出端，预测模型建立单元的输出端连接扇区变化分析单元的输入端；

预测模型建立单元用于建立硬盘故障概率预测模型，将筛除后并按最佳间隔时间采集到的训练数据输入到预测模型中，得到故障概率预测结果，设置故障概率阈值，筛选出需要预测故障时间的硬盘：故障概率超出阈值的硬盘；

扇区变化分析单元用于分析筛选出的硬盘重分配的扇区计数，建立硬盘故障时间预测模型。

硬盘故障预测模块包括故障时间预测单元和硬盘维护规划单元；

故障时间预测单元的输入端连接扇区变化分析单元的输出端，扇区变化分析单元的输出端连接硬盘维护规划单元的输入端；

故障时间预测单元用于依据硬盘故障时间预测模型对硬盘的故障时间进行预测；

硬盘维护规划单元用于根据预测结果规划对不同硬盘进行维护的时间。

一种基于大数据的硬盘故障预测方法，包括以下步骤：

Z1：采集历史训练数据和硬盘的扇区计数变化数据；

Z2：分析历史训练数据，判断以往设置的训练数据采集间隔时间的适应度，选择最佳间隔时间对训练数据进行采集，并筛除部分训练数据；

Z3：建立硬盘故障概率预测模型，将按最佳间隔时间采集到的训练数据输入到预测模型中，得到故障概率预测结果，筛选出需要预测故障时间的硬盘；

Z4：分析当前已采集到的硬盘重分配的扇区计数的实时变化数据，建立硬盘故障时间预测模型，对硬盘的故障时间进行预测；

Z5：对硬盘的维护时间进行规划。

在步骤Z1中：在以往对随机一个型号的硬盘进行故障预测时：采集到输入到硬盘故障预测模型中的SMART属性特征数量为n，获取到共设置了k个不同的间隔时间对对应硬盘的 SMART属性特征数据进行采集，间隔时间集合为t＝{t1，t2，…，ti，…，tk}，采集到设置间隔时间为ti时：共采集了m次对应硬盘的SMART属性特征数据，获取到m次采集的随机一维SMART属性特征值集合为A＝{A1，A2，…，Am}，在步骤Z2中：根据公式计算m次采集到的对应SMART属性特征值的标准差si，其中，Aj表示随机一次采集的随机一维SMART属性特征值，根据相同计算方式得到n维SMART属性特征值的标准差集合为s＝{s1，s2，…，sn}，设置标准差阈值为S_阈，比较si和S_阈：若si≥S_阈，判断对应SMART属性特征对预测结果的影响度高；若si<S_阈，判断对应SMART属性特征对预测结果的影响度低，在对同一型号硬盘进行故障预测时预先筛除掉无效数据，在不影响预测结果的前提下减少了资源占用。

统计到对预测结果影响度低的SMART属性特征数量为Bi，获取到设置不同间隔时间时对预测结果影响度低的SMART属性特征数量集合为B＝{B1，B2，…，Bi，…，Bk}，根据公式 计算设置间隔时间为ti时采集SMART属性特征数据的适应度Wi，得到设置不同间隔时间采集SMART属性特征数据的适应度集合为W＝{W1，W2，…，Wi，…，Wk}，比较适应度：选择最高适应度对应的间隔时间为采集对应型号硬盘SMART属性特征数据的最佳间隔时间，最佳间隔时间为t’，以最佳间隔时间采集对应型号硬盘的SMART属性特征数据，并在将采集到的数据输入到预先训练好的硬盘故障概率预测模型中前，筛除对预测结果影响度低的 SMART属性特征数据，在步骤Z3中：将经过筛除处理后的SMART属性特征数据输入到预先训练好的硬盘故障概率预测模型中，调用predict函数对硬盘进行故障预测，得到硬盘的故障概率，设置故障概率阈值为q，比较预测的硬盘故障概率和q，筛选出故障概率超出q的硬盘，对筛选出的硬盘的故障时间进行预测，提高了硬盘预测效率，加快了预测速度。

在步骤Z4中：获取到前f次采集到的硬盘重分配的扇区计数序列为C⁽⁰⁾＝{C⁽⁰⁾(1)，C⁽⁰⁾(2)，…，C⁽⁰⁾(f)}，构造累加生成序列为C⁽¹⁾＝{C⁽¹⁾(1)，C⁽¹⁾(2)，…，C⁽¹⁾(f)}，其中， 令X⁽¹⁾为C⁽¹⁾的紧邻均值生成序列，X⁽¹⁾＝{X⁽¹⁾(2)，X⁽¹⁾(3)，…， X⁽¹⁾(f)}，/>根据下列公式构造数据矩阵M和数据向量N：

设置硬盘的重分配的扇区计数阈值为C’，建立硬盘故障时间预测模型： 其中，C⁽¹⁾(p+1)表示前p+1次累计采集到的硬盘重分配的扇区计数，a表示发展灰数，b表示内生控制灰数，将C’代入硬盘故障时间预测模型中，令C⁽¹⁾(p+1)＝C′，求得当第p’次采集硬盘重分配的扇区计数时硬盘会发生故障，得到预测结果：预测硬盘会在距当前时间后(p’-f)*t’的时间发生故障，在步骤Z5中：采集到以往替换与对应硬盘型号相同的故障硬盘需要的时长集合为U＝{U1， U2，…，Ui，…，Ug}，其中，Ui表示随机一次替换故障硬盘需要的时长，g表示替换故障硬盘的次数，选择在预测的对应硬盘故障时间前/>对对应硬盘进行替换帮助相关人员及时对即将发生故障的硬盘进行设备维护，减少了数据损失。

实施例一：采集到输入到硬盘故障预测模型中的SMART属性特征数量为n＝3，获取到共设置了k＝3个不同的间隔时间对对应硬盘的SMART属性特征数据进行采集，间隔时间集合为t＝{t1，t2，t3}＝{10，20，30}，单位为：小时，采集到设置间隔时间为30个小时时：共采集了m＝3次对应硬盘的SMART属性特征数据，获取到m＝3次采集的随机一维SMART属性特征值集合为A＝{A1，A2，A3}＝{20，21，22}，根据公式计算m＝3次采集到的对应SMART属性特征值的标准差si≈1.2，根据相同计算方式得到n维SMART属性特征值的标准差集合为s＝{s1，s2，s3}＝{1.2，0，0.1}，设置标准差阈值为S_阈＝0.2，比较si和S_阈： si＞S_阈，s2<S_阈，s3<S_阈，判断s2和s3对应的SMART属性特征对预测结果的影响度低，s1 对应的SMART属性特征对预测结果的影响度高，统计到对预测结果影响度低的SMART属性特征数量为Bi＝1，获取到设置不同间隔时间时对预测结果影响度低的SMART属性特征数量集合为B＝{B1，B2，B3}＝{1，3，2}，根据公式/>计算设置间隔时间为ti＝30时采集SMART属性特征数据的适应度Wi≈0.8，得到设置不同间隔时间采集SMART属性特征数据的适应度集合为W＝{W1，W2，W3}＝{0.8，0.6，0.5}，比较适应度：选择最高适应度对应的间隔时间为采集对应型号硬盘SMART属性特征数据的最佳间隔时间，最佳间隔时间为t’＝30，以最佳间隔时间采集对应型号硬盘的SMART属性特征数据，并在将采集到的数据输入到预先训练好的硬盘故障概率预测模型中前，筛除对预测结果影响度低的SMART属性特征数据；

实施例二：获取到前f＝3次采集到的硬盘重分配的扇区计数序列为C⁽⁰⁾＝{C⁽⁰⁾(1)，C⁽⁰⁾(2)， C⁽⁰⁾(3)}＝{10，20，30}，构造累加生成序列为C⁽¹⁾＝{C⁽¹⁾(1)，C⁽¹⁾(2)，C⁽¹⁾(3)}＝{10，30，60}，令X⁽¹⁾为C⁽¹⁾的紧邻均值生成序列，X⁽¹⁾＝{X⁽¹⁾(2)，X⁽¹⁾(3)}＝{20，45}，构造数据矩阵M和数据向量N： 设置硬盘的重分配的扇区计数阈值为C’＝80，建立硬盘故障时间预测模型：/> 将C’代入硬盘故障时间预测模型中，令C⁽¹⁾(p+1)＝C′＝80，求得当第p’＝6次采集硬盘重分配的扇区计数时硬盘会发生故障，得到预测结果：预测硬盘会在距当前时间后(p’-f)*t’＝150小时的时间发生故障，即预测硬盘会在150个小时后发生故障。

最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于大数据的硬盘故障预测方法，其特征在于：包括以下步骤：

Z1：采集历史训练数据和硬盘的扇区计数变化数据；

Z2：分析历史训练数据，判断以往设置的训练数据采集间隔时间的适应度，选择最佳间隔时间对训练数据进行采集，并筛除部分训练数据；

Z3：建立硬盘故障概率预测模型，将按最佳间隔时间采集到的训练数据输入到预测模型中，得到故障概率预测结果，筛选出需要预测故障时间的硬盘；

Z4：分析当前已采集到的硬盘重分配的扇区计数的实时变化数据，建立硬盘故障时间预测模型，对硬盘的故障时间进行预测；

Z5：对硬盘的维护时间进行规划；

在步骤Z1中：在以往对随机一个型号的硬盘进行故障预测时：采集到输入到硬盘故障预测模型中的SMART属性特征数量为n，获取到共设置了k个不同的间隔时间对对应硬盘的SMART属性特征数据进行采集，间隔时间集合为t＝{t1，t2，…，ti，…，tk}，采集到设置间隔时间为ti时：共采集了m次对应硬盘的SMART属性特征数据，获取到m次采集的随机一维SMART属性特征值集合为A＝{A1，A2，…，Am}，在步骤Z2中：根据公式计算m次采集到的对应SMART属性特征值的标准差si，其中，Aj表示随机一次采集的随机一维SMART属性特征值，根据相同计算方式得到n维SMART属性特征值的标准差集合为s＝{s1，s2，…，sn}，设置标准差阈值为S_阈，比较si和S_阈：若si≥S_阈，判断对应SMART属性特征对预测结果的影响度高；若si<S_阈，判断对应SMART属性特征对预测结果的影响度低。

2.根据权利要求1所述的一种基于大数据的硬盘故障预测方法，其特征在于：统计到对预测结果影响度低的SMART属性特征数量为Bi，获取到设置不同间隔时间时对预测结果影响度低的SMART属性特征数量集合为B＝{B1，B2，…，Bi，…，Bk}，根据公式计算设置间隔时间为ti时采集SMART属性特征数据的适应度Wi，得到设置不同间隔时间采集SMART属性特征数据的适应度集合为W＝{W1，W2，…，Wi，…，Wk}，比较适应度：选择最高适应度对应的间隔时间为采集对应型号硬盘SMART属性特征数据的最佳间隔时间，最佳间隔时间为t^’，以最佳间隔时间采集对应型号硬盘的SMART属性特征数据，并在将采集到的数据输入到预先训练好的硬盘故障概率预测模型中前，筛除对预测结果影响度低的SMART属性特征数据，在步骤Z3中：将经过筛除处理后的SMART属性特征数据输入到预先训练好的硬盘故障概率预测模型中，调用predict函数对硬盘进行故障预测，得到硬盘的故障概率，设置故障概率阈值为q，比较预测的硬盘故障概率和q，筛选出故障概率超出q的硬盘，对筛选出的硬盘的故障时间进行预测。

3.根据权利要求1所述的一种基于大数据的硬盘故障预测方法，其特征在于：在步骤Z4中：获取到前f次采集到的硬盘重分配的扇区计数序列为C⁽⁰⁾＝{C⁽⁰⁾(1)，C⁽⁰⁾(2)，…，C⁽⁰⁾(f)}，构造累加生成序列为C⁽¹⁾＝{C⁽¹⁾(1)，

C⁽¹⁾(2)，…，C⁽¹⁾(f)}，其中，令X⁽¹⁾为C⁽¹⁾的紧邻均值生成序列，X⁽¹⁾＝{X⁽¹⁾(2)，X⁽¹⁾(3)，…，X⁽¹⁾(f)}，/>根据下列公式构造数据矩阵M和数据向量N：

设置硬盘的重分配的扇区计数阈值为C^’，建立硬盘故障时间预测模型：其中，C⁽¹⁾(p+1)表示前p+1次累计采集到的硬盘重分配的扇区计数，a表示发展灰数，b表示内生控制灰数，将C^’代入硬盘故障时间预测模型中，令C⁽¹⁾(p+1)＝C′，求得当第p^’次采集硬盘重分配的扇区计数时硬盘会发生故障，得到预测结果：预测硬盘会在距当前时间后(p^’-f)*t^’的时间发生故障，在步骤Z5中：采集到以往替换与对应硬盘型号相同的故障硬盘需要的时长集合为U＝{U1，U2，…，Ui，…，Ug}，其中，Ui表示随机一次替换故障硬盘需要的时长，g表示替换故障硬盘的次数，选择在预测的对应硬盘故障时间前/>对对应硬盘进行替换。

4.一种基于大数据的硬盘故障预测系统，应用于如权利要求1所述的一种基于大数据的硬盘故障预测方法，其特征在于：所述系统包括：硬盘数据采集模块、数据库、训练数据管理模块、硬盘筛选模块和硬盘故障预测模块；

所述硬盘数据采集模块的输出端连接所述数据库的输入端，所述数据库的输出端连接所述训练数据管理模块的输入端，所述训练数据管理模块的输出端连接所述硬盘筛选模块的输入端，所述硬盘筛选模块的输出端连接所述硬盘故障预测模块的输入端；

所述硬盘数据采集模块用于采集历史训练数据和硬盘的扇区计数变化数据；

所述数据库用于存储采集到的所有数据；

所述训练数据管理模块用于选择最佳间隔时间对训练数据进行采集，并筛除部分训练数据；

所述硬盘筛选模块用于建立硬盘故障概率预测模型，将按最佳间隔时间采集到的训练数据输入到预测模型中，得到硬盘概率预测结果，筛选出需要预测故障时间的硬盘；

所述硬盘故障预测模块用于预测筛选出的硬盘的故障时间，对硬盘的维护时间进行规划。

5.根据权利要求4所述的一种基于大数据的硬盘故障预测系统，其特征在于：所述硬盘数据采集模块包括扇区信息采集单元和训练数据采集单元；

所述扇区信息采集单元和训练数据采集单元的输出端连接所述数据库的输入端；

所述扇区信息采集单元用于采集硬盘重分配的扇区计数的实时变化数据；

所述训练数据采集单元用于采集硬盘的SMART属性特征数据以及以往设置的采集对应数据的间隔时间，将采集到的全部数据传输到所述数据库中。

6.根据权利要求4所述的一种基于大数据的硬盘故障预测系统，其特征在于：所述训练数据管理模块包括采集时间规划单元和数据筛除管理单元；

所述采集时间规划单元的输入端连接所述数据库的输出端，所述采集时间规划单元的输出端连接所述数据筛除管理单元的输入端；

所述采集时间规划单元用于分析并比较以往设置不同的训练数据采集间隔时间时，对硬盘故障概率预测结果影响度低的SMART属性特征数量，根据比较结果选择最佳间隔时间对训练数据进行采集；

所述数据筛除管理单元用于筛除对预测结果影响度低的SMART属性特征数据。

7.根据权利要求6所述的一种基于大数据的硬盘故障预测系统，其特征在于：所述硬盘筛选模块包括预测模型建立单元和扇区变化分析单元；

所述预测模型建立单元的输入端连接所述数据筛除管理单元的输出端，所述预测模型建立单元的输出端连接所述扇区变化分析单元的输入端；

所述预测模型建立单元用于建立硬盘故障概率预测模型，将筛除后并按最佳间隔时间采集到的训练数据输入到预测模型中，得到故障概率预测结果，设置故障概率阈值，筛选出需要预测故障时间的硬盘：故障概率超出阈值的硬盘；

所述扇区变化分析单元用于分析筛选出的硬盘重分配的扇区计数，建立硬盘故障时间预测模型。

8.根据权利要求7所述的一种基于大数据的硬盘故障预测系统，其特征在于：所述硬盘故障预测模块包括故障时间预测单元和硬盘维护规划单元；

所述故障时间预测单元的输入端连接所述扇区变化分析单元的输出端，所述扇区变化分析单元的输出端连接所述硬盘维护规划单元的输入端；

所述故障时间预测单元用于依据硬盘故障时间预测模型对硬盘的故障时间进行预测；

所述硬盘维护规划单元用于根据预测结果规划对不同硬盘进行维护的时间。