CN109669796B - 一种磁盘故障的预测方法和装置 - Google Patents

Abstract

本发明提供了一种磁盘故障的预测方法和装置，应用于CDN网络，所述方法首先获得所述CDN网络中的目标主机当前的压力数据和历史的压力数据；然后根据预设算法对所述主机当前的压力数据和历史的压力数据进行运算，得到未来时间段的主机压力值；之后将所述主机压力值带入预先设置的回归模型中，得到所述回归模型输出的与所述主机相关联的磁盘的预测磁盘健康度数据；最后根据每一个所述磁盘的预测磁盘健康度数据与该磁盘的历史健康度数据进行校准，得到每一个磁盘的故障预测结果。因此，本发明技术方案可以在磁盘发生故障之前，就可以准确预测到每一个磁盘的故障预测结果，便于根据故障预测结果提前进行处理。

Description

一种磁盘故障的预测方法和装置

技术领域

本发明属于互联网技术领域，尤其涉及一种磁盘故障的预测方法和装置。

背景技术

CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在各地部署节点机所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN可以解决Internet网络拥挤的状况，提高用户访问网站的响应速度。

其中，分布于各地机房在CDN节点机在提供服务过程中因需要大量缓存数据，频繁读写导致节点机的磁盘老化，产生各类故障，最终无法提供服务。当磁盘出现故障时，更换磁盘的周期以及数据损失的回补将会造成极大的经济损失。同时极度影响用户体验。

发明内容

有鉴于此，本发明的目的在于提供一种磁盘故障的预测方法和装置，以实现在节点机提供服务的过程中，对节点机的磁盘的健康度进行预测，预测可能出现的故障，以免在发生故障后才进行更换。

本发明提供了一种磁盘故障的预测方法，应用于CDN网络，所述方法包括：

获得所述CDN网络中的目标主机当前的压力数据和历史的压力数据；所述压力数据用于表征主机运行时所述主机的硬件运行信息和网络压力信息；

根据预设算法对所述主机当前的压力数据和历史的压力数据进行运算，得到未来时间段的主机压力值；

将所述主机压力值带入预先设置的回归模型中，得到所述回归模型输出的与所述主机相关联的磁盘的预测磁盘健康度数据；所述回归模型为预先依据主机历史的压力数据和该主机对应磁盘的磁盘健康度数据进行训练得到的；

根据每一个所述磁盘的预测磁盘健康度数据与该磁盘的历史健康度数据进行校准，得到每一个磁盘的故障预测结果。

优选的，所述回归模型的训练过程包括：

获得目标磁盘的静态信息和动态信息，所述静态信息用于表征所述目标磁盘的硬件属性信息，所述动态信息用于表征所述目标磁盘运行时的状态信息；

将所述静态信息进行降维编码，得到每一个所述目标磁盘对应的类别识别码；

将所述动态信息进行权值计算，得到每一个类别识别码对应的磁盘健康值；

获得各个目标磁盘所在主机的压力信息；

将各个所述压力信息以及该主机中各个目标磁盘对应的磁盘健康度进行机器学习训练，得到回归模型。

优选的，还包括：

依据所述故障预测结果发出报警信息；所述报警信息包括提前转存、更换磁盘或分压；

若所述报警信息为更换时，则获得目标帐号并向所述目标帐号发送表征需要更换磁盘的报警信息；

若所述报警信息为转存或分压时，控制所述磁盘的主机执行转存或分压操作。

优选的，所述预设算法为马科夫链算法。

优选的，所述获得磁盘的动态信息包括：

对所述目标磁盘发出检测指令；所述检测指令用于指示所述目标磁盘进行自我检测；

得到所述目标磁盘返回的动态信息；所述动态信息至少包括：目标磁盘的马达、盘片、电路和/或磁头的运行状态。

本发明另一发明提供了一种磁盘故障的预测装置，应用于CDN网络，所述装置包括：

获得模块，用于获得所述CDN网络中的目标主机当前的压力数据和历史的压力数据；所述压力数据用于表征主机运行时所述主机的硬件运行信息和网络压力信息；

主机压力计算模块，用于根据预设算法对所述主机当前的压力数据和历史的压力数据进行运算，得到未来时间段的主机压力值；

健康度计算模块，用于将所述主机压力值带入预先设置的回归模型中，得到所述回归模型输出的与所述主机相关联的磁盘的预测磁盘健康度数据；所述回归模型为预先依据主机历史的压力数据和该主机对应磁盘的磁盘健康度数据进行训练得到的；

结果输出模块，用于根据每一个所述磁盘的预测磁盘健康度数据与该磁盘的历史健康度数据进行校准，得到每一个磁盘的故障预测结果。

优选的，所述回归模型的训练过程包括：

获得目标磁盘的静态信息和动态信息，所述静态信息用于表征所述目标磁盘的硬件属性信息，所述动态信息用于表征所述目标磁盘运行时的状态信息；

将所述静态信息进行降维编码，得到每一个所述目标磁盘对应的类别识别码；

将所述动态信息进行权值计算，得到每一个类别识别码对应的磁盘健康值；

获得各个目标磁盘所在主机的压力信息；

将各个所述压力信息以及该主机中各个目标磁盘对应的磁盘健康度进行机器学习训练，得到回归模型。

优选的，还包括：

告警模块，用于依据所述故障预测结果发出报警信息；所述报警信息包括提前转存、更换磁盘或分压；

若所述报警信息为更换时，则获得目标帐号并向所述目标帐号发送表征需要更换磁盘的报警信息；

若所述报警信息为转存或分压时，控制所述磁盘的主机执行转存或分压操作。

优选的，所述预设算法为马科夫链算法。

优选的，所述获得磁盘的动态信息包括：

对所述目标磁盘发出检测指令；所述检测指令用于指示所述目标磁盘进行自我检测；

得到所述目标磁盘返回的动态信息；所述动态信息至少包括：目标磁盘的马达、盘片、电路和/或磁头的运行状态。

本发明提供了一种磁盘故障的预测方法和装置，应用于CDN网络，所述方法首先获得所述CDN网络中的目标主机当前的压力数据和历史的压力数据；然后根据预设算法对所述主机当前的压力数据和历史的压力数据进行运算，得到未来时间段的主机压力值；之后将所述主机压力值带入预先设置的回归模型中，得到所述回归模型输出的与所述主机相关联的磁盘的预测磁盘健康度数据；最后根据每一个所述磁盘的预测磁盘健康度数据与该磁盘的历史健康度数据进行校准，得到每一个磁盘的故障预测结果。因此，本发明技术方案可以在磁盘发生故障之前，就可以准确预测到每一个磁盘的故障预测结果，便于根据故障预测结果提前进行处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种磁盘故障的预测方法的流程示意图；

图2是本发明实施例中回归模型训练过程的流程示意图；

图3是本发明实施例提供的一种磁盘故障的预测装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明技术方案主要应用场景是在CDN网络中，CDN的全称是Content DeliveryNetwork，即内容分发网络。主要从三个层次来对磁盘故障进行预测。磁盘层次、主机层次以及时序层次。下面对本发明的技术方案进行详细介绍。

参见图1，图1是本发明实施例提供的一种磁盘故障的预测方法的流程示意图。

本发明提供的一种磁盘故障的预测方法，应用于CDN网络，所述方法包括：

S101、获得所述CDN网络中的目标主机当前的压力数据和历史的压力数据；所述压力数据用于表征主机运行时所述主机的硬件运行信息和网络压力信息；

本发明技术方案中，获得压力数据可以是按照设定时间间隔读取的。

本发明技术方案中，为了对磁盘故障进行预测，首先获得目标主机的当前压力数据以及历史压力数据。其中，压力数据是主机运行时的硬件运行信息和网络压力信息。

硬件运行信息可以包括，磁盘的静态信息和动态信息，例如硬盘的运行信息，主机的各项数据。其中，硬盘的运行信息可以包括硬盘的静态信息，例如厂商、型号、批次、是否维修、维修时间、开始使用时间、容量、盘片、介质、容量、转速等数据。主机的各项数据例如主机CPU的使用率、网络吞吐率、磁盘阵列RAID组织方式等数据。

历史压力数据是指在过去一段时间，例如1个月或1年，该时间可以由用户设定，主机的各项数据。

S102、根据预设算法对所述主机当前的压力数据和历史的压力数据进行运算，得到未来时间段的主机压力值；

本发明实施例中，将获取的当前的压力数据和历史的压力数据进行马科夫链算法进行运算，得到未来时间段内的主机压力值。例如，当前时间为8点，根据本申请的上述步骤，得到当天晚上8点的主机压力值。

S103、将所述主机压力值带入预先设置的回归模型中，得到所述回归模型输出的与所述主机相关联的磁盘的预测磁盘健康度数据；所述回归模型为预先依据主机历史的压力数据和该主机对应磁盘的磁盘健康度数据进行训练得到的；

本发明实施例中，预先设置了xgboost回归模型，回归模型的具体建立方式在后面进行详细介绍。

本发明实施例中，将经过马科夫链算法得到的主机压力值带入回归模型中，得到回归模型输出的未来时间段内的磁盘健康度数据。

另外，本申请技术方案中，还可以根据带入回归模型的数据对回归模型进行进一步的训练，使得该回归模型得到的预测结果更加接近当前使用情况。使得预测结果更加准确。执行模型训练的过程可以参照本发明中后续介绍的模型训练方法，在此不进行赘述。

S104、根据每一个所述磁盘的预测磁盘健康度数据与该磁盘的历史健康度数据进行校准，得到每一个磁盘的故障预测结果。

本发明实施例中，每一个磁盘都对应有磁盘健康度历史值，其与时间维度构成时序曲线，该时序曲线表征时间轴上磁盘的健康度值。因此，本发明实施例中，在S103得到了磁盘健康度数据后，将其与该磁盘对应的时序曲线进行校准，得到该磁盘的故障预测结果。

本发明实施例中，具体可以根据预测结果得到两者情况。

依据所述故障预测结果发出报警信息；所述报警信息包括提前转存、更换磁盘或分压；

若所述报警信息为更换时，则获得目标帐号并向所述目标帐号发送表征需要更换磁盘的报警信息；

若所述报警信息为转存或分压时，控制所述磁盘的主机执行转存或分压操作。

本发明实施例中，如果健康度持续接近故障阈值，则得到表征需要更换磁盘的故障预测结果，如果是非持续性，是偶发性的超过故障阈值，则得到表征需要分压或转存的故障预测结果。

如果是需更换磁盘的故障预测结果，则获得目标帐号，例如移动终端号码或电子邮件地址，向该目标帐号发送报警信息，该报警信息表征需要更换磁盘。

如果是需要转存或分压的故障预测结果，则控制磁盘的主机将该磁盘中的数据进行转存，或者在未来时间段内，对该磁盘进行分压处理，例如降低该磁盘的存储压力或使用率。

由此可见，本发明技术方案可以在磁盘发生故障之前，就可以准确预测到每一个磁盘的故障预测结果，便于根据故障预测结果提前进行处理。

本发明实施例中，提供了回归模型，下面对回归模型的训练过程进行详细介绍。

参见图2，图2是本发明实施例中回归模型训练过程的流程示意图。

本发明实施例中，所述回归模型的训练过程包括：

S201、获得目标磁盘的静态信息和动态信息，所述静态信息用于表征所述目标磁盘的硬件属性信息，所述动态信息用于表征所述目标磁盘运行时的状态信息；

S202、将所述静态信息进行降维编码，得到每一个所述目标磁盘对应的类别识别码；

S203、将所述动态信息进行权值计算，得到每一个类别识别码对应的磁盘健康值；

S204、获得各个目标磁盘所在主机的压力信息；

S205、将各个所述压力信息以及该主机中各个目标磁盘对应的磁盘健康度进行机器学习训练，得到回归模型。

本发明实施例中，预先训练出了回归模型，并且在实际运行时，会根据实际得到的数据对回归模型进行更新。

本发明实施例中，回归模型的训练过程中获得目标磁盘的静态信息和动态信息。其中，静态信息可以通过预先收集。动态信息的获取方式可以包括：

对所述目标磁盘发出检测指令；所述检测指令用于指示所述目标磁盘进行自我检测；

得到所述目标磁盘返回的动态信息；所述动态信息至少包括：目标磁盘的马达、盘片、电路和/或磁头的运行状态。

本发明实施例中，先从磁盘层次进行数据的处理。获取目标磁盘的动态信息，可以将检测指令发送给目标磁盘，目标磁盘支持例如S.M.A.R.T(Self Monitoring AnalysisReportingTechnology/自我监测、分析与报告技术)，目标磁盘根据检测指令返回动态信息。例如，马达、盘片、电路和/或磁头的运行状态。然后，采用随机森林算法对静态信息进行降维编码。另外，将动态信息进行加权值计算，例如对错误读取率，重试次数，吞吐性能等数据取不同权重获得磁盘健康度评分。

本发明实施例中，还会获取主机的压力信息。例如主机的CPU使用率，网络吞吐率以及RAID阵列组织方式等。优选的，与前述磁盘层次中所获得的静态信息和动态信息相结合，降维后加权计算主机压力值。然后进行xgboost回归模型训练。其中，步骤S201以及步骤S204中，都是按照设定时间间隔所获得的，目的是让回归模型的训练更加接近实际需要。

本发明实施例中，可以实时对回归模型进行训练，给磁盘故障的预测提供依据。

本发明另一方面还提供了一种磁盘故障的预测装置。

参见图3，图3是本发明实施例提供的一种磁盘故障的预测装置的结构示意图。

本发明提供的磁盘故障的预测装置应用于CDN网络，所述装置包括：

获得模块1，用于获得所述CDN网络中的目标主机当前的压力数据和历史的压力数据；所述压力数据用于表征主机运行时所述主机的硬件运行信息和网络压力信息；

主机压力计算模块2，用于根据预设算法对所述主机当前的压力数据和历史的压力数据进行运算，得到未来时间段的主机压力值；

健康度计算模块3，用于将所述主机压力值带入预先设置的回归模型中，得到所述回归模型输出的与所述主机相关联的磁盘的预测磁盘健康度数据；所述回归模型为预先依据主机历史的压力数据和该主机对应磁盘的磁盘健康度数据进行训练得到的；

结果输出模块4，用于根据每一个所述磁盘的预测磁盘健康度数据与该磁盘的历史健康度数据进行校准，得到每一个磁盘的故障预测结果。

可选的，所述回归模型的训练过程包括：

获得目标磁盘的静态信息和动态信息，所述静态信息用于表征所述目标磁盘的硬件属性信息，所述动态信息用于表征所述目标磁盘运行时的状态信息；

将所述静态信息进行降维编码，得到每一个所述目标磁盘对应的类别识别码；

将所述动态信息进行权值计算，得到每一个类别识别码对应的磁盘健康值；

获得各个目标磁盘所在主机的压力信息；

将各个所述压力信息以及该主机中各个目标磁盘对应的磁盘健康度进行机器学习训练，得到回归模型。

优选的，还包括：

告警模块，用于依据所述故障预测结果发出报警信息；所述报警信息包括提前转存、更换磁盘或分压；

若所述报警信息为更换时，则获得目标帐号并向所述目标帐号发送表征需要更换磁盘的报警信息；

若所述报警信息为转存或分压时，控制所述磁盘的主机执行转存或分压操作。

优选的，所述预设算法为马科夫链算法。

可选的，所述获得磁盘的动态信息包括：

对所述目标磁盘发出检测指令；所述检测指令用于指示所述目标磁盘进行自我检测；

得到所述目标磁盘返回的动态信息；所述动态信息至少包括：目标磁盘的马达、盘片、电路和/或磁头的运行状态。

可以理解的是，本发明中提供的预测装置用于实现上述方法实施例中的预测方法，具体过程可以参照上述实施例中的步骤，在此不进行赘述。

本发明提供了一种磁盘故障的预测装置，应用于CDN网络，所述方法装置获得所述CDN网络中的目标主机当前的压力数据和历史的压力数据；然后根据预设算法对所述主机当前的压力数据和历史的压力数据进行运算，得到未来时间段的主机压力值；之后将所述主机压力值带入预先设置的回归模型中，得到所述回归模型输出的与所述主机相关联的磁盘的预测磁盘健康度数据；最后根据每一个所述磁盘的预测磁盘健康度数据与该磁盘的历史健康度数据进行校准，得到每一个磁盘的故障预测结果。因此，本发明技术方案可以在磁盘发生故障之前，就可以准确预测到每一个磁盘的故障预测结果，便于根据故障预测结果提前进行处理。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种磁盘故障的预测方法，其特征在于，应用于CDN网络，所述方法包括：

获得所述CDN网络中的目标主机当前的压力数据和历史的压力数据；所述压力数据用于表征主机运行时所述主机的硬件运行信息和网络压力信息；

根据预设算法对所述主机当前的压力数据和历史的压力数据进行运算，得到未来时间段的主机压力值；

将所述主机压力值带入预先设置的回归模型中，得到所述回归模型输出的与所述主机相关联的磁盘的预测磁盘健康度数据；所述回归模型为预先依据主机历史的压力数据和该主机对应磁盘的磁盘健康度数据进行训练得到的；

根据每一个所述磁盘的预测磁盘健康度数据与该磁盘的历史健康度数据进行校准，得到每一个磁盘的故障预测结果；

其中，所述回归模型的训练过程包括：

获得目标磁盘的静态信息和动态信息，所述静态信息用于表征所述目标磁盘的硬件属性信息，所述动态信息用于表征所述目标磁盘运行时的状态信息；

将所述静态信息进行降维编码，得到每一个所述目标磁盘对应的类别识别码；

将所述动态信息进行权值计算，得到每一个类别识别码对应的磁盘健康值；

获得各个目标磁盘所在主机的压力信息；

将各个所述压力信息以及该主机中各个目标磁盘对应的磁盘健康度进行机器学习训练，得到回归模型。

2.根据权利要求1所述的预测方法，其特征在于，还包括：

依据所述故障预测结果发出报警信息；所述报警信息包括提前转存、更换磁盘或分压；

若所述报警信息为更换时，则获得目标帐号并向所述目标帐号发送表征需要更换磁盘的报警信息；

若所述报警信息为转存或分压时，控制所述磁盘的主机执行转存或分压操作。

3.根据权利要求1所述的预测方法，其特征在于，所述预设算法为马科夫链算法。

4.根据权利要求1所述的预测方法，其特征在于，所述获得磁盘的动态信息包括：

对所述目标磁盘发出检测指令；所述检测指令用于指示所述目标磁盘进行自我检测；

得到所述目标磁盘返回的动态信息；所述动态信息至少包括：目标磁盘的马达、盘片、电路和/或磁头的运行状态。

5.一种磁盘故障的预测装置，其特征在于，应用于CDN网络，所述装置包括：

获得模块，用于获得所述CDN网络中的目标主机当前的压力数据和历史的压力数据；所述压力数据用于表征主机运行时所述主机的硬件运行信息和网络压力信息；

主机压力计算模块，用于根据预设算法对所述主机当前的压力数据和历史的压力数据进行运算，得到未来时间段的主机压力值；

健康度计算模块，用于将所述主机压力值带入预先设置的回归模型中，得到所述回归模型输出的与所述主机相关联的磁盘的预测磁盘健康度数据；所述回归模型为预先依据主机历史的压力数据和该主机对应磁盘的磁盘健康度数据进行训练得到的；

结果输出模块，用于根据每一个所述磁盘的预测磁盘健康度数据与该磁盘的历史健康度数据进行校准，得到每一个磁盘的故障预测结果；

其中，所述回归模型的训练过程包括：

获得目标磁盘的静态信息和动态信息，所述静态信息用于表征所述目标磁盘的硬件属性信息，所述动态信息用于表征所述目标磁盘运行时的状态信息；

将所述静态信息进行降维编码，得到每一个所述目标磁盘对应的类别识别码；

将所述动态信息进行权值计算，得到每一个类别识别码对应的磁盘健康值；

获得各个目标磁盘所在主机的压力信息；

将各个所述压力信息以及该主机中各个目标磁盘对应的磁盘健康度进行机器学习训练，得到回归模型。

6.根据权利要求5所述的预测装置，其特征在于，还包括：

告警模块，用于依据所述故障预测结果发出报警信息；所述报警信息包括提前转存、更换磁盘或分压；

若所述报警信息为更换时，则获得目标帐号并向所述目标帐号发送表征需要更换磁盘的报警信息；

若所述报警信息为转存或分压时，控制所述磁盘的主机执行转存或分压操作。

7.根据权利要求5所述的预测装置，其特征在于，所述预设算法为马科夫链算法。

8.根据权利要求5所述的预测装置，其特征在于，所述获得磁盘的动态信息包括：

对所述目标磁盘发出检测指令；所述检测指令用于指示所述目标磁盘进行自我检测；

得到所述目标磁盘返回的动态信息；所述动态信息至少包括：目标磁盘的马达、盘片、电路和/或磁头的运行状态。

Images