CN111459692B - 用于预测驱动器故障的方法、设备和计算机程序产品 - Google Patents

用于预测驱动器故障的方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN111459692B
CN111459692B CN201910048750.9A CN201910048750A CN111459692B CN 111459692 B CN111459692 B CN 111459692B CN 201910048750 A CN201910048750 A CN 201910048750A CN 111459692 B CN111459692 B CN 111459692B
Authority
CN
China
Prior art keywords
drive
data
operational data
time
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910048750.9A
Other languages
English (en)
Other versions
CN111459692A (zh
Inventor
刘冰
刘星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN201910048750.9A priority Critical patent/CN111459692B/zh
Priority to US16/414,196 priority patent/US10996861B2/en
Publication of CN111459692A publication Critical patent/CN111459692A/zh
Application granted granted Critical
Publication of CN111459692B publication Critical patent/CN111459692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/008—Reliability or availability analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Computational Linguistics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Security & Cryptography (AREA)
  • Debugging And Monitoring (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本公开的实施例涉及用于预测驱动器故障的方法、设备和计算机程序产品。该方法包括：获取驱动器的运行数据，运行数据中的每条数据项指示驱动器在相应时间的一个或多个属性的值；从运行数据的数据项中标识一个或多个属性的空值；至少基于空值的标识，调整运行数据；以及利用机器学习模型来处理经调整的运行数据，以获得对驱动器在相应时间后的预定时间段内是否发生故障的故障预测。

Description

用于预测驱动器故障的方法、设备和计算机程序产品
技术领域
本公开的实施例涉及计算机领域，并且更具体地，涉及用于预测驱动器故障的方法、设备和计算机程序产品。
背景技术
随着计算机技术的不断发展，人们越来越依赖于服务器端的存储能力。一旦服务器中的任何驱动器出现故障，都可能造成数据丢失或服务终端，从而给用户带来巨大的影响。人们迫切地希望提前知晓服务器中的哪些驱动器可能未来会发生故障，以便于提前更换硬盘以避免硬盘故障所带来的不可接受的损失。因此，如何有效地预测驱动器可能发生的故障成为当前关注的热点。
发明内容
本公开的实施例提供一种用于预测驱动器故障的方案。
根据本公开的第一方面，提出了一种用于预测驱动器故障的方法。该方法包括：获取驱动器的运行数据，运行数据中的每条数据项指示驱动器在相应时间的一个或多个属性的值；从运行数据的数据项中标识一个或多个属性的空值；至少基于空值的标识，调整运行数据；以及利用机器学习模型来处理经调整的运行数据，以获得对驱动器在相应时间后的预定时间段内是否发生故障的故障预测。
根据本公开的第二方面，提出了一种用于预测驱动器故障的设备。该设备包括：至少一个处理单元；至少一个存储器，该至少一个存储器被耦合到该至少一个处理单元并且存储用于由该至少一个处理单元执行的指令，该指令当由该至少一个处理单元执行时，使得该设备执行动作，该动作包括：获取驱动器的运行数据，运行数据中的每条数据项指示驱动器在相应时间的一个或多个属性的值；从运行数据的数据项中标识一个或多个属性的空值；至少基于空值的标识，调整运行数据；以及利用机器学习模型来处理经调整的运行数据，以获得对驱动器在相应时间后的预定时间段内是否发生故障的故障预测。
在本公开的第三方面，提供了一种计算机程序产品。该计算机程序产品被存储在非瞬态计算机存储介质中并且包括机器可执行指令，该机器可执行指令在设备中运行时使该设备执行根据本公开的第一方面所描述的方法的任意步骤。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1图示了本公开实施例可以在其中执行的环境的示意图；
图2图示了根据本公开实施例的示例运行数据的示意图；
图3图示了根据本公开实施例的用于预测驱动器故障的方法的流程图；
图4图示了根据本公开实施例的测试驱动器故障预测的示意图；以及
图5图示了可以用来实施本公开内容的实施例的示例设备的示意性框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上文所描述，随着计算机技术的不断发展，人们越来越依赖于服务器端的存储能力。一旦服务器中的任何驱动器出现故障，都可能造成数据丢失或服务终端，从而给用户带来巨大的影响。因此，人们越来越关注如何能够提前向管理人员预警驱动器可能的故障。
一般地，驱动器都配备有自我监控、分析和报告技术(Self-Monitoring Analysisand Reporting Technology，SMART)来检测和报告各种驱动器可靠性指标。已有的一些驱动器故障预警模型可以通过SMART数据来预测即将出现的故障，某些驱动器制造商设计了内置于驱动器中的、基于SMART数据的故障预测模型。然而，这样内置模型仅仅是基于阈值条件的预测，其难以提供有效的估计。此外，在实际应用中，驱动器管理器所收集的驱动器的原始运行数据往往具有较大的噪音。在某些情况下，驱动器管理器可能无法收集到驱动器的某些特定属性的值，也即，在原始运行数据中被记录为空值。现有的故障预测方案难以基于这些原始运行数据进行有效的驱动器故障预测。
根据本公开的实施例，提供了一种用于预测驱动器故障的方案。在该方案中，首先驱动器的原始运行数据可以被获取，该运行数据中的每条数据项指示驱动器在相应时间的一个或多个属性的值。随后，从运行数据的数据项中标识一个或多个属性的空值，并且至少基于空值的标识来调整运行数据。之后，经调整的运行数据可以被输入到机器学习模型，以获得对驱动器在相应时间后的预定时间段内是否发生故障的故障预测。通过这样的方式，可以自动地对原始运行数据进行预处理以解决原始数据中可能存在大量空值的问题，此外，通过利用机器学习模型来处理经调整后的运行数据，能够提高驱动器故障预测的准确度。
以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。在该示例环境100中，计算设备120可以接收驱动器的运行数据110。在一些实施例中，驱动器管理器可以收集与一个或多个驱动器在特定时间段内的属性相关联的运行数据110，并将其按照时间存储在存储器中。这些属性可以指示驱动器在特定时间段内的运行状态，诸如，开机次数、通电时间和坏扇区数等。在一些实施例中，驱动器管理器可以按天收集驱动器的运行数据110，并对每个数据项添加时间戳，以指示在特定时间段内该驱动器的一个或多个属性的值。
图2示出了示例运行数据110。如图2所示，示例运行数据110可以包括与一个或多个驱动器在不同时间的一个或多个属性相关联的数据项210-1、210-2和210-M。为了方便描述，一个或多个数据项210-1、210-2和210-M统一或单独称为数据项210。
在一些实施例中，如图2所示，示例运行数据110可以保存为表格的形式，其中示例运行数据110包括多个字段，例如，标识符202、时间戳204、属性1 206-1、属性2 206-2、…属性N 206-N。具体地，标识符202可以指示与该数据项那个的驱动器的标识符，例如ID-1和ID-M；时间戳204可以指示与该数据项所对应的时间。此外，如上文所述，在实际应用场景中，驱动器管理器往往难以获取驱动器的全部属性的值，也即某些属性在该表格中是控制，例如驱动器ID-1在时间戳T2的属性1的值212、驱动器ID-M在时间戳T3的属性2的值214和属性N的值216均为空。传统的预测方法难以处理这样具有大量空值的噪音数据。
在一些实施例中，驱动器可以是任何合适的类型，包括但不限于：串行连接小型计算机系统接口(SAS)驱动器、串行高级技术附件(SATA)驱动器、固态硬盘(SSD)和硬盘驱动器(HDD)等。
继续参考图1，在一些实施例中，运行数据110可以通过有线通信或无线通信的方式而被发送到计算设备120。在一些实施例中，计算设备120也可以直接读取存储在与计算设备120相耦合的存储设备中的运行数据110。计算设备120可以基于所接收的运行数据110来确定针对驱动器的故障预测130。例如，计算设备120可以给出“驱动器在7天内可能故障”的故障预测。
下文将参考图3来更详细描述预测驱动器故障的过程。图3示出了根据本公开的一些实施例的用于预测驱动器故障的过程300的流程图。过程300可以由图1的计算设备120来实现。为了方便讨论，将结合图1和图2来描述过程300。
在框302，计算设备120获取驱动器的运行数据110，该运行数据110中的每条数据项指示驱动器在相应时间的一个或多个属性的值。在一些实施例中，如上所述，计算设备120可以通过有线通信或无线通信的方式接收运行数据110。计算设备120也可以读取存储在与计算设备120相耦合的存储设备中的运行数据110。
在一些实施例中，驱动器的一个或多个属性包括SMART类别的一个或多个属性，例如，SMART类别的属性可以包括驱动器的开机次数、通电时间、坏扇区数等。通过SMART类别的属性，可以监控驱动器的磁头、盘片、马达、电路的运行情况，因此SMART类别的属性也常用于预测驱动器的故障。
在一些实施例中，当驱动器为SATA驱动器时，驱动器的一个或多个属性还可以包括后台介质扫描(BMS)类别的一个或多个属性。这些属性例如可以包括是否发生介质错误、是否发生恢复错误等。通过添加BMS属性的输入，计算设备120可以更为准确的预测SATA类型驱动器可能的故障。
在一些实施例中，接收的运行数据110可以是用于训练机器学习模型的训练数据。由于运行数据110可能包含针对多个不同驱动器的不同时间戳的数据项，计算设备120可以按照驱动器的标识符202字段来对运行数据110进行分组，以使得同一驱动器的数据被聚合到同一个分组中。此外，对于某个分组，如果分组中的任一数据项被确定为与故障状态相对应，则整个分组的每个数据项都例如可以被添加“-1”的标签，以区分其他不存在故障的分组的“1”的标签。
在一些实施例中，对于训练数据，计算设备120可以调整与未发生故障驱动器对应的数据项以及与发生故障的驱动器对应的数据项的占比，从而提高模型训练的效果。
在框304，计算设备120从运行数据110的数据项中标识一个或多个属性的空值。以图2的示例运行数据110作为示例，计算设备120可以标识出多个数据项210中的一个或多个属性的控制。例如，计算设备120可以标识：驱动器ID-1在时间戳T2的属性1的值212、驱动器ID-M在时间戳T3的属性2的值214和属性N的值216均为空值。
在框306，至少基于空值的标识，计算设备120调整运行数据110。在一些实施例中，当所接收的运行数据110是训练数据，计算设备120可以确定运行数据110中的数据项(为了方便描述，称为第一数据项)中标识出的空值的占比。如图2所示，计算设备120可以确定数据项中控制在除驱动器基本信息外的属性数目的占比，例如，假定图2中的N＝3，则数据项210-2中空值的占比可以被确定为1/3，而数据项210-M中空值的占比为2/3。
计算设备120可以将占比与预定的占比阈值进行比较，并且响应于占比超过占比阈值，从运行数据110中移除第一数据项。例如，预定的占比阈值可以被设置为1/2，即当某个数据项中一般的属性都为空值时，计算设备120可以从数据项中移除该数据项。具体地，在图2的示例中，由于数据项210-M中空值的占比2/3大于预定的占比阈值1/2，计算设备120可以从运行数据110中移除数据项210-M，而不将其作为训练数据的一部分。
在一些实施例中，计算设备120可以将运行数据的数据项中标识出的空值设定为预定值。在一些实施例中，计算设备120也可以将各数据项中的空值设置为该分组中该属性的取值的平均值。在一些实施例中，计算设备120可以将各数据项中的空值设置为0或者是-999等能够与正常值有显著差异的预定值。考虑到，大部分情况下，空值也是反映驱动器可能发生故障的一个参考，因此通过设置易于正常值的预定值，计算设备120可以更为准确地预测驱动器故障。在一些实施例中国，计算设备120可以在执行完对空值占比超过占比阈值的数据项的移除后再执行空值的赋值操作。
在一些实施例中，计算设备120还可以基于运行数据确定指示驱动器的特定属性的属性变化值，属性变化值指示驱动器在第一时间的特定属性的值的变化程度。
在一些实施例中，计算设备120可以计算驱动器在第一时间的特定属性的值与先前时间的该属性的值之间的差值，例如该差值可以被表示为：|Ai-Ai-n|，其中Ai表示在驱动器在第一时间(例如，第i天)的属性的值，Ai-n表示驱动器在先前时间(例如，第i天的n天前)该属性的值。
在一些实施例中，计算设备120可以计算驱动器在第一时间的特定属性在过去预定时间内的方差，例如该方法可以被表示为：其中pi指示该天的概率，具体在该示例中可以取值为1/n，Ai表示在驱动器在第一时间(例如，第i天)的属性的值，μ表示驱动器在这n天内的该属性的取值的平均值。
在一些实施例中，计算设备120可以将属性变化值添加到运行数据中对应于第一时间的第二数据项。例如，在图2的示例中，计算设备，计算设备120可以为每个数据项添加指示每个属性的值的变化程度的特征，例如上文所述的差值和方差。通过添加指示属性值的变化程度的特征，这些数据可以用于执行更为准确的驱动器故障预测。
在框308，计算设备120利用机器学习模型来处理经调整的运行数据，以获得对驱动器在相应时间后的预定时间段内是否发生故障的故障预测。
在一些实施例中，对于机器学习模型的训练阶段，计算设备120可以将经调整后的运行数据以获取相应的故障预测。此外，训练数据中的每个数据项对应的故障标签也可以输入到机器学习模型中，其中该故障标签可以对应于该驱动器在与该数据项对应的时间的预定时间段内是否发生故障。例如，对于与驱动器的第1天关联的数据项，标签可以指示该驱动器在第1天后的2周内是否发生故障。计算设备120可以通过调整模型的故障预测与实际的标签之间的距离来训练机器学习模型，从而获得经训练的驱动器故障预测模型。
在一些实施例中，机器学习模型可以是决策树模型，优选地，机器学习模型可以是随机森林模型。
在一些实施例中，在完成模型的训练后，计算设备120还可以利用经训练的机器学习模型来处理测试运行数据，以获得对驱动器在于测试运行数据相应的时间后的预定时间段内是否发生故障的测试故障预测。在一些实施例中，测试数据和训练数据都可以是驱动器的历史运行数据，例如，可以按照时间对历史运行数据进行划分，选择其中的一部分作为训练数据，并选择余下部分作为测试数据。
在一些实施例中，计算设备120还可以综合特定时间段内的对多个数据项的预测结果进行综合来作为最终的预测结果。例如，图4示出了根据本公开实施例的测试故障预测的示意图400。在该示例中，计算设备120选取了与驱动器ID-1在不同的7天的运行状态相对应的数据项410-1、410-2、410-3、410-4、410-5、410-6和410-7。计算设备120可以使用经训练的机器学习模型来依次预测与每个数据项相对应的故障标签420-1、420-2、420-3、420-4、420-5和420-6。具体地，在预测过程中，计算设备120可以在预测到故障时，确定在于该故障对应的时间前的预定时间段(为了方便描述，称为校验时间段)内预测到故障的占比是否超过预定阈值，并在占比超过阈值的情况下，计算设备120才将故障预测作为一次正式的预测进行输出。例如，计算设备120可以将该预定时间设定为3天，并且可以将占比设置为1/2。对于图4的示例，计算设备120在第4天预测到故障标签420-4时，其三天内仅第4天发生故障，因此可以将第4天的故障标签420-4暂不输出，并在第6天再次预测到故障，并且在3天内预测到故障的占比超过阈值(1/2)时，计算设备120可以将该预测作为正式的故障预测进行输出。通过这样的方式，计算设备120可以避免由于某些情况下的数据突变带来的错误预测，从而提高驱动器故障预测的准确性。
在一些实施例中，基于测试故障预测，计算设备120可以调整机器学习模型的一个或多个超参数。计算设备120可以根据测试故障预测的结果与实际结果之间的差异来对机器学习模型的一个或多个超参数进行调整，从而进一步对模型进行优化，以提高驱动器故障预测的准确度。在一些实施例中，该一个或多个超参数可以包括以下两类：模型配置参数，例如决策树模型中节点的数目、层数等；数据处理参数，例如，用于故障预测的预定时间段的长度、使用过程中所使用的校验时间段的长度、每次输入的数据项的时间窗口的大小、样本的数目等。通过在测试阶段，调整机器学习模型的超参数，计算设备120可以获得更为准确的机器学习模型以进行故障预测。
在一些实施例中，在完成以上所述的模型训练和测试后，计算设备120可以使用最终的机器学习模型接收经过上文所述处理的运行数据，以获得对驱动器在相应时间后的预定时间段内是否发生故障的故障预测。在一些实施例中，计算设备120在预测到驱动器将在预定时间内发生故障后，可以向驱动器管理人员发出警报，以提醒驱动器管理人员执行更换驱动器等特征操作。
在一些实施例中，在使用过程中，对于机器学习模型是随机森林模型的示例，计算设备120还可以基于随机森立模型的属性重要性排序，来展示被输入到随机森林模型中的一个或多个属性的重要度占比，并且从而向用户更为直观地提示哪些属性可以更大程度上决定驱动器是否将发生故障，并进而协助管理人员更好地监控驱动器的状态，并能够及时的更换可能发生故障的驱动器。
通过上文所述的方式，本公开的方案可以直接应用于通过驱动器管理器所获得不纯净的的原始运行数据，并通过数据预处理的方式提高了运行数据的准确性，并通过机器学习模型自动地基于经处理后的运行数据来获得对于驱动器是否会发生故障的预测，大大提高了驱动器故障预测模型的准确度。
图5示出了可以用来实施本公开内容的实施例的示例设备500的示意性框图。例如，如图1所示的计算设备120可以由设备500来实施。如图所示，设备500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的计算机程序指令或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序指令，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线505。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法300，可由处理单元501执行。例如，在一些实施例中，方法300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序被加载到RAM 503并由CPU 501执行时，可以执行上文描述的方法300的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。

Claims (17)

1.一种用于预测驱动器故障的方法，包括：
获取驱动器的运行数据，所述运行数据中的每条数据项指示所述驱动器在相应时间的一个或多个属性的值；
从所述运行数据的数据项中标识所述一个或多个属性的空值；
至少基于所述空值的标识，调整所述运行数据，经调整的所述运行数据包括针对所述数据项在第一时间的每个属性的值与针对所述数据项在第二时间的属性的值之间的差；以及
利用机器学习模型来处理经调整的所述运行数据，以获得对所述驱动器在所述相应时间后的预定时间段内是否发生故障的故障预测。
2.根据权利要求1所述的方法，其中调整所述运行数据包括：
确定所述运行数据的第一数据项中标识出的空值的占比；以及
响应于所述占比超过占比阈值，从所述运行数据中移除所述第一数据项。
3.根据权利要求1或2所述的方法，其中调整所述运行数据包括：
将所述运行数据的数据项中标识出的空值设定为预定值。
4.根据权利要求1或2所述的方法，其中调整所述运行数据还包括：
基于所述运行数据确定指示所述驱动器的特定属性的属性变化值，所述属性变化值指示所述驱动器在第一时间的所述特定属性的值的变化程度；以及
将所述属性变化值添加到所述运行数据中对应于所述第一时间的第二数据项。
5.根据权利要求1所述的方法，其中所述驱动器为串联连接小型计算机系统接口驱动器，所述一个或多个属性包括所述驱动器的后台介质扫描属性。
6.根据权利要求1所述的方法，其中所述机器学习模型为随机森林模型。
7.根据权利要求1所述的方法，还包括：
利用所述机器学习模型处理测试运行数据，以获得对所述驱动器在于所述测试运行数据相应的时间后的预定时间段内是否发生故障的测试故障预测；以及
基于所述测试故障预测，调整所述机器学习模型的一个或多个超参数。
8.根据权利要求7所述的方法，其中所述一个或多个超参数包括所述预定时间段的长度。
9.一种用于预测驱动器故障的设备，包括：
至少一个处理单元；
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：
获取驱动器的运行数据，所述运行数据中的每条数据项指示所述驱动器在相应时间的一个或多个属性的值；
从所述运行数据的数据项中标识所述一个或多个属性的空值；
至少基于所述空值的标识，调整所述运行数据，包括计算针对所述数据项在第一时间的每个属性的值与针对所述数据项在第二时间的属性的值之间的差；以及
利用机器学习模型来处理经调整的所述运行数据，以获得对所述驱动器在所述相应时间后的预定时间段内是否发生故障的故障预测。
10.根据权利要求9所述的设备，其中调整所述运行数据包括：
确定所述运行数据的第一数据项中标识出的空值的占比；以及
响应于所述占比超过占比阈值，从所述运行数据中移除所述第一数据项。
11.根据权利要求9或10所述的设备，其中调整所述运行数据包括：
将所述运行数据的数据项中标识出的空值设定为预定值。
12.根据权利要求9或10所述的设备，其中调整所述运行数据还包括：
基于所述运行数据确定指示所述驱动器的特定属性的属性变化值，所述属性变化值指示所述驱动器在第一时间的所述特定属性的值的变化程度；以及
将所述属性变化值添加到所述运行数据中对应于所述第一时间的第二数据项。
13.根据权利要求9所述的设备，其中所述驱动器为串联连接小型计算机系统接口驱动器，所述一个或多个属性包括所述驱动器的后台介质扫描属性。
14.根据权利要求9所述的设备，其中所述机器学习模型为随机森林模型。
15.根据权利要求9所述的设备，所述动作还包括：
利用所述机器学习模型处理测试运行数据，以获得对所述驱动器在于所述测试运行数据相应的时间后的预定时间段内是否发生故障的测试故障预测；以及
基于所述测试故障预测，调整所述机器学习模型的一个或多个超参数。
16.根据权利要求15所述的设备，其中所述一个或多个超参数包括所述预定时间段的长度。
17.一种非瞬态计算机存储介质，存储机器可执行指令，所述机器可执行指令在设备中运行时使所述设备执行根据权利要求1至8中任一项所述的方法。
CN201910048750.9A 2019-01-18 2019-01-18 用于预测驱动器故障的方法、设备和计算机程序产品 Active CN111459692B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910048750.9A CN111459692B (zh) 2019-01-18 2019-01-18 用于预测驱动器故障的方法、设备和计算机程序产品
US16/414,196 US10996861B2 (en) 2019-01-18 2019-05-16 Method, device and computer product for predicting disk failure

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910048750.9A CN111459692B (zh) 2019-01-18 2019-01-18 用于预测驱动器故障的方法、设备和计算机程序产品

Publications (2)

Publication Number Publication Date
CN111459692A CN111459692A (zh) 2020-07-28
CN111459692B true CN111459692B (zh) 2023-08-18

Family

ID=71608867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910048750.9A Active CN111459692B (zh) 2019-01-18 2019-01-18 用于预测驱动器故障的方法、设备和计算机程序产品

Country Status (2)

Country Link
US (1) US10996861B2 (zh)
CN (1) CN111459692B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114637560B (zh) * 2020-12-16 2024-07-09 伊姆西Ip控股有限责任公司 设备管理方法、电子设备和计算机程序产品
CN114282342A (zh) 2021-11-09 2022-04-05 三星（中国）半导体有限公司 存储装置的故障预测方法和装置
CN117271229A (zh) * 2022-06-09 2023-12-22 中兴智能科技南京有限公司 一种硬盘故障预测方法、装置、存储介质及电子装置
CN115729761B (zh) * 2022-11-23 2023-10-20 中国人民解放军陆军装甲兵学院 一种硬盘故障预测方法、系统、设备及介质
CN116244113B (zh) * 2023-02-22 2023-12-19 安芯网盾(北京)科技有限公司 系统宕机避障及恢复方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304941A (zh) * 2017-12-18 2018-07-20 中国软件与技术服务股份有限公司 一种基于机器学习的故障预测方法
CN108446734A (zh) * 2018-03-20 2018-08-24 中科边缘智慧信息科技（苏州）有限公司 基于人工智能的磁盘故障自动预测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030149613A1 (en) * 2002-01-31 2003-08-07 Marc-David Cohen Computer-implemented system and method for performance assessment
US7434097B2 (en) * 2003-06-05 2008-10-07 Copan System, Inc. Method and apparatus for efficient fault-tolerant disk drive replacement in raid storage systems
US10643138B2 (en) * 2015-01-30 2020-05-05 Micro Focus Llc Performance testing based on variable length segmentation and clustering of time series data
US10878328B2 (en) * 2016-06-21 2020-12-29 Tata Consultancy Services Limited Method and system for analyzing driver behaviour based on telematics data
US11579951B2 (en) * 2018-09-27 2023-02-14 Oracle International Corporation Disk drive failure prediction with neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304941A (zh) * 2017-12-18 2018-07-20 中国软件与技术服务股份有限公司 一种基于机器学习的故障预测方法
CN108446734A (zh) * 2018-03-20 2018-08-24 中科边缘智慧信息科技（苏州）有限公司 基于人工智能的磁盘故障自动预测方法

Also Published As

Publication number Publication date
US20200233587A1 (en) 2020-07-23
US10996861B2 (en) 2021-05-04
CN111459692A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111459692B (zh) 用于预测驱动器故障的方法、设备和计算机程序产品
US10992697B2 (en) On-board networked anomaly detection (ONAD) modules
US11016834B2 (en) Hybrid and hierarchical outlier detection system and method for large scale data protection
US10585774B2 (en) Detection of misbehaving components for large scale distributed systems
US11294754B2 (en) System and method for contextual event sequence analysis
CN112436968B (zh) 一种网络流量的监测方法、装置、设备及存储介质
US10410135B2 (en) Systems and/or methods for dynamic anomaly detection in machine sensor data
US20210064518A1 (en) Methods Circuits Devices Systems and Functionally Associated Machine Executable Code For Automatic Failure Cause Identification in Software Code Testing
US10860410B2 (en) Technique for processing fault event of IT system
US9594624B2 (en) Resolving and preventing computer system failures caused by changes to the installed software
WO2017087440A1 (en) Anomaly fusion on temporal casuality graphs
WO2018071005A1 (en) Deep long short term memory network for estimation of remaining useful life of the components
KR102434460B1 (ko) 기계학습 기반 예측 모델 재학습 장치 및 그 방법
US20160255109A1 (en) Detection method and apparatus
CN114064196A (zh) 用于预测性保障的系统和方法
US10769866B2 (en) Generating estimates of failure risk for a vehicular component
CN111858108B (zh) 一种硬盘故障预测方法、装置、电子设备和存储介质
US10003508B1 (en) Event-based system, method, and computer program for intervening in a network service
US11741065B2 (en) Hardware, firmware, and software anomaly handling based on machine learning
CN117251114A (zh) 模型训练方法、磁盘寿命预测方法、相关装置及设备
WO2021205244A1 (en) Generating performance predictions with uncertainty intervals
US20220083320A1 (en) Maintenance of computing devices
WO2022222623A1 (en) Composite event estimation through temporal logic
US20230025081A1 (en) Model training method, failure determining method, electronic device, and program product
US11436069B2 (en) Method and apparatus for predicting hard drive failure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant