CN107918572A - 一种大批量硬盘检测方法、装置及平台 - Google Patents

Abstract

本发明实施例提供了一种大批量硬盘检测方法、装置及平台；该方法包括：预先读取所有待检测硬盘的硬盘信息，调用异步消息队列，根据硬盘信息，分别为各待检测硬盘建立检测任务，执行检测任务，检测各待检测硬盘是否存在质量问题。本发明通过预读所有硬盘信息解决并发调用外部工具包获取硬盘数据慢的问题，通过使用异步消息队列同时对所有的硬盘进行检测，加速了检测进程，解决了现有大批量硬盘检测效率较低的问题。

Description

一种大批量硬盘检测方法、装置及平台

技术领域

本发明涉及硬盘检测领域，尤其涉及一种大批量硬盘检测方法、装置及平台。

背景技术

移动流媒体业务发展迅速，VS3000H作为更高性能、更高吞吐量、更高密度的存储服务器，支撑流媒体业务的应用。作为VS3000H的存储扩展，4U 60盘位的JBOD能提供上百TB大容量硬盘低速存储，满足高吞吐大容量应用需求。

为了保证VS3000H产品质量，要求在发货前必须进行各元器件的检测，其中包括硬盘检测，1块4T硬盘质量检测项包括智能smart健康检测、文件读写速度检测及坏道扫描检测。现有shell脚本测试工具测试1框60块硬盘大约需要15小时，效率较低，随着发货量不断增加，生产的VS3000H无法满足发货需求，解决产能瓶颈迫在眉睫。

发明内容

本发明实施例提供了一种大批量硬盘检测方法、装置及平台，以解决现有大批量硬盘检测效率较低的问题。

一方面，提供了一种大批量硬盘检测方法，包括：

预先读取所有待检测硬盘的硬盘信息；

调用异步消息队列，根据硬盘信息，分别为各待检测硬盘建立检测任务；

执行检测任务，检测各待检测硬盘是否存在质量问题。

一方面，提供了一种大批量硬盘检测装置，包括：读取模块及测试模块，其中，

读取模块用于在大批量硬盘检测之前，预先读取所有待检测硬盘的硬盘信息；

测试模块用于调用异步消息队列，根据硬盘信息，分别为各待检测硬盘建立检测任务，执行检测任务，检测各待检测硬盘是否存在质量问题。

一方面，提供了一种大批量硬盘检测平台，包括：待测试硬盘、用于放置待测试硬盘的外部存储柜、大批量硬盘检测装置，大批量硬盘检测装置包括处理器及存储器，处理器用于在大批量硬盘检测之前，预先读取所有待检测硬盘的硬盘信息，并存储到存储器内，还用于调用异步消息队列，根据硬盘信息，分别为各待检测硬盘建立检测任务，执行检测任务，检测各待检测硬盘是否存在质量问题。

另一方面，提供了一种计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于执行前述的大批量硬盘检测方法。

本发明实施例的有益效果：

本发明实施例提供了一种大批量硬盘检测方法，该方法通过预读所有硬盘信息解决并发调用外部工具包获取硬盘数据慢的问题，通过使用异步消息队列同时对所有的硬盘进行检测，加速了检测进程。进一步的，采用点灯告警，帮助操作员快速找到故障盘，并及时更换，避免误发货的情况。进一步的，还提出了内中外圈的坏道扫描测试方案，可以将坏道扫描时长从10小时降至5分钟左右，极大的提升了产能。即本发明解决了现有大批量硬盘检测效率较低的问题。

附图说明

图1为本发明第一实施例提供的大批量硬盘检测方法的流程图；

图2为本发明第二实施例提供的大批量硬盘检测装置的结构示意图；

图3为本发明第三实施例提供的大批量硬盘检测方法的流程图；

图4为本发明第三实施例提供的硬盘故障检测方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明中一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现通过具体实施方式结合附图的方式对本发明做出进一步的诠释说明。

第一实施例：

图1为本发明第一实施例提供的大批量硬盘检测方法的流程图，由图1可知，本实施例提供的大批量硬盘检测方法包括：

S101：预先读取所有待检测硬盘的硬盘信息；

S102：调用异步消息队列，根据硬盘信息，分别为各待检测硬盘建立检测任务；

S103：执行检测任务，检测各待检测硬盘是否存在质量问题。

在一些实施例中，上述实施例中的预先读取所有待检测硬盘的硬盘信息包括：

获取各待检测硬盘的序列号、设备名，存放在第一列表；

获取各待检测硬盘的厂商信息、型号信息、固件版本、设备名以及扩展器，存放在第二列表；

获取各待检测硬盘的物理位置、序列号，存放在第三列表；

根据第一列表中硬盘设备名查找第二列表中是否有匹配的设备名，如果有，将序列号、设备名、厂商信息、型号信息、固件版本、扩展器存放在第四列表；

根据第一列表中硬盘序列号查找第三列表中是否有匹配的序列号，如果有，将物理位置加入第四列表中；

根据硬盘设备名使用获取硬盘的容量，加入第四列表；

将第四列表中的数据序列化后，作为待检测硬盘的硬盘信息。

在一些实施例中，上述实施例中的方法在根据第一列表中硬盘设备名查找第二列表中是否有匹配的设备名之前，还包括：

判断第一列表、第二列表及第三列表的硬盘个数是否一致；

如果不一致，则服务端程序抛异常，提示检查物理环境。

在一些实施例中，上述实施例中的方法在检测各待检测硬盘是否存在质量问题之后，还包括：

在检测到待检测硬盘存在质量问题时，生成点灯信号；

根据点灯信号，进行红灯告警。

在一些实施例中，上述实施例中的检测各待检测硬盘是否存在质量问题包括：

获取待检测硬盘的硬盘信息，根据硬盘信息进行智能健康检测；

若智能健康检测通过，则进行读写速度测试和坏道扫描测试；

若智能健康检测未通过，则判断待检测硬盘存在质量问题，停止检测。

在一些实施例中，上述实施例中的坏道扫描测试包括：

获取待检测硬盘的硬盘大小；

调用检测时间目标，根据硬盘大小确定内中外坏道扫描策略，内中外坏道扫描策略包括外圈扫描区域大小、中圈扫描区域大小和内圈扫描区域大小；

根据内中外坏道扫描策略，对待检测硬盘进行坏道扫描测试。

第二实施例：

图2为本发明第二实施例提供的大批量硬盘检测装置的结构示意图，由图2可知，本实施例提供的大批量硬盘检测装置包括：读取模块21及测试模块22，其中，

读取模块21用于在大批量硬盘检测之前，预先读取所有待检测硬盘的硬盘信息；

测试模块22用于调用异步消息队列，根据硬盘信息，分别为各待检测硬盘建立检测任务，执行检测任务，检测各待检测硬盘是否存在质量问题。

在一些实施例中，上述实施例中的读取模块21用于获取各待检测硬盘的序列号、设备名，存放在第一列表；获取各待检测硬盘的厂商信息、型号信息、固件版本、设备名以及扩展器，存放在第二列表；获取各待检测硬盘的物理位置、序列号，存放在第三列表；根据第一列表中硬盘设备名查找第二列表中是否有匹配的设备名，如果有，将序列号、设备名、厂商信息、型号信息、固件版本、扩展器存放在第四列表；根据第一列表中硬盘序列号查找第三列表中是否有匹配的序列号，如果有，将物理位置加入第四列表中；根据硬盘设备名使用获取硬盘的容量，加入第四列表；将第四列表中的数据序列化后，作为待检测硬盘的硬盘信息。

在一些实施例中，上述实施例中的读取模块21在根据第一列表中硬盘设备名查找第二列表中是否有匹配的设备名之前，还用于判断第一列表、第二列表及第三列表的硬盘个数是否一致；如果不一致，则服务端程序抛异常，提示检查物理环境。

在一些实施例中，上述实施例中的大批量硬盘检测装置，还包括告警模块，测试模块22在检测各待检测硬盘是否存在质量问题之后，还用于在检测到待检测硬盘存在质量问题时，生成点灯信号；告警模块用于根据点灯信号，进行红灯告警。

在一些实施例中，上述实施例中的测试模块22用于获取待检测硬盘的硬盘信息，根据硬盘信息进行智能健康检测；若智能健康检测通过，则进行读写速度测试和坏道扫描测试；若智能健康检测未通过，则判断待检测硬盘存在质量问题，停止检测。

在一些实施例中，上述实施例中的测试模块22用于获取待检测硬盘的硬盘大小；调用检测时间目标，根据硬盘大小确定内中外坏道扫描策略，内中外坏道扫描策略包括外圈扫描区域大小、中圈扫描区域大小和内圈扫描区域大小；根据内中外坏道扫描策略，对待检测硬盘进行坏道扫描测试。

在实际应用中，图2所示实施例中的所有功能模块，都可以采用处理器、编辑逻辑器件等方式实现。

在一些实施例中，本发明还提供了大批量硬盘检测平台，包括：待测试硬盘、用于放置待测试硬盘的外部存储柜、大批量硬盘检测装置，大批量硬盘检测装置包括处理器及存储器，处理器用于在大批量硬盘检测之前，预先读取所有待检测硬盘的硬盘信息，并存储到存储器内，还用于调用异步消息队列，根据硬盘信息，分别为各待检测硬盘建立检测任务，执行检测任务，检测各待检测硬盘是否存在质量问题。

第三实施例：

现结合具体应用场景对本发明做进一步的诠释说明。

基于产能及易用性问题，本实施例设计了一套快速批量检测硬盘测试系统，并对测试方法进行了优化，产能提升明显，本实施例是一种针对大批量硬盘质量检测的优化和创新，着重解决批量硬盘质量检测时间过长导致产能低下及易用性差的问题。

本实施例采用以下技术方案：

采用异步消息队列Celery。Celery是基于python的开源分布式任务调度模块，它有着简明的api(Application Programming Interface，应用程序编程接口)，并具有丰富的扩展性，非常适合处理耗时耗资源的任务。批量硬盘同时测试时，要求主通讯进程必须与客户端实时交互，客户端定时发送轮训消息查询任务进展，主通讯进程及时回复任务进展。本发明采用celery将主通讯进程与各测试任务进程隔离，将所有硬盘测试任务放到后台异步执行。

采用预读策略。批量硬盘并发测试时需要获取硬盘的序列号、版本等数据。实验表明并发调用外部工具包(如sas3ircu、smartctl等)获取硬盘数据非常慢。考虑到这些数据在系统运行后不会再发生改变，本发明采用预读策略将所有的硬盘数据序列化到硬盘中保存。当批量硬盘并发测试时，可以从文件中获取这些数据。

采用SES协议工具点灯告警。一般批量硬盘测试时都借助于外部存储柜。而外部存储柜通过SAS连接到主设备。它支持标准的SES协议。因此可以使用SES工具发送点灯信号进行红灯告警。

采用可灵活配置的内中外圈坏道扫描方案。一般情况下向硬盘写数据时首先写入外圈，本发明结合VS3000H产能提升的目标，确定了外圈1.5G、中圈和内圈各1G的坏道扫描方案。当然可根据实际需求对扫描块的大小进行灵活配置。

对单硬盘测试流程优化。原来的smart健康检测无论失败与否，都会进行后续的读写速度测试和坏道扫描测试。事实上，如果smart健康检测失败的话，硬盘必定有故障。本发明对原测试流程进行了优化，当smart健康检测失败时无需再进行后续检测，直接结束测试。

本发明采用异步消息队列celery处理大量的硬盘测试任务。

具体的，如图3所示，本实施例采用的测试系统处理硬盘测试方法包括以下步骤：

S301、在系统运行之初将所有硬盘详细信息(如序列号、厂商、型号、容量等)序列化到平台硬盘的diskinfo文件中保存。

S302、开启多线程socket监听，接收来自客户端的硬盘测试指令并解析；

S303、判断接收到的硬盘测试指令是否是有效指令。

如果不是，返回帧错误给客户端。如果是，进入S304；

S304、查询该指令是否是指令任务映射表(字典)中的键值key。

如果该指令是映射表中的key，进入S309；否则进入S305；

S305、该指令不是指令任务映射表中的key，首先回复未执行完标识给客户端，然后celery客户端根据该指令生成一条测试任务，具体的，根据硬盘编号在diskinfo文件匹配对应的硬盘详细信息；并将指令——任务以键值对的形式加入指令任务映射表中。

S306、消息中间件(redis)接收celery client发来的任务，存进队列之后再进行调度、分发给celery worker。

S307、celery worker接收消息中间件发来的任务处理请求，完成任务，并将任务状态和结果返回给redis数据库保存。

S308、如果硬盘测试失败，使用SES工具让JBOD上该硬盘的指示灯亮红色进行故障告警。

S309、该指令是指令任务映射表中的key，根据指令找到对应的测试任务，到redis数据库查询测试任务是否已完成。

如果已完成，回复测试结果给客户端；如果未完成，回复未执行完标识给客户端。

本实施例采用预读策略解决并发调用外部工具包获取硬盘数据慢的问题，该预读处理流程包括：

sn_lsscsi工具获取各硬盘的序列号、设备名，并以字典形式存放在list1中；

lsscsi工具获取各硬盘的厂商信息、型号信息、固件版本、设备名以及expander，并以字典形式存放在list2中；

sas3ircu工具获取各硬盘的物理位置、序列号，并以字典形式存放在list3中；

判断sn_lsscsi、lsscsi、sas3ircu获取到的硬盘个数是否一致，如果不一致，则服务端程序抛异常，提示操作员检查物理环境；

根据list1中硬盘设备名查找list2中是否有匹配的设备名，如果有，将序列号、设备名、厂商信息、型号信息、固件版本、expander以字典形式存放在新的列表list4中；

根据list1中硬盘序列号查找list3中是否有匹配的序列号，如果有，将物理位置以字典形式加入list4中；

根据硬盘设备名使用smartctl工具获取硬盘的容量，并以字典形式加入list4中；

将list4中的数据序列化后写入文件。

本实施例出于性能优化的考虑，在预读硬盘详细信息时也对外部工具包的调用次数进行了优化，只调用sn_lsscsi、lsscsi、sas3ircu各一次。因为执行for循环的速度比多次运行工具要快的多。

本实施例采用SES工具点灯告警。新出厂的硬盘出错概率非常低。为了保证硬盘质量，又保证生产效率，都会考虑将众多硬盘一起测试。当大量硬盘一起测试时，一旦出现故障硬盘，很难从众多硬盘中快速找出故障盘。以VS3000H产品为例，一框存储扩展柜JBOD最多可插60块硬盘，为了提升产能，测试时会采用多框级联测试的方式，硬盘数量多达几百块。测试过程中一旦出现故障盘，查找非常困难。为了解决上述问题，本实施例鉴于JBOD支持标准的SES协议，使用SES工具来点亮JBOD的灯进行告警，帮助操作员快速找到故障盘，并及时更换，避免误发货的情况。

本实施例还对硬盘检测流程进行了优化，原来的smart健康检测无论失败与否，都会进行后续的读写速度测试和坏道扫描测试。事实上，如果smart健康检测失败的话，硬盘必定有故障。本发明对原测试流程进行了优化，如图4所示，当smart健康检测失败时无需再进行后续检测，直接结束测试。

本实施例还提出了内中外圈的坏道扫描测试方案。以VS3000H产品为例，进行了上述一系列的优化后，60盘(4T)的全盘坏道扫描时长已由15小时减至10小时左右，但测试时间仍然太长，仍无法根本解决产能低下与发货需求之间的矛盾。为了彻底解决产能瓶颈，综合考虑既在一定程度上保证硬盘质量，又能提升产能，且考虑到硬盘写数据首先写入外圈，最终确定了外圈1.5G，内圈和外圈1G的内中外圈坏道扫描方案。该方案将坏道扫描时长从10小时降至5分钟左右，极大的提升了产能。

本实施例在保证硬盘质量的前提下，通过设计合理的测试方法和系统，来缩短批量硬盘质量检测的时长，以解决产能瓶颈，满足不断增加的发货需求。

综上可知，通过本发明实施例的实施，至少存在以下有益效果：

本发明实施例提供了一种大批量硬盘检测方法，该方法通过预读所有硬盘信息解决并发调用外部工具包获取硬盘数据慢的问题，通过使用异步消息队列同时对所有的硬盘进行检测，加速了检测进程。进一步的，采用点灯告警，帮助操作员快速找到故障盘，并及时更换，避免误发货的情况。进一步的，还提出了内中外圈的坏道扫描测试方案，可以将坏道扫描时长从10小时降至5分钟左右，极大的提升了产能。即本发明解决了现有大批量硬盘检测效率较低的问题。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅是本发明的具体实施方式而已，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任意简单修改、等同变化、结合或修饰，均仍属于本发明技术方案的保护范围。

Claims (13)

1.一种大批量硬盘检测方法，包括：

预先读取所有待检测硬盘的硬盘信息；

调用异步消息队列，根据所述硬盘信息，分别为各待检测硬盘建立检测任务；

执行所述检测任务，检测各待检测硬盘是否存在质量问题。

2.如权利要求1所述的大批量硬盘检测方法，其特征在于，所述预先读取所有待检测硬盘的硬盘信息包括：

获取各待检测硬盘的序列号、设备名，存放在第一列表；

获取各待检测硬盘的厂商信息、型号信息、固件版本、设备名以及扩展器，存放在第二列表；

获取各待检测硬盘的物理位置、序列号，存放在第三列表；

根据第一列表中硬盘设备名查找第二列表中是否有匹配的设备名，如果有，将序列号、设备名、厂商信息、型号信息、固件版本、扩展器存放在第四列表；

根据第一列表中硬盘序列号查找第三列表中是否有匹配的序列号，如果有，将物理位置加入第四列表中；

根据硬盘设备名使用获取硬盘的容量，加入第四列表；

将第四列表中的数据序列化后，作为所述待检测硬盘的硬盘信息。

3.如权利要求2所述的大批量硬盘检测方法，其特征在于，在根据第一列表中硬盘设备名查找第二列表中是否有匹配的设备名之前，还包括：

判断第一列表、第二列表及第三列表的硬盘个数是否一致；

如果不一致，则服务端程序抛异常，提示检查物理环境。

4.如权利要求1所述的大批量硬盘检测方法，其特征在于，在检测各待检测硬盘是否存在质量问题之后，还包括：

在检测到待检测硬盘存在质量问题时，生成点灯信号；

根据所述点灯信号，进行红灯告警。

5.如权利要求1至4任一项所述的大批量硬盘检测方法，其特征在于，所述检测各待检测硬盘是否存在质量问题包括：

获取待检测硬盘的硬盘信息，根据所述硬盘信息进行智能健康检测；

若所述智能健康检测通过，则进行读写速度测试和坏道扫描测试；

若所述智能健康检测未通过，则判断所述待检测硬盘存在质量问题，停止检测。

6.如权利要求5所述的大批量硬盘检测方法，其特征在于，所述坏道扫描测试包括：

获取待检测硬盘的硬盘大小；

调用检测时间目标，根据所述硬盘大小确定内中外坏道扫描策略，所述内中外坏道扫描策略包括外圈扫描区域大小、中圈扫描区域大小和内圈扫描区域大小；

根据所述内中外坏道扫描策略，对所述待检测硬盘进行坏道扫描测试。

7.一种大批量硬盘检测装置，包括：读取模块及测试模块，其中，

所述读取模块用于在大批量硬盘检测之前，预先读取所有待检测硬盘的硬盘信息；

所述测试模块用于调用异步消息队列，根据所述硬盘信息，分别为各待检测硬盘建立检测任务，执行所述检测任务，检测各待检测硬盘是否存在质量问题。

8.如权利要求7所述的大批量硬盘检测装置，其特征在于，所述读取模块用于获取各待检测硬盘的序列号、设备名，存放在第一列表；获取各待检测硬盘的厂商信息、型号信息、固件版本、设备名以及扩展器，存放在第二列表；获取各待检测硬盘的物理位置、序列号，存放在第三列表；根据第一列表中硬盘设备名查找第二列表中是否有匹配的设备名，如果有，将序列号、设备名、厂商信息、型号信息、固件版本、扩展器存放在第四列表；根据第一列表中硬盘序列号查找第三列表中是否有匹配的序列号，如果有，将物理位置加入第四列表中；根据硬盘设备名使用获取硬盘的容量，加入第四列表；将第四列表中的数据序列化后，作为所述待检测硬盘的硬盘信息。

9.如权利要求8所述的大批量硬盘检测装置，其特征在于，所述读取模块在根据第一列表中硬盘设备名查找第二列表中是否有匹配的设备名之前，还用于判断第一列表、第二列表及第三列表的硬盘个数是否一致；如果不一致，则服务端程序抛异常，提示检查物理环境。

10.如权利要求7所述的大批量硬盘检测装置，其特征在于，还包括告警模块，所述测试模块在检测各待检测硬盘是否存在质量问题之后，还用于在检测到待检测硬盘存在质量问题时，生成点灯信号；所述告警模块用于根据所述点灯信号，进行红灯告警。

11.如权利要求7至10任一项所述的大批量硬盘检测装置，其特征在于，所述测试模块用于获取待检测硬盘的硬盘信息，根据所述硬盘信息进行智能健康检测；若所述智能健康检测通过，则进行读写速度测试和坏道扫描测试；若所述智能健康检测未通过，则判断所述待检测硬盘存在质量问题，停止检测。

12.如权利要求11所述的大批量硬盘检测装置，其特征在于，所述测试模块用于获取待检测硬盘的硬盘大小；调用检测时间目标，根据所述硬盘大小确定内中外坏道扫描策略，所述内中外坏道扫描策略包括外圈扫描区域大小、中圈扫描区域大小和内圈扫描区域大小；根据所述内中外坏道扫描策略，对所述待检测硬盘进行坏道扫描测试。

13.一种大批量硬盘检测平台，其特征在于，包括：待测试硬盘、用于放置待测试硬盘的外部存储柜、大批量硬盘检测装置，所述大批量硬盘检测装置包括处理器及存储器，所述处理器用于在大批量硬盘检测之前，预先读取所有待检测硬盘的硬盘信息，并存储到所述存储器内，还用于调用异步消息队列，根据所述硬盘信息，分别为各待检测硬盘建立检测任务，执行所述检测任务，检测各待检测硬盘是否存在质量问题。