CN113764025B - 一种故障磁盘的处理方法和装置 - Google Patents

Abstract

本发明公开了一种故障磁盘的处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取数据节点内磁盘的状态信息，状态信息包括读写频率和磁盘繁忙度，磁盘繁忙度用于指示读写操作在对数据节点的操作中所占据的比例；根据读写频率、磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘；向故障磁盘对应的数据节点发起卸载磁盘命令以卸载故障磁盘。该实施方式能够自动识别故障磁盘并对其进行卸载处理，在故障磁盘的处理过程中并不影响当前数据节点内的其他正常磁盘的读写操作，缩短了故障磁盘的处理时间，降低了故障磁盘处理成本，提高了磁盘读写操作效率，提升了磁盘利用率。

Description

一种故障磁盘的处理方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种故障磁盘的处理方法和装置。

背景技术

分布式文件系统通过数据节点（DataNode）下的磁盘提供数据的读取、写入操作，其为数据存储、共享提供了便利。为了保证磁盘的读写操作的效率，需要及时识别并执行踢盘操作，其中踢盘是指将指定磁盘从数据节点中进行卸载或剔除。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

1. 现有的故障磁盘的处理方法中常通过监控系统或者人工检查来发现故障磁盘，无法实现自动识别并处理故障磁盘，导致故障磁盘的处理效率较低，且处理成本较高；

2. 现有的故障磁盘处理时需要暂停数据节点内全部磁盘的读写操作，且整个处理周期较长，使得在踢盘过程中该数据节点内的正常磁盘也无法正常工作，导致降低了分布式文件系统内各磁盘的读写操作效率，降低了磁盘的利用率。

发明内容

有鉴于此，本发明实施例提供一种故障磁盘的处理方法和装置，能够自动识别故障磁盘并对其进行卸载处理，在故障磁盘的处理过程中并不影响当前数据节点内的其他正常磁盘的读写操作，缩短了故障磁盘的处理时间，降低了故障磁盘处理成本，提高了磁盘读写操作效率，提升了磁盘利用率。

为实现上述目的，根据本发明实施例的第一方面，提供了一种故障磁盘的处理方法，包括：

获取数据节点内磁盘的状态信息，状态信息包括读写频率和磁盘繁忙度，磁盘繁忙度用于指示读写操作在对数据节点的操作中所占据的比例；

根据读写频率、磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘；

向故障磁盘对应的数据节点发起卸载磁盘命令以卸载故障磁盘。

进一步地，根据读写频率、磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘的步骤包括：

确定根据读写频率与磁盘繁忙度的比值；

判断比值是否小于该磁盘对应的读写频率阈值；

若是，则确定读写频率对应的磁盘为故障磁盘，其中，读写频率阈值是根据该磁盘的基准读写频率确定的。

进一步地，在确定故障磁盘之后，故障磁盘的处理方法还包括：

停止故障磁盘的读写操作；

对故障磁盘内的存储数据进行备份处理。

进一步地，获取数据节点内磁盘的状态信息的步骤包括：设置获取周期，根据获取周期定时获取数据节点内磁盘的状态信息。

进一步地，在卸载故障磁盘之前，故障磁盘的处理方法还包括：

将故障磁盘的磁盘信息写入处理队列中；

从处理队列中获取故障磁盘的磁盘信息，根据磁盘信息向故障磁盘对应的数据节点发起卸载磁盘命令。

进一步地，根据磁盘信息向故障磁盘对应的数据节点发起卸载磁盘命令的步骤还包括：根据磁盘信息和最大可用线程数，向故障磁盘对应的数据节点发起卸载磁盘命令。

进一步地，向故障磁盘对应的数据节点发起卸载磁盘命令以卸载故障磁盘的步骤包括：

基于超文本传输协议或者远程过程调用协议向故障磁盘对应的数据节点发起卸载磁盘命令，以根据卸载磁盘命令卸载故障磁盘。

根据本发明实施例的第二方面，提供了一种故障磁盘的处理装置，包括：

状态信息获取模块，用于获取数据节点内磁盘的状态信息，状态信息包括读写频率和磁盘繁忙度，磁盘繁忙度用于指示读写操作在对数据节点的操作中所占据的比例；

故障磁盘确定模块，用于根据读写频率、磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘；

处理模块，用于向故障磁盘对应的数据节点发起卸载磁盘命令以卸载故障磁盘。

根据本发明实施例的第三方面，提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述任一种故障磁盘的处理方法。

根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一种故障磁盘的处理方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用获取数据节点内磁盘的状态信息，状态信息包括读写频率和磁盘繁忙度，磁盘繁忙度用于指示读写操作在对数据节点的操作中所占据的比例；根据读写频率、磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘；向故障磁盘对应的数据节点发起卸载磁盘命令以卸载故障磁盘的技术手段，所以克服了现有的故障磁盘处理方法中通过监控系统或者人工检查来发现故障磁盘，无法实现自动识别故障磁盘并处理故障磁盘，在故障磁盘进行踢盘过程中需要暂停数据节点内全部磁盘的读写操作，且整个处理周期较长，进而导致故障磁盘的处理效率较低，处理成本较高，磁盘读写操作效率低，磁盘的利用率低的技术问题，进而达到自动识别故障磁盘并对其进行卸载处理，在故障磁盘的处理过程中并不影响当前数据节点内的其他正常磁盘的读写操作，缩短了故障磁盘的处理时间，降低了故障磁盘处理成本，提高了磁盘读写操作效率，提升了磁盘利用率的技术效果。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明第一实施例提供的故障磁盘的处理方法的主要流程的示意图；

图2a是根据本发明第二实施例提供的故障磁盘的处理方法的主要流程的示意图；

图2b是图2a所述故障磁盘的处理方法中发起卸载磁盘命令的主要流程示意图；

图3a是根据本发明实施例提供的故障磁盘的处理装置的主要模块的示意图；

图3b是与图3a所述故障磁盘的处理装置对应的故障磁盘的处理系统对应的主要框架的示意图；

图 4 是本发明实施例可以应用于其中的示例性系统架构图；

图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明第一实施例提供的故障磁盘的处理方法的主要流程的示意图；如图1所示，本发明实施例提供的故障磁盘的处理方法主要包括：

步骤S101，获取数据节点内磁盘的状态信息，状态信息包括读写频率和磁盘繁忙度，磁盘繁忙度用于指示读写操作在磁盘对数据节点的操作中所占据的比例。

具体地，根据本发明实施例，上述获取数据节点内磁盘的状态信息的步骤包括：设置获取周期，根据获取周期定时获取数据节点内磁盘的状态信息。

故障磁盘的识别是通过数据节点内各磁盘的状态信息来确定的，根据本发明实施例的一具体实施方式，该步骤可以通过数据节点自身来实现，定期向故障磁盘的处理装置发送该数据节点内各磁盘的状态信息，还可以通过在数据节点外部设置的监控系统来实现。每个数据节点内有多个（大于或等于两个）磁盘。

其中，读写频率，表示了磁盘在一段时间内的读写次数。例如，IOPS（Input/Output Operations Per Second）是指磁盘每秒的读写次数，其是一个用于衡量计算机存储设备（如硬盘（HDD）、固态硬盘（SSD）或存储区域网络（SAN））性能指标。

磁盘繁忙度，用于指示读写操作在对数据节点的操作中所占据的比例，其表征了磁盘的繁忙程度；可以用统计时间内所有处理I/O（Input/Output）时间，除以总共统计时间计算得到。

步骤S102，根据读写频率、磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘。

具体地，根据本发明实施例，上述根据读写频率、磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘的步骤包括：

确定根据读写频率与磁盘繁忙度的比值；

判断比值是否小于该磁盘对应的读写频率阈值；

若是，则确定读写频率对应的磁盘为故障磁盘，其中，读写频率阈值是根据该磁盘的基准读写频率确定的。

根据本发明实施例，利用读写频率除以磁盘繁忙度能够得到在磁盘对数据节点的操作全部为读写操作时，其所达到的最大读写频率；进而通过该磁盘能够达到的最大读写频率与该磁盘对应的读写频率阈值的比较，判断该磁盘是否为故障磁盘。通过上述设置，实现了根据获取的磁盘状态信息（读写频率、磁盘繁忙度）来自动识别故障磁盘，提高了判断故障磁盘的准确率和效率。

需要说明的是，各磁盘的读写频率阈值是根据该磁盘的基准读写频率（这是因为实际测量中，IOPS数值会受到很多因素的影响，包括I/O负载特征(读写比例，顺序和随机，工作线程数，队列深度，数据记录大小)、系统配置、操作系统、磁盘驱动等等。因此对比测量磁盘IOPS时，必须在同样的测试基准下进行）和权重系数的乘积来表示的，权重系数的取值范围为0至1，权重系数对应的具体数值是根据不同业务系统的容忍度来进行配置的，因此可根据实际情况进行确定。

进一步地，根据本发明实施例，在确定故障磁盘之后，故障磁盘的处理方法还包括：

停止故障磁盘的读写操作；

对故障磁盘内的存储数据进行备份处理。

由于故障磁盘需要进行踢盘处理（即卸载故障磁盘），因此需要停止故障磁盘的读写操作，并对故障磁盘内的存储数据进行备份处理，根据本发明实施例的一具体实施方式，在其他数据节点的磁盘或备份磁盘内对故障磁盘内的存储数据进行备份。

步骤S103，向故障磁盘对应的数据节点发起卸载磁盘命令以卸载故障磁盘。

优选地，根据本发明实施例，在卸载故障磁盘之前，故障磁盘的处理方法还包括：

将故障磁盘的磁盘信息写入处理队列中；

从处理队列中获取故障磁盘的磁盘信息，根据磁盘信息向故障磁盘对应的数据节点发起卸载磁盘命令。

通过上述设置，在待执行踢盘处理的磁盘较多（即故障磁盘较多）的情况下，将故障磁盘的磁盘信息写入处理队列中，然后依次获取相应的故障磁盘信息，发起踢盘处理请求（即上述卸载磁盘命令），以实现对故障磁盘进行卸载。

根据本发明实施例，上述磁盘信息包括磁盘ID和下列信息中的至少一种：磁盘处理优先级、挂载目录和盘符。其中，磁盘处理优先级指示了该磁盘被卸载的顺序。

进一步地，根据本发明实施例，根据磁盘信息向故障磁盘对应的数据节点发起卸载磁盘命令的步骤还包括：根据磁盘信息和最大可用线程数，向故障磁盘对应的数据节点发起卸载磁盘命令。

通过上述设置，避免了同时对多个数据节点内的故障磁盘进行卸载，导致的故障磁盘中的存储数据的数据副本被全部删除的情形；即同一时间内仅执行一个数据节点的踢盘处理操作，避免同时多个数据节点操作，导致分布式文件系统发生数据块丢失的现象。根据本发明实施例的一具体实施方式，上述最大可用线程数可根据当前数据节点内的磁盘数量来确定，如，若当前数据节点内共有5个磁盘，则最大可用线程数为小于或等于4；这是因为对于同一数据节点，对其内的多个（大于或等于两个）故障磁盘进行批量卸载处理时，能够提升磁盘处理效率；但同时避免同时将某个数据节点内的磁盘全部卸载，导致存储数据丢失的情形。

具体地，根据本发明实施例，上述向故障磁盘对应的数据节点发起卸载磁盘命令以卸载故障磁盘的步骤包括：

基于超文本传输协议或者远程过程调用协议向故障磁盘对应的数据节点发起卸载磁盘命令，以根据卸载磁盘命令卸载故障磁盘。

通过上述设置，确定故障磁盘之后，一方面可直接基于HTTP（HyperText TransferProtocol，超文本传输协议）向该故障磁盘对应的数据节点发起卸载磁盘命令，以使得该数据节点在不影响其内其他正常磁盘的读写操作的情况下，完成对故障磁盘的卸载；另一方面，还可以通过RPC（Remote Procedure Call，远程调用协议）调用配置在各数据节点上的卸载磁盘接口对其内的故障磁盘进行踢盘处理；通过调用故障磁盘对应数据节点的踢盘接口，实现对该数据节点内的故障磁盘的踢盘处理操作，避免了现有故障磁盘的处理过程中正常磁盘无法对外提供操作，导致的磁盘利用率降低的问题。

根据本发明实施例的技术方案，因为采用获取数据节点内磁盘的状态信息，状态信息包括读写频率和磁盘繁忙度，磁盘繁忙度用于指示读写操作在磁盘对数据节点的操作中所占据的比例；根据读写频率、磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘；向故障磁盘对应的数据节点发起卸载磁盘命令以卸载故障磁盘的技术手段，所以克服了现有的故障磁盘处理方法中通过监控系统或者人工检查来发现故障磁盘，无法实现自动识别故障磁盘并处理故障磁盘，在故障磁盘进行踢盘过程中需要暂停数据节点内全部磁盘的读写操作，且整个处理周期较长，进而导致故障磁盘的处理效率较低，处理成本较高，磁盘读写操作效率低，磁盘的利用率低的技术问题，进而达到自动识别故障磁盘并对其进行卸载处理，在故障磁盘的处理过程中并不影响当前数据节点内的其他正常磁盘的读写操作，缩短了故障磁盘的处理时间，降低了故障磁盘处理成本，提高了磁盘读写操作效率，提升了磁盘利用率的技术效果。

图2a是根据本发明第二实施例提供的故障磁盘的处理方法的主要流程的示意图；本发明实施例的一应用场景是HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）内的故障磁盘的处理，如图2a所示，本发明实施例提供的故障磁盘的处理方法主要包括：

步骤S201，根据获取周期定时获取数据节点内磁盘的状态信息，其中，磁盘的状态信息包括读写频率和磁盘繁忙度。

故障磁盘的识别是通过数据节点内各磁盘的状态信息来确定的，根据本发明实施例的一具体实施方式，该步骤可以通过数据节点自身来监控其内各磁盘的状态信息，然后定期向故障磁盘的处理装置发送该数据节点内各磁盘的状态信息，还可以通过在数据节点外部设置的监控系统来实现。每个数据节点内有多个（大于或等于两个）磁盘。

步骤S202，确定读写频率与磁盘繁忙度的比值。

根据本发明实施例，上述读写频率可以为IOPS（Input/Output Operations PerSecond），即磁盘每秒的读写次数；磁盘繁忙度则是利用统计时间内所有处理I/O（Input/Output）时间，除以总共统计时间计算得到的。利用读写频率除以磁盘繁忙度能够得到在对数据节点的操作全部为读写操作时，其所达到的最大读写频率。磁盘的主要功能就是提供读取和写入操作，通过上述设置有利于后续基于读写频率与磁盘繁忙度的比值确定故障磁盘。

步骤S203，判断读写频率与磁盘繁忙度的比值是否小于该磁盘对应的读写频率阈值，其中，读写频率阈值是根据该磁盘的基准读写频率确定的。若否，即上述比值大于或等于该磁盘对应的读写频率阈值，执行步骤S204；若是，即上述比值小于该磁盘对应的读写频率阈值，执行步骤S205。

通过上述设置，通过该磁盘能够达到的最大读写频率与该磁盘对应的读写频率阈值的比较，判断该磁盘是否为故障磁盘。实现了根据获取的磁盘状态信息（读写频率、磁盘繁忙度）来自动识别故障磁盘，提高了判断故障磁盘的准确率和效率。

根据本发明实施例的一具体实施方式，上述读写频率阈值是根据该磁盘的基准读写频率与权重系数的乘积确定的。

进一步地，根据本发明实施例，上述判断步骤可用如下方式进行表示：

；

其中，当前IOPS是指当前磁盘对应的读写频率；当前ioutil是指该磁盘对应的磁盘繁忙度；预设IOPS是指该磁盘对应的读写频率阈值；factor是指该磁盘对应的权重系数，基准IOPS是指该磁盘对应的基准读写频率。

需要说明的是，各磁盘的读写频率阈值是根据该磁盘的基准读写频率（这是因为实际测量中，IOPS数值会受到很多因素的影响，包括I/O负载特征(读写比例，顺序和随机，工作线程数，队列深度，数据记录大小)、系统配置、操作系统、磁盘驱动等等。因此对比测量磁盘IOPS时，必须在同样的测试基准下进行）和权重系数的乘积来表示的，权重系数的取值范围为0至1，权重系数对应的具体数值是根据不同业务系统的容忍度来进行配置的，因此可根据实际情况进行确定。

根据本发明实施例的一具体实施方式，当前磁盘的磁盘繁忙度为90%，读写频率IOPS为81，在该磁盘的磁盘繁忙度为100%时其基准IOPS为200，其权重系数为0.5；根据上述公式：81/0.9等于90，小于基准IOPS的50%，即小于该磁盘对应的读写频率阈值，故判定该磁盘为故障磁盘。

步骤S204，确定读写频率对应的磁盘为正常磁盘，转到步骤S201。

若读写频率与磁盘繁忙度的比值大于或等于该磁盘对应的读写频率阈值，表明该磁盘的读写效率达到了文件管理系统的基准要求，判定该磁盘为正常磁盘，继续获取数据节点内各磁盘的状态信息。

步骤S205，确定读写频率对应的磁盘为故障磁盘，停止故障磁盘的读写操作。

若读写频率与磁盘繁忙度的比值小于该磁盘对应的读写频率阈值，则表明该磁盘的读写效率未达到文件管理系统的基准要求，此时的磁盘响应速度较慢，少量的IO请求就很可能导致磁盘繁忙的情形。

步骤S206，对故障磁盘内的存储数据进行备份处理。

根据本发明实施例，在其他数据节点的磁盘或备份磁盘内对故障磁盘内的存储数据进行备份。根据本发明实施例的一具体实施方式，数据节点通过心跳向分布式文件系统的管理节点（NameNode）发送故障磁盘的磁盘信息（如图2b所示），NameNode再重新均衡故障磁盘内存储数据的副本数量，将因剔除故障磁盘导致的副本数量降低的数据存储数据写入其他DataNode的磁盘内。

根据本发明实施例的一具体实施方式，上述对故障磁盘内的存储数据进行备份处理的步骤可以在卸载故障磁盘之前执行，也可以在卸载故障磁盘之后执行。

步骤S207，将故障磁盘的磁盘信息写入处理队列中，从处理队列中获取故障磁盘的磁盘信息。

通过上述设置，在待执行踢盘处理的磁盘较多（即故障磁盘较多）的情况下，将故障磁盘的磁盘信息写入处理队列中，并从该处理队列中依次获取相应的故障磁盘的磁盘信息，发起踢盘处理请求（即上述卸载磁盘命令），以实现对故障磁盘进行卸载。

步骤S208，基于超文本传输协议根据磁盘信息和最大可用线程数向故障磁盘对应的数据节点发起卸载磁盘命令，以根据卸载磁盘命令卸载故障磁盘。

通过上述设置，避免了同时对多个数据节点内的故障磁盘进行卸载，导致的故障磁盘中的存储数据的数据副本被全部删除的情形；即同一时间内仅执行一个数据节点的踢盘处理操作，避免同时多个数据节点操作，导致分布式文件系统发生数据块丢失的现象。根据本发明实施例的一具体实施方式，上述最大可用线程数可根据当前数据节点内的磁盘数量来确定，如，若当前数据节点内共有5个磁盘，则最大可用线程数为小于或等于4；这是因为对于同一数据节点，对其内的多个（大于或等于两个）故障磁盘进行批量卸载处理时，能够提升磁盘处理效率；但同时避免同时将某个数据节点内的磁盘全部卸载，导致存储数据丢失的情形。

图2b是图2a所述故障磁盘的处理方法中发起卸载磁盘命令的主要流程的示意图；如图2b所示，确定故障磁盘之后，故障磁盘的处理装置可直接基于HTTP（HyperTextTransfer Protocol，超文本传输协议）向该故障磁盘对应的数据节点发起卸载磁盘命令，数据节点（DataNode）通过http server（即web server，网页服务器/网站服务器）接收该卸载磁盘命令，根据卸载磁盘命令中的处理请求（handleRequest）指示的故障磁盘的磁盘信息（包括磁盘ID），调用故障磁盘对应的数据节点的KickVolumnServlet（踢盘接口），根据踢盘接口中的removeVolumes（踢盘方法）来实现对数据节点内故障磁盘的卸载（也称踢盘处理操作）。通过上述设置，实现了在不影响数据节点内其他正常磁盘的读写操作的情况下，完成对该数据节点中故障磁盘的卸载。

替选地，也可以不采用步骤S208中的HTTP请求来卸载故障磁盘，而在步骤S209中，基于远程过程调用协议根据磁盘信息和最大可用线程数向故障磁盘对应的数据节点发起卸载磁盘命令，以根据卸载磁盘命令卸载故障磁盘。

如图2b所示，通过上述设置，确定故障磁盘之后，故障磁盘的处理装置可直接通过RPC（Remote Procedure Call，远程调用协议）调用配置在各数据节点上的踢盘接口对其内的故障磁盘进行卸载处理。通过调用故障磁盘对应数据节点的踢盘接口，实现对该数据节点内的故障磁盘的踢盘处理操作，避免了现有故障磁盘的处理过程中正常磁盘无法对外提供操作，导致的磁盘利用率降低的问题。

根据本发明实施例的技术方案，因为采用获取数据节点内磁盘的状态信息，状态信息包括读写频率和磁盘繁忙度，磁盘繁忙度用于指示读写操作在对数据节点的操作中所占据的比例；根据读写频率、磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘；向故障磁盘对应的数据节点发起卸载磁盘命令以卸载故障磁盘的技术手段，所以克服了现有的故障磁盘处理方法中通过监控系统或者人工检查来发现故障磁盘，无法实现自动识别故障磁盘并处理故障磁盘，在故障磁盘进行踢盘过程中需要暂停数据节点内全部磁盘的读写操作，且整个处理周期较长，进而导致故障磁盘的处理效率较低，处理成本较高，磁盘读写操作效率低，磁盘的利用率低的技术问题，进而达到自动识别故障磁盘并对其进行卸载处理，在故障磁盘的处理过程中并不影响当前数据节点内的其他正常磁盘的读写操作，缩短了故障磁盘的处理时间，降低了故障磁盘处理成本，提高了磁盘读写操作效率，提升了磁盘利用率的技术效果。

图3a是根据本发明实施例提供的故障磁盘的处理装置的主要模块的示意图；如图3a所示，本发明实施例提供的故障磁盘的处理装置300主要包括：

状态信息获取模块301，用于获取数据节点内磁盘的状态信息，状态信息包括读写频率和磁盘繁忙度，磁盘繁忙度用于指示读写操作在对数据节点的操作中所占据的比例。

具体地，根据本发明实施例，上述状态信息获取模块301还用于：设置获取周期，根据获取周期定时获取数据节点内磁盘的状态信息。

故障磁盘的识别是通过数据节点内各磁盘的状态信息来确定的，根据本发明实施例的一具体实施方式，该步骤可以通过数据节点自身来实现，定期向故障磁盘的处理装置发送该数据节点内各磁盘的状态信息，还可以通过在数据节点外部设置的监控系统来实现。每个数据节点内有多个（大于或等于两个）磁盘。

其中，读写频率，表示了磁盘在一段时间内的读写次数。例如，IOPS（Input/OutputOperations Per Second）是指磁盘每秒的读写次数，其是一个用于衡量计算机存储设备（如硬盘（HDD）、固态硬盘（SSD）或存储区域网络（SAN））性能指标。

磁盘繁忙度，用于指示读写操作在对数据节点的操作中所占据的比例，其表征了磁盘的繁忙程度；可以用统计时间内所有处理I/O（Input/Output）时间，除以总共统计时间计算得到。

故障磁盘确定模块302，用于根据读写频率、磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘。

具体地，根据本发明实施例，上述故障磁盘确定模块302还用于：

确定根据读写频率与磁盘繁忙度的比值；

判断比值是否小于该磁盘对应的读写频率阈值；

若是，则确定读写频率对应的磁盘为故障磁盘，其中，读写频率阈值是根据该磁盘的基准读写频率确定的。

根据本发明实施例，利用读写频率除以磁盘繁忙度能够得到在磁盘对数据节点的操作全部为读写操作时，其所达到的最大读写频率；进而通过该磁盘能够达到的最大读写频率与该磁盘对应的读写频率阈值的比较，判断该磁盘是否为故障磁盘。通过上述设置，能够根据获取的磁盘状态信息（读写频率、磁盘繁忙度）来自动识别故障磁盘，提高了判断故障磁盘的准确率和效率。

需要说明的是，各磁盘的读写频率阈值是根据该磁盘的基准读写频率（这是因为实际测量中，IOPS数值会受到很多因素的影响，包括I/O负载特征(读写比例，顺序和随机，工作线程数，队列深度，数据记录大小)、系统配置、操作系统、磁盘驱动等等。因此对比测量磁盘IOPS时，必须在同样的测试基准下进行）和权重系数的乘积来表示的，权重系数的取值范围为0至1，权重系数对应的具体数值是根据不同业务系统的容忍度来进行配置的，因此可根据实际情况进行确定。

进一步地，根据本发明实施例，上述故障磁盘的处理装置300还包括备份模块，在确定故障磁盘之后，上述备份模块还用于：

停止故障磁盘的读写操作；

对故障磁盘内的存储数据进行备份处理。

由于故障磁盘需要进行踢盘处理（即卸载故障磁盘），因此需要停止故障磁盘的读写操作，并对故障磁盘内的存储数据进行备份处理，根据本发明实施例的一具体实施方式，在其他数据节点的磁盘或备份磁盘内对故障磁盘内的存储数据进行备份。

处理模块303，用于向故障磁盘对应的数据节点发起卸载磁盘命令以卸载故障磁盘。

优选地，根据本发明实施例，上述磁盘处理装置300还包括处理队列写入模块，在卸载故障磁盘之前，上述处理队列写入模块还用于：

将故障磁盘的磁盘信息写入处理队列中；

从处理队列中获取故障磁盘的磁盘信息，根据磁盘信息向故障磁盘对应的数据节点发起卸载磁盘命令。

通过上述设置，在待执行踢盘处理的磁盘较多（即故障磁盘较多）的情况下，将故障磁盘的磁盘信息写入处理队列中，然后依次获取相应的故障磁盘信息，发起踢盘处理请求（即上述卸载磁盘命令），以实现对故障磁盘进行卸载。

进一步地，根据本发明实施例，上述处理队列写入模块还用于：根据磁盘信息和最大可用线程数，向故障磁盘对应的数据节点发起卸载磁盘命令。

通过上述设置，避免了同时对多个数据节点内的故障磁盘进行卸载，导致的故障磁盘中的存储数据的数据副本被全部删除的情形；即同一时间内仅执行一个数据节点的踢盘处理操作，避免同时多个数据节点操作，导致分布式文件系统发生数据块丢失的现象。根据本发明实施例的一具体实施方式，上述最大可用线程数可根据当前数据节点内的磁盘数量来确定，如，若当前数据节点内共有5个磁盘，则最大可用线程数为小于或等于4；这是因为对于同一数据节点，对其内的多个（大于或等于两个）故障磁盘进行批量卸载处理时，能够提升磁盘处理效率；但同时避免同时将某个数据节点内的磁盘全部卸载，导致存储数据丢失的情形。

具体地，根据本发明实施例，上述处理模块303还用于：

基于超文本传输协议或者远程过程调用协议向故障磁盘对应的数据节点发起卸载磁盘命令，以根据卸载磁盘命令卸载故障磁盘。

通过上述设置，确定故障磁盘之后，一方面可直接基于HTTP（HyperText TransferProtocol，超文本传输协议）向该故障磁盘对应的数据节点发起卸载磁盘命令，以使得该数据节点在不影响其内其他正常磁盘的读写操作的情况下，完成对故障磁盘的卸载；另一方面，还可以通过RPC（Remote Procedure Call，远程调用协议）调用配置在各数据节点上的卸载磁盘接口对其内的故障磁盘进行踢盘处理；通过调用故障磁盘对应数据节点的踢盘接口，实现对该数据节点内的故障磁盘的踢盘处理操作，避免了现有故障磁盘的处理过程中正常磁盘无法对外提供操作，导致的磁盘利用率降低的问题。

根据本发明实施例的技术方案，因为采用获取数据节点内磁盘的状态信息，状态信息包括读写频率和磁盘繁忙度，磁盘繁忙度用于指示读写操作在对数据节点的操作中所占据的比例；根据读写频率、磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘；向故障磁盘对应的数据节点发起卸载磁盘命令以卸载故障磁盘的技术手段，所以克服了现有的故障磁盘处理方法中通过监控系统或者人工检查来发现故障磁盘，无法实现自动识别故障磁盘并处理故障磁盘，在故障磁盘进行踢盘过程中需要暂停数据节点内全部磁盘的读写操作，且整个处理周期较长，进而导致故障磁盘的处理效率较低，处理成本较高，磁盘读写操作效率低，磁盘的利用率低的技术问题，进而达到自动识别故障磁盘并对其进行卸载处理，在故障磁盘的处理过程中并不影响当前数据节点内的其他正常磁盘的读写操作，缩短了故障磁盘的处理时间，降低了故障磁盘处理成本，提高了磁盘读写操作效率，提升了磁盘利用率的技术效果。

图3b是与图3a所述故障磁盘的处理装置对应的故障磁盘的处理系统对应的主要框架的示意图；如图3b所示，本发明实施例提供的故障磁盘的处理系统主要包括：

多个数据节点（201/202/203），图中示出的三个数据节点仅为示例，并未作为对数据节点数量的限定。数据节点内具有多个磁盘用于执行读取、写入操作。

监控系统400：用于监控数据节点内各磁盘的状态信息，该状态信息包括读写频率和磁盘繁忙度，并将监控得到的磁盘的状态信息发送至故障磁盘的处理装置300；需要说明的是，监控系统不作为本发明提供的磁盘处理系统的必须模块，其所执行的监控数据节点内各磁盘的状态信息也可由数据节点本身执行，还可由故障磁盘的处理装置300来执行；

故障磁盘的处理装置300，用于获取数据节点内磁盘的状态信息，状态信息包括读写频率和磁盘繁忙度；根据读写频率、磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘；向故障磁盘对应的数据节点发起卸载磁盘命令以卸载故障磁盘；

管理节点100，接收数据节点发送的故障磁盘的磁盘信息，然后重新均衡故障磁盘内存储数据的副本数量，将因剔除或卸载故障磁盘导致的副本数量降低的数据存储数据写入其他数据节点对应的磁盘内。

根据本发明实施例的技术方案，因为采用获取数据节点内磁盘的状态信息，状态信息包括读写频率和磁盘繁忙度，磁盘繁忙度用于指示读写操作在对数据节点的操作中所占据的比例；根据读写频率、磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘；向故障磁盘对应的数据节点发起卸载磁盘命令以卸载故障磁盘的技术手段，所以克服了现有的故障磁盘处理方法中通过监控系统或者人工检查来发现故障磁盘，无法实现自动识别故障磁盘并处理故障磁盘，在故障磁盘进行踢盘过程中需要暂停数据节点内全部磁盘的读写操作，且整个处理周期较长，进而导致故障磁盘的处理效率较低，处理成本较高，磁盘读写操作效率低，磁盘的利用率低的技术问题，进而达到自动识别故障磁盘并对其进行卸载处理，在故障磁盘的处理过程中并不影响当前数据节点内的其他正常磁盘的读写操作，缩短了故障磁盘的处理时间，降低了故障磁盘处理成本，提高了磁盘读写操作效率，提升了磁盘利用率的技术效果。

图4示出了可以应用本发明实施例的故障磁盘的处理方法或故障磁盘的处理装置的示例性系统架构。

如图4所示，系统架构可以包括终端设备401、402、403，网络404和服务器405（此架构仅仅是示例，具体架构中包含的组件可以根据申请具体情况调整）。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等（仅为示例）。

终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器（仅为示例）。后台管理服务器可以对接收到的磁盘的状态信息等数据进行分析等处理，并将处理结果（例如故障磁盘--仅为示例）反馈给终端设备。

需要说明的是，本发明实施例所提供的故障磁盘的处理方法一般由服务器405执行，相应地，故障磁盘的处理装置一般设置于服务器405中。

应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元（CPU）501，其可以根据存储在只读存储器（ROM）502中的程序或者从存储部分508加载到随机访问存储器（RAM）503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出（I/O）接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元（CPU）501执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括状态信息获取模块、故障磁盘确定模块和处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，状态信息获取模块还可以被描述为“用于获取数据节点内磁盘的状态信息的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取数据节点内磁盘的状态信息，状态信息包括读写频率和磁盘繁忙度，磁盘繁忙度用于指示读写操作在对数据节点的操作中所占据的比例；根据读写频率、磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘；向故障磁盘对应的数据节点发起卸载磁盘命令以卸载故障磁盘。

根据本发明实施例的技术方案，因为采用获取数据节点内磁盘的状态信息，状态信息包括读写频率和磁盘繁忙度，磁盘繁忙度用于指示读写操作在对数据节点的操作中所占据的比例；根据读写频率、磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘；向故障磁盘对应的数据节点发起卸载磁盘命令以卸载故障磁盘的技术手段，所以克服了现有的故障磁盘处理方法中通过监控系统或者人工检查来发现故障磁盘，无法实现自动识别故障磁盘并处理故障磁盘，在故障磁盘进行踢盘过程中需要暂停数据节点内全部磁盘的读写操作，且整个处理周期较长，进而导致故障磁盘的处理效率较低，处理成本较高，磁盘读写操作效率低，磁盘的利用率低的技术问题，进而达到自动识别故障磁盘并对其进行卸载处理，在故障磁盘的处理过程中并不影响当前数据节点内的其他正常磁盘的读写操作，缩短了故障磁盘的处理时间，降低了故障磁盘处理成本，提高了磁盘读写操作效率，提升了磁盘利用率的技术效果。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (9)

1.一种故障磁盘的处理方法，其特征在于，包括：

获取数据节点内磁盘的状态信息，所述状态信息包括读写频率和磁盘繁忙度，所述磁盘繁忙度用于指示读写操作在对所述数据节点的操作中所占据的比例；

根据所述读写频率、所述磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘；具体包括：确定根据所述读写频率与所述磁盘繁忙度的比值；判断所述比值是否小于该磁盘对应的读写频率阈值；若是，则确定所述读写频率对应的磁盘为故障磁盘，其中，所述读写频率阈值是根据该磁盘的基准读写频率确定的；

向所述故障磁盘对应的数据节点发起卸载磁盘命令以卸载所述故障磁盘。

2.根据权利要求1所述的故障磁盘的处理方法，其特征在于，在确定所述故障磁盘之后，所述故障磁盘的处理方法还包括：

停止所述故障磁盘的读写操作；

对所述故障磁盘内的存储数据进行备份处理。

3.根据权利要求1所述的故障磁盘的处理方法，其特征在于，所述获取数据节点内磁盘的状态信息的步骤包括：设置获取周期，根据所述获取周期定时获取所述数据节点内磁盘的状态信息。

4.根据权利要求1所述的故障磁盘的处理方法，其特征在于，在卸载所述故障磁盘之前，所述故障磁盘的处理方法还包括：

将所述故障磁盘的磁盘信息写入处理队列中；

从所述处理队列中获取所述故障磁盘的磁盘信息，根据所述磁盘信息向所述故障磁盘对应的数据节点发起卸载磁盘命令。

5.根据权利要求4所述的故障磁盘的处理方法，其特征在于，所述根据所述磁盘信息向所述故障磁盘对应的数据节点发起卸载磁盘命令的步骤还包括：根据所述磁盘信息和最大可用线程数，向所述故障磁盘对应的数据节点发起卸载磁盘命令。

6.根据权利要求1所述的故障磁盘的处理方法，其特征在于，所述向所述故障磁盘对应的数据节点发起卸载磁盘命令以卸载所述故障磁盘的步骤包括：

基于超文本传输协议或者远程过程调用协议向所述故障磁盘对应的数据节点发起卸载磁盘命令，以根据所述卸载磁盘命令卸载所述故障磁盘。

7.一种故障磁盘的处理装置，其特征在于，包括：

状态信息获取模块，用于获取数据节点内磁盘的状态信息，所述状态信息包括读写频率和磁盘繁忙度，所述磁盘繁忙度用于指示读写操作在对所述数据节点的操作中所占据的比例；

故障磁盘确定模块，用于根据所述读写频率、所述磁盘繁忙度和该磁盘对应的读写频率阈值确定故障磁盘；具体用于：确定根据所述读写频率与所述磁盘繁忙度的比值；判断所述比值是否小于该磁盘对应的读写频率阈值；若是，则确定所述读写频率对应的磁盘为故障磁盘，其中，所述读写频率阈值是根据该磁盘的基准读写频率确定的；

处理模块，用于向所述故障磁盘对应的数据节点发起卸载磁盘命令以卸载所述故障磁盘。

8.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。