CN115454703A - 一种慢盘隔离控制方法及装置、设备、存储介质 - Google Patents

Abstract

本发明提供了一种慢盘隔离控制方法及装置、设备、存储介质，该慢盘隔离控制方法可包括：接收慢盘上报事件，慢盘上报事件表示第一分布式存储节点中的第一硬盘被识别为慢盘；确定第一硬盘的第一平均时延，并确定第一分布式存储节点中的多个第二硬盘的平均时延为第二平均时延；根据第一平均时延与第二平均时延的比较关系，判断是否对第一硬盘进行隔离。本发明能够兼顾慢盘的平均时延和慢盘所在节点内除慢盘以外的其他硬盘的平均时延，从而为是否对慢盘进行隔离提供了可靠的依据，实现在保证节点性能的前提下有效判断是否对慢盘进行隔离。

Description

一种慢盘隔离控制方法及装置、设备、存储介质

技术领域

本发明涉及分布式存储技术领域，更为具体地，本发明能够提供一种慢盘隔离控制方法及装置、设备、存储介质。

背景技术

分布式存储集群中的硬盘在使用过程中，由于硬盘的磁性退化、坏道或振动等问题，会出现IO(Input/Output，输入输出)操作时延突然增大、严重超出正常水平的现象，出现该现象的硬盘称为慢盘，主要是机械盘。慢盘对于部署有分布式存储节点的分布式存储集群危害较大，单个硬盘的IO操作时延的突然增大会导致应用层等上层业务处理性能的急剧下降，大幅降低了用户体验，严重时甚至会导致用户业务超时中断。虽然慢盘的IO操作时延大，但仍可实现完成响应请求的功能，所以分布式存储集群难以识别出慢盘。

常规方案一般根据单个硬盘的IO操作时延检测结果识别该硬盘是否为慢盘，对识别出的慢盘直接进行隔离处理。但这种直接隔离慢盘的方式经常会导致整个分布式存储集群的IO操作时延明显地增加，特别在多个硬盘均被识别为慢盘的情况，如果将这些慢盘全部进行隔离处理，显然会显著降低整个分布式存储集群性能；若对识别出的慢盘不进行隔离处理，则慢盘对上层业务处理性能的影响问题依然存在。因此，如何有效判断是否对慢盘进行隔离，成为了本领域技术人员亟待解决的技术问题。

发明内容

为解决常规技术无法有效判断是否对识别出的慢盘进行隔离的问题，本发明能够提供一种慢盘隔离控制方法及装置、设备、存储介质，实现为是否隔离慢盘提供可靠的依据、达到有效判断是否隔离慢盘等技术目的。

为实现上述技术目的，本发明提供了一种慢盘隔离控制方法，该方法应用于分布式存储集群中的集群控制节点，该方法包括但不限于如下的至少一个步骤。

接收慢盘上报事件，慢盘上报事件表示第一分布式存储节点中的第一硬盘被识别为慢盘。

确定第一硬盘的第一平均时延，并确定第一分布式存储节点中的多个第二硬盘的平均时延为第二平均时延。

根据第一平均时延与第二平均时延的比较关系，判断是否对第一硬盘进行隔离。

基于上述的技术方案，本发明在识别出慢盘之后进而确定慢盘的第一平均时延和慢盘所在节点的其他硬盘的第二平均时延，以及根据第一平均时延与第二平均时延的比较结果确定是否对该慢盘进行隔离，可见本发明兼顾了慢盘的平均时延和慢盘所在节点内除慢盘以外的其他硬盘的平均时延，从而为是否对慢盘进行隔离提供了可靠的依据，可实现在保证节点性能的前提下有效判断是否对慢盘进行隔离，本发明提供的慢盘隔离控制策略具有可靠性更强等突出优点。

本发明的可实施方式中，根据第一平均时延与第二平均时延的比较关系，判断是否对第一硬盘进行隔离，包括：

读取第一预设承载因子，并将第一平均时延与第一预设承载因子的乘积作为第一有效时延；第一预设承载因子大于0且小于1。

在判定第二平均时延小于或者等于第一有效时延时，对第一硬盘进行隔离。

基于上述改进后的技术方案，本发明能够根据第一预设承载因子确定第一有效时延，以通过第一有效时延作为当前节点其他硬盘可承载慢盘被隔离后转移出的业务的上限，在当前节点其他硬盘的第二平均时延小于或等于第一有效时延条件下，可说明当前节点其他硬盘可承载慢盘被隔离后转移出的业务，则对慢盘进行隔离处理。可见本发明能够充分保证节点的业务处理性能的前提下才对慢盘进行隔离，明显提升了分布式系统性能。

本发明的可实施方式中，慢盘隔离控制方法还包括：

在判定第二平均时延大于第一有效时延时，确定多个第二分布式存储节点中的第三硬盘的平均时延为第三平均时延；多个第二分布式存储节点为分布式存储集群中除第一分布式存储节点之外的分布式存储节点。

根据第一平均时延与第三平均时延的比较关系，判断是否对第一硬盘进行隔离。

基于上述改进后的技术方案，本发明还能够在当前节点其他硬盘难以承载慢盘被隔离后转移出的业务的情况下，确定分布式存储集群内的其他分布式存储节点中的第三硬盘的平均时延为第三平均时延，以及根据第一平均时延与第三平均时延的此较结果确定是否对该慢盘进行隔离，可见本发明充分兼顾慢盘的平均时延和除慢盘所在节点以外的其他节点的平均时延，为是否对慢盘进行隔离提供了更可靠的依据，可实现在保证分布式存储集群性能的前提下有效判断是否对慢盘进行隔离，进一步提高了慢盘隔离控制的可靠性。

本发明的可实施方式中，根据第一平均时延与第三平均时延的此较关系，判断是否对第一硬盘进行隔离，包括：

读取第二预设承载因子，并将第一平均时延与第二预设承载因子的乘积作为第二有效时延；第二预设承载因子大于0且小于1。

在判定第三平均时延小于或者等于第二有效时延时，对第一硬盘进行隔离。

在判定第三平均时延大于第二有效时延时，忽略慢盘上报事件并结束。

基于上述改进后的技术方案，本发明还可根据第二预设承载因子确定第二有效时延，以通过第二有效时延作为除慢盘所在节点以外的其他节点内的硬盘可承载慢盘被隔离后转出的业务的上限，如果第三平均时延小于或等于第二有效时延，说明除慢盘所在节点以外的其他节点内的硬盘能够承载慢盘被隔离后转出的业务，则对慢盘进行隔离处理；若第三平均时延大于第二有效时延，说明除慢盘所在节点以外的其他节点内的硬盘难以承载慢盘被隔离后转出的业务，则忽略本次的慢盘上报事件，不隔离慢盘。因此，本发明能够根据分布式系统当前承载业务的水平准确判断是否隔离慢盘，判断的精准性非常高。

本发明的可实施方式中，接收慢盘上报事件之后，还包括：

判断分布式存储集群是否处于冗余状态。

如果是，则执行确定第一硬盘的第一平均时延的步骤。

如果否，则忽略慢盘上报事件并结束。

基于上述改进后的技术方案，本发明还在分布式存储集群处于非冗余状态下忽略当前的慢盘上报事件，该方式能够通过非冗余状态判断分布式存储集群中很可能存在其他异常，分布式存储集群存在其他异常的情况下对硬盘进行隔离存在数据易丢失的风险，可见本发明还能够明显提高数据存储的可靠性。

本发明的可实施方式中，判断分布式存储集群是否处于冗余状态，包括：

判断分布式存储集群中的多个第二分布式存储节点是否均处于健康状态。

其中，健康状态表示第二分布式存储节点无异常。

基于上述改进后的技术方案，本发明能够通过分布式存储集群中所有节点的健康状态确定分布式存储集群处于冗余状态，该方式能够充分保证在分布式存储集群无异常的条件下进行慢盘隔离的控制。

本发明的可实施方式中，第一预设承载因子与第二预设承载因子相同或不同。

为实现上述技术目的，本发明还提供了一种慢盘隔离控制装置，该装置应用于分布式存储集群中的集群控制节点，该装置可包括但不限于事件接收单元、时延确定单元以及隔离判断单元。

事件接收单元，用于接收慢盘上报事件，慢盘上报事件表示第一分布式存储节点中的第一硬盘被识别为慢盘；

时延确定单元，用于确定第一硬盘的时延为第一平均时延，以及用于确定第一分布式存储节点中的多个第二硬盘的平均时延为第二平均时延；

隔离判断单元，用于根据第一平均时延与第二平均时延的比较关系，判断是否对第一硬盘进行隔离。

基于上述的技术方案，本发明在识别出慢盘之后进而确定慢盘的第一平均时延和慢盘所在节点的其他硬盘的第二平均时延，以及根据第一平均时延与第二平均时延的比较结果确定是否对该慢盘进行隔离，可见本发明兼顾了慢盘的平均时延和慢盘所在节点内除慢盘以外的其他硬盘的平均时延，从而为是否对慢盘进行隔离提供了可靠的依据，可实现在保证节点性能的前提下有效判断是否对慢盘进行隔离，本发明提供的慢盘隔离控制策略具有可靠性更强等突出优点。

本发明的可实施方式中，隔离判断单元，用于读取第一预设承载因子，并用于将第一平均时延与第一预设承载因子的乘积作为第一有效时延；第一预设承载因子大于0且小于1。

隔离判断单元，用于在判定第二平均时延小于或者等于第一有效时延时，对第一硬盘进行隔离。

基于上述改进后的技术方案，本发明能够根据第一预设承载因子确定第一有效时延，以通过第一有效时延作为当前节点其他硬盘可承载慢盘被隔离后转移出的业务的上限，在当前节点其他硬盘的第二平均时延小于或等于第一有效时延条件下，可说明当前节点其他硬盘可承载慢盘被隔离后转移出的业务，则对慢盘进行隔离处理。可见本发明能够充分保证节点的业务处理性能的前提下才对慢盘进行隔离，明显提升了分布式系统性能。

本发明的可实施方式中，隔离判断单元，用于在判定第二平均时延大于第一有效时延时，确定多个第二分布式存储节点中的第三硬盘的平均时延为第三平均时延；多个第二分布式存储节点为分布式存储集群中除第一分布式存储节点之外的分布式存储节点。

隔离判断单元，用于根据第一平均时延与第三平均时延的比较关系，判断是否对第一硬盘进行隔离。

基于上述改进后的技术方案，本发明还能够在当前节点其他硬盘难以承载慢盘被隔离后转移出的业务的情况下，确定分布式存储集群内的其他分布式存储节点中的第三硬盘的平均时延为第三平均时延，以及根据第一平均时延与第三平均时延的此较结果确定是否对该慢盘进行隔离，可见本发明充分兼顾慢盘的平均时延和除慢盘所在节点以外的其他节点的平均时延，为是否对慢盘进行隔离提供了更可靠的依据，可实现在保证分布式存储集群性能的前提下有效判断是否对慢盘进行隔离，进一步提高了慢盘隔离控制的可靠性。

本发明的可实施方式中，隔离判断单元，用于读取第二预设承载因子，并用于将第一平均时延与第二预设承载因子的乘积作为第二有效时延；第二预设承载因子大于0且小于1。

隔离判断单元，用于在判定第三平均时延小于或者等于第二有效时延时，对第一硬盘进行隔离。

隔离判断单元，用于在判定第三平均时延大于第二有效时延时，忽略慢盘上报事件。

基于上述改进后的技术方案，本发明还可根据第二预设承载因子确定第二有效时延，以通过第二有效时延作为除慢盘所在节点以外的其他节点可承载慢盘被隔离后转出的业务的上限，如果第三平均时延小于或等于第二有效时延，说明除慢盘所在节点以外的其他节点能够承载慢盘被隔离后转出的业务，则对慢盘进行隔离处理；若第三平均时延大于第二有效时延，说明除慢盘所在节点以外的其他节点难以承载慢盘被隔离后转出的业务，则忽略本次的慢盘上报事件，不隔离慢盘。因此，本发明能够根据分布式系统当前承载业务的水平准确判断是否隔离慢盘，判断的精准性非常高。

本发明的可实施方式中，该装置还包括冗余判断单元。

冗余判断单元，用于判断分布式存储集群是否处于冗余状态。

冗余判断单元，用于根据分布式存储集群处于冗余状态，通知时延确定单元执行确定第一硬盘的第一平均时延的步骤。

冗余判断单元，用于根据分布式存储集群非处于冗余状态，忽略慢盘上报事件。

基于上述改进后的技术方案，本发明还在分布式存储集群处于非冗余状态下忽略当前的慢盘上报事件，该方式能够通过非冗余状态判断分布式存储集群中很可能存在其他异常，该情况下对硬盘进行隔离存在数据易丢失的风险，可见本发明还能够明显提高数据存储的可靠性。

本发明的可实施方式中，冗余判断单元，用于判断分布式存储集群中的多个第二分布式存储节点是否均处于健康状态。其中，健康状态表示第二分布式存储节点无异常。

基于上述改进后的技术方案，本发明能够通过分布式存储集群中所有节点的健康状态确定分布式存储集群处于冗余状态，该方式能够充分保证在分布式存储集群无异常的条件下进行慢盘隔离的控制。

本发明的可实施方式中，第一预设承载因子与第二预设承载因子相同或不同。

为实现上述技术目的，本发明还可提供一种电子设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行本发明任一实施例中的慢盘隔离控制方法的步骤。

为实现上述技术目的，本发明还能够提供一种存储有计算机可读指合的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本发明任一实施例中的慢盘隔离控制方法的步骤。

附图说明

图1示出了本发明一个或多个实施例中的慢盘隔离控制方法的流程示意图。

图2示出了本发明一个或多个实施例中的基于第一预设承载因子对慢盘进行隔离的流程示意图。

图3示出了本发明一个或多个实施例中的在第二平均时延大于第一有效时延的条件下对慢盘进行隔离控制的流程示意图。

图4示出了本发明一个或多个实施例中的基于第二预设承载因子对慢盘进行隔离的流程示意图。

图5示出了本发明一个或多个实施例中的在第三平均时延大于第二有效时延的条件下不对慢盘进行隔离的流程示意图。

图6示出了本发明一个或多个实施例中的慢盘隔离控制方法的一种整体实施流程示意图。

图7示出了本发明一个或多个实施例中的慢盘隔离控制装置、慢盘检测模块以及时延上报模块部署结构示意图。

图8示出了本发明一个或多个实施例中的慢盘隔离控制装置的结构组成示意图。

图9示出了本发明一个或多个实施例中的电子设备内部结构组成示意图。

具体实施方式

在分布式存储集群下识别出的慢盘，可以进行隔离处理。对于被隔离的慢盘，该慢盘上的业务就会转移到其他硬盘，该慢盘上的数据也需要在其他硬盘上重构处理，可见慢盘的隔离处理会增加其他硬盘的IO压力。传统技术中，常用的慢盘处理方式是对识别出的慢盘直接进行隔离处理，然而这种方式经常会导致整个分布式存储集群的IO操作时延明显增加。如果一个存储节点内多个硬盘被识别为慢盘，例如，整个分布式存储集群压力突然增大或人为设置的慢盘判断时间阈值不合理或系统中其他硬件异常，这些情况均可能导致多个硬盘被识别为慢盘，则分布式存储集群的IO操作时延增加问题更明显。如果出现慢盘误识别的情况，则会出现将正常的硬盘隔离出去的问题，则导致分布式存储集群的性能受到严重影响等问题。因此，对分布式存储领域技术人员来说，有效判断是否对识别出的慢盘进行隔离至关重要。

本发明至少一个实施例能够提供一种慢盘隔离控制方法，该方法应用于分布式存储集群中的集群控制节点。慢盘隔离控制方法包括但不限于如下的步骤：接收慢盘上报事件，慢盘上报事件表示第一分布式存储节点中的第一硬盘被识别为慢盘；确定第一硬盘的第一平均时延，并确定第一分布式存储节点中的多个第二硬盘的平均时延为第二平均时延，第一硬盘和多个第二硬盘用于构建第一分布式存储节点；根据第一平均时延与第二平均时延的此较关系，判断是否对第一硬盘进行隔离。本发明确定慢盘的第一平均时延和慢盘所在节点的其他硬盘的第二平均时延，并根据第一平均时延与第二平均时延的比较结果确定是否对该慢盘进行隔离，可见本实施例能够兼顾慢盘的平均时延和慢盘所在节点内除慢盘以外的其他硬盘的平均时延，从而为是否对慢盘进行隔离提供了可靠的依据，实现在保证节点性能的前提下有效判断是否对慢盘进行隔离，本发明提供的慢盘隔离控制策略具有可靠性更强等突出优点。

如图1所示，本发明至少一个实施例提供了一种慢盘隔离控制方法，该方法应用于分布式存储集群中的集群控制节点，该方法包括但不限于如下的步骤100至步骤300。

步骤100，接收慢盘上报事件，慢盘上报事件表示第一分布式存储节点中的第一硬盘被识别为慢盘。慢盘上报事件中可包含慢盘信息和慢盘所处的分布式存储节点信息，以使集群控制节点获知第一硬盘所处的位置。

本发明至少一个实施例能够提供一种适用于分布式存储的慢盘识别方法，包括：对于分布式存储集群中的任一硬盘，统计硬盘在预设周期内进行IO操作的平均时延，并将该平均时延与预设的时间阈值进行比较，如果该平均时延大于预设的时间阈值，则可记录为一个超时周期，在设定的固定时长内，如果超时周期的数量与固定时长内预设周期的数量之间的比值达到设定此例，则可确定当前的硬盘为慢盘，并生成慢盘上报事件和对慢盘上报事件进行上报。

步骤200，确定第一硬盘的第一平均时延，并确定第一分布式存储节点中的多个第二硬盘的平均时延为第二平均时延；第一硬盘和多个第二硬盘用于构建第一分布式存储节点。本实施例中第一硬盘的第一平均时延为第一硬盘的平均IO操作时延，第二平均时延为多个第二硬盘各自的平均IO操作时延的均值。作为较佳的实施方式，本发明实施例中涉及的第一分布式存储节点中的多个第二硬盘为第一分布式存储节点中除慢盘之外的所有硬盘；当然，在本发明可选的实施例中，第一分布式存储节点中的多个第二硬盘为第一分布式存储节点中除慢盘之外的至少两个硬盘。

步骤300，根据第一平均时延与第二平均时延的比较关系，判断是否对第一硬盘进行隔离。本发明涉及的比较关系，可包括但不限于第一平均时延与第二平均时延的直接比较关系或第一平均时延与第二平均时延的间接比较关系，直接比较关系例如可以是两者的比值或差值，在满足设定条件下对第一硬盘进行隔离或不隔离；间接比较关系例如可以是加权比较关系，为第一平均时延和/或第二平均时延赋予设定权重后，再进行比较，在比较结果满足预设条件下对第一硬盘进行隔离或不隔离，当然并不限于此，本发明接下来提供了基于预设承载因子确定比较关系的实施例。

如图2所示，本发明至少一个实施例中根据第一平均时延与第二平均时延的比较关系，判断是否对第一硬盘进行隔离，包括但不限于步骤301至步骤302。

步骤301，读取第一预设承载因子，并将第一平均时延与第一预设承载因子的乘积作为第一有效时延；第一预设承载因子大于0且小于1，该第一预设承载因子例如可为60％。应当理解的是，本发明实施例中的第一预设承载因子是节点内其他硬盘可承载慢盘被隔离后转移出的业务的上限因子。

步骤302，在判定第二平均时延小于或者等于第一有效时延时，对第一硬盘进行隔离。以第一预设承载因子为60％、慢盘的平均时延为200毫秒为例，则第一有效时延为200×60％＝120毫秒，若节点内其他的所有硬盘的第二平均时延不超过120毫秒，则判断当前节点可承载慢盘被隔离后转移出的业务，慢盘可以被隔离。可见本发明实施例根据第一预设承载因子确定第一有效时延，以通过第一有效时延作为当前节点其他硬盘可承载慢盘被隔离后转移出的业务的上限，在当前节点其他硬盘的第二平均时延小于或等于第一有效时延条件下，可说明当前节点其他硬盘可承载慢盘被隔离后转移出的业务，则对慢盘进行隔离处理。可见本发明能够充分保证节点的业务处理性能的前提下才对慢盘进行隔离，明显提升了分布式系统性能。

如图3所示，本发明至少一个实施例中的慢盘隔离控制方法还可包括但不限于步骤303至步骤304。

步骤303，在判定第二平均时延大于第一有效时延时，确定多个第二分布式存储节点中的第三硬盘的平均时延为第三平均时延；多个第二分布式存储节点为分布式存储集群中除第一分布式存储节点之外的分布式存储节点。本实施例中多个第二分布式存储节点中的第三硬盘的平均时延为上述的多个第二分布式存储节点包含的所有第三硬盘各自的平均IO操作时延的均值。以第一预设承载因子为60％、慢盘的平均时延为200毫秒为例，则第一有效时延为200×60％＝120毫秒，若节点内其他的所有硬盘的第二平均时延超过120毫秒，则判断当前节点难以承载慢盘被隔离后转移出的业务，进一步判断整个分布式存储集群是否可承载慢盘被隔离后转移出的业务。

步骤304，根据第一平均时延与第三平均时延的比较关系，判断是否对第一硬盘进行隔离。本发明涉及的比较关系，可包括但不限于第一平均时延与第三平均时延的直接比较关系或第一平均时延与第三平均时延的间接比较关系，直接比较关系例如可以是两者的比值或差值，在满足设定条件下对第一硬盘进行隔离或不隔离；间接比较关系例如可以是加权比较关系，为第一平均时延和/或第三平均时延赋予设定权重后，再进行比较，在比较结果满足预设条件下对第一硬盘进行隔离或不隔离，当然并不限于此，本发明接下来提供了基于预设承载因子确定比较关系的实施例。可见本发明实施例还能够在当前节点其他硬盘难以承载慢盘被隔离后转移出的业务的情况下，确定分布式存储集群内的其他分布式存储节点中的第三硬盘的平均时延为第三平均时延，以及根据第一平均时延与第三平均时延的比较结果确定是否对该慢盘进行隔离，可见本发明充分兼顾慢盘的平均时延和除慢盘所在节点以外的其他节点的平均时延，为是否对慢盘进行隔离提供了更可靠的依据，可实现在保证分布式存储集群性能的前提下有效判断是否对慢盘进行隔离，进一步提高了慢盘隔离控制的可靠性。

如图4所示，本发明一个或多个实施例中，根据第一平均时延与第三平均时延的比较关系，判断是否对第一硬盘进行隔离，包括但不限于步骤305至步骤307。

步骤305，读取第二预设承载因子，并将第一平均时延与第二预设承载因子的乘积作为第二有效时延；第二预设承载因子大于0且小于1。本发明至少一个可选的实施例中，第一预设承载因子与第二预设承载因子相同或不同。对于相同的情况，第一预设承载因子和第二预设承载因子例如均为60％，在第一预设承载因子与第二预设承载因子相同时，本实施例只需设置一个参数用于同时表示第一预设承载因子与第二预设承载因子，该方式可减少本方案需设置的参数的数量。对于不同的情况，第一预设承载因子例如为59％，第二预设承载因子例如为61％，当然不限于此，在第一预设承载因子与第二预设承载因子不同时，本发明还能够设置与节点情况对应的第一预设承载因子，以及设置与分布式存储集群情况对应的第二预设承载因子，进一步提高本发明慢盘隔离控制的精确性。应当理解的是，本发明实施例中的第二预设承载因子是除慢盘所在节点以外的其他节点内的硬盘能够承载慢盘被隔离后转移出的业务的上限因子。

步骤306，在判定第三平均时延小于或者等于第二有效时延时，对第一硬盘进行隔离。

如图5所示，本实施例结合步骤307提供了不隔离慢盘的实施情况。

步骤307，在判定第三平均时延大于第二有效时延时，忽略慢盘上报事件并结束。可见本实施例还可根据第二预设承载因子确定第二有效时延，以通过第二有效时延作为除慢盘所在节点以外的其他节点内的硬盘能够承载慢盘被隔离后转出的业务的上限，如果第三平均时延小于或等于第二有效时延，说明除慢盘所在节点以外的其他节点内的硬盘能够承载慢盘被隔离后转出的业务，则对慢盘进行隔离处理；若第三平均时延大于第二有效时延，说明除慢盘所在节点以外的其他节点内的硬盘难以承载慢盘被隔离后转出的业务，则忽略本次的慢盘上报事件，不隔离慢盘。即使出现了分布式存储集群压力突然增大或者人为设置的慢盘判断时间阈值不合理的问题，本发明基于上述实施例仍然能够根据节点性能情况和分布式存储集群性能情况有效地判断是否对慢盘进行隔离。因此，本发明能够根据分布式系统当前承载业务的水平准确判断是否隔离慢盘，其对是否隔离慢盘的判断的精准性非常高。

结合图7所示，本发明提供的慢盘隔离控制方法更适用于分布式存储集群。本发明实施例中的分布式存储集群通过多台服务器实现集群存储，多台服务器例如图7中示出的节点1、节点2……节点n，节点1至节点n形成了分布式存储的集群，n表示节点的数量，每台服务器后端分别接入多个硬盘，分布式存储集群的故障域能够以服务器为基本单位，隔离单个服务器也不会导致系统异常。然而在面对由于系统其他硬件导致所有盘都很慢时，例如RAID(Redundant Arrays of Independent Disks，独立磁盘冗余阵列)卡的异常导致所有盘都很慢时，常规技术事实上并不能准确地判断是否对检测出的当前慢盘进行隔离；但本发明却可以根据分布式存储集群除当前慢盘之外的其他硬盘的IO操作时延准确地判断是否对当前慢盘进行隔离。如果RAID卡的异常是由挂载的某个硬盘导致的，则本发明可在收到对应该硬盘的慢盘上报事件之后对其进行隔离，则RAID卡可以恢复正常；如果RAID卡的异常是RAID卡本身的问题，本发明能够按照慢盘上报事件的顺序一个一个地隔离慢盘，最后相当于将该节点隔离出去，由此可以解决单一节点硬件故障拖慢整个分布式存储集群处理速度的问题。可见本发明实现在保证分布式存储集群性能的前提下对慢盘进行隔离，或在当前慢盘对分布式存储集群影响较大的情况下不对慢盘进行隔离，可见本发明对慢盘隔离控制的判断较精准。

如图6所示，本发明优选的一个或多个实施例中，接收慢盘上报事件之后，还包括：

判断分布式存储集群是否处于冗余状态。

如果是，说明分布式存储集群处于冗余状态，则执行确定第一硬盘的第一平均时延的步骤。再判断慢盘所在节点是否可承载慢盘隔离后转移出的业务，如果节点可以承载，则对慢盘进行隔离；判断慢盘所在节点是否可承载业务的过程在本说明书步骤200至步骤302相关的内容已有详细说明，此处不再进行赘述。如果节点不能承载，则判断其他节点是否可以承载慢盘隔离后转移出的业务，如果其他节点可以承载，则对慢盘进行隔离；如果其他节点不能承载，则忽略当前的慢盘上报事件、不隔离慢盘。判断其他节点是否可以承载业务的过程在本说明书步骤303至步骤307相关的内容已有详细说明，此处不再进行赘述。

如果否，说明分布式存储集群处于非冗余状态，则忽略慢盘上报事件并结束。可见本发明实施例还在分布式存储集群处于非冗余状态下忽略当前的慢盘上报事件，该方式能够通过非冗余状态判断分布式存储集群中很可能存在其他异常(例如RAID卡的异常)，该情况下对硬盘进行隔离存在数据易丢失的风险，可见本发明还能够明显提高数据存储的可靠性。

本发明至少一个优选的实施例中，判断分布式存储集群是否处于冗余状态，包括：判断分布式存储集群中的多个第二分布式存储节点是否均处于健康状态；其中，健康状态表示第二分布式存储节点无异常。因此，本发明能够通过分布式存储集群中所有节点的健康状态确定分布式存储集群处于冗余状态，该方式能够充分保证在分布式存储集群无异常的条件下进行慢盘隔离的控制。

如图7所示，本发明至少一个实施例提供的慢盘隔离控制方法的执行主体具体可以是分布式存储集群中的集群控制节点。集群控制节点中具有慢盘隔离控制装置，慢盘隔离控制装置可以是一个软件模块或程序模块，以基于开源分布式软件ceph(一种分布式文件系统)搭建的分布式存储集群为例，该慢盘隔离控制装置例如可以是monitor(监控)模块。对于节点1至节点n中的任一个节点，本实施例分别设置慢盘检测模块和时延上报模块，例如，节点1中具有慢盘检测模块1和时延上报模块1，节点2中具有慢盘检测模块2和时延上报模块2，……，节点n中具有慢盘检测模块n和时延上报模块n。本发明实施例中涉及的时延上报模块用于定时收集节点单个硬盘的时延，并发送给慢盘检测模块和上报给慢盘隔离控制装置，则慢盘隔离控制装置获得了分布式存储集群下的所有硬盘的时延。慢盘检测模块用于根据单个硬盘的时延检测该硬盘是否为慢盘，如果是慢盘，则生成慢盘上报事件并将慢盘上报事件发送给慢盘隔离控制模块。其中，本发明实施例根据单个硬盘的时延检测该硬盘是否为慢盘包括：统计该硬盘在预设周期内进行IO操作的平均时延，并将该平均时延与预设的时间阈值进行比较，若该平均时延大于预设的时间阈值，则可记录为1个超时周期；在设定的固定时长内，如果超时周期的数量与所有周期的数量的比值达到设定比例，则可确定该硬盘为慢盘；其中，所有周期的数量表示在设定的固定时长内包含的预设周期的数量。例如，预设周期为1秒，预设的时间阈值为200毫秒，设定的固定时长为60秒，设定比例为50％；则每秒统计一次硬盘的平均时延，如果统计的平均时延大于200毫秒，则记录为1个超时周期，如果60秒内超时周期的数量达到30个，说明超时周期的数量与所有周期的数量的比值达到了设定比例，则判断当前的硬盘为慢盘，并生成与该慢盘对应的慢盘上报事件以及发送至慢盘隔离控制模块。

如图8所示，与慢盘隔离控制方法基于相同的发明技术构思，本发明一个或多个实施例还能够提供一种慢盘隔离控制装置，该装置应用于分布式存储集群中的集群控制节点，慢盘隔离控制装置可设置于任一已有节点或专门新增的节点上。

其中，慢盘隔离控制装置包括但不限于事件接收单元、时延确定单元以及隔离判断单元，具体说明如下。

事件接收单元，用于接收慢盘上报事件，慢盘上报事件表示第一分布式存储节点中的第一硬盘被识别为慢盘。

时延确定单元，用于确定第一硬盘的时延为第一平均时延，以及用于确定第一分布式存储节点中的多个第二硬盘的平均时延为第二平均时延，第一硬盘和多个第二硬盘用于构建第一分布式存储节点。

隔离判断单元，用于根据第一平均时延与第二平均时延的比较关系，判断是否对第一硬盘进行隔离。

本发明一个或多个可选的实施例中，隔离判断单元，用于读取第一预设承载因子，并用于将第一平均时延与第一预设承载因子的乘积作为第一有效时延；第一预设承载因子大于0且小于1；隔离判断单元，用于在判定第二平均时延小于或者等于第一有效时延时，对第一硬盘进行隔离。

本发明一个或多个可选的实施例中，隔离判断单元，用于在判定第二平均时延大于第一有效时延时，确定多个第二分布式存储节点中的第三硬盘的平均时延为第三平均时延；多个第二分布式存储节点为分布式存储集群中除第一分布式存储节点之外的分布式存储节点；隔离判断单元，用于根据第一平均时延与第三平均时延的比较关系，判断是否对第一硬盘进行隔离。

本发明一个或多个可选的实施例中，隔离判断单元，用于读取第二预设承载因子，并用于将第一平均时延与第二预设承载因子的乘积作为第二有效时延；第二预设承载因子大于0且小于1；隔离判断单元，用于在判定第三平均时延小于或者等于第二有效时延时，对第一硬盘进行隔离；隔离判断单元，用于在判定第三平均时延大于第二有效时延时，忽略慢盘上报事件。

本发明一个或多个可选的实施例中，慢盘隔离控制装置还包括冗余判断单元；冗余判断单元，用于判断分布式存储集群是否处于冗余状态；冗余判断单元，用于根据分布式存储集群处于冗余状态，通知时延确定单元执行确定第一硬盘的第一平均时延的步骤；冗余判断单元，用于根据分布式存储集群非处于冗余状态，忽略慢盘上报事件。

本发明一个或多个可选的实施例中，冗余判断单元，用于判断分布式存储集群中的多个第二分布式存储节点是否均处于健康状态；其中，健康状态表示第二分布式存储节点无异常。

本发明一个或多个可选的实施例中，第一预设承载因子与第二预设承载因子相同或不同。

如图9所示，与慢盘隔离控制方法基于相同的发明技术构思，本发明至少一个实施例还能够提供一种电子设备，电子设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行本发明任一实施例中的慢盘隔离控制方法的步骤。其中，慢盘隔离控制方法的详细实施过程已在本说明书中有详细的记载，此处不再进行赘述。

如图9所示，与慢盘隔离控制方法基于相同的发明技术构思，本发明至少一个实施例还能够提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本发明任一实施例中的慢盘隔离控制方法的步骤。其中，慢盘隔离控制方法的详细实施过程已在本说明书中有详细的记载，此处不再进行赘述。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，″计算机可读存储介质″可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM，Random Access Memory)，只读存储器(ROM，Read-Only Memory)，可擦除可编辑只读存储器(EPROM，Erasable Programmable Read-Only Memory，或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM，Compact Disc Read-Only Memory)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA，Programmable Gate Array)，现场可编程门阵列(FPGA，Field Programmable Gate Array)等。

在本说明书的描述中，参考术语“本实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐舍指明所指示的技术特征的数量。由此，限定有第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明实质内容上所作的任何修改、等同替换和简单改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种慢盘隔离控制方法，其特征在于，该方法应用于分布式存储集群中的集群控制节点，所述方法包括：

接收慢盘上报事件，所述慢盘上报事件表示第一分布式存储节点中的第一硬盘被识别为慢盘；

确定所述第一硬盘的第一平均时延，并确定所述第一分布式存储节点中的多个第二硬盘的平均时延为第二平均时延；

根据所述第一平均时延与所述第二平均时延的比较关系，判断是否对所述第一硬盘进行隔离。

2.根据权利要求1所述的慢盘隔离控制方法，其特征在于，所述根据所述第一平均时延与所述第二平均时延的比较关系，判断是否对所述第一硬盘进行隔离，包括：

读取第一预设承载因子，并将所述第一平均时延与所述第一预设承载因子的乘积作为第一有效时延；所述第一预设承载因子大于0且小于1；

在判定所述第二平均时延小于或者等于所述第一有效时延时，对所述第一硬盘进行隔离。

3.根据权利要求2所述的慢盘隔离控制方法，其特征在于，所述方法还包括：

在判定所述第二平均时延大于所述第一有效时延时，确定多个第二分布式存储节点中的第三硬盘的平均时延为第三平均时延；所述多个第二分布式存储节点为所述分布式存储集群中除所述第一分布式存储节点之外的分布式存储节点；

根据所述第一平均时延与所述第三平均时延的此较关系，判断是否对所述第一硬盘进行隔离。

4.根据权利要求3所述的慢盘隔离控制方法，其特征在于，根据所述第一平均时延与所述第三平均时延的比较关系，判断是否对所述第一硬盘进行隔离，包括：

读取第二预设承载因子，并将所述第一平均时延与所述第二预设承载因子的乘积作为第二有效时延；所述第二预设承载因子大于0且小于1；

在判定所述第三平均时延小于或者等于所述第二有效时延时，对所述第一硬盘进行隔离；

在判定所述第三平均时延大于所述第二有效时延时，忽略所述慢盘上报事件并结束。

5.根据权利要求1至4中任一权利要求所述的慢盘隔离控制方法，其特征在于，所述接收慢盘上报事件之后，还包括：

判断所述分布式存储集群是否处于冗余状态；

如果是，则执行确定所述第一硬盘的第一平均时延的步骤；

如果否，则忽略所述慢盘上报事件并结束。

6.根据权利要求5所述的慢盘隔离控制方法，其特征在于，所述判断所述分布式存储集群是否处于冗余状态，包括：

判断所述分布式存储集群中的多个第二分布式存储节点是否均处于健康状态；

其中，所述健康状态表示第二分布式存储节点无异常。

7.根据权利要求4所述的慢盘隔离控制方法，其特征在于，

所述第一预设承载因子与所述第二预设承载因子相同或不同。

8.一种慢盘隔离控制装置，其特征在于，该装置应用于分布式存储集群中的集群控制节点，所述装置包括：

事件接收单元，用于接收慢盘上报事件，所述慢盘上报事件表示第一分布式存储节点中的第一硬盘被识别为慢盘；

时延确定单元，用于确定所述第一硬盘的时延为第一平均时延，以及用于确定所述第一分布式存储节点中的多个第二硬盘的平均时延为第二平均时延；

隔离判断单元，用于根据所述第一平均时延与所述第二平均时延的比较关系，判断是否对所述第一硬盘进行隔离。

9.根据权利要求8所述的慢盘隔离控制装置，其特征在于，

所述隔离判断单元，用于读取第一预设承载因子，并用于将所述第一平均时延与所述第一预设承载因子的乘积作为第一有效时延；所述第一预设承载因子大于0且小于1；

所述隔离判断单元，用于在判定所述第二平均时延小于或者等于所述第一有效时延时，对所述第一硬盘进行隔离。

10.根据权利要求9所述的慢盘隔离控制装置，其特征在于，

所述隔离判断单元，用于在判定所述第二平均时延大于所述第一有效时延时，确定多个第二分布式存储节点中的第三硬盘的平均时延为第三平均时延；所述多个第二分布式存储节点为所述分布式存储集群中除所述第一分布式存储节点之外的分布式存储节点；

所述隔离判断单元，用于根据所述第一平均时延与所述第三平均时延的比较关系，判断是否对所述第一硬盘进行隔离。

11.根据权利要求10所述的慢盘隔离控制装置，其特征在于，

所述隔离判断单元，用于读取第二预设承载因子，并用于将所述第一平均时延与所述第二预设承载因子的乘积作为第二有效时延；所述第二预设承载因子大于0且小于1；

所述隔离判断单元，用于在判定所述第三平均时延小于或者等于所述第二有效时延时，对所述第一硬盘进行隔离；

所述隔离判断单元，用于在判定所述第三平均时延大于所述第二有效时延时，忽略所述慢盘上报事件。

12.根据权利要求8至11中任一权利要求所述的慢盘隔离控制装置，其特征在于，所述装置还包括冗余判断单元；

所述冗余判断单元，用于判断所述分布式存储集群是否处于冗余状态；

所述冗余判断单元，用于根据所述分布式存储集群处于冗余状态，通知所述时延确定单元执行确定所述第一硬盘的第一平均时延的步骤；

所述冗余判断单元，用于根据所述分布式存储集群非处于冗余状态，忽略所述慢盘上报事件。

13.根据权利要求12所述的慢盘隔离控制装置，其特征在于，

所述冗余判断单元，用于判断所述分布式存储集群中的多个第二分布式存储节点是否均处于健康状态；

其中，所述健康状态表示第二分布式存储节点无异常。

14.根据权利要求11所述的慢盘隔离控制装置，其特征在于，

所述第一预设承载因子与所述第二预设承载因子相同或不同。

15.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述慢盘隔离控制方法的步骤。

16.一种存储有计算机可读指令的存储介质，其特征在于，所述计算机可读指合被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至7中任一项权利要求所述慢盘隔离控制方法的步骤。

Images