CN117631956A - 一种慢盘处理方法、装置、设备及存储介质 - Google Patents
一种慢盘处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117631956A CN117631956A CN202210966258.1A CN202210966258A CN117631956A CN 117631956 A CN117631956 A CN 117631956A CN 202210966258 A CN202210966258 A CN 202210966258A CN 117631956 A CN117631956 A CN 117631956A
- Authority
- CN
- China
- Prior art keywords
- disk
- slow
- parameter value
- disc
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 84
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000002159 abnormal effect Effects 0.000 claims description 47
- 238000012544 monitoring process Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000008439 repair process Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000013450 outlier detection Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种慢盘处理方法、装置、设备及存储介质。该方法包括：获取当前磁盘对应的磁盘参数值，磁盘参数值包括磁盘自身参数值和磁盘关联参数值；当检测到磁盘自身参数值和/或磁盘关联参数值满足预设慢盘检测条件时，将当前磁盘标记为慢盘；若检测到慢盘满足预设踢盘条件，则将慢盘从存储系统中踢除。本实施例的技术方案，通过基于磁盘自身参数值和磁盘关联参数值共同进行慢盘检测，可以提升慢盘检测的准确度，可以降低慢盘的误判和漏检概率；此外，对满足预设踢盘条件的慢盘进行自动踢除，可以降低人力成本，并提升慢盘的处理效率。
Description
技术领域
本发明涉及数据存储技术领域，尤其涉及一种慢盘处理方法、装置、设备及存储介质。
背景技术
随着存储系统中节点数的不断增多，磁盘数量也随之成线性增长。当节点上存在慢盘时，由于慢盘的读写速率等性能相较其他盘较差，故会成为所在节点的性能瓶颈，进而影响整个存储系统的业务性能，严重时甚至会导致服务不可用。
目前，现有的慢盘处理方法，通常是首先基于磁盘的自身参数值，计算每个磁盘的慢盘概率；之后，采用人工的方式对检测到的慢盘进行处理。然而，磁盘为慢盘的表现形式不仅是磁盘自身参数值异常，由此，仅基于磁盘自身参数值进行慢盘判断，易导致误判或者漏检的情况。此外，采用人工的方式进行慢盘处理，增加了人力成本，且处理效率较低。
发明内容
本发明提供了一种慢盘处理方法、装置、设备及存储介质，可以提升慢盘检测的准确度，可以降低慢盘的误判和漏检概率，可以降低人力成本，并提升慢盘的处理效率。
根据本发明的一方面，提供了一种慢盘处理方法，包括：
获取当前磁盘对应的磁盘参数值，所述磁盘参数值包括磁盘自身参数值和磁盘关联参数值；
当检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件时，将所述当前磁盘标记为慢盘；
若检测到所述慢盘满足预设踢盘条件，则将所述慢盘从存储系统中踢除。
可选的，检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件，包括：
若检测到至少一个磁盘自身参数值大于或者等于对应的预设自身参数值阈值，则确定所述磁盘自身参数值满足预设慢盘检测条件；
若检测到至少一个磁盘关联参数值大于或者等于对应的预设关联参数值阈值，则确定所述磁盘关联参数值满足预设慢盘检测条件；
若检测到至少一个磁盘自身参数值大于或者等于对应的预设自身参数值阈值，和至少一个磁盘关联参数值大于或者等于对应的预设关联参数值阈值，则确定所述磁盘自身参数值和所述磁盘关联参数值满足预设慢盘检测条件。
采用上述技术方案，通过将磁盘自身参数值和磁盘关联参数值与对应的预设参数值阈值进行比对，从而判断当前磁盘是否满足预设慢盘检测条件，可以提升慢盘检测的准确度。
可选的，所述磁盘自身参数值包括输入输出IO平均耗时，当检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件时，将所述当前磁盘标记为慢盘，包括：
在预设监测周期内，获取所述当前磁盘对应的IO平均耗时大于或者等于预设时长阈值的异常次数；
判断所述当前磁盘对应的异常次数是否大于或者等于预设次数阈值；
若是，则获取所述当前磁盘所在存储节点的各其他磁盘对应的异常次数，并判断所述当前磁盘对应的异常次数是否为所述当前磁盘所在存储节点的各磁盘对应的异常次数的离群值；
若确定所述当前磁盘对应的异常次数为所述当前磁盘所在存储节点的各磁盘对应的异常次数的离群值，则将所述当前磁盘标记为慢盘。
采用上述技术方案，通过判断当前磁盘对应的异常值是否为存储节点的所有磁盘的异常次数的离群值，以判断当前磁盘是否为慢盘，可以降低慢盘的误判概率，可以进一步提升慢盘的检测准确度。
可选的，检测到所述慢盘满足预设踢盘条件，包括：
若检测到踢除所述慢盘后的存储系统满足预设冗余条件，且所述存储系统中仅有所述慢盘存在损坏数据，则确定所述慢盘满足预设踢盘条件。
采用上述技术方案，可以实现对慢盘是否满足踢盘条件的准确判断，从而可以降低慢盘的误处理概率。
可选的，在检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件时，将所述当前磁盘标记为慢盘之后，还包括：
当检测到所述当前磁盘不存在对应的历史慢盘告警信息时，生成所述当前磁盘对应的慢盘告警信息；
在预设监控周期内，若未再次检测到所述当前磁盘对应的磁盘自身参数值和/或磁盘关联参数值满足预设慢盘检测条件，则删除所述当前磁盘对应的慢盘告警信息。
采用上述技术方案，可以实现对慢盘的及时告警，同时可以降低慢盘误告警的概率，可以提升慢盘告警的准确度。
可选的，在检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件时，将所述当前磁盘标记为慢盘之后，还包括：
若检测到所述慢盘不满足预设踢盘条件，则禁止对所述慢盘进行业务数据写入，并在检测到所述慢盘存在损坏数据时，禁止对所述慢盘的损坏数据进行修复。
采用上述技术方案，可以减轻慢盘对存储系统的业务能力的影响，可以保证存储系统的业务能力。
可选的，所述磁盘自身参数值还包括自我检测分析与报告技术信息，所述磁盘关联参数值包括磁盘故障检测信息和/或磁盘离线次数。
采用上述技术方案，通过采用不同类型的磁盘参数值，可以进一步降低慢盘的漏检概率，可以进一步提升慢盘的检测准确度。
根据本发明的另一方面，提供了一种慢盘处理装置，包括：
磁盘参数值获取模块，用于获取当前磁盘对应的磁盘参数值，所述磁盘参数值包括磁盘自身参数值和磁盘关联参数值；
慢盘标记模块，用于当检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件时，将所述当前磁盘标记为慢盘；
慢盘踢除模块，用于若检测到所述慢盘满足预设踢盘条件，则将所述慢盘从存储系统中踢除。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的慢盘处理方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的慢盘处理方法。
本发明实施例的技术方案，通过获取当前磁盘对应的磁盘自身参数值和磁盘关联参数值，并在检测到磁盘自身参数值和/或磁盘关联参数值满足预设慢盘检测条件时，将当前磁盘标记为慢盘；之后，若检测到慢盘满足预设踢盘条件，则将慢盘从存储系统中踢除，通过基于磁盘自身参数值和磁盘关联参数值共同进行慢盘检测，可以提升慢盘检测的准确度，可以降低慢盘的误判和漏检概率；此外，对满足预设踢盘条件的慢盘进行自动踢除，可以降低人力成本，并提升慢盘的处理效率。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是根据本发明实施例一提供的一种慢盘处理方法的流程图；
图1B是根据本发明实施例一提供的一种慢盘检测流程的示意图；
图1C是根据本发明实施例一提供的一种慢盘处理流程的示意图；
图2A是根据本发明实施例二提供的一种慢盘处理方法的流程图；
图2B是根据本发明实施例二提供的一种慢盘告警流程的示意图；
图3是根据本发明实施例三提供的一种慢盘处理装置的结构示意图；
图4是实现本发明实施例的慢盘处理方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1A为本发明实施例一提供了一种慢盘处理方法的流程图，本实施例可适用于对存储系统中读写速率较低的慢盘进行自动检测和处理的情况，该方法可以由慢盘处理装置来执行，该慢盘处理装置可以采用硬件和/或软件的形式实现，该慢盘处理装置可配置于电子设备中，典型的，电子设备可以是计算机设备或者服务器。如图1A所示，该方法包括：
S110、获取当前磁盘对应的磁盘参数值。
其中，磁盘参数值可以包括磁盘自身参数值和磁盘关联参数值。磁盘自身参数值，可以是与磁盘自身相关的参数的数值，例如，输入/输出的耗时、数据读写速率等。磁盘关联参数值，可以是与磁盘故障相关的参数的数值，例如，磁盘离线次数等。
在本实施例中，存储系统可以包括多个存储节点，每个存储节点可以包括多个磁盘。对应的，当前磁盘，可以是当前需要进行慢盘检测的磁盘。具体的，可以通过磁盘检测工具，例如，iostat(Input/Output statistics，输入/输出统计)、disksense等，获取当前磁盘对应的各项磁盘参数的参数值。
S120、当检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件时，将所述当前磁盘标记为慢盘。
其中，预设慢盘检测条件，可以是预先设置的用于判断磁盘是否为慢盘的阈值条件；典型的，预设慢盘检测条件，可以是磁盘参数值大于或者等于预先设置的参数值阈值。在本实施例中，针对每一项磁盘参数，可以分别设置对应的参数值阈值。
需要说明的是，磁盘的参数值不仅与磁盘自身有关，还会受到磁盘外设备的影响，例如，串行连接小型计算机系统接口(Serial Attached Small Computer SystemInterface，SAS)总线故障的影响。因此，仅通过磁盘自身参数进行慢盘检测，易导致慢盘的误判或者漏检。
针对上述问题，在本实施例中，可以基于磁盘自身参数值和磁盘关联参数值共同进行慢盘检测，只要存在一个参数值满足预先设置的慢盘检测条件，就可以将当前磁盘确定为慢盘，并可以对当前磁盘进行慢盘标记。通过上述设置，可以降低慢盘的误判或者漏检概率。
S130、若检测到所述慢盘满足预设踢盘条件，则将所述慢盘从存储系统中踢除。
其中，预设踢盘条件，可以是预先设置的用于判断是否可以将该慢盘从存储系统中踢除的条件信息，例如，踢除该慢盘后，存储系统的业务性能是否可以满足性能需求；或者，踢除该慢盘是否会对存储系统的正常运行造成影响。
具体的，在确定当前磁盘为慢盘之后，可以判断该慢盘是否满足预设踢盘条件；若确定满足预设踢盘条件，则可以自动将该慢盘从存储系统中踢除；而若确定不满足预设踢盘条件，则需要在存储系统中继续保留该慢盘。
本发明实施例的技术方案，通过获取当前磁盘对应的磁盘自身参数值和磁盘关联参数值，并在检测到磁盘自身参数值和/或磁盘关联参数值满足预设慢盘检测条件时，将当前磁盘标记为慢盘；之后，若检测到慢盘满足预设踢盘条件，则将慢盘从存储系统中踢除，通过基于磁盘自身参数值和磁盘关联参数值共同进行慢盘检测，可以提升慢盘检测的准确度，可以降低慢盘的误判和漏检概率；此外，对满足预设踢盘条件的慢盘进行自动踢除，可以降低人力成本，并提升慢盘的处理效率。
在本实施例的一个可选的实施方式中，检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件，可以包括：
若检测到至少一个磁盘自身参数值大于或者等于对应的预设自身参数值阈值，则确定所述磁盘自身参数值满足预设慢盘检测条件；
若检测到至少一个磁盘关联参数值大于或者等于对应的预设关联参数值阈值，则确定所述磁盘关联参数值满足预设慢盘检测条件；
若检测到至少一个磁盘自身参数值大于或者等于对应的预设自身参数值阈值，和至少一个磁盘关联参数值大于或者等于对应的预设关联参数值阈值，则确定所述磁盘自身参数值和所述磁盘关联参数值满足预设慢盘检测条件。
在本实施例中，针对磁盘自身参数或者磁盘关联参数，可以分别预先设置对应的参数值阈值，即预设自身参数值阈值和预设关联参数值阈值。由此，在获取到磁盘自身参数值和磁盘关联参数值之后，可以分别判断每个参数值是否大于或者等于对应的预先设置的参数值阈值，若成功检测到一个或者多个参数值大于或者等于对应的预设参数值阈值，则可以确定满足预设慢盘检测条件，可以将当前磁盘确定为慢盘。
在本实施例中，通过预先设置不同类型的磁盘参数对应的参数值阈值，可以实现对慢盘的准确检测，可以提升慢盘检测的准确度，可以降低慢盘误判或者漏检的概率。
在本实施例的另一个可选的实施方式中，所述磁盘自身参数值可以包括输入输出IO平均耗时，当检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件时，将所述当前磁盘标记为慢盘，可以包括：
在预设监测周期内，获取所述当前磁盘对应的IO平均耗时大于或者等于预设时长阈值的异常次数；
判断所述当前磁盘对应的异常次数是否大于或者等于预设次数阈值；
若是，则获取所述当前磁盘所在存储节点的各其他磁盘对应的异常次数，并判断所述当前磁盘对应的异常次数是否为所述当前磁盘所在存储节点的各磁盘对应的异常次数的离群值；
若确定所述当前磁盘对应的异常次数为所述当前磁盘所在存储节点的各磁盘对应的异常次数的离群值，则将所述当前磁盘标记为慢盘。
其中，磁盘自身参数值，可以包括通过iostat获取的参数值，例如，await值，即每个输入/输出(Input/Output，I/O)的平均耗时，包括在内核IO队列内的时间和在存储设备上执行此IO的时间。
在本实施例中，可以在预设监测周期内，获取当前磁盘对应的多个IO平均耗时，并实时判断各IO平均耗时是否大于或者等于预先设置的时长阈值；若检测到一个IO平均耗时大于或者等于预设时长阈值，则异常次数加1。由此，可以获取当前磁盘在预设监测周期内对应的异常次数。之后，判断该异常次数是否大于或者等于预先设置的次数阈值，若确定该异常次数大于或者等于预设次数阈值，则可以采用相同的方法，获取当前磁盘所在存储节点的每个其他磁盘对应的异常次数。其中，预设时长阈值和预设次数阈值，可以根据历史经验进行自适应设置。预设监测周期，可以是预先设置的一个时间长度。
进一步的，可以采用预设离群值检测方法，例如，Grubbs算法，检测当前磁盘对应的异常次数是否为存储节点的所有磁盘对应的异常次数的离群值。若成功检测到当前磁盘对应的异常次数是离群值，则可以将当前磁盘确定为慢盘。其中，离群值，可以是一组数据中，与其他数据相差较大的值。典型的，Grubbs算法的离群值检测流程可以如表1所示。
表1Grubbs算法的离群值检测流程
在本实施例的一个具体的实施方式中，慢盘检测的流程可以如图1B所示。具体的，以await值为例，首先，在预设监测周期内获取await值，并判断预设监测周期是否结束。若确定预设监测周期未结束，则判断该await值是否大于或者等于对应的参数值阈值，若是，则将await异常次数加1。之后，重新获取await值，直至检测到预设监测周期结束，获取当前磁盘对应的await异常次数。
然后，判断当前磁盘对应的await异常次数是否大于或者等于预设次数阈值，若确定当前磁盘对应的await异常次数大于或者等于预设次数阈值，则进一步判断当前磁盘对应的await异常次数是否为所在存储节点的所有磁盘的await异常次数的离群值。最终，若确定当前磁盘对应的await异常次数为离群值，则可以将当前磁盘标记为慢盘。
在本实施例中，通过在获取到磁盘对应的异常次数之后，对异常次数进行离群值检测，并根据离群值检测结果判断当前磁盘是否为慢盘，可以有效避免相应阈值条件设置不合适导致的慢盘误判，可以进一步提升慢盘的检测准确度。
可选的，磁盘自身参数值还可以包括自我检测分析与报告技术信息(Self-Monitoring,Analysis,and Reporting Technology，SMART)，磁盘关联参数值可以包括磁盘故障检测信息(例如，disksense检测结果等)和/或磁盘离线次数。
在本实施例中，针对不同类型的磁盘参数值，均可以预先设置对应的参数值阈值；由此，可以根据设置的参数值阈值和实时获取的磁盘参数值，对磁盘是否为慢盘进行实时的检测。
上述设置的好处在于，通过采用不同类型的磁盘参数值，可以进一步降低慢盘的漏检概率，可以进一步提升慢盘的检测准确度。
在本实施例的另一个可选的实施方式中，检测到所述慢盘满足预设踢盘条件，可以包括：
若检测到踢除所述慢盘后的存储系统满足预设冗余条件，且所述存储系统中仅有所述慢盘存在损坏数据，则确定所述慢盘满足预设踢盘条件。
其中，预设冗余条件，可以是预先设置的存储性能的冗余需求。
在本实施例中，在确定当前磁盘为慢盘之后，可以自动对慢盘进行处理。在一个具体的例子中，慢盘处理的流程可以如图1C所示，首先，在确定当前磁盘为慢盘的前提下，判断踢除慢盘后的存储系统是否满足预设冗余条件。之后，若确定踢盘后存储系统满足预设冗余条件，则进一步判断存储系统中是否仅有该慢盘存在损坏数据，若确定存储系统中仅有该慢盘存在损坏数据，即其他磁盘上均不存在损坏数据，则可以确定慢盘满足预设踢盘条件，可以将该慢盘从存储系统中踢除。
在本实施例中，通过设置预设冗余条件，可以避免踢除慢盘后的存储系统出现超冗余问题，可以保证存储系统的业务性能，可以提升存储系统的稳定性。
实施例二
图2A为本发明实施例二提供的一种慢盘处理方法的流程图，本实施例是对上述技术方案的进一步细化，本实施例中的技术方案可以与上述一个或者多个实施方式结合。如图2A所示，该方法包括：
S210、开始，并执行S220。
S220、获取当前磁盘对应的磁盘参数值，所述磁盘参数值包括磁盘自身参数值和磁盘关联参数值，并执行S230。
S230、当检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件时，将所述当前磁盘标记为慢盘，并执行S240。
S240、判断所述慢盘是否满足预设踢盘条件。
其中，若确定慢盘满足预设踢盘条件，则执行S250；若确定慢盘不满足预设踢盘条件，则执行S260。
S250、将所述慢盘从存储系统中踢除，并执行S270。
S260、禁止对所述慢盘进行业务数据写入，并在检测到所述慢盘存在损坏数据时，禁止对所述慢盘的损坏数据进行修复，并执行S270。
在本实施例中，当检测到慢盘不满足预设踢盘条件时，无法从存储系统中踢除该慢盘，此时可以选择禁止后端模块向该慢盘中写入业务数据；此外，当确定该慢盘存在损坏数据时，可以选择不再修复该慢盘上的损坏数据。
上述设置的好处在于，可以避免慢盘对存储系统的业务性能的进一步影响，可以有效保障存储系统的业务性能。
S270、结束。
本发明实施例的技术方案，通过在确定当前磁盘为慢盘之后，若检测到慢盘满足预设踢盘条件，则直接将慢盘从存储系统中踢除；而若检测到慢盘不满足预设踢盘条件，则禁止对慢盘进行业务数据写入，并在检测到慢盘存在损坏数据时，禁止对慢盘的损坏数据进行修复，可以在存储系统中出现慢盘时，有效保障存储系统的业务性能，可以提升存储系统的稳定性。
在本实施例的一个可选的实施方式中，在检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件时，将所述当前磁盘标记为慢盘之后，还可以包括：
当检测到所述当前磁盘不存在对应的历史慢盘告警信息时，生成所述当前磁盘对应的慢盘告警信息；
在预设监控周期内，若未再次检测到所述当前磁盘对应的磁盘自身参数值和/或磁盘关联参数值满足预设慢盘检测条件，则删除所述当前磁盘对应的慢盘告警信息。
在本实施例中，为了及时通知用户有慢盘产生，在确定当前磁盘为慢盘之后，还可以向用户进行慢盘告警。具体的，首先判断当前磁盘是否存在已有的慢盘告警信息，即历史慢盘告警信息。之后，若确定当前磁盘不存在对应的历史慢盘告警信息，则可以生成对应的慢盘告警信息。在本实施例中，对慢盘告警信息的形式和内容均不作具体限定。
需要说明的是，在一些特殊场景下，例如，业务瞬间增长等，磁盘的参数值可能会发生突变，从而导致慢盘的误检测和误告警。针对上述问题，在本实施例中，在生成慢盘告警信息之后，可以设置一个监控周期，并在监控周期内对当前磁盘的磁盘自身参数值和磁盘关联参数值进行持续检测。在预设监控周期内，若未再次检测到磁盘自身参数值或者磁盘关联参数值满足预设慢盘检测条件，则表示磁盘参数值恢复正常，可以删除该慢盘告警信息。此外，还可以删除当前磁盘的慢盘标记。其中，预设监控周期，可以是预先设置的一个时间长度。
因此，在检测到存储系统中出现慢盘之后，可以不马上判断该慢盘是否满足预设踢盘条件，而是在等待预设监控周期之后，若确定该慢盘对应的慢盘告警信息未被删除，再判断该慢盘是否满足预设踢盘条件。之后，若确定该慢盘满足预设踢盘条件，则将该慢盘从存储系统中踢除。
在一个具体的例子中，慢盘告警的流程可以如图2B所示。首先，判断当前磁盘是否为慢盘，若确定当前磁盘为慢盘，则判断当前磁盘是否存在历史慢盘告警信息。之后，若确定当前磁盘不存在历史慢盘告警信息，则生成慢盘告警信息。然后，判断预设监控周期内当前磁盘对应的磁盘参数值是否满足预设慢盘检测条件；若确定磁盘自身参数值或者磁盘关联参数值均不满足预设慢盘检测条件，则可以删除慢盘告警信息。
此外，若确定当前磁盘存在历史慢盘告警信息，则可以直接判断预设监控周期内当前磁盘对应的磁盘自身参数值和/或磁盘关联参数值是否满足预设慢盘检测条件，以判断是否需要删除该历史慢盘告警信息。
在本实施例中，通过在检测到当前磁盘为慢盘时，生成对应的慢盘告警信息，可以实现对慢盘的及时告警；此外，通过设置监控周期，并在监控周期内检测到当前磁盘连续无异常时，删除对应的慢盘告警信息，可以有效避免慢盘的误告警，可以提升慢盘告警的准确度。
实施例三
图3为本发明实施例三提供的一种慢盘处理装置的结构示意图。如图3所示，该装置包括：磁盘参数值获取模块310、慢盘标记模块320和慢盘踢除模块330；其中，
磁盘参数值获取模块310，用于获取当前磁盘对应的磁盘参数值，所述磁盘参数值包括磁盘自身参数值和磁盘关联参数值；
慢盘标记模块320，用于当检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件时，将所述当前磁盘标记为慢盘；
慢盘踢除模块330，用于若检测到所述慢盘满足预设踢盘条件，则将所述慢盘从存储系统中踢除。
本发明实施例的技术方案，通过获取当前磁盘对应的磁盘自身参数值和磁盘关联参数值，并在检测到磁盘自身参数值和/或磁盘关联参数值满足预设慢盘检测条件时，将当前磁盘标记为慢盘；之后，若检测到慢盘满足预设踢盘条件，则将慢盘从存储系统中踢除，通过基于磁盘自身参数值和磁盘关联参数值共同进行慢盘检测，可以提升慢盘检测的准确度，可以降低慢盘的误判和漏检概率；此外，对满足预设踢盘条件的慢盘进行自动踢除，可以降低人力成本，并提升慢盘的处理效率。
可选的，慢盘标记模块320，具体用于若检测到至少一个磁盘自身参数值大于或者等于对应的预设自身参数值阈值，则确定所述磁盘自身参数值满足预设慢盘检测条件；
若检测到至少一个磁盘关联参数值大于或者等于对应的预设关联参数值阈值，则确定所述磁盘关联参数值满足预设慢盘检测条件；
若检测到至少一个磁盘自身参数值大于或者等于对应的预设自身参数值阈值，和至少一个磁盘关联参数值大于或者等于对应的预设关联参数值阈值，则确定所述磁盘自身参数值和所述磁盘关联参数值满足预设慢盘检测条件。
可选的，所述磁盘自身参数值包括输入输出IO平均耗时，慢盘标记模块320，包括：
异常次数获取单元，用于在预设监测周期内，获取所述当前磁盘对应的IO平均耗时大于或者等于预设时长阈值的异常次数；
异常次数判断单元，用于判断所述当前磁盘对应的异常次数是否大于或者等于预设次数阈值；
离群值判断单元，用于若是，则获取所述当前磁盘所在存储节点的各其他磁盘对应的异常次数，并判断所述当前磁盘对应的异常次数是否为所述当前磁盘所在存储节点的各磁盘对应的异常次数的离群值；
慢盘标记单元，用于若确定所述当前磁盘对应的异常次数为所述当前磁盘所在存储节点的各磁盘对应的异常次数的离群值，则将所述当前磁盘标记为慢盘。
可选的，慢盘踢除模块330，具体用于若检测到踢除所述慢盘后的存储系统满足预设冗余条件，且所述存储系统中仅有所述慢盘存在损坏数据，则确定所述慢盘满足预设踢盘条件。
可选的，所述慢盘处理装置，还包括：
慢盘告警信息生成模块，用于当检测到所述当前磁盘不存在对应的历史慢盘告警信息时，生成所述当前磁盘对应的慢盘告警信息；
慢盘告警信息删除模块，用于在预设监控周期内，若未再次检测到所述当前磁盘对应的磁盘自身参数值和/或磁盘关联参数值满足预设慢盘检测条件，则删除所述当前磁盘对应的慢盘告警信息。
可选的，所述慢盘处理装置，还包括：
操作禁止模块，用于若检测到所述慢盘不满足预设踢盘条件，则禁止对所述慢盘进行业务数据写入，并在检测到所述慢盘存在损坏数据时，禁止对所述慢盘的损坏数据进行修复。
可选的，所述磁盘自身参数值还包括自我检测分析与报告技术信息，所述磁盘关联参数值包括磁盘故障检测信息和/或磁盘离线次数。
本发明实施例所提供的慢盘处理装置可执行本发明任意实施例所提供的慢盘处理方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4示出了可以用来实施本发明的实施例的电子设备40的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备40包括至少一个处理器41，以及与至少一个处理器41通信连接的存储器，如只读存储器(ROM)42、随机访问存储器(RAM)43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序，来执行各种适当的动作和处理。在RAM 43中，还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。
电子设备40中的多个部件连接至I/O接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如慢盘处理方法。
在一些实施例中，慢盘处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM 43并由处理器41执行时，可以执行上文描述的慢盘处理方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行慢盘处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种慢盘处理方法，其特征在于，包括：
获取当前磁盘对应的磁盘参数值，所述磁盘参数值包括磁盘自身参数值和磁盘关联参数值；
当检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件时，将所述当前磁盘标记为慢盘；
若检测到所述慢盘满足预设踢盘条件，则将所述慢盘从存储系统中踢除。
2.根据权利要求1所述的方法，其特征在于，检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件，包括：
若检测到至少一个磁盘自身参数值大于或者等于对应的预设自身参数值阈值，则确定所述磁盘自身参数值满足预设慢盘检测条件；
若检测到至少一个磁盘关联参数值大于或者等于对应的预设关联参数值阈值，则确定所述磁盘关联参数值满足预设慢盘检测条件；
若检测到至少一个磁盘自身参数值大于或者等于对应的预设自身参数值阈值，和至少一个磁盘关联参数值大于或者等于对应的预设关联参数值阈值，则确定所述磁盘自身参数值和所述磁盘关联参数值满足预设慢盘检测条件。
3.根据权利要求2所述的方法，其特征在于，所述磁盘自身参数值包括输入输出IO平均耗时，当检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件时，将所述当前磁盘标记为慢盘，包括：
在预设监测周期内，获取所述当前磁盘对应的IO平均耗时大于或者等于预设时长阈值的异常次数；
判断所述当前磁盘对应的异常次数是否大于或者等于预设次数阈值；
若是，则获取所述当前磁盘所在存储节点的各其他磁盘对应的异常次数，并判断所述当前磁盘对应的异常次数是否为所述当前磁盘所在存储节点的各磁盘对应的异常次数的离群值；
若确定所述当前磁盘对应的异常次数为所述当前磁盘所在存储节点的各磁盘对应的异常次数的离群值，则将所述当前磁盘标记为慢盘。
4.根据权利要求1所述的方法，其特征在于，检测到所述慢盘满足预设踢盘条件，包括：
若检测到踢除所述慢盘后的存储系统满足预设冗余条件，且所述存储系统中仅有所述慢盘存在损坏数据，则确定所述慢盘满足预设踢盘条件。
5.根据权利要求1所述的方法，其特征在于，在检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件时，将所述当前磁盘标记为慢盘之后，还包括：
当检测到所述当前磁盘不存在对应的历史慢盘告警信息时，生成所述当前磁盘对应的慢盘告警信息；
在预设监控周期内，若未再次检测到所述当前磁盘对应的磁盘自身参数值和/或磁盘关联参数值满足预设慢盘检测条件，则删除所述当前磁盘对应的慢盘告警信息。
6.根据权利要求1所述的方法，其特征在于，在检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件时，将所述当前磁盘标记为慢盘之后，还包括：
若检测到所述慢盘不满足预设踢盘条件，则禁止对所述慢盘进行业务数据写入，并在检测到所述慢盘存在损坏数据时，禁止对所述慢盘的损坏数据进行修复。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述磁盘自身参数值还包括自我检测分析与报告技术信息，所述磁盘关联参数值包括磁盘故障检测信息和/或磁盘离线次数。
8.一种慢盘处理装置，其特征在于，包括：
磁盘参数值获取模块，用于获取当前磁盘对应的磁盘参数值，所述磁盘参数值包括磁盘自身参数值和磁盘关联参数值；
慢盘标记模块，用于当检测到所述磁盘自身参数值和/或所述磁盘关联参数值满足预设慢盘检测条件时，将所述当前磁盘标记为慢盘；
慢盘踢除模块，用于若检测到所述慢盘满足预设踢盘条件，则将所述慢盘从存储系统中踢除。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的慢盘处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的慢盘处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210966258.1A CN117631956A (zh) | 2022-08-12 | 2022-08-12 | 一种慢盘处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210966258.1A CN117631956A (zh) | 2022-08-12 | 2022-08-12 | 一种慢盘处理方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117631956A true CN117631956A (zh) | 2024-03-01 |
Family
ID=90015115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210966258.1A Pending CN117631956A (zh) | 2022-08-12 | 2022-08-12 | 一种慢盘处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117631956A (zh) |
-
2022
- 2022-08-12 CN CN202210966258.1A patent/CN117631956A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116049146B (zh) | 一种数据库故障处理方法、装置、设备及存储介质 | |
| CN112380089A (zh) | 一种数据中心监控预警方法及系统 | |
| CN116089231B (zh) | 一种故障告警方法、装置、电子设备及存储介质 | |
| CN116010220A (zh) | 一种告警诊断方法、装置、设备及存储介质 | |
| CN117743012A (zh) | 一种芯片失效的处理系统、方法、电子设备及存储介质 | |
| CN116594563A (zh) | 分布式存储扩容方法、装置、电子设备和存储介质 | |
| CN117074829A (zh) | 自动驾驶系统的故障检测方法、装置及介质 | |
| CN116226644A (zh) | 设备故障类型的确定方法、装置、电子设备及存储介质 | |
| CN117631956A (zh) | 一种慢盘处理方法、装置、设备及存储介质 | |
| CN115168154B (zh) | 一种基于动态基线的异常日志检测方法、装置及设备 | |
| CN115357011A (zh) | 一种机器人故障处理方法、装置、介质以及电子设备 | |
| CN113220554B (zh) | 检测程序代码的性能的方法和设备 | |
| CN114881112A (zh) | 一种系统异常检测方法、装置、设备及介质 | |
| CN116719621B (zh) | 一种针对海量任务的数据回写方法、装置、设备及介质 | |
| CN116185765B (zh) | 一种告警处理方法、装置、电子设备及存储介质 | |
| CN117198017B (zh) | 一种报警等级确定方法、装置、电子设备及存储介质 | |
| CN116016265B (zh) | 消息全链路监控方法、装置、系统、设备和存储介质 | |
| CN118214691A (zh) | 一种网络状态异常数据监测方法、装置、设备、介质及产品 | |
| CN116302370A (zh) | 一种返回码异常告警的生成方法、装置、设备及介质 | |
| CN118074625A (zh) | 设备故障检测方法、装置、设备及存储介质 | |
| CN117540240A (zh) | 一种用水异常检测方法、装置、电子设备及存储介质 | |
| CN117471238A (zh) | 一种电网系统稳定性的确定方法、装置及电子设备 | |
| CN117290179A (zh) | 一种事件超时状态的确定方法、装置、设备和存储介质 | |
| CN117907752A (zh) | 一种高压输电线路的故障预警方法、装置、电子设备和存储介质 | |
| CN117493060A (zh) | 数据库组件异常检测方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |