CN112241343A - 一种慢盘检测方法、装置、电子设备及可读存储介质 - Google Patents

一种慢盘检测方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN112241343A
CN112241343A CN201910656962.5A CN201910656962A CN112241343A CN 112241343 A CN112241343 A CN 112241343A CN 201910656962 A CN201910656962 A CN 201910656962A CN 112241343 A CN112241343 A CN 112241343A
Authority
CN
China
Prior art keywords
slow
disc
disk
pressure measurement
slow disc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910656962.5A
Other languages
English (en)
Other versions
CN112241343B (zh
Inventor
古亮
李诗逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sangfor Technologies Co Ltd
Original Assignee
Sangfor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sangfor Technologies Co Ltd filed Critical Sangfor Technologies Co Ltd
Priority to CN201910656962.5A priority Critical patent/CN112241343B/zh
Publication of CN112241343A publication Critical patent/CN112241343A/zh
Application granted granted Critical
Publication of CN112241343B publication Critical patent/CN112241343B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/22Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2273Test methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/22Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/24Marginal checking or other specified testing methods not covered by G06F11/26, e.g. race tests
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

本申请公开了一种慢盘检测方法,区别于现有技术仅基于IO请求响应速度这单一特征所构建得到的慢盘检测模型,本申请所使用的慢盘检测模型是基于进行压力测试所得到的压测数据构建得到的,压力测试会以无关业务类型、无关磁盘类型的方式按照不同块大小、不同深度、不同访问行为等多种方式对磁盘进行全方位的测试,得到的压测数据是对磁盘运行状态的直接表现,相比于现有技术使用的IO请求响应速度这一对磁盘运行状态的间接表现,基于压测数据构建的慢盘检测模型很明显能够更全面、更准确的判断出待测磁盘是否为慢盘。本申请还同时公开了一种慢盘检测装置、电子设备及计算机可读存储介质,具有上述有益效果。

Description

一种慢盘检测方法、装置、电子设备及可读存储介质
技术领域
本申请涉及存储技术领域,特别涉及一种慢盘检测方法、装置、电子设备及计算机可读存储介质。
背景技术
每个磁盘在其使用过程中,往往会经历三个阶段,第一阶段是磁盘良好运行、数据读写长时间流畅、无异常的阶段,在此阶段下磁盘处于健康状态;第二阶段是磁盘陆续出现诸如坏道、高温、慢盘、卡顿等各种影响正常运行的错误的阶段,但由于磁盘还没出现较大的故障其对使用影响不大,此阶段因此通常被称为亚健康状态;第三阶段是磁盘出现已经严重影响使用或者完全不能使用的较大故障,此阶段磁盘处于故障状态。
由于健康状态和故障状态特征明显,比较容易发现,而亚健康状态则由于特征不明显,发现的难度相对较大。其中,表现为磁盘读写越来越慢的慢盘状态由于其对数据处理效率和访问体验的影响,被业界广泛关注。
现有检测一个磁盘是否为慢盘的方法,虽然考虑到不同类型的磁盘对慢盘判据的影响,提出了根据磁盘的类型设立不同的慢盘判据,以提升原先对不同类型的磁盘统一使用相同的慢盘判据的判别准确性。但其使用的慢盘判据一直局限在磁盘对IO请求的响应速度,而响应速度只是慢盘所表现出的其中一个特征,且该判据也会受到该磁盘在第一阶段所承载业务类型的影响,如果后续业务变更,该判据也将不再合适。因此,现有的慢盘检测方法由于使用无法更全面、准确判别出慢盘的特征,使得慢盘检测的准确率不高。
因此,如何克服现有技术存在的技术缺陷,是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种慢盘检测方法、装置、电子设备及计算机可读存储介质,旨在使用更全面、更准确的慢盘判据来提升慢盘检测的准确率。
为实现上述目的,本申请提供一种慢盘检测方法,该方法包括:
获取待测磁盘的磁盘类型和实际压测数据;
获取与所述磁盘类型对应的目标慢盘检测模型;其中,所述目标慢盘检测模型是基于对相同磁盘类型的非慢盘进行压力测试后得到的压测数据所构建得到的;
判断所述实际压测数据是否满足所述目标慢盘检测模型的慢盘判别规则;
若满足所述慢盘判别规则,则判定所述待测磁盘为慢盘。
可选地,所述目标慢盘检测模型的构建过程包括:
获取与所述待测磁盘的磁盘类型相同的目标非慢盘;
对所述目标非慢盘进行压力测试,得到非慢盘压测数据;
根据所述非慢盘压测数据确定得到非慢盘压测数据区间;
根据所述非慢盘压测数据区间构建得到所述目标慢盘检测模型。
可选地,判断所述实际压测数据是否满足所述目标慢盘检测模型的慢盘判别规则,包括:
比较所述实际压测数据与所述非慢盘压测数据区间的大小;
将所述大小关系中未处于所述非慢盘压测数据区间的部分实际压测数据标记为异常数据;
判断所述异常数据是否满足所述慢盘判别规则。
可选地,判断所述异常数据是否满足所述慢盘判别规则,包括:
判断所述异常数据的数量和/或持续时间是否满足数量判别子规则和/或持续时间判别子规则。
可选地,所述压力测试具体包括压力边界测试和/或压力分区测试,对应得到非慢盘边界数据区间和/或非慢盘分区数据区间。
可选地,根据所述非慢盘压测数据区间构建所述目标慢盘检测模型,包括:
根据预设对应表确定与所述磁盘类型对应的偏好压测数据;其中,所述预设对应表中记录有每种类型的磁盘与每种偏好压测数据间的对应关系;
选用与所述偏好压测数据对应的非慢盘压测数据区间构建所述目标慢盘检测模型。
可选地,该慢盘检测方法还包括:
当无法获取到与所述磁盘类型相对应的目标慢盘检测模型时,通过横向对比和/或纵向对比判定所述待测磁盘是否为慢盘;其中,所述横向对比是使用所述待测磁盘的历史运行数据与当前运行数据进行对比,所述纵向对比是将所述待测磁盘的当前运行数据与其它磁盘的当前运行数据进行对比,所述其它磁盘为与所述待测磁盘的磁盘类型相近的磁盘。
可选地,该慢盘检测方法还包括:
当无法获取到与所述磁盘类型相对应的目标慢盘检测模型,但存在与所述其它磁盘的磁盘类型对应的慢盘检测模型时,将与所述其它磁盘的磁盘类型对应的慢盘检测模型标记为代理慢盘检测模型;
利用所述代理慢盘检测模型确定所述待测磁盘是否为慢盘。
可选地,该慢盘检测方法还包括:
利用磁盘的业界基准数据修正所述非慢盘压测数据区间的具体数值。
为实现上述目的,本申请还提供了一种慢盘检测装置,该装置包括:
磁盘类型及实际数据获取单元,用于获取待测磁盘的磁盘类型和实际压测数据;
目标慢盘检测模型获取单元,用于获取与所述磁盘类型对应的目标慢盘检测模型;其中,所述目标慢盘检测模型是基于对相同磁盘类型的非慢盘进行压力测试后得到的压测数据所构建得到的;
慢盘检测单元,用于判断所述实际压测数据是否满足所述目标慢盘检测模型的慢盘判别规则;
慢盘判定单元,用于当所述实际压测数据满足所述目标慢盘检测模型的慢盘判别规则时,判定所述待测磁盘为慢盘。
可选地,该慢盘检测装置还隐含包括了慢盘检测模型构建单元,所述慢盘检测模型构建单元包括:
目标非慢盘获取子单元,用于获取与所述待测磁盘的磁盘类型相同的目标非慢盘;
压力测试子单元,用于对所述目标非慢盘进行压力测试,得到非慢盘压测数据;
非慢盘压测数据区间确定子单元,用于根据所述非慢盘压测数据确定得到非慢盘压测数据区间;
目标慢盘检测模型构建子单元,用于根据所述非慢盘压测数据区间构建得到所述目标慢盘检测模型。
可选地,所述慢盘检测单元包括:
大小比较子单元,用于比较所述实际压测数据与所述非慢盘压测数据区间的大小;
异常数据标记子单元,用于将所述大小关系中未处于所述非慢盘压测数据区间的部分实际压测数据标记为异常数据;
慢盘判别规则满足判断子单元,用于判断所述异常数据是否满足所述慢盘判别规则。
可选地,所述慢盘判别规则满足判断子单元包括:
数量和/或持续时间判别模块,用于判断所述异常数据的数量和/或持续时间是否满足数量判别子规则和/或持续时间判别子规则。
可选地,所述目标慢盘检测模型构建子单元包括:
偏好压测数据确定模块,用于根据预设对应表确定与所述磁盘类型对应的偏好压测数据;其中,所述预设对应表中记录有每种类型的磁盘与每种偏好压测数据间的对应关系;
偏好检测模型构建模块,用于选用与所述偏好压测数据对应的非慢盘压测数据区间构建所述目标慢盘检测模型。
可选地,该慢盘检测装置还包括:
纵向和/或横向慢盘检测单元,用于当无法获取到与所述磁盘类型相对应的目标慢盘检测模型时,通过横向对比和/或纵向对比判定所述待测磁盘是否为慢盘;其中,所述横向对比是使用所述待测磁盘的历史运行数据与当前运行数据进行对比,所述纵向对比是将所述待测磁盘的当前运行数据与其它磁盘的当前运行数据进行对比,所述其它磁盘为与所述待测磁盘的磁盘类型相近的磁盘。
可选地,该慢盘检测装置还包括:
代理慢盘检测模型标记单元,用于当无法获取到与所述磁盘类型相对应的目标慢盘检测模型,但存在与所述其它磁盘的磁盘类型对应的慢盘检测模型时,将与所述其它磁盘的磁盘类型对应的慢盘检测模型标记为代理慢盘检测模型;
代理慢盘检测模型判别单元,用于利用所述代理慢盘检测模型确定所述待测磁盘是否为慢盘。
可选地,该慢盘检测装置还包括:
数值修正单元,用于利用磁盘的业界基准数据修正所述非慢盘压测数据区间的具体数值。
为实现上述目的,本申请还提供了一种电子设备,该电子设备包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述内容所描述的慢盘检测方法。
为实现上述目的,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述内容所描述的慢盘检测方法。
根据本申请提供的慢盘检测方法可以看出,区别于现有技术仅基于IO请求响应速度这单一特征所构建得到的慢盘检测模型,本申请所使用的慢盘检测模型是基于进行压力测试所得到的压测数据构建得到的,压力测试会以无关业务类型、无关磁盘类型的方式按照不同块大小、不同深度、不同访问行为等多种方式对磁盘进行全方位的测试,得到的压测数据是对磁盘运行状态的直接表现,相比于现有技术使用的IO请求响应速度这一对磁盘运行状态的间接表现,基于压测数据构建的慢盘检测模型很明显能够更全面、更准确的判断出待测磁盘是否为慢盘。
本申请同时还提供了一种慢盘检测装置、电子设备及计算机可读存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种慢盘检测方法的流程图;
图2为本申请实施例提供的一种目标慢盘检测模型的构建方法的流程图;
图3为本申请实施例提供的慢盘检测方法中一种利用基于异常数据的慢盘检测方法的流程图;
图4(a)为本申请实施例提供的一种仅根据异常数据数量来判别慢盘或非慢盘的方法的流程图;
图4(b)为本申请实施例提供的一种仅根据异常数据持续时间来判别慢盘或非慢盘的方法的流程图;
图4(c)为本申请实施例提供的一种同时根据异常数据数量和异常数据持续时间来判别慢盘或非慢盘的方法的流程图;
图5为本申请实施例提供的一种基于与磁盘类型相对应的偏好压测数据来构建得到慢盘检测模型的方法的流程图;
图6为图5所示方法中所使用的对应表的一种表现方式;
图7为本申请实施例提供的一种慢盘检测装置的结构框图。
具体实施方式
本申请的目的是提供一种慢盘检测方法、装置、电子设备及计算机可读存储介质,旨在使用更全面、更准确的慢盘判据来提升慢盘检测的准确率。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
实施例一
请参见图1,图1为本申请实施例提供的一种慢盘检测方法的流程图,其包括以下步骤:
S101:获取待测磁盘的磁盘类型和实际压测数据;
本步骤旨在两部分参数,一部分是待测磁盘的磁盘类型,另一部分是对当前的待测磁盘进行压力测试后得到的实际压测数据。其中,磁盘类型用于描述该待测磁盘具体属于哪一类磁盘,以根据该磁盘类型结合后续步骤消除因磁盘类型不同对慢盘判据的影响;而实际压测数据则用于表征该待测磁盘当前的运行状态,以便于通过与后续的慢盘检测模型对实际压测数据的比对来判断得到待测磁盘是否为慢盘的结论。
S102:获取与磁盘类型对应的目标慢盘检测模型;
本步骤旨在根据S101中得到的待测磁盘的磁盘类型确定与磁盘类型相对应的慢盘检测模型,以便使用更合适的、更具针对性的慢盘检测模型来完成对实际压测数据的检测。
根据本申请的思想,预先会为每种类型的磁盘构建相应的慢盘检测模型,也就是说会存在多个慢盘检测模型,因此本步骤将多个慢盘检测模型中与待测磁盘的磁盘类型对应的慢盘检测模型称为目标慢盘检测模型。
进一步的,为了方便确定目标慢盘检测模型,可以预先生成记录有每种磁盘类型与每个慢盘检测模型之间对应关系的检测模型对应表,更进一步的,还可以根据实际应用场景下对所使用的全部磁盘中不同磁盘类型的占比,调整不同对应关系在该检测模型对应表中的排序,以进一步加快目标慢盘检测模型的确定速度。
本步骤所使用的慢盘检测模型是基于对相同磁盘类型的非慢盘进行压力测试得到的压测数据构建得到的。其中,非慢盘是指不属于慢盘的正常磁盘,也就说是处于健康状态的磁盘,需要注意的是,非慢盘不包含处于故障状态的磁盘,此处使用非慢盘一词只是便于与慢盘做区分。换句话说,构建得到慢盘检测模型所使用的压测数据是对处于健康状态的磁盘进行压力测试得到的,因此基于此压测数据构建得到的慢盘检测模型可以通过实际压测数据是否与自身具有一致性来完成待测磁盘是否为慢盘的检测。
当对象为磁盘时,本申请所使用的压力测试是指一种对目标磁盘按不同的方式(包括按不同块大小、不同深度、不同访问行为等方式,其中不同访问行为又包括随机读写、连续读写、混合读写等具体访问方式)进行读写测试,以直接的、全面的得到该磁盘运行状态的测试方法。进一步的,压力测试还可以根据针对点的不同,再细分为压力边界测试和压力分区测试,相应的,压测数据也可细分为边界数据和分区数据。
边界数据注重凸显该磁盘的极限表现,例如整个磁盘所有分区最大延时和读写速度等等参数,而分区数据则注重凸显该磁盘中每个有效分区各自的性能参数。简单来说,边界数据更偏向于从整体的角度来描述磁盘的运行状态,数据量相对较少,检测耗时相对较短;分布数据更偏向于从细节的角度来描述磁盘的运行状态,数据量相对较多,检测耗时相对较长。
由于实际情况下磁盘类型的不同,有些类型的磁盘可以仅通过基于边界数据构建得到的慢盘检测模型就可以实现是否为慢盘的检测,但有些类型的磁盘是否为慢盘就在边界数据这类压测数据上表现的不明显,但却在分区数据这类压测数据上表现的较为明显,因此考虑到这一方面,在构建某一磁盘类型的慢盘检测模型时,可以选用特征更明显的压测数据来构建,如果两类压测数据都较为明显,则可以根据实际应用场景对检测速度和准确度的要求,灵活选择是基于一类压测数据构建还是同时基于两类来构建,此处并不做具体限定。
为加深对慢盘检测模型的理解,本实施例还在此处给出一种慢盘检测模型的构建过程,请参见如图2所示的各构建步骤:
S201:获取与待测磁盘的磁盘类型相同的目标非慢盘;
本步骤旨在获取某一磁盘类型的处于健康状态的磁盘(非慢盘),为排除未知影响因素对个别非慢盘造成的影响,可以选用多个非慢盘来消除个别异常非慢盘对后续过程造成的影响。
S202:对目标非慢盘进行压力测试,得到非慢盘压测数据;
本步骤旨在对选取出的非慢盘进行压力测试,压力测试可按照不同块大小(可按照4K、8K、16K……一直到1M、2M的块大小来进行,由于磁盘在数MB的块大小下已经饱和,所以无需继续增大块大小)、不同深度(可按照1、24、48……一直到256的深度变化方式来进行)、不同访问行为(包括随机读写、连续读写、混合读写等,其中,混合又可以自行设定其中的连续读写和随机读写的比例,例如3:7、5:5)来具体完成整个压力测试。
S203:根据非慢盘压测数据确定得到非慢盘压测数据区间;
本步骤旨在根据压力测试得到的非慢盘压测数据通过归纳、总结、调整等一系列步骤确定出非慢盘压测数据区间,该非慢盘压测数据区间是当压力测试的对象为非慢盘时其压测数据应处于的一个范围,例如非慢盘的边界延时区间为[3ms,5ms]。
具体的,当非慢盘压测数据细分为边界数据和分区数据时,该非慢盘压测数据区间也可以表现为两个各自独立的区间,即非慢盘边界数据区间和非慢盘分区数据区间。
S204:根据非慢盘压测数据区间构建得到目标慢盘检测模型。
需要说明的是,由于不确定得到用于构建慢盘检测模型的压测数据的来源的非慢盘是否存在未知的异常,因此还可以借助多种异常纠错技术来去除异常非慢盘对整体的影响,其中一种可行的方式为借助业界基准数据来修正具体的数值,业界基准数据是指业界同行或磁盘生产厂家给出一个较为通用、较为粗略的慢盘指导参数,虽然其不够准确,但其大方向和大趋势仍具有指导作用。
在S203的基础上,本步骤旨在根据非慢盘压测数据区间构建得到目标慢盘检测模型,以在实际使用时根据实际压测数据是否处于非慢盘压测数据区间内来确定待测磁盘是否与非慢盘具有一致性,如果不具有一致性则应当属于非慢盘的反面—慢盘;如果具有一致性,则应当属于非慢盘。
S103:判断实际压测数据是否满足目标慢盘检测模型的慢盘判别规则,若满足,则执行S105,否则执行S104;
在S102的基础上,本步骤旨在判断实际压测数据是否满足目标慢盘检测模型的慢盘判别规则,以根据该慢盘判别规则是否被满足得到该待测磁盘具体为慢盘还是非慢盘的结论。
需要说明的是,由于实际情况复杂,得到的实际压测数据会是待测磁盘在当前一段时间内的运行状态的表现,也就说是该实际压测数据是多条压测参数的集合体,该待测磁盘是否为慢盘也不应是一次性判别结果的结论,因此本申请考虑到此种情况,预先设置了该慢盘判别规则,该慢盘判别规则是出于尽可能提高慢盘判别准确度的目的根据实际情况而设置的,其具体可以包括基于数量、基于持续时间、基于出现次数、基于超出程度等等的判别子规则,其针对的是未处于目标慢盘检测模型对应非慢盘压测数据区间的部分实际压测数据,也就说可以通过不同于健康状态磁盘压测数据的数量、持续时间、出现次数、超出程度等方面来尽可能的提高慢盘的准确度。
S104:判定待测磁盘为非慢盘;
本步骤建立在S103的判别结果为实际压测数据满足目标慢盘检测模型的慢盘判别规则的基础上,说明待测磁盘的当前运行状态较为符合同磁盘类型的非慢盘的运行状态,因此将判定该待测磁盘为非慢盘。
S105:判定待测磁盘为慢盘。
本步骤建立在S103的判断结果为实际压测数据不满足目标慢盘检测模型的慢盘判别规则的基础上,说明待测磁盘的当前运行状态与同磁盘类型的非慢盘的运行状态存在较大差异,因此将判定该待测磁盘为慢盘。
随着技术的发展,各式各样的磁盘也在不断的出现,而想要全面、及时、无遗漏的构建得到所有磁盘类型的慢盘检测模型是很难做到的,不免会出现无法得到与待测磁盘的磁盘类型相对应的慢盘检测模型的情况,考虑到这一问题,本申请也给出一种折中的处理方案,使得可以相对准确的判别得到待测磁盘是否为慢盘的结论。
具体的,本申请提出一种通过横向对比和/或纵向对比的方式来对不存在相应慢盘检测模型的待测磁盘检测其是否为慢盘的方法,其中,横向对比是使用待测磁盘的历史运行数据与当前运行数据进行对比;纵向对比是将待测磁盘的当前运行数据与其它磁盘的当前运行数据进行对比,其它磁盘是与待测磁盘的磁盘类型相近的磁盘。进一步的,根据磁盘类型的不同,其对横向对比和纵向对比的敏感度不同,能够较为明显的表现出异常进而判别出是否为慢盘的程度也不同,因此也需要根据实际情况灵活选择合适的对比方式。
更进一步的,若数据库中存在与该其它磁盘对应的慢盘检测模型,还可以将与其它磁盘的磁盘类型对应的慢盘检测模型标记为代理慢盘检测模型,并利用该代理慢盘检测模型完成对该待测磁盘是否为慢盘的检测。即借助磁盘类型相近可能存在的一致性来完成慢盘检测。
根据本实施例所提供的慢盘检测方法可以看出,区别于现有技术仅基于IO请求响应速度这单一特征所构建得到的慢盘检测模型,本实施例所使用的慢盘检测模型是基于进行压力测试所得到的压测数据构建得到的,压力测试会以无关业务类型、无关磁盘类型的方式按照不同块大小、不同深度、不同访问行为等多种方式对磁盘进行全方位的测试,得到的压测数据是对磁盘运行状态的直接表现,相比于现有技术使用的IO请求响应速度这一对磁盘运行状态的间接表现,基于压测数据构建的慢盘检测模型很明显能够更全面、更准确的判断出待测磁盘是否为慢盘。
实施例二
请参见图3,图3为本申请实施例提供的慢盘检测方法中一种利用基于异常数据的慢盘检测方法的流程图,针对实施例一的S103,本实例给出一种具体的实现步骤,包括以下步骤:
S301:比较实际压测数据与非慢盘压测数据区间的大小;
S302:将大小关系中未处于非慢盘压测数据区间的部分实际压测数据标记为异常数据;
S303:判断异常数据是否满足慢盘判别规则。
由于构建得到慢盘检测模型的是对非慢盘进行压力测试后得到的压测数据,压测数据又用于得到非慢盘压测数据区间,因此基于此实现对待测磁盘是否为慢盘的判定应当是通过实际压测数据是否处于非慢盘压测数据区间来实现的,慢盘判别规则负责通过多样化、全面化、贴近实际情况的判别规则使得慢盘的判别准确度得到尽可能的提升,因此需要首先得到未处于非慢盘压测数据区间的部分实际压测数据,即本实施例标记得到的异常数据。
在S103部分对慢盘判别规则具体可以表现为如何进行了详细的说明,此处旨在结合其中的两种对可能存在的几种具体判别过程进行说明:
如图4(a)所示,提供了一种仅根据异常数据数量来判别慢盘或非慢盘的方法;如图4(b)所示,提供了一种仅根据异常数据持续时间来判别慢盘或非慢盘的方法的流程图,以上两个附图均是对异常数据的单一特征来完成慢盘的判别。
如图4(c)所示,提供了一种同时根据异常数据数量和异常数据持续时间来判别慢盘或非慢盘的方法,可以看出,数量或持续时间任何一个满足均能够得到待测磁盘为慢盘的结论,而只有当数量和持续时间均不满足才能得到待测磁盘为非慢盘的结论,也就说此种方式对得到非慢盘的结论更加慎重,这是因为相比将慢盘错误的判别为非慢盘,将非慢盘错误的判别为慢盘将带来更严重的后果。需要说明的是,图4(a)、(b)、(c)仅是使用了慢盘判别规则中可能包含的两种来进行举例说明,原理对可能存在的其它判别方式也同样适用。还需要说明的是,如图4(c)所示的两个判据的前后判别顺序可以灵活调整,并不存在因果关系。
在实施例一的基础上,本实施例针对S103具体提供一种实现方案,首先通过对比得到未处于非慢盘压测数据区间的部分实际压测数据(异常数据),使得是否为慢盘的判别过程具体到了异常数据是否满足慢盘判别规则的层面,又通过图(a)(b)(c)具体展示了表现为不同数量判别自规则的慢盘判别规则的判别过程,为不同实际应用场景提供了更广阔的选择空间。
实施例三
请参见图5,图5为本申请实施例提供的一种基于与磁盘类型相对应的偏好压测数据来构建得到慢盘检测模型的方法的流程图,本实施例针对实施例一的S204,提供一种根据磁盘类型的不同选择合适类型的压测数据来构建得到慢盘检测模型的方式,包括如下步骤:
S401:根据预设对应表确定与磁盘类型对应的偏好压测数据;
其中,该预设对应表中记录有每种类型的磁盘与每种偏好压测数据间,简单的是,记录的是每种磁盘类型与能够较为明显表现出该种磁盘类型的磁盘是否为慢盘的压测数据种类(即边界数据和/或分区数据)。
为加深理解,本实施例还通过图6提供了一种该预设对应表的示意图,可以看出,磁盘类型为A的磁盘的偏好压测数据为边界数据,因此在没有其它影响因素的前提下,基于边界数据构建得到的慢盘检测模型将能够以较快的速度完成是否为慢盘的检测,效率最高,考虑到此方面,将可以仅选用非慢盘边界数据区间来构建得到相应的慢盘检测模型。
同理,磁盘类型为B的磁盘的偏好压测数据为分区数据,说明基于边界数据无法较为准确的判别得到B类型磁盘是否为慢盘的结论,因此无需在构建得到对应慢盘检测模型时加入非慢盘边界数据区间,仅基于非慢盘分区数据区间即可。
磁盘类型为C的磁盘的偏好压测数据为边界数据和分区数据,说明针对此类磁盘哪种压测数据都可以较为准确的得到是否为慢盘的判别结论,因此可以根据实际情况灵活选择其中的一种或同时选择两种来刚构建得到慢盘检测模型,此处并不做具体限定。如果说当前场景需要较快的检测速度,可仅基于边界数据来构建,如果说需要较高的准确度,可以综合两类压测数据的结论来得到。
S402:选用与偏好压测数据对应的非慢盘压测数据区间构建目标慢盘检测模型。
在实施例一的基础上,本实施例通过构建预设对应表的方式,提供一种基于偏好压测数据构建得到相应磁盘类型的慢盘检测模型的方法,根据实际应用场景的需求可以更加灵活的构建得到慢盘检测模型,尽可能的提升整体的检测效率和所需的计算资源。
还需要说明的是,上述内容构建慢盘检测模型使用的压测数据的来源是出于健康状态的磁盘,并通过实际压测数据是否与非慢盘压测数据区间存在一致性来判别该待测磁盘是否为慢盘。也可以将压测数据的来源改为确定为慢盘的磁盘,并进行略微的调整也能够得到相同的结论,甚至还可以同时结合来源于健康状态磁盘的压测数据和来源于慢盘的压测数据,将其分别作为正样本和负样本来构建该慢盘检测模型。但由于实际情况的限制,作为来源的慢盘的获取难度远高于处于健康状态的磁盘,当然也可以借助一些样本增量技术来人为的增加负样本的数量,但人为通过增量技术获得的伪负样本在实用性上不比真实的正样本。
因为情况复杂,无法一一列举进行阐述,本领域技术人员应能意识到根据本申请提供的基本方法原理结合实际情况可以存在很多的例子,在不付出足够的创造性劳动下,应均在本申请的保护范围内。
实施例四
下面请参见图7,图7为本申请实施例提供的一种慢盘检测装置的结构框图,该装置可以包括:
磁盘类型及实际数据获取单元100,用于获取待测磁盘的磁盘类型和实际压测数据;
目标慢盘检测模型获取单元200,用于获取与磁盘类型对应的目标慢盘检测模型;其中,目标慢盘检测模型是基于对相同磁盘类型的非慢盘进行压力测试后得到的压测数据所构建得到的;
慢盘检测单元300,用于判断实际压测数据是否满足目标慢盘检测模型的慢盘判别规则;
慢盘判定单元400,用于当实际压测数据满足目标慢盘检测模型的慢盘判别规则时,判定待测磁盘为慢盘。
其中,该慢盘检测装置还隐含包括了慢盘检测模型构建单元,慢盘检测模型构建单元包括:
目标非慢盘获取子单元,用于获取与待测磁盘的磁盘类型相同的目标非慢盘;
压力测试子单元,用于对目标非慢盘进行压力测试,得到非慢盘压测数据;
非慢盘压测数据区间确定子单元,用于根据非慢盘压测数据确定得到非慢盘压测数据区间;
目标慢盘检测模型构建子单元,用于根据非慢盘压测数据区间构建得到目标慢盘检测模型。
其中,该慢盘检测单元300可以包括:
大小比较子单元,用于比较实际压测数据与非慢盘压测数据区间的大小;
异常数据标记子单元,用于将大小关系中未处于非慢盘压测数据区间的部分实际压测数据标记为异常数据;
慢盘判别规则满足判断子单元,用于判断异常数据是否满足慢盘判别规则。
其中,该慢盘判别规则满足判断子单元可以包括:
数量和/或持续时间判别模块,用于判断异常数据的数量和/或持续时间是否满足数量判别子规则和/或持续时间判别子规则。
其中,该目标慢盘检测模型构建子单元可以包括:
偏好压测数据确定模块,用于根据预设对应表确定与磁盘类型对应的偏好压测数据;其中,预设对应表中记录有每种类型的磁盘与每种偏好压测数据间的对应关系;
偏好检测模型构建模块,用于选用与偏好压测数据对应的非慢盘压测数据区间构建目标慢盘检测模型。
进一步的,该慢盘检测装置还可以包括:
纵向和/或横向慢盘检测单元,用于当无法获取到与磁盘类型相对应的目标慢盘检测模型时,通过横向对比和/或纵向对比判定待测磁盘是否为慢盘;其中,横向对比是使用待测磁盘的历史运行数据与当前运行数据进行对比,纵向对比是将待测磁盘的当前运行数据与其它磁盘的当前运行数据进行对比,其它磁盘为与待测磁盘的磁盘类型相近的磁盘。
进一步的,该慢盘检测装置还可以包括:
代理慢盘检测模型标记单元,用于当无法获取到与磁盘类型相对应的目标慢盘检测模型,但存在与其它磁盘的磁盘类型对应的慢盘检测模型时,将与其它磁盘的磁盘类型对应的慢盘检测模型标记为代理慢盘检测模型;
代理慢盘检测模型判别单元,用于利用代理慢盘检测模型确定待测磁盘是否为慢盘。
更进一步的,该慢盘检测装置还可以包括:
数值修正单元,用于利用磁盘的业界基准数据修正非慢盘压测数据区间的具体数值。
本实施例作为对应于上述方法实施例的装置实施例存在,具有方法实施例的全部有益效果,此处不再赘述。
基于上述实施例,本申请还提供了一种电子设备,该电子设备可以包括存储器和处理器,其中,该存储器中存有计算机程序,该处理器调用该存储器中的计算机程序时,可以实现上述实施例所提供的慢盘检测方法的全部步骤。当然,该电子设备还可以包括各种必要的网络接口、电源以及其它零部件等。
本申请还提供了一种计算机可读存储介质,其上存有计算机程序,该计算机程序被执行终端或处理器执行时可以实现上述实施例所提供的慢盘检测方法的全部步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (12)

1.一种慢盘检测方法,其特征在于,包括:
获取待测磁盘的磁盘类型和实际压测数据;
获取与所述磁盘类型对应的目标慢盘检测模型;其中,所述目标慢盘检测模型是基于对相同磁盘类型的非慢盘进行压力测试后得到的压测数据所构建得到的;
判断所述实际压测数据是否满足所述目标慢盘检测模型的慢盘判别规则;
若满足所述慢盘判别规则,则判定所述待测磁盘为慢盘。
2.根据权利要求1所述的慢盘检测方法,其特征在于,所述目标慢盘检测模型的构建过程包括:
获取与所述待测磁盘的磁盘类型相同的目标非慢盘;
对所述目标非慢盘进行压力测试,得到非慢盘压测数据;
根据所述非慢盘压测数据确定得到非慢盘压测数据区间;
根据所述非慢盘压测数据区间构建得到所述目标慢盘检测模型。
3.根据权利要求2所述的慢盘检测方法,其特征在于,判断所述实际压测数据是否满足所述目标慢盘检测模型的慢盘判别规则,包括:
比较所述实际压测数据与所述非慢盘压测数据区间的大小;
将所述大小关系中未处于所述非慢盘压测数据区间的部分实际压测数据标记为异常数据;
判断所述异常数据是否满足所述慢盘判别规则。
4.根据权利要求3所述的慢盘检测方法,其特征在于,判断所述异常数据是否满足所述慢盘判别规则,包括:
判断所述异常数据的数量和/或持续时间是否满足数量判别子规则和/或持续时间判别子规则。
5.根据权利要求2至4任一项所述的慢盘检测方法,其特征在于,所述压力测试具体包括压力边界测试和/或压力分区测试,对应得到非慢盘边界数据区间和/或非慢盘分区数据区间。
6.根据权利要求5所述的慢盘检测方法,其特征在于,根据所述非慢盘压测数据区间构建所述目标慢盘检测模型,包括:
根据预设对应表确定与所述磁盘类型对应的偏好压测数据;其中,所述预设对应表中记录有每种类型的磁盘与每种偏好压测数据间的对应关系;
选用与所述偏好压测数据对应的非慢盘压测数据区间构建所述目标慢盘检测模型。
7.根据权利要求1所述的慢盘检测方法,其特征在于,还包括:
当无法获取到与所述磁盘类型相对应的目标慢盘检测模型时,通过横向对比和/或纵向对比判定所述待测磁盘是否为慢盘;其中,所述横向对比是使用所述待测磁盘的历史运行数据与当前运行数据进行对比,所述纵向对比是将所述待测磁盘的当前运行数据与其它磁盘的当前运行数据进行对比,所述其它磁盘为与所述待测磁盘的磁盘类型相近的磁盘。
8.根据权利要求7所述的慢盘检测方法,其特征在于,还包括:
当无法获取到与所述磁盘类型相对应的目标慢盘检测模型,但存在与所述其它磁盘的磁盘类型对应的慢盘检测模型时,将与所述其它磁盘的磁盘类型对应的慢盘检测模型标记为代理慢盘检测模型;
利用所述代理慢盘检测模型确定所述待测磁盘是否为慢盘。
9.根据权利要求1所述的慢盘检测方法,其特征在于,还包括:
利用磁盘的业界基准数据修正所述非慢盘压测数据区间的具体数值。
10.一种慢盘检测装置,其特征在于,包括:
磁盘类型及实际数据获取单元,用于获取待测磁盘的磁盘类型和当前的实际压测数据;
目标慢盘检测模型获取单元,用于获取与所述磁盘类型对应的目标慢盘检测模型;其中,所述目标慢盘检测模型是基于对相同磁盘类型的非慢盘进行压力测试后得到的压测数据所构建得到的;
慢盘检测单元,用于判断所述实际压测数据是否满足所述目标慢盘检测模型的慢盘判别规则;
慢盘判定单元,用于当所述实际压测数据满足所述目标慢盘检测模型的慢盘判别规则时,判定所述待测磁盘为慢盘。
11.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至9任一项所述的慢盘检测方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的慢盘检测方法。
CN201910656962.5A 2019-07-19 2019-07-19 一种慢盘检测方法、装置、电子设备及可读存储介质 Active CN112241343B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910656962.5A CN112241343B (zh) 2019-07-19 2019-07-19 一种慢盘检测方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910656962.5A CN112241343B (zh) 2019-07-19 2019-07-19 一种慢盘检测方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN112241343A true CN112241343A (zh) 2021-01-19
CN112241343B CN112241343B (zh) 2024-02-23

Family

ID=74168341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910656962.5A Active CN112241343B (zh) 2019-07-19 2019-07-19 一种慢盘检测方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN112241343B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117194177A (zh) * 2023-11-03 2023-12-08 四川省华存智谷科技有限责任公司 一种提高存储系统慢盘检测准确率的方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488544A (zh) * 2013-09-26 2014-01-01 华为技术有限公司 检测慢盘的处理方法和装置
CN106354590A (zh) * 2015-07-17 2017-01-25 中兴通讯股份有限公司 磁盘检测方法和装置
CN106557389A (zh) * 2015-09-29 2017-04-05 成都华为技术有限公司 一种慢盘检测方法和装置
CN106897178A (zh) * 2017-02-21 2017-06-27 曲阜师范大学 一种基于极限学习机的慢盘检测方法及系统
EP3318975A1 (en) * 2015-07-31 2018-05-09 Huawei Technologies Co., Ltd. Method and device for detecting slow disk
CN108304287A (zh) * 2018-01-22 2018-07-20 腾讯科技(深圳)有限公司 一种磁盘故障检测方法、装置以及相关设备
CN109684140A (zh) * 2018-12-11 2019-04-26 广东浪潮大数据研究有限公司 一种慢盘检测方法、装置、设备及计算机可读存储介质
CN109783259A (zh) * 2017-11-15 2019-05-21 成都华为技术有限公司 慢盘检测方法和装置、存储介质
CN109815037A (zh) * 2017-11-22 2019-05-28 华为技术有限公司 慢盘检测方法和存储阵列
US20190205193A1 (en) * 2017-12-29 2019-07-04 Huazhong University Of Science And Technology S.m.a.r.t. threshold optimization method used for disk failure detection

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103488544A (zh) * 2013-09-26 2014-01-01 华为技术有限公司 检测慢盘的处理方法和装置
CN106354590A (zh) * 2015-07-17 2017-01-25 中兴通讯股份有限公司 磁盘检测方法和装置
EP3318975A1 (en) * 2015-07-31 2018-05-09 Huawei Technologies Co., Ltd. Method and device for detecting slow disk
CN106557389A (zh) * 2015-09-29 2017-04-05 成都华为技术有限公司 一种慢盘检测方法和装置
WO2017054690A1 (zh) * 2015-09-29 2017-04-06 华为技术有限公司 一种慢盘检测方法和装置
CN106897178A (zh) * 2017-02-21 2017-06-27 曲阜师范大学 一种基于极限学习机的慢盘检测方法及系统
CN109783259A (zh) * 2017-11-15 2019-05-21 成都华为技术有限公司 慢盘检测方法和装置、存储介质
CN109815037A (zh) * 2017-11-22 2019-05-28 华为技术有限公司 慢盘检测方法和存储阵列
US20190205193A1 (en) * 2017-12-29 2019-07-04 Huazhong University Of Science And Technology S.m.a.r.t. threshold optimization method used for disk failure detection
CN108304287A (zh) * 2018-01-22 2018-07-20 腾讯科技(深圳)有限公司 一种磁盘故障检测方法、装置以及相关设备
CN109684140A (zh) * 2018-12-11 2019-04-26 广东浪潮大数据研究有限公司 一种慢盘检测方法、装置、设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
许庆义;: "浅析硬盘故障完全处理", 铜业工程, no. 04 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117194177A (zh) * 2023-11-03 2023-12-08 四川省华存智谷科技有限责任公司 一种提高存储系统慢盘检测准确率的方法

Also Published As

Publication number Publication date
CN112241343B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
CN110601900B (zh) 一种网络故障预警方法及装置
TWI567685B (zh) 透過線上測驗真實反映出受測者能力的系統、方法以及其儲存媒體
CN108984389A (zh) 一种应用程序测试方法及终端设备
CN110275878B (zh) 业务数据检测方法、装置、计算机设备及存储介质
CN105389250A (zh) 追踪软件质量的方法和系统
CN107678972B (zh) 一种测试用例的评估方法及相关装置
CN111522725A (zh) Ssd性能自动评估方法、装置、设备及介质
CN112241343B (zh) 一种慢盘检测方法、装置、电子设备及可读存储介质
CN118113574A (zh) 一种服务器健康度评估方法、装置、设备及存储介质
CN107102938B (zh) 测试脚本的更新方法及装置
CN108763092B (zh) 一种基于交叉验证的代码缺陷检测方法及装置
CN107896232B (zh) 一种ip地址评估方法及装置
CN114048085B (zh) 一种磁盘故障分析方法、装置、设备及可读存储介质
CN113608953B (zh) 测试数据生成方法、装置、电子设备及可读存储介质
US20210397508A1 (en) Localization of potential issues to objects
CN105528932B (zh) 一种测评用户识字量的方法与设备
CN116560955A (zh) 一种数据分析方法以及相关设备
CN112822166B (zh) 一种异常进程检测方法、装置、设备及介质
CN113836826A (zh) 关键参数确定方法、装置、电子装置及存储介质
CN117555812B (zh) 一种云平台自动化测试方法及系统
CN110554947A (zh) 一种基于容量调整测试硬盘稳定性的方法及系统
JP7287093B2 (ja) 学習プログラム、学習方法および学習装置
CN116467101A (zh) 座舱软件稳定性评估方法、装置、电子设备及存储介质
Sharp et al. Distribution of reported durations of behavior in applied behavioral research
CN118394739A (zh) 一种基于信息平台的动态数据迁移方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant