CN114048106B - 磁盘状态检测方法、系统、介质和存储设备 - Google Patents

磁盘状态检测方法、系统、介质和存储设备 Download PDF

Info

Publication number
CN114048106B
CN114048106B CN202111421102.7A CN202111421102A CN114048106B CN 114048106 B CN114048106 B CN 114048106B CN 202111421102 A CN202111421102 A CN 202111421102A CN 114048106 B CN114048106 B CN 114048106B
Authority
CN
China
Prior art keywords
read
write
disk
preset
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111421102.7A
Other languages
English (en)
Other versions
CN114048106A (zh
Inventor
邹全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhiling Haina Technology Co ltd
Original Assignee
SmartX Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SmartX Inc filed Critical SmartX Inc
Priority to CN202111421102.7A priority Critical patent/CN114048106B/zh
Publication of CN114048106A publication Critical patent/CN114048106A/zh
Application granted granted Critical
Publication of CN114048106B publication Critical patent/CN114048106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种磁盘状态检测方法、系统、介质和存储设备。其中，该种磁盘状态检测方法包括：接收并解析访问请求，根据访问请求发起的第一读写，同时对处于待检测状态的数据块，形成待检测队列，在服务器读写负载信息满足第一预设性能指标的情况下，发起主动读写，通过对于磁盘的读写性能指标分析，检测磁盘处于亚健康状态。通过本技术方案，通过动态性地主动对发起访问请求实现磁盘读写，基于操作系统进行数据读写传输性能感知磁盘的实际读写性能，进而实现根据磁盘读写性能指标对不同类型的磁盘状态进行检测，实现磁盘状态检测结果具备精准的预见性，从而降低数据丢失的概率。

Description

磁盘状态检测方法、系统、介质和存储设备
技术领域
本发明涉及计算机应用技术领域，具体地，涉及磁盘状态检测方法、系统、介质和存储设备。
背景技术
在电脑性能高速增长的今天，磁盘作为存储介质其性能无疑成为了整个系统的关键，传统机械磁盘虽然在存储容量上增长迅速、可无限读写，但是在读写性能上并无明显提升，固态磁盘则是在读写速度性能方面有着明显的优势，价格高昂、读写次数有限，出于对磁盘硬件性能和成本的考虑，往往采用超融合基础架构中分层存储的形式构建存储资源池，即使用不同类型的磁盘进行数据存储，此时数据的读写往往跨越了性能层和容量层两个层面。于现有技术中，在分层存储的业务场景下，基于不同类型磁盘在存储介质、核心架构上的原理性差异，磁盘数据读写的频率存在较大差距，只有当与实际业务数据相关的读写动作正在进行时，才有可能发现磁盘的健康状态存在问题，导致不能对磁盘数据读写性能预测，对于磁盘状态缺乏预见性，大大提升了数据丢失的概率。
为了实现磁盘状态检测的结果在分层存储情况下，对于磁盘状态监测实现精确地统一预见性，从而降低数据丢失的概率，亟需一种磁盘状态检测方法来解决上述现有应用过程中存在的问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种磁盘状态检测方法、系统、介质和存储设备。
本申请的第一方面提供了一种磁盘状态检测方法，该种磁盘状态检测方法包括：
接收并解析第一访问请求，第一访问请求用于发起针对磁盘的数据块第一读写；
在数据块处于待检测状态的情况下，根据数据块生成第二访问请求添加至待检测状态队列；
获取服务器集群中对应的节点服务器在第一预设时段的读写负载信息；
在第一预设时段的节点服务器读写负载信息满足第一预设性能指标的情况下，待检测状态队列获取第二访问请求用于发起针对待主动写入磁盘的第二读写；
在第一读写和/或第二读写对应的读写性能指标满足第二预设性能指标的情况下,标记磁盘处于亚健康状态。
在上述第一方面的一种可能的实现中，生成第一读写及第二读写对应的数据信息，包括：
数据块编号、磁盘序列号及数据块对应的数据读写请求中携带的读写时间信息；
其中，
数据信息在第二预设时段内保存至少一次的读写时间信息的更新，并生成记录文件。
在上述第一方面的一种可能的实现中，数据块处于待检测状态的情况包括：
在小于等于第三预设时段的数据信息未更新的情况下，数据块处于待检测状态。
在上述第一方面的一种可能的实现中，第一预设时段的节点服务器读写负载信息满足第一预设性能指标，包括：
节点服务器总的单位时间读写指令数量小于节点服务器的预设单位时间读写指令数量阈值，和/或
节点服务器总的读写速度小于节点服务器的预设读写速度阈值
在上述第一方面的一种可能的实现中，待检测状态队列获取第二访问请求用于发起针对待主动写入磁盘的第二读写包括：
获取待主动写入磁盘的物理地址；
在第二访问请求指向物理地址的情况下，发起针对待主动写入磁盘的数据块的第二读写；
其中，待主动写入磁盘的数据块处于待检测状态。
在上述第一方面的一种可能的实现中，第一读写和/或第二读写对应的读写性能指标满足第二预设性能指标，包括：
磁盘的第一读写和/或第二读写平均延迟大于预设延迟阈值；
磁盘的第一读写和/或第二读写指令数量的处理速度小于预设速度阈值；
磁盘的第一读写和/或第二读写吞吐量小于预设读写吞吐量阈值；
其中，第二预设性能指标包括预设延迟阈值，预设速度阈值，预设读写吞吐量阈值，第二预设性能指标由磁盘的类型决定。
在上述第一方面的一种可能的实现中，获取磁盘的数据块的数据读写结果；
在数据读写结果为失败的情况下，生成数据读写结果为失败的时间序列图；
在当前第四预设时段对应的时间序列图的趋势与按时间序列连续且时间上位于当前第四预设时段前面的至少一个第四预设时段的趋势相比呈现增长的情况下，标记磁盘处于亚健康状态。
本申请的第二方面提供了一种磁盘状态检测系统，该种磁盘状态检测系统应用于前述第一方面提供的磁盘状态检测方法中，具体包括：
第一发起单元，用于接收并解析第一访问请求，第一访问请求用于发起磁盘的数据块第一读写；
生成单元，用于在数据块处于待检测状态的情况下，根据数据块生成第二访问请求添加至待检测状态队列；
记录单元，用于获取服务器集群中对应的节点服务器在第一预设时段的读写负载信息；
第二发起单元，用于在第一预设时段的节点服务器读写负载信息满足第一预设性能指标的情况下，待检测状态队列获取第二访问请求用于发起针对待主动写入磁盘的第二读写；
标记单元，用于在第一读写，和/或
第二读写对应的读写性能指标满足第二预设性能指标的情况下,标记磁盘处于亚健康状态。
本申请的第三方面提供了一种电子设备，包括：存储器，存储器用于存储处理程序；处理器，处理器执行处理程序时实现前述第一方面所提供的磁盘状态检测方法。
本申请的第四方面提供了一种可读存储介质，该种可读存储介质上存储有处理程序，处理程序被处理器执行时实现前述第一方面所提供的磁盘状态检测方法。
与现有技术相比，本发明具有如下的有益效果：
通过本申请提供的磁盘状态检测方法，能够实现在数据分层存储的情况下，基于不同响应时间的不同类型的磁盘状态进行检测，通过动态性地主动对发起访问请求实现磁盘读写，基于操作系统进行数据读写传输性能感知磁盘的实际读写性能，进而实现根据磁盘读写性能指标对不同类型的磁盘状态进行检测，实现磁盘状态检测结果具备精准的预见性，从而降低数据丢失的概率。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1根据本申请实施例，示出了一种磁盘状态检测方法的流程示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
为了解决现有技术中在分层存储的业务场景下，不能对磁盘数据读写性能预测，对于磁盘状态检测缺乏预见性，大大提升了数据丢失的概率。本申请提出了一种磁盘状态检测方法，能够实现在数据分层存储的情况下，基于操作系统进行数据读写传输性能感知磁盘的实际读写性能，进而实现根据磁盘读写性能指标对不同类型的磁盘状态进行检测，实现磁盘状态检测结果具备精准的预见性，精准判断磁盘的亚健康状态，从而降低数据丢失的概率。
具体地，图1根据本申请的一些实施例，示出了一种磁盘状态检测方法的流程示意图，具体包括：
步骤100：接收并解析第一访问请求，第一访问请求用于发起磁盘的数据块的第一读写。可以理解的是，用户程序对磁盘的任何一个访问请求，接收该访问请求并应给出待访问磁盘的存储空间地址，根据待访问磁盘的存储空间地址对对应的数据块发起数据的读写。
在本申请的一些实施例中，通过数据块相对于磁盘空间起始位置的偏移量距离，可以唯一确定一块数据块，数据块可以根据磁盘存储空间进行合理平均划分，对于每个数据块的容量，在此不做限定。
步骤200：在数据块处于待检测状态的情况下，根据数据块生成第二访问请求添加至待检测状态队列。可以理解的是，在定时询问时段内，任何一个磁盘的数据块可能发起多次数据读写，也可能不存在任何的数据读写，对于在该时段不存在数据读写的数据块其读写是否能够正常实现需要进一步的检测，将需要检测的数据块通过磁盘健康探测程序远程发出第二访问请求并添加值待检测的队列，以便主动的发起对该数据块的数据读写。
步骤300：获取服务器集群中对应的节点服务器在第一预设时段的读写负载信息。可以理解的是，节点服务器发送访问请求，并针对访问请求记录在第一预设时段内的读写负载信息，通过记录的读写负载信息判断对应的节点服务器的状态，通过当前节点服务器的状态控制磁盘的数据读写。
可以理解的是，在第一预设时段内根据磁盘数据读写的速度，可以预判在磁盘在某一时段的读写业务量较少，第一预设时段可以根据磁盘数据读取的效率、磁盘的具体型号、磁盘额定读写速度进行设定，不做限定。
步骤400：在第一预设时段的节点服务器读写负载信息满足第一预设性能指标的情况下，待检测状态队列获取第二访问请求用于发起针对待主动写入磁盘的第二读写。可以理解的是，当节点服务器记录读写负载信息，并确认读写负载信息满足第一预设性能指标时，即可从待检测的队中通过第二访问请求发起读写给待主动写入磁盘，实现定时询问时段内未出现数据读写的待主动写入磁盘实现第二读写，基于第二读写的读写时间信息，进一步对实现磁盘状态的检测，同时第二访问请求的发出可以避免与服务器高峰读写负载重叠。
步骤500：在第一读写和/或第二读写对应的性能指标满足第二预设性能指标的情况下,标记磁盘处于亚健康状态。可以理解的是，发起第一读写和第二读写时，磁盘读写的性能可以通过操作系统进行数据写入和读出数据传输的多个维度进行衡量，基于各个维度的衡量，可以对于数据读写存在问题或者潜在问题的磁盘标记为亚健康状态。
在本申请的一些实施例中，生成第一读写和第二读写的读写时间信息包括数据块编号、磁盘序列号及数据块对应的数据读写请求中携带的读写时间信息；其中，数据信息在第二预设时段内保存至少一次的读写时间信息的更新，并生成记录文件。
可以理解的是，磁盘读写过程中通过远程调用实现磁盘健康探测程序对磁盘管理单元的询问，记录实现磁盘读写的在数据块编号、磁盘序列号及数据块对应的数据读写请求中携带的读写时间信息，通过定时询问监控磁盘的数据块是否在定时询问时段内存在数据读写行为。
可以理解的是，询问时间可以根据磁盘的使用时间设置为定时询问，定时询问的频率包括可以根据用户程序对于磁盘输入输出读写性能的要求进行确定，例如对于oracle数据库是输入输出要求较高的数据库，需要的定时询问的频率较高，对磁盘的读写性能进行测试，在此不做限定。
可以理解的是，数据信息在定时询问时段内可以实现多次读写更新，多次读写更新的数据信息可以在第二预设时段内保存至少一次的读写时间信息的更新，保证定时询问发生时，该定时时段的数据读写可以被记录，并生成记录文件。
具体地，第二预设时间小于等于定时询问时段时长。
于上述步骤200中，在小于等于第三预设时段的数据信息未更新的情况下，数据块处于待检测状态。可以理解的是，第三预设时间小于等于定时询问时段，在大于等于第三预设时段的数据信息未更新的情况下，即该磁盘的数据块读写数据为空，即标注该数据块处于待检测状态。
于上述步骤300中，第一预设时段的节点服务器读写负载信息满足第一预设性能指标，包括节点服务器总的单位时间读写指令数量小于节点服务器的预设单位时间读写指令数量阈值，和/或节点服务器总的读写速度小于节点服务器的预设读写速度阈值。可以理解的是，第一预设性能指标可以通过第一预设时段单位时间读写指令数量和节点服务器总的读写速度进行判断，节点服务器的预设单位时间读写指令数量阈值，对于同一个磁盘，随着每次输入/输出读写数据的大小不同，单位时间读写指令数量的数值也不是固定不变的。例如，每次输入/输出，写入或者读出的都是连续的大数据块，此时单位时间读写指令数量相对会低一些；每次写入或者读出的数据块小，相对来讲单位时间读写指令数量就会高一些，单位时间读写指令数量的阈值可以根据满足完全随机读写情况下单位时间读写指令数量的数值设定，节点服务器的预设读写速度阈值可以根据不同型号磁盘出厂设置的磁盘读写速度进行设置，保证第一预设性能指标的阈值不会对磁盘正常业务数据读写产生影响即可，节点服务器的读写负载信息的第一预设性能指标可以在磁盘性能可以满足应用程序的需求做出响应变化，在此不做限定。
于上述步骤400中，待检测状态队列获取第二访问请求用于发起待主动写入磁盘的第二读写包括，获取待主动写入磁盘的物理地址；在第二访问请求指向物理地址的情况下，发起待主动写入磁盘的数据块的第二读写；待主动写入磁盘的数据块处于待检测状态。可以理解的是，待检测状态队列中的数据块在定时询问时段内读写状态并未出现更新，数据块的读写需要得到刷新，待检测队列的数据块对应唯一的地址，对于磁盘状态的衡量标准基于发起的读写性能来实现，向待主动写入磁盘发起读写可以实现全面覆盖磁盘上的数据检测。
于上述步骤500中，第一读写和/或第二读写对应的读写性能指标满足第二预设性能指标，包括：磁盘的第一读写和/或第二读写平均延迟大于预设延迟阈值；磁盘的第一读写和/或第二读写指令数量的处理速度小于预设速度阈值；磁盘的第一读写和/或第二读写吞吐量小于预设读写吞吐量阈值。可以理解的是，磁盘的读写性能指标可以基于操作系统获取磁盘从系统开机时到目前为止的读总耗时和写总耗时、磁盘从系统开机时到目前为止的读总指令次数和写总指令次数、磁盘从系统开机时到目前为止的读总扇区数和写总扇区数据中获得，当磁盘的读写性能存在出现不能满足用户应用程序需求的可能性的情况下，即满足第二预设性能指标时，磁盘检测状态标记为亚健康状态。
可以理解的是，第二预设性能指标可以包括预设延迟时间阈值，预设读写指令数量阈值，预设读写吞吐量阈值，对磁盘数据读写采样监控形成若干个连续区间采样的，根据一段固定时间的输入/输出耗时、输入/输出次数及一段预定时间内读写扇区的数量计算延迟时间、读写指令数量、读写吞吐量，基于第二预设性能指标可以实现包括对顺序读写频繁的应用，随机读写频繁的应用的全面衡量，同时，预定时间内的连续取样可以避免由于磁盘出现偶然延迟，若干个连续区间可以保证采样数值的准确性，同时不影响磁盘业务数据处理的效率。第二预设性能指标对应的各个阈值根据各个磁盘的类型及磁盘读写的效率来确定，在此不做限定。
在本申请的一些实施例中，获取磁盘的数据块的数据读写结果；在数据读写结果为失败的情况下，生成数据读写结果为失败的时间序列图；在当前第四预设时段对应的时间序列图的趋势与按时间序列连续且时间上位于当前第四预设时段前面的至少一个第四预设时段的趋势相比呈现增长的情况下，标记磁盘处于亚健康状态。可以理解是，磁盘在读写数据的过程中，磁盘中嵌入的传感器和计数器会对磁盘进行读写动作的耗时和结果进行记录。磁盘中的某些读写动作可能会失败，导致数据读写结果失败，随着时间的延长，磁盘数据读写失败频次会逐渐的增加，在第四预设时段内对磁盘读写失败的次数进行统计，基于时间序列数据生成数据读写失败频次的趋势图，对趋势图进行记录，在在当前趋势图与至少三个前述第四预设时间段磁盘相邻的趋势图相比呈增长的情况下，标记磁盘处于亚健康状态。
在本申请的一些实施例中，应用于前述任意一项的磁盘状态检测方法中，磁盘状态检测系统具体包括：
第一发起单元，用于接收并解析第一访问请求，第一访问请求用于发起磁盘的数据块第一读写；
生成单元，用于在数据块处于待检测状态的情况下，根据数据块生成第二访问请求添加至待检测状态队列；
记录单元，用于获取服务器集群中对应的节点服务器在第一预设时段的读写负载信息；
第二发起单元，用于在第一预设时段的节点服务器读写负载信息满足第一预设性能指标的情况下，待检测状态队列获取第二访问请求用于发起针对待主动写入磁盘的第二读写；
标记单元，用于在第一读写和/或第二读写对应的读写性能指标满足第二预设性能指标的情况下,标记磁盘处于亚健康状态。
可以理解的是，上述磁盘状态检测系统中各个功能模块执行与前述堵塞识别方法中磁盘步骤流程，在此不做赘述。
在本申请的一些实施例中，还提供了一种电子设备。该种电子设备中包含存储器和处理器，其中存储器用于对处理程序进行存储，处理器则根据指令对处理程序进行执行。当处理器对处理程序进行执行时，使得前述实施例中的磁盘状态检测方法得以实现。
在本申请的一些实施例中，还提供了一种可读存储介质，该可读存储介质可以为非易失性可读存储介质，也可以为易失性可读存储介质。该可读存储介质中存储有指令，当该指令在计算机上运行时，使得包含该种可读存储介质的电子设备执行前述的磁盘状态检测方法。
可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计可读程序指令可以从可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该可读程序指令，以供存储在各个计算/处理设备中的可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
综上，通过本申请提供的磁盘状态检测方法，能够实现在数据分层存储的情况下，基于不同响应时间的不同类型的磁盘状态进行检测，通过动态性地主动对发起访问请求实现磁盘读写，基于操作系统进行数据读写传输性能感知磁盘的实际读写性能，进而实现根据磁盘读写性能指标对不同类型的磁盘状态进行检测，实现磁盘状态检测结果具备精准的预见性，从而降低数据丢失的概率。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种磁盘状态检测方法，其特征在于，所述的方法包括：
接收并解析第一访问请求，所述第一访问请求用于发起针对所述磁盘的数据块第一读写；
在所述数据块处于待检测状态的情况下，根据所述数据块生成第二访问请求，添加至待检测状态队列；
获取服务器集群中对应的节点服务器在第一预设时段的读写负载信息；
在所述第一预设时段的所述节点服务器读写负载信息满足第一预设性能指标的情况下，所述待检测状态队列获取所述第二访问请求，用于发起针对待主动写入磁盘的第二读写；
在所述第一读写以及所述第二读写对应的读写性能指标中的任意一个满足第二预设性能指标的情况下,标记所述磁盘处于亚健康状态；
其中，所述第一预设性能指标包括节点服务器总的单位时间读写指令数量小于节点服务器的预设单位时间读写指令数量阈值，和/或节点服务器总的读写速度小于节点服务器的预设读写速度阈值；
所述第二预设性能指标包括磁盘的第一读写和/或第二读写平均延迟大于预设延迟阈值；磁盘的第一读写和/或第二读写指令数量的处理速度小于预设指令数量阈值；磁盘的第一读写和/或第二读写吞吐量小于预设读写吞吐量阈值。
2.根据权利要求1所述的一种磁盘状态检测方法，其特征在于，生成所述第一读写及所述第二读写对应的数据信息，包括：
所述数据块编号、所述磁盘序列号及所述数据块对应的数据读写请求中携带的读写时间信息；
其中，
所述数据信息在第二预设时段内保存至少一次的所述读写时间信息的更新，并生成记录文件。
3.根据权利要求2所述的一种磁盘状态检测方法，其特征在于，所述数据块处于待检测状态的情况包括：
在小于等于第三预设时段的所述数据信息未更新的情况下，所述数据块处于待检测状态。
4.根据权利要求1所述的一种磁盘状态检测方法，其特征在于，所述第一预设时段的所述节点服务器读写负载信息满足第一预设性能指标，包括：
所述节点服务器总的单位时间读写指令数量小于所述节点服务器的预设单位时间读写指令数量阈值，和/或
所述节点服务器总的读写速度小于所述节点服务器的预设读写速度阈值。
5.根据权利要求1所述的一种磁盘状态检测方法，其特征在于，所述待检测状态队列获取所述第二访问请求用于发起针对所述待主动写入磁盘的第二读写包括：
获取所述待主动写入磁盘的物理地址；
在所述第二访问请求指向所述物理地址的情况下，发起针对所述待主动写入磁盘的所述数据块的所述第二读写；
其中，所述待主动写入磁盘的所述数据块处于所述待检测状态。
6.根据权利要求1所述的一种磁盘状态检测方法，其特征在于，所述第一读写和/或所述第二读写对应的读写性能指标满足第二预设指标，包括：
所述磁盘的所述第一读写和/或所述第二读写平均延迟大于预设延迟阈值；
所述磁盘的所述第一读写和/或所述第二读写指令数量的处理速度小于预设速度阈值；
所述磁盘的所述第一读写和/或所述第二读写吞吐量小于预设读写吞吐量阈值；
其中，所述第二预设指标包括所述预设延迟阈值，所述预设速度阈值，所述预设读写吞吐量阈值，
所述第二预设指标由所述磁盘的类型决定。
7.根据权利要求1所述的一种磁盘状态检测方法，其特征在于，所述的方法还包括：获取所述磁盘的所述数据块的数据读写结果；
在所述数据读写结果为失败的情况下，生成所述数据读写结果为失败的时间序列图；
在当前第四预设时段对应的所述时间序列图的趋势与按时间序列连续且时间上位于当前第四预设时段前面的至少一个所述第四预设时段的所述趋势相比呈现增长的情况下，标记所述磁盘处于亚健康状态。
8.一种磁盘状态检测系统，其特征在于，应用于如权利要求1至7中任意一项所述的磁盘状态检测方法中，所述磁盘状态检测系统具体包括：
第一发起单元，用于接收并解析第一访问请求，所述第一访问请求用于发起针对所述磁盘的数据块第一读写；
生成单元，用于在所述数据块处于待检测状态的情况下，根据所述数据块生成第二访问请求， 添加至待检测状态队列；
记录单元，用于获取服务器集群中对应的节点服务器在第一预设时段的读写负载信息；
第二发起单元，用于在所述第一预设时段的所述节点服务器读写负载信息满足第一预设性能指标的情况下，所述待检测状态队列获取所述第二访问请求， 用于发起针对待主动写入磁盘的第二读写；
标记单元，用于在所述第一读写以及所述第二读写对应的读写性能指标中的任意一个满足第二预设性能指标的情况下,标记所述磁盘处于亚健康状态；
其中，所述第一预设性能指标包括节点服务器总的单位时间读写指令数量小于节点服务器的预设单位时间读写指令数量阈值，和/或节点服务器总的读写速度小于节点服务器的预设读写速度阈值；
所述第二预设性能指标包括磁盘的第一读写和/或第二读写平均延迟大于预设延迟阈值；磁盘的第一读写和/或第二读写指令数量的处理速度小于预设指令数量阈值；磁盘的第一读写和/或第二读写吞吐量小于预设读写吞吐量阈值。
9.一种电子设备，其特征在于，包括：
存储器，所述存储器用于存储处理程序；
处理器，所述处理器执行所述处理程序时实现如权利要求1至7中任意一项所述的磁盘状态检测方法。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有处理程序，所述处理程序被处理器执行时实现如权利要求1至7中任意一项所述的磁盘状态检测方法。
CN202111421102.7A 2021-11-26 2021-11-26 磁盘状态检测方法、系统、介质和存储设备 Active CN114048106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111421102.7A CN114048106B (zh) 2021-11-26 2021-11-26 磁盘状态检测方法、系统、介质和存储设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111421102.7A CN114048106B (zh) 2021-11-26 2021-11-26 磁盘状态检测方法、系统、介质和存储设备

Publications (2)

Publication Number Publication Date
CN114048106A CN114048106A (zh) 2022-02-15
CN114048106B true CN114048106B (zh) 2022-10-25

Family

ID=80211287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111421102.7A Active CN114048106B (zh) 2021-11-26 2021-11-26 磁盘状态检测方法、系统、介质和存储设备

Country Status (1)

Country Link
CN (1) CN114048106B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648472A (zh) * 2016-12-30 2017-05-10 郑州云海信息技术有限公司 一种基于linux操作系统的磁盘性能优化方法及系统
CN110321075A (zh) * 2019-05-31 2019-10-11 平安科技（深圳）有限公司 基于nbd设备的数据迁移方法、装置、设备及存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI397060B (zh) * 2008-11-25 2013-05-21 Ind Tech Res Inst 物件導向儲存裝置之磁碟配置方法
CN107577545B (zh) * 2016-07-05 2021-02-02 北京金山云网络技术有限公司 一种故障磁盘检测与修复方法和装置
CN110109628B (zh) * 2019-05-20 2022-08-09 深信服科技股份有限公司 分布式存储系统的数据重建方法、装置、设备及存储介质
CN110196688A (zh) * 2019-05-30 2019-09-03 深信服科技股份有限公司 一种磁盘检测方法、装置、设备及介质
CN112925472A (zh) * 2019-12-06 2021-06-08 阿里巴巴集团控股有限公司 请求处理方法、装置、电子设备及计算机存储介质
CN112463022B (zh) * 2020-10-17 2022-07-26 苏州浪潮智能科技有限公司 一种基于磁盘阵列的io处理方法、装置及介质
CN112463486A (zh) * 2020-11-24 2021-03-09 苏州浪潮智能科技有限公司 一种磁盘质检方法、系统、终端及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648472A (zh) * 2016-12-30 2017-05-10 郑州云海信息技术有限公司 一种基于linux操作系统的磁盘性能优化方法及系统
CN110321075A (zh) * 2019-05-31 2019-10-11 平安科技（深圳）有限公司 基于nbd设备的数据迁移方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114048106A (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
US10147048B2 (en) Storage device lifetime monitoring system and storage device lifetime monitoring method thereof
KR101702321B1 (ko) 칼럼형 데이터베이스의 히스토그램을 이용한 효율적인 질의 처리
CN111104342B (zh) 用于存储的方法、电子设备和计算机程序产品
WO2017020747A1 (zh) 一种检测慢盘的方法及装置
CN107391301A (zh) 存储系统的数据管理方法、装置、计算设备及存储介质
US10304522B2 (en) Method for low power operation and test using DRAM device
CN112800061B (zh) 一种数据存储方法、装置、服务器及存储介质
CN110413430A (zh) 一种固态硬盘的寿命预测方法、装置及设备
AU2013281104A1 (en) Application-provided context for potential action prediction
WO2023185767A1 (zh) 慢盘检测方法、装置、电子设备及存储介质
CN113903389A (zh) 一种慢盘检测方法、装置及计算机可读写存储介质
US9785374B2 (en) Storage device management in computing systems
JP6209863B2 (ja) ストレージ制御装置、ストレージ制御方法およびストレージ制御プログラム
CN114169604A (zh) 性能指标的异常检测方法、异常检测装置、电子设备和存储介质
US20140324409A1 (en) Stochastic based determination
CN114048106B (zh) 磁盘状态检测方法、系统、介质和存储设备
US9319030B2 (en) Integrated circuit failure prediction using clock duty cycle recording and analysis
JPWO2014162397A1 (ja) 計算機システム、データ管理方法、及び計算機
CN112446490A (zh) 一种网络训练的数据集缓存方法、装置、设备及存储介质
CN107346256B (zh) 一种固件刷新对io影响时间的检测方法和装置
US20140006599A1 (en) Probabilities of potential actions based on system observations
US20230375382A1 (en) Data recording apparatus, data recording method, and non-transitory computer readable medium
CN110399243B (zh) 蓝屏原因确定方法、系统、计算机可读介质及电子设备
CN113656204B (zh) 固态硬盘管理方法、装置及计算设备
US8614799B2 (en) Memory paging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 8b, building 1, No. 48, Zhichun Road, Haidian District, Beijing 100098

Patentee after: Beijing Zhiling Haina Technology Co.,Ltd.

Country or region after: China

Address before: 8b, building 1, No. 48, Zhichun Road, Haidian District, Beijing 100098

Patentee before: Beijing zhilinghaina Technology Co.,Ltd.

Country or region before: China