CN113608682A - 一种基于hdd磁盘压力的智能流控方法及系统 - Google Patents

一种基于hdd磁盘压力的智能流控方法及系统 Download PDF

Info

Publication number
CN113608682A
CN113608682A CN202110741414.XA CN202110741414A CN113608682A CN 113608682 A CN113608682 A CN 113608682A CN 202110741414 A CN202110741414 A CN 202110741414A CN 113608682 A CN113608682 A CN 113608682A
Authority
CN
China
Prior art keywords
pressure
hdd
disk
data
flow control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110741414.XA
Other languages
English (en)
Other versions
CN113608682B (zh
Inventor
张金清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Data Technology Co Ltd
Original Assignee
Jinan Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Data Technology Co Ltd filed Critical Jinan Inspur Data Technology Co Ltd
Priority to CN202110741414.XA priority Critical patent/CN113608682B/zh
Publication of CN113608682A publication Critical patent/CN113608682A/zh
Application granted granted Critical
Publication of CN113608682B publication Critical patent/CN113608682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明提供了一种基于HDD磁盘压力的智能流控方法及系统，系统启动后，将检测周期和压力值阈值读取到内存；对HDD磁盘的压力数据进行收集和分析；结合分析后的HDD磁盘压力数据和压力值阈值，对HDD磁盘设置压力标志位；启动下刷线程后，根据HDD磁盘的压力标志位对缓存中的数据进行智能流控。本发明所述方法和系统，在缓存向HDD中下刷数据的过程中，会受到HDD本身压力的影响，即HDD压力大时会降低下刷速度，HDD压力小时加快下刷，实现对缓存系统的下刷过程进行智能的流量控制，从而使存储系统稳定性及高性能得到保障。同时，对HDD磁盘的压力数据的收集，不直接从HDD磁盘本身获取，而通过数据的读写IO时延实现，对IO时延的统计达到了对HDD磁盘的压力的监控。

Description

一种基于HDD磁盘压力的智能流控方法及系统
技术领域
本发明涉及分布式存储系统领域，具体涉及一种基于HDD磁盘压力的智能流控方法及系统。
背景技术
在当前大数据的时代，数据的收集、传输及存储面临诸多挑战；面对海量数据，要求高效的、一致性的存储已成为当前各类业务系统的迫切需求。作为各类存储系统中数据最终的存储介质，HDD磁盘的稳定性及压力对存储系统的高效及稳定运行已构成了挑战。
在存储系统中，磁盘故障及磁盘压力已是一个常态化的现象，如何在这种“特殊”的常态化情况下做好流量控制，以支撑整个系统的高性能存储变的至关重要。
在存储系统中通常会使用SSD进行缓存加速，而SSD中的数据最终会下刷到HDD中进行持久保存。这种下刷方式，没有考虑到HDD自身的压力，在HDD压力大的情况下，也会从SSD到HDD进行数据存储，这对存储系统的稳定性及高性能造成极大的影响。
发明内容
本发明实施例中提供了一种基于HDD磁盘压力的智能流控方法及系统，缓存向HDD中下刷数据的过程，会受到HDD本身压力的影响，即HDD压力大时会降低下刷速度，HDD压力小时加快下刷，实现对缓存系统的下刷过程进行智能的流量控制，从而使存储系统稳定性及高性能得到保障。
本发明实施例公开了如下技术方案：
本发明第一方面提供了一种基于HDD磁盘压力的智能流控方法，包括：
系统启动后，将检测周期和压力值阈值读取到内存；
对HDD磁盘的压力数据进行收集和分析；
结合分析后的HDD磁盘压力数据和压力值阈值，对HDD磁盘设置压力标志位；
启动下刷线程后，根据HDD磁盘的压力标志位对缓存中的数据进行智能流控。
进一步地，所述系统启动后，将检测周期和压力值阈值读取到内存时，系统还要创建下刷线程。
进一步地，所述对HDD磁盘的压力数据进行收集和分析，具体为：
在检测周期内，对HDD磁盘的压力数据进行收集；
在检测周期结束时，将收集到的HDD磁盘的压力数据输入压力决策算法进行分析。
进一步地，所述对HDD磁盘的压力数据的收集通过数据的读写IO时延实现。
进一步地，所述结合分析后HDD磁盘的压力数据和压力值阈值，对HDD磁盘设置压力标志位，具体为：
结合分析后的HDD磁盘压力数据和压力值阈值，判断当前HDD磁盘是否存在压力；
若HDD磁盘存在压力，则对HDD磁盘设置压力标志位，否则，对HDD磁盘清除压力标志位。
进一步地，所述启动下刷线程前，系统对HDD磁盘的压力标志位进行检测。
进一步地，所述启动下刷线程后，根据HDD磁盘的压力标志位对缓存中的数据进行智能流控，具体为：
启动下刷线程；
若HDD磁盘设置了压力标志位，则中断本次下刷；
若HDD磁盘清除了压力标志位，则开启本轮数据下刷。
进一步地，所述下刷线程按照下刷周期进行周期性的启动，本轮数据下刷完成后，等待下一个下刷周期启动。
本发明第二方面提供了一种基于HDD磁盘压力的智能流控系统，包括：
内存读取单元，用于读取检测周期和压力值阈值；
压力数据分析单元，用于对HDD磁盘的压力数据进行收集和分析，结合分析后的HDD磁盘压力数据和压力值阈值，对HDD磁盘设置压力标志位；
下刷线程单元，用于创建和启动下刷线程；
压力数据流控单元，启动下刷线程后，根据HDD磁盘的压力标志位对缓存中的数据进行智能流控。
进一步地，所述下刷线程单元包括：
下刷线程创建子单元，系统启动后，用于创建下刷线程；
下刷线程启动子单元，用于启动下刷线程。
进一步地，所述压力数据分析单元包括：
压力数据收集子单元，系统启动后，在检测周期内对HDD磁盘的压力数据进行收集；
压力数据分析子单元，在检测周期结束时，将收集到的HDD磁盘的压力数据输入压力决策算法进行分析；
压力数据设置子单元，结合分析后的HDD磁盘压力数据和压力值阈值，对HDD磁盘设置压力标志位。
进一步地，所述对HDD磁盘的压力数据的收集通过数据的读写IO时延实现。
进一步地，所述压力数据设置子单元设置压力标志位，具体为：
结合分析后的HDD磁盘压力数据和压力值阈值，判断当前HDD磁盘是否存在压力；
若HDD磁盘存在压力，则对HDD磁盘设置压力标志位，否则，对HDD磁盘清除压力标志位。
进一步地，所述启动下刷线程前，系统对HDD磁盘的压力标志位进行检测。
进一步地，所述压力数据流控单元，启动下刷线程后，根据HDD磁盘的压力标志位对缓存中的数据进行智能流控，具体为：
启动下刷线程；
若HDD磁盘设置了压力标志位，则中断本次下刷；
若HDD磁盘清除了压力标志位，则开启本轮数据下刷。
进一步地，所述下刷线程按照下刷周期进行周期性的启动，本轮数据下刷完成后，等待下一个下刷周期启动。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
(1)本发明提供的基于HDD磁盘压力的智能流控方法，系统启动后，在检测周期内，对HDD磁盘的压力数据进行收集，在检测周期结束时，将收集到的HDD磁盘的压力数据输入压力决策算法进行分析；结合分析后的HDD磁盘压力数据和压力值阈值，判断当前HDD磁盘是否存在压力，若HDD磁盘存在压力，则对HDD磁盘设置压力标志位，否则，对HDD磁盘清除压力标志位。启动下刷线程后，根据HDD磁盘的压力标志位对缓存中的数据进行智能流控。若HDD磁盘设置了压力标志位，则中断本次下刷，减少为HDD磁盘引入新的压力，若HDD磁盘清除了压力标志位，则开启本轮数据下刷，以此实现智能流量控制。本发明所述方法与未能实现磁盘压力检测的情况对比，提升了存储系统的稳定性，保证了存储系统的稳定运行。
(2)本发明所述方法对HDD磁盘的压力数据的收集，不直接从HDD磁盘本身获取，而是通过数据的读写IO时延实现，对IO时延的统计达到了对HDD磁盘的压力的监控。
(3)本发明提供的基于HDD磁盘压力的智能流控系统，系统启动后，压力数据收集子单元在检测周期内对HDD磁盘的压力数据进行收集。在检测周期结束时，压力数据分析子单元，将收集到的HDD磁盘的压力数据输入压力决策算法进行分析。压力数据设置子单元结合分析后的HDD磁盘压力数据和压力值阈值，判断当前HDD磁盘是否存在压力；若HDD磁盘存在压力，则对HDD磁盘设置压力标志位，否则，对HDD磁盘清除压力标志位。启动下刷线程后，压力数据流控单元根据HDD磁盘的压力标志位对缓存中的数据进行智能流控：若HDD磁盘设置了压力标志位，则中断本次下刷，减少为HDD磁盘引入新的压力，若HDD磁盘清除了压力标志位，则开启本轮数据下刷，以此实现智能流量控制。本发明所述系统与未能实现磁盘压力检测的情况对比，提升了存储系统的稳定性，保证了存储系统的稳定运行。
(4)本发明所述系统对HDD磁盘的压力数据的收集，不直接从HDD磁盘本身获取，而是通过数据的读写IO时延实现，对IO时延的统计达到了对HDD磁盘的压力的监控。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述方法流程图；
图2为本发明实施例一所述方法流程图；
图3为本发明所述系统结构框图。
具体实施方式
为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
当前在分布式存储系统中，一般将用户读写数据首先保存在缓存数据盘SSD(SSD,Solid State Disk/Drive，固态驱动器/固态硬盘/固态盘)中，然后随着数据访问频率及缓存数据盘SSD水位的变化，会将部分数据从Cache高性能存储介质中Flush(Flush,下刷)到性能相对较低的存储介质HDD(HDD,Hard Disk Drive,硬盘驱动器/磁盘)中，采用这种方式来提升集群的读写性能。
在存储系统中通常会使用SSD进行缓存加速，而SSD中的数据最终会下刷到HDD磁盘中进行持久保存。SSD向HDD磁盘中下刷数据的过程，会受到HDD磁盘本身压力的影响，即HDD磁盘压力大时会降低下刷速度，HDD磁盘压力小时加快下刷。
本发明即是通过判定HDD磁盘压力，来对下刷速率进行智能流控。通过设置合理的检测周期及压力值阈值，使用压力决策算法对收集到的HDD磁盘压力数据做统计分析，得出HDD磁盘的压力数据，当感知到HDD磁盘的压力数据超过压力值阈值时，即认为HDD磁盘已产生压力，对应的会降低缓存层的数据Flush流速，降低为磁盘引入新压力的速度，进而保障存储系统的稳定性。
为保障压力检测的通用性和可行性，HDD磁盘压力数据并不是直接从HDD磁盘本身获取，而是将HDD磁盘压力数据等效为数据读写IO时延，通过对IO时延的统计达到对HDD磁盘压力的监控。
本发明中的HDD磁盘压力检测方法，将压力标志参与到数据Flush过程的决策中，能为磁盘减少新压力的引入，从而达到智能流控的目的，提高存储系统的稳定性。
如图1所示，为本发明所述方法流程图，所述方法包括：
系统启动后，将检测周期Cycle和压力值阈值Threshold读取到内存；
对HDD磁盘的压力数据进行收集和分析；
结合分析后的HDD磁盘压力数据和压力值阈值，对HDD磁盘设置压力标志位；
启动下刷线程后，根据HDD磁盘的压力标志位对缓存中的数据进行智能流控。
通过周期性的对存储系统中HDD磁盘的压力数据进行统计分析，以判定当前HDD磁盘是否处于压力大的状态，进而对缓存中的数据Flush过程进行流量控制，确保整个存储系统的高效稳定。
实施例一
如图2所示，为本发明实施例一所述方法流程图。
系统启动后，将检测周期Cycle和压力值阈值读取到内存时，系统还要创建下刷线程。
对HDD磁盘的压力数据进行收集和分析，具体为：
在检测周期Cycle内，对HDD磁盘的压力数据进行收集；
在检测周期Cycle结束时，将收集到的HDD磁盘的压力数据输入压力决策算法进行分析。
对HDD磁盘的压力数据的收集通过数据的读写IO(IO,Input/Output输入输出)时延实现。对HDD磁盘的压力数据的收集，不直接从HDD磁盘本身获取，而是通过数据的读写IO时延实现，这样对IO时延的统计达到了对HDD磁盘的压力的监控。
结合分析后HDD磁盘的压力数据和压力值阈值，对HDD磁盘设置压力标志位，具体为：
结合分析后的HDD磁盘压力数据和压力值阈值，判断当前HDD磁盘是否存在压力；
若HDD磁盘存在压力，则对HDD磁盘设置压力标志位，否则，对HDD磁盘清除压力标志位。
系统启动后，压力数据收集子单元在检测周期内对HDD磁盘的压力数据进行收集。在检测周期结束时，压力数据分析子单元，将收集到的HDD磁盘的压力数据输入压力决策算法进行分析。压力数据设置子单元结合分析后的HDD磁盘压力数据和压力值阈值，判断当前HDD磁盘是否存在压力；若HDD磁盘存在压力，则对HDD磁盘设置压力标志位，否则，对HDD磁盘清除压力标志位。
启动下刷线程前，系统对HDD磁盘的压力标志位进行检测。
启动下刷线程后，根据HDD磁盘的压力标志位对缓存中的数据进行智能流控，具体为：
启动下刷线程；
若HDD磁盘设置了压力标志位，则中断本次下刷；
若HDD磁盘清除了压力标志位，则开启本轮数据下刷。
启动下刷线程后，压力数据流控单元根据HDD磁盘的压力标志位对缓存中的数据进行智能流控：若HDD磁盘设置了压力标志位，则中断本次下刷，减少为HDD磁盘引入新的压力，若HDD磁盘清除了压力标志位，则开启本轮数据下刷，以此实现智能流量控制。
下刷线程按照下刷周期进行周期性的启动，本轮数据下刷完成后，等待下一个下刷周期启动。
在实际执行下刷前会检测磁盘压力标志位，当压力标志位标识HDD磁盘处于压力大的状态时，中断本次下刷过程；若当前HDD磁盘压力正常，则正常执行本次数据下刷。
本发明提供的基于HDD磁盘压力的智能流控方法，系统启动后，在检测周期内，对HDD磁盘的压力数据进行收集，在检测周期结束时，将收集到的HDD磁盘的压力数据输入压力决策算法进行分析；结合分析后的HDD磁盘压力数据和压力值阈值，判断当前HDD磁盘是否存在压力，若HDD磁盘存在压力，则对HDD磁盘设置压力标志位，否则，对HDD磁盘清除压力标志位。启动下刷线程后，根据HDD磁盘的压力标志位对缓存中的数据进行智能流控。若HDD磁盘设置了压力标志位，则中断本次下刷，减少为HDD磁盘引入新的压力，若HDD磁盘清除了压力标志位，则开启本轮数据下刷，以此实现智能流量控制。本发明所述方法与未能实现磁盘压力检测的情况对比，提升了存储系统的稳定性，保证了存储系统的稳定运行。
本发明所述方法对HDD磁盘的压力数据的收集，不直接从HDD磁盘本身获取，而是通过数据的读写IO时延实现，对IO时延的统计达到了对HDD磁盘的压力的监控。
实施例二
如图3所示，为本发明所述系统结构框图，所述系统包括：
内存读取单元，用于读取检测周期Cycle和压力值阈值；
压力数据分析单元，用于对HDD磁盘的压力数据进行收集和分析，结合分析后的HDD磁盘压力数据和压力值阈值，对HDD磁盘设置压力标志位；
下刷线程单元，用于创建和启动下刷线程；
压力数据流控单元，启动下刷线程后，根据HDD磁盘的压力标志位对缓存中的数据进行智能流控。
下刷线程单元包括：
下刷线程创建子单元，系统启动后，用于创建下刷线程；
下刷线程启动子单元，用于启动下刷线程。
压力数据分析单元包括：
压力数据收集子单元，系统启动后，在检测周期Cycle内对HDD磁盘的压力数据进行收集；
压力数据分析子单元，在检测周期Cycle结束时，将收集到的HDD磁盘的压力数据输入压力决策算法进行分析；
压力数据设置子单元，结合分析后的HDD磁盘压力数据和压力值阈值，对HDD磁盘设置压力标志位。
对HDD磁盘的压力数据的收集通过数据的读写IO(IO,Input/Output输入输出)时延实现。对HDD磁盘的压力数据的收集，不直接从HDD磁盘本身获取，而是通过数据的读写IO时延实现，这样对IO时延的统计达到了对HDD磁盘的压力的监控。
压力数据设置子单元设置压力标志位，具体为：
结合分析后的HDD磁盘压力数据和压力值阈值，判断当前HDD磁盘是否存在压力；
若HDD磁盘存在压力，则对HDD磁盘设置压力标志位，否则，对HDD磁盘清除压力标志位。
系统启动后，压力数据收集子单元在检测周期内对HDD磁盘的压力数据进行收集。在检测周期结束时，压力数据分析子单元，将收集到的HDD磁盘的压力数据输入压力决策算法进行分析。压力数据设置子单元结合分析后的HDD磁盘压力数据和压力值阈值，判断当前HDD磁盘是否存在压力；若HDD磁盘存在压力，则对HDD磁盘设置压力标志位，否则，对HDD磁盘清除压力标志位。
启动下刷线程前，系统对HDD磁盘的压力标志位进行检测。
压力数据流控单元，启动下刷线程后，根据HDD磁盘的压力标志位对缓存中的数据进行智能流控，具体为：
启动下刷线程；
若HDD磁盘设置了压力标志位，则中断本次下刷；
若HDD磁盘清除了压力标志位，则开启本轮数据下刷。
启动下刷线程后，压力数据流控单元根据HDD磁盘的压力标志位对缓存中的数据进行智能流控：若HDD磁盘设置了压力标志位，则中断本次下刷，减少为HDD磁盘引入新的压力，若HDD磁盘清除了压力标志位，则开启本轮数据下刷，以此实现智能流量控制。
下刷线程按照下刷周期进行周期性的启动，本轮数据下刷完成后，等待下一个下刷周期启动。
本发明提供的基于HDD磁盘压力的智能流控系统，系统启动后，压力数据收集子单元在检测周期内对HDD磁盘的压力数据进行收集。在检测周期结束时，压力数据分析子单元，将收集到的HDD磁盘的压力数据输入压力决策算法进行分析。压力数据设置子单元结合分析后的HDD磁盘压力数据和压力值阈值，判断当前HDD磁盘是否存在压力；若HDD磁盘存在压力，则对HDD磁盘设置压力标志位，否则，对HDD磁盘清除压力标志位。启动下刷线程后，压力数据流控单元根据HDD磁盘的压力标志位对缓存中的数据进行智能流控：若HDD磁盘设置了压力标志位，则中断本次下刷，减少为HDD磁盘引入新的压力，若HDD磁盘清除了压力标志位，则开启本轮数据下刷，以此实现智能流量控制。本发明所述系统与未能实现磁盘压力检测的情况对比，提升了存储系统的稳定性，保证了存储系统的稳定运行。
本发明所述系统对HDD磁盘的压力数据的收集，不直接从HDD磁盘本身获取，而是通过数据的读写IO时延实现，对IO时延的统计达到了对HDD磁盘的压力的监控。
以上所述只是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也被视为本发明的保护范围。

Claims (10)

1.一种基于HDD磁盘压力的智能流控方法，其特征在于，所述方法包括：
系统启动后，将检测周期和压力值阈值读取到内存；
对HDD磁盘的压力数据进行收集和分析；
结合分析后的HDD磁盘压力数据和压力值阈值，对HDD磁盘设置压力标志位；
启动下刷线程后，根据HDD磁盘的压力标志位对缓存中的数据进行智能流控。
2.根据权利要求1所述的一种基于HDD磁盘压力的智能流控方法，其特征在于，所述对HDD磁盘的压力数据进行收集和分析，具体为：
在检测周期内，对HDD磁盘的压力数据进行收集；
在检测周期结束时，将收集到的HDD磁盘的压力数据输入压力决策算法进行分析。
3.根据权利要求2所述的一种基于HDD磁盘压力的智能流控方法，其特征在于，所述对HDD磁盘的压力数据的收集通过数据的读写IO时延实现。
4.根据权利要求1所述的一种基于HDD磁盘压力的智能流控方法，其特征在于，所述结合分析后HDD磁盘的压力数据和压力值阈值，对HDD磁盘设置压力标志位，具体为：
结合分析后的HDD磁盘压力数据和压力值阈值，判断当前HDD磁盘是否存在压力；
若HDD磁盘存在压力，则对HDD磁盘设置压力标志位，否则，对HDD磁盘清除压力标志位。
5.根据权利要求1所述的一种基于HDD磁盘压力的智能流控方法，其特征在于，所述启动下刷线程后，根据HDD磁盘的压力标志位对缓存中的数据进行智能流控，具体为：
启动下刷线程；
若HDD磁盘设置了压力标志位，则中断本次下刷；
若HDD磁盘清除了压力标志位，则开启本轮数据下刷。
6.一种基于HDD磁盘压力的智能流控系统，根据权利要求1-5任一项所述方法实现，其特征在于，所述系统包括：
内存读取单元，用于读取检测周期和压力值阈值；
压力数据分析单元，用于对HDD磁盘的压力数据进行收集和分析，对HDD磁盘设置压力标志位；
下刷线程单元，用于创建和启动下刷线程；
压力数据流控单元，启动下刷线程后，根据HDD磁盘的压力标志位对缓存中的数据进行智能流控。
7.根据权利要求6所述的一种基于HDD磁盘压力的智能流控系统，其特征在于，所述下刷线程单元包括：
下刷线程创建子单元，系统启动后，用于创建下刷线程；
下刷线程启动子单元，用于启动下刷线程。
8.根据权利要求6所述的一种基于HDD磁盘压力的智能流控系统，其特征在于，所述压力数据分析单元包括：
压力数据收集子单元，系统启动后，在检测周期内对HDD磁盘的压力数据进行收集；
压力数据分析子单元，在检测周期结束时，将收集到的HDD磁盘的压力数据输入压力决策算法进行分析；
压力数据设置子单元，结合分析后的HDD磁盘压力数据和压力值阈值，对HDD磁盘设置压力标志位。
9.根据权利要求8所述的一种基于HDD磁盘压力的智能流控系统，其特征在于，所述压力数据设置子单元设置压力标志位，具体为：
结合分析后的HDD磁盘压力数据和压力值阈值，判断当前HDD磁盘是否存在压力；
若HDD磁盘存在压力，则对HDD磁盘设置压力标志位，否则，对HDD磁盘清除压力标志位。
10.根据权利要求6所述的一种基于HDD磁盘压力的智能流控系统，其特征在于，所述压力数据流控单元，启动下刷线程后，根据HDD磁盘的压力标志位对缓存中的数据进行智能流控，具体为：
启动下刷线程；
若HDD磁盘设置了压力标志位，则中断本次下刷；
若HDD磁盘清除了压力标志位，则开启本轮数据下刷。
CN202110741414.XA 2021-06-30 2021-06-30 一种基于hdd磁盘压力的智能流控方法及系统 Active CN113608682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110741414.XA CN113608682B (zh) 2021-06-30 2021-06-30 一种基于hdd磁盘压力的智能流控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110741414.XA CN113608682B (zh) 2021-06-30 2021-06-30 一种基于hdd磁盘压力的智能流控方法及系统

Publications (2)

Publication Number Publication Date
CN113608682A true CN113608682A (zh) 2021-11-05
CN113608682B CN113608682B (zh) 2023-12-22

Family

ID=78337086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110741414.XA Active CN113608682B (zh) 2021-06-30 2021-06-30 一种基于hdd磁盘压力的智能流控方法及系统

Country Status (1)

Country Link
CN (1) CN113608682B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030120869A1 (en) * 2001-12-26 2003-06-26 Lee Edward K. Write-back disk cache management
US20100011168A1 (en) * 2008-07-11 2010-01-14 Samsung Electronics Co., Ltd Method and apparatus for cache flush control and write re-ordering in a data storage system
US20100165502A1 (en) * 2008-12-26 2010-07-01 Kabushiki Kaisha Toshiba Magnetic disk drive capable of refreshing data written to disk and data refresh method
CN104503909A (zh) * 2014-12-18 2015-04-08 浪潮(北京)电子信息产业有限公司 一种磁盘io性能的测试方法和装置
CN105242880A (zh) * 2015-10-10 2016-01-13 浪潮电子信息产业股份有限公司 一种自动化创建Raid并执行压力测试的方法
US20190026032A1 (en) * 2015-08-20 2019-01-24 Netapp, Inc. System and method to read cache data on hybrid aggregates based on physical context of the data
CN109358816A (zh) * 2018-10-19 2019-02-19 网宿科技股份有限公司 一种分布式存储系统的流控方法及装置
CN109739441A (zh) * 2019-01-02 2019-05-10 郑州云海信息技术有限公司 一种存储系统下刷缓存数据的方法
CN110018781A (zh) * 2018-01-09 2019-07-16 阿里巴巴集团控股有限公司 磁盘流控方法、装置以及电子设备
CN111857589A (zh) * 2020-07-16 2020-10-30 苏州浪潮智能科技有限公司 分布式存储系统中ssd缓存下刷速度控制方法及系统
CN112905121A (zh) * 2021-02-20 2021-06-04 山东英信计算机技术有限公司 一种数据下刷方法和系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030120869A1 (en) * 2001-12-26 2003-06-26 Lee Edward K. Write-back disk cache management
US20100011168A1 (en) * 2008-07-11 2010-01-14 Samsung Electronics Co., Ltd Method and apparatus for cache flush control and write re-ordering in a data storage system
US20100165502A1 (en) * 2008-12-26 2010-07-01 Kabushiki Kaisha Toshiba Magnetic disk drive capable of refreshing data written to disk and data refresh method
CN104503909A (zh) * 2014-12-18 2015-04-08 浪潮(北京)电子信息产业有限公司 一种磁盘io性能的测试方法和装置
US20190026032A1 (en) * 2015-08-20 2019-01-24 Netapp, Inc. System and method to read cache data on hybrid aggregates based on physical context of the data
CN105242880A (zh) * 2015-10-10 2016-01-13 浪潮电子信息产业股份有限公司 一种自动化创建Raid并执行压力测试的方法
CN110018781A (zh) * 2018-01-09 2019-07-16 阿里巴巴集团控股有限公司 磁盘流控方法、装置以及电子设备
CN109358816A (zh) * 2018-10-19 2019-02-19 网宿科技股份有限公司 一种分布式存储系统的流控方法及装置
CN109739441A (zh) * 2019-01-02 2019-05-10 郑州云海信息技术有限公司 一种存储系统下刷缓存数据的方法
CN111857589A (zh) * 2020-07-16 2020-10-30 苏州浪潮智能科技有限公司 分布式存储系统中ssd缓存下刷速度控制方法及系统
CN112905121A (zh) * 2021-02-20 2021-06-04 山东英信计算机技术有限公司 一种数据下刷方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李楚;冯丹;王芳;: "一种高性能高可靠的混合客户端缓存系统", 计算机研究与发展, no. 11, pages 82 - 92 *
江文;邓玉辉;孟小华;谢俊杰;: "通过缓存压缩提高磁盘性能", 小型微型计算机系统, no. 05, pages 1102 - 1106 *

Also Published As

Publication number Publication date
CN113608682B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN111857589B (zh) 分布式存储系统中ssd缓存下刷速度控制方法及系统
US9047212B2 (en) Error estimation module and estimation method thereof for flash memory
US20170371807A1 (en) Cache data determining method and apparatus
CN1645516B (zh) 用于闪速存储器的数据恢复设备和方法
CN101901270A (zh) 一种支持海量存储的内存数据库方法
CN110704287B (zh) Linux系统下RAID卡异常日志收集方法、系统及存储介质
CN109614045B (zh) 一种元数据落盘方法、装置及相关设备
CN111400204A (zh) 一种固态盘缓存方法、系统及相关设备
CN113608682A (zh) 一种基于hdd磁盘压力的智能流控方法及系统
CN110781166B (zh) 存储系统中数据管理方法和装置
JP2001077813A (ja) ネットワーク情報管理装置とネットワーク情報管理方法およびその処理プログラムを記録した記録媒体
CN1956081B (zh) 电子设备及电子设备控制方法
CN111984190B (zh) 一种面向海量存储设备的存储池扩容方法和系统
CN103176753A (zh) 存储设备及其数据管理方法
CN112905121B (zh) 一种数据下刷方法和系统
CN114138575B (zh) 一种硬盘数据垃圾回收的测试方法、装置、设备及介质
CN101526887B (zh) 将数据写入硬盘的方法、装置及系统
CN109920468B (zh) 一种ssd性能稳态验证的方法及系统
CN111143343B (zh) 一种基于源端重删的数据高效删除方法及系统
CN113641305A (zh) 固态硬盘的垃圾回收方法、装置、电子设备及存储介质
JP5206103B2 (ja) ストレージ装置、ストレージ装置制御システム、ストレージ装置の制御方法、及びプログラム
CN106775480A (zh) 一种基于LabVIEW的实时监控系统数据记录方法
CN112905684A (zh) 一种电力数据入库方法、装置和计算机可读存储介质
CN112069004A (zh) 一种闪存芯片中块读取与页读取换算关系测试方法及系统
CN109815086A (zh) 一种测试ssd可靠性的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant