CN104965674A - 一种基于块关联的低能耗磁盘调度方法及系统 - Google Patents

一种基于块关联的低能耗磁盘调度方法及系统 Download PDF

Info

Publication number
CN104965674A
CN104965674A CN201510308792.3A CN201510308792A CN104965674A CN 104965674 A CN104965674 A CN 104965674A CN 201510308792 A CN201510308792 A CN 201510308792A CN 104965674 A CN104965674 A CN 104965674A
Authority
CN
China
Prior art keywords
disk
request
frequent
block
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510308792.3A
Other languages
English (en)
Other versions
CN104965674B (zh
Inventor
邓玉辉
蔡杰明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN201510308792.3A priority Critical patent/CN104965674B/zh
Publication of CN104965674A publication Critical patent/CN104965674A/zh
Application granted granted Critical
Publication of CN104965674B publication Critical patent/CN104965674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于块关联的低能耗磁盘调度方法及系统,所述方法包括:采用改进的数据挖掘技术对I/O请求的历史信息产生适用于磁盘调度的块关联规则;采用产生的块关联规则对磁盘状态进行切换,从而实现存储系统节能;所述系统包括块关联规则挖掘模块和磁盘驱动调度模块。本发明从磁盘的数据历史访问记录中挖掘数据块之间的块关联规则,进而磁盘驱动器利用产生的关联规则指导磁盘的状态切换,实现磁盘尽可能多的在低能耗状态下工作,以此实现磁盘节能的目的,同时保证了系统的性能不会因为此类调度而受到太大影响。

Description

一种基于块关联的低能耗磁盘调度方法及系统
技术领域
本发明涉及一种磁盘调度方法及系统,尤其是一种基于块关联的低能耗磁盘调度方法及系统,属于计算机磁盘节能领域。
背景技术
节能已成为未来计算机系统设计的重要研究方面。同时,存储系统在整个计算机系统架构中,在能量消耗方面占比较大的比重。因此如何有效的降低系统能耗已成为一个国际炙手可热的问题。近年来,研究界更是热衷于高端存储系统的能量节约方案研讨。这主要也是因为存储系统能耗已成为影响企业数据中心服务器密度和成本的不容忽视的因素。
一些计算机系统的组件已经支持了部分的能量管理功能,例如一些高端服务器的CPUs可以支持低能耗状态,也能在空闲态动态改变时钟频率和电压已达到降低能耗的目的。AMD近年来就推出了一种基于其多核产品的动态超频技术Turbo CORE,目的是解决处理器核心间不同负载下的实际功耗差别较大的问题。其解决方案是由功耗监视器实时测量每个处理器核心的功耗,由北桥汇总,然后统一报告给P-State电源状态管理器,再由其根据需要让处理器的各个核心运行在适当的电源状态下,或者降速或者提速,特别是提速的时候能短时间超过原始频率,并且保证始终不超过整体热设计功耗。
在过去的十年,很多研究工作都投注在移动系统的存储子系统的节能方面。Lu and Micheli提出了一个可适应性算法来动态管理能量,通过自适应得调整来预测将来的请求,算法可以预测一定时间的系统空闲,同时在此段时间挂起磁盘,从而达到减少能量消耗。Li et al.通过定量分析估算挂起磁盘所带来的潜在代价,得出在较小系统性能损失的前提下的系统节能方案的可行性结论。
在高端存储领域,提出了许多节能方案,如Popular Data ConcentratI/On(PDC)方案通过对频繁访问数据的迁移实现磁盘子集的节能。国际上现在普遍采用的降低磁盘能量消耗的方案为MAID技术。该技术数使用了一些额外的磁盘高速缓存,使其在活跃的状态下执行保存最近访问的数据块,其他磁盘可以放在低功耗状态,由此这些磁盘子集的空闲时间延长,从而达到节能目的。MAID技术非常适合write-once/read-occasI/Onally访问模式的数据存,主要用于诸如远程备份系统。MAID技术的节能依赖于数缓存磁盘驱动器并行工作。另外,Active Disk首次被提出采取个别磁盘驱动器的处理能力来运行应用程序级代码,一个应用程序的执行过程中如果其中某一部分直接在磁盘驱动器运行可以显着减少数据流量。这样减少数据交换从另一个方面减少了磁盘的能量消耗。但由于散热和热限制,很难进一步提高磁盘驱动器的数据速率。类似Active Disk,Gurumurthi建议,提供更强大的磁盘驱动器的处理能力来扩展的计算能力,从而减少了数据传输速率的要求,克服制约因素和提高热性能。
然而在高端服务器的存储系统中实现节能是一件非常有挑战的事情。如果只是简单地为服务器配置更少的磁盘来节约成本,显然是不可取的。同样,服务器系统和移动设备应用的数据访问模式有很大的不同,移动系统的存储子系统的节能方案就不能应用于服务器的存储系统。从上面的介绍可以看出,目前对服务器端的存储系统的节能方案更多的是立足于上层应用的优化,当数据请求下变成底层的I/O数据流时,还没有相应的磁盘调度算法是基于磁盘能耗设计的。而传统的观点认为在服务器的工作负荷中,空闲时间太短以至于不能抵消掉磁盘因状态切换所带来的额外能量开销。但根据M.G.Baker的研究表明主存cache能有效地命中读请求,这启发了基于块级数据的磁盘节能具有可行性。
发明内容
本发明的目的是为了解决上述现有技术的缺陷,提供了一种基于块关联的低能耗磁盘调度方法,该方法从磁盘的数据历史访问记录中挖掘数据块之间的块关联规则,进而磁盘驱动器利用产生的关联规则指导磁盘的状态切换,实现磁盘尽可能多的在低能耗状态下工作,以此实现磁盘节能的目的,同时保证了系统的性能不会因为此类调度而受到太大影响。
本发明的另一目的在于提供一种基于块关联的低能耗磁盘调度系统。
本发明的目的可以通过采取如下技术方案达到:
一种基于块关联的低能耗磁盘调度方法,所述方法包括以下步骤:
S1、采用改进的数据挖掘技术对I/O请求的历史信息产生适用于磁盘调度的块关联规则;其中改进的数据挖掘技术为改进数据挖掘中的频繁项挖掘算法,具体如下:
在关联规则挖掘的过程中,对于产生的每个频繁项s,扫描频繁项s后缀数据库Ds,从中找出每一个频繁1-项集连接s和构成一个长度为|s|+1的新频繁集s’,其中然后递归地挖掘新的频繁项,直到不能产生新的频繁项为止;
S2、采用步骤S1产生的块关联规则对磁盘状态进行切换,从而实现存储系统节能。
作为一种优选方案,在进行频繁项挖掘时,采用三个参数对频繁项进行剪枝,进而产生块关联规则,这三个参数分别是Min-support、Time-gap和I/O-number,具体为:
采用Min-support参数对过滤掉候选频繁项中的非频繁项;
采用Time-gap参数实现关联I/O请求间的时间间隔控制;
采用I/O-number参数限制挖掘规则期间到达的零星I/O请求数量;
当频繁度大于Min-support参数,期间的时间间隔大于Time-gap参数,并且零星I/O请求数小于I/O-number参数的候选规则,最终作为指导磁盘进行状态调度的块关联规则,这些块关联规则被形成一个块关联规则库,供步骤S2调用。
作为一种优选方案,所述Min-support参数的值设定为0.1%;所述Time-gap参数的值对于低端磁盘,设定为14秒,对于高端磁盘,设定为22.4秒;所述I/O-number参数的值设定为3~5。
作为一种优选方案,在挖掘频繁1-项集时,采用动态平衡二叉树来组织块关联规则集,具体实现是I/O请求的起始地址作为key键值,地址出现的频数作为value值。
作为一种优选方案,步骤S2中,所述采用步骤S1产生的块关联规则对磁盘状态进行切换,具体包括:
S21、当前一个新I/O请求属于规则集中记录的请求时,将磁盘转入到standby态;
S22、若新I/O请求是读请求,系统行为会出现以下三种情况:
1)若该请求在磁盘spin down过程完成前到达,则系统将磁盘转回到active态,同时磁盘cache会缓存在磁盘spin up过程完成之前的所有I/O请求;在磁盘重返active态后,系统优先处理cache中的请求,同时缓存处理期间的I/O请求;
2)若该请求在Time-gap期间内到达,则系统重复步骤1)的工作;
3)若该请求在磁盘spin up过程完成前到达,则磁盘cache缓存在磁盘spin up过程完成之前的所有I/O请求;在磁盘重返active态后,系统优先处理cache中的请求,同时缓存处理期间的I/O请求;
S23、若新I/O请求是写请求,系统行为会出现以下三种情况:
1)若该请求在磁盘spin down过程完成前到达,则系统将磁盘转回到active态,同时磁盘cache会缓存在磁盘spin up过程完成之前的所有I/O请求;在磁盘重返active态后,系统优先处理cache中的请求,同时缓存处理期间的I/O请求;
2)若该请求在Time-gap期间内到达,则系统缓存该请求,磁盘状态不作切换;
3)若该请求在磁盘spin up过程完成前到达,则磁盘cache缓存在磁盘spin up过程完成之前的所有I/O请求;在磁盘重返active态后,系统优先处理cache中的请求,同时缓存处理期间的I/O请求。
作为一种优选方案,步骤S23系统对写请求的行为中,系统通过磁盘cache缓存新I/O请求,同时向上层应用返回写操作完成信号。
作为一种优选方案,所述采用步骤S1产生的块关联规则对磁盘状态进行切换通过一个DFA状态机完成。
本发明的另一目的可以通过采取如下技术方案达到:
一种基于块关联的低能耗磁盘调度系统,所述系统包括:
块关联规则挖掘模块,用于采用改进的数据挖掘技术对I/O请求的历史信息产生适用于磁盘调度的块关联规则;其中改进的数据挖掘技术为改进数据挖掘中的频繁项挖掘算法,具体如下:
在关联规则挖掘的过程中,对于产生的每个频繁项s,扫描频繁项s后缀数据库Ds,从中找出每一个频繁1-项集连接s和构成一个长度为|s|+1的新频繁集s’,其中然后递归地挖掘新的频繁项,直到不能产生新的频繁项为止;
磁盘驱动调度模块,用于采用块关联规则挖掘模块产生的块关联规则对磁盘状态进行切换,从而实现存储系统节能。
本发明相对于现有技术具有如下的有益效果:
1、本发明是面向服务器的存储系统中磁盘节能,主要通过利用服务器端磁盘的空闲时间进行磁盘状态切换,使磁盘尽可能多的在低能耗状态下工作,实现磁盘节能的同时,也要尽可能少的影响系统性能,因为服务器端的数据访问量比普通个人电脑的要大很多,所以磁盘空闲时间的挖掘具有相当大的难度,在挖掘算法中设定的三个参数(分别为Min-support、Time-gap和I/O-number)保证了产生的块关联规则能满足系统节能要求,也能减少磁盘状态转换对系统性能的影响;同时提高主存的命中率,也为下次I/O请求产生更多的空闲时间。
2、本发明在挖掘频繁1-项集时,使用动态平衡二叉树(AVL树)组织规则集,极大地加快了规则的挖掘速度,比起一般数据挖掘算法中应有线性结构组织规则库,体现出很大的性能优势。
3、本发明是一种磁盘调度技术,同时它可以结合其他磁盘调度算法一起使用,如电梯调度、循环调度、空闲时间预测、超时算法等。通过结合不同的磁盘调度算法,能更好的提升系统性能或节能效果,对于其他磁盘调度算法具有很大的兼容性。
附图说明
图1为本发明实施例1的基于块关联的低能耗磁盘调度方法的流程图。
图2为本发明实施例2的磁盘状态迁移示意图。
图3为本发明实施例2的Time-gap参数在挖掘算法中的应用示意图。
图4为本发明实施例2的I/O-number参数在挖掘算法中的应用示意图。
图5为本发明实施例2的基于块关联规则的磁盘能量状态切换时序图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例1:
本实施例的基于块关联的低能耗磁盘调度方法具有两个模块:块关联规则挖掘模块和磁盘驱动调度模块,其中:
块关联规则挖掘模块,用于采用改进的数据挖掘技术对I/O(Input/Output,输入/输出)请求的历史信息产生适用于磁盘调度的块关联规则,此类块关联规则将被用于指导磁盘驱动器对I/O请求进行调度;
磁盘驱动调度模块,基于磁盘驱动器实现,用于采用块关联规则挖掘模块产生的块关联规则对磁盘状态进行切换,从而实现存储系统节能。
如图1所示,本实施例的基于块关联的低能耗磁盘调度方法包括以下步骤:
S1、块关联规则挖掘模块采用改进的数据挖掘技术对I/O请求的历史信息产生适用于磁盘调度的块关联规则;其中改进的数据挖掘技术为改进数据挖掘中的频繁项挖掘算法,具体如下:
在关联规则挖掘的过程中,对于产生的每个频繁项s,扫描频繁项s后缀数据库Ds,从中找出每一个频繁1-项集连接s和构成一个长度为|s|+1的新频繁集s’,其中然后递归地挖掘新的频繁项,直到不能产生新的频繁项为止;
在进行频繁项挖掘时,采用三个参数对频繁项进行剪枝,进而产生块关联规则,这三个参数分别是Min-support、Time-gap和I/O-number,以下对Min-support、Time-gap和I/O-number进行详细解释:
1)当需要对所有候选频繁项集作剪枝处理时,采用Min-support参数对过滤掉候选频繁项中的非频繁项,现在基于这样一个假设:如果事务x出现的同时,事务y有很大概率发生,在此认为事务x和y之间存在强关联(记作x→y);基于上面的假设,在一个频繁项X的后缀事务数据库中,如果子序列Y在其中出现的频率超过预设定的阈值(定义为Min-support),则认为X和Y存在强关联,称X→Y为关联规则;在本实施例的挖掘算法中,Min-support参数的值设定为0.1%,该值的设定保证了产生的频繁项的强关联,也使得产生的规则不会太少;
2)若只是通过Min-support参数来对候选规则进行剪枝的话是不够的,因为根据节能算法思想,在应用规则指导磁盘状态由高能耗状态向低能耗状态转移时,在状态切换的过程中,有相当大的时间和额外功耗的开销。对于预测出来的空闲时间间隔的时间长度必须能平衡磁盘能量状态切换的额外能量开销的同时也能产生一定程度上的能量节省,定义这样的临界空闲时间间隔为Time-gap,它表示两个关联的I/O请求之间的时间间隔,也就是采用Time-gap参数实现关联I/O请求间的时间间隔控制,同时它也作为空闲时间间隔的预测值被磁盘驱动调度模块所利用;在本实施例的挖掘算法中,对于低端磁盘,设定Time-gap参数的值为14秒;对于高端磁盘,设定Time-gap参数的值为22.4秒;
3)即使块的关联规则满足Time-gap参数的约束,仍然不能直接应用这些频繁规则,这里还存在一个问题就是,两个I/O请求之间的其他I/O访问数量是未知的,例如对于一个规则X→Y,如果在处理完X后,将磁盘由active态转到standby态,必须在磁盘挂起的这段时间,通过磁盘cache缓存之后到达的I/O请求,直到磁盘在Time-gap的时间后重新激活;定义规则间出现的临界I/O请求数量为I/O-number,通过I/O-number参数限制执行规则过程中到达的零星I/O请求数量;在本实施例的挖掘算法中,设定I/O-number参数的值为3~5。
当频繁度大于Min-support参数,期间的时间间隔大于Time-gap参数,并且零星I/O请求数小于I/O-number参数的候选规则,最终作为指导磁盘进行状态调度的块关联规则,这些块关联规则被形成一个块关联规则库,供磁盘驱动调度模块调用。
在挖掘频繁1-项集时,对于频繁数据集涉及到大量的查询、插入和删除操作,如果将频繁集组织成线性的数据结构,像数组、链表等,会造成规则的挖掘效率很低,例如对于有1000万记录的数据集中挖掘频繁项时,若每个数据平均出现次数为100次,那么构造出来的候选频繁集有10万条记录;如记录存在线性数据结构中,那么构造这个候选集时,最坏情况下每条记录平均的查询次数约为10万次,也就是总查询次数为1000亿次,所以选择线性结构显然是不划算的;因此为了提高查询效率,采用AVL树(动态平衡二叉树)来组织块关联规则集,具体实现是I/O请求的起始地址作为key键值,地址出现的频数作为value值,这样每次的查询操作次数只跟AVL树的深度有关,继续以上面的例子为例,对于10万条记录的频繁候选集,用AVL组织的深度不超过17层,也就是每次查询的次数最多为17,总查询次数为1.7亿次,查询效率得到很大的提高,进而大大加快了块规则库的产生速度。
S2、磁盘驱动调度模块采用块关联规则挖掘模块产生的块关联规则对磁盘状态进行切换,从而实现存储系统节能,其中对磁盘状态进行切换通过一个DFA状态机完成,具体包括:
S21、当前一个新I/O请求属于规则集中记录的请求时,将磁盘转入到standby态;
S22、若新I/O请求是读请求,系统行为会出现以下三种情况:
1)若该请求在磁盘spin down过程完成前到达,则系统将磁盘转回到active态,同时磁盘cache会缓存在磁盘spin up过程完成之前的所有I/O请求;在磁盘重返active态后,系统优先处理cache中的请求,同时缓存处理期间的I/O请求;
2)若该请求在Time-gap期间内到达,则系统重复步骤1)的工作;
3)若该请求在磁盘spin up过程完成前到达,则磁盘cache缓存在磁盘spin up过程完成之前的所有I/O请求;在磁盘重返active态后,系统优先处理cache中的请求,同时缓存处理期间的I/O请求;
S23、若新I/O请求是写请求,系统行为会出现以下三种情况:
1)若该请求在磁盘spin down过程完成前到达,则系统将磁盘转回到active态,同时磁盘cache会缓存在磁盘spin up过程完成之前的所有I/O请求;在磁盘重返active态后,系统优先处理cache中的请求,同时缓存处理期间的I/O请求;
2)若该请求在Time-gap期间内到达,则系统缓存该请求,磁盘状态不作切换;
3)若该请求在磁盘spin up过程完成前到达,则磁盘cache缓存在磁盘spin up过程完成之前的所有I/O请求;在磁盘重返active态后,系统优先处理cache中的请求,同时缓存处理期间的I/O请求。
步骤S23系统对写请求的行为中,系统通过磁盘cache缓存新I/O请求,同时向上层应用返回写操作完成信号,进而减少系统延迟时间,采取此种非写穿策略,保证了对上层应用的响应速度需求。
实施例2:
本实施例是实施例1的基于块关联的低能耗磁盘调度方法的具体应用实例。
一般来说,磁盘驱动包含3种能量状态,图2示出了这3种磁盘状态和它们间的转换关系。
1)当I/O请求完成,同时在一定时间内没有其他请求的到达,磁盘可以由active态转入idle态;
2)如果磁盘在idle态时,有I/O请求到达,磁盘由idle态转入active态,进行请求处理;
3)基于节能考虑,磁盘可以由idle态转入standby态,此时磁盘停止转动,磁头移出盘片;
4)若磁盘在standby态时,有I/O请求到达,磁盘驱动必须重新进入active态,再对请求进行服务。
图2示出了如何在候选频繁集中,应用Time-gap参数进行关联规则剪枝,假设AB和CD分别是两个候选的频繁项,其中A和B之间的时间间隔为T1,C和D之间的时间间隔为T2,且T1<Time-gap<T2;当寻找频繁项时,根据Time-gap会将AB规则过滤掉,留下CD规则进行更进一步的剪枝;如果Time-gap设定的足够合理,它能弥补磁盘在active态和standby态之间转化的开销(包括时间开销和能量开销);如果Time-gap设定得太短,会使磁盘频繁地发生状态的切换,产生许多不必要的能量消耗;相反,当Time-gap定制的太长,许多足以节能的idle intervals会被过滤,减少了可用规则。
图3示出了如何应用I/O-number参数选择候选规则,假设AB和CD是两个候选的规则,其中AB间的零星I/O数为2(b1和b2),CD间的零星I/O数为3(b3、b4和b5),I/O-number=3。因为AB间的I/O数小于阈值I/O-number,所以AB入选为候选规则;同理,CD的I/O数等于(即不小于)I/O-number,CD将从候选规则中过滤掉;规则间的零星I/O请求个数将直接影响到系统的性能,因为如果零星I/O请求越多,磁盘挂起期间需要缓存的I/O请求就越多,造成的系统延时就越大,还有一个比较严重的问题就是,一般磁盘的cache不会做得很大,大小接近8M左右,如果挖掘的规则中包含坏规则的话,有很大可能需要缓存的I/O请求使磁盘cache溢出,造成数据的丢失,表现在模拟磁盘上的行为为程序非正常关闭。
图4为基于块关联规则驱动的磁盘状态调度时序图,结合该附图介绍磁盘调度的主要步骤:
1)当前一个新I/O请求属于规则的集和并且该I/O的预测空闲时间满足转到standby态的时间阈值时,将磁盘转入到standby态;
2)若新I/O请求是读请求,i)若该请求在T1之前到达,在T1处将磁盘转回到active态,同时缓存在T2之前的所有I/O请求;同样,也会优先处理cache中的请求,并且缓存处理期间的I/O请求;ii)若该请求在T1~T7期间到达(T1~T7间的时间长度为Time-gap,有挖掘算法决定),设请求在T4到达,在T4处将磁盘spin up到active态,将缓存T4~T5间的所有I/O请求,并在active态中处理cache中的缓存I/O;iii)若该请求在T7~T8期间到达,磁盘在T7出会自动spin up,并且会缓存期间的I/O请求,在T8处回到active态,进行缓存I/O的处理。
通过上述情况可以知道,对于读请求,采取的策略是尽快响应其操作,以减少系统延时。
3)若新I/O请求为写请求,它与读请求的操作过程类似,唯一不同的是遇到写请求磁盘不会马上spin up,而是要在Time-gap时间后才会返回active态,并进行缓存I/O处理,这样的策略是实现非写穿的写I/O操作。
综上所述,本发明从磁盘的数据历史访问记录中挖掘数据块之间的块关联规则,进而磁盘驱动器利用产生的关联规则指导磁盘的状态切换,实现磁盘尽可能多的在低能耗状态下工作,以此实现磁盘节能的目的,同时保证了系统的性能不会因为此类调度而受到太大影响。
以上所述,仅为本发明专利较佳的实施例,但本发明专利的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明专利所公开的范围内,根据本发明专利的技术方案及其发明专利构思加以等同替换或改变,都属于本发明专利的保护范围。

Claims (8)

1.一种基于块关联的低能耗磁盘调度方法,其特征在于:所述方法包括以下步骤:
S1、采用改进的数据挖掘技术对I/O请求的历史信息产生适用于磁盘调度的块关联规则;其中改进的数据挖掘技术为改进数据挖掘中的频繁项挖掘算法,具体如下:
在关联规则挖掘的过程中,对于产生的每个频繁项s,扫描频繁项s后缀数据库Ds,从中找出每一个频繁1-项集连接s和构成一个长度为|s|+1的新频繁集s’,其中然后递归地挖掘新的频繁项,直到不能产生新的频繁项为止;
S2、采用步骤S1产生的块关联规则对磁盘状态进行切换,从而实现存储系统节能。
2.根据权利要求1所述的一种基于块关联的低能耗磁盘调度方法,其特征在于:在进行频繁项挖掘时,采用三个参数对频繁项进行剪枝,进而产生块关联规则,这三个参数分别是Min-support、Time-gap和I/O-number,具体为:
采用Min-support参数对过滤掉候选频繁项中的非频繁项;
采用Time-gap参数实现关联I/O请求间的时间间隔控制;
采用I/O-number参数限制挖掘规则期间到达的零星I/O请求数量;
当频繁度大于Min-support参数,期间的时间间隔大于Time-gap参数,并且零星I/O请求数小于I/O-number参数的候选规则,最终作为指导磁盘进行状态调度的块关联规则,这些块关联规则被形成一个块关联规则库,供步骤S2调用。
3.根据权利要求2所述的一种基于块关联的低能耗磁盘调度方法,其特征在于:所述Min-support参数的值设定为0.1%;所述Time-gap参数的值对于低端磁盘,设定为14秒,对于高端磁盘,设定为22.4秒;所述I/O-number参数的值设定为3~5。
4.根据权利要求2所述的一种基于块关联的低能耗磁盘调度方法,其特征在于:在挖掘频繁1-项集时,采用动态平衡二叉树来组织块关联规则集,具体实现是I/O请求的起始地址作为key键值,地址出现的频数作为value值。
5.根据权利要求2所述的一种基于块关联的低能耗磁盘调度方法,其特征在于:步骤S2中,所述采用步骤S1产生的块关联规则对磁盘状态进行切换,具体包括:
S21、当前一个新I/O请求属于规则集中记录的请求时,将磁盘转入到standby态;
S22、若新I/O请求是读请求,系统行为会出现以下三种情况:
1)若该请求在磁盘spin down过程完成前到达,则系统将磁盘转回到active态,同时磁盘cache会缓存在磁盘spin up过程完成之前的所有I/O请求;在磁盘重返active态后,系统优先处理cache中的请求,同时缓存处理期间的I/O请求;
2)若该请求在Time-gap期间内到达,则系统重复步骤1)的工作;
3)若该请求在磁盘spin up过程完成前到达,则磁盘cache缓存在磁盘spin up过程完成之前的所有I/O请求;在磁盘重返active态后,系统优先处理cache中的请求,同时缓存处理期间的I/O请求;
S23、若新I/O请求是写请求,系统行为会出现以下三种情况:
1)若该请求在磁盘spin down过程完成前到达,则系统将磁盘转回到active态,同时磁盘cache会缓存在磁盘spin up过程完成之前的所有I/O请求;在磁盘重返active态后,系统优先处理cache中的请求,同时缓存处理期间的I/O请求;
2)若该请求在Time-gap期间内到达,则系统缓存该请求,磁盘状态不作切换;
3)若该请求在磁盘spin up过程完成前到达,则磁盘cache缓存在磁盘spin up过程完成之前的所有I/O请求;在磁盘重返active态后,系统优先处理cache中的请求,同时缓存处理期间的I/O请求。
6.根据权利要求5所述的一种基于块关联的低能耗磁盘调度方法,其特征在于:步骤S23系统对写请求的行为中,系统通过磁盘cache缓存新I/O请求,同时向上层应用返回写操作完成信号。
7.根据权利要求5所述的一种基于块关联的低能耗磁盘调度方法,其特征在于:所述采用步骤S1产生的块关联规则对磁盘状态进行切换通过一个DFA状态机完成。
8.一种基于块关联的低能耗磁盘调度系统,其特征在于:所述系统包括:
块关联规则挖掘模块,用于采用改进的数据挖掘技术对I/O请求的历史信息产生适用于磁盘调度的块关联规则;其中改进的数据挖掘技术为改进数据挖掘中的频繁项挖掘算法,具体如下:
在关联规则挖掘的过程中,对于产生的每个频繁项s,扫描频繁项s后缀数据库Ds,从中找出每一个频繁1-项集连接s和构成一个长度为|s|+1的新频繁集s’,其中然后递归地挖掘新的频繁项,直到不能产生新的频繁项为止;
磁盘驱动调度模块,用于采用块关联规则挖掘模块产生的块关联规则对磁盘状态进行切换,从而实现存储系统节能。
CN201510308792.3A 2015-06-08 2015-06-08 一种基于块关联的低能耗磁盘调度方法及系统 Active CN104965674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510308792.3A CN104965674B (zh) 2015-06-08 2015-06-08 一种基于块关联的低能耗磁盘调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510308792.3A CN104965674B (zh) 2015-06-08 2015-06-08 一种基于块关联的低能耗磁盘调度方法及系统

Publications (2)

Publication Number Publication Date
CN104965674A true CN104965674A (zh) 2015-10-07
CN104965674B CN104965674B (zh) 2018-01-19

Family

ID=54219709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510308792.3A Active CN104965674B (zh) 2015-06-08 2015-06-08 一种基于块关联的低能耗磁盘调度方法及系统

Country Status (1)

Country Link
CN (1) CN104965674B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108170254A (zh) * 2017-12-30 2018-06-15 广东技术师范学院 一种基于零星请求的策略调度方法
CN108227901A (zh) * 2017-12-30 2018-06-29 广东技术师范学院 一种基于零星请求的磁盘功耗状态切换方法
CN108268215A (zh) * 2017-12-30 2018-07-10 广东技术师范学院 一种磁盘的突发性访问识别方法
CN108345510A (zh) * 2018-01-11 2018-07-31 中国人民解放军国防科技大学 一种自动巡检检测大规模离线归档系统可靠性的方法
CN110456987A (zh) * 2019-08-06 2019-11-15 暨南大学 一种基于自适应页管理的数据存储磁盘节能方法
CN113835882A (zh) * 2021-09-07 2021-12-24 中移(杭州)信息技术有限公司 基于流量预测的节能方法、装置及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101042698A (zh) * 2007-02-01 2007-09-26 江苏技术师范学院 一种关联规则及元规则的综合挖掘方法
CN101427248A (zh) * 2006-04-27 2009-05-06 英特尔公司 用于基于内容的分割与挖掘的基于系统的方法
CN102542478A (zh) * 2010-12-31 2012-07-04 北京安码科技有限公司 一种电子商务用户公共访问轨迹提取方法和装置
CN102968375A (zh) * 2012-11-30 2013-03-13 中国矿业大学 基于关联规则挖掘的不可达路径检测方法
CN103761236A (zh) * 2013-11-20 2014-04-30 同济大学 一种增量式频繁模式增长数据挖掘方法
CN103823823A (zh) * 2013-07-08 2014-05-28 电子科技大学 基于频繁项集挖掘算法的反规范化策略选择方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101427248A (zh) * 2006-04-27 2009-05-06 英特尔公司 用于基于内容的分割与挖掘的基于系统的方法
CN101042698A (zh) * 2007-02-01 2007-09-26 江苏技术师范学院 一种关联规则及元规则的综合挖掘方法
CN102542478A (zh) * 2010-12-31 2012-07-04 北京安码科技有限公司 一种电子商务用户公共访问轨迹提取方法和装置
CN102968375A (zh) * 2012-11-30 2013-03-13 中国矿业大学 基于关联规则挖掘的不可达路径检测方法
CN103823823A (zh) * 2013-07-08 2014-05-28 电子科技大学 基于频繁项集挖掘算法的反规范化策略选择方法
CN103761236A (zh) * 2013-11-20 2014-04-30 同济大学 一种增量式频繁模式增长数据挖掘方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108170254A (zh) * 2017-12-30 2018-06-15 广东技术师范学院 一种基于零星请求的策略调度方法
CN108227901A (zh) * 2017-12-30 2018-06-29 广东技术师范学院 一种基于零星请求的磁盘功耗状态切换方法
CN108268215A (zh) * 2017-12-30 2018-07-10 广东技术师范学院 一种磁盘的突发性访问识别方法
CN108227901B (zh) * 2017-12-30 2020-07-14 广东技术师范大学 一种基于零星请求的磁盘功耗状态切换方法
CN108345510A (zh) * 2018-01-11 2018-07-31 中国人民解放军国防科技大学 一种自动巡检检测大规模离线归档系统可靠性的方法
CN110456987A (zh) * 2019-08-06 2019-11-15 暨南大学 一种基于自适应页管理的数据存储磁盘节能方法
CN113835882A (zh) * 2021-09-07 2021-12-24 中移(杭州)信息技术有限公司 基于流量预测的节能方法、装置及可读存储介质

Also Published As

Publication number Publication date
CN104965674B (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
CN104965674B (zh) 一种基于块关联的低能耗磁盘调度方法及系统
US7979399B2 (en) Database journaling in a multi-node environment
CN107193960B (zh) 一种分布式爬虫系统及周期性增量抓取方法
CN105468298B (zh) 一种基于日志结构合并树的键值存储方法
CN102291450A (zh) 一种集群存储系统内部的数据在线分级存储方法
JPH0944381A (ja) データ格納方法およびデータ格納装置
CN102662459A (zh) 利用固态硬盘与机械硬盘混合存储减少服务器能源消耗的方法
CN104809237A (zh) LSM-tree索引的优化方法和装置
CN110515859A (zh) 一种固态硬盘读写请求并行处理方法
CN104781753A (zh) 功率选通高速缓存存储器的一部分
TWI497321B (zh) 多重網路之平行電腦系統中查詢最佳化
Herodotou et al. Automating distributed tiered storage management in cluster computing
CN102033930A (zh) 分布式内存数据库系统
CN108897490A (zh) 一种dram/pram异质混合内存系统的数据管理方法
CN101101574B (zh) 管理阵列中分层表格的方法和系统
CN104460941A (zh) 一种降低主存存储器满负荷运行功耗的方法
US8027972B2 (en) Nodal data normalization
CN101221465A (zh) 用于降低硬盘功耗的数据缓冲区实现方法
CN104572867A (zh) 一种基于Oracle的数据处理方法
JP2012137870A (ja) アクセス予測に基づいてテーブルのミラーリングを制御する管理システム、プログラムおよび方法
US7979400B2 (en) Database journaling in a multi-node environment
CN106020720A (zh) 一种Smart Rack节点IO性能优化的方法
JP2007272721A (ja) ストレージ装置及びその制御方法
Garg et al. Markov model based disk power management for data intensive workloads
CN108255431B (zh) 一种统一管理的、基于策略的低功耗归档分析系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant