CN105353992A - 一种磁盘节能调度方法 - Google Patents

一种磁盘节能调度方法 Download PDF

Info

Publication number
CN105353992A
CN105353992A CN201510917954.3A CN201510917954A CN105353992A CN 105353992 A CN105353992 A CN 105353992A CN 201510917954 A CN201510917954 A CN 201510917954A CN 105353992 A CN105353992 A CN 105353992A
Authority
CN
China
Prior art keywords
workspace
storage pool
disk
area
preparation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510917954.3A
Other languages
English (en)
Inventor
魏坤
徐晓阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201510917954.3A priority Critical patent/CN105353992A/zh
Publication of CN105353992A publication Critical patent/CN105353992A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种磁盘节能调度方法，该方法包括：对云储存的存储池设定承载区间；将存储池中所有磁盘划分为工作区和准备区；当存储池中工作区的工作能力低于承载区间的最低值时，主动执行准备区中的准备节点。该方法实现降低延迟，并减少资源浪费。

Description

一种磁盘节能调度方法
技术领域
本发明涉及云存储技术领域，特别是涉及一种磁盘节能调度方法。
背景技术
目前，在云服务中，存储服务是很重要的一项工作，但是要有效地适配用户的存储请求到目标节点以实现节能存储一直在探讨，磁盘存储对调度方法上有效率的要求，包括用户效率和系统承载水平两个方面。用户效率例如请求响应时间，系统承载水平例如负载均衡。传统存储方法有一些缺陷，当目标节点已经处于准备模式时，唤醒需要一定的时间，导致去唤醒节点而产生的延迟，因空闲等待造成资源浪费。
发明内容
本发明的目的是提供一种磁盘节能调度方法，以实现降低延迟，并减少资源浪费。
为解决上述技术问题，本发明提供一种磁盘节能调度方法，该方法包括：
对云储存的存储池设定承载区间；
将存储池中所有磁盘划分为工作区和准备区；
当存储池中工作区的工作能力低于承载区间的最低值时，主动执行准备区中的准备节点。
优选的，所述方法还包括：
当存储池中工作区的工作能力超出承载区间的最高值时，暂停工作区中运行频率低的工作节点，将存储池的资源分配给工作区中运行频率高的工作节点。
优选的，所述将存储池中所有磁盘划分为工作区和准备区之前，还包括：
采用内存预取机制建立元数据节点索引。
优选的，所述采用内存预取机制建立元数据节点索引，包括:
采用内存预取机制，将缓冲存储器cache和磁盘组成两层空间，并对所述缓冲存储器cache和磁盘建立元数据节点索引。
优选的，所述对所述缓冲存储器cache和磁盘建立元数据节点索引之后，还包括：
在内存中进行指令操作索引过程，依据元数据节点索引产生指向磁盘的索引；
根据指令操作的操作信息计算指令操作的资源用量，撤销无用的冗余资源。
优选的，所述指令操作的操作信息包括建立、删除或者冗余。
优选的，所述方法还包括：
接收存储请求操作，向工作区请求存储资源；
当存储池中工作区无法向存储请求操作提供服务时，向准备区请求存储资源。
本发明所提供的一种磁盘节能调度方法，对云储存的存储池设定承载区间；将存储池中所有磁盘划分为工作区和准备区；当存储池中工作区的工作能力低于承载区间的最低值时，主动执行准备区中的准备节点。可见，该方法依据内存下的磁盘阵列动态划分为工作区与准备区，并且工作区为主向用户分配资源，根据工作区的工作能力调度存储池的资源，即根据实时负载情况对磁盘进行动态的优化，当存储池中工作区的工作能力低于承载区间的最低值时，主动执行准备区中的准备节点，如此保证在基本服务的基础上，克服了因空闲等待所造成的资源浪费问题，也降低了因请求响应时间去唤醒节点而产生的延迟。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明所提供的一种磁盘节能调度方法的流程图。
具体实施方式
本发明的核心是提供一种磁盘节能调度方法，以实现降低延迟，并减少资源浪费。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的一种磁盘节能调度方法的流程图，该方法包括：
S11：对云储存的存储池设定承载区间；
其中，承载区间也称为目标区间，目标区间可以动态设定若干个动态子集，这个小分区可以划分大小根据不同的操作平台设定不同的阈值随任务进程而发生偏移。
S12：将存储池中所有磁盘划分为工作区和准备区；
其中，将存储池中所有磁盘划分为工作区和准备区之前，采用内存预取机制建立元数据节点索引。采用内存预取机制建立元数据节点索引的具体过程为：采用内存预取机制，将缓冲存储器cache和磁盘组成两层空间，并对缓冲存储器cache和磁盘建立元数据节点索引。
其中，对缓冲存储器cache和磁盘建立元数据节点索引之后，在内存中进行指令操作索引过程，依据元数据节点索引产生指向磁盘的索引；根据指令操作的操作信息计算指令操作的资源用量，撤销无用的冗余资源。撤销无用的冗余资源，这样在一定的限度内减少对磁盘的访问。并且计算优先度，在一个命令即操作指令完成后根据索引判断是否进行预取操作，这样在一定的限度内减少对磁盘的访问。
其中，指令操作的操作信息包括建立、删除或者冗余。
S13：当存储池中工作区的工作能力低于承载区间的最低值时，主动执行准备区中的准备节点。
其中，当存储池中工作区的工作能力超出承载区间的最高值时，暂停工作区中运行频率低的工作节点，将存储池的资源分配给工作区中运行频率高的工作节点。
可见，该方法依据内存下的磁盘阵列动态划分为工作区与准备区，并且工作区为主向用户分配资源，根据工作区的工作能力调度存储池的资源，即根据实时负载情况对磁盘进行动态的优化。当这个工作区当前工作能力超出界限的时候，就主动暂停一些运行频率低的节点，以确保当前工作能力仍然在设定的承载区间内，反之，当存储池中工作区的工作能力低于承载区间的最低值时，主动执行准备区中的准备节点，如此保证在基本服务的基础上，克服了因空闲等待所造成的资源浪费问题，也降低了因请求响应时间去唤醒节点而产生的延迟。
可选的，所述方法还包括以下步骤：
S21：接收存储请求操作，向工作区请求存储资源；
S22：当存储池中工作区无法向存储请求操作提供服务时，向准备区请求存储资源。
具体的，选择过程中，在工作区中检索如果满足要求，那么就会以最少的请求响应时间向用户调配资源，如果当前工作区间不足以向此请求提供服务，那么就要向准备区请求资源，目的是为了达到较高的负载均衡。而且，比较请求规模和准备区间剩余的能达到的能力的大小关系，确定工作区间剩余能力的最后的一个节点并及时更新负载水平和当前服务的内容资源。具体的，选定就绪区中节点计算请求的能力，并唤醒更新动态子集的要求，并且更新负载和当前的服务内容。当资源占用或资源释放之后，要对数据当前占用动态分布进行调整，检查目标区间工作区动态的更新，更新的依据是请求的命令占用的节点资源。
以上方法，更详细的，首先以存储池设定目标区间。目标区间体现出任务执行效率与节能目标之间一种权衡关系，这个值按照执行历史统计的数据，并且当这个资源池当前工作能力即工作区间的当前工作能力超出界限的时候，就主动暂停一些运行频率低的节点，以确保执行能力仍然在设定的目标区内；反之，当低于目标区间的时候时，就主动去执行一些准备的节点。这样就会保证基本服务的基础上，这样就克服了因空闲等待所造成的资源浪费问题，也降低了因请求响应时间去唤醒节点而产生的延迟。而且，目标区间可以动态设定若干个动态子集，这个小分区可以划分大小根据不同的操作平台设定不同的其阙值随任务进程而发生偏移。
其次，采用内存预取机制，将缓冲存储器cache和磁盘组成两层空间，并建立元数据节点指引。具体的，指令操作索引过程是在内存进行，并产生建立指向磁盘的索引，并且根据请求的操作，建立和删除或者冗余，并计算是否撤销对磁盘的影响，从而最大限度取出或者撤销无用的资源。而且，计算优先度，在一个命令完成后根据索引判断是否进行预取操作，这样在一定的限度内减少对磁盘的访问。
另外，对于资源的选择是负载均衡的调度目标，节能的基础上采用的是采用比较成熟的最小负载来选择节点为请求分配资源，目的是为了达到比较高的负载均衡。具体的，选择过程中，在工作区中检索如果满足要求，则以最少的请求响应时间向用户调配资源，如果当前工作区间不足以向此请求提供服务，则向准备区请求资源。
而且，比较请求规模和准备区间剩余的能达到的能力的大小关系，确定工作区间剩余能力的最后的一个节点并及时更新负载水平和当前服务的内容资源。具体的，选定就绪区中节点计算请求的能力，并唤醒更新动态子集的要求，并且更新负载和当前的服务内容。当资源占用或资源释放之后，要对数据当前占用动态分布进行调整，检查目标区间工作区动态的更新，更新的依据是请求的命令占用的节点资源。这样当资源利用空闲的时候可检查节点休眠，释放工作能力，当不够请求的时候，唤醒资源的节点，划分准备区间和工作区间。
综上，本发明所提供的一种磁盘节能调度方法，对云储存的存储池设定承载区间；将存储池中所有磁盘划分为工作区和准备区；当存储池中工作区的工作能力低于承载区间的最低值时，主动执行准备区中的准备节点。可见，该方法依据内存下的磁盘阵列动态划分为工作区与准备区，并且工作区为主向用户分配资源，根据工作区的工作能力调度存储池的资源，即根据实时负载情况对磁盘进行动态的优化，当存储池中工作区的工作能力低于承载区间的最低值时，主动执行准备区中的准备节点，如此保证在基本服务的基础上，克服了因空闲等待所造成的资源浪费问题，也降低了因请求响应时间去唤醒节点而产生的延迟。
以上对本发明所提供的一种磁盘节能调度方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.一种磁盘节能调度方法，其特征在于，包括：
对云储存的存储池设定承载区间；
将存储池中所有磁盘划分为工作区和准备区；
当存储池中工作区的工作能力低于承载区间的最低值时，主动执行准备区中的准备节点。
2.如权利要求1所述的方法，其特征在于，还包括：
当存储池中工作区的工作能力超出承载区间的最高值时，暂停工作区中运行频率低的工作节点，将存储池的资源分配给工作区中运行频率高的工作节点。
3.如权利要求1所述的方法，其特征在于，所述将存储池中所有磁盘划分为工作区和准备区之前，还包括：
采用内存预取机制建立元数据节点索引。
4.如权利要求3所述的方法，其特征在于，所述采用内存预取机制建立元数据节点索引，包括：
采用内存预取机制，将缓冲存储器cache和磁盘组成两层空间，并对所述缓冲存储器cache和磁盘建立元数据节点索引。
5.如权利要求4所述的方法，其特征在于，所述对所述缓冲存储器cache和磁盘建立元数据节点索引之后，还包括：
在内存中进行指令操作索引过程，依据元数据节点索引产生指向磁盘的索引；
根据指令操作的操作信息计算指令操作的资源用量，撤销无用的冗余资源。
6.如权利要求5所述的方法，其特征在于，所述指令操作的操作信息包括建立、删除或者冗余。
7.如权利要求1至6中任意一项所述的方法，其特征在于，还包括：
接收存储请求操作，向工作区请求存储资源；
当存储池中工作区无法向存储请求操作提供服务时，向准备区请求存储资源。
CN201510917954.3A 2015-12-10 2015-12-10 一种磁盘节能调度方法 Pending CN105353992A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510917954.3A CN105353992A (zh) 2015-12-10 2015-12-10 一种磁盘节能调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510917954.3A CN105353992A (zh) 2015-12-10 2015-12-10 一种磁盘节能调度方法

Publications (1)

Publication Number Publication Date
CN105353992A true CN105353992A (zh) 2016-02-24

Family

ID=55329970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510917954.3A Pending CN105353992A (zh) 2015-12-10 2015-12-10 一种磁盘节能调度方法

Country Status (1)

Country Link
CN (1) CN105353992A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110535811A (zh) * 2018-05-25 2019-12-03 中兴通讯股份有限公司 远端内存管理方法及系统、服务端、客户端、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219318A (zh) * 2014-09-15 2014-12-17 北京联创信安科技有限公司 一种分布式文件存储系统及方法
CN104573119A (zh) * 2015-02-05 2015-04-29 重庆大学 云计算中面向节能的Hadoop分布式文件系统存储策略

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219318A (zh) * 2014-09-15 2014-12-17 北京联创信安科技有限公司 一种分布式文件存储系统及方法
CN104573119A (zh) * 2015-02-05 2015-04-29 重庆大学 云计算中面向节能的Hadoop分布式文件系统存储策略

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
廖彬 等: "一种适应节能的云存储系统元数据动态建模与管理方法", 《小型微型计算机系统》 *
廖彬 等: "基于存储结构重配置的分布式存储系统节能算法", 《计算机研究与发展》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110535811A (zh) * 2018-05-25 2019-12-03 中兴通讯股份有限公司 远端内存管理方法及系统、服务端、客户端、存储介质
CN110535811B (zh) * 2018-05-25 2022-03-04 中兴通讯股份有限公司 远端内存管理方法及系统、服务端、客户端、存储介质

Similar Documents

Publication Publication Date Title
KR101629155B1 (ko) 전력-인식 스레드 스케줄링 및 프로세서들의 동적 사용
WO2021233261A1 (zh) 一种多任务动态资源调度方法
US10402114B2 (en) Information processing system, storage control apparatus, storage control method, and storage control program
CN102843419B (zh) 一种服务资源分配方法及系统
CN103412884B (zh) 一种异构存储介质下嵌入式数据库的管理方法
US20090150896A1 (en) Power control method for virtual machine and virtual computer system
CN112559182B (zh) 资源分配方法、装置、设备及存储介质
CN103179048B (zh) 云数据中心的主机QoS策略变换方法及系统
CN102868763A (zh) 一种云计算环境下虚拟web应用集群节能的动态调整方法
CN103810048A (zh) 一种面向资源利用最优的线程数量自动调整方法及装置
CN102158513A (zh) 一种服务器集群节能的方法、装置和服务器集群
CN101833512A (zh) 一种内存回收方法及其装置
US20150074677A1 (en) Load adaptive pipeline
CN103297499A (zh) 一种基于云平台的调度方法及系统
KR102469927B1 (ko) 분할 메모리 관리장치 및 방법
US20230325082A1 (en) Method for setting up and expanding storage capacity of cloud without disruption of cloud services and electronic device employing method
CN102685219B (zh) San存储系统中通过动态扩容提高存储资源利用率的方法
CN103491151A (zh) 一种云计算资源的调度方法、装置及云计算平台
CN109040156B (zh) 一种基于容器云的软负载资源处理方法及装置
CN111177032A (zh) 缓存空间申请方法、系统、装置及计算机可读存储介质
JP2019021185A (ja) 情報処理装置、情報処理システム、情報処理装置制御方法及び情報処理装置制御プログラム
US20100205306A1 (en) Grid computing system, management apparatus, and method for managing a plurality of nodes
CN105353992A (zh) 一种磁盘节能调度方法
Dabbagh et al. Online assignment and placement of cloud task requests with heterogeneous requirements
JP5692355B2 (ja) コンピュータシステム、制御システム、制御方法および制御プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160224