CN103747085A - 云计算操作系统下一种存储资源调度算法 - Google Patents

云计算操作系统下一种存储资源调度算法 Download PDF

Info

Publication number
CN103747085A
CN103747085A CN201410011533.XA CN201410011533A CN103747085A CN 103747085 A CN103747085 A CN 103747085A CN 201410011533 A CN201410011533 A CN 201410011533A CN 103747085 A CN103747085 A CN 103747085A
Authority
CN
China
Prior art keywords
queue
disk
user
storage resources
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410011533.XA
Other languages
English (en)
Inventor
于辉
郭锋
李新虎
刘俊朋
刘正伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201410011533.XA priority Critical patent/CN103747085A/zh
Publication of CN103747085A publication Critical patent/CN103747085A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了云计算操作系统下一种存储资源调度算法,通过对用户申请的业务类别和用户已有的存储资源历史调度信息的收集和分析,并基于存储资源节点信息的分析,为用户自动调度发现最优化的存储资源节点,提高物理存储资源利用率和存储节点命中效率,保证了云计算操作系统的高可用性、稳定性,为用户自动选择调度最优化的存储资源,保证为用户查找最优的存储资源节点(物理磁盘)。

Description

云计算操作系统下一种存储资源调度算法
技术领域
本发明涉及云计算操作系统中调度系统领域,具体涉及一种存储资源调度算法。
技术背景
当前,云计算逐渐被行业认可,云数据中心操作系统逐渐实现并付诸于实践。云数据中心中存储资源利用率的提升,对于云计算操作系统给的健壮性和高效性起着非常关键的作用。
大多数同类系统的存储资源调度方法没有对对用户已有的调度信息进行充分的分析和比较,资源调度策略盲目、调度方式不合理,存在着存储资源利用率不高的问题。
发明内容
本发明要解决的技术问题是:为了保证云计算操作系统的高可用性、稳定性,提出了云计算操作系统下一种存储资源调度算法。
本发明所采用的技术方案为:
云计算操作系统下一种存储资源调度算法,通过对用户申请的业务类别和用户已有的存储资源历史调度信息的收集和分析,并基于存储资源节点信息的分析,为用户自动调度发现最优化的存储资源节点,提高物理存储资源利用率和存储节点命中效率。
注:存储资源节点指的是物理磁盘资源。
用户完成操作后,需要及时更新存储节点信息记录模块和用户历史调度信息记录模块中的信息记录。
所述算法分为13个步骤,具体如下:
1)用户登陆云计算操作系统门户,输入该次申请的业务类别、虚拟机配置详单;
2)业务类别识别模块判断该业务是否为新业务类别,若是,则进入步骤3);若否,则进入步骤4);
3)根据得到的配置信息,从资源池中随机选择一个未被分配的物理磁盘资源进行配置;完成后,进入步骤13);
4)进入用户存储资源调度记录模块,获取该业务类别下已有用户的存储资源历史调度信息记录;分析并获得与该业务类别相关的磁盘读写队列C,并基于磁盘被调度次数降序排列C={C1,C2,…,Cn},C1即标志读写次数最多的物理磁盘的信息;
5)依次取C中的记录Ci,与用户申请的虚拟机配置详单中的存储资源值M做差值,得到一差值结果队列;
6)判断得到的差值队列中的值是否全为负值;若否,进入步骤7);否则,进入步骤8)。
7)将上述差值队列中第一个大于等于0的值(磁盘读写次数最小,且由于队列是按次数降序排列,在保证写入次数最少的前提下,优先使用调用次数大的磁盘)所对应的磁盘信息记录至最优磁盘队列中{[C1,M1],…,[Ci,Mi]}(格式为[磁盘信息,写入量]),在保证写入次数最少的前提下,优先使用调用次数高的磁盘,最大化利用物理磁盘资源;接着进入步骤12);
8)判断该业务相关的磁盘队列是否为空,若否,则取上一步得到的差值队列中值最大的记录Li(负值),将其对应的Ci所对应的磁盘信息记录信息—[Ci的磁盘信息,Ci的值] 记录至最优磁盘队列中,接着进入步骤9);否则,进入步骤 11);
9)更新该业务相关磁盘队列信息,即删掉上一步中已经记录至最优队列中的磁盘信息,得新的与该业务相关的磁盘队列Cnew;
10)将最新得到的磁盘队列中的记录与前述步骤中得到的差值记录Li的绝对值作差,得到一新的差值队列,进入步骤6);
11)已有业务相关磁盘队列不符合要求,在资源池中随机选择一未被分配的物理资源进行配置,进入步骤13);
12)根据最优磁盘队列中记录的信息:{[磁盘信息,写入量],[]…[]},为用户配置物理磁盘资源;
13)记录此次存储资源调度信息,并更新用户存储资源调度模块中的记录,完成此次算法调用。
本发明的有益效果为:
本发明为一种基于业务类别相关的存储资源调度算法,基于业务类别相关的存储资源调度算法,通过对用户申请的业务类别特征和用户已有的存储资源历史调度信息的综合考虑,并基于云数据中心存储资源(节点)相关信息的分析,为用户自动选择调度最优化的存储资源。本算法能够保证为用户查找最优的存储资源节点(物理磁盘)。
附图说明
图1为本发明算法流程示意图。
具体实施方式
下面参照附图,通过具体实施方式对本发明进一步说明:
云计算操作系统下一种存储资源调度算法,通过对用户申请的业务类别和用户已有的存储资源历史调度信息的收集和分析,并基于存储资源节点信息的分析,为用户自动调度发现最优化的存储资源节点,提高物理存储资源利用率和存储节点命中效率。
所述算法分为13个步骤,具体如下:
1)用户登陆云计算操作系统门户,输入该次申请的业务类别、虚拟机配置详单;
2)业务类别识别模块判断该业务是否为新业务类别,若是,则进入步骤3);若否,则进入步骤4);
3)根据得到的配置信息,从资源池中随机选择一个未被分配的物理磁盘资源进行配置;完成后,进入步骤13);
4)进入用户存储资源调度记录模块,获取该业务类别下已有用户的存储资源历史调度信息记录;分析并获得与该业务类别相关的磁盘读写队列C,并基于磁盘被调度次数降序排列C={C1,C2,…,Cn},C1即标志读写次数最多的物理磁盘的信息;
5)依次取C中的记录Ci,与用户申请的虚拟机配置详单中的存储资源值M做差值,得到一差值结果队列;
6)判断得到的差值队列中的值是否全为负值;若否,进入步骤7);否则,进入步骤8);
7)将上述差值队列中第一个大于等于0的值(磁盘读写次数最小,且由于队列是按次数降序排列,在保证写入次数最少的前提下,优先使用调用次数大的磁盘)所对应的磁盘信息记录至最优磁盘队列中{[C1,M1],…,[Ci,Mi]}(格式为[磁盘信息,写入量]),在保证写入次数最少的前提下,优先使用调用次数高的磁盘,最大化利用物理磁盘资源;接着进入步骤12);
8)判断该业务相关的磁盘队列是否为空,若否,则取上一步得到的差值队列中值最大的记录Li(负值),将其对应的Ci所对应的磁盘信息记录信息—[Ci的磁盘信息,Ci的值] 记录至最优磁盘队列中,接着进入步骤9);否则,进入步骤 11);
9)更新该业务相关磁盘队列信息,即删掉上一步中已经记录至最优队列中的磁盘信息,得新的与该业务相关的磁盘队列Cnew;
10)将最新得到的磁盘队列中的记录与前述步骤中得到的差值记录Li的绝对值作差,得到一新的差值队列,进入步骤6);
11)已有业务相关磁盘队列不符合要求,在资源池中随机选择一未被分配的物理资源进行配置,进入步骤13);
12)根据最优磁盘队列中记录的信息:{[磁盘信息,写入量],[]…[]},为用户配置物理磁盘资源;
13)记录此次存储资源调度信息,并更新用户存储资源调度模块中的记录,完成此次算法调用。
假设:与用户业务i对应的基于被写入次数降序排列磁盘信息队列为C = {C1,C2,C3,C4,C5},其中C1=2 ,C2=4,C3=3,C4=5,C5 =7(即{2,4,3,5,7});
当用户申请的磁盘大小为M = 3时:C 中值Ci与M作差得{-1,1,0,2,4},则取第二个数值1对应的磁盘信息(第一个非空的磁盘信息)放入最优队列{[C2,3] },结束;
当用户申请的磁盘大小为M =8 时:C 中值Ci与M作差得{-6,-4,-5,-3,-1},则
1、首先取队列中最大的值Li= -1对应的磁盘信息放入最优队列中,即{[C5,7]};
2、然后更新业务相关的磁盘队列Cnew ={C1,C2,C3,C4 },将Cnew与Li的绝对值1作差得队列{1,3,2,4},取第一个数值1对应的磁盘信息(同样,也是第一个非空的磁盘信息)放入最优队列中,即最终得到的最优队列为{[C5,7],[C1,1]}。

Claims (2)

1.云计算操作系统下一种存储资源调度算法,其特征在于:通过对用户申请的业务类别和用户已有的存储资源历史调度信息的收集和分析,并基于存储资源节点信息的分析,为用户自动调度发现最优化的存储资源节点,提高物理存储资源利用率和存储节点命中效率。
2.根据权利要求1所述的云计算操作系统下一种存储资源调度算法,其特征在于:所述算法分为13个步骤,具体如下:
1)用户登陆云计算操作系统门户,输入该次申请的业务类别、虚拟机配置详单;
2)业务类别识别模块判断该业务是否为新业务类别,若是,则进入步骤3);若否,则进入步骤4);
3)根据得到的配置信息,从资源池中随机选择一个未被分配的物理磁盘资源进行配置;完成后,进入步骤13);
4)进入用户存储资源调度记录模块,获取该业务类别下已有用户的存储资源历史调度信息记录;分析并获得与该业务类别相关的磁盘读写队列C,并基于磁盘被调度次数降序排列C={C1,C2,…,Cn},C1为标志读写次数最多的物理磁盘的信息;
5)依次取C中的记录Ci,与用户申请的虚拟机配置详单中的存储资源值M做差值,得到一差值结果队列;
6)判断得到的差值队列中的值是否全为负值;若否,进入步骤7);否则,进入步骤8);
7)将上述差值队列中第一个大于等于0的值所对应的磁盘信息记录至最优磁盘队列中{[C1,M1],…,[Ci,Mi]},格式为[磁盘信息,写入量],在保证写入次数最少的前提下,优先使用调用次数高的磁盘,最大化利用物理磁盘资源;接着进入步骤12);
8)判断该业务相关的磁盘队列是否为空,若否,则取上一步得到的差值队列中值最大的记录Li,将其对应的Ci所对应的磁盘信息记录信息—[Ci的磁盘信息,Ci的值] 记录至最优磁盘队列中,接着进入步骤9);否则,进入步骤 11);
9)更新该业务相关磁盘队列信息,即删掉上一步中已经记录至最优队列中的磁盘信息,得新的与该业务相关的磁盘队列Cnew;
10)将最新得到的磁盘队列中的记录与前述步骤中得到的差值记录Li的绝对值作差,得到一新的差值队列,进入步骤6);
11)已有业务相关磁盘队列不符合要求,在资源池中随机选择一未被分配的物理资源进行配置,进入步骤13);
12)根据最优磁盘队列中记录的信息:{[磁盘信息,写入量],[]…[]},为用户配置物理磁盘资源;
13)记录此次存储资源调度信息,并更新用户存储资源调度模块中的记录,完成此次算法调用。
CN201410011533.XA 2014-01-10 2014-01-10 云计算操作系统下一种存储资源调度算法 Pending CN103747085A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410011533.XA CN103747085A (zh) 2014-01-10 2014-01-10 云计算操作系统下一种存储资源调度算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410011533.XA CN103747085A (zh) 2014-01-10 2014-01-10 云计算操作系统下一种存储资源调度算法

Publications (1)

Publication Number Publication Date
CN103747085A true CN103747085A (zh) 2014-04-23

Family

ID=50504071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410011533.XA Pending CN103747085A (zh) 2014-01-10 2014-01-10 云计算操作系统下一种存储资源调度算法

Country Status (1)

Country Link
CN (1) CN103747085A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868004A (zh) * 2015-01-23 2016-08-17 中兴通讯股份有限公司 一种基于云计算的业务系统的调度方法及调度装置
CN108429704A (zh) * 2017-02-14 2018-08-21 中国移动通信集团吉林有限公司 一种节点资源分配方法及装置
CN108897626A (zh) * 2018-07-20 2018-11-27 浪潮电子信息产业股份有限公司 一种资源调度方法及服务器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324534A (zh) * 2012-03-22 2013-09-25 阿里巴巴集团控股有限公司 作业调度方法及其调度器
CN103401938A (zh) * 2013-08-07 2013-11-20 西安电子科技大学 分布式云架构下基于业务特性的资源分配系统及其方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324534A (zh) * 2012-03-22 2013-09-25 阿里巴巴集团控股有限公司 作业调度方法及其调度器
CN103401938A (zh) * 2013-08-07 2013-11-20 西安电子科技大学 分布式云架构下基于业务特性的资源分配系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘林东: "一种云存储资源调度算法研究", 《广东第二师范学院学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868004A (zh) * 2015-01-23 2016-08-17 中兴通讯股份有限公司 一种基于云计算的业务系统的调度方法及调度装置
CN105868004B (zh) * 2015-01-23 2020-10-16 南京中兴新软件有限责任公司 一种基于云计算的业务系统的调度方法及调度装置
CN108429704A (zh) * 2017-02-14 2018-08-21 中国移动通信集团吉林有限公司 一种节点资源分配方法及装置
CN108429704B (zh) * 2017-02-14 2022-01-25 中国移动通信集团吉林有限公司 一种节点资源分配方法及装置
CN108897626A (zh) * 2018-07-20 2018-11-27 浪潮电子信息产业股份有限公司 一种资源调度方法及服务器

Similar Documents

Publication Publication Date Title
CN103324534B (zh) 作业调度方法及其调度器
CN109756364B (zh) 一种基于日志分析的微服务性能优化系统和分析方法
US7788237B2 (en) Method and system for tracking changes in a document
CN103577454B (zh) 一种文件合并方法和装置
CN103701934A (zh) 一种资源优化调度方法及虚拟机宿主机优化选择方法
CN105741134A (zh) 跨数据源的营销人群在市场营销中应用的方法及装置
CN110058808A (zh) 减少在存储分级层之间重排数据的数据迁移时间的装置
US11016730B2 (en) Transforming a transactional data set to generate forecasting and prediction insights
CN107016103A (zh) 一种构建用户画像的方法及装置
CN104717247A (zh) 对云存储系统中存储资源的动态调度方法和系统
CN109947363A (zh) 一种分布式存储系统的数据缓存方法
CN104298550A (zh) 一种面向Hadoop的动态调度方法
US20140156610A1 (en) Self-governed contention-aware approach to scheduling file defragmentation
CN109144734A (zh) 一种容器资源配额分配方法和装置
CN102402401A (zh) 一种磁盘io请求队列调度的方法
CN103647824A (zh) 一种存储资源优化调度发现算法
CN103747085A (zh) 云计算操作系统下一种存储资源调度算法
CN107423110A (zh) 一种基于libvirt的虚拟机实时监测方法及其装置
CN107783900A (zh) 一种高效的服务器系统测试管理系统及方法
CN107220115A (zh) 一种基于云平台的任务瓶颈确定方法及装置
CN116244085A (zh) Kubernetes集群容器组调度方法、装置及介质
CN109522273A (zh) 一种实现数据写入的方法及装置
CN103647823A (zh) 一种云计算操作系统下的存储资源调度方法
CN103258047A (zh) 一种面向药企作业成本控制数据仓库的数据组织方法
US8201145B2 (en) System and method for workflow-driven data storage

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20140423

RJ01 Rejection of invention patent application after publication