CN103023963B - 一种用于云存储资源优化分配的方法 - Google Patents

一种用于云存储资源优化分配的方法 Download PDF

Info

Publication number
CN103023963B
CN103023963B CN201210424399.7A CN201210424399A CN103023963B CN 103023963 B CN103023963 B CN 103023963B CN 201210424399 A CN201210424399 A CN 201210424399A CN 103023963 B CN103023963 B CN 103023963B
Authority
CN
China
Prior art keywords
resource
cloud
storage
application program
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210424399.7A
Other languages
English (en)
Other versions
CN103023963A (zh
Inventor
刘维霞
刘强
于治楼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Group Co Ltd filed Critical Inspur Group Co Ltd
Priority to CN201210424399.7A priority Critical patent/CN103023963B/zh
Publication of CN103023963A publication Critical patent/CN103023963A/zh
Application granted granted Critical
Publication of CN103023963B publication Critical patent/CN103023963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于云存储资源优化分配的方法,属于云存储资源管理领域,其结构依次连接的需要存储资源的应用程序、运资源代理、云中间件、存储资源池和云系统服务器;当应用程序向云系统服务器请求资源时,云系统服务器根据资源的请求和供给对云存储资源进行分配,当资源的供需大于请求时,云系统服务器按照优先级来回应应用程序的请求;当资源的供求数量相等时,根据帕累托最优理论进行资源分配。本发明的一种用于云存储资源优化分配的方法和现有技术相比,可提高存储资源利用率、简化存储资源管理、降低了存储成本。

Description

一种用于云存储资源优化分配的方法
技术领域
本发明涉及一种云存储资源管理领域,具体地说是一种用于云存储资源优化分配的方法。
背景技术
云存储以其灵活、简便、高可用性等特点,正在被越来越多的企业采用。伴随着云存储的普及,云存储管理成为目前存储领域不可或缺的技术。云存储管理是一类应用程序,它们监控和管理物理及逻辑层上的存储资源。云存储资源管理能够监控存储系统的健康状况、可用性、性能表现以及配置等情况。云存储资源管理还包括容量和配置管理、数据、设备和介质的迁移管理以及事件报警和策略管理等。传统的存储资源管理中对存储容量分配是静态的,即按照用户的估计,预先把存储资源划分成分区或卷,然后以分区和卷为单位分配给用户。为了满足对数据的扩展需要,用户估计的资源往往会有很大的余量。这些存储余量在使用过程中会长期处于闲置状态,并且不能被其他用户使用,这必然会导致造成存储利用率很低。存储利用率低是传统存储资源管理的一大缺点。
存储虚拟化技术就是将存储网络中各种分散的、异构的存储设备映射成一个虚拟存储池,并将虚拟存储池的访问接口提供给应用程序。虚拟存储池可以包含一个或多个虚拟逻辑卷,这些虚拟逻辑卷有单一的连续编址。在应用程序发出存储空间请求时,分配到的存储空间就是这些虚拟逻辑卷,应用程序只与分配给它的虚拟逻辑卷联系,而不需弄清楚数据存在哪个物理存储设备上。存储虚拟化技术将底层存储设备进行抽象化统一管理,向服务器层屏蔽存储设备硬件的特殊性,而只保留其统一的逻辑特性,从而实现了存储系统集中、统一而又方便的管理。
存储资源随需分配技术是一种存储资源管理及虚拟化的方法。通过该技术,存储管理人员将实际的物理存储空间分配给有实时需要的应用程序。该技术能依照应用程序的需求自动提高容量至默认上限值,可以减少物理存储设备的数量,降低成本。实现存储资源按需分配最关键的是存储资源的调度,而存储资源的调度正是云存储管理领域目前面临的一个难点。
发明内容
本发明的技术任务是提供一种可提高存储资源利用率、简化存储资源管理、降低存储成本的一种用于云存储资源优化分配的方法。
本发明的技术任务是按以下方式实现的,该方法应用于包括依次连接的需要存储资源的应用程序、云资源代理、云中间件、存储资源池和云系统服务器;当应用程序向云系统服务器请求资源时,云系统服务器根据资源的请求和供给对云存储资源进行分配,当资源的供给大于请求时,云系统服务器按照优先级来回应应用程序的请求;当资源的供求数量相等时,根据帕累托最优理论进行资源分配;
具体步骤为:
(1)、应用程序向云系统服务器发出存储资源的请求,经云资源代理将应用程序的请求量化为资源调度参数,然后查找,选择和聚合资源,在远程资源上初始化应用,然后将获得的结果返回给应用程序;云中间件主要负责存储资源的处理、控制,并充当云资源代理与存储资源池交互的桥梁;存储资源池主要负责云存储资源的统一管理,并与云中间件进行通信,确定价格模型,记录资源使用情况;
(2)、云资源代理和云中间件一起为应用程序服务,利用帕累托最优理论进行资源的最优分配方案;
(3)、存储资源池的价格策略是由应用程序的资源请求和云系统服务器提供的资源共同决定的,当资源的需求量和供给量相等时,会出现价格均衡;采用帕累托最优理论进行资源的最优分配方案;同时采用动态的分配策略;
(4)、当云系统服务器的存储资源可以满足应用程序需求时,按照先来先服务的原则直接对存储资源进行分配,在此期间每当有添有新的存储资源,或有存储资源被分给应用程序,存储资源池的数据都会被刷新一次;当云系统服务器的存储资源不能满足应用程序需求时,便使用帕累托最优理论算法,使最后一个发出请求的应用程序获最优的响应。
通过帕累托最优理论效用函数来确定应用程序的请求是否是最优的;
A、B、C分别代表三种存储资源,有m个应用程序发出了请求,并且第2到m个应用程序分配了资源,在这m-1个应用程序的效用既定的情况下,使应用程序1的效用最大;效用函数的公式如下:
Ui=αAi bi1Bi bi2Ci bi3,i=1,2,……,m,m为自然数;
bi1+bi2+bi3=1;
公式中a代表方程的线性参数,bi1、bi2、bi3分别为A、B、C三种存储资源的分配系数,随机分配;
待求解方程式为:
三种存储资源A、B、C的总量以及应用程序2到m的效用需求都是已知的;求U1的最大值;在待求解方程式中分别对A1到Am、B1到Bm、C1到Cm行求导,获得如下方程式:
求解上述方程式,即可得A1、B1、C1,从而可以求得U1的值,由帕累托最优理论可知,此时的U1即是最大值,即此时应用程序的配置状态也是最优的。
根据云计算的虚拟化技术,把网络中各种不同的存储设备整合到一个存储资源池,将存储系统中的其他设备也按照物理属性不同归于不同的存储资源池,形成多级存储资源池结构,其中一个存储资源池跟云系统服务器交互,维护其他存储资源池负载平衡、分配任务。
在存储资源数据分配过程中,根据存储资源数据形式的不同,将存储资源数据分到不同的虚拟存储层,然后在进行存储资源数据写入时,将不同虚拟存储层的存储资源数据写入不同的物理存储介质,确保应用程序可以访问它们需要的性能水平存储层。
本发明的一种用于云存储资源优化分配的方法具有以下优点:
1、采用自动存储分层技术,减少存储资源浪费,提高应用程序的响应时间;
2、采用帕累托最优理论,实现资源的最优分配,提高了存储利用率;
3、按应用程序的请求,动态地分配存储资源,减少了闲置存储容量,不需要额外增加硬件成本,就能获得更多的存储空间,降低了存储成本。
附图说明
下面结合附图对本发明进一步说明。
附图1为一种用于云存储资源优化分配的方法的原理框图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种用于云存储资源优化分配的方法作以下详细地说明。
实施例:
本发明的一种用于云存储资源优化分配的方法,该方法应用于包括依次连接的需要存储资源的应用程序、云资源代理、云中间件、存储资源池和云系统服务器;当应用程序向云系统服务器请求资源时,云系统服务器根据资源的请求和供给对云存储资源进行分配,当资源的供给大于请求时,云系统服务器按照优先级来回应应用程序的请求;当资源的供求数量相等时,根据帕累托最优理论进行资源分配;
具体步骤为:
(1)、应用程序向云系统服务器发出存储资源的请求,经云资源代理将应用程序的请求量化为资源调度参数,然后查找,选择和聚合资源,在远程资源上初始化应用,然后将获得的结果返回给应用程序;云中间件主要负责存储资源的处理、控制,并充当云资源代理与存储资源池交互的桥梁;存储资源池主要负责云存储资源的统一管理,并与云中间件进行通信,确定价格模型,记录资源使用情况;
(2)、云资源代理和云中间件一起为应用程序服务,利用帕累托最优理论进行资源的最优分配方案;
(3)、存储资源池的价格策略是由应用程序的资源请求和云系统服务器提供的资源共同决定的,当资源的需求量和供给量相等时,会出现价格均衡;采用帕累托最优理论进行资源的最优分配方案;同时采用动态的分配策略;
(4)、当云系统服务器的存储资源可以满足应用程序需求时,按照先来先服务的原则直接对存储资源进行分配,在此期间每当有添有新的存储资源,或有存储资源被分给应用程序,存储资源池的数据都会被刷新一次;当云系统服务器的存储资源不能满足应用程序需求时,便使用帕累托最优理论算法,使最后一个发出请求的应用程序获最优的响应。
通过帕累托最优理论效用函数来确定应用程序的请求是否是最优的;
A、B、C分别代表三种存储资源,有m个应用程序发出了请求,并且第2到m个应用程序分配了资源,在这m-1个应用程序的效用既定的情况下,使应用程序1的效用最大;效用函数的公式如下:
Ui=αAi bi1Bi bi2Ci bi3,i=1,2,……,m,m为自然数;
bi1+bi2+bi3=1;
公式中a代表方程的线性参数,bi1、bi2、bi3分别为A、B、C三种存储资源的分配系数,随机分配;
待求解方程式为:
三种存储资源A、B、C的总量以及应用程序2到m的效用需求都是已知的;求U1的最大值;在待求解方程式中分别对A1到Am、B1到Bm、C1到Cm行求导,获得如下方程式:
求解上述方程式,即可得A1、B1、C1,从而可以求得U1的值,由帕累托最优理论可知,此时的U1即是最大值,即此时应用程序的配置状态也是最优的。
根据云计算的虚拟化技术,把网络中各种不同的存储设备整合到一个存储资源池,将存储系统中的其他设备也按照物理属性不同归于不同的存储资源池,形成多级存储资源池结构,其中一个存储资源池跟云系统服务器交互,维护其他存储资源池负载平衡、分配任务。
在存储资源数据分配过程中,根据存储资源数据形式的不同,将存储资源数据分到不同的虚拟存储层,然后在进行存储资源数据写入时,将不同虚拟存储层的存储资源数据写入不同的物理存储介质,确保应用程序可以访问它们需要的性能水平存储层。
本发明的一种用于云存储资源优化分配的方法,除说明书所述的技术特征外,均为本专业技术人员的已知技术。

Claims (3)

1.一种用于云存储资源优化分配的方法,其特征在于,该方法应用于包括依次连接的需要存储资源的应用程序、云资源代理、云中间件、存储资源池和云系统服务器的架构;当应用程序向云系统服务器请求资源时,云系统服务器根据资源的请求和供给对云存储资源进行分配,当资源的供给大于请求时,云系统服务器按照优先级来回应应用程序的请求;当资源的供求数量相等时,根据帕累托最优理论进行资源分配;
具体步骤为:
(1)、应用程序向云系统服务器发出存储资源的请求,经云资源代理将应用程序的请求量化为资源调度参数,然后查找,选择和聚合资源,在远程资源上初始化应用,然后将获得的结果返回给应用程序;云中间件主要负责存储资源的处理、控制,并充当云资源代理与存储资源池交互的桥梁;存储资源池主要负责云存储资源的统一管理,并与云中间件进行通信,确定价格模型,记录资源使用情况;
(2)、云资源代理和云中间件一起为应用程序服务,利用帕累托最优理论进行资源的最优分配方案;
(3)、存储资源池的价格策略是由应用程序的资源请求和云系统服务器提供的资源共同决定的,当资源的需求量和供给量相等时,会出现价格均衡;采用帕累托最优理论进行资源的最优分配方案;同时采用动态的分配策略;
(4)、当云系统服务器的存储资源可以满足应用程序需求时,按照先来先服务的原则直接对存储资源进行分配,在此期间每当有添有新的存储资源,或有存储资源被分给应用程序,存储资源池的数据都会被刷新一次;当云系统服务器的存储资源不能满足应用程序需求时,便使用帕累托最优理论算法,使最后一个发出请求的应用程序获最优的响应;
通过帕累托最优理论效用函数来确定应用程序的请求是否是最优的;
A、B、C分别代表三种存储资源,有m个应用程序发出了请求,并且第2到m个应用程序分配了资源,在这m-1个应用程序的效用既定的情况下,使应用程序1的效用最大;效用函数的公式如下:
Ui=αAi bi1Bi bi2C i bi3,i=1,2,……,m,m为自然数;
bi1+bi2+bi3=1;
公式中a代表方程的线性参数,bi1、bi2、bi3分别为A、B、C三种存储资源的分配系数,随机分配;
待求解方程式为:
L = U 1 ( A 1 B 1 C 1 ) + Σ i = 2 m λ i [ U i ( A i B i C i ) - U i ‾ ] ;
三种存储资源A、B、C的总量以及应用程序2到m的效用需求都是已知的;求U1的最大值;在待求解方程式中分别对A1到Am、B1到Bm、C1到Cm行求导,获得如下方程式:
∂ L ∂ A 1 = ∂ U 1 ∂ A 1 + Σ i = 2 m λ i ∂ U i ∂ A 1 ... ... ∂ L ∂ A m = ∂ U 1 ∂ A m + Σ i = 2 m λ i ∂ U i ∂ A m ∂ L ∂ B 1 = ∂ U 1 ∂ B 1 + Σ i = 2 m λ i ∂ U i ∂ B 1 ... ... ∂ L ∂ B m = ∂ U 1 ∂ B m + Σ i = 2 m λ i ∂ U i ∂ B m ∂ L ∂ C 1 = ∂ U 1 ∂ C 1 + Σ i = 2 m λ i ∂ U i ∂ C 1 ... ... ∂ L ∂ C m = ∂ U 1 ∂ C m + Σ i = 2 m λ i ∂ U i ∂ C m ;
求解上述方程式,即可得A1、B1、C1,从而可以求得U1的值,由帕累托最优理论可知,此时的U1即是最大值,即此时应用程序的配置状态也是最优的。
2.根据权利要求1所述的一种用于云存储资源优化分配的方法,其特征在于根据云计算的虚拟化技术,把网络中各种不同的存储设备整合到一个存储资源池,将存储系统中的其他设备也按照物理属性不同归于不同的存储资源池,形成多级存储资源池结构,其中一个存储资源池跟云系统服务器交互,维护其他存储资源池负载平衡、分配任务。
3.根据权利要求1所述的一种用于云存储资源优化分配的方法,其特征在于在存储资源数据分配过程中,根据存储资源数据形式的不同,将存储资源数据分到不同的虚拟存储层,然后在进行存储资源数据写入时,将不同虚拟存储层的存储资源数据写入不同的物理存储介质,确保应用程序可以访问它们需要的性能水平存储层。
CN201210424399.7A 2012-10-31 2012-10-31 一种用于云存储资源优化分配的方法 Active CN103023963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210424399.7A CN103023963B (zh) 2012-10-31 2012-10-31 一种用于云存储资源优化分配的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210424399.7A CN103023963B (zh) 2012-10-31 2012-10-31 一种用于云存储资源优化分配的方法

Publications (2)

Publication Number Publication Date
CN103023963A CN103023963A (zh) 2013-04-03
CN103023963B true CN103023963B (zh) 2017-03-08

Family

ID=47972089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210424399.7A Active CN103023963B (zh) 2012-10-31 2012-10-31 一种用于云存储资源优化分配的方法

Country Status (1)

Country Link
CN (1) CN103023963B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369038B (zh) * 2013-07-03 2016-05-18 中国联合网络通信集团有限公司 平台即服务PaaS管理平台及方法
CN103491191A (zh) * 2013-09-30 2014-01-01 深圳市龙视传媒有限公司 一种个人网盘空间容量扩充方法及系统
CN105531696B (zh) * 2013-10-09 2020-03-31 英特尔公司 用于管理云存储的技术
CN103795804A (zh) 2014-02-24 2014-05-14 华为技术有限公司 存储资源调度方法及存储计算系统
CN104092756B (zh) * 2014-07-09 2017-07-28 东南大学 一种基于dht机制的云存储系统的资源动态分配方法
CN104219226B (zh) * 2014-08-12 2017-10-27 重庆大学 一种确定云平台中最优通信代理节点数目的方法
CN105306597B (zh) * 2015-11-19 2019-05-14 国家电网公司 一种云计算服务质量控制方法
CN105824919B (zh) * 2016-03-16 2018-04-13 吉林大学 一种数据查询操作定价的动态调整方法及装置
CN108122062B (zh) * 2016-11-30 2021-11-26 阿里巴巴集团控股有限公司 产品集合中资源的分配以及建立产品、产品集合中资源的评估模型的方法和装置
CN106850589B (zh) * 2017-01-11 2020-08-18 杨立群 一种管控云计算终端和云服务器运作的方法
CN109218356B (zh) * 2017-06-30 2021-10-08 伊姆西Ip控股有限责任公司 管理服务器上有状态应用的方法和设备
CN107590000B (zh) * 2017-09-06 2020-11-10 中国科学院上海高等研究院 二次随机资源管理方法/系统、计算机存储介质及设备
CN110109622A (zh) * 2019-04-28 2019-08-09 平安科技(深圳)有限公司 一种基于中间件的数据处理方法和相关装置
CN114072767B (zh) * 2019-09-11 2024-02-27 阿里巴巴集团控股有限公司 资源调度、申请与定价方法、设备、系统及存储介质
CN113360340A (zh) * 2021-05-27 2021-09-07 维沃移动通信有限公司 数据处理方法和数据处理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1378841A1 (en) * 2002-07-02 2004-01-07 BRITISH TELECOMMUNICATIONS public limited company Method and apparatus for routing optimisation
CN1975679A (zh) * 2005-10-27 2007-06-06 国际商业机器公司 用于优化分段资源分配的方法和设备
CN102404399A (zh) * 2011-11-18 2012-04-04 浪潮电子信息产业股份有限公司 一种云存储资源模糊动态分配方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1378841A1 (en) * 2002-07-02 2004-01-07 BRITISH TELECOMMUNICATIONS public limited company Method and apparatus for routing optimisation
CN1975679A (zh) * 2005-10-27 2007-06-06 国际商业机器公司 用于优化分段资源分配的方法和设备
CN102404399A (zh) * 2011-11-18 2012-04-04 浪潮电子信息产业股份有限公司 一种云存储资源模糊动态分配方法

Also Published As

Publication number Publication date
CN103023963A (zh) 2013-04-03

Similar Documents

Publication Publication Date Title
CN103023963B (zh) 一种用于云存储资源优化分配的方法
CN104317742B (zh) 一种优化空间管理的自动精简配置方法
CN109684074B (zh) 物理机资源分配方法及终端设备
CN102929707B (zh) 并行任务动态分配方法
CN106385329B (zh) 资源池的处理方法、装置和设备
CN108337109A (zh) 一种资源分配方法及装置和资源分配系统
CN105446816B (zh) 一种面向异构平台的能耗优化调度方法
CN103473334A (zh) 数据存储、查询方法及系统
CN102917077A (zh) 云计算系统中的资源分配方法
Stergiou et al. Digital twin intelligent system for industrial IoT-based big data management and analysis in cloud
CN106233276A (zh) 网络可访问块存储装置的协调准入控制
CN107346264A (zh) 一种虚拟机负载均衡调度的方法、装置和服务器设备
CN102708003A (zh) 一种云平台下的资源分配方法
CN102521014A (zh) 虚拟机的部署方法及装置
CN103095788A (zh) 一种基于网络拓扑的云资源调度策略
CN103078965A (zh) 虚拟机的ip地址管理方法
CN114356543A (zh) 一种基于Kubernetes的多租户机器学习任务资源调度方法
WO2021259246A1 (zh) 资源调度方法和装置、电子设备、计算机可读存储介质
CN106126340A (zh) 一种跨数据中心云计算系统的规约器选择方法
CN104518897A (zh) 虚拟防火墙的资源管理优化处理方法和装置
Yang et al. Multi-policy-aware MapReduce resource allocation and scheduling for smart computing cluster
US10007559B1 (en) Virtual tiering
CN109992536A (zh) 数据处理方法、固态硬盘以及计算机设备
CN106354673A (zh) 基于多dma队列的数据传输方法和装置
CN106126319A (zh) 中央处理器资源分配方法和计算节点

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20180807

Address after: 250100 S06 tower, 1036, Chao Lu Road, hi tech Zone, Ji'nan, Shandong.

Patentee after: Shandong wave cloud Mdt InfoTech Ltd

Address before: No. 1036, Shun Ya Road, Ji'nan high tech Zone, Shandong Province

Patentee before: Inspur Group Co., Ltd.

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: 250100 No. 1036 Tidal Road, Jinan High-tech Zone, Shandong Province, S01 Building, Tidal Science Park

Patentee after: Inspur cloud Information Technology Co., Ltd

Address before: 250100 Ji'nan science and technology zone, Shandong high tide Road, No. 1036 wave of science and Technology Park, building S06

Patentee before: SHANDONG LANGCHAO YUNTOU INFORMATION TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address