CN102404399B - 一种云存储资源模糊动态分配方法 - Google Patents
一种云存储资源模糊动态分配方法 Download PDFInfo
- Publication number
- CN102404399B CN102404399B CN201110366644.9A CN201110366644A CN102404399B CN 102404399 B CN102404399 B CN 102404399B CN 201110366644 A CN201110366644 A CN 201110366644A CN 102404399 B CN102404399 B CN 102404399B
- Authority
- CN
- China
- Prior art keywords
- memory device
- user
- storage
- memory
- resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 230000008569 process Effects 0.000 claims description 5
- 238000012550 audit Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 6
- 230000008685 targeting Effects 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种云存储资源模糊动态分配方法，本发明通过实时检测云中各存储设备状态信息，并依据云存储状态信息与用户存储请求资源参数，实现云存储资源模糊动态均衡分配，提高云存储系统的效率。通过学习、计算各存储资源的命中模糊可能性，将用户数据依据存储及备份数量选择相应的物理存储设备，并对此进行登记。该存储分配机制能有效动态均衡各存储设备负载，优化资源存取效率。
Description
技术领域
本发明涉及一种计算机云存储应用技术领域, 具体地说是设计一种云存储资源模糊动态分配机制，优化云资源存取效率，均衡存储设备负载，提高管理能力的一种云存储资源模糊动态分配方法。
背景技术
随着web 2.0技术的发展和成熟，大量数据以指数级增长的方式出现在互联网上，传统的存储方式为应对这种信息的爆炸式增长速度，需购买大量的存储设备，付出巨大的维护和管理代价，仍不能有效存储和管理这些资源。云存储技术的出现能很好地解决这个问题。云存储通过集群应用、网格技术或分布式文件系统等功能，将网络中大量不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。云存储系统中所有存储设备对用户来说都是完全透明的，任何经过授权的用户只需通过云存储提供商提供的接口，就能对云存储系统进行数据访问，实现数据的读、写操作。使用云存储，用户前期不必对存储设备进行投资，不需关心设备的型号、传输协议，更不必对存储设备进行状态监测，管理和维护。云存储采用按需付费模式，用户仅对自己使用的部分付费。作为海量数据管理的一种优良解决方案，云存储应具有对海量存储的可管理性、性能可扩展性、容量可扩展性及安全性等特征。一种优良的云存储资源分配机制必需满足以上特征的，同时为提高存储的效率，存储管理系统必须具有动态实时均衡各物理存储设备的能力，否则将会导致部分存储设备过载，部分欠载。本发明提出的云存储资源模糊动态分配机制就是一种优良的分配机制。
发明内容
本发明的目的是提供一种云存储资源模糊动态分配方法。
本发明的目的是按以下方式实现的，通过设计一种新的云存储资源模糊动态分配机制，动态均衡各云物理存储设备的使用，提高云端资源存取效率，假设有A、B、C、D 四台存储设备，动态分配步骤如下：
1）存储设备A接收用户存储请求，并审核用户权限，包括是否经过授权、要求存储空间是否大于剩余的用户购买的存储空间、用户要求的I/O速度和安全性是否高于用户所购买的服务协议，若审核通过，将用户存储请求信息发送给存储设备C，否则，拒绝该请求，要求用户修改请求信息；
2）存储设备B实时检测各存储设备状态，包括剩余存储空间、存储率、I/O速度、网络带宽、网络延迟、设备安全性，监测过程采用“推”和“拉”两种模式的结合，存储设备B周期性从各存储设备“拉”其状态信息，当在存储设备有触发事件发生时将其状态信息主动“推” 给存储设备Ｂ，这里的触发事件指是否有新的存储设备加入或退出；是否存储设备存储率超过某一阈值；存储空间大小是否发生变化；
3）存储设备Ｃ接收到存储设备Ａ发送来的用户请求信息后，向存储设备Ｂ请求各存储设备状态信息，根据机器学习技术，以各存储设备状态信息和用户请求信息为输入，计算出各存储设备适合存储该请求资源的模糊隶属度大小并选择模糊隶属度大的若干设备作为输出，通知被选中的存储设备分配存储空间给用户，用户上传资源采用并行上传方式，各存储设备同时存储该资源，存储完成后，模糊隶属度最大的设备中的资源标记为主资源，其它的标记为备份；
4）存储设备D保存所有元数据，包括文件名、文件对应主资源存储位置，备份数，备份资源存储位置，当用户请求读写数据时，用户先和存储设备D联络，存储设备D告知用户应该和哪些存储设备联系，随后用户直接与存储设备连接，进行读写操作，避免存储设备D成为瓶颈，用户读写采用并行下载方式，提高读写速度，且能有效保持数据一致性；
5）对于模糊隶属度的计算，主要考虑存储设备的剩余存储空间和存储率，网络延迟和网络带宽作为次要考虑，前提为存储设备满足用户请求中的I/O速度和设备安全性要求，假定存储设备i的剩余存储空间、存储率、网络延迟和网络带宽分别表示为RemainSpace(i)、StorageRate(i)、Delay(i)和BandWidth(i)，用户请求存储空间表示为RequestSpace，平均存储率表示为AverageStoragerate，则各存储设备的模糊隶属度计算如下：
其中A、B、C为三个因素的权重，且三者之和为1，将模糊隶属度范围限制在[0,1]内，将I/O速度和设备安全性分成等级，方便用户设置请求信息。
本发明具有的优点：
1. 实时监测存储设备的状态，当存储设备出现宕机等不良情况时，能够及时发现，进行补救措施；
2. 将存储设备状态信息和用户请求信息作为输入，运用模糊学习方法科学计算寻找存储最优策略，实现全局各存储设备负载均衡，避免空间浪费，并能有效应对存储高峰期；
3. 并行下载和并行上传有效提高I/O速度和网络带宽利用率，并保证数据一致性。
附图说明
图1是动态分配云存储设备过程图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
本发明的云存储资源模糊动态分配方法,方法步骤如下：
1）实时监测各存储设备的状态信息（剩余存储空间、存储率、I/O速度、网络带宽、网络延迟、设备安全性等），并结合用户存储请求信息，实现两种信息的同步管理；
2）设备状态信息与用户存储请求参数信息（存储空间，I/O速度，备份数，安全性要求等）作为属性值，运用模糊学习技术，学习该次各存储设备请求命中模糊可能性，据此计算该次各存储备被选中的模糊次数及存储块数，实现数据物理存储，并记录相关信息，更新设备状态信息；
3）实时监测各存储设备状态信息时采用“推”和“拉”两种模式的结合。
实施例
假设有A、B、C、D 四台存储设备，动态分配步骤如下：
1）设备A接收用户存储请求，并审核用户权限（是否经过授权、要求存储空间是否大于剩余的用户购买的存储空间、用户要求的I/O速度和安全性是否高于用户所购买的服务协议等），若审核通过，将用户存储请求信息发送给设备C。否则，拒绝该请求，要求用户修改请求信息；
2）设备B实时检测各存储设备状态（包括剩余存储空间、存储率、I/O速度、网络带宽、网络延迟、设备安全性等）。监测过程采用“推”和“拉”两种模式的结合。设备B周期性从各存储设备“拉”其状态信息，当在存储设备有触发事件发生时将其状态信息主动“推” 给设备Ｂ。这里的触发事件指如有新的存储设备加入或退出；存储设备存储率超过某一阈值；存储空间大小发生变化等；
3）设备Ｃ接收到设备Ａ发送来的用户请求信息后，向设备Ｂ请求各存储设备状态信息，根据机器学习技术，以各设备状态信息和用户请求信息为输入，计算出各存储设备适合存储该请求资源的模糊隶属度大小并选择模糊隶属度大的若干设备作为输出。通知被选中的存储设备分配存储空间给用户，用户上传资源采用并行上传方式，各存储设备同时存储该资源。存储完成后，模糊隶属度最大的设备中的资源标记为主资源，其它的标记为备份；
4）设备D保存所有元数据（文件名、文件对应主资源存储位置，备份数，备份资源存储位置等），当用户请求读写数据时，用户先和设备D联络，设备D告知用户应该和哪些存储设备联系，随后用户直接与存储设备连接，进行读写操作，避免设备D成为瓶颈。用户读写采用并行下载方式，提高读写速度，且能有效保持数据一致性；
5）对于模糊隶属度的计算，主要考虑存储设备的剩余存储空间，和存储率，网络延迟和网络带宽作为次要考虑，前提为存储设备满足用户请求中的I/O速度和设备安全性要求。存储设备i的剩余存储空间、存储率、网络延迟和网络带宽分别表示为RemainSpace(i)、StorageRate(i)、Delay(i)和BandWidth(i)。用户请求存储空间表示为RequestSpace，平均存储率表示为AverageStoragerate。则各存储设备的模糊隶属度计算如下：
其中A、B、C为三个因素的权重，且三者之和为1，将模糊隶属度范围限制在[0,1]内，将I/O速度和设备安全性分成等级，方便用户设置请求信息。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (1)
1.一种云存储资源模糊动态分配方法, 其特征在于包括A、B、C、D 四台存储设备，动态分配步骤如下：
1）存储设备A接收用户存储请求，并审核用户权限，包括是否经过授权，要求存储空间是否大于剩余的用户购买的存储空间和用户要求的I/O速度和安全性是否高于用户所购买的服务协议，若审核通过，将用户存储请求信息发送给存储设备C，否则，拒绝该请求，要求用户修改存储请求信息；
2）存储设备B实时检测各存储设备状态，包括剩余存储空间,存储率，I/O速度，网络带宽，网络延迟和设备安全性，监测过程采用“推”和“拉”两种模式的结合，存储设备B周期性从各存储设备“拉”其状态信息，当在存储设备有触发事件发生时将其状态信息主动“推” 给存储设备Ｂ，这里的触发事件指是否有新的存储设备加入或退出；存储设备存储率是否超过某一阈值；存储空间大小是否发生变化；
３）存储设备Ｃ接收到存储设备Ａ发送来的用户存储请求信息后，向存储设备Ｂ请求各存储设备状态信息，根据机器学习技术，以各存储设备状态信息和用户存储请求信息为输入，计算出各存储设备适合存储该请求资源的模糊隶属度大小并选择模糊隶属度大的若干设备作为输出，通知被选中的存储设备分配存储空间给用户，用户上传资源采用并行上传方式，各存储设备同时存储该资源，存储完成后，模糊隶属度最大的设备中的资源标记为主资源，其它的标记为备份；
4）存储设备D保存所有元数据，包括文件名、文件对应主资源存储位置，备份数，备份资源存储位置，当用户请求读写数据时，用户先和存储设备D联络，存储设备D告知用户应该和哪些存储设备联系，随后用户直接与存储设备连接，进行读写操作，避免存储设备D成为瓶颈，用户读写采用并行下载方式，提高读写速度，且能有效保持数据一致性；
5）对于模糊隶属度的计算，主要考虑存储设备的剩余存储空间和存储率，网络延迟和网络带宽作为次要考虑，前提为存储设备满足用户存储请求中的I/O速度和设备安全性要求，存储设备i的剩余存储空间、存储率、网络延迟和网络带宽分别表示为RemainSpace(i)、StorageRate(i)、Delay(i)和BandWidth(i)，用户请求存储空间表示为RequestSpace，平均存储率表示为AverageStoragerate，则各存储设备的模糊隶属度计算如下：
其中A、B、C为三个因素的权重，且三者之和为1，将模糊隶属度范围限制在[0,1]内，将I/O速度和设备安全性分成等级，方便用户设置存储请求信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110366644.9A CN102404399B (zh) | 2011-11-18 | 2011-11-18 | 一种云存储资源模糊动态分配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110366644.9A CN102404399B (zh) | 2011-11-18 | 2011-11-18 | 一种云存储资源模糊动态分配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102404399A CN102404399A (zh) | 2012-04-04 |
| CN102404399B true CN102404399B (zh) | 2014-07-16 |
Family
ID=45886179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110366644.9A Expired - Fee Related CN102404399B (zh) | 2011-11-18 | 2011-11-18 | 一种云存储资源模糊动态分配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102404399B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102830967B (zh) * | 2012-08-03 | 2015-03-25 | 福建富士通信息软件有限公司 | 一种餐饮云平台系统 |
| CN102917052A (zh) * | 2012-10-18 | 2013-02-06 | 曙光信息产业(北京)有限公司 | 一种云计算系统中资源分配的方法 |
| CN102932443A (zh) * | 2012-10-29 | 2013-02-13 | 苏州两江科技有限公司 | 基于hdfs集群的分布式云存储系统 |
| CN103023963B (zh) * | 2012-10-31 | 2017-03-08 | 浪潮集团有限公司 | 一种用于云存储资源优化分配的方法 |
| WO2014100978A1 (zh) * | 2012-12-25 | 2014-07-03 | 华为技术有限公司 | 一种数据备份方法、装置和系统 |
| US9063669B2 (en) | 2013-04-09 | 2015-06-23 | International Business Machines Corporation | Self-detecting storage bottleneck while handling sequential I/O operations |
| CN103491191A (zh) * | 2013-09-30 | 2014-01-01 | 深圳市龙视传媒有限公司 | 一种个人网盘空间容量扩充方法及系统 |
| CN104717247A (zh) * | 2013-12-13 | 2015-06-17 | 中国电信股份有限公司 | 对云存储系统中存储资源的动态调度方法和系统 |
| CN104202384A (zh) * | 2014-08-27 | 2014-12-10 | 四川长虹电器股份有限公司 | 一种分布式文件系统的文件上传及查找方法 |
| CN104778014B (zh) * | 2015-01-27 | 2017-11-10 | 福建爱特点信息科技有限公司 | 一种数据存储方法及系统 |
| CN104657087B (zh) * | 2015-02-04 | 2018-01-12 | 杭州华为数字技术有限公司 | 一种虚拟磁盘映射的方法、装置及系统 |
| CN106341474B (zh) * | 2016-09-06 | 2019-11-05 | 上海海事大学 | 一种基于icn与sdn网络的资料管控中心及其内容管理方法 |
| CN106506254B (zh) * | 2016-09-20 | 2019-04-16 | 北京理工大学 | 一种大规模流式数据处理系统的瓶颈节点检测方法 |
| CN106713465B (zh) * | 2016-12-27 | 2020-11-17 | 北京锐安科技有限公司 | 一种分布式存储系统 |
| CN107819841A (zh) * | 2017-11-02 | 2018-03-20 | 郑州云海信息技术有限公司 | 基于nas共享的动态资源分配方法、装置、设备和存储介质 |
| CN108449411B (zh) * | 2018-03-19 | 2020-09-11 | 河南工业大学 | 一种随机需求下面向异质费用的云资源调度方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101370030A (zh) * | 2008-09-24 | 2009-02-18 | 东南大学 | 基于内容复制的资源负载平衡方法 |
| CN101799797A (zh) * | 2010-03-05 | 2010-08-11 | 中国人民解放军国防科学技术大学 | 分布式存储系统中用户磁盘配额的动态分配方法 |
| CN101902498A (zh) * | 2010-07-02 | 2010-12-01 | 广州鼎甲计算机科技有限公司 | 一种基于网络技术的存储云备份方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002065275A1 (en) * | 2001-01-11 | 2002-08-22 | Yottayotta, Inc. | Storage virtualization system and methods |
| US20040122938A1 (en) * | 2002-12-19 | 2004-06-24 | Messick Randall E. | Method and apparatus for dynamically allocating storage array bandwidth |
| US8010753B2 (en) * | 2005-09-28 | 2011-08-30 | International Business Machines Corporation | Systems and methods for temporarily transferring use of portions of partitioned memory between host computers |
-
2011
- 2011-11-18 CN CN201110366644.9A patent/CN102404399B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101370030A (zh) * | 2008-09-24 | 2009-02-18 | 东南大学 | 基于内容复制的资源负载平衡方法 |
| CN101799797A (zh) * | 2010-03-05 | 2010-08-11 | 中国人民解放军国防科学技术大学 | 分布式存储系统中用户磁盘配额的动态分配方法 |
| CN101902498A (zh) * | 2010-07-02 | 2010-12-01 | 广州鼎甲计算机科技有限公司 | 一种基于网络技术的存储云备份方法 |
Non-Patent Citations (2)
| Title |
|---|
| 《云计算的资源管理方法研究》;李婷等;《电脑与电信》;20100131(第1期);第62-64页 * |
| 李婷等.《云计算的资源管理方法研究》.《电脑与电信》.2010,(第1期), |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102404399A (zh) | 2012-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102404399B (zh) | 一种云存储资源模糊动态分配方法 | |
| CN108090225B (zh) | 数据库实例的运行方法、装置、系统及计算机可读存储介质 | |
| Li et al. | Optimal resource provisioning for cloud computing environment | |
| CN103368867B (zh) | 高速缓存经网络与辅助站点通信的对象的方法和系统 | |
| CN109684074A (zh) | 物理机资源分配方法及终端设备 | |
| CN103595780B (zh) | 基于消重的云计算资源调度方法 | |
| CN109284068A (zh) | 数据存储管理系统、方法及物件 | |
| CN107967180B (zh) | 基于numa虚拟化环境下资源全局亲和度网络优化方法和系统 | |
| CN104519119A (zh) | 虚拟化的云环境中异构迁移会话的反应性节流 | |
| CN104301389A (zh) | 一种云计算系统的能效监控和管理方法与系统 | |
| CN104092756A (zh) | 一种基于dht机制的云存储系统的资源动态分配方法 | |
| CN104102693A (zh) | 对象处理方法和装置 | |
| JP5385912B2 (ja) | 算出装置、システム管理装置、算出方法およびプログラム | |
| CN107566133A (zh) | 一种资源计费方法、装置及平台 | |
| CN111737168A (zh) | 一种缓存系统、缓存处理方法、装置、设备及介质 | |
| CN110007870A (zh) | 一种存储设备写请求处理方法及相关装置 | |
| CN115543938A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| Gill et al. | Dynamic cost-aware re-replication and rebalancing strategy in cloud system | |
| CN107343023A (zh) | 一种Mesos管理集群中的资源分配方法、装置及电子设备 | |
| CN103440182A (zh) | 自适应分配方法及装置、自适应副本一致性方法 | |
| Rodero-Merino et al. | Using clouds to scale grid resources: An economic model | |
| CN113835616A (zh) | 应用的数据管理方法、系统和计算机设备 | |
| CN104281545B (zh) | 一种数据读取方法及设备 | |
| CN109412865A (zh) | 一种虚拟网络资源分配方法、系统及电子设备 | |
| Chikhaoui et al. | A cost model for hybrid storage systems in a cloud federations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140716 Termination date: 20161118 |