CN102685219A - San存储系统中通过动态扩容提高存储资源利用率的方法 - Google Patents
San存储系统中通过动态扩容提高存储资源利用率的方法 Download PDFInfo
- Publication number
- CN102685219A CN102685219A CN2012101269410A CN201210126941A CN102685219A CN 102685219 A CN102685219 A CN 102685219A CN 2012101269410 A CN2012101269410 A CN 2012101269410A CN 201210126941 A CN201210126941 A CN 201210126941A CN 102685219 A CN102685219 A CN 102685219A
- Authority
- CN
- China
- Prior art keywords
- capacity
- logical volume
- dynamic
- storage resources
- san
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System (AREA)
Abstract
本发明公开了一种SAN存储系统中通过动态扩容提高存储资源利用率的方法，属于SAN存储系统技术领域，其结构包括SAN存储系统，在SAN存储系统中，基于Linux系统的逻辑卷管理机制中的动态扩容技术，将有限的存储资源根据实际利用的存储容量进行动态的分配和回收，提高系统存储资源的利用率，体系结构包括：存储容量初始分配模块、存储资源使用监控模块、存储容量动态分配和回收模块。本发明的SAN存储系统中通过动态扩容提高存储资源利用率的方法和现有技术相比，具有设计合理、结构简单、易于加工、体积小、使用方便、一物多用等特点。
Description
技术领域
本发明涉及一种SAN存储系统技术领域，具体地说是一种SAN存储系统中通过动态扩容提高存储资源利用率的方法。
背景技术
数据量的扩大导致存储空间需求不断增加，而存储资源使用不是立即就全部使用完，而是逐步增加或者螺旋型增加，因此碰到用户存储资源实际使用的较少，但是整体容量已经分配完，导致新的存储资源的分配申请不能满足而需要增加新的存储资源的情况，如何提高现有存储资源的使用率，延缓增加新的存储资源的时间，从而降低成本，在是企业发展面临的难题之一。
发明内容
本发明的技术任务是提供一种提供给用户比物理存储资源大的存储容量，提高用户资源使用率，节约成本的SAN存储系统中通过动态扩容提高存储资源利用率的方法。
本发明的技术任务是按以下方式实现的，包括SAN存储系统，在SAN存储系统中，基于Linux系统的逻辑卷管理（Logical Volume Manager，简称LVM）机制中的动态扩容技术，将有限的存储资源根据实际利用的存储容量进行动态的分配和回收，提高系统存储资源的利用率，体系结构包括：存储容量初始分配模块、存储资源使用监控模块、存储容量动态分配和回收模块；存储容量初始分配模块统计SAN存储系统中的存储资源，即所有SAN存储系统中的逻辑卷组（Volume Group，简称VG）的容量，然后根据客户端申请的存储容量，在逻辑卷组上创建逻辑卷（Logical Volume，简称LV）；存储资源使用监控模块监控客户端的读写请求，统计并记录逻辑卷实际使用容量的动态分配或回收的容量增加速度，以及逻辑卷容量的动态分配模式；存储容量动态分配和回收模块根据存储资源使用监控模块的监控结果进行逻辑卷容量的动态调整，进行逻辑卷容量的动态增加、减少或保持不变。
存储容量初始分配模块目标端分配的逻辑卷的容量是客户端申请的存储容量的一部分，比较的比例和减少的比例可以根据SAN存储系统存储资源整体利用率的要求进行设置，要求高的存储容量利用率就设置一个低的比较比例和高的分配容量减少比例。
存储资源使用监控模块中，所述的逻辑卷的实际使用容量增加速度是指逻辑卷从前一次动态分配或回收后或初始时至达到需要再次进行动态分配或回收的时间；所述的逻辑卷容量的动态分配模式包括：容量增加、容量回收。
存储容量动态分配和回收模块当确定需要进行逻辑卷容量的调整后，首先，根据逻辑卷容量的动态分配模式历史记录决定是否进行逻辑卷容量的增加、减少或保持不变；若为逻辑卷容量增加的请求则总是执行；若为逻辑卷容量减少的请求，则根据逻辑卷容量分配模式历史记录决定是否执行：如果逻辑卷容量的历史分配模式是一直增加，而且这次是请求减少容量，那么本次容量的减少不执行；如果逻辑卷容量的历史分配模式前一次或多次是增加，而且这次是请求减少容量，那么本次容量的减少不执行；如果逻辑卷容量的历史分配模式前一次或多次是减少，而且这次是请求减少容量，那么执行本次容量的减少；其次，确定是否执行逻辑卷容量增加或减少后，根据逻辑卷容量增加或减少速度的历史记录确定本次增加或减少的逻辑卷容量大小，并调整需要增加阈值或需要减少阈值；当客户端读写请求的容量超过逻辑卷的分配容量或一定比例时，将逻辑卷进行动态扩容，增加逻辑卷容量的大小根据逻辑卷的实际使用容量增长速度确定，增加速度越快，本次增加的容量越大；扩容后逻辑卷的分配容量为原来的分配容量与新增加的容量之和；当客户端删除数据，导致逻辑卷实际使用容量减少时，进行逻辑卷容量的动态减少，减少容量的大小根据逻辑卷的当前实际使用容量和分配容量决定，当逻辑卷的实际使用容量超过分配容量的一定比例而且是在进行容量的减少时，将逻辑卷的分配容量减少一定的比例。
存储容量动态分配和回收模块中，需要增加阈值为逻辑卷实际使用容量超过了分配容量的一定比例，需要减少阈值为逻辑卷实际使用容量少于分配容量的一定比例。
存储容量初始分配模块记录SAN存储系统中的逻辑卷组的容量及实际使用容量，客户端申请的逻辑卷的申请容量、分配容量及实际使用容量（初始时实际使用容量为0），逻辑卷容量前一次或多次分配或回收时间（包括初始分配时间）。
本发明的SAN存储系统中通过动态扩容提高存储资源利用率的方法，监控并统计目标端每个逻辑卷的容量增加或减少的模式历史记录，并逻辑卷实际使用容量与分配容量的关系，进行逻辑卷容量的动态增加或减少，从而提高系统存储资源的整体利用率；具有以下优点：可以用有限的存储容量满足用户大的多的存储容量的申请及使用，通过动态的分配和回收LV的容量，提高存储资源的利用率。解决了用户存储资源实际使用的较少，但是整体容量已经分配完，导致新的存储资源的分配申请不能满足而需要增加新的存储资源的问题。可以提高现有存储资源的使用率，延缓增加新的存储资源的时间，购买价格更低的产品或新的性能较高的产品，从而降低成本。因而，具有很好的推广使用价值。
附图说明
下面结合附图对本发明进一步说明。
附图1为SAN存储系统中通过动态扩容提高存储资源利用率的方法的系统框图。
具体实施方式
参照说明书附图和具体实施例对本发明的SAN存储系统中通过动态扩容提高存储资源利用率的方法作以下详细地说明。
实施例：
本发明的SAN存储系统中通过动态扩容提高存储资源利用率的方法, 其结构包括SAN存储系统，在SAN存储系统中，基于Linux系统的逻辑卷管理（Logical Volume Manager，简称LVM）机制中的动态扩容技术，将有限的存储资源根据实际利用的存储容量进行动态的分配和回收，提高系统存储资源的利用率，体系结构包括：存储容量初始分配模块、存储资源使用监控模块、存储容量动态分配和回收模块；存储容量初始分配模块统计SAN存储系统中的存储资源，即所有SAN存储系统中的逻辑卷组（Volume Group，简称VG）的容量，然后根据客户端申请的存储容量，在逻辑卷组上创建逻辑卷（Logical Volume，简称LV）；存储资源使用监控模块监控客户端的读写请求，统计并记录逻辑卷实际使用容量的动态分配或回收的容量增加速度，以及逻辑卷容量的动态分配模式；存储容量动态分配和回收模块根据存储资源使用监控模块的监控结果进行逻辑卷容量的动态调整，进行逻辑卷容量的动态增加、减少或保持不变。
存储容量初始分配模块目标端分配的逻辑卷的容量是客户端申请的存储容量的一部分，比较的比例和减少的比例可以根据SAN存储系统存储资源整体利用率的要求进行设置，要求高的存储容量利用率就设置一个低的比较比例和高的分配容量减少比例。
存储资源使用监控模块中，所述的逻辑卷的实际使用容量增加速度是指逻辑卷从前一次动态分配或回收后或初始时至达到需要再次进行动态分配或回收的时间；所述的逻辑卷容量的动态分配模式包括：容量增加、容量回收。
存储容量动态分配和回收模块当确定需要进行逻辑卷容量的调整后，首先，根据逻辑卷容量的动态分配模式历史记录决定是否进行逻辑卷容量的增加、减少或保持不变；若为逻辑卷容量增加的请求则总是执行；若为逻辑卷容量减少的请求，则根据逻辑卷容量分配模式历史记录决定是否执行：如果逻辑卷容量的历史分配模式是一直增加，而且这次是请求减少容量，那么本次容量的减少不执行；如果逻辑卷容量的历史分配模式前一次或多次是增加，而且这次是请求减少容量，那么本次容量的减少不执行；如果逻辑卷容量的历史分配模式前一次或多次是减少，而且这次是请求减少容量，那么执行本次容量的减少；其次，确定是否执行逻辑卷容量增加或减少后，根据逻辑卷容量增加或减少速度的历史记录确定本次增加或减少的逻辑卷容量大小，并调整需要增加阈值或需要减少阈值；当客户端读写请求的容量超过逻辑卷的分配容量或一定比例时，将逻辑卷进行动态扩容，增加逻辑卷容量的大小根据逻辑卷的实际使用容量增长速度确定，增加速度越快，本次增加的容量越大；扩容后逻辑卷的分配容量为原来的分配容量与新增加的容量之和；当客户端删除数据，导致逻辑卷实际使用容量减少时，进行逻辑卷容量的动态减少，减少容量的大小根据逻辑卷的当前实际使用容量和分配容量决定，当逻辑卷的实际使用容量超过分配容量的一定比例而且是在进行容量的减少时，将逻辑卷的分配容量减少一定的比例。
存储容量动态分配和回收模块中，需要增加阈值为逻辑卷实际使用容量超过了分配容量的一定比例，需要减少阈值为逻辑卷实际使用容量少于分配容量的一定比例。
存储容量初始分配模块记录SAN存储系统中的逻辑卷组的容量及实际使用容量，客户端申请的逻辑卷的申请容量、分配容量及实际使用容量（初始时实际使用容量为0），逻辑卷容量前一次或多次分配或回收时间（包括初始分配时间）。
本发明的SAN存储系统中通过动态扩容提高存储资源利用率的方法，已经完整实现了存储系统中通过存储资源的动态分配和回收提高系统存储资源的利用率技术，可以用有限的存储容量满足用户大的多的存储容量的申请及使用，通过动态的分配和回收LV的容量，提高存储资源的利用率。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (6)
1.SAN存储系统中通过动态扩容提高存储资源利用率的方法，包括SAN存储系统，其特征在于在SAN存储系统中，基于Linux系统的逻辑卷管理机制中的动态扩容技术，将有限的存储资源根据实际利用的存储容量进行动态的分配和回收，提高系统存储资源的利用率，体系结构包括：存储容量初始分配模块、存储资源使用监控模块、存储容量动态分配和回收模块；存储容量初始分配模块统计SAN存储系统中的存储资源，即所有SAN存储系统中的逻辑卷组的容量，然后根据客户端申请的存储容量，在逻辑卷组上创建逻辑卷；存储资源使用监控模块监控客户端的读写请求，统计并记录逻辑卷实际使用容量的动态分配或回收的容量增加速度，以及逻辑卷容量的动态分配模式；存储容量动态分配和回收模块根据存储资源使用监控模块的监控结果进行逻辑卷容量的动态调整，进行逻辑卷容量的动态增加、减少或保持不变。
2.根据权利要求1所述的SAN存储系统中通过动态扩容提高存储资源利用率的方法，其特征在于存储容量初始分配模块目标端分配的逻辑卷的容量是客户端申请的存储容量的一部分，比较的比例和减少的比例可以根据SAN存储系统存储资源整体利用率的要求进行设置，要求高的存储容量利用率就设置一个低的比较比例和高的分配容量减少比例。
3.根据权利要求1所述的SAN存储系统中通过动态扩容提高存储资源利用率的方法，其特征在于存储资源使用监控模块中，所述的逻辑卷的实际使用容量增加速度是指逻辑卷从前一次动态分配或回收后或初始时至达到需要再次进行动态分配或回收的时间；所述的逻辑卷容量的动态分配模式包括：容量增加、容量回收。
4.根据权利要求1所述的SAN存储系统中通过动态扩容提高存储资源利用率的方法，其特征在于存储容量动态分配和回收模块当确定需要进行逻辑卷容量的调整后，首先，根据逻辑卷容量的动态分配模式历史记录决定是否进行逻辑卷容量的增加、减少或保持不变；若为逻辑卷容量增加的请求则总是执行；若为逻辑卷容量减少的请求，则根据逻辑卷容量分配模式历史记录决定是否执行：如果逻辑卷容量的历史分配模式是一直增加，而且这次是请求减少容量，那么本次容量的减少不执行；如果逻辑卷容量的历史分配模式前一次或多次是增加，而且这次是请求减少容量，那么本次容量的减少不执行；如果逻辑卷容量的历史分配模式前一次或多次是减少，而且这次是请求减少容量，那么执行本次容量的减少；其次，确定是否执行逻辑卷容量增加或减少后，根据逻辑卷容量增加或减少速度的历史记录确定本次增加或减少的逻辑卷容量大小，并调整需要增加阈值或需要减少阈值；当客户端读写请求的容量超过逻辑卷的分配容量或一定比例时，将逻辑卷进行动态扩容，增加逻辑卷容量的大小根据逻辑卷的实际使用容量增长速度确定，增加速度越快，本次增加的容量越大；扩容后逻辑卷的分配容量为原来的分配容量与新增加的容量之和；当客户端删除数据，导致逻辑卷实际使用容量减少时，进行逻辑卷容量的动态减少，减少容量的大小根据逻辑卷的当前实际使用容量和分配容量决定，当逻辑卷的实际使用容量超过分配容量的一定比例而且是在进行容量的减少时，将逻辑卷的分配容量减少一定的比例。
5.根据权利要求4所述的SAN存储系统中通过动态扩容提高存储资源利用率的方法，其特征在于存储容量动态分配和回收模块中，需要增加阈值为逻辑卷实际使用容量超过了分配容量的一定比例，需要减少阈值为逻辑卷实际使用容量少于分配容量的一定比例。
6.根据权利要求1所述的SAN存储系统中通过动态扩容提高存储资源利用率的方法，其特征在于存储容量初始分配模块记录SAN存储系统中的逻辑卷组的容量及实际使用容量，客户端申请的逻辑卷的申请容量、分配容量及实际使用容量，逻辑卷容量前一次或多次分配或回收时间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210126941.0A CN102685219B (zh) | 2012-04-27 | 2012-04-27 | San存储系统中通过动态扩容提高存储资源利用率的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210126941.0A CN102685219B (zh) | 2012-04-27 | 2012-04-27 | San存储系统中通过动态扩容提高存储资源利用率的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102685219A true CN102685219A (zh) | 2012-09-19 |
| CN102685219B CN102685219B (zh) | 2016-12-14 |
Family
ID=46816572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210126941.0A Active CN102685219B (zh) | 2012-04-27 | 2012-04-27 | San存储系统中通过动态扩容提高存储资源利用率的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102685219B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103064793A (zh) * | 2013-01-23 | 2013-04-24 | 浪潮(北京)电子信息产业有限公司 | 精简配置容量回收方法和系统 |
| CN105653373A (zh) * | 2016-02-25 | 2016-06-08 | 腾讯科技（深圳）有限公司 | 资源分配方法及装置 |
| CN109547537A (zh) * | 2018-11-05 | 2019-03-29 | 中国电子科技集团公司第二十八研究所 | 基于SAN存储共享卷实现openstack高可用的方法 |
| CN110191194A (zh) * | 2019-06-13 | 2019-08-30 | 华中科技大学 | 一种基于rdma网络的分布式文件系统数据传输方法和系统 |
| CN110333953A (zh) * | 2019-07-11 | 2019-10-15 | 中国工商银行股份有限公司 | 数据存储资源调度方法及装置 |
| CN110825308A (zh) * | 2018-08-07 | 2020-02-21 | 北京国双科技有限公司 | 数据空间管理方法及装置 |
| CN115442388A (zh) * | 2022-10-21 | 2022-12-06 | 四川省华存智谷科技有限责任公司 | 用于分布式存储集群利用率100%的扩容方法、装置及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101997918A (zh) * | 2010-11-11 | 2011-03-30 | 清华大学 | 异构san环境中的海量存储资源按需分配的实现方法 |
| CN102193814A (zh) * | 2010-03-09 | 2011-09-21 | 上海拜翰网络科技有限公司 | 嵌入式虚拟化内存动态分配方法及系统 |
| CN102207830A (zh) * | 2011-05-27 | 2011-10-05 | 杭州宏杉科技有限公司 | 一种缓存动态分配管理方法及装置 |
-
2012
- 2012-04-27 CN CN201210126941.0A patent/CN102685219B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102193814A (zh) * | 2010-03-09 | 2011-09-21 | 上海拜翰网络科技有限公司 | 嵌入式虚拟化内存动态分配方法及系统 |
| CN101997918A (zh) * | 2010-11-11 | 2011-03-30 | 清华大学 | 异构san环境中的海量存储资源按需分配的实现方法 |
| CN102207830A (zh) * | 2011-05-27 | 2011-10-05 | 杭州宏杉科技有限公司 | 一种缓存动态分配管理方法及装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103064793A (zh) * | 2013-01-23 | 2013-04-24 | 浪潮(北京)电子信息产业有限公司 | 精简配置容量回收方法和系统 |
| CN103064793B (zh) * | 2013-01-23 | 2015-10-28 | 浪潮(北京)电子信息产业有限公司 | 精简配置容量回收方法和系统 |
| CN105653373A (zh) * | 2016-02-25 | 2016-06-08 | 腾讯科技（深圳）有限公司 | 资源分配方法及装置 |
| WO2017144011A1 (zh) * | 2016-02-25 | 2017-08-31 | 腾讯科技（深圳）有限公司 | 资源分配方法及装置 |
| CN110825308A (zh) * | 2018-08-07 | 2020-02-21 | 北京国双科技有限公司 | 数据空间管理方法及装置 |
| CN110825308B (zh) * | 2018-08-07 | 2023-12-26 | 北京国双科技有限公司 | 数据空间管理方法及装置 |
| CN109547537A (zh) * | 2018-11-05 | 2019-03-29 | 中国电子科技集团公司第二十八研究所 | 基于SAN存储共享卷实现openstack高可用的方法 |
| CN110191194A (zh) * | 2019-06-13 | 2019-08-30 | 华中科技大学 | 一种基于rdma网络的分布式文件系统数据传输方法和系统 |
| CN110333953A (zh) * | 2019-07-11 | 2019-10-15 | 中国工商银行股份有限公司 | 数据存储资源调度方法及装置 |
| CN115442388A (zh) * | 2022-10-21 | 2022-12-06 | 四川省华存智谷科技有限责任公司 | 用于分布式存储集群利用率100%的扩容方法、装置及系统 |
| CN115442388B (zh) * | 2022-10-21 | 2023-01-06 | 四川省华存智谷科技有限责任公司 | 用于分布式存储集群利用率100%的扩容方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102685219B (zh) | 2016-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102685219A (zh) | San存储系统中通过动态扩容提高存储资源利用率的方法 | |
| WO2018119901A1 (zh) | 存储系统和固态硬盘 | |
| US9864759B2 (en) | System and method for providing scatter/gather data processing in a middleware environment | |
| CN104317742B (zh) | 一种优化空间管理的自动精简配置方法 | |
| US10394606B2 (en) | Dynamic weight accumulation for fair allocation of resources in a scheduler hierarchy | |
| CN102207830B (zh) | 一种缓存动态分配管理方法及装置 | |
| CN102123176B (zh) | 一种网络存储系统空间分配管理方法及装置 | |
| US20100082715A1 (en) | Reduced-Resource Block Thin Provisioning | |
| KR20140112717A (ko) | 키 값 기반 데이터 스토리지 시스템 및 이의 운용 방법 | |
| CN102810050A (zh) | 日志数据写入方法和日志系统 | |
| CN108089825B (zh) | 一种基于分布式集群的存储系统 | |
| CN102255962A (zh) | 一种分布式存储方法、装置和系统 | |
| CN103701920A (zh) | 云环境下配置虚拟应用服务器的方法 | |
| WO2017107015A1 (zh) | 存储空间的分配方法及存储设备 | |
| CN104717247A (zh) | 对云存储系统中存储资源的动态调度方法和系统 | |
| CN102520887A (zh) | 一种应用于云计算的存储空间配置与管理方法 | |
| CN105577572B (zh) | 基于预算限制自组织云任务执行时间最短化资源分配方法 | |
| JP6060276B2 (ja) | 監視レコード管理方法及びデバイス | |
| CN105242955A (zh) | 一种虚拟机磁盘输入输出调度方法及系统 | |
| WO2016029524A1 (zh) | 一种用于闪存的网络存储设备及其处理方法 | |
| US9043535B1 (en) | Minimizing application response time | |
| CN103685544A (zh) | 一种基于性能预估的客户端缓存分配方法和系统 | |
| CN104765572A (zh) | 一种节能的虚拟存储服务器系统及其调度方法 | |
| US10007559B1 (en) | Virtual tiering | |
| WO2010111906A1 (zh) | 一种刀片服务器及其业务调度方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |