CN102143206A - 集群存储系统中存储池的调整方法、装置及系统 - Google Patents
集群存储系统中存储池的调整方法、装置及系统 Download PDFInfo
- Publication number
- CN102143206A CN102143206A CN2010105947673A CN201010594767A CN102143206A CN 102143206 A CN102143206 A CN 102143206A CN 2010105947673 A CN2010105947673 A CN 2010105947673A CN 201010594767 A CN201010594767 A CN 201010594767A CN 102143206 A CN102143206 A CN 102143206A
- Authority
- CN
- China
- Prior art keywords
- storage pool
- storage
- memory cell
- distributed intelligence
- pool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 230000001105 regulatory effect Effects 0.000 abstract 2
- 238000005516 engineering process Methods 0.000 description 6
- 230000005012 migration Effects 0.000 description 5
- 238000013508 migration Methods 0.000 description 5
- 230000012292 cell migration Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种集群存储系统中存储池的调整方法、装置及系统，用于根据集群存储系统的访问需求自动调整存储池资源，其中该系统包括：第一存储池，包含有多个存储单元；第二存储池，包含有多个存储单元；监控模块，用于监控第一存储池中数据的实时访问情形，获取被访问数据在第一存储池中的第一分布信息；还用于监控第二存储池中数据的实时访问情形，获取被访问数据在第二存储池中的第二分布信息；调度模块，用于在第一分布信息高于为第一存储池预设的第一阈值时，将第二存储池中的存储单元迁移到第一存储池中。本发明的实施例根据集群存储系统的访问需求，在线调整各存储池的规模，改变各存储池的资源配置，达到了自动调整存储池资源的目的。
Description
技术领域
本发明涉及集群存储系统，尤其涉及一种集群存储系统中存储池的调整方法、装置及系统。
背景技术
如今集群存储系统所存储的数据量越来越大，对集群存储系统的性能要求也越来越高。为了满足集群存储系统的访问需求，通常操作是在集群存储系统系统中进行数据迁移，或者是根据集群存储系统的负载调整缓存参数来实现。
在集群存储系统中进行数据迁移，是把数据从一个性能低的存储池中拷贝到性能较高的存储池中，其中的存储池是多个存储单元的集合，各存储单元负责存储实际的数据。拷贝完成之后，再删除原来性能较低存储池中的数据，从而提高集群存储系统的性能。但是在整个数据迁移过程中，大量的拷贝数据严重降低了集群存储的性能。
根据集群存储系统的负载调整缓存参数可以一定程度上提高集群存储的性能，但由于系统内存或缓存等硬件资源容量有限，使得这种操作对整个集群存储系统的性能提升也较为有限。
发明内容
本发明所要解决的技术问题是需要提供一种集群存储系统中存储池的调整技术，用于根据集群存储系统的访问需求自动调整存储池资源。
为了解决上述技术问题，本发明首先提供了一种集群存储系统中存储池的调整系统，其特征在于，包括：
第一存储池，包含有多个存储单元；
第二存储池，包含有多个存储单元；
监控模块，用于监控所述第一存储池中数据的实时访问情形，获取被访问数据在所述第一存储池中的第一分布信息；还用于监控所述第二存储池中数据的实时访问情形，获取被访问数据在所述第二存储池中的第二分布信息；
调度模块，用于在所述第一分布信息高于为所述第一存储池预设的第一阈值时，将所述第二存储池中的存储单元迁移到所述第一存储池中。
优选地，所述调度模块将所述第二存储池中的存储单元迁移到所述第一存储池中之前和之后，所述第二分布信息均高于为所述第二存储池预设的第二阈值。
优选地，所述调度模块用于在所述第一分布信息高于所述第一阈值时，根据所述第二存储池中存储单元的ID，将所述第二存储池中的存储单元迁移到所述第一存储池中。
为了解决上述技术问题，本发明还提供了一种集群存储系统中存储池的调整装置，所述集群存储系统包含第一存储池及第二存储池，所述第一存储池包含有多个存储单元，所述第二存储池包含有多个存储单元，所述装置包括：
监控模块，用于监控所述第一存储池中数据的实时访问情形，获取被访问数据在所述第一存储池中的第一分布信息；还用于监控所述第二存储池中数据的实时访问情形，获取被访问数据在所述第二存储池中的第二分布信息；
调度模块，用于在所述第一分布信息高于为所述第一存储池预设的第一阈值时，将所述第二存储池中的存储单元迁移到所述第一存储池中。
优选地，所述调度模块将所述第二存储池中的存储单元迁移到所述第一存储池中之前和之后，所述第二分布信息均高于为所述第二存储池预设的第二阈值。
优选地，所述调度模块用于在所述第一分布信息高于所述第一阈值时，根据所述第二存储池中存储单元的ID，将所述第二存储池中的存储单元迁移到所述第一存储池中。
为了解决上述技术问题，本发明还提供了一种集群存储系统中存储池的调整方法，所述集群存储系统包含第一存储池及第二存储池，所述第一存储池包含有多个存储单元，所述第二存储池包含有多个存储单元，所述方法包括：
监控所述第一存储池中数据的实时访问情形，获取被访问数据在所述第一存储池中的第一分布信息；
监控所述第二存储池中数据的实时访问情形，获取被访问数据在所述第二存储池中的第二分布信息；
在所述第一分布信息高于为所述第一存储池预设的第一阈值时，将所述第二存储池中的存储单元迁移到所述第一存储池中。
优选地，将所述第二存储池中的存储单元迁移到所述第一存储池中之前和之后，所述第二分布信息均高于为所述第二存储池预设的第二阈值。
优选地，在所述第一分布信息高于所述第一阈值时，根据所述第二存储池中存储单元的ID，将所述第二存储池中的存储单元迁移到所述第一存储池中。
与现有技术相比，本发明的实施例根据集群存储系统的访问需求，在线调整各存储池的规模，改变各存储池的资源配置，达到了自动调整存储池资源的目的。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。在附图中：
图1是本发明实施例集群存储系统中存储池的调整系统的组成示意图；
图2是本发明实施例集群存储系统中存储池的调整方法的流程示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。
首先，如果不冲突，本发明实施例以及实施例中的各个特征的相互结合，均在本发明的保护范围之内。另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明的技术方案中，集群存储系统包含有多个(即两个或两个以上的)存储池，每个存储池的规模(即所包含的存储单元的数量)可以相同也可以不同，且各存储池所包含的存储单元的大小，可以相同也可以不同。
在集群存储系统为用户提供数据服务时，利用一监控模块实时监控各存储池的数据访问情形，获取被访问数据在各存储池上的分布信息，在某个存储池上的分布信息表示数据访问对这个存储池造成了较大压力(比如分布信息高于为这个存储池预设的阈值)时，采用一调度模块将其他一个或多个较为空闲(数据访问并未造成较大压力)的存储池中的存储单元迁移到这个已经处于较大压力状态下的存储池中，扩大这个存储池的存储规模，降低这个存储池的数据访问压力。
实施例一、集群存储系统中存储池的调整系统
如图1所示，本实施例包括第一存储池110、第二存储池120、监控模块130以及调度模块140，其中：
第一存储池110，包含有M个存储单元，其中M为大于1的正整数；
第二存储池120，包含有N个存储单元，其中N为大于1的正整数(N不等于M；在其他实施例中，N也可以等于M)；
监控模块130，与第一存储池110及第二存储池120相连，用于监控第一存储池110及第二存储池120中数据的实时访问情形，获取被访问数据在第一存储池110中的第一分布信息及被访问数据在第二存储池120中的第二分布信息，将第一分布信息及第二分布信息实时地发送给调度模块140；
调度模块140，与第一存储池110、第二存储池120及监控模块130相连，在第一分布信息高于为第一存储池110预设的第一阈值时，将第二存储池120中的存储单元迁移到第一存储池110中以扩大第一存储池110的存储规模，降低第一存储池110的数据访问压力。
对整个集群存储系统来说，每个存储池中的每个存储单元都有一个唯一且保持不变的ID号(在整个集群存储系统唯一且保持不变)，因此调度模块140在执行迁移时，根据存储单元的ID号即可自动实现。
当然，本实施例中，将第二存储池120中的存储单元迁移到第一存储池110中的前提是，存储单元迁移前后，第二存储池120的访问性能并不会显著降低，第二分布信息并不会高于为第二存储池120预设的第二阈值。另外，如果第二分布信息高于第二阈值且第一分布信息不高于第一阈值时，也可以将第一存储池110中的存储单元迁移到第二存储池120中以扩大第二存储池120的存储规模，降低第二存储池120的数据访问压力。
上述第一阈值是根据第一存储池110的数据访问性能而为第一存储池110所预设的，被访问数据在第一存储池110中的第一分布信息超出第一阈值时表明对第一存储池110的访问已经较严重地影响第一存储池110的运行，第一存储池110的性能已经低于一定的限度。第二阈值是根据第二存储池120的数据访问性能而为第二存储池120所预设的，该第二阈值相对于第二存储池120，请参照第一阈值相对于第一存储池110理解。
由以上实施例可见，第一存储池110的性能低于预设的限度时，实时从比较空闲的第二存储池120中迁移出部分存储单元到第一存储池110中，从而调整了不同存储池的规模，有效整合了集群存储系统的存储资源，提高了第一存储池110以及整个集群存储系统的服务性能，且整个操作未进行集群存储系统的数据迁移，是在业务不中断的情况下进行的，能为用户提供高速高效的集群服务。
实施例二、一种集群存储系统中存储池的调整装置
结合图1所示的实施例一，集群存储系统包含第一存储池110及第二存储池120，第一存储池110包含有多个存储单元，第二存储池120包含有多个存储单元，该装置包括：
监控模块130，与第一存储池110及第二存储池120相连，用于监控第一存储池110及第二存储池120中数据的实时访问情形，获取被访问数据在第一存储池110中的第一分布信息及被访问数据在第二存储池120中的第二分布信息，将第一分布信息及第二分布信息实时地发送给调度模块140；
调度模块140，与第一存储池110、第二存储池120及监控模块130相连，在第一分布信息高于为第一存储池110预设的第一阈值时，将第二存储池120中的存储单元迁移到第一存储池110中以扩大第一存储池110的存储规模，降低第一存储池110的数据访问压力。
本实施例中，调度模块140将第二存储池120中的存储单元迁移到第一存储池110中之前和之后，第二分布信息均高于为第二存储池120所预设的第二阈值。
调度模块140用于在第一分布信息高于第一阈值时，根据第二存储池120中存储单元的ID，将第二存储池120中的存储单元迁移到第一存储池110中。
实施例三、一种集群存储系统中存储池的调整方法
结合图1所示的实施例一，集群存储系统包含第一存储池110及第二存储池120，第一存储池110包含有多个存储单元，第二存储池120包含有多个存储单元，该方法包括如下步骤：
步骤S210，监控第一存储池110中数据的实时访问情形，获取被访问数据在第一存储池110中的第一分布信息；
步骤S220，监控第二存储池120中数据的实时访问情形，获取被访问数据在第二存储池120中的第二分布信息；
步骤S230，在第一分布信息高于为第一存储池110预设的第一阈值时，将第二存储池120中的存储单元迁移到第一存储池110中。
上述步骤S210和步骤S220是同时进行的，并没有明显的先后顺序。
本实施例中，将第二存储池120中的存储单元迁移到第一存储池110中之前和之后，第二分布信息均高于为第二存储池120所预设的第二阈值。
在第一分布信息高于第一阈值时，根据第二存储池中存储单元的ID，将第二存储池中的存储单元迁移到第一存储池中。
本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (9)
1.一种集群存储系统中存储池的调整系统，其特征在于，包括：
第一存储池，包含有多个存储单元；
第二存储池，包含有多个存储单元；
监控模块，用于监控所述第一存储池中数据的实时访问情形，获取被访问数据在所述第一存储池中的第一分布信息；还用于监控所述第二存储池中数据的实时访问情形，获取被访问数据在所述第二存储池中的第二分布信息；
调度模块，用于在所述第一分布信息高于为所述第一存储池预设的第一阈值时，将所述第二存储池中的存储单元迁移到所述第一存储池中。
2.根据权利要求1所述的调整系统，其特征在于：
所述调度模块将所述第二存储池中的存储单元迁移到所述第一存储池中之前和之后，所述第二分布信息均高于为所述第二存储池预设的第二阈值。
3.根据权利要求1或2所述的调整系统，其特征在于：
所述调度模块用于在所述第一分布信息高于所述第一阈值时，根据所述第二存储池中存储单元的ID，将所述第二存储池中的存储单元迁移到所述第一存储池中。
4.一种集群存储系统中存储池的调整装置，所述集群存储系统包含第一存储池及第二存储池，所述第一存储池包含有多个存储单元，所述第二存储池包含有多个存储单元，其特征在于，所述装置包括：
监控模块，用于监控所述第一存储池中数据的实时访问情形，获取被访问数据在所述第一存储池中的第一分布信息；还用于监控所述第二存储池中数据的实时访问情形，获取被访问数据在所述第二存储池中的第二分布信息；
调度模块，用于在所述第一分布信息高于为所述第一存储池预设的第一阈值时，将所述第二存储池中的存储单元迁移到所述第一存储池中。
5.根据权利要求4所述的调整装置，其特征在于：
所述调度模块将所述第二存储池中的存储单元迁移到所述第一存储池中之前和之后，所述第二分布信息均高于为所述第二存储池预设的第二阈值。
6.根据权利要求4或5所述的调整装置，其特征在于：
所述调度模块用于在所述第一分布信息高于所述第一阈值时，根据所述第二存储池中存储单元的ID，将所述第二存储池中的存储单元迁移到所述第一存储池中。
7.一种集群存储系统中存储池的调整方法，所述集群存储系统包含第一存储池及第二存储池，所述第一存储池包含有多个存储单元，所述第二存储池包含有多个存储单元，其特征在于，所述方法包括：
监控所述第一存储池中数据的实时访问情形，获取被访问数据在所述第一存储池中的第一分布信息；
监控所述第二存储池中数据的实时访问情形，获取被访问数据在所述第二存储池中的第二分布信息；
在所述第一分布信息高于为所述第一存储池预设的第一阈值时，将所述第二存储池中的存储单元迁移到所述第一存储池中。
8.根据权利要求7所述的调整方法，其特征在于：
将所述第二存储池中的存储单元迁移到所述第一存储池中之前和之后，所述第二分布信息均高于为所述第二存储池预设的第二阈值。
9.根据权利要求7或8所述的调整方法，其特征在于：
在所述第一分布信息高于所述第一阈值时，根据所述第二存储池中存储单元的ID，将所述第二存储池中的存储单元迁移到所述第一存储池中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105947673A CN102143206A (zh) | 2010-12-17 | 2010-12-17 | 集群存储系统中存储池的调整方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2010105947673A CN102143206A (zh) | 2010-12-17 | 2010-12-17 | 集群存储系统中存储池的调整方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102143206A true CN102143206A (zh) | 2011-08-03 |
Family
ID=44410426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2010105947673A Pending CN102143206A (zh) | 2010-12-17 | 2010-12-17 | 集群存储系统中存储池的调整方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102143206A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102291450A (zh) * | 2011-08-08 | 2011-12-21 | 浪潮电子信息产业股份有限公司 | 一种集群存储系统内部的数据在线分级存储方法 |
| CN102364465A (zh) * | 2011-09-30 | 2012-02-29 | 深圳市赫迪威信息技术有限公司 | 一种文件存储方法及存储集群 |
| CN103970641A (zh) * | 2014-05-15 | 2014-08-06 | 浪潮电子信息产业股份有限公司 | 一种基于容量预测技术的设备扩容方法 |
| WO2017036428A3 (zh) * | 2015-09-06 | 2017-04-13 | 中兴通讯股份有限公司 | 容量变更建议方法及装置 |
| CN107453951A (zh) * | 2017-08-15 | 2017-12-08 | 郑州云海信息技术有限公司 | 一种存储池监控方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101236480A (zh) * | 2007-01-29 | 2008-08-06 | 株式会社日立制作所 | 存储模块及容量池空闲容量调整方法 |
| WO2010056242A1 (en) * | 2008-11-13 | 2010-05-20 | Lsi Corporation | Active-active failover for a direct-attached storage system |
-
2010
- 2010-12-17 CN CN2010105947673A patent/CN102143206A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101236480A (zh) * | 2007-01-29 | 2008-08-06 | 株式会社日立制作所 | 存储模块及容量池空闲容量调整方法 |
| WO2010056242A1 (en) * | 2008-11-13 | 2010-05-20 | Lsi Corporation | Active-active failover for a direct-attached storage system |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102291450A (zh) * | 2011-08-08 | 2011-12-21 | 浪潮电子信息产业股份有限公司 | 一种集群存储系统内部的数据在线分级存储方法 |
| CN102291450B (zh) * | 2011-08-08 | 2014-01-15 | 浪潮电子信息产业股份有限公司 | 一种集群存储系统内部的数据在线分级存储方法 |
| CN102364465A (zh) * | 2011-09-30 | 2012-02-29 | 深圳市赫迪威信息技术有限公司 | 一种文件存储方法及存储集群 |
| CN103970641A (zh) * | 2014-05-15 | 2014-08-06 | 浪潮电子信息产业股份有限公司 | 一种基于容量预测技术的设备扩容方法 |
| WO2017036428A3 (zh) * | 2015-09-06 | 2017-04-13 | 中兴通讯股份有限公司 | 容量变更建议方法及装置 |
| CN107453951A (zh) * | 2017-08-15 | 2017-12-08 | 郑州云海信息技术有限公司 | 一种存储池监控方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103559072A (zh) | 虚拟机双向自动伸缩服务实现方法及其系统 | |
| CN106899649B (zh) | 一种任务请求处理方法、装置和用户设备 | |
| CN105159775A (zh) | 基于负载均衡器的云计算数据中心的管理系统和管理方法 | |
| US20190124174A1 (en) | Resource cache management method and system and apparatus | |
| WO2022095815A1 (zh) | 显存管理方法、装置、设备及系统 | |
| CN110677305A (zh) | 一种云计算环境下的自动伸缩方法和系统 | |
| US10606510B2 (en) | Memory input/output management | |
| CN102143206A (zh) | 集群存储系统中存储池的调整方法、装置及系统 | |
| CN105528366B (zh) | 一种数据同步控制方法和装置 | |
| CN103701920A (zh) | 云环境下配置虚拟应用服务器的方法 | |
| CN114666215B (zh) | 一种应用跨集群弹性伸缩的方法、系统、介质和电子设备 | |
| CN109726007B (zh) | 一种容器编排配额管理方法和装置、及容器编排系统 | |
| CN107920117B (zh) | 一种资源管理方法、控制设备和资源管理系统 | |
| CN111190719B (zh) | 优化集群资源分配的方法、装置、介质及电子设备 | |
| CN101819459B (zh) | 一种基于异构对象存储系统的功耗控制方法 | |
| CN102662740A (zh) | 非对称多核系统及其实现方法 | |
| CN102638457B (zh) | 一种服务器资源自动分配方法及系统 | |
| CN106293953A (zh) | 一种访问共享显示数据的方法及系统 | |
| CN106164888A (zh) | 用于最小化工作负荷空闲时间和工作负荷间干扰的网络和存储i/o请求的排序方案 | |
| CN103778222A (zh) | 一种分布式文件系统存储文件的方法及系统 | |
| CN109040156A (zh) | 一种基于容器云的软负载资源处理方法及装置 | |
| CN109144666A (zh) | 一种跨云平台的资源处理方法及系统 | |
| CN104378239A (zh) | 基于集群框架的快速可靠性指标统计系统及方法 | |
| CN105700951B (zh) | 一种实现cpu业务迁移的方法及装置 | |
| US20100242046A1 (en) | Multicore processor system, scheduling method, and computer program product |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110803 |