CN104573020B - 一种分级存储系统中数据自动迁移优化方法 - Google Patents
一种分级存储系统中数据自动迁移优化方法 Download PDFInfo
- Publication number
- CN104573020B CN104573020B CN201510013498.XA CN201510013498A CN104573020B CN 104573020 B CN104573020 B CN 104573020B CN 201510013498 A CN201510013498 A CN 201510013498A CN 104573020 B CN104573020 B CN 104573020B
- Authority
- CN
- China
- Prior art keywords
- data
- storage device
- load
- performance
- refresh
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000005012 migration Effects 0.000 title claims abstract description 26
- 238000013508 migration Methods 0.000 title claims abstract description 26
- 238000005457 optimization Methods 0.000 title claims abstract description 13
- 230000002567 autonomic effect Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明特别涉及一种分级存储系统中数据自动迁移优化方法。该分级存储系统中数据自动迁移优化方法，使用系统函数获取存储设备的平均负载，判断各个存储设备的平均负载是否超过负载阈值，并以此为依据判断各个存储设备中的数据是否应该被列入到刷新列表。该分级存储系统中数据自动迁移优化方法，可以根据分级存储系统的负载情况，在低负载时，自动地周期性对空间占用率还未达到刷新水位阈值的高性能存储设备中的数据进行迁移，提前将高性能存储设备中的数据拷贝到低性能存储设备中，从而实现数据迁移效率的优化，使得系统维持在一个较为平稳的负载水平，提升整个集群存储系统的应用性能。
Description
技术领域
本发明涉及计算机应用技术领域，特别涉及一种分级存储系统中数据自动迁移优化方法。
背景技术
随着存储数据量的快速增长以及人们对于数据价值的深刻认知，存储系统的高并行性、高可靠性和高性价比变得越来越重要。传统的数据存储方式已经不能满足海量存储及其性能的需要，数据访问频率高的存储设备的性能成为访问的瓶颈。人们基于不同存储设备的物理特性，考虑将性能、可靠性和价格不同的存储设备结合在一起构造分级存储系统，用多级存储介质来存放访问频率不同的数据。将高性能、高成本的存储设备空间分配给高频率访问的数据，不经常访问的数据存放到低性能、低成本的存储设备中。进而释放高性能、高成本的存储空间，使得存储系统的成本接近于价格低的设备，而存储系统的整体性能倾向于性能高的设备。
分级存储系统的目的是通过将数据在不同性能设备间动态迁移以达到系统的高性能。目前，主要的数据迁移策略有基于存储空间的高低水位法，即基于高性能存储空间的使用情况进行数据迁移。该算法要求数据量超过存储空间的一定水位阈值时，启动数据迁移程序，直到数据量低于该水位线，或者没有需要迁移的数据时，停止数据迁移；位于低性能存储设备中的数据只有一定的访问热度时才会回迁到高性能存储设备中。
高性能存储空间有两个水位阈值：刷新水位阈值和删除水位阈值。当高性能存储的空间占用率达到刷新水位阈值时，系统启动数据刷新程序，将高性能存储空间中的脏数据拷贝一份到低性能存储设备中，但是仍保留高性能存储设备中的源数据，并将该源数据标识为干净数据。删除水位阈值则是指将高性能存储设备中的干净数据（已拷贝一份到低性能存储设备中的源数据）删除，以腾出足够的空间供新数据的写入。通常情况下，删除水位阈值应该大于刷新水位阈值。因为当数据刷新为干净数据之后才能从高性能存储设备中删除。
分级存储中的数据会根据数据迁移策略在不同的存储层级间进行迁移。但是采用该方法时，一旦高性能存储设备中的数据量达到指定的阈值（空间占用率）而触发数据迁移时，势必会增加系统的CPU、内存和磁盘IO的开销，以致影响整个存储系统的应用性能。针对这一情况，亟需开发一种基于存储设备负载的分级系统中数据迁移优化方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种能够提升系统使用性能的分级存储系统中数据自动迁移优化方法。
本发明是通过如下技术方案实现的：
一种分级存储系统中数据自动迁移优化方法，其特征在于：包括存储设备负载判断和数据刷新两部分；
存储设备负载判断：获取存储设备的平均负载，判断各个存储设备的平均负载是否超过负载阈值，并以此为依据判断各个存储设备中的数据是否应该被列入到刷新列表；
数据刷新机制：将高性能存储空间中的脏数据拷贝一份到低性能存储设备中，但是仍保留高性能存储设备中的源数据，并且将该源数据标识为干净数据。
所述存储设备中设置有定时器，用于周期性地执行存储设备负载检查，并不断地进行存储设备负载判断；当获取的平均负载大于等于负载阈值时，如果高性能存储空间占用率还未达到水位阈值，系统将自动禁止数据迁移，并重新获取存储设备的平均负载，以保证存储系统的整体性能为高性能存储设备的性能；当平均负载小于负载阈值时，系统自动启动数据刷新操作，将数据迁移过程中需要支付的资源消耗在系统低负载时完成。
所述负载阈值为0.5。
所述系统在进行数据迁移操作前，首先要通过调用random()方法来随机选择刷新列表中的存储设备，其他存储设备重新获取平均负载，避免所有的存储设备同时执行数据刷新操作，对系统造成过大压力；存储设备中的数据首先使用哈希算法被分配到多个放置组中，然后对放置组再使用一致性哈希算法分布到存储节点。
所述放置组中的数据是有序的，对存储设备进行数据刷新时，将该存储设备上的所有放置组放入刷新队列中，刷新程序遍历处理所有放置组，并且对每个放置组中的数据仅处理其中部分数据；处理过的放置组重新放入刷新列队，直至放置组中不存在脏数据。
本发明的有益效果是：该分级存储系统中数据自动迁移优化方法，可以根据分级存储系统的负载情况，在低负载时，自动地周期性对空间占用率还未达到刷新水位阈值的高性能存储设备中的数据进行迁移，提前将高性能存储设备中的数据拷贝到低性能存储设备中，从而实现数据迁移效率的优化，使得系统维持在一个较为平稳的负载水平，提升整个集群存储系统的应用性能。
附图说明
附图1为发明数据自动迁移流程示意图。
具体实施方式
下面结合附图对本发明进行详细的说明。该分级存储系统中数据自动迁移优化方法，包括存储设备负载判断和数据刷新两部分；
存储设备负载判断：获取存储设备的平均负载，判断各个存储设备的平均负载是否超过负载阈值，并以此为依据判断各个存储设备中的数据是否应该被列入到刷新列表；
数据刷新机制：将高性能存储空间中的脏数据拷贝一份到低性能存储设备中，但是仍保留高性能存储设备中的源数据，并且将该源数据标识为干净数据。
所述存储设备中设置有类似心跳机制的定时器，用于周期性地执行存储设备负载检查，并不断地进行存储设备负载判断；当获取的平均负载大于等于负载阈值时，如果高性能存储空间占用率还未达到水位阈值，系统将自动禁止数据迁移，并重新获取存储设备的平均负载，以保证存储系统的整体性能为高性能存储设备的性能；当平均负载小于负载阈值时，系统自动启动数据刷新操作，将数据迁移过程中需要支付的资源消耗在系统低负载时完成。
所述负载阈值为0.5。
所述系统在进行数据迁移操作前，首先要通过调用random()方法来随机选择刷新列表中的存储设备，其他存储设备重新获取平均负载，避免所有的存储设备同时执行数据刷新操作，对系统造成过大压力；存储设备中的数据首先使用哈希算法被分配到多个放置组中，然后对放置组再使用一致性哈希算法分布到存储节点。
所述放置组中的数据是有序的，对存储设备进行数据刷新时，将该存储设备上的所有放置组放入刷新队列中，刷新程序遍历处理所有放置组，并且对每个放置组中的数据仅处理其中部分数据；处理过的放置组重新放入刷新列队，直至放置组中不存在脏数据。
Claims (4)
1.一种分级存储系统中数据自动迁移优化方法，其特征在于：包括存储设备负载判断和数据刷新两部分；
存储设备负载判断：使用系统函数获取存储设备的平均负载，判断各个存储设备的平均负载是否超过负载阈值，并以此为依据判断各个存储设备中的数据是否应该被列入到刷新列表；
数据刷新机制：将高性能存储空间中的脏数据拷贝一份到低性能存储设备中，但是仍保留高性能存储设备中的源数据，并且将该源数据标识为干净数据；
所述存储设备中设置有定时器，用于周期性地执行存储设备负载检查，并不断地进行存储设备负载判断；当获取的平均负载大于等于负载阈值时，如果高性能存储空间占用率还未达到水位阈值，系统将自动禁止数据迁移，并重新获取存储设备的平均负载，以保证存储系统的整体性能为高性能存储设备的性能；当平均负载小于负载阈值时，系统自动启动数据刷新操作，将数据迁移过程中需要支付的资源消耗在系统低负载时完成。
2.根据权利要求1所述的分级存储系统中数据自动迁移优化方法，其特征在于：所述负载阈值为0.5。
3.根据权利要求1所述的分级存储系统中数据自动迁移优化方法，其特征在于：所述系统在进行数据迁移操作前，首先要通过调用random()方法来随机选择刷新列表中的存储设备，其他存储设备重新获取平均负载，避免所有的存储设备同时执行数据刷新操作，对系统造成过大压力；存储设备中的数据首先使用哈希算法被分配到多个放置组中，然后对放置组再使用一致性哈希算法分布到存储节点。
4.根据权利要求3所述的分级存储系统中数据自动迁移优化方法，其特征在于：所述放置组中的数据是有序的，对存储设备进行数据刷新时，将该存储设备上的所有放置组放入刷新队列中，刷新程序遍历处理所有放置组，并且对每个放置组中的数据仅处理其中部分数据；处理过的放置组重新放入刷新列队，直至放置组中不存在脏数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510013498.XA CN104573020B (zh) | 2015-01-12 | 2015-01-12 | 一种分级存储系统中数据自动迁移优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510013498.XA CN104573020B (zh) | 2015-01-12 | 2015-01-12 | 一种分级存储系统中数据自动迁移优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104573020A CN104573020A (zh) | 2015-04-29 |
| CN104573020B true CN104573020B (zh) | 2017-11-10 |
Family
ID=53089082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510013498.XA Active CN104573020B (zh) | 2015-01-12 | 2015-01-12 | 一种分级存储系统中数据自动迁移优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104573020B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107239457A (zh) * | 2016-03-28 | 2017-10-10 | 阿里巴巴集团控股有限公司 | 数据归档方法及装置 |
| JP6253752B1 (ja) * | 2016-11-29 | 2017-12-27 | 株式会社東芝 | 階層化ストレージシステム |
| CN109358816B (zh) * | 2018-10-19 | 2022-05-20 | 网宿科技股份有限公司 | 一种分布式存储系统的流控方法及装置 |
| CN113741819B (zh) * | 2021-09-15 | 2024-09-27 | 第四范式（北京）技术有限公司 | 数据分级存储的方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102023813A (zh) * | 2009-09-22 | 2011-04-20 | 株式会社日立制作所 | 在动态页重新分配存储系统中的应用和层配置管理 |
| CN102480502A (zh) * | 2010-11-26 | 2012-05-30 | 联想(北京)有限公司 | 一种i/o负载均衡方法及i/o服务器 |
| CN103078933A (zh) * | 2012-12-29 | 2013-05-01 | 深圳先进技术研究院 | 一种确定数据迁移时机的方法和装置 |
| CN103106047A (zh) * | 2013-01-29 | 2013-05-15 | 浪潮(北京)电子信息产业有限公司 | 一种基于对象的存储系统及其存储方法 |
| CN103699496A (zh) * | 2012-09-27 | 2014-04-02 | 株式会社日立制作所 | 分级存储器管理 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9996540B2 (en) * | 2011-03-31 | 2018-06-12 | EMC IP Holding Company LLC | System and method for maintaining consistent points in file systems using a prime dependency list |
-
2015
- 2015-01-12 CN CN201510013498.XA patent/CN104573020B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102023813A (zh) * | 2009-09-22 | 2011-04-20 | 株式会社日立制作所 | 在动态页重新分配存储系统中的应用和层配置管理 |
| CN102480502A (zh) * | 2010-11-26 | 2012-05-30 | 联想(北京)有限公司 | 一种i/o负载均衡方法及i/o服务器 |
| CN103699496A (zh) * | 2012-09-27 | 2014-04-02 | 株式会社日立制作所 | 分级存储器管理 |
| CN103078933A (zh) * | 2012-12-29 | 2013-05-01 | 深圳先进技术研究院 | 一种确定数据迁移时机的方法和装置 |
| CN103106047A (zh) * | 2013-01-29 | 2013-05-15 | 浪潮(北京)电子信息产业有限公司 | 一种基于对象的存储系统及其存储方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104573020A (zh) | 2015-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104573020B (zh) | 一种分级存储系统中数据自动迁移优化方法 | |
| US20160041596A1 (en) | Power efficient method and system for executing host data processing tasks during data retention operations in a storage device | |
| CN102207891B (zh) | 对数据划分分布式环境实现动态划分和负载均衡的方法 | |
| CN105760556B (zh) | 低延时高吞吐量的多副本文件读写优化方法 | |
| CN102955549B (zh) | 一种多核cpu的电源管理方法、系统及cpu | |
| CN103605615B (zh) | 一种分级存储中基于块级数据的定向分配方法 | |
| CN104023088B (zh) | 一种应用于分布式文件系统的存储服务器选择方法 | |
| CN103078933B (zh) | 一种确定数据迁移时机的方法和装置 | |
| CN103399713A (zh) | 平衡多级存储性能与固态硬盘寿命的数据缓冲方法 | |
| CN105335102A (zh) | 一种缓存数据处理方法及装置 | |
| CN106844740A (zh) | 基于内存对象缓存系统的数据预读方法 | |
| JP2006195960A5 (zh) | ||
| WO2017143957A1 (zh) | 一种数据重分布的方法及装置 | |
| CN111427844A (zh) | 一种面向文件分级存储的数据迁移系统及方法 | |
| CN104683444B (zh) | 一种数据中心多虚拟机的数据迁移方法 | |
| CN107870732A (zh) | 从固态存储设备冲刷页面的方法和设备 | |
| CN105681052B (zh) | 一种用于数据中心分布式文件存储的节能方法 | |
| CN104331453A (zh) | 一种分布式文件系统及分布式文件系统的构建方法 | |
| CN106354574A (zh) | 一种用于大数据K‑Mean聚类算法的加速系统和方法 | |
| CN107368257A (zh) | 固态存储器中的数据巡检方法及装置 | |
| CN106911776A (zh) | 一种云存储设备的管理方法及装置 | |
| CN108572799B (zh) | 一种双向哈希链表的异构内存系统数据页迁移方法 | |
| CN116501249A (zh) | 一种减少gpu内存重复数据读写的方法及相关设备 | |
| CN112148488A (zh) | 一种基于多重循环缓存的消息处理方法及系统 | |
| CN106547477A (zh) | 用于在线地减少缓存设备的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |