CN104573020A - 一种分级存储系统中数据自动迁移优化方法 - Google Patents

一种分级存储系统中数据自动迁移优化方法 Download PDF

Info

Publication number
CN104573020A
CN104573020A CN201510013498.XA CN201510013498A CN104573020A CN 104573020 A CN104573020 A CN 104573020A CN 201510013498 A CN201510013498 A CN 201510013498A CN 104573020 A CN104573020 A CN 104573020A
Authority
CN
China
Prior art keywords
data
memory device
load
performance
refresh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510013498.XA
Other languages
English (en)
Other versions
CN104573020B (zh
Inventor
于涛
张立强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201510013498.XA priority Critical patent/CN104573020B/zh
Publication of CN104573020A publication Critical patent/CN104573020A/zh
Application granted granted Critical
Publication of CN104573020B publication Critical patent/CN104573020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明特别涉及一种分级存储系统中数据自动迁移优化方法。该分级存储系统中数据自动迁移优化方法，使用系统函数获取存储设备的平均负载，判断各个存储设备的平均负载是否超过负载阈值，并以此为依据判断各个存储设备中的数据是否应该被列入到刷新列表。该分级存储系统中数据自动迁移优化方法，可以根据分级存储系统的负载情况，在低负载时，自动地周期性对空间占用率还未达到刷新水位阈值的高性能存储设备中的数据进行迁移，提前将高性能存储设备中的数据拷贝到低性能存储设备中，从而实现数据迁移效率的优化，使得系统维持在一个较为平稳的负载水平，提升整个集群存储系统的应用性能。

Description

一种分级存储系统中数据自动迁移优化方法
技术领域
本发明涉及计算机应用技术领域，特别涉及一种分级存储系统中数据自动迁移优化方法。
背景技术
随着存储数据量的快速增长以及人们对于数据价值的深刻认知，存储系统的高并行性、高可靠性和高性价比变得越来越重要。传统的数据存储方式已经不能满足海量存储及其性能的需要，数据访问频率高的存储设备的性能成为访问的瓶颈。人们基于不同存储设备的物理特性，考虑将性能、可靠性和价格不同的存储设备结合在一起构造分级存储系统，用多级存储介质来存放访问频率不同的数据。将高性能、高成本的存储设备空间分配给高频率访问的数据，不经常访问的数据存放到低性能、低成本的存储设备中。进而释放高性能、高成本的存储空间，使得存储系统的成本接近于价格低的设备，而存储系统的整体性能倾向于性能高的设备。
分级存储系统的目的是通过将数据在不同性能设备间动态迁移以达到系统的高性能。目前，主要的数据迁移策略有基于存储空间的高低水位法，即基于高性能存储空间的使用情况进行数据迁移。该算法要求数据量超过存储空间的一定水位阈值时，启动数据迁移程序，直到数据量低于该水位线，或者没有需要迁移的数据时，停止数据迁移；位于低性能存储设备中的数据只有一定的访问热度时才会回迁到高性能存储设备中。
高性能存储空间有两个水位阈值：刷新水位阈值和删除水位阈值。当高性能存储的空间占用率达到刷新水位阈值时，系统启动数据刷新程序，将高性能存储空间中的脏数据拷贝一份到低性能存储设备中，但是仍保留高性能存储设备中的源数据，并将该源数据标识为干净数据。删除水位阈值则是指将高性能存储设备中的干净数据（已拷贝一份到低性能存储设备中的源数据）删除，以腾出足够的空间供新数据的写入。通常情况下，删除水位阈值应该大于刷新水位阈值。因为当数据刷新为干净数据之后才能从高性能存储设备中删除。
分级存储中的数据会根据数据迁移策略在不同的存储层级间进行迁移。但是采用该方法时，一旦高性能存储设备中的数据量达到指定的阈值（空间占用率）而触发数据迁移时，势必会增加系统的CPU、内存和磁盘IO的开销，以致影响整个存储系统的应用性能。针对这一情况，亟需开发一种基于存储设备负载的分级系统中数据迁移优化方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种能够提升系统使用性能的分级存储系统中数据自动迁移优化方法。
本发明是通过如下技术方案实现的：
一种分级存储系统中数据自动迁移优化方法，其特征在于：包括存储设备负载判断和数据刷新两部分；
存储设备负载判断：使用系统函数获取存储设备的平均负载，判断各个存储设备的平均负载是否超过负载阈值，并以此为依据判断各个存储设备中的数据是否应该被列入到刷新列表；
数据刷新机制：将高性能存储空间中的脏数据拷贝一份到低性能存储设备中，但是仍保留高性能存储设备中的源数据，并且将该源数据标识为干净数据。
所述存储设备中设置有定时器，用于周期性地执行存储设备负载检查，并不断地进行存储设备负载判断；当获取的平均负载大于等于负载阈值时，如果高性能存储空间占用率还未达到水位阈值，系统将自动禁止数据迁移，并重新获取存储设备的平均负载，以保证存储系统的整体性能为高性能存储设备的性能；当平均负载小于负载阈值时，系统自动启动数据刷新操作，将数据迁移过程中需要支付的资源消耗在系统低负载时完成。
所述负载阈值为0.5。
所述系统在进行数据迁移操作前，首先要通过调用random()方法来随机选择刷新列表中的存储设备，其他存储设备重新获取平均负载，避免所有的存储设备同时执行数据刷新操作，对系统造成过大压力；存储设备中的数据首先使用哈希算法被分配到多个放置组中，然后对放置组再使用一致性哈希算法分布到存储节点。
所述放置组中的数据是有序的，对存储设备进行数据刷新时，将该存储设备上的所有放置组放入刷新队列中，刷新程序遍历处理所有放置组，并且对每个放置组中的数据仅处理其中部分数据；处理过的放置组重新放入刷新列队，直至放置组中不存在脏数据。
本发明的有益效果是：该分级存储系统中数据自动迁移优化方法，可以根据分级存储系统的负载情况，在低负载时，自动地周期性对空间占用率还未达到刷新水位阈值的高性能存储设备中的数据进行迁移，提前将高性能存储设备中的数据拷贝到低性能存储设备中，从而实现数据迁移效率的优化，使得系统维持在一个较为平稳的负载水平，提升整个集群存储系统的应用性能。
附图说明
附图1为发明数据自动迁移流程示意图。
具体实施方式
下面结合附图对本发明进行详细的说明。该分级存储系统中数据自动迁移优化方法，包括存储设备负载判断和数据刷新两部分；
存储设备负载判断：使用系统函数获取存储设备的平均负载，判断各个存储设备的平均负载是否超过负载阈值，并以此为依据判断各个存储设备中的数据是否应该被列入到刷新列表；
数据刷新机制：将高性能存储空间中的脏数据拷贝一份到低性能存储设备中，但是仍保留高性能存储设备中的源数据，并且将该源数据标识为干净数据。
所述存储设备中设置有类似心跳机制的定时器，用于周期性地执行存储设备负载检查，并不断地进行存储设备负载判断；当获取的平均负载大于等于负载阈值时，如果高性能存储空间占用率还未达到水位阈值，系统将自动禁止数据迁移，并重新获取存储设备的平均负载，以保证存储系统的整体性能为高性能存储设备的性能；当平均负载小于负载阈值时，系统自动启动数据刷新操作，将数据迁移过程中需要支付的资源消耗在系统低负载时完成。
所述负载阈值为0.5。
所述系统在进行数据迁移操作前，首先要通过调用random()方法来随机选择刷新列表中的存储设备，其他存储设备重新获取平均负载，避免所有的存储设备同时执行数据刷新操作，对系统造成过大压力；存储设备中的数据首先使用哈希算法被分配到多个放置组中，然后对放置组再使用一致性哈希算法分布到存储节点。
所述放置组中的数据是有序的，对存储设备进行数据刷新时，将该存储设备上的所有放置组放入刷新队列中，刷新程序遍历处理所有放置组，并且对每个放置组中的数据仅处理其中部分数据；处理过的放置组重新放入刷新列队，直至放置组中不存在脏数据。

Claims (5)

1.一种分级存储系统中数据自动迁移优化方法，其特征在于：包括存储设备负载判断和数据刷新两部分；
存储设备负载判断：使用系统函数获取存储设备的平均负载，判断各个存储设备的平均负载是否超过负载阈值，并以此为依据判断各个存储设备中的数据是否应该被列入到刷新列表；
数据刷新机制：将高性能存储空间中的脏数据拷贝一份到低性能存储设备中，但是仍保留高性能存储设备中的源数据，并且将该源数据标识为干净数据。
2.根据权利要求1所述的分级存储系统中数据自动迁移优化方法，其特征在于：所述存储设备中设置有定时器，用于周期性地执行存储设备负载检查，并不断地进行存储设备负载判断；当获取的平均负载大于等于负载阈值时，如果高性能存储空间占用率还未达到水位阈值，系统将自动禁止数据迁移，并重新获取存储设备的平均负载，以保证存储系统的整体性能为高性能存储设备的性能；当平均负载小于负载阈值时，系统自动启动数据刷新操作，将数据迁移过程中需要支付的资源消耗在系统低负载时完成。
3.根据权利要求1或2所述的分级存储系统中数据自动迁移优化方法，其特征在于：所述负载阈值为0.5。
4.根据权利要求1所述的分级存储系统中数据自动迁移优化方法，其特征在于：所述系统在进行数据迁移操作前，首先要通过调用random()方法来随机选择刷新列表中的存储设备，其他存储设备重新获取平均负载，避免所有的存储设备同时执行数据刷新操作，对系统造成过大压力；存储设备中的数据首先使用哈希算法被分配到多个放置组中，然后对放置组再使用一致性哈希算法分布到存储节点。
5.根据权利要求4所述的分级存储系统中数据自动迁移优化方法，其特征在于：所述放置组中的数据是有序的，对存储设备进行数据刷新时，将该存储设备上的所有放置组放入刷新队列中，刷新程序遍历处理所有放置组，并且对每个放置组中的数据仅处理其中部分数据；处理过的放置组重新放入刷新列队，直至放置组中不存在脏数据。
CN201510013498.XA 2015-01-12 2015-01-12 一种分级存储系统中数据自动迁移优化方法 Active CN104573020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510013498.XA CN104573020B (zh) 2015-01-12 2015-01-12 一种分级存储系统中数据自动迁移优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510013498.XA CN104573020B (zh) 2015-01-12 2015-01-12 一种分级存储系统中数据自动迁移优化方法

Publications (2)

Publication Number Publication Date
CN104573020A true CN104573020A (zh) 2015-04-29
CN104573020B CN104573020B (zh) 2017-11-10

Family

ID=53089082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510013498.XA Active CN104573020B (zh) 2015-01-12 2015-01-12 一种分级存储系统中数据自动迁移优化方法

Country Status (1)

Country Link
CN (1) CN104573020B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239457A (zh) * 2016-03-28 2017-10-10 阿里巴巴集团控股有限公司 数据归档方法及装置
CN108121501A (zh) * 2016-11-29 2018-06-05 株式会社东芝 分级存储系统、存储控制器以及分级控制方法
CN109358816A (zh) * 2018-10-19 2019-02-19 网宿科技股份有限公司 一种分布式存储系统的流控方法及装置
CN113741819A (zh) * 2021-09-15 2021-12-03 第四范式（北京）技术有限公司 数据分级存储的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102023813A (zh) * 2009-09-22 2011-04-20 株式会社日立制作所 在动态页重新分配存储系统中的应用和层配置管理
CN102480502A (zh) * 2010-11-26 2012-05-30 联想(北京)有限公司 一种i/o负载均衡方法及i/o服务器
US20120254130A1 (en) * 2011-03-31 2012-10-04 Emc Corporation System and method for maintaining consistent points in file systems using a prime dependency list
CN103078933A (zh) * 2012-12-29 2013-05-01 深圳先进技术研究院 一种确定数据迁移时机的方法和装置
CN103106047A (zh) * 2013-01-29 2013-05-15 浪潮(北京)电子信息产业有限公司 一种基于对象的存储系统及其存储方法
CN103699496A (zh) * 2012-09-27 2014-04-02 株式会社日立制作所 分级存储器管理

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102023813A (zh) * 2009-09-22 2011-04-20 株式会社日立制作所 在动态页重新分配存储系统中的应用和层配置管理
CN102480502A (zh) * 2010-11-26 2012-05-30 联想(北京)有限公司 一种i/o负载均衡方法及i/o服务器
US20120254130A1 (en) * 2011-03-31 2012-10-04 Emc Corporation System and method for maintaining consistent points in file systems using a prime dependency list
CN103699496A (zh) * 2012-09-27 2014-04-02 株式会社日立制作所 分级存储器管理
CN103078933A (zh) * 2012-12-29 2013-05-01 深圳先进技术研究院 一种确定数据迁移时机的方法和装置
CN103106047A (zh) * 2013-01-29 2013-05-15 浪潮(北京)电子信息产业有限公司 一种基于对象的存储系统及其存储方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239457A (zh) * 2016-03-28 2017-10-10 阿里巴巴集团控股有限公司 数据归档方法及装置
CN108121501A (zh) * 2016-11-29 2018-06-05 株式会社东芝 分级存储系统、存储控制器以及分级控制方法
CN109358816A (zh) * 2018-10-19 2019-02-19 网宿科技股份有限公司 一种分布式存储系统的流控方法及装置
CN109358816B (zh) * 2018-10-19 2022-05-20 网宿科技股份有限公司 一种分布式存储系统的流控方法及装置
CN113741819A (zh) * 2021-09-15 2021-12-03 第四范式（北京）技术有限公司 数据分级存储的方法和装置

Also Published As

Publication number Publication date
CN104573020B (zh) 2017-11-10

Similar Documents

Publication Publication Date Title
CN107943867B (zh) 支持异构存储的高性能层次化存储系统
CN109154917B (zh) 存储系统和固态硬盘
US10802718B2 (en) Method and device for determination of garbage collector thread number and activity management in log-structured file systems
CN104573020A (zh) 一种分级存储系统中数据自动迁移优化方法
US10635323B2 (en) Managing storage system
JP6198226B2 (ja) 順次並んだスワップ・ファイルを使用するワーキング・セットのスワップ
CN107870732B (zh) 从固态存储设备冲刷页面的方法和设备
FR3026513A1 (zh)
WO2019085769A1 (zh) 一种数据分层存储、分层查询方法及装置
CN104504147B (zh) 一种数据库集群的资源协调方法、装置及系统
CN103399713A (zh) 平衡多级存储性能与固态硬盘寿命的数据缓冲方法
CN111427844A (zh) 一种面向文件分级存储的数据迁移系统及方法
CN103412786A (zh) 一种高性能服务器架构系统及数据处理方法
CN103078933A (zh) 一种确定数据迁移时机的方法和装置
US20140089562A1 (en) Efficient i/o processing in storage system
CN104331453A (zh) 一种分布式文件系统及分布式文件系统的构建方法
CN103701920A (zh) 云环境下配置虚拟应用服务器的方法
CN102693164A (zh) 防止缓存溢出的设备和方法
CN107111627A (zh) 在线文件系统检查
WO2020233046A1 (zh) 缓存文件的管理方法、装置、计算机设备及存储介质
CN107368257A (zh) 固态存储器中的数据巡检方法及装置
CN105095495A (zh) 一种分布式文件系统缓存管理方法和系统
CN112000281A (zh) 一种存储系统重删元数据的缓存方法、系统及装置
CN112148488A (zh) 一种基于多重循环缓存的消息处理方法及系统
US10073851B2 (en) Fast new file creation cache

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant