CN109189331B - 一种动态数据布局方法 - Google Patents

一种动态数据布局方法 Download PDF

Info

Publication number
CN109189331B
CN109189331B CN201810900259.XA CN201810900259A CN109189331B CN 109189331 B CN109189331 B CN 109189331B CN 201810900259 A CN201810900259 A CN 201810900259A CN 109189331 B CN109189331 B CN 109189331B
Authority
CN
China
Prior art keywords
load
data
disk group
disk
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810900259.XA
Other languages
English (en)
Other versions
CN109189331A (zh
Inventor
刘靖宇
武优西
张晋荣
陈冀川
朱怀忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201810900259.XA priority Critical patent/CN109189331B/zh
Publication of CN109189331A publication Critical patent/CN109189331A/zh
Application granted granted Critical
Publication of CN109189331B publication Critical patent/CN109189331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明为一种动态数据布局方法，该方法采用一种组内磁盘数不同的分组方式，动态地对数据进行布局，在满足数据传输带宽要求下，实现节能的目的，克服了现有技术中由于物理设备级存储节能研究仅仅考虑单个磁盘的能耗的不足。因此，本发明能够有效提高存储系统的性能，非常适用于以写请求为主的存储系统，尤其适用于负载变化不是很大的存储系统，比如小城市视频监控系统，存档归案系统等。

Description

一种动态数据布局方法
技术领域
本发明涉及一种数据存储方法，特别是涉及一种动态数据布局的方法，属于数据存储领域。
背景技术
随着互联网的普及和飞速发展，数据总量呈几何级数增长趋势，对数据进行高效率的存储、管理和使用已经成为各行各业关注的重点，对于网络存储系统的各方面的要求都空前提高。随着网络存储技术的发展，网络信息存储系统在高可用性、高性能、可扩展性、低成本等方面得到了显著的提高，网络存储已成为计算机存储系统发展的必然趋势。存储需求的迅猛发展使工业界对磁盘容量，节能等方面提出了更高的要求，为此Chen P M等人提出了RAID技术(RAID:high-performance,reliable secondary storage[J].AcmComputing Surveys,1994,26(2):145-185.)。然而随着大数据的发展，传统RAID技术由于总开启固定数量的磁盘，在磁盘节能方面存在先天不足，对于负载会有变化的存储环境并不适应，基于此，本发明提出了一种动态数据布局的方法。
发明内容
本发明的目的在于针对传统RAID阵列在进行数据存储时能耗方面的局限性，提出一种动态的数据布局方法，降低数据存储时的能耗，节约整个存储系统的成本。
本发明是通过以下技术方案实现的：
一种动态数据布局方法，该方法的步骤是：
第一步、根据不同应用场合的负载情况及所拥有的数据盘总数量M，将整个RAID阵列中的数据盘分为N个磁盘组，每个磁盘组中数据盘的数量均不相同，将N个磁盘组按照数据盘数量从小到大依次排列，依次记为G0，G1，...，GN-1；同时为每个磁盘组设置磁盘组变化阈值，共有N-1个阈值，依次记为load0,load1,...,loadN-2，且load0<load1<load2<...<loadN-2，其中loadN-2不大于相应应用场合的负载最大值，load0大于相应应用场合的负载最小值；
第二步、判断当前的负载是否大于load(x)且小于load(x+1)，其中x>＝0且x<＝N-1，找到当前负载所处的负载区间范围，并选定该区间范围所对应的磁盘组进行数据存储；即如果当前的负载大于load(x)且小于load(x+1)，则选择磁盘组Gx进行数据存储；
第三步、将待存储数据按顺序依次存入第二步选定的磁盘组内，校验盘对存入的数据进行正常校验；
第四步、当负载发生变化时，根据第二步重新选择合适的磁盘组，并将变化后的数据存入该磁盘组内；
第五步、当所选定的磁盘组的存储空间用完后，从最早存入的数据依次回收空间，直到满足当前需要存储数据的要求为止。
与现有技术相比，本发明的有益效果是：
1)降低整个磁盘阵列的能耗。由于数据动态的在N个分组间进行循环存储，当带宽要求较低，数据传输率降低时，数据存入磁盘数相对较少的分组，此时组内并行的磁盘数减少，能耗降低。而传统的RAID底层布局是将所有磁盘都打开，这样即使在数据传输率低的时候能耗不会降低。
2)降低存储系统的冷却成本。本发明能够有效地降低存储设备的能耗，由此产生的热量也相应的降低，进而降低存储系统的冷却成本。
3)降低磁盘的故障率。因能耗降低，磁盘产生的热量也相应地减少，因此，带来磁盘温度的有效降低，使磁盘故障率降低，延长了磁盘的使用寿命。
本发明方法采用一种组内磁盘数不同的分组方式，动态地对数据进行布局，在满足数据传输带宽要求下，实现节能的目的，克服了现有技术中由于物理设备级存储节能研究仅仅考虑单个磁盘的能耗的不足。因此，本发明能够有效提高存储系统的性能，非常适用于以写请求为主的存储系统，尤其适用于负载变化不是很大的存储系统(系统最高负载不超过最低负载的10倍，负载量范围从100MB/S～1000MB/S)，比如小城市视频监控系统，存档归案系统等。
附图说明
图1为传统RAID的底层布局图。
图2为3个磁盘组条件下本发明方法磁盘组及阈值的示意图。
图3为本发明实施例1中数据存储方式的示意图。
图4为本发明实施例1中的负载分布图。
具体实施方式
下面结合实施例及附图对本发明作进一步说明，但并不以此作为对本申请保护范围的限定。
图1为传统RAID的底层布局的示意图，图中共有六个数据盘D0～D5，一个校验盘P，将所有数据盘条带化，并将写入磁盘的连续数据分成很多小部分B0,0、B0,1、～、B5,n-1，并把这些连续数据依次存储到不同数据磁盘上去，形成n个条带stripe0～stripen-1，数据存储顺序如图1所示。
本发明动态数据布局方法，该方法的步骤是：
第一步、根据不同应用场合的负载情况及所拥有的数据盘总数量M，将整个RAID阵列中的数据盘分为N个磁盘组，每个磁盘组中数据盘的数量均不相同，将N个磁盘组按照数据盘数量从小到大依次排列，依次记为G0，G1，...，GN-1；同时为每个磁盘组设置磁盘组变化阈值，共有N-1个阈值，依次记为load0,load1,...,loadN-2，且load0<load1<load2<...<loadN-2，单位是(MB/S)，其中loadN-2不大于相应应用场合的负载最大值，load0大于相应应用场合的负载最小值；
第二步、判断当前的负载是否大于load(x)且小于load(x+1)，其中x>＝0且x<＝N-1，找到当前负载所处的负载区间范围，并选定该区间范围所对应的磁盘组进行数据存储；即如果当前的负载大于load(x)且小于load(x+1)，则选择磁盘组Gx进行数据存储；
第三步、将待存储数据按顺序依次存入第二步选定的磁盘组内，校验盘对存入的数据进行正常校验；
第四步、当负载发生变化时，根据第二步重新选择合适的磁盘组，并将变化后的数据存入该磁盘组内；
第五步、当所选定的磁盘组的存储空间用完后，从最早存入的数据依次回收空间，直到满足当前需要存储数据的要求为止。
本发明中GN-1磁盘组的所有数据盘的最大传输速率之和不小于该应用场合的负载最大值，能够满足用户实时存储、且性能要求严格的情况。
本发明提出磁盘组的概念，根据不同应用场合的负载情况和此时存储系统拥有的磁盘总数量、成本，确定将数据盘分成几组合适及每个数据盘选择多大传输速率合适，根据负载分布情况如何设置阈值合适。相邻阈值之间可以是非等间距的，对于负载分布集中的区域，可以多设置几个邻近阈值，以提高存储系统的适应性。磁盘的传输速率越高越好，相应的磁盘存储速度也越快，相应的磁盘的成本较高。
本发明通过判断当前负载是否大于load(x)且小于load(x+1)，(其中x>＝0且x<＝N-1)，如果满足则选择磁盘组Gx为当前合适存储的磁盘组，这种方法称为选择磁盘组算法。选择磁盘组算法的作用是根据当前的存储负载和磁盘组变化阈值选择合适的磁盘组进行存储。
实施例1
假设某一存储系统传输速率的负载最小值为50MB/S，负载最大值为300MB/S，如图4所示。按照本实施例布局方法，根据上述负载波动的情况，选定最大传输速率为130MB/S的多个数据盘，进行数据存储，综合考虑传输性能及成本问题，本实施例选择7个磁盘组成存储系统，其中有6个数据盘(D0～D5)，1个校验盘(P)，将数据盘分为3个磁盘组，3个磁盘组分别记为G0，G1，G2。G0拥有1个数据盘，G1拥有2个数据盘，G2拥有3个数据盘。设置2个磁盘组变化阈值，分别记为load0和load1，load0为100MB/S，load1为200MB/S。当当前负载小于100MB/S时，选择G0组，当当前负载大于100MB/S且小于200MB/S时，选择G1组，当此时负载大于200MB/S时，选择G2组。
现在结合图3对本实施例方法进行解释：假设一开始存储负载为150MB/S，需要使用G1磁盘组存储，则数据按G1组图示箭头的方向从B0.0->B1.0->B0.1->B1.1->B0.2->B1.2->B0.3->B1.3的方向存入，此时负载变为250MB/S，则关闭G1磁盘组，打开G2磁盘组，数据从B2.0->B3.0->B4.0->B2.1->B3.1->B4.1->B2.2->B3.2->B4.2存入，此时负载变为50MB/S时，关闭G2磁盘组，打开G0磁盘组，数据从B5.0->B5.1->B5.2->B5.3……存入。依次类推。
如果只使用传统RAID存储布局，在图4负载需求下，为了满足高峰期存储数据的需求，需要4块磁盘组成RAID，其中3块数据盘，1块校验盘，这些磁盘始终处于开启状态。而本发明在存储高峰期的时候开启G2磁盘组和校验盘，开启4块磁盘。在存储低峰期的时候开启G0组和校验盘，只开启2块磁盘。在满足存储负载的情况下大大减少了磁盘的能耗。
本发明未述及之处适用于现有技术。

Claims (2)

1.一种动态数据布局方法，该方法的步骤是：
第一步、根据不同应用场合的负载情况及所拥有的数据盘总数量M，将整个RAID阵列中的数据盘分为N个磁盘组，每个磁盘组中数据盘的数量均不相同，将N个磁盘组按照数据盘数量从小到大依次排列，依次记为G0，G1，...，GN-1；同时为每个磁盘组设置磁盘组变化阈值，共有N-1个阈值，依次记为load0,load1,...,loadN-2，且load0<load1<load2<...<loadN-2，其中loadN-2不大于相应应用场合的负载最大值，load0大于相应应用场合的负载最小值；
第二步、判断当前的负载是否大于load(x)且小于load(x+1)，其中x>＝0且x<＝N-1，找到当前负载所处的负载区间范围，并选定该区间范围所对应的磁盘组进行数据存储；即如果当前的负载大于load(x)且小于load(x+1)，则选择磁盘组Gx进行数据存储；通过判断当前负载是否大于load(x)且小于load(x+1)，如果满足则选择磁盘组Gx为当前合适存储的磁盘组，这种方法称为选择磁盘组算法；选择磁盘组算法的作用是根据当前的存储负载和磁盘组变化阈值选择合适的磁盘组进行存储；
第三步、将待存储数据按顺序依次存入第二步选定的磁盘组内，校验盘对存入的数据进行正常校验；
第四步、当负载发生变化时，根据第二步重新选择合适的磁盘组，并将变化后的数据存入该磁盘组内；
第五步、当所选定的磁盘组的存储空间用完后，从最早存入的数据依次回收空间，直到满足当前需要存储数据的要求为止；
磁盘组的概念，根据不同应用场合的负载情况和此时存储系统拥有的磁盘总数量、成本，确定将数据盘分成几组合适及每个数据盘选择多大传输速率合适，根据负载分布情况如何设置阈值合适；相邻阈值之间可以是非等间距的，对于负载分布集中的区域，可以多设置几个邻近阈值，以提高存储系统的适应性。
2.根据权利要求1所述的动态数据布局方法，其特征在于，GN-1磁盘组的所有数据盘的最大传输速率之和不小于该应用场合的负载最大值。
CN201810900259.XA 2018-08-09 2018-08-09 一种动态数据布局方法 Active CN109189331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810900259.XA CN109189331B (zh) 2018-08-09 2018-08-09 一种动态数据布局方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810900259.XA CN109189331B (zh) 2018-08-09 2018-08-09 一种动态数据布局方法

Publications (2)

Publication Number Publication Date
CN109189331A CN109189331A (zh) 2019-01-11
CN109189331B true CN109189331B (zh) 2021-08-17

Family

ID=64921074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810900259.XA Active CN109189331B (zh) 2018-08-09 2018-08-09 一种动态数据布局方法

Country Status (1)

Country Link
CN (1) CN109189331B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102023820A (zh) * 2010-12-01 2011-04-20 北京同有飞骥科技股份有限公司 一种双磁盘容错垂直型分组并行访问磁盘阵列的构建方法
CN102880428A (zh) * 2012-08-20 2013-01-16 华为技术有限公司 分布式独立磁盘冗余阵列的创建方法及装置
CN104094254A (zh) * 2011-12-02 2014-10-08 康佩伦特科技公司 用于非平衡raid管理的系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220148B (zh) * 2016-03-21 2020-12-04 伊姆西Ip控股有限责任公司 针对独立磁盘冗余阵列的重建方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102023820A (zh) * 2010-12-01 2011-04-20 北京同有飞骥科技股份有限公司 一种双磁盘容错垂直型分组并行访问磁盘阵列的构建方法
CN104094254A (zh) * 2011-12-02 2014-10-08 康佩伦特科技公司 用于非平衡raid管理的系统和方法
CN102880428A (zh) * 2012-08-20 2013-01-16 华为技术有限公司 分布式独立磁盘冗余阵列的创建方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
S-RAID中基于连续数据特征的写优化策略;刘靖宇等;《计算机学报》;20140331;第37卷(第3期);第721-734页 *

Also Published As

Publication number Publication date
CN109189331A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
US8291245B2 (en) Method, apparatus and system for reducing power consumption based on storage device data migration
US20080005475A1 (en) Hot data zones
US20070192538A1 (en) Automatic RAID disk performance profiling for creating optimal RAID sets
JP2006024211A5 (zh)
US20090259791A1 (en) Adjustment number of expanders in storage system
CN102117248A (zh) 一种缓存系统和在缓存系统中缓存数据的方法
CN111367469B (zh) 一种分层存储数据迁移方法和系统
US20110035605A1 (en) Method for optimizing performance and power usage in an archival storage system by utilizing massive array of independent disks (MAID) techniques and controlled replication under scalable hashing (CRUSH)
US20090217067A1 (en) Systems and Methods for Reducing Power Consumption in a Redundant Storage Array
CN101467122A (zh) 数据分级磁盘位置优化系统和方法
CN103761059A (zh) 一种用于海量数据管理的多盘位存储方法及系统
US20080005464A1 (en) Wave flushing of cached writeback data to a storage array
CN109491613A (zh) 一种持续数据保护存储系统及其使用该系统的存储方法
CN108776690B (zh) 基于分层治理的hdfs分布式与集中式混合数据存储系统的方法
US7984313B2 (en) Method, apparatus and system for reducing power consumption involving data storage devices
Chai et al. Efficient data migration to conserve energy in streaming media storage systems
CN109189331B (zh) 一种动态数据布局方法
CN113296702B (zh) 一种磁盘阵列扩容方法、装置、设备及存储介质
US20190057121A1 (en) Predictable Allocation Latency in Fragmented Log Structured File Systems
CN109828722B (zh) 异构分布式键值存储系统Raft组数据自适应分布方法
CN104182359A (zh) 一种缓存分配方法及装置
US20230185456A1 (en) Maximizing power savings using io monitoring
CN102779017A (zh) 一种固态盘中数据缓存区的控制方法
Hikida et al. A power saving storage method that considers individual disk rotation
Le et al. Efficient gear-shifting for a power-proportional distributed data-placement method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant