CN103106050A - 一种实现存储系统数据分层存储复制的方法 - Google Patents

一种实现存储系统数据分层存储复制的方法 Download PDF

Info

Publication number
CN103106050A
CN103106050A CN2013100566838A CN201310056683A CN103106050A CN 103106050 A CN103106050 A CN 103106050A CN 2013100566838 A CN2013100566838 A CN 2013100566838A CN 201310056683 A CN201310056683 A CN 201310056683A CN 103106050 A CN103106050 A CN 103106050A
Authority
CN
China
Prior art keywords
data
storage
low
speed
high speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013100566838A
Other languages
English (en)
Inventor
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN2013100566838A priority Critical patent/CN103106050A/zh
Publication of CN103106050A publication Critical patent/CN103106050A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种实现存储系统数据分层存储复制的方法，该方法是存储系统能自动将数据从高速高成本存储向低速低成本存储复制数据，或在需要时，又将数据从低成本存储自动向高成本存储复制数据，通过此方法使数据根据访问频繁程度分层，访问频繁的数据存放在包括固态硬盘的高速高成本存储介质中，访问不频繁的数据存放在包括大容量SATA硬盘低速低成本介质中，有效地提高了高速存储设备的利用率及磁盘阵列性能，降低了磁盘阵列的总体拥有成本。该方法，还具有设计简单有效，在减少系统资源消耗的情况下，根据数据访问频度，实现数据在不同存储介质上的自由流动。

Description

一种实现存储系统数据分层存储复制的方法
技术领域
本发明涉及计算机应用领域,具体地说是一种实现存储系统数据分层存储复制的方法。用于根据数据的访问频度，实现数据在不同存储介质上的自由流动。
背景技术
自SSD问世至今，固态硬盘经历了从特殊市场如医疗、军用市场到一半民用市场的普及。随着SSD应用加深，这在很大程度上解决了因硬盘而导致电脑性能的短板效应，同时也为发展缓慢的存储行业注入了新的活力。由于固态硬盘没有运动的零件，极其耐用，几乎不发热，并且比大多数转动的硬盘驱动器有更好的性能，因此它们迅速赢得世界各地的支持者。但是由于其高昂的价格以及有限的容量这令许多IT决策者犹豫不决。
为了在有限的高速存储设备资源下提高磁盘阵列更好的性能，存储设备可以采用数据分层技术提高高速存储设备资源的利用率。本发明是一种数据分层技术，设计简单，不占用系统过多资源，用于降低磁盘阵列成本，并提高性能。
发明内容
本发明的目的是提供一种实现存储系统数据分层存储复制的方法。
本发明的目的是按以下方式实现的，该方法提出了一种在存储系统自动将数据从高速高成本存储向低速低成本存储复制数据，并且在需要时，又将数据从低成本存储向高成本存储复制数据的一种技术。通过此方法可以使数据根据访问频繁程度分层，访问频繁的数据存放在高速高成本存储介质中（比如固态硬盘），访问不频繁的数据存放在低速低成本介质中(比如大容量SATA硬盘)。有效地提高了高速存储设备的利用率及磁盘阵列性能，降低了磁盘阵列的总体拥有成本。该系统体系结构包括：数据段描述模块（1）、周期数据转移模块（2），其中：
数据段管理模块（1）提供如下功能：
数据段管理模块（1）将高速存储设备与低速存储设备的容量按指定细粒度(例如1GB)线性分成N个区域并创建一个查询表（如表1所示），表中每一项记录每个区域的数据分层相关信息，比如此区域是否为高速设备；一个周期内此区域的io命中次数；是否处于转移状态；本区域起始线性地址；本区域结束线性地址；转移目的磁盘号；转移目的扇区号。存储系统在读写数据时，会通过此表确定数据读写所在磁盘位置，读取磁盘号与扇区号并将此次读写重定向到迁移的区域中。在数据迁移时，也会查询此表决定是否有必要迁移此存储区域数据。
表1
Figure 2013100566838100002DEST_PATH_IMAGE002
数据分层模块（2）提供如下功能：
按用户指定时间点对数据段管理模块（1）中的查询表进行扫描，对所有区域的io命中次数由高到低进行排序。根据高速存储设备分区域的数目M，迁移M个磁盘区域的数据。迁移规则是，遍历高频率访问的1至M项存储区域，如果此区域不在高速存储设备上，则与其他低频率访问所在高速设备的存储区的数据交换。
本发明的有益效果是：一种磁盘阵列自动分成存储实现方法，设计简单有效，在减少系统资源消耗的情况下，根据数据访问频度，实现数据在不同存储介质上的自由流动。
附图说明
图1是查询表字段描述图；
图2是数据分层过程图。
具体实施方式
下面参照附图，对本发明的内容以一个具体实例来描述实现这一体系结构的过程。
正如发明内容中所描述的，本发明体系结构主要包括：数据段管理模块（1）、数据分层模块（2）。
 在一个典型的配置环境里，数据段管理模块（1）将高速存储设备与低速存储设备线性地分成N个区域，其中M个区域为高速存储设备区（M<N）。每个区域由表1所述字段描述。读写数据时如图1所示，首先更新读写命中区域的count字段，表示此区域的读写频率，然后通过dest_devid与dest_start_addr确定此线性区域数据存放地点，并将数据读写请求定向到实际存放区域，实现了数据重定向功能。
数据分层模块（2）在指定时间启动数据分成功能，流程如图2所示。根据io访问频率对所有区域进行排序，然后将访问频率高的N个数据区域与访问频率低但是占用高速存储设备的数据区进行数据交换，从而达到高频访问数据存放在高速存储设备中，低频访问数据存放在低速存储设备中的目的。
至此，已经完整实现了一种存储系统数据分层技术的实现方法，这种技术能够保证在一定统计周期内，存储系统自动将数据从高速高成本存储向低速低成本存储复制数据，并且在需要时，又将数据从低成本存储向高成本存储复制数据。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (4)

1.一种实现存储系统数据分层存储复制的方法, 其特征在于该方法是存储系统能自动将数据从高速高成本存储向低速低成本存储复制数据，或在需要时，又将数据从低成本存储自动向高成本存储复制数据，通过此方法使数据根据访问频繁程度分层，访问频繁的数据存放在包括固态硬盘的高速高成本存储介质中，访问不频繁的数据存放在包括大容量SATA硬盘低速低成本介质中，有效地提高了高速存储设备的利用率及磁盘阵列性能，降低了磁盘阵列的总体拥有成本，该系统结构包括：数据段描述模块（1）、数据分层模块（2），其中：
数据段管理模块（1）提供如下功能：
通常磁盘阵列将高速存储设备与低速存储设备线性映射作为一个逻辑卷提供给客户端使用，数据段管理模块（1）将高速存储设备与低速存储设备的容量按指定细粒度线性分成N个区域并创建一个查询表，表中每一项记录每个区域的数据分层相关信息；相关信息包括：一个周期内此区域的io命中次数；是否处于转移状态；本区域起始线性地址；本区域结束线性地址；转移目的磁盘号；转移目的扇区号；存储系统在读写数据时，会通过此表确定数据读写所在磁盘位置，读取磁盘号与扇区号并将此次读写重定向到迁移的区域中，在数据迁移时，也会查询此表决定是否有必要迁移此存储区域数据；
数据分层模块（2）提供如下功能：
按用户指定时间点对数据段管理模块（1）中的查询表进行扫描，对所有区域的io命中次数由高到低进行排序，根据高速存储设备分区域的数目M，迁移M个磁盘区域的数据，迁移规则是，遍历高频率访问的1至M项存储区域，如果此区域不在高速存储设备上，则与其他低频率访问所在高速设备的存储区的数据交换。
2.根据权利要求1所述的方法，特征在于该系统的核心在于对高速设备与低速设备线性映射到客户端的多个磁盘创建一个查询表，查询表将线性映射的设备分成N个区域，对每个区域填充描述信息，实现核心在于根据此表进行数据迁移或数据重定向。
3.根据权利要求1所述的方法，其特征在于数据段管理模块（1）对高速存储设备与低速存储设备映射到客户端的线性容量按指定细粒度分成N个区域并创建一个查询表，表中每一项记录每个区域的数据分层相关信息，根据此表决定数据重定向位置或者是否进行数据迁移。
4.根据权利要求1所述的方法，其特征在于体系结构中，数据分层模块（2）对数据段管理模块（1）中的查询表进行扫描，对所有区域的io命中次数由高到低进行排序，根据高速存储设备分区域的数目M，迁移M个磁盘区域的数据，迁移规则是，遍历高频率访问的1至M项存储区域，如果此区域不在高速存储设备上，则与其他低频率访问所在高速设备的存储区的数据交换。
CN2013100566838A 2013-02-22 2013-02-22 一种实现存储系统数据分层存储复制的方法 Pending CN103106050A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013100566838A CN103106050A (zh) 2013-02-22 2013-02-22 一种实现存储系统数据分层存储复制的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013100566838A CN103106050A (zh) 2013-02-22 2013-02-22 一种实现存储系统数据分层存储复制的方法

Publications (1)

Publication Number Publication Date
CN103106050A true CN103106050A (zh) 2013-05-15

Family

ID=48313946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013100566838A Pending CN103106050A (zh) 2013-02-22 2013-02-22 一种实现存储系统数据分层存储复制的方法

Country Status (1)

Country Link
CN (1) CN103106050A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462358A (zh) * 2014-12-05 2015-03-25 中国联合网络通信集团有限公司 一种数据分布式存储方法和系统
CN104572495A (zh) * 2013-09-10 2015-04-29 大卫·R·切里顿 使用细粒度级别的重映射的混合主存储器
CN104572478A (zh) * 2013-10-14 2015-04-29 联想(北京)有限公司 数据存取方法和数据存取装置
CN106020727A (zh) * 2016-05-25 2016-10-12 浪潮电子信息产业股份有限公司 一种Smart Rack性能调谐的方法
CN106354437A (zh) * 2016-09-27 2017-01-25 郑州云海信息技术有限公司 一种分层存储的控制方法及装置
CN106681665A (zh) * 2016-12-29 2017-05-17 北京奇虎科技有限公司 缓存数据的持久化存储方法及装置
CN108519862A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 区块链系统的存储方法、装置、系统和存储介质
CN108664219A (zh) * 2018-05-07 2018-10-16 苏州恒成芯兴电子技术有限公司 数据存储装置与方法
CN109213422A (zh) * 2017-06-30 2019-01-15 南宁富桂精密工业有限公司 分层存储方法、分层存储装置及计算机可读存储介质
CN109683815A (zh) * 2018-12-13 2019-04-26 北京计算机技术及应用研究所 一种双控磁盘阵列分层存储方法
CN109918448A (zh) * 2019-03-06 2019-06-21 电子科技大学 一种基于用户行为的云存储数据分级方法
CN109978983A (zh) * 2017-12-27 2019-07-05 艾迪普（北京）文化科技股份有限公司 一种基于大数据的三维素材实时制作系统
CN110019638A (zh) * 2017-07-17 2019-07-16 南京烽火软件科技有限公司 一种基于冷热词分离的索引方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102263818A (zh) * 2011-07-07 2011-11-30 北京飞杰信息技术有限公司 一种文件数据存放和读取的方法和装置
CN102508789A (zh) * 2011-10-14 2012-06-20 浪潮电子信息产业股份有限公司 一种系统分级存储的方法
CN102754084A (zh) * 2010-05-18 2012-10-24 株式会社日立制作所 存储装置和数据管理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102754084A (zh) * 2010-05-18 2012-10-24 株式会社日立制作所 存储装置和数据管理方法
CN102263818A (zh) * 2011-07-07 2011-11-30 北京飞杰信息技术有限公司 一种文件数据存放和读取的方法和装置
CN102508789A (zh) * 2011-10-14 2012-06-20 浪潮电子信息产业股份有限公司 一种系统分级存储的方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898410B2 (en) 2013-09-10 2018-02-20 Intel Corporation Hybrid main memory using a fine-grain level of remapping
CN104572495A (zh) * 2013-09-10 2015-04-29 大卫·R·切里顿 使用细粒度级别的重映射的混合主存储器
CN104572495B (zh) * 2013-09-10 2019-06-28 英特尔公司 使用细粒度级别的重映射的混合主存储器
CN104572478A (zh) * 2013-10-14 2015-04-29 联想(北京)有限公司 数据存取方法和数据存取装置
CN104572478B (zh) * 2013-10-14 2018-07-06 联想(北京)有限公司 数据存取方法和数据存取装置
CN104462358A (zh) * 2014-12-05 2015-03-25 中国联合网络通信集团有限公司 一种数据分布式存储方法和系统
CN106020727A (zh) * 2016-05-25 2016-10-12 浪潮电子信息产业股份有限公司 一种Smart Rack性能调谐的方法
CN106020727B (zh) * 2016-05-25 2019-03-15 浪潮电子信息产业股份有限公司 一种Smart Rack性能调谐的方法
CN106354437A (zh) * 2016-09-27 2017-01-25 郑州云海信息技术有限公司 一种分层存储的控制方法及装置
CN106681665A (zh) * 2016-12-29 2017-05-17 北京奇虎科技有限公司 缓存数据的持久化存储方法及装置
CN109213422B (zh) * 2017-06-30 2021-10-01 南宁富桂精密工业有限公司 分层存储方法、分层存储装置及计算机可读存储介质
CN109213422A (zh) * 2017-06-30 2019-01-15 南宁富桂精密工业有限公司 分层存储方法、分层存储装置及计算机可读存储介质
CN110019638A (zh) * 2017-07-17 2019-07-16 南京烽火软件科技有限公司 一种基于冷热词分离的索引方法
CN109978983A (zh) * 2017-12-27 2019-07-05 艾迪普（北京）文化科技股份有限公司 一种基于大数据的三维素材实时制作系统
CN108519862A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 区块链系统的存储方法、装置、系统和存储介质
CN108664219A (zh) * 2018-05-07 2018-10-16 苏州恒成芯兴电子技术有限公司 数据存储装置与方法
CN109683815A (zh) * 2018-12-13 2019-04-26 北京计算机技术及应用研究所 一种双控磁盘阵列分层存储方法
CN109683815B (zh) * 2018-12-13 2021-03-23 北京计算机技术及应用研究所 一种双控磁盘阵列分层存储方法
CN109918448A (zh) * 2019-03-06 2019-06-21 电子科技大学 一种基于用户行为的云存储数据分级方法

Similar Documents

Publication Publication Date Title
CN103106050A (zh) 一种实现存储系统数据分层存储复制的方法
Dunn et al. A new I/O scheduler for solid state devices
CN106548789B (zh) 用于操作叠瓦式磁记录设备的方法和装置
CN104850358B (zh) 一种磁光电混合存储系统及其数据获取和存储方法
Niu et al. Hybrid storage systems: A survey of architectures and algorithms
CN102117248A (zh) 一种缓存系统和在缓存系统中缓存数据的方法
CN106528001A (zh) 一种基于非易失性存储器和软件raid的缓存系统
Jones et al. Classifying data to reduce long-term data movement in shingled write disks
CN105446665A (zh) 一种计算机存储加速系统及其优化方法
CN104536903A (zh) 一种按数据属性分类存放的混合存储方法及系统
CN103645862A (zh) 一种磁盘阵列初始化性能提升方法
CN111897486B (zh) 一种基于软件定义的智能统一存储系统
CN115357182A (zh) 分层存储器系统中的对象管理
CN103605482A (zh) 一种硬盘内数据高性能存储方法
CN101997919B (zh) 一种存储资源的管理方法及管理装置
IE20160095A1 (en) Realm partitioning in hard drives
Zhou et al. Hierarchical consistent hashing for heterogeneous object-based storage
CN107957850A (zh) 具虚拟区块及磁盘阵列结构的数据存储系统及其管理方法
CN107229573A (zh) 一种基于固态硬盘的弹性高可用缓存方法
Deng Exploiting the performance gains of modern disk drives by enhancing data locality
Shi et al. A unified write buffer cache management scheme for flash memory
Li et al. A user-visible solid-state storage system with software-defined fusion methods for PCM and NAND flash
Ma et al. RMW-F: A design of RMW-free cache using built-in NAND-flash for SMR storage
US9542326B1 (en) Managing tiering in cache-based systems
CN105404471A (zh) 一种分布式云存储高速缓存层实现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130515