CN106528002A - 一种基于时间的存储调度方法 - Google Patents

一种基于时间的存储调度方法 Download PDF

Info

Publication number
CN106528002A
CN106528002A CN201611109310.2A CN201611109310A CN106528002A CN 106528002 A CN106528002 A CN 106528002A CN 201611109310 A CN201611109310 A CN 201611109310A CN 106528002 A CN106528002 A CN 106528002A
Authority
CN
China
Prior art keywords
time
data
file
memory area
dsc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611109310.2A
Other languages
English (en)
Inventor
焦浩霖
时帅兵
袁鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201611109310.2A priority Critical patent/CN106528002A/zh
Publication of CN106528002A publication Critical patent/CN106528002A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于时间的存储调度方法，所述方法通过改善存储系统中热文件的调度访问方式，以文件最后一次访问时间距离当前时间的时间差为文件调度的指标，将最近访问的文件存放于高性能存储区域，定时将超过时间没有访问的文件从高性能存储区域转移到普通存储区域，从而提高对高热度文件的访问效率。

Description

一种基于时间的存储调度方法
技术领域
本发明涉及系统存储调度技术领域，具体涉及一种基于时间的存储调度方法。
背景技术
计算机技术高速发展，互联网的大力推广，对计算机的性能要求越来越高。无论是计算机的计算能力、网络速度还是图形计算能力都有着飞速的发展，存储性能也在不断地提升中，其中固态硬盘的逐渐普及改善了以往存储拖累计算机性能的局面。但固态硬盘高性能的背后的不足便是高昂的成本，以及固态硬盘的容量问题。固态硬盘每GB的成本是传统机械硬盘的5到10倍；并且固态硬盘还没有达到量产像机械硬盘单块2T、4T容量的能力。所以通过软件对存储数据的调度，对数据进行分层，将高访问率的数据存放在性能较高的区域，如固态硬盘中。通过这样的方法可以有效的提升存储设备的性能。
以往的数据存储方式大多没有通过软件对数据进行处理，仅仅将文件存放于磁盘中，需要时再在磁盘中进行数据的查找读取，计算时间大多都浪费在数据的查找读取写入的过程中了。通过对数据的冷热进行划分，以数据的冷热程度来判断数据的存放位置，将高访问、高操作的数据存放在性能较高的磁盘中，可减小热数据的访问时间。但仅通过频率进行热数据的判断不具有时效性，往往数据已经冷却，但还在高性能中，影响其他数据的使用。
发明内容
本发明要解决的技术问题是：本发明针对以上问题，提供一种基于时间的存储调度方法。
本发明所采用的技术方案为：
一种基于时间的存储调度方法，所述方法通过改善存储系统中热文件的调度访问方式，以文件最后一次访问时间距离当前时间的时间差为文件调度的指标，将最近访问的文件存放于高性能存储区域，定时将超过时间没有访问的文件从高性能存储区域转移到普通存储区域，从而提高对高热度文件的访问效率。
每当数据被访问时，将数据存放在高性能存储区域中，并将访问时间记录在数据的元数据（属性）中，每次数据被访问时都将当前时间保存在元数据中。
所述方法通过设定热数据调度机制，在热数据调度机制中设定热数据超时时间，高性能存储区域限额：
通过设定数据热度超时时间，定时进行数据热度判断，将数据的最后一次访问时间与当前时间进行相减，并与数据热度超时时间进行比较，如果超时，将数据再转移到普通区域中以保证高性能区域的空闲空间；当高性能存储区域中的数据再次被访问时，将上次被访问的时间替换为当前的时间，这样保证最近访问的数据一直在高性能区域中，保证数据的读取速度；
通过设定高性能存储限额，当高性能存储区域的已用空间达到设定的限额时，则会立即触发热数据调度机制，并将热数据超时时间临时缩短，将区域中目前最不常用的数据转存到普通存储区域中，保证一定的空闲空间供热数据进行写入，执行完成后再恢复为设定时间。
所述方法通过在热数据调度机制中设定热度判断间隔时间，使热数据调度机制定时触发，判断高性能存储区域中数据是否超时，将超时数据转存到普通存储区域中。
本发明的有益效果为：
本发明提高了存储系统数据读取效率，减少不必要的数据重复查找读取的工作，降低系统资源的损耗。
附图说明
图1为存储数据调度示意图；
图2为高性能存储区域达到限额处理示意图。
具体实施方式
下面根据说明书附图，结合具体实施方式对本发明进一步说明：
实施例1
如图1所示，一种基于时间的存储调度方法，所述方法通过改善存储系统中热文件的调度访问方式，以文件最后一次访问时间距离当前时间的时间差为文件调度的指标，将最近访问的文件存放于高性能存储区域，定时将超过时间没有访问的文件从高性能存储区域转移到普通存储区域，从而提高对高热度文件的访问效率。
实施例2
在实施例1的基础上，本实施例每当数据被访问时，将数据存放在高性能存储区域中，并将访问时间记录在数据的元数据（属性）中，每次数据被访问时都将当前时间保存在元数据中。
实施例3
在实施例1或2的基础上，本实施例所述方法通过设定热数据调度机制，在热数据调度机制中设定热数据超时时间，高性能存储区域限额：
通过设定数据热度超时时间，定时进行数据热度判断，将数据的最后一次访问时间与当前时间进行相减，并与数据热度超时时间进行比较，如果超时，将数据再转移到普通区域中以保证高性能区域的空闲空间；当高性能存储区域中的数据再次被访问时，将上次被访问的时间替换为当前的时间，这样保证最近访问的数据一直在高性能区域中，保证数据的读取速度；
如图2所示，通过设定高性能存储限额，当高性能存储区域的已用空间达到设定的限额时，则会立即触发热数据调度机制，并将热数据超时时间临时缩短，将区域中目前最不常用的数据转存到普通存储区域中，保证一定的空闲空间供热数据进行写入，执行完成后再恢复为设定时间。
实施例4
在实施例3的基础上，本实施例所述方法通过在热数据调度机制中设定热度判断间隔时间，使热数据调度机制定时触发，判断高性能存储区域中数据是否超时，将超时数据转存到普通存储区域中。
实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims (4)

1.一种基于时间的存储调度方法，其特征在于，所述方法通过改善存储系统中热文件的调度访问方式，以文件最后一次访问时间距离当前时间的时间差为文件调度的指标，将最近访问的文件存放于高性能存储区域，定时将超过时间没有访问的文件从高性能存储区域转移到普通存储区域，从而提高对高热度文件的访问效率。
2.根据权利要求1所述的一种基于时间的存储调度方法，其特征在于，每当数据被访问时，将数据存放在高性能存储区域中，并将访问时间记录在数据的元数据中，每次数据被访问时都将当前时间保存在元数据中。
3.根据权利要求1或2所述的一种基于时间的存储调度方法，其特征在于，所述方法通过设定热数据调度机制，在热数据调度机制中设定热数据超时时间、高性能存储区域限额：
通过设定数据热度超时时间，定时进行数据热度判断，将数据的最后一次访问时间与当前时间进行相减，并与数据热度超时时间进行比较，如果超时，将数据再转移到普通区域中以保证高性能区域的空闲空间；当高性能存储区域中的数据再次被访问时，将上次被访问的时间替换为当前的时间，这样保证最近访问的数据一直在高性能区域中，保证数据的读取速度；
通过设定高性能存储限额，当高性能存储区域的已用空间达到设定的限额时，则会立即触发热数据调度机制，并将热数据超时时间临时缩短，将区域中目前最不常用的数据转存到普通存储区域中，保证一定的空闲空间供热数据进行写入，执行完成后再恢复为设定时间。
4.根据权利要求3所述的一种基于时间的存储调度方法，其特征在于，所述方法通过在热数据调度机制中设定热度判断间隔时间，使热数据调度机制定时触发，判断高性能存储区域中数据是否超时，将超时数据转存到普通存储区域中。
CN201611109310.2A 2016-12-06 2016-12-06 一种基于时间的存储调度方法 Pending CN106528002A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611109310.2A CN106528002A (zh) 2016-12-06 2016-12-06 一种基于时间的存储调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611109310.2A CN106528002A (zh) 2016-12-06 2016-12-06 一种基于时间的存储调度方法

Publications (1)

Publication Number Publication Date
CN106528002A true CN106528002A (zh) 2017-03-22

Family

ID=58341399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611109310.2A Pending CN106528002A (zh) 2016-12-06 2016-12-06 一种基于时间的存储调度方法

Country Status (1)

Country Link
CN (1) CN106528002A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871367A (zh) * 2019-02-28 2019-06-11 江苏实达迪美数据处理有限公司 一种基于Redis和HBase的分布式冷热数据分离方法
CN110727406A (zh) * 2019-10-10 2020-01-24 深圳力维智联技术有限公司 一种数据存储调度方法及装置
CN114924696A (zh) * 2022-07-18 2022-08-19 上海有孚数迅科技有限公司 用于存储管理的方法、设备、介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411542A (zh) * 2011-10-26 2012-04-11 上海文广互动电视有限公司 动态分级存储系统和方法
CN103246615A (zh) * 2013-04-24 2013-08-14 深圳市江波龙电子有限公司 一种闪存存储设备中数据管理的方法及装置
CN103281397A (zh) * 2013-06-13 2013-09-04 苏州联讯达软件有限公司 一种基于时间戳和访问密度的数据缓存方法及系统
CN105095352A (zh) * 2015-06-19 2015-11-25 曙光信息产业股份有限公司 应用于分布式系统的数据处理方法及装置
CN105760114A (zh) * 2016-02-05 2016-07-13 浪潮(北京)电子信息产业有限公司 一种并行文件系统资源管理方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411542A (zh) * 2011-10-26 2012-04-11 上海文广互动电视有限公司 动态分级存储系统和方法
CN103246615A (zh) * 2013-04-24 2013-08-14 深圳市江波龙电子有限公司 一种闪存存储设备中数据管理的方法及装置
CN103281397A (zh) * 2013-06-13 2013-09-04 苏州联讯达软件有限公司 一种基于时间戳和访问密度的数据缓存方法及系统
CN105095352A (zh) * 2015-06-19 2015-11-25 曙光信息产业股份有限公司 应用于分布式系统的数据处理方法及装置
CN105760114A (zh) * 2016-02-05 2016-07-13 浪潮(北京)电子信息产业有限公司 一种并行文件系统资源管理方法、装置和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871367A (zh) * 2019-02-28 2019-06-11 江苏实达迪美数据处理有限公司 一种基于Redis和HBase的分布式冷热数据分离方法
CN110727406A (zh) * 2019-10-10 2020-01-24 深圳力维智联技术有限公司 一种数据存储调度方法及装置
CN110727406B (zh) * 2019-10-10 2024-05-17 深圳力维智联技术有限公司 一种数据存储调度方法及装置
CN114924696A (zh) * 2022-07-18 2022-08-19 上海有孚数迅科技有限公司 用于存储管理的方法、设备、介质及程序产品

Similar Documents

Publication Publication Date Title
TWI710978B (zh) 基於區塊鏈的資料遷移方法和裝置
CN101673188B (zh) 一种固态硬盘的数据存取方法
CN105138476B (zh) 一种基于hadoop异构存储的数据存储方法及系统
CN103605615B (zh) 一种分级存储中基于块级数据的定向分配方法
CN108829341B (zh) 一种基于混合存储系统的数据管理方法
CN111367469B (zh) 一种分层存储数据迁移方法和系统
CN107193646A (zh) 一种基于混合主存架构的高效动态页面调度方法
CN106528002A (zh) 一种基于时间的存储调度方法
CN104699424B (zh) 一种基于页面热度的异构内存管理方法
TWI309005B (en) Stack caching systems and methods
CN101373445B (zh) 一种内存调度方法及装置
CN101751225B (zh) 一种混合硬盘的数据存取方法
CN106484330A (zh) 一种混合磁盘分层数据优化方法和装置
CN100424626C (zh) 用于在分布式文件系统中管理功率的方法与系统
EP2765522B1 (en) Method and device for data pre-heating
CN101673192A (zh) 时序化的数据处理方法、装置及系统
CN107633045A (zh) 一种云存储服务中租户数据容量的统计方法及其系统
CN103916459A (zh) 一种大数据归档存储系统
CN103049224A (zh) 将数据导入物理磁带的方法、装置和系统
CN107817945A (zh) 一种混合内存结构的数据读取方法和系统
CN101751993A (zh) 缓存控制设备和方法
CN107168651A (zh) 一种小文件聚合存储处理方法
CN107957848A (zh) 重删处理方法及存储设备
CN101394347A (zh) 一种业务数据管理方法和系统
CN103605482A (zh) 一种硬盘内数据高性能存储方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170322

RJ01 Rejection of invention patent application after publication